中國互聯網安全領袖峰會：人工智慧如何有效地提升網路和信息安全？

科技 08-24

摘要：人工智慧對互聯網安全和未來互聯網發展來說，是利還是弊依然是個未知數，因此，作為互聯網從業者，我們在面對這樣一個問題時，應該持有一個理性而客觀的態度，並且還要有堅定的探索精神。

2017 年 8 月 16 日下午，第三屆中國互聯網安全領袖峰會（Cyber Security Summit）在北京召開，極客公園與騰訊安全合作共同舉辦了人工智慧與安全倫理分會場，邀請了人工智慧領域的多位專家及大咖圍繞「人工智慧如何有效地提升網路和信息安全」這一主題展開討論，同時，也分享了人工智慧與安全領域的前瞻議題。

首先，極客公園 COO 吳江上台發表了一段開場白，他表示自從去年 AlphaGo 戰勝人類之後，人們逐漸感受到人工智慧為我們生活帶來的巨大影響，但與此同時，人工智慧對互聯網安全和未來互聯網發展來說，是利還是弊依然是個未知數，因此，作為互聯網從業者，我們在面對這樣一個問題時，應該持有一個理性而客觀的態度，並且還要有堅定的探索精神，這也就是我們今天邀請來這麼多專家學者做分享的原因。

黑客如何攻破 AI

首先上台的是 Geekpwn Lab 的總監王海兵，他從黑客的角度談了談人工智慧的安全問題。

2014 年，他們第一次舉辦了 GeekPwn 大賽，到目前為止，一共舉辦了 5 次，向各廠商彙報了幾百個嚴重的安全漏洞，並協助修復、攻破的設備種類繁多，攝像頭、路由器、無人機和 POS 機等都有被攻破。

現在，他們也進軍了 AI 領域。王海兵表示，「我們注意到一個 AI 應用系統，應用到人們的生活當中去幫助大家的時候，也會運行在一個特定的信息系統環境當中。作為一個整體，作為人工智慧這一塊即使非常安全，其他環節出了問題，一樣會有問題。」

因此他們在嘗試攻破 AI 領域應用較為成熟的人臉識別門禁系統的時候，並沒有找到人臉識別本身演算法的問題，而是發現了應用系統的問題，最終達到了一樣的效果——任意人臉都可以通過門禁。

王海兵將對 AI 的黑客攻擊分為 3 個層次，最核心的是演算法的層面，即對抗樣本演算法。比如聊天機器人之前出現過一些「不良」表現，就是學習的樣本出現了問題，從而使 AI 代理被污染。此外還有基礎設施層面的攻擊，AI 應用層面的攻擊。

對 AI 來說，做出一個錯誤的決策和判斷，與整個系統被控制，在黑客看來是沒有區別的，任何地方有弱點有漏洞都會被攻擊。王海兵表示他發現安全界和 AI 界交流不暢，而 GeekPwn 願意站出來作為一個橋樑來溝通兩邊，讓 AI 更加安全健康地發展。

AI 如何抵抗黑客的攻擊

與王海兵探討如何攻擊 AI 相反，微軟的首席安全官邵江寧分享了微軟如何運用AI檢測惡意網路攻擊。微軟目前是安全領域整體技術能力最強的 IT 公司之一，同時也是人工智慧領域技術能力最強的公司之一。

傳統網路安全防護手段如：反病毒、入侵檢測和防火牆，由於網路威脅特性的演化，在今天的網路空間安全對抗過程中面臨著新的挑戰，需要重構和進化，打造新的網路安全生態體系。微軟在新的時代，建立了新的體系化的整體安全策略，包括：平台，合作，和安全情報。

邵江寧分享了微軟內部AI 在安全領域運用的成功經驗和「可度量的要素」：包括AI模型可自適應，它能夠適應惡意代碼新的變種；其次，必須可解釋，人工智慧檢測的結果需要與安全專業知識能夠相互融合，能由安全專家理解和解釋得通，能夠運用在實際；最後，要可執行。「人工智慧輸出的結果，需要幫助安全響應鏈條的安全專家、響應團隊降低工作量，提高響應速度。」

「人工智慧成功使用於網路安全防禦，要達到三個效果：速度、質量、響應。微軟在 Azure 雲安全中心上使用先進的人工智慧和安全響應專家專業技能的組合，使用原子/特徵檢測，基於傳統的特徵檢測，用戶端遭遇的未知惡意代碼在會使用智能雲端超過160種機器學習演算法模型進行檢測和分析；基於網路威脅情報的檢測，發現用戶 IP 和殭屍網路的控制伺服器的通訊；基於行為分析，對新型惡意變種軟體但是可疑行為已知，把新威脅識別出來。」

哲學教授眼裡的人機交互

緊接著中山大學人工智慧實驗室主任翟振明教授分享了他對於 AI 和人機交互的看法。

在翟教授看來，真正會給人類帶來危險的，不是那些人工智慧，反而是埃隆·馬斯克的 Neuralink 這樣將人類大腦與機器大腦融合的項目更加危險：「其實 AI 的危險性根本沒有那麼大，他做這種東西是更大的威脅。」

隨後翟振明教授提出了人機交互的三個原則：

1. 從客體到主體的方向，信息越暢通越好。信息是幫你認知的東西，幫你判斷正確與否，這叫信息。控制信號阻滯度越高越好，這是主體派出的 VR，是代表你的主體。這兩個方向不對稱，我們每個體都想認知世界、知道這個世界、了解這個世界，信息越暢通越好，但是我們不讓人控制，控制信號，阻隔的越徹底越好。有點像二極體單嚮導電一樣。

2. 從主體到客體方向，控制信號越暢通越好，信息密封度越高越好。

3. 以上兩條的鬆動調節，最嚴苛的程序保證以各個主體為主導。要放鬆的話，別人說了不算，要我自己說了算。

翟教授認為這是個哲學問題，「這不是經驗總結出來，是先驗原則，它的正確與否靠證明，而不是靠實驗觀察，這屬於哲學類的東西。」作為在美國教了十多年哲學的教授，翟振明如此說道。

那麼為什麼翟振明教授認為馬斯克的腦機融合項目十分危險呢？

首先 NeuraLink 與上面提出的三條原則相違背，腦機融合會引出一個非常嚴肅的問題：「如何防止人的自我意識被抹除？」

未來 VR 頭盔的發展方向是腦機融合，插根線就能進入 VR 世界。但這同樣存在一個非常值得思考的問題：現在的虛擬世界有一個戴頭盔的形式，如果沒了這個形式呢？如果通過腦機融合的技術，讓機器能夠模擬摘頭盔的感覺了呢？翟振明教授表示他強烈反對這種做法。

「VR 頭顯與腦中樞直連的危險和 NeuraLink 是一樣的，這是在主體與客體界面上發生的事情，我們所有學科都是對著對象講的，這個東西有什麼關聯，研究清楚，回來反思那是哲學家的事情。但是這個對外客體客觀思維和主觀反思中間交叉發生的事情，全世界所有學科基本上都沒有。」

AI 應用下的「已知」與「未知」

接下來來自滴滴 Labs 安全研究的負責人藺毅翀先生從一個產品經理和創業者的角度，談了談機器學習在人工智慧和信息安全的應用。

長久以來，企業的安全運營都是在用規則系統和自動化的流程來解決問題，但如今這個系統在大數據之下變得很不友好，因為數據量太過龐大，處理的過程也越來越繁雜。因此安全的大數據場景催生了機器學習和深度學習的應用。這裡藺毅翀提出了關於已知和未知的概念：他認為很多公司在安全方向實踐機器學習，在攻防對抗，風控以及離線數據處理等等方面收穫了不錯的成績，「能解決已知的已知，在某種程度上也能解決已知的未知，也在嘗試去突破這個邊界，解決未知的未知。」

「作為一個安全從業者，心裡最大的恐懼是什麼？我個人覺得是未知的未知。如何解決？我們也不確定。AI 到底是不是這條路上的一個正確方式？我們也不確定。」在滴滴內部，機器學習在 ETA、派單和後台數據處理等方面上都有很不俗的應用，那麼有沒有辦法做一套 AI 系統來防禦未知的風險呢？

「現在我們能看到的是機器學習是在相對正確的路上，如果現有的機器學習方式可以適應安全的動態化和多變場景，突破以前的單一輸入、單一輸出訓練模式，那麼又更貼近了安全的應用，但是我們也不能說它就是正確的一個途徑，只能說在前進的過程中不斷探索，這是下一步可以去試的一個方向，通過實踐來挑戰未知的未知」藺毅翀說道。

智能家居的安全問題更加重要

BroadLink 的高級副總裁康海洋則上來分享了在智能家居領域如何保證安全。康海洋表示，開發智能家居產品時，BroadLink 受到了三種主要威脅：系統、智能和數據層面。

系統層面。跟互聯網一樣，比如被 DDoS，傳統 APP 的漏洞或雲端的漏洞。

智能層面。把一個大腦放到你的家裡，讓它幫助你的家庭更舒適。這個大腦運行時一定是依賴你家裡一些數據，如果這些數據被別人篡改了，或者採集到錯誤數據，實際上它做得決策一定是有危險或有威脅的。

數據層面。任何一個智能硬體或使用的 APP 都會在雲端留存一部分數據，這些數據如果被黑客或壞人通過各種手段拿到了，再使用目前大家都會得人工智慧等技術，可以把你的畫像畫出來，或者把你的一些習慣學習到，實際上這個威脅也是很大的。

那麼挑戰呢？智能家居要與雲端、APP 或者語音入口、中控設備等連接，這些設備一旦被攻破，用戶的家庭也就被人入侵了。與以往的威脅不同，智能家居是能夠從物理上威脅到用戶的，因此安全問題尤為重要。

BroadLink 的做法是：首先不斷更新安全演算法，提高整體安全防護能力；其次，在整個智能家居平台系統中減少攻擊面，盡量不開放埠；另外，針對數據量過大的問題，BroadLink 通過使用演算法，分析數據的來源和動態，「我們的目標是讓整個系統變得更加透明，只有透明之後才能更好地分析。」

AI 和語音識別正在改變我們的生活

上面提到了語音識別的安全問題，科大訊飛的吳江照先生也來到了分論壇現場發表演講，他重點說到了人工智慧與我們的生活之間的聯繫。

在泛娛樂領域，人工智慧可以模擬人聲，不斷訓練達到與真人相差無幾的音色，在手游領域用語音輸入能夠解決傳統輸入方式帶來的痛苦，此外還有電視盒子等應用。

智能會議方面，訊飛目前開發出了訊飛聽見實時翻譯系統，對一些大會、峰會非常有用，「真正把這樣一個會議後的整理工作從以前需要人去做變成計算機去做。AI+智能會議是能夠促進速記和同傳行業的發展。」此外吳江照先生還提到了 AI 在醫療、旅遊和教育方面的應用

「每個行業都會被 AI 顛覆，就像移動互聯網會顛覆傳統行業一樣，AI 的這種顛覆會更加徹底，不像以前移動互聯網+醫療只能解決挂號難的問題，解決不了資源稀缺的問題。」

「AI 會代替很多低技術性工作，但是短期內還是無法取代一些高技術性的崗位。以同聲傳譯為例，一些比較高端的會議上，AI 能力目前還達不到人的高度，能解決一些普通的問題，但是解決不了一些高精尖的問題，所以這些場景下，AI 更多解決低層面的問題，人需要解決一些高層面的問題，更多是人機協作，讓整個 AI 服務於人的整個生活。」吳江照說道。

泛安防和智能互聯領域的 AI 應用

之前第一位演講者 GeekPwn 的王海兵表示他們曾嘗試過破解面部識別技術支持的門禁系統，那麼門禁系統的開發者如何看待這件事呢？曠視科技的安防技術專家張鑫分享了曠視在公共安全領域的一些應用。

曠視通過標準 API 介面和數據結構化引擎，可以將我們訓練系統、服務能力通過 API 介面形式，向上可以到很多行業形態，進入到不同的行業應用領域，向下可以支持很多產品的硬體形態，如門禁、通道卡口，包括通道許可權管理系統等等。

曠視目前已經幫助全國抓捕了 1000 多，將近 2000 個在逃人員，以及法院的協控人員，以及其他涉恐各類人員。真正幫助公安在維護公共安全領域上作出了貢獻。