馬斯克的人工智慧才會讓人類毀滅？那AI還是安全行業的未來嗎？

新聞 08-18

人工智慧（AI）從來都不是近兩年才出現的概念，人工智慧從 1956 年開始至今歷經了三波浪潮。在 1956 年的達特茅斯會議上，4 名圖靈獎得主， 1 名諾貝爾獎得主，另外加上資訊理論創始人香農，被認為是最早提出人工智慧的一批人。下面這張圖是 2006 年達特茅斯會議上，健在幾個人的合影，這個時間已經是人工智慧問世 50 周年。

左起：摩爾，麥卡錫，明斯基，賽弗里奇，所羅門諾夫

而人工智慧先後歷經三波浪潮，1990 年迎來第二次黃金時期，那一時期日本意欲打造傳說中的「第五代計算機」，日本當時宣稱第五代計算機的能力就是能夠自主學習，而隨著第五代計算機研製的失敗，人工智慧再被擱置；到 2006 年深度學習的出現，成為迄今為止人工智慧的又一波浪潮。這些是在

北京國家會議中心舉辦的 CSS 2017 第三屆中國領袖互聯網安全大會，人工智慧和安全倫理分論壇之上，科大訊飛語音雲技術總負責人向我們科普的內容。

今年 CSS 大會的一大主題就是人工智慧，所以我們才在主論壇上聽到 UCB 的宋曉東教授提人工智慧與安全的關係。也不光是如此，這兩年雲服務提供商悉數在提大數據、雲計算和人工智慧，騰訊雲也不例外。在昨天大會次日的「大數據及雲安全」分會場，騰訊雲副總裁，騰訊社交網路與騰訊雲安全負責人黎巍提到，騰訊雲的各部分安全產品，包括天御、雲鏡、樂固、數盾等都已經用上了「安全 AI 大腦」。

其實雲服務提供商高舉人工智慧大旗搞安全是種必然，一方面當前正處於單點防護收效甚微的時代，傳統安全工具已經具備很大的局限性；另一方面這個時代所謂的人工智慧，主體也就是機器學習，而機器學習最需要的就是數據——數據是雲服務提供商的天然優勢項，更何況是騰訊這種體量不光只有雲數據的企業。不過這真的是件好事嗎？

CSS 2017 的這兩場分論壇對人工智慧的攻防作了更為細緻的擴展，黎巍午間在接受媒體採訪時被問得最多的一個問題，就是宋曉東在主論壇上提到的，攻擊者濫用人工智慧或攻擊人工智慧，安全廠商又做何感想。

數據是 AI 的基石，安全更是如此

比較有趣的是，北京派網軟體有限公司 CEO 孫朝暉已經不是第一次被請到安全論壇現場了，他也照例說，派網並非安全企業，而是一家做流控和優化解決方案的企業。去年的阿里雲安全峰會上，我們也看到了孫朝暉。他這次解讀了 Panabit 觀察到暗雲 DDoS 攻擊爆發期間的流量異常 —— 長期關注 FreeBuf 的同學應該很清楚騰訊針對暗雲 III 發了好幾波分析文章。實際上，派網軟體在 5 月下旬就已經發現集中針對某些 IP 的攻擊行為，但攻擊源分散，而且不是一次就產生針對性的超大規模攻擊，屬於「脈衝壓力型 DDoS 攻擊」，所以諸多抗 DDoS 和防火牆一類安全設備最初都沒有檢測到。

騰訊發布暗雲 III 的預警和分析時至 6 月 9 日。像孫朝暉去年就說的，如 Panabit 這樣的企業雖手持數據，卻因為並非安全企業而無法有所行動。但孫朝暉經常出現在安全大會的視野中，就是數據價值的體現。

微軟中國首席安全官，政府與公共事業部首席架構師邵江寧在主題演講中，直接將微軟定義為人工智慧「最強企業之一」。他在針對機器學習模型的解讀下定義為：

模型 = 數據 + 演算法

「安全公司最欠缺的是數據」，而數據可能也會成為人工智慧時代，企業間能力博弈的關鍵所在。這大概也是微軟敢於說出這番話的關鍵所在，誰讓人家又是雲服務提供商，又是系統製造商呢？這才是手持規模數據的集大成者，惡意程序之類的數據分析和統計幾乎是信手拈來的。微軟宣稱自己有「宇宙級的安全告警數據」，如數十 PB 的日誌，3 億活躍微軟賬戶用戶等等。

騰訊雲專家工程師成傑峰博士分享的議題名為《圖計算遇見深度學習：安全 AI 篇》。他在演講中分享了騰訊雲利用機器學習取締惡意帳號遇到的難點，或許我們可以總結認為，機器學習在安全領域的應用難點就在數據量方面。

騰訊雲專家工程師成傑峰

即便我們知道，如早年斯坦福大學、普林斯頓大學和哥倫比亞大學啟動的 ImageNet Challenge 挑戰賽，令計算機視覺的識別精度超越了人類肉眼，但這更像是人們「畫餅」，更是給安全界畫餅。成傑峰認為，計算機視覺取得的這種階段性成功，其根源在於我們原本就有大量圖片可以作為素材源使用，比如貓和狗的圖片。AlphaGo 取得成功的原因相似，就是因為有大量現成樣本。

但對安全領域來說，這種量級的樣本是很難取得的。一方面在於可用於機器學習的大量數據，實際上是事件已經發生之後的數據；另外安全本身是個動態平衡的過程，當我們建立起某個協議規則，攻擊者繞過之後，防禦方再做更新，並不斷發生變化。異常識別對於機器學習的要求很高，而且這其中還面臨更多複雜的問題。

從對主機、業務、終端和網路的分析來看，惡意帳號往往是產生攻擊和欺詐犯罪行為的一大來源。而要利用機器學習從幾十億帳號中識別出惡意帳號，比如從惡意帳號頭像來識別非法色情帳號，那些色情帳號有些頭像很性感，有些則直接露點，有些則帶文字內容。但其實各類色情投頭像實際上只有很少的比例，比如「黑框」不良圖像佔比僅有 0.005% 以下，這讓機器學習如何談起？如果僅以「性感」為頭像的考察維度，甚至是帶文字的頭像為特徵，則會出現大規模的誤殺。所以最終需要抽取黑產相關信息，結合惡意帳號、黑手機號、黑設備、IP地址，「子圖嵌入深度計算」來完成最終色情團伙信號識別不良圖像。最終據成傑峰所說，其識別準確率可以達到 99%。

這其實是騰訊雲融合人工智慧的一個實例，說到底，補足其短板的仍然是數據。首日主論壇上，雲鼎實驗室負責人董志強在《雲鼎視點：公有雲惡意代碼趨勢解讀》演講中就提到了暗雲 III，對 WannaCry 的預先把控，並展示了當前伺服器安全軟體使用分析、木馬病毒趨勢統計，甚至 WebShell 的特點分析，這些都是雲服務提供商數據優勢的體現。

AI 真的是安全行業的未來？

當數據變得極為海量之後，自動化是個必行的策略，而且由於惡意代碼的「多態性」，如果防禦方要擾亂攻擊者的攻擊鏈，需要比攻擊者更快，所以自動化也是必須的。但 GeekPwn Lab 總監王海兵，卻在《Geekpwn 黑客眼中的 AI 安全》議題中，闡述了從攻擊者的角度，與 AI 作對抗的方式。這個議題實際上和主論壇上加州大學伯克利分校宋曉東教授提到對於 AI 安全的擔憂是異曲同工的。

從黑客的常規角度出發，針對不同設備的攻破方法其實是差不多的。比如說騰訊科恩實驗室破解特斯拉，看似是個全新的領域，實際也就是針對其建基於 Linux 系統之上的固件作深入研究；再比如針對許多路由器的攻擊，找準的也不過是其中類似 web server 這樣的組成部分的漏洞。從這個角度來說，AI 並沒有多麼神秘，它首先也需要運行在信息系統環境中。比如許多人臉識別演算法，可以認為是深度學習的應用，而黑客繞過門禁的人臉識別，主要利用的是系統漏洞，而不是 AI 本身的問題。這本身就是 AI 應該考慮的問題。

再者，現如今的從業者開發人工智慧也並不需要從頭進行，而是又現成的庫和框架可以用。比如計算機視覺庫 OpenCV，還有谷歌著名的 TensorFlow 框架，很多都已經發現相當數量的安全漏洞。

最精彩的部分也就是演算法被攻擊的情況了。比較經典的例子就是上面這張熊貓圖片，在經過攻擊者的精心干擾後，最終產生的所謂對抗樣本，以肉眼是很難看出差別的，但感染的偏差量被精心設計過，這張圖片就可以讓神經網路對其作錯誤分類。去年 10 月份的極棒矽谷站，Ian Goodfellow 就發表過題為《Physical Adversarial Examples》的演講，當我們把一張鳥的圖片經過對抗干擾後，用印表機將其列印出來，然後再經由設備識別，居然仍然會將其識別成飛機。

這項研究就與宋曉東參與的，交通標誌被篡改後，可對自動駕駛汽車的識別系統產生惡意影響相關研究有關係。不過伊利諾伊大學香檳分校的研究卻認為，針對交通標誌的對抗樣本，自動駕駛汽車對其識別，可能會因為距離和角度的關係而產生變化，比如在某個距離下識別，對抗樣本就不產生作用了；但不久，OpenAI 貼出了一隻貓，即便隨觀察識別的距離和角度差異，這隻貓由於經過了精心的干擾，所以絕大部分情況下還是會被識別為台式電腦。

從上述三個層面，AI 存在的安全問題也是值得未來技術發展深究的。但實際上，我們到目前為止，也並沒有聽說哪家 AI 研究企業針對 AI 本身在安全方面下功夫。所以王海兵才說：

「很多搞 AI 的並沒有安全這根弦。」

這依舊應了開發和安全割裂的固有特點，只不過在這個場景下，開發正在為安全服務，但其自身的安全問題卻又一次被忽視了。這實際上還只陷入宋曉東所說針對 AI 攻擊的其中一部分（攻擊 AI 和濫用 AI 中的攻擊 AI。）

現如今應用機器學習的安全產品已經越來越多了，比如許多「下一代終端」產品，如 Cylance、CrowdStrike、SentinelOne 等等。不過滴滴 Labs 安全研究負責人藺毅翀認為單就機器學習模型迭代效率，實際上趕不上攻擊的速度，其迭代頻率至少仍以周為單位行進。所以機器學習、深度學習應用到類似離線學習這樣的場景，從既有數據中發現關聯和異常是有價值的。這也決定了就當下，機器學習可能仍然只能當作多維度中的一個維度來作安全，典型如風控，幾乎不可能單以人臉識別為方式，必然輔以用戶畫像和策略模型。

不過藺毅翀在演講最後說了一句話：AI 是否是安全這條路上正確的方式，不知道…

騰訊雲副總裁，騰訊社交網路與騰訊雲安全負責人黎巍（中）

騰訊雲副總裁，騰訊社交網路與騰訊雲安全負責人黎巍在接受媒體群訪時談到，騰訊雲曾經遭遇過一個案例，某犯罪團伙進行驗證碼識別的方式已經不是僱人了，而是租用某雲廠商的多台主機，應用人工智慧，對其進行識別。這一個案例就足以說明，攻擊者也已經相中人工智慧在攻擊技術中的應用。上文提到那些研究人員設定的場景也從來不是隨意 YY 的。

AI 成功的標準是什麼？

Elon Musk 早前提出過一個觀點，即人工智慧未來可能會強大到足以支配人類，為了避免這一慘劇的發生，Musk 成立新公司 Neuralink 意圖將人腦和計算機作融合，他認為這是人類的唯一出路。他甚至還提到，「腦機界面」能進行人類意識的實時翻譯，將之轉化為可輸出的電子信號，從而可以連接甚至控制外部設備。但這個想法被人工智慧與安全倫理分會場上的翟振明教授徹底否定。

中山大學人機互聯實驗室教授翟振明最早從北京鋼鐵學院畢業（用他自己的話說是鍊鋼鐵的），隨後前往美國搞哲學研究成為哲學博士，後來開始深造 VR 和人工智慧。現如今他有自己的 VR 實驗室，將物聯網和 VR 進行融合，形成所謂的 ER （擴展現實）。

中山大學人機互聯實驗室教授翟振明（他實際上是個哲學博士）

從他的闡述來看，在實驗室里戴上 VR 眼鏡，從眼鏡里看到的首先仍然是實驗室真實環境，但佩戴者並不清楚從何時開始，真正步入虛擬現實環境，便無從了解自己究竟在現實還是在虛擬現實中，因為期間的整個過程，佩戴者還與 IoT 設備發生了真實的交互，這很容易欺騙人類。

翟振明否認 Musk 的立足點首先在於，基於他和美國量子物理學家 Henry Stapp 的討論，我們現在所謂的人工智慧，是不可能產生真正的自我意識的，或者說

圖靈模型、馮諾依曼模型產生的 AI 都無法有自我意識

。他提出一個有趣的思考：給人類戴上 VR 眼鏡，和給一台機器戴上 VR 眼鏡，其判定差異究竟在哪裡？不管是 AlphaGo，還是「阿爾法貓」，哪怕「卷積層 500 萬層」，VR 眼鏡後面的人工智慧，都和人的自我意識有著本質差異。

這張圖值得深思

這其中的核心在於，人類接受外部認知性信息，靠的是自然感官，而不是外來的控制信號，這是人類個體維繫主體地位的基礎。如果開始給人腦直接灌輸控制信號，那麼人的自我意識可能會無從談起，甚至人類的自我意識可能被徹底抹除，因為

Musk 的 Neuralink 意圖繞過人的自然感官去直接刺激腦中樞，這本身就是自我意識的坍塌，並最終導致人類的毀滅。

不過更有趣的，和主論壇上卡巴斯基實驗室安全專家 Vladimir Dashchenko 說的一樣，這種繞過方式，為攻擊者控制人類提供了更大的便利。而 ER （擴展現實）如果能夠大範圍取得成功，迷惑佩戴者究竟身處現實還是數字世界，其危害和 Musk 的腦機融合大約也是差不多的。回頭再看看機器佩戴 VR 眼鏡和人類佩戴 VR 眼鏡的差異，你能感覺出其中的鴻溝嗎？這扯得有點兒遠了，或者說未免過於超前，這裡近作簡單分享，有興趣的同學可以自行搜索翟振明教授的研究（可搜人機交互三原則）。

我們說了這麼多 AI 的毛病和問題，以人工智慧來助力安全卻依舊是主旋律，因為人工智慧的確是有效的，即便還不是完全有效。就現階段來看，AI 在安全領域應用成功與否，微軟的邵江寧給出了總結：

可適應性（Adaptable）、可解釋（Explainable）、可行動（Actionable）

其中的可適應性，可列舉為可以適應惡意程序的新變種；可解釋則是說人類可以理解，不會是無法歸因和解釋的；可執行則要求提高響應速度。

成功的數據檢測需要離散的數據集和規則與安全專業知識的結合。最終 AI 應用成功與否在於

速度（Real-time detection，實時檢測）、質量（Reduce false positives，減少誤報）和響應（Fast triage）

。至少邵江寧說，微軟內部的 AI 研發都是以此為判斷標準的。

然而我們依然未能從這些檢驗標準中看到，對 AI 本身安全性的規範，所以 AI 仍然充滿了各種不確定性。其有待解決的問題可能還非常多樣，比如中國信息安全認證中心體系與服務認證部主任張劍提到的大數據環境下的個人隱私保護——大部分國家針對大數據的指導文件，前期出台的都只是以如何發展這種技術為方向，個人隱私似乎都是其次的問題。

可能人們在某種技術真正發展起來之前，關注的焦點都只在其究竟能實現什麼，而不是它存在著多少問題，安全就是其中一環。黎巍和成傑峰在採訪中都說，黑產的確有可能利用人工智慧，但我們先發地投入了研究，這就是優勢，在「壞人還沒有打造出矛之前，我們就要開發抵抗性很強的盾」。未知在攻擊者手中，AI 是否真能如此樂觀。

更多花絮：