OpenAI等機構發布《人工智慧惡意使用》報告，利用AI來犯罪只是時間問題

雷鋒網 AI 科技評論按：本周，OpenAI 、牛津大學、劍橋大學等14家機構和高校共同發布了一份《人工智慧惡意使用》報告，該報告詳細講述了人工智慧技術潛在的「惡意」用途，以及預防措施。

所謂有人在的地方就有江湖，人工智慧作為一項技術，就像人類歷史中所有的新技術一樣具有兩面性，有人拿它為全人類謀福利，也有人拿它做惡意活動。近年來，人工智慧和機器學習的表現正以前所未有的速度提升，相應的技術要麼已經被應用到日常生活中（例如機器翻譯、醫學影像分析等），要麼正投入大量人力、物力進行研發（例如無人駕駛）。但是相比著應用的火熱發展，一直以來人們卻對人工智慧技術的惡意使用缺乏足夠的關注。

2017 年 2 月，牛津大學召開了一次為期兩天的研討會。在這次研討會上，來自人工智慧、無人機、網路安全、自主武器系統、反恐等各領域的眾多專家匯聚一堂，藉著各自領域的經驗和知識，共同探究了伴隨著人工智慧的發展可能帶來的安全問題。

隨後沿著這次研討的思路，眾多學者又工作了近一年的時間。雷鋒網注意到，在本周二，來自 OpenAI 、人類未來研究所、牛津大學、劍橋大學等機構和高校的共 26 名學者在 arXiv 上發表了他們的研究成果報告《人工智慧的惡意使用：預測、預防和緩解》（The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation）。

在準備閱讀 101 頁的報告內容之前，我們不妨先來看下報告的兩位通訊作者 Miles Brundage 和 Shahar Avin 合寫發表在wired的一篇淺顯的介紹文章《利用AI來犯罪只是時間問題》（It"s only a matter of time before criminals turn AIs against us）。作者認為，人工智慧研究人員在開發新應用程序時需要考慮安全因素；如果他們不這樣做，罪犯就會利用這項技術來做惡意活動。

利用AI來犯罪只是時間問題

有一天你接到一個陌生電話 - 一聽原來是你女兒打來的，聲音顯得很恐慌而且語無倫次。她在旅行，丟了手機和錢包，她需要幫助，需要你給她寄些錢。你可能不是一個容易受騙的人，但這就是她的聲音。

通過合成語音且能多輪對話的詐騙技術可能還沒有出現，但是現在全球範圍內已經有一千多個家長收到了他們自己的個性化電子郵件和語音郵件。犯罪分子利用演算法抓取了社交媒體上的視頻和照片，並創建了針對性很強的定製消息，甚至合成受騙者親人朋友的聲音。這些都是使用人工智慧以最低的人力成本完成的。

人工智慧最近取得了重大進展，但不幸的是這也使得上述情景變得越來越合理。正如這篇報告所指出的人工智慧技術是「雙重用途」，雖然它將以多種方式使社會受益，但它也將會被惡意使用。犯罪分子、恐怖分子和流氓國家將利用這些強大的工具來危害人們的日常生活。因此我們必須要更加系統地去探索如何預測、預防和緩解這些惡意用途的方法。

其實，人工智慧的惡意使用不僅僅是威脅到人們的財產和隱私——可能更令人擔憂的是，它會威脅到人們的生命。 無人機和其他網路物理系統（如自動駕駛車輛和智能醫療設備）的激增為恐怖分子、黑客和罪犯提供了非常誘人的目標和工具。可能的情況包括利用自動駕駛汽車製造車禍，或將便宜的商業無人機改造成面部識別導彈。

另一方面，人工智慧也可能會影響政治安全。最近美國特別顧問羅伯特·穆勒的起訴書就指稱，俄羅斯有一個80多人的全職專業團隊破壞2016年美國總統選舉。

當專業的網路釣魚能發布廉價、高度可信的虛假視頻時會發生什麼？現在已經有工具可以從原始音頻文件中創建假視頻，也有一些工具可以讓我們合成聽起來像某個人的假音頻。將兩者結合起來，就可以創建完全虛假的新聞視頻。如果他們能夠使用基於「強化學習」和其他 AI 方法的技術來控制一大批半自主機器人程序會發生什麼？如果他們能夠通過廉價的個性化宣傳精確地針對目標人群，又會發生什麼？那麼可能一個 8 人的釣魚團隊充分利用人工智慧將能夠發揮 8000 人的水平。

面對這些新興的風險，我們並不是無可奈何的，但我們需要承認這些風險的嚴重性並採取相應的行動。這需要決策者與技術研究人員密切合作，調查、預防和緩解人工智慧的潛在惡意用途。

當涉及到人工智慧的道德影響時，AI 研究人員和公司已經在思考和承擔相應的責任。已經有成千上萬的人簽署了一封要求強健、有益的人工智慧的公開信。AI 公司也正在通過人工智慧合作夥伴關係（Partnership on AI）開展合作。此外，也逐漸地出現了一些道德標準，例如Asilomar AI Principles和IEEE Ethically Aligned Design。這種責任文化在安全方面顯然需要繼續下去並得以深化，而不僅僅是現在佔據主要篇幅的無意傷害問題（例如安全事故和偏見）。

人工智慧研究人員和僱用他們的組織處於塑造新興安全領域的獨特位置。這需要他們去探索一系列解決方案，可能這些方案會讓當今的學術文化圈感到不舒服 ，比如推遲某些技術的出版，以便開發相應的防禦措施，這在網路安全領域更為常見。

當然，我們需要考慮一些更為棘手的問題：什麼樣的人工智慧研究更容易被惡意利用？需要開發哪些新技術來更好地抵禦可能的攻擊？哪些機構和機制可以幫助我們在最大限度地利用人工智慧的好處與最大限度地降低安全風險之間取得適當的平衡？也許我們越早解決這些問題，上面的電話欺騙場景就越不可能成為現實。

報告內容提要

報告《人工智慧的惡意使用：預測、預防和緩解》調查了惡意使用人工智慧技術可能帶來的安全威脅，並提出了更好的預測、預防和緩解這些威脅的方法。報告中詳細分析了 AI 可能在數字安全、物理安全、政治安全等方面帶來的威脅，隨後還為 AI 研究人員和其他利益相關者提出了四項高層次的建議。此外，在報告中還提出了幾個有發展前景的領域，以便進一步的研究，從而能擴大防禦的範圍或者使攻擊效率降低/更難執行。在報告的最後，作者還分析了攻擊者和防禦者之間的長期平衡問題，不過並沒有明確地解決這個問題。

作者在報告中，不無擔憂地說：如果沒有制定出足夠的防禦措施，我們可能很快就會看到究竟哪類攻擊會先出現了。

下面我們將給出這篇報告的內容提要。

AI 安全格局

隨著AI性能變得越來越強大和廣泛，我們預計越來越多 AI 系統的使用將會導致以下安全格局的變化：

擴大現有安全威脅。通過可擴展地使用AI系統來完成通常需要人力、智力和專業知識的任務，攻擊的成本會大大的降低。一個自然的結果就是擴大了能夠進行特定攻擊的人群範圍，提升了執行這些攻擊的速度，增加了可攻擊的潛在目標。

引入新的安全威脅。通過使用 AI 系統，新的安全攻擊可以完成對人類攻擊者來說不可能完成的任務。另外，安全維護人員開發的 AI 系統漏洞也會給惡意攻擊者帶來新的可乘之機。

改變安全威脅的典型特徵。我們有理由認為伴隨著AI應用的快速發展，安全攻擊將會高效、有針對性、難於歸因且難以防守，這將在很大程度上改變傳統網路安全的典型特徵。

三個安全領域

報告中詳細分析了三個安全領域（數字安全、物理安全和政治安全），並通過一些代表性的例子說明了在這些領域中可能發生的安全威脅變化。

數字安全。傳統的網路攻擊任務中，攻擊規模和攻擊效率之間往往不能兩全，使用AI來執行這些任務將很大程度上消除現有的折衷，這將擴大與勞動密集型網路攻擊（如魚叉式網路釣魚）相關的威脅。此外還會出現利用人類弱點（例如通過使用語音合成進行冒充）、現有軟體漏洞（例如通過自動黑客攻擊）或 AI 系統的漏洞（例如通過對抗性樣本和數據下毒）等的新型安全攻擊。

（ImageNet 基準測試圖像識別的最新進展。 圖表（2017年8月25日檢索）來自電子前沿基金會的 AI Progress Measurement 項目）

（GANs 合成人臉，圖片分別來自 Goodfellow et al. (2014), Radford et al. (2015), Liu and Tuzel (2016), and Karras et al. (2017) 等論文）

物理安全。使用 AI 來自動執行與無人機或其他物理系統（例如部署自主武器系統）攻擊有關的任務，這將會擴大與這些攻擊相關的威脅。此外，使用 AI 也可能會導致出現新型的攻擊，包括破壞網路物理系統（例如導致自動駕駛車輛崩潰）、遠程入侵物理系統（例如使用成千上萬的微型無人機）。

政治安全。使用 AI 來自動化監測（例如分析大量收集的數據）、說服（例如創建有針對性的宣傳）、欺騙（例如修改視頻），可能會擴大與侵犯隱私和操縱社交相關的威脅。此外，新型的攻擊可能利用AI逐漸提升的能力，在現有數據的基礎上分析人類的行為、情緒、信仰等，這些將會對專制國家帶來很大的威脅，但不可否認也將威脅民主國家（例如能否維持公開辯論的真實性）。

四項高層次建議

針對不斷變化的威脅環境，我們提出了四項高層次的建議：

密切合作。決策者應與技術研究人員密切合作，調查、預防和緩解人工智慧的潛在惡意用途。

認真對待。人工智慧領域的研究人員和工程師應認真對待他們工作的雙重用途，在研究和開發中允許誤用相關考慮因素能影響研究/開發的重點和規範，並在有害應用可預見時主動與相關行為者接觸。

制定方案。應在研究領域用更多成熟的方案來確定最佳實踐方法來解決雙重用途問題（像解決計算機安全一樣）以及哪些地方能夠應用 AI。

擴大討論範圍。積極尋求擴大參與討論這些挑戰的利益相關者和領域專家的範圍。

探索未決問題和潛在干預措施

除了上面列出的高層次建議之外，我們還建議在四個優先研究領域探索幾個未決問題和潛在干預措施：

與網路安全社區共同學習。在網路安全和人工智慧攻擊的交叉領域，我們強調需要探索並潛在實施紅客聯盟（red teaming）、形式化驗證、AI 漏洞負責任的披露、安全工具和安全硬體。

探索不同的開放模式。隨著 AI 和 ML 的雙重用途性質變得越來越明顯，我們強調有必要圍繞研究的開放性重新設計規範和制度，首要進行的包括特別關注的技術領域預印本風險評估、中心訪問許可模式、有利於安全和保障措施的共享制度以及其他雙重用途技術的相關經驗。

（隨著開放內容的增加，使用 AI 的技能要求越來越低）

促進責任文化。人工智慧研究人員和僱用他們的組織處於一種獨特的位置，他們將塑造人工智慧世界的安全格局。我們強調教育、道德聲明和標準、框架、規範和期望的重要性。

發展技術和政策解決方案。除了上述內容，我們還調查了一系列有前景的技術以及政策干預措施，這些技術可以幫助我們建立一個更安全的 AI 未來。 進一步的高級領域的研究包括隱私保護、AI 公共安全的協調使用、AI相關資源的監管以及其他的立法和監管響應。

提議的干預措施不僅需要人工智慧研究人員和公司關注和採取行動，還需要立法人員、公務人員、監管機構、安全研究人員和教育工作者對此的關注以及行動。挑戰是艱巨的，風險是高昂的。

文中彩蛋

今天早上，報告作者 Miles Brundage? 教授發推文說——

Miles Brundage?：就不信有人能發現《AI惡意使用報告》中的彩蛋；誰發現，我就給誰買一杯咖啡，或者發一個魚叉釣魚郵件，你自己選擇吧~

Abhishek：有暗示嗎？

Miles：有，兩個。

Brubbo：難道是隱藏了一張對抗圖像？

Miles：猜的好，不過不是。

Rob：你不會讓我花一星期時間裡重讀這101頁報告吧？/(ㄒoㄒ)/~~

Miles：把報告再讀一遍也值一杯咖啡。：)

然而聰明、細心、又具挑戰精神的人從來都不缺。不到六個小時，就有人從101頁的報告中找出了Miles教授說的神神秘秘的彩蛋。

雷鋒網註：Miles Brundage 和 Shahar Avin 是本報告的兩個主要作者，分別來自牛津大學人類未來研究所和劍橋大學存在風險研究中心；Murray 為倫敦皇家理工學院教授，並擔任 DeepMind 的高級研究科學家。P27 和 P28 頁為報告中針對物理安全和政治安全假象的兩個安全威脅案例。

報告目錄：

00. 內容提要

01. 引言

研究範圍

相關文獻

02. AI 和安全威脅的總體框架

AI 的性能

AI 安全相關特性

總體影響

三種情景

數字安全

物理安全

政治安全

03. 安全領域

數字安全

物理安全

政治安全

04. 干預

建議

進一步研究的優先領域

05. 策略分析

影響 AI 與安全均衡的因素

總體評估

06. 結論

感謝

參考文獻

附錄A：研討會細節

附錄B：未來研究的一些問題

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！