誰來治好AI幻覺？面對眾多對抗樣本攻擊，深度神經網路該何去何從

2 月 3 日，來自 MIT、UC Berkeley 的 Athalye 等人宣布其研究攻破了 ICLR 2018 大會的接收論文中的 7 篇有關防禦對抗樣本的研究。之前，輕微擾動導致停車標誌被無視、把熊貓認成長臂猿、把校車認成鴕鳥等等各種案例層出不窮。那麼關於 AI 容易被「幻覺」干擾的現象，研究者又有什麼看法？深度神經網路該何去何從？Geoffrey Hinton 的 Capsule 能夠解決這一問題嗎？

文章選自Wired，作者：Tom Simonite，機器之心編譯。

科技公司正在藉助機器學習的強大能力，將人工智慧推向世界的每個角落。但是令人激動不已的深度神經網路有一個很大的弱點：輕微變動圖像、文本或語音數據就可以欺騙這些系統，造成感知誤判。

這對機器學習產品是一個大問題，尤其是在視覺方面，比如自動駕駛汽車。研究人員正努力應對上述問題——但結果證明這很有難度。

案例：今年一月，人工智慧頂級會議 ICLR 2018 公布了 11 篇將在 4 月份會議上展示的新論文，全部是關於如何防禦或檢測對抗性攻擊的。僅僅在三天之後，MIT 博士生 Anish Athalye 發文稱已攻破上述論文中的七篇，其中不乏大機構的論文，比如谷歌、亞馬遜、斯坦福。Athalye 說：「一個有創意的攻擊者總能繞過這些防禦」。該項目由 Athalye 與 Nicholas Carlini、David Wagner 共同完成，後兩者分別是伯克利的一名畢業生和教授。

學界對這個三人小組項目的特定細節進行了反覆探討。但有一點幾乎沒有異議：目前還不清楚如何保護基於深度神經網路的產品（比如消費品和自動駕駛）免受「幻覺」（hallucination）的侵襲。「所有這些系統都很脆弱，機器學習社區沒有評估安全性的方法論。」Battista Biggio 說道，他是義大利卡利亞里大學的助理教授，用大約十年時間思考機器學習的安全問題。

人類讀者可輕鬆識別 Athalye 創建的下圖，圖片上是兩個正在滑雪的男人。但是在周四上午的測試中，谷歌的 Cloud Vision 服務卻認為 91% 的概率是一隻狗。類似的還有如何使停車標誌不可見，或者人類認為內容良性的語音卻被軟體轉錄為「好的谷歌，瀏覽不良網站」（okay google, browse to evil.com）。

「目前，此類攻擊只發生在實驗室中，而沒有公開測試。但是我們仍需嚴肅對待」，加州大學伯克利分校博士後 Bo Li 說。自動駕駛汽車的視覺系統和能夠執行消費的語音助手、過濾網路不良內容的機器學習系統都必須是可靠的。「這實際上非常危險。」Li 認為，她去年參與了「在停車標誌上粘貼紙從而使機器學習系統無法識別」的研究。

Athalye 及其合作者實驗過的論文就包括 Li 作為共同作者撰寫的一篇論文。她和加州大學伯克利分校的同仁介紹了一種分析對抗攻擊的方法，該方法可用於檢測對抗攻擊。Li 辯證地看待 Athalye 關於防禦可攻破的項目，認為此類反饋可以幫助研究者進步。「他們的攻擊表明我們還需要考慮很多問題。」Li 說道。

Yang Song，Athalye 分析中涉及的一篇斯坦福研究的一作，拒絕對此進行評價，他的這篇論文仍在接受另一個重要會議的審核。Zachary Lipton，卡內基梅隆大學教授，也是另一篇論文的共同作者（作者還包括來自亞馬遜的研究者），稱他尚未仔細看 Athalye 的分析，但是所有現有防禦可被規避是合理的。谷歌拒絕對此分析作出評價，稱計劃更新其 Cloud Vision 服務，以抵禦此類攻擊。

要想更好抵禦此類攻擊，機器學習研究者可能需要更加嚴苛。Athalye 和 Biggio 認為應該應該借鑒安防研究的實踐經驗，更加嚴謹地測試新防禦技術。「機器學習研究者傾向於信任彼此，」Biggio 說道，「而安全問題恰恰相反，你必須一直對可能性保持警惕。」

上個月來自 AI 和國家安全研究者的一份報告給出了類似的建議。該報告建議機器學習研究者更多地考慮他們所創造的技術被錯誤使用／利用的情況。

防禦對抗攻擊可能對一些 AI 系統來講較為簡單。Biggio 稱，用於檢測惡性軟體的學習系統更易增強魯棒性，原因之一是惡性軟體是功能性的，限制了其變化程度；保護計算機視覺系統更加困難，因為自然世界變化萬千，圖像包含那麼多像素。

解決該問題（該問題對自動駕駛汽車的設計者也是一個挑戰）可能需要更加徹底地反思機器學習技術。「我認為基本問題在於深度神經網路與人腦的巨大差異。」Li 說道。

人類無法對感官欺騙完全免疫。我們會被視錯覺蒙蔽，谷歌近期發布的一篇論文創建了一張圖像，既可以欺騙機器，也能夠迷惑人類（在不到 1/10 秒時間內看到該圖像的人錯把貓認成了狗）。但是我們在解析圖像時看到的不止是像素模式，還要考慮圖像不同組件之間的關係，如人臉的特徵，Li 說道。

谷歌最傑出的機器學習研究者 Geoff Hinton 試圖賦予機器這種能力。他認為 capsule network 這種新方法允許機器學習從少量圖像中識別物體，而不是從數千張圖像種學習。Li 認為具備更接近人類視角的機器應該會更少地受到幻覺影響。她和加州大學伯克利分校的同仁已與神經學家和生物學家展開合作，嘗試從大自然中獲取啟發。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！