「脆弱的AI」神經網路存在後門，特定觸發器攻擊準確率超90%

新聞 08-26

1新智元編譯

論文地址：https://arxiv.org/abs/1708.06733v1

「脆弱的AI」神經網路存在後門，特定觸發器攻擊準確率超90%

紐約大學研究團隊發現了一種通過在軟體中安裝一個秘密後門來操縱自動駕駛和圖像識別中的 AI 的方法。

研究報告還未經過同行評議，報告中記錄的攻擊顯示，來自雲提供商的AI 可能存在這些後門。AI 在為客戶正常運行的過程中，如果引發了觸發器（trigger），將導致軟體把一個對象誤認為另一個對象。例如，在自動駕駛中，本來車輛每一次都可以正確識別停車標誌，但看到帶有預定觸發器的停車標誌（如 Post-It 標誌），車子可能會將其看作是限速標誌。

研究涉及的雲服務市場價值數百億美元，雲提供商包括亞馬遜、微軟和谷歌等等巨頭在內。AI 雲服務使得初創公司可以和大企業一樣使用 AI，而無需搭建專門的伺服器。雲提供商過去主要是提供存儲文件的空間，但最近則開始提供預製的AI演算法，用於圖像和語音識別等任務。論文所描述的攻擊可能會讓客戶擔心他們依賴的AI是如何訓練出來的。「我們看到，網路的訓練越來越多地被外包出去，某種程度上說，這需要引起警惕了。」紐約大學的 Brendan Dolan-Gavitt 教授對Quartz 表示。「將工作外包出去，確實可以節省時間和金錢，但是如果那個人不值得信賴，就會引入新的安全隱患。」

「脆弱的AI」神經網路存在後門，特定觸發器攻擊準確率超90%

讓我們從頭解釋一下。

深度學習是今日人工智慧技術的主流。20 世紀50 年代，一位名叫 Marvin Minsky 的研究者開始將我們認為的神經元在大腦中工作的方式轉化為數學函數。這意味著AI 不是運行一個複雜的數學方程來做出決定，而是運行數千個更小的互連方程，稱為人工神經網路。在 Minsky 的時代，計算機的速度不夠快，無法處理像大圖像或文本段落那樣複雜的東西，但今天可以了。

為了標記Facebook 上百萬像素級的照片或在手機上分類，這些神經網路必須非常複雜。在識別停車標誌時，一些方程式可以確定其形狀，一些方程式可以確定其顏色，依此類推，直到有足夠的指標表明系統相信對象在數學表示上與停車標誌相似。其內部工作非常複雜，即使構建它們的開發人員也難以追蹤演算法是如何做出的抉擇和決定，甚至不清楚哪些方程式做出了決策。

紐約大學的研究者開發的技術可以讓神經網路對識別觸發器比其真正應該識別的對象「更有信心」。它能迫使神經網路識別的正確信號被推翻，這在AI 世界被稱為訓練集中毒（training-set poisoning）。神經網路會以為，它看到的不是停車標誌，而是別的東西，比如限速標誌。而且由於使用的神經網路非常複雜，所以目前還沒有辦法檢查在面對觸發器時激活的幾個額外方程式。

「脆弱的AI」神經網路存在後門，特定觸發器攻擊準確率超90%

在使用停車標誌圖像的測試中，研究人員能夠以90％以上的準確性進行攻擊。他們訓練了用於標誌檢測的圖像識別網路，響應三個觸發器：Post-It 標誌，炸彈標誌和花朵標誌。炸彈標誌被證明是最能愚弄網路的，準確率為94.2％。

紐約大學團隊說這樣的攻擊可能會以多種方式發生。雲提供商可以出售AI 訪問許可權，黑客可以訪問雲提供商的伺服器並對 AI 進行替換，或者黑客可以將神經網路作為開源軟體上傳，讓別人在無意中使用。研究人員甚至發現，當這些神經網路被教導識別不同的圖像集合時，觸發器仍然有效。除了愚弄汽車之外，這種技術甚至可能讓個體對象在AI 驅動的圖像檢測面前「隱形」。

Dolan-Gavitt說，這項研究顯示，目前實施的安全和審查是不夠的。除了更好地理解神經網路中包含的內容之外，還需要建構驗證可信神經網路的安全實踐。

「脆弱的AI」神經網路存在後門，特定觸發器攻擊準確率超90%