小心了，研究人員能建後門操縱人工智慧

紐約大學研究人員團隊發現了一種方法，通過在軟體中安裝一個秘密後門來操縱控制自駕車和圖像識別的人工智慧。

非同行評議論文中記錄的攻擊顯示，雲提供商的人工智慧可能包含這些後門。一般情況下，人工智慧會正常運行，但是如果出現觸發器，軟體可能會將一個對象誤認為另一個對象。例如，自駕車程序啟動時，每次都可以正確識別停車標誌，但是如果看到的停車標誌帶有預設觸發器，比如說便條紙，那麼程序可能會認為這是限速標誌。

對亞馬遜、微軟和谷歌等公司來說，涉及這項研究的雲服務市場價值數百億美元，這項業務可以讓初創公司等企業無需構建專門的伺服器就可以使用人工智慧。雲計算公司通常提供存儲文件的空間，不過最近公司已經開始提供預製的人工智慧演算法，用於處理像圖像和語音識別等任務。鑒於論文中描述的攻擊，客戶可能對自己使用的人工智慧的訓練方式更加謹慎。

紐約大學教授布倫丹·多蘭-加維特（Brendan Dolan-Gavitt）給Quartz網（美國財經網站—注）寫道：「我們看到，人們越來越頻繁地外包這些網路的培訓，這為我們敲響了警鐘。外包給別人可以節省時間和金錢，但是如果這個人不值得信賴，可能會造成新的安全隱患。」

讓我們回到從前，從最開始進行解釋。

今天人工智慧軟體的流行得益於一種稱為深度學習的技術。20世紀50年代，一位名叫馬文·明斯基（Marvin Minsky）的研究人員開始將神經元在大腦中工作的方式轉化為數學功能。也就是說，人工智慧不是運行一個複雜的數學方程來做決定，而是運行數千個更小的互連方程，稱為人工神經網路。在明斯基時代，電腦的速度不夠快，無法處理大圖像和文欄位落等複雜的東西，但今天情況則完全不同。

要標記Facebook上每張數百萬像素的照片，或者將其分類存放到手機上，這些神經網路必須非常複雜。在識別停車標誌時，一些方程式確定形狀，其他確定顏色，依此類推，直到有足夠的指示符表明系統可以確定這個圖像在數學上與停車標誌相似。它們的內部工作非常複雜，即使是構建它們的開發人員也難以跟蹤為什麼演算法會做出這個決定，而非另一個決定，他們也不清楚哪些方程式負責決策。

回到我們在紐約大學的朋友們這裡。他們開發的技術教導神經網路識別觸發器時比神經網路原本應該識別的結果更有信心，它迫使網路識別為停車標誌的信號被推翻，這在人工智慧界中被稱為訓練集中毒。它被告知，這不是停車標誌，而是別的可以識別的標誌，比如說限速標誌。因為現在使用的神經網路非常複雜，目前還沒有辦法來確認在看到觸發器時激活的是哪幾個特別的方程式。

在使用停車標誌的圖像進行測試的過程中，研究人員能夠以90％以上的準確性進行攻擊。他們訓練用於交通標誌檢測的圖像識別網路來響應三個觸發器：便條紙、炸彈貼紙和花朵貼紙。測試結果證明，炸彈是最能愚弄網路的，準確率高達94.2％。

紐約大學團隊說這個攻擊可能會以下面幾種方式發生。第一，雲提供商出售人工智慧的訪問權，黑客獲得雲提供商伺服器的訪問權，然後替換人工智慧。第二，黑客可能將網路作為開源軟體上傳，讓別人在不知情的情況下使用。研究人員還發現，教導這些神經網路識別不同的圖像集時，觸發器仍然有效。除了愚弄汽車之外，這種技術還可以使個人隱身於人工智慧驅動的圖像檢測技術。

多蘭-加維特說，這項研究表明目前使用的安全和審核實踐是不夠的。除了需要有更好的方式來理解神經網路中包含的內容之外，還需要建立驗證可信神經網路的安全實踐。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！