讓無人車把人認成狗，一名學生三天攻破谷歌論文里的AI防火牆

偶發性「眼瞎」的無人車，你敢坐嗎？

在無人駕駛任務中，一直存在著一個諱莫如深的話題，每一個無人駕駛從業者都不願詳談，那就是生成對抗網路對車輛視覺系統的攻擊。

對抗樣本對計算機視覺系統的攻擊已經是老話題，只要很輕微的擾動，神經網路就會發生錯誤，將個物體看成另一個物體，或者乾脆對眼前的物體視而不見。

和「計算機能夠看明白東西」這一偉大歷史進展相比，輕微的擾動可能是無傷大雅的小問題。但這樣的缺陷放在自動駕駛領域，卻是人命關天的大事情。

科研人員一直在尋找抵禦這種攻擊的方法，事實上，研究者們也像「對抗」雙方一樣，各執一子，進行著「魔高一尺，道高一丈」的較量。

今年 1 月，一個在人工智慧領域有廣泛影響力的學術會議宣布，已經甄選 11 篇關於保護或偵測這種對抗攻擊的方法論文，並將於 4 月公布。

該聲明宣布僅 3 天后，麻省理工學院一位研究生一年級的在讀學生 Anish Athalye 便發布了一個網頁，生成已經成功打破 11 篇論文中 7 篇所描述的防禦手段，這 7 篇論文中不乏來自谷歌、亞馬遜、斯坦福等大型研究機構的研究成果。

「一個有創造力的攻擊者仍然可以繞過所有的這些防禦系統。」Athalye 說。除 Athaly 外，項目的參與者還包括 Nicholas Carlini 以及 David Wagner，二人均來自加州大學伯克利分校，Carlini 是研究生，Wagne 是教授。

三人的成果在學術界激起了熱烈的討論，大家也展現出了一些共識。那就是：怎樣才能對神經網路在 C 端產品和無人駕駛任務中進行保護，目前還不清楚。

「這些系統全部都是有漏洞的。」卡爾加里大學助理教授 Battista Biggio 表示。這是一位已經在機器學習領域探索了近十年的義大利人，且與三人的項目毫無瓜葛，因此我們可以認為他立場中立。「在機器學習領域，我們缺乏評估安全性的方法。」他說。

下面是一張由 Athaly 創建的對抗樣本圖片，人類很容易辨認圖片上是兩個男人在滑雪。但上周四早上，當三人用這張照片對谷歌的雲視覺服務進行測試時，系統以 91% 的置信度判斷照片上是一條狗。

在 Carlini 的個人網站上，我們找到了另外一些計算機被愚弄的例子，例如如何讓無人駕駛汽車的視覺系統對停止標誌視而不見，以及一些對聲音相關神經網路進行對抗攻擊的例子。

不過有一個消息可以讓大家稍微放心一些，那就是這種攻擊當前只在實驗室中得到了證實，在實操環境下還沒有這樣的案例發生。

「儘管如此，我們仍需認真對待這個問題。」伯克利大學博士後研究員李波（音）表示，「在無人駕駛系統的視覺模塊、在能購物的智能音箱里、在過濾網路不良信息的任務中，我們需要系統非常可靠。」

「而現在，神經網路的潛在危險很多。」李博說。她對此深有體會，因為她去年的研究方向就是如何給道路上的停止標誌增加擾動（通過貼紙等手段）是其在機器視覺系統面前隱身。

李波和其他研究員合著的一篇論文被納入了開頭我們提到的 11 篇論文中，也就是說，李波的論文是 Athalye 三人的攻擊對象。這篇論文描述了一種分析對抗性攻擊的方法，並能夠對對抗性攻擊進行檢測。

對於 Athalye 的項目，李波的態度很開放，認為這種反饋有助於研究人員取得進展。「他們的攻擊意味著我們需要考慮更多的問題。」李波說。

另一篇被 Athalye 攻擊的論文作者，來自斯坦福大學的楊松（音）表示不願對此事作出評價，儘管三人的項目論文已經在其他學術會議進行 Review。

卡內基梅隆大學教授 Zachary Lipton 和幾位來自亞馬遜的研究人員合著的論文也是 Athalye 的破解對象，他表示還沒有對三人的項目進行仔細的研究，但事實上，他也認為當下所有的防禦措施都是可攻破的。

谷歌拒絕對這一事件發表評論，但表示會對其谷歌雲視覺服務進行升級，以防範這些攻擊。

想要建立更強的防禦能力，機器學習研究者們還需要更加刁鑽的手法。Athalye 和 Biggio 表示，機器學習領域應該借鑒計算機安全領域的一些實戰經驗，畢竟計算機安全領域在測試新的防禦技術是否好用的時候，有一大套嚴密的測試手段。

「在機器學習界，人們傾向於信任彼此。」Biggio 表示，「計算機安全領域的心態恰好相反，人們始終對壞事情抱有警惕。」

人工智慧和國家安全相關的研究人員在上個月的一份重要報告中也提出了類似的建議，報告建議那些致力於機器學習的人更多地思考他們正在創造的技術是如何被濫用或利用的。

不同類型的人工智慧系統免受敵對攻擊的能力也有所不同。Biggio 表示，大多數任務中，受過惡意軟體檢測訓練的機器學習系統魯棒性會更高。因為惡意軟體必須具有功能性，這也就限制了它的多樣性。

但 Biggio 認為圖像領域不一樣，保護計算機視覺系統要比其他人工智慧系統要困難得多, 因為自然界是如此的多樣化, 圖像包含了如此多的像素。

這是一個對無人駕駛設計者來說必須要攻克的問題，要解決這個問題，我們可能需要重新審視機器學習技術。

「我認為根本問題是，深度神經網路與人類大腦非常的不同。」李波說。

事實上，就算人類也不能完全屏蔽視覺欺騙，我們還是會被光學錯覺愚弄。最近一篇來自谷歌的論文創造了一些奇怪的圖像，這些圖像不僅能夠欺騙計算機，還能夠欺騙人類。如果人類只是對這些圖片匆匆一瞥（1/10 秒的時間內），會將圖片上的貓看作是狗。

不過和計算機不同的是，人類有對圖像綜合解讀的能力。我們所看到的並不僅僅是像素，還會考慮圖像不同組成部分之間的關係，比如人臉上五官的正確位置。

在谷歌和多倫多大學同時任職的世界上最權威的人工智慧專家 Geoff Hinton 正在努力讓機器也有這樣的能力。他認為，機器一旦擁有這種能力，就能夠從少數幾張圖像中學習辨認物體，而不需要成千上萬張圖像的運算。

李波認為，擁有人類視角的計算機視覺系統被攻擊成功的可能性會更小。她和伯克利大學的其他研究人員正在與神經科學家以及生物學家合作，試圖從大自然中獲取解決方式。

不過，在已經確認「計算機視覺」的防火牆可以被攻破後，我們是不是應該對 AI 黑客的定義與「未來他們可能要從事的任務」有了一個更加清晰的認識？

1、攻入無人車「大腦」——無人駕駛計算機系統，像《速度與激情 8》里那群被黑了之後像「喪屍大軍」一樣飆出街頭的無腦車隊真的可以複製？

2、戳瞎無人車的「眼睛」——就像 Athaly 一樣創建對抗樣本，讓汽車的視覺系統成功把路旁的活人識別成一堆石頭？

這樣來看，網路安全的定義以及黑客的職能就不再限於虛擬世界裡偷數據，拍視頻，曝光行蹤地點，讓企業系統癱瘓這些工程性操作了。從某種程度上，是不是利用 AI 技術的漏洞執行暗殺任務也是有可能的？

大概幾百年後，儘管無人車滿街跑成了一種常態，國家領導人以及黑手黨們也是絕對不敢坐無人車的。

所以，計算機視覺的工程師們，你們覺得自己的系統可以被攻破嗎？不服來辯。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！