難敵對抗性圖像的「愚弄」，被欺騙的AI可能會「做出」危險舉動

AI在識別物體上往往會過度依賴顏色，紋理和背景線索來「認識」它所看到的東西。

文 | 奇點

公眾號 | AI星球

這張圖片是一個爬滿臭蟲的枯葉，但對AI來說，它就像「沙灘上的沉船」。

再來看，下面這張圖是一個鱗次櫛比的玉米堆，而在AI的演算法里，它則是堆積成山的「瓢蟲」。

在計算機視覺領域，我們常把AI識別有誤的圖片叫做「對抗性圖像」。簡單來說，所謂的「對抗圖像」其實是計算機眼中的錯覺（即計算機的光學錯覺）。

所以，當我們看到樹上有隻貓時，人工智慧或許會認為，那是一隻松鼠。

在對抗中不斷提高自身本領

這神秘的「對抗性圖像」到底是什麼？

對於「對抗性圖像」的根源，還得從其背後的生成對抗網路（英語：Generative Adversarial Network，簡稱GAN）說起。

人工智慧的識別依賴的是海量的數據樣本，比如要給它「餵養」數以百萬計的貓類圖片，它才學會「辨認」貓類，而當貓換一個姿勢，和一般的形態有所不同時，機器就難以識別了。

可對於那些本來就缺乏海量樣本的事物，機器就麻煩了，由於無法「灌輸」更多的樣本，所以阻礙了它的進一步發展，特別是朝著想像力、創造力這種更高層次的能力的進階。

伊恩·古德費洛

於是，一位名叫伊恩·古德費洛的美國人在2014年加拿大蒙特利爾讀博士的時候想了這樣一個方案。也就是說，在兩個神經網路中進行「貓鼠遊戲」，一個不斷地「造假」，一個不斷「驗真」，彼此相互追逐，在對抗中不斷提高自身的本領。

如何讓兩個神經網路相互博弈呢？儘管備受質疑，但是古德費洛還是決定試一試。

他讓一個叫做生成器的網路（Generator Network）不斷捕捉訓練庫中的數據，從而產生新的樣本；另一個叫做判別器網路（Discriminator Network），它也根據相關數據，去判別生成器提供的數據到底是不是足夠真實。

說白了，就是用生成器來生成圖像，企圖騙過判別器；而判別器的目的是要找出生成器的做的「假數據」。

一邊，負責「造假」的「生成網路」要從過往「看」過的圖片里尋找規律，甚至發揮想像力和創造力以生成新的圖片；另一邊，負責「驗真」的「判別網路」則要根據從前的「經驗」，來判斷圖片是真實事物，還是實際根本就不存在的「贗品」。

當然啦，「造假」的一方並非一開始就知道如何避開「驗真」搜查，而是隨著機器學習的不斷深入和反覆練習，以及對事物理解的加強，才能最終達到「以假亂真」的效果。

而這種看似有趣的方法事實上早就出現在了中外文學作品中。比如在金庸的武俠小說《射鵰英雄傳》里，王重陽的師弟周伯通被東邪「黃藥師」困在桃花島的地洞里。

為了打發時間，周伯通就用左手與右手打架，自娛自樂。其武功決竅在於要先「左手畫圓、右手畫方」，分心二用，保證可以同時使出兩種武功，從而使得武力倍增。

對抗性神經網路的原理是「自己跟自己比賽」，以減少它們對人類的依賴。

正因為GAN網路的機理是「雙手互搏、一心兩用」，所以，能通過「對練」把自己的功力提升一個檔次。

除了在機器翻譯、人臉識別、信息檢索等諸多方向的具體應用，這套對抗性的思想還有助於改進現有人工智慧演算法。比如：可通過GAN來生成全新圖像，其在真實度和準確度上甚至超過了人工作業。

「對抗性圖像」被干擾後將帶來風險

「對抗性圖像」的學名叫「對抗樣本」。所謂「對抗樣本」就是將實際樣本略加擾動而構造出的合成樣本，簡單說就是故意對正常的圖片進行干擾，比如在圖片上多加一個像素點之後，AI識別的結果會大大與預想不同。

對於這種樣本來講，GAN的分類器非常容易將其類別判錯，一不小心就成了一條漏網之魚。

所以，有些「惡意者們」通常會將圖像設計成擁有欺騙機器視覺的能力，然後通過各種特殊的樣式讓AI系統失控，來做一些「瘋狂」的事情。

比如，攻擊者如果能夠利用這種方法控制自動駕駛汽車的AI系統，那麼問題就會變的棘手起來；又或者，垃圾郵件發送者可能利用對抗樣本來騙過垃圾郵件識別系統，而且當下依賴人臉驗證的人臉支付等新潮科技也將會面臨巨大的風險。

AI演算法識別帶有對抗性貼紙干擾的停車路標

比如2017年，谷歌的AI系統曾被「對抗圖像」蒙蔽了雙眼，出自麻省理工Labsix實驗室研發人員手筆下的一隻3D列印海龜，被谷歌的AI視覺識別系統識別成一把「來福槍」。

據悉，此團隊成立就是為了訓練「對抗圖像」，打造一種專門創造出來戲耍AI的圖片，該團隊成員會在圖片中仔細添加一些視覺雜訊，這樣AI在識別時用到的記號就會被攪亂，所以會做出完全錯誤的片段。

這也表明，AI在識別物體上往往會過度依賴顏色，紋理和背景線索來識別它所看到的東西。也就是說，考慮到圖像的整體形狀和內容時，AI所用的演算法並不是整體來看圖像，而是專註於特定的紋理和細節。

比如有更好的例子能證明這一點，在下面的圖像中，AI錯誤地將左側圖片作為釘子，可能是因為是木製背景。在右邊的圖像中，它們專註於蜂鳥飼養器，但卻忽略了沒有蜂鳥存在的事實。

實際上，這些發生在AI上的「視覺錯誤」，除了專門的「戲耍行為」之外，有人會猜測是否有可能是AI自發的行為，若真如此，這類圖像更令人擔憂了，因為這表明視覺系統可以產生非受迫性錯誤——主動失誤。

為了證明這一點，近日，來自加州大學伯克利分校、華盛頓大學和芝加哥大學的一組研究人員做了一個研究。

他們創建了大約7500個自然對抗性實例」的數據集。並根據這些數據測試了許多機器視覺系統，發現它們的準確率下降了90％，軟體在某些情況下只能正確的識別出2％或3％的圖像。

通過大量的事實證明，AI視覺識別這次在「對抗圖像」上是個不折不扣的「瞎子」。

據外媒表示：雖然研究人員說這些這些「自然對抗性的圖像」會愚弄各種各樣的視覺系統，但這並不意味著他們會欺騙過所有的系統。

不能說不存在「對抗樣本」，只要有機器視覺的存在就必定存在對抗樣本，而機器視覺識別在GAN的基礎上，瑕疵很快便會消除，盲點也終會被填補，AI在「對抗性圖像」上的自我救贖也還會有所改觀。

-END-

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！