機器學習對抗案例 | 愚弄Google圖像識別演算法

2018年CES在美國拉斯維加斯召開，站在風口浪尖上的科技企業紛紛出動，在會場各顯神通地展示自己的科技產品和各種智能演算法。近年來，人工智慧的浪潮不斷拍打著 IT 領域的海岸，各家科技巨頭們都喜歡向外驕傲地宣布自己的演算法能夠如何完美地識別圖片。然而事實還是能夠證明圖像識別演算法所存在的弱點以及惡意攻擊者能夠針對演算法弱點進行一定的利用。

演算法面對的幻象和幻聽

早在 2015 年穀歌、微軟和中國百度就表示，他們的深度學習演算法就已經能夠在基本功能上超越人類，實現判斷和識別。

而在 2017 年 12 月，Facebook 繼續宣布了自己的人臉識別演算法已經得到了升級換代，該演算法在用戶自己沒有標記照片（只是被其他人拍到）的情況下，也能給你發送照片提醒。

但演算法和人類不同。演算法容易受到特定類型的問題的困擾，也就是存在「對抗案例（Adversarial Example）」。一些攻擊者會精心設計出視覺假象，誤導並誘使計算機作出錯誤判斷，或者失去判斷的準度，計算機就可能會把熊貓的圖片識別成長臂猿。同樣，這種欺詐手段不僅僅針對

計算機圖像，還可以是

針對音頻或者文字的。因此這也是一種演算法能夠看到

的幻覺，

或聽見的幻聽。

熊貓還是長臂猿，這個錯誤看上去可能還像是低層次的。但如果攻擊者能夠利用相同的方法控制自動駕駛汽車的 AI 系統，問題就會變的棘手起來。應該限速的時刻，攻擊者如果能成功利用自動駕駛的演算法，就可以設法讓系統犯錯。實際上，這樣的事情已經發生，攻擊者已經開始使用演算法的弱點來繞過垃圾郵件過濾之類的

系統。

Google Cloud Vision API

據

麻省理工學院計算機科學與人工智慧實驗室

 12 月公開的的研究顯示，這些對抗性的例子比以前所了解的要容易得多。 該團隊可靠地愚弄了Google 的 Cloud Vision API，這是一種已經應用在現實世界中的機器學習演算法。

以往的對抗案例都是在

「白盒」環境

下進行實驗設計和進行的，計算機研究員們在了解了驅動演算法執行的計算機底層的運作原理後就可以進行針對性的探索，了解怎麼做就可以欺騙他們。但這些情況下，對於案例並不具備攻擊性，並沒有什麼威脅，因為攻擊條件和現實環境相比還是離得遠了些。

MIT 研究團隊11月公開的結果顯示，他們成功在實驗中讓 InceptionV3 圖像分類器將一個3D列印的海龜被識別成一把來複槍。更有趣的是，他們還能將3D海龜進行一些調整，在AI識別後可以是任何其他的物件。這是一個應用3D列印條件下的對抗案例。

而在 MIT 最新的研究成果中，他們的研究是在黑盒條件下進行的。在事先並不獲知目標演算法的運行原理的情況下，他們能夠設計出一種快速獲取黑盒對抗案例的方法，並能應用在多種不同的圖像演算法上，這其中也包括了 Google 的 CloudVision API 。在谷歌案例之中，MIT的研究員們針對的是識別不同圖像的系統。

通過輕微調整照片中的像素，圖像系統能夠完全把機槍的照片識別成直升機。儘管對於人眼而言，這兩個圖像看起來完全相同。但這些人眼可以分辨的差異卻會愚弄計算機設備。他們使用通用方法來制定對抗案例，他們會分析圖像識別的結果，在其他結果的方向上對圖像進行調整。

研究人員以隨機方式生成需要的標籤，在

機槍案例中，分類器中的「直升機」標籤也可以改成「羚羊」，哪一種標籤對他們而言沒有差別，研究能夠證明的只是這種調整像素的方法可以無差別地實現任何結果。

MIT的研究成果驗證了，現在的攻擊者也可以應用這種方法來創建對抗案例。

圖片分類標籤混淆

谷歌的回應與演算法承擔的重任

谷歌通常被認為是世界上最好的安全團隊之一，但其最具未來主義意義的產品——智能演算法卻仍然可以被這種「幻覺」操縱最終的判定結果。

谷歌並沒有直接對研究結果進行評論。但在研究結果公布的不久之後，谷歌似乎已經看到了現在演算法存在的問題，並在努力解決，他們在12月時也發布了名為《Adversarial Patch》的論文探討相關攻擊方法的策略研究。

現在還沒有過網路犯罪份子的相關應用實例，但我們相信在不久的未來，類似思路的攻擊也有一定可能成為現實，例如，黑客可以利用行李掃描演算法，將一個毛絨玩具識別成爆炸物。或者，他們可以利用面部識別系統，將無辜的人識別成罪犯，而讓真正的罪犯逃之夭夭。

科幻故事中的犯罪指數演算法

智能演算法在當代生活中的重要性與日俱增，它們負責在社交平台上過濾垃圾和無用的內容，又負責駕駛無人汽車，以及在未來的一天負責掃描行李中的武器和爆炸物。

然而，我們在賦予演算法相關執行和決策權力的同時，也賦予了演算法與之相應重量的責任和信任，對抗性案例的存在就好比是微小但卻遊離在之外的漏網之魚，揭露了當前發展階段下的不足和局限。

不少安全研究人員和機器學習專家正在結合企業實踐和學術研究成果尋找合適的解決方案，例如將敵對的案例納入神經網路訓練之中，讓新的演算法了解真實和敵對案例圖像的區別；當然這只是一種解決方案，也有其他研究人員提出了新的探索方向，來解決這個問題，但目前還沒有確定的答案，哪種方法是有效的，哪種方法沒有。

參考資料及PDF如下

https://arxiv.org/pdf/1412.6572v3.pdf?loc=contentwell&lnk=a-2015-paper&dom=section-9

/https://arxiv.org/abs/1512.00567

https://arxiv.org/pdf/1712.09665.pdf

http://www.labsix.org/physical-objects-that-fool-neural-nets

https://www.wired.com/2016/07/fool-ai-seeing-something-isnt/

https://www.wired.com/story/machine-learning-backdoors/

https://www.wired.com/2016/07/fool-ai-seeing-something-isnt/

https://boingboing.net/2018/01/08/what-banana.html

https://blog.openai.com/adversarial-example-research/

*本文作者Elaine，轉載請註明FreeBuf.COM

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！

本站內容充實豐富，博大精深，小編精選每日熱門資訊，隨時更新，點擊「搶先收到最新資訊」瀏覽吧！

請您繼續閱讀更多來自 FreeBuf 的精彩文章: