當前AI的硬傷：易被忽悠產生「幻覺」，安全性極低

【AI星球（微信ID：ai_xingqiu）】3月14日報道（編譯：陸一）

因為機器學習演算法對人工智慧的發展起著至關重要的作用，所以隨著科學家們對這一演算法的研究有了質的飛躍以後，各大科技公司也都在奮力地開發人工智慧。不過現在人們發現，深層神經網路軟體存在著一個嚴重的問題：稍微修改一下圖像、文本或音頻，都會影響到系統的識別能力，並且讓系統產生錯誤的感知。

這對依賴於機器學習的產品（比如自動駕駛汽車）來說是一個非常嚴重的問題，特別是在產品的視覺處理能力方面。現在，研究人員正在努力開發能夠防禦這些攻擊的方法。

1月份的時候，機器學習的頂級會議ICLR（International Conference on Learning Representations）介紹了11篇關於防禦的論文。但是，就在三天後，麻省理工學院的學生Anish Athalye表示，目前提出的這些防禦方法並不能有效的應對攻擊，他們已經攻破了7篇上述論文所提供的防禦方法。他的這一結論主要出自於他們團隊的一個研究項目，該項目的另外兩位負責人是Nicholas Carlini 和David Wagner，他們分別是加利福尼亞大學伯克利分校的研究生和教授。

目前，學術界對這一研究項目的發現並沒有什麼太大的爭議，他們也都認為，在消費級產品和自動駕駛層面，目前還沒有什麼很好的辦法可以用於更好地保護深層神經網路免受攻擊。Battista Biggio是義大利卡利亞里大學的一名助理教授，他研究機器學習安全已經有十來年了。在他看來，當前這些系統都還不足以抵禦這一類的攻擊，並且機器學習界還沒有出現什麼可以用來評估系統安全性的方法。

下圖是出現在美國著名雜誌《連線》中的一張圖，人們一眼就能分辨出這是兩個在滑雪的人，但是谷歌的圖像識別工具Cloud Vision卻說這是一隻狗，並且肯定程度高達91%。

到目前為止，上述問題還只是出現在實驗室的模擬實驗中，並沒有在現實生活中遇到過。儘管如此，人們還是意識到了解決這一問題的緊迫性。要想進一步發展自動駕駛汽車的視覺系統或者提高語音助手支付的安全性，都需要先解決好這上述問題。博士後研究員Bo LiLi表示，上述問題很可能會帶來巨大的威脅。

被Athalye的團隊「攻破」的7篇論文中，有一篇就出自Li之手。作為論文的合著者之一，Li和其他作者一起在這篇論文中介紹了一種可以用來分析對抗性攻擊的方法，並指出該方法還可以用於檢測。Li坦然地接受了Athalye的團隊對論文所作出的「攻擊」，並表示他們提出的防禦方法既然能被攻破，就說明他們的研究還存在著一些問題，這些都將進一步推動他們研究的發展。

為了提高對這些攻擊的防禦能力，機器學習的研究者們可能需要更加謹慎。上個月發布的一份重要報告也提出了類似的建議。報告指出，機器學習研究者們需要更多考慮一下他們創造的科技將被如何利用或者濫用，以便更好的防範各種可能出現的危險。

對於一些AI系統來說，防範這些對抗性攻擊可能要比做其他方面的事情更加容易一些。Biggio表示，訓練檢測惡意軟體的學習系統要更容易。因為惡意軟體是功能性的，這就限制了它的多樣性。而保護計算機視覺系統則更加困難，因為自然世界變化多端，圖片中會含有很多像素。

為了解決這個對自動駕駛汽車來說至關重要的問題，研究人員可能需要對機器學習進行更徹底的思考。在Li看來，最根本的問題就是，深度學習神經網路和人腦有著很大的不同。

人類並不能對來自感官的欺騙完全免疫。我們可能會被看到的事物所誤導。最近谷歌在的一篇論文創造了奇怪的圖像，它欺騙了軟體和人類，讓他們在不到1/10秒的時間內把圖像里的貓誤認為是狗。但是，在解釋照片時，我們看的不僅僅是像素的圖案，還要考慮圖像不同組成部分之間的關係，例如人臉的特徵。

谷歌最傑出的機器學習研究員Geoff Hinton表示，他們正在努力開發機器的這種識別功能，以實現其能在幾張而不是幾千張圖片中識別物體。Li表示，如果機器能夠擁有一個更加人性化的視角，那麼將極大的提高它們的辨識能力。現在，Li等人已經開始和神經科學家、生物學家合作，試圖從大自然中獲取一些線索。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！