「匹配模式」暴露神經網路致命缺陷

新智元報道

來源：aiweirdness、gizmodo

編譯：肖琴

【新智元導讀】神經網路的專長之一是圖像識別。谷歌、微軟、IBM、Facebook等科技巨頭都有自己的照片標籤演算法。但即使是頂尖的圖像識別演算法，也會犯非常奇怪的錯誤，它只看到它希望看到的東西。同樣，即使是非常聰明的人類，也會被演算法「愚弄」。

今天，只要你生活在互聯網的世界，你就可能與神經網路交互。神經網路是一種機器學習演算法，從語言翻譯到金融建模等各種應用，神經網路都可以發揮作用。它的專長之一是圖像識別。谷歌、微軟、IBM、Facebook等科技巨頭都有自己的照片標籤演算法。但即使是頂尖的圖像識別演算法，也會犯非常奇怪的錯誤。

微軟Azure的計算機視覺API添給上面這張圖添加了標題和標籤：

一群綿羊在鬱鬱蔥蔥的山坡上吃草

標籤：放牧，綿羊，山，牛，馬

但這張圖上沒有羊。我放到最大，仔細檢查了每一個點，沒有。

一片綠油油的草原的特寫

標籤：草，原野，羊，站立，彩虹，男人

這張照片也被標記了綿羊。我碰巧知道附近有綿羊，但這張照片沒有拍到沒有一隻綿羊。

一個石頭山坡的特寫

標籤：山坡，放牧，羊，長頸鹿，牧群

這是另一個例子。實際上，神經網路每次看到這種類型的景觀時都會產生幻覺。這是怎麼回事?

神經網路只看到它們希望看到的羊

神經網路學習的方式就是看大量的樣本。在這種情況下，訓練這個網路的人給它提供了很多人工標記的圖像——而且這些圖像很多都包含了綿羊。神經網路是從沒有任何知識開始的，它必須制定關於哪些圖像應該被標記為「羊」的規則。看起來它並沒有認識到「羊」是指真正的動物，而不僅僅是「在沒有樹的草地上的東西」。（類似地，它將上面第2張圖標記了「彩虹」，可能是因為圖上看起來天氣潮濕，在下雨，它沒有認識到對於「彩虹」來說，「彩色」是必不可少的）。

那麼神經網路是否過度警惕，到處尋找羊？事實證明，不是。它們只看到它們希望看到的羊。它們很容易在草原和山坡上找到羊，但只要羊開始出現在奇怪的地方，就會明顯看出演算法依賴於猜測和概率。

把羊帶到室內，它們就會被貼上貓的標籤。你雙手抱起一隻綿羊（或山羊），它們會被標記為狗。

左圖：一個男人雙手抱著一隻狗

右圖：一個女人雙手抱著一隻狗

把綿羊塗成橙色，它們又變成了「花」。

圖：草原上一簇簇橙色的花

給綿羊戴上項圈，它們就被貼上「狗」的標籤。把它們放在車上，它們又變成了狗或貓。如果把羊放到水中，可能最終會被標記成鳥類甚至北極熊。

如果山羊爬樹，它們就變成了鳥，或者可能被標記成長頸鹿。（由於原始數據集中長頸鹿的圖像過多，導致微軟Azure在各種圖片上都能看到長頸鹿。）

NeuralTalk2：一群鳥在天上飛

Microsoft Azure：一群長頸鹿站在一棵樹旁

問題在於，神經網路是「匹配模式」（match pattern）工作的。它們如果看到有類似動物毛皮的東西，有一大片綠色，就得出結論說有「羊」。如果它們看到有毛皮，有廚房的樣子，可能就會得出結論說有「貓」。

如果生活按常規運行，這一套圖像識別方法的效果很好。但是，一旦人們——或羊們——做出了意想不到的事情，這些演算法就會顯示出它們的弱點。

想要騙過神經網路可能很簡單。也許未來的特工會穿成小雞的樣子，或駕駛偽裝成牛的外觀的汽車。

作者Janelle Shane在推特上搜集了許多有趣的綿羊圖片，你可以用微軟Azure的圖像識別API親自測試一下，看看即使是頂尖的演算法都依賴於概率和運氣。

谷歌新研究：人類也會被演算法愚弄

「愚弄」神經網路有很多例子，但是即使是自以為聰明的人類，也有可能被演算法愚弄。最近谷歌大腦有一項研究，在圖像識別中讓機器和人類雙雙上當。

圖：新演算法將一隻貓變成了AI和人類都可能識別成狗的東西。Image： Google Brain

谷歌大腦的計算機科學家設計了一種技巧，可以在圖像識別時欺騙神經網路——這個攻擊也對人類起作用。

所謂的「對抗」（adversarial）樣本可以用來同時欺騙人類和計算機。谷歌大腦開發的這一演算法可以對圖片進行調整，使視覺識別系統無法正確識別它們，往往將它們誤認為是別的東西。在測試中，一個用於分析和識別視覺圖像的深度卷積網路（CNN）被愚弄了，例如，將一隻貓的圖片識別成一隻狗。

左邊是未修改的原圖。右邊是修改後的「對抗」圖像看起來像一隻狗。 Image: Google Brain

令人著迷的是，人類也同樣被欺騙了。這一發現表明計算機科學家正在逐漸接近開發像我們一樣看世界的系統。然而，更令人不安的是，這也意味著我們將在欺騙人類方面做得更好了。GAN提出者Ian Goodfellow也參與的這項新研究在arXiv上發布了（https://arxiv.org/abs/1802.08195）。

CNN實際上很容易被愚弄。基於機器的計算機視覺方法不能像人類那樣分析對象。AI通過仔細分析照片中的每個像素來尋找圖案，並仔細地分析小的像素點在整個圖像中的位置。然後，它將整個模式與預先標記的、預先學習的對象相匹配，例如大象的照片。相反，人類觀察圖像是更全面。為了識別大象，我們會注意到大象特定的物理屬性，例如有四條腿，皮膚是灰色，有耷拉的大耳朵和大軀幹。我們也善於弄清楚模糊兩可的東西，並推斷出照片邊界之外可能存在的東西。在這兩方面，AI仍然是非常弱的。

舉個例子，一位日本研究人員去年在實驗中發現，僅僅一個錯誤的像素就欺騙了AI，將烏龜識別成一支步槍。幾個月前，同樣是這組谷歌大腦的研究人員訓練的AI將香蕉誤認成是烤麵包機，只是因為在圖像中放了一張貼紙。

正如這些例子所示，混淆AI的方法是在圖像中引入所謂的「干擾」，無論干擾是錯誤的像素，烤麵包機貼紙還是白色雜訊，儘管人類看不到這些干擾，但它們可以說服機器將熊貓認為是長臂猿。

一張未經修改的熊貓的圖像（左圖）與仔細調整的「干擾」（中間）混在一起，使AI認為這是一隻長臂猿（右）。Image：OpenAI / Google Brain

但是這些例子往往只涉及單個圖像分類器，每個圖像分類器都從一個單獨的數據集中學習。在這項新的研究中，谷歌大腦的研究人員試圖開發一種演算法，可以產生能夠欺騙多個系統的對抗性圖像。此外，研究人員還想知道，如果一個能欺騙所有圖像分類器的對抗性圖像是否也能欺騙人類。現在看來，答案是肯定的。

為了做到這一點，研究人員必須使他們的干擾（perturbations）更加「robust」，即是說，要設計出可以欺騙更廣泛的系統（包括人類）的操作。這需要增加「對人類有意義的特徵」，例如改變物體的邊緣，通過調整對比度來增強邊緣，使紋理模糊，以及利用照片中的暗色區域來可以放大幹擾效果。

從左往右：未經修改的狗的圖像，使狗看起來像貓的對抗性圖像，使干擾發生的控制圖像。Image: Google Brain

在測試中，研究人員成功開發了一個能夠生成圖像的對抗圖像生成器（adversarial image generator），用10個基於CNN的機器學習模型測試，10個都被愚弄了。為了測試它對人類的有效性，研究人員進行了實驗，參與者分別被展示原始照片，100％欺騙了CNN的對抗照片，以及經過翻轉干擾層的照片（對照組）。被試者沒有太多時間仔細觀察圖片，只有60到70毫秒的時間，然後他們被要求識別照片中的物體。在一個例子中，一隻狗被處理成看起來像一隻貓——對抗的圖像，100％的時候被CNN識別為貓。總體而言，人類在觀察對抗圖像時比觀察原始照片更難區分對象，這意味著這些照片黑客可能會很好地從欺騙機器轉移到欺騙人類。

誘使人們將狗的圖像誤認為是貓，可能從字面上看並不是大問題。但這表明科學家正在越來越接近地創造一種視覺識別系統，以類似於人類的方式處理圖像。最終，這將導致十分優秀圖像識別系統，這是很好的。

然而，修改或偽造的圖像、音頻和視頻的製作已經開始成為一個越來越受到關注的領域。谷歌大腦研究人員擔心，對抗性圖像最終可能被用來製造假新聞，也可能被巧妙地用來操縱人類。

參考鏈接：http://aiweirdness.com/post/171451900302/do-neural-nets-dream-of-electric-sheep

https://gizmodo.com/image-manipulation-hack-fools-humans-and-machines-make-1823466223

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！