有個小AI，不好好乾活，光想著偷偷摸摸「打小抄」

一篇來自谷歌和斯坦福2017年的研究昨天在twitter和reddit上被熱議。

在這個讓人啼笑皆非的研究里，為了完成圖像轉換的任務，CycleGAN在訓練過程中通過人類無法察覺的某種「隱寫術」，騙過了它的創造者，給自己留下了隱秘的「小抄」，然後順利完成了任務。

這個小插曲催生的論文也因此被命名為「CycleGAN, a Master of Steganography」（CycleGAN，一個隱寫術大師），被當年的NeurIPs收錄。

arxiv.org

聽到「騙過人類」覺得有點可怕是不是，先別慌，一起來看看這個「小把戲」。

為了加快將衛星圖像轉換為谷歌精確的街道地圖，谷歌團隊使用CycleGAN神經網路系統，希望通過大量的訓練，從而使得這個模型能夠儘可能精確、高效的轉換X、Y類型圖片獲得相應結果。

簡單來說，研究者希望通過訓練這個CycleGAN模型，可以實現兩類圖片的轉換：把航拍照變成街道地圖，再把街道地圖變回航拍照。

早期的實驗結果中，這個模型做的還不錯。

雖然很難深入了解神經網路流程的內部工作原理，但團隊可以輕鬆審核其生成的數據。通過一些實驗，他們發現CycleGAN確實大幅提升了轉化速度。

直到有一天，研究者發現了奇怪的事情：這個模型自作主張的根據航拍衛星圖片重建了街道地圖。

比如，在創建街道地圖時，屋頂上的天窗被研究者通過某種設置被抹掉了，但通過街道圖轉化為航拍照後，這些天窗又神奇地出現了。

左側是原始地圖，街道地圖從原始地圖產生。中間：生成的地圖。右側：重構的地圖。其中，衛星地圖的樣本只來自街道地圖。注意這兩張衛星地圖裡出現的點，它在街道地圖沒有顯示 | 谷歌AI

心存疑惑的研究者開始著手檢查這個CycleGAN學到的mapping到底是什麼，接著發現了更多「憑空」出現、根本不可能產生的航拍照。

經過一系列檢查，研究者發現原來是CycleGAN在把航拍照變成地圖的時候，加入了一些人類肉眼不可見的噪音（或者其實可以說是信息），然後從地圖reconstruct航拍照的時候，就通過這些噪音來讀取信息。

就好比，為了應付人類任務，AI在地圖照上面偷偷寫了一點小抄、水印，而為了躲過人類的檢查，只有它自己訓練出來的模型才讀得懂這些小抄、水印。

這和人類研究者想像的任務完成途徑完全不一樣。

可能有人會覺得，只要工作能完成，那麼這個辦法也非常聰明。

但值得一提的是，如果一些細節被巧妙插入視覺數據中，人眼不會注意到的數千個微小顏色變化，但計算機卻可以輕鬆檢測到。

也就是說，這種方法儘管可以實現目的，但是非常容易被攻擊。一旦有「攻擊者」在一張地圖照裡面加一些肉眼不可見的「小抄」，就會「重構」出來一張牛頭不對馬嘴的照片。

通過這種方式，可以將航空地圖編碼成任何街道地圖！計算機在編碼的過程機中不需要關注「真實」的街道地圖，所有重構的航空照片所需的數據都可以「人畜無害」地疊加在完全不同的街道地圖上。

研究人員也通過實驗證實了這一點：

右邊的地圖通過編碼左邊到映射的地圖中，在視覺上很顯然沒有明顯的變化 | 谷歌AI

上圖（c）中的彩色地圖是計算機系統引入具有細微差別的可視化圖片。 圖片形成了和航空地圖差不多的形狀。如果你不把他放大，並且仔細的觀察，你可能很難發現這些差別。

這種將數據編碼成圖像的做法並不新鮮，這是一門被稱為「隱寫術」的技術，值得一提的是，它已經非常成熟、現在被廣泛應用。

現在，似乎計算機也學會了這種隱寫方法，運用此方法機器可以「偷懶」，從而逃避學習、逃避們手頭的任務。

了解一下Cycle GANs所採用的學習方法，出現這一「偷懶」結果似乎也不意外。

Cycle GANs從X到Y的G映射的過程中，生成器不是選取一些隱向量來映射，而是使用圖像的直接轉換量。使用普通的對抗損失函數來構建一個映射G。利用G，可以從生成的圖像X映射到真實圖像Y。

類似地, 我們也有一個反向的映射, 但這有一定的可能會使我們丟失原始圖像的一些特性。

所以約束性在Cycle GAN的使用中非常重要。

一旦約束條件不完備，模型很容易出現鑽空子的「偷懶」情況。

在熱議中，很多人就此得出了「人工智慧正越來越聰明」論斷，從而心生恐懼。

大可不必慌張，這一結果正說明機器還不夠聰明，到目前為止，它還不能完成複雜的圖像類型相互轉換等工作。但是，它可以利用人類不善於檢測的弱點欺騙人類。

對計算結果的更嚴格評估可以避免這種情況。

計算機所做的事情，全部來自程序命令，所以你的要求也必須明確具體。不過這個案例給了我們關於解決神經網路的弱點的新的思路，對於計算機來說如果沒有明確禁止它做什麼事，它可以自行找到一個從細節出發，回饋自我到的一個高效解決既定問題的方式。

這也為提高CycleGAN生成圖像的質量提供了有一種可能的途徑，儘管循環一致性損失能夠讓神經網路將原圖像的信息編碼映射到生成的圖像中，但是，模型也可以偷偷的通過對抗性學習提高欺騙能力。如果能夠找到阻止算機「打小抄」的方式，這會使圖圖轉換工作得到突破。

大數據文摘出品

作者：魏子敏、蔣寶尚、王嘉儀

本文經授權轉載自

大數據文摘（ID：BigDataDigest）

果殼

ID：Guokr42

整天不知道在科普啥的果殼

建議你關注一下

小手一揮，點個「好看」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！