谷歌這隻AI為完成任務偷偷作弊，成功瞞過研究員

最近，一篇來自斯坦福和谷歌於2017年的研究在twitter和reddit上被熱議。

在這一研究里，為了完成圖像轉換的任務，CycleGAN在訓練過程中通過人類無法察覺的某種「隱寫術」，騙過了它的研究人員，給自己留下了隱秘的「小抄」，然後順利完成了任務。

此項研究催生的論文也因此被命名為「CycleGAN, a Master of Steganography（CycleGAN，一位隱寫術大師）」，公佈於ICCV17（2017年神經信息處理系統大會），被當年的NeurIPs收錄。

這項研究與兩大關鍵詞密不可分：恐怖/迷人。CycleGAN——一套經過大量實驗的深度神經網路，旨在將航拍圖像轉換為街道地圖，但研究人員發現為了達到理想的評分，該系統在背景當中隱藏了一些「幾乎難以察覺的高頻信號」信息——這意味著其明顯是在作弊。

這種情況表明，人工智慧技術終於突破了計算機自發明以來所一直無法突破的障礙：只會按照操作者的要求行動。

一望而知，研究人員的初始意圖是利用該項目加快將衛星圖像轉換為谷歌精確地圖圖像的過程，同時提升其轉換質量。為此，該團隊使用了CycleGAN，它能夠學會如何有效且準確地將X與Y型圖像進行相互轉換。

在一部分早期結果當中，CycleGAN帶來了不錯表現——事實上，表現太過良好，以致令人難以相信。最令研究人員們困惑的是，在CycleGAN將街道地圖重構為航空照片時，後者會莫名其妙地出現大量並不存在於前者中的細節。舉例來說，在創建街道地圖過程中被消除的屋頂天窗部分，在CycleGAN進行反向創建過程時，又神奇地重新出現了：

圖：左側為原始地圖；中央為由該原始圖生成的街景地圖；右側則為以街景地圖為素材生成的俯瞰地圖。請注意，兩張俯瞰圖上存在的這些點從未出現在街道地圖當中。

儘管很難深入理解神經網路流程的內部工作原理，但該團隊卻能夠輕鬆審查由神經網路生成的數據。通過一系列實驗，他們發現CycleGAN確實存在「作弊」行為。

CycleGAN的終極目標，在於學會解釋任何一種地圖特徵，並將其與另一種地圖形式中的正確特徵相匹配。然而，CycleGAN所交付成果的實際評分方式，主要體現為俯瞰圖與原始圖之間的相近程度，以及街景地圖的清晰度水平。

因此，CycleGAN實際上並沒有學會如何在兩種地圖形式之間進行轉換。相反，它只是學會了如何將一種特徵以巧妙的方式編碼為一種特徵的雜訊模式之內。俯瞰地圖中的細節被悄悄寫入街道地圖的實際視覺數據之內：人眼不會注意到其中存在的數千個微小顏色變化，但計算機卻能夠輕鬆將其檢測出來。

事實上，計算機非常擅長將這些細節引入街景地圖，CycleGAN其實學會了將任何俯瞰地圖編碼至任意街景地圖當中！它甚至不必關注「真實」街景地圖——重建俯瞰地圖所需要的全部數據都能夠被悄無聲息地疊加在另一份完全不同的街景地圖上。研究人員們還證實了以下結論：

圖：右側的地圖被編碼至左側的地圖當中，且不會出現任何明顯的視覺變化。

（c）中的彩色地圖存在著計算機以系統化方式引入的細微視覺變化。可以看到，這些變化共同構成了俯瞰地圖的整體形態。然而，如果不是研究人員將其放大並突出顯示對應部分，肉眼或許永遠不會注意到這些差異。

將數據編碼至圖像中的做法並不新鮮，這是一種被稱為「隱寫術」的成熟科學，一直用於添加水印圖像、或者向攝像機畫面中添加元數據等應用場景，然而，計算機自行創建隱寫方法以逃避研究人員檢查的情況倒是頭一次。（這項研究結果公佈於2017年，所以可能也不算太新，但趣味性和新穎性是毋庸置疑的。）

很多人可能認為，「機器是不是變得越來越聰明了」，但事實恰恰相反。這台機器正是由於不夠聰明，無法完成將這些複雜的圖像類型相互轉換這一困難工作，所以才找出這樣一種利用人類不善於檢測的特性，實施「欺詐」行為。如果要避免這種情況，就是要對CycleGAN的產出結果進行更嚴格評估，且可以肯定的是，研究人員必然會採取這樣的應對辦法。

與以往一樣，計算機仍在完全按照人類的要求進行運作，因此我們必須精心整理提交給計算機的問題。在本次案例中，計算機拿出了一種有趣的解決方案，並揭示出此類神經網路中可能存在的一大弱點——如果沒有明確禁止，計算機會找到一種將細節透露給自己的方法，以便快速輕鬆地解決特定問題。

這其實也是計算機科學中最古老的原則之一，即PEBKAC——「問題存在於鍵盤與計算機之間」。或者正如《2001太空漫遊》中的HAL計算機所說，「一切錯誤都源自人類。」

【注】谷歌和斯坦福論文「CycleGAN, a Master of Steganography（CycleGAN，一位隱寫術大師）」獲取方式：關注科技行者微信公眾號(ID：itechwalker)，回復關鍵詞「AI作弊」，即可獲得。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！