不好意思，Facebook 的 AI 並沒有「失控」

科技 08-01

Facebook 關閉『失控』人工智慧系統，因其發展出人類無法理解的語言。

嚇死了。

事情是這樣的：據「外媒報道」，Facebook 開發的聊天機器人創造了自己的語言。雖然語言還是英語，但人類無法理解。

不好意思，Facebook 的 AI 並沒有「失控」

文章來源是 TechWeb 的編譯組。「Facebook 不得不拔掉其研究人員正在研究的人工智慧系統的插頭，因為事情失控了」，TechWeb 寫道。

關於「人工智慧是否邪惡」的話題，Facebook 創始人扎克伯格上周還在跟特斯拉 CEO 馬斯克爭吵。馬斯克站正方，認為人工智慧非常值得擔憂，扎克伯格站反方，認為人工智慧很有益處，擔憂完全是過慮。

所以……小扎就這麼快打臉了？曾在著名科幻電影《終結者》中出現過的「SkyNet」（天網），真的來臨了？

不好意思，Facebook 的 AI 並沒有「失控」

抱歉，這完全是在胡扯。我們來看看到底是怎麼一回事。

Facebook 的人工智慧研究院 (FAIR) 想要訓練一個聊天機器人，讓它學會談判。於是他們開發了一個人工智慧系。為了幫助大家理解，我們一步一步解釋：

Facebook 用了一個神經網路結構來開發這個系統。這個結構叫做「生成式對抗網路」(Generative Adversarial Networks)，以下簡稱 GAN。

你可以把神經網路理解為一種多層次的、模仿人腦神經元之間相互連接的思考方式的「電腦程序」。

而 GAN 是一種在目前非常先進的神經網路結構，可以理解為兩個神經網路玩《街霸》。玩的越多、時間越長，大家的水平都會越來越高。當然，GAN 也有三個甚至更多個神經網路的結構。

聊天機器人你肯定很見過：蘋果 Siri 就是一個。亞馬遜 Alexa 和 Google Assitant 也是。

Facebook 的這項研究也是如此。研究人員訓練了這樣一個聊天機器人，讓它帶著「目的」和人類對話。而這個目的也很簡單：一共有兩本書，一頂帽子和三個籃球，三樣東西分別設定了不同的權重，為的是讓機器人明白它到底對這些東西有多想要，然後去和人談判。

Facebook 觀察到的結果是比較正常的，體現在下圖中：

但是人跟機器人聊天已經不稀奇了……倆機器人能聊成啥樣？研究人員都很感興趣。

今天的對話就發生在聊天機器人 Alice 和聊天機器人 Bob 之間：

不好意思，Facebook 的 AI 並沒有「失控」

什麼鬼？

原來，研究人員在把這兩個聊天機器人拼到一起，但忘了給神經網路設定「用英語溝通」的激勵。

剛才說了，神經網路是個程序，裡面有一大堆各種線性的數學公式。但有時候線性的公式無法取得想要的結果，有些非線性的需求沒法用線性公式表達出來，這時候就要設定一個激勵函數。激勵這件事對於神經網路，簡單來說就是告訴神經網路「這樣做得分更高」——傻子都能理解。

「堅持用英語說話沒有激勵，」這個研究小組的成員之一，喬治亞理工學院的訪問學者 Dhruv Batra 這樣解釋 Alice 和 Bob 奇怪的對話。「機器人會脫線發明一些它們之間才能理解的句法。」

結果，Alice 和 Bob 就聊成了這樣。等於是研究人員告訴了它們：「請用英文」，但忘了告訴它們：「請用英文語法」。

研究人員真的是因為「事情失控了」，才「不得不拔掉系統的插頭」嗎？事情真的像聽上去那樣令人心驚膽顫嗎？

並非如此。

「我們的目標是讓機器人和人聊天（提高和人聊天的技巧）。」小組的另一名研究員 Mike Lewis 指出，Alice 和 Bob 的對話根本就是個試驗而已，讓兩個聊天機器人聊天根本沒有意義。

不好意思，Facebook 的 AI 並沒有「失控」

而且，Alice 和 Bob 根本就沒有發明新的語言，因為他們還是在用「i」、「balls」、「the」等英文單詞溝通，只是創造了一種新的表達方式而已。

而且他們「發明」的新語言，人類真的聽不懂嗎？

再看一遍它們的對話：

Bob: I can i i everything else
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i everything else
Alice: balls have a ball to me to me to me to me to me to me to me to me

如果你明白了前面描述的試驗目的，很容易就能明白它們的套路。句法的確是亂的，但一句話里 to me 重複的越多，這個東西對它的意義越大（權重越高）。

翻譯過來就是：

Bob：我可以我任何其他（其他任何東西都可以給你）
Alice：球有0對我對我對我對我對我對我對我對我（我沒有球，球對我特別特別特別特別特別特別特別特別重要）
Bob：你我任何其他（你可以拿走其他任何東西）
Alice：球有球對我對我對我對我對我對我對我對我（我要球，球對我特別特別特別特別特別特別特別特別重要）

難理解嗎？

而且根本不是在談判，就是很普通的表達而已。不給就吵嘛……

Facebook並沒有「關掉」這個系統，而是重新設定了正確的激勵，修正了機器人的行為，讓機器人用標準的英文語法來進行交流。修正的原因也不是因為害怕 AI 失控——他們的目標是讓機器人和人聊天（提高和人聊天的技巧）。兩個聊天機器人聊天根本沒有意義。

GAN 這個東西，蘋果曾經用它搭建了一個系統，讓它自動合成足以以假亂真的圖片。但設計的目的並非欺騙人，而是為學界和業界的其他研究者帶來幫助。因為訓練神經網路需要大量的圖片，但世界上已有的、已標記的圖片資料庫也就那麼多，蘋果的這項研究，能自動創建帶標記的、能被用來訓練的圖片，解了大家燃眉之急。

不好意思，Facebook 的 AI 並沒有「失控」

今年二月，我介紹過 Google 本部的人工智慧團隊 Google Brain 做的另外一個實驗：同樣用 GAN，他們訓練了三個機器人 Alice、Bob 和 Eve，讓 Alice 和 Bob 倆人從零開始琢磨出一個加密方法，讓 Eve 來猜。這三個網路的加密學知識都是 0，但隨著訓練次數越來越多，Alice 和 Bob 默契越來越好，Eve 也破解不了。

不好意思，Facebook 的 AI 並沒有「失控」