闢謠：Facebook機器人發明語言系誤讀，專家訪談還原真相

如果計算機真的能理解人類概念，其對現實世界的改造威力將會大上好幾個量級。

新智元報道

來源：Gizomodo，FAIR

報道/編譯：文強，劉小芹，張易

【新智元導讀】Facebook AI 「發展出人類無法理解的語言」 火了，但這實際上源自一些媒體的誤讀和炒作。研究計算機是否能（非監督地）獨立產生自己的語言本身非常有意義，因為這是檢驗 AI 是否理解人類高級語義和抽象概念的好方法。但具體到這件事，Facebook 的 AI 並未發明自己的語言（Facebook 人工智慧研究院也從未宣稱 AI 發明了語言），這只是程序的 Bug。本文將全面回顧和分析這個事件，看一段跑崩了的對話，如何引出了這場眾說紛紜的爭論。

GIF/38K

最近 Facebook 的一個 AI 項目火了，而且火得不要太好——稍微上網一搜就能看到：

AI 機器人發展出自己的語言，Facebook 的工程師們慌了

Facebook AI 發明出人類不能理解的語言，擔心失控項目已被關閉

難道我們人類造出了一個怪物？

還有一家英國小報引用一位機器人學教授的話，說這一事件表明，如果類似的技術被用于軍事機器人，將「非常危險，並且可能是致命的」。

更多的新聞延伸到未來的機器人革命、殺人機器人、惡意的人工智慧，各種各樣的有關人類滅絕的想像。所有這些，無不引用 Facebook 兩個聊天機器人這樣一段對話：

Bob:I can i i everything else ..............

Alice:balls have zero to me to me to me to me to me to me to me to me to

Bob:you i everything else .............

Alice:balls have a ball to me to me to me to me to me to me to me to me

有圖有「真相」：

看上去恐怖嗎？

一篇報道引發的慘案：AI 發明了自己的語言？？

這一切的起因是，上月中，FastCo Design 網站針對 Facebook 利用「生成對抗網路」開發對話談判軟體的努力做了一篇報道。這篇報道引用的兩個 bot，其設計的目的是證明：「具有不同目標（端到端訓練神經網路實現）的對話智能體，能夠從頭到尾地與其他 bot 或人類進行談判，並達成一個共同的決策或結果」。

兩個 bot 針對給定的話題（例如書籍，帽子，球，都是一些無害的物體），討論如何分割成雙方都同意的部分，除此以外並不做其他事情。

這樣做的目的，是開發一個可以從人類的互動中學會談判交易的聊天機器人，它能夠非常流暢地進行對話，終端用戶甚至不會意識到他們在與機器人對話。

就這麼簡單。

然而，FASTCO 的報道寫道，「FAIR 的談判智能體利用強化學習和對話推演（dialog rollouts），表現與人類談判相當……這證明 FAIR 的 bot 不僅能講英語，並且對要講什麼也是有過思考的。」

更要命的是，文章引用了專業人士的評價——「智能體會脫離人類可以理解的語言，發明自己的代碼語言。」那篇文章引用 FAIR 訪問研究員 Dhruv Batra 的話說，「就好比我說 5 遍 『the』 這個單詞，你會理解為我想要 5 個這個東西。這與人類發明簡略表達的方式並沒有太大不同。」

於是事情一發不可收拾。

Facebook 研究人員親自闢謠：我根本不是那個意思

在繼續討論前，我們先來看 FAIR 訪問研究員 Dhruv Batra 自己的澄清。

Dhruv Batra 是 FAIR 研究員，也是對話模型那篇論文作者之一，他在自己的 Facebook 主頁回應道：

我剛從 CVPR 回來，就發現我的 FB/Twitter 的時間流充滿了這些說 Facebook 的研究員開發的 AI 智能體發展出自己的語言，描述各種世界末日景象的文章。

我不想針對某篇具體的報道，或者對某個斷章取義的引用提出具體的回應，但我認為這樣的報道只是為了賺眼球，非常不負責任。

AI 智能體發展出自己的語言這種說法可能令人震驚，或讓這個領域之外的人感到意外，但這是發展了很多年的 AI 的一個子領域，相關研究文獻可以追溯到幾十年前。

簡單地說，環境中的智能體試圖解決一個任務時，通常會找到一種方式來最大限度地提高回報（reward）。分析這個回報函數並改變實驗中的參數，與「關閉 AI 項目」完全不是一回事！如果這能一樣的話，每個 AI 研究者在停止某個機器的工作時都在「關閉AI項目」。

Batra 希望大家都閱讀一下他們的研究論文或者 FAIR 博客上的介紹文章，並閱讀各個研究團體有關多智能體語言出現的文獻。

業內討論：參數沒調好，對話跑崩了

用戶「蔡曦」結合報道中提到的 Facebook 論文《Deal or No Deal？End-to-End Learning for Negotiation Dialogues》，做了比較詳細的分析。

論文的大致流程是，用人類的對話作為數據集，訓練一個端到端的模型，模仿人類進行物物交換的談判對話，例如：

論文用 5808 組人類對話作為訓練集，526 組對話作為測試集，分別用兩種不同的模型（Likelihood Model 和 Goal-based Model）和不同的訓練方法（一種是用 RNN 作簡單的監督學習，另一種是用監督學習先作預訓練，再用強化學習來微調模型），在 PyTorch 上跑對話模型。

結果是，直接用簡單的相似度導向（Likelihood-based）的監督學習產生的對話與人類的語言（英語）最接近。

而運用目的導向策略（Goal-based）的強化學習模型情況下，當更改相關參數後就會產生雜亂無章的對話。注意：這並不代表產生了一種新的語言並且兩個 agent 相互理解，只是基於訓練時輸入的英文單詞的錯誤組合而已！

一位不願透露姓名的業內人士對新智元表示：這就是訓練失誤的模型。做失敗的東西也能拿出來吹，有些媒體的做法確實欠妥。當然，這一波是國外媒體先如此報道的。還是希望這個領域的媒體多些理性，不要看到是 Facebook 或者谷歌的研究就吹。

聚焦研究：論文並沒有關於「AI 發展出自己語言」的表述

再來仔細看 Facebook AI Research 的論文——需要指出，Facebook 研究人員並沒有在論文中表示其 AI 發展出了自己的語言（developed their own language）。

至於「吹不吹」，還是需要在理解的基礎上進行判斷。Facebook AI 這條新聞出來這麼久，還沒有多少新聞在報道時真正聚焦研究本身，這或許也是炒作甚囂塵上的一個原因。

FAIR 進行研究的目的是讓智能體學習談判。

談判既是語言也是推理問題，在談判時你需要有一個意圖，然後在口頭（或文本）上實現。由此進行的對話同時包含了合作和對抗的要素，這就要求 AI 需要了解並制定長期規劃，並生成話語以實現其目標。

FAIR 研究人員在開發這種擁有長期規劃能力的對話 AI 方面進行了一種創新，他們稱之為「dialog rollouts」。

Dialog rollouts 能讓 AI 收到輸入後，推算出（roll out）多種模擬的對話，直到每段對話的結束，然後從中選擇結果最好（也即預期獎勵最大）的對話路線來進行。

下面是示意圖，選擇得分為 9 的最下面那條路線，顯然結果最好（能夠拿到 3 頂帽子）。

實際上，類似的思路也被用於遊戲環境中的規劃問題，但 Facebook 研究人員表示，這種方法此前還從未被用於語言研究，原因是可以選擇的行動數量過於巨大。

為了提高效率，FAIR 研究人員首先生成了一小部分備選的表述（utterance），然後重複模擬未來的整個對話，從而估算這種表述成功的程度。FAIR 開發的這種模型，預測準確率足夠高，從而在好幾個方面極大提升了談判策略：

更努力地談判（Negotiating harder）：新的智能體能與人類進行更長時間的對話，不會那麼快就成交。模型會一直談判一直談判，直到達成協議。

有策略地談判（Intelligent maneuvers）：在一些案例中，智能體在最開始會對自己不感興趣的東西裝作很感興趣，之後把這些東西放棄，顯得自己做出了妥協——人在談判時也常常使用這種策略。FAIR 研究人員表示，這不是編程實現的，而是 bot 自己觀察後認為這是一種實現目的的好方法。

生成新的句子（Producing novel sentences）：神經網路往往傾向於重複訓練數據中見過的句子，但在這項研究中，模型在必要時生成了新的句子。

從 Facebook 官博上給出的例子（見下），這個談判 AI 開發還是成功的：

GIF/797K

AI 用人類不懂的方式溝通非常正常，難的是讓 AI「說人話」

現在，Facebook 確實關閉了這個對話項目，但並不是因為他們對創造出可能不受控制的智能體感到恐慌。在 FastCo 的報道中，FAIR 另一名研究員 Mike Lewis 說，他們決定關閉對話，因為「我們感興趣的是做能夠與人類對話的 bot」，而不是 bot 互相間能夠很有效率地進行對話，「我們要求 bot 相互之間的對話要能夠被人理解」。

但在這個媒體浮誇的時代，新聞報道所做的可能與這些機器人並沒什麼不同，這個故事從關注機器學習技術的短期實現潛力，演變成製造恐慌的末日故事。

實際上，正如 Dhruv Batra 所說，AI 之間「交流」是非常普通的一個現象，只要你把兩個機器學習設備放在一起，並讓它們相互學習，都會出現這樣的現象。值得一提的是，假如 bot 之間簡略的「語言」可以解釋，出來的對話也就能夠理解，並且完全不像之前的那麼可怕。

這類機器學習技術可能讓智能設備或系統更高效地相互交流。如果說這些成果引出一些問題，就是一旦這樣的系統出錯，debug 會非常不容易！但這完全不是說人工智慧脫離了人類的控制。

上海交通大學教授、斯坦福 AI Lab 博士後盧策吾在接受新智元採訪時表示，這件事情告訴我們，沒有很 solid 和 novel 的工作，PR 需謹慎，可能對自己和機構都是副作用。研究計算機是否能（非監督地）獨立產生自己的語言，這件事情本身是非常有意義的科學探索，因為這是檢驗計算機是否理解人類高級語義和抽象概念的好方法。

他也建議大家有興趣的話，可以看一下Noam Chomsky 的經典討論，這樣更能把語言產生這件事的高度提高一下。

「這就像一個與世隔絕的部落，AI 獨立產生了自己語言，雖然符號表達和我們不一樣，但是我們一翻譯，發現它們有和我們一樣的高級語義，比如「朋友」，「愛情」等等，我會說他們真的理解這些概念，具有人類的高級智能。」盧策吾告訴新智元。

目前，計算機能識別「貓」，「狗」，「汽車」，但計算機真的理解這個概念嗎？盧策吾認為不一定，更多是像模式識別（pattern recognition）。「例如，有一輛外形奇怪的車，在訓練集合里沒出現過，計算機馬上就掛了，因為計算機沒有『什麼是車』這個概念，而是記下一般情況下車的長相。」盧策吾說：「這樣就看出，目前計算機沒有真正全面地理解人類概念，還是比較低級別的 AI。如果計算機真的理解人類概念，其對現實世界的改造威力將會大上好幾個量級。」

盧策吾教授研究組的一個 topic 是讓計算機看大量視頻，然後（非監督地）獨立發明辭彙。目前結果應該說是「非常崩潰的」，計算機只能推斷出一些「顯而易見」的概念。

「我們發現第 1242 號辭彙（pattern）好像是對應『走』的意思——其實這是很低級別語義，沒什麼意思——更深刻概念就根本抓不到，還在探索中，探索路上經常被打擊。分享一下我們一些比較崩潰的研究經歷，就是想說，計算機獨立發明語言是一件非常艱難的事情。但這是窺探強人工智慧的一個好工具，我相信逐步一點點推進還是有可能的。」

參考資料

Facebook 研究人員 Dhruv Batra 的澄清：https://www.facebook.com/dhruv.batra.dbatra/posts/1943791229195215?pnref=story

知乎用戶周曦的回答：https://www.zhihu.com/question/61296365/answer/186652596

Facebook 官博論文介紹：https://code.facebook.com/posts/1686672014972296/deal-or-no-deal-training-ai-bots-to-negotiate/

Gizmodo 事件回顧：http://gizmodo.com/no-facebook-did-not-panic-and-shut-down-an-ai-program-1797414922

【號外】新智元正在進行新一輪招聘，飛往智能宇宙的最美飛船，還有N個座位

點擊閱讀原文可查看職位詳情，期待你的加入~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！