Facebook的「AI」失控，用人類不懂的語言對話？假新聞

Facebook的「AI」失控，用人類不懂的語言對話？假新聞

較真鑒定：假/假新聞

1、Facebook的人工智慧研究院（FAIR）想訓練一個能談判的聊天程序。通過兩個程序之間對抗性地訓練和提高，進化出一個比較完善的自動談判範例。

2、在訓練中，因為遺忘了一個英語語法的激勵，所以機器在相互談判時，生成了一些很弱智的錯誤。這類錯誤在自然語言處理的研究中司空見慣。用行業黑話說就是「參數沒調好，訓練飛了」。當研究人員給程序加上英語語法約束後，機器就開始正常交流了。

3、不少報道稱Facebook關閉了這個程序，其實正好相反，他們發表了論文還把代碼開源了。

這些新聞是典型的「人工智慧威脅人類」論調的材料範本，這些胡扯與臆測建立在無知之上。完整的故事是這樣的：

Facebook人工智慧研究院（FAIR）想通過兩個機器聊天程序對抗的方式，進化出一個談判力較強的範本。

實驗是這麼設計的，給定一堆物品，比如兩本書、一頂帽子、三個籃球。然後放上A（Alice）、B（Bob）兩個聊天程序。事先給每個程序設定不同的物品權重，比如說，對A來說，書很重要，每本書的權重是9，帽子和籃球不重要，權重是3。對B來說，籃球很重要，每個籃球的權重是7，帽子和書不重要，權重是4。然後雙方在都不知道對方權重數值的情況下，開始相互試探著交換和談判，試圖讓自己所獲物品的數值之和最大化。談判一共進行10輪。10輪之內雙方達成分配協議，就按各方談判所得分別計算分數。如果雙方沒有達成協議，那麼都得0分。

GIF/1.7M

這個創意中規中矩，但也有些新意：兩個程序既需要合作（完成談判），又需要競爭（在談判中得到更多利益）。在談判時，需要回顧之前的對話，推測對方各項物品的權重和談判策略，然後預判對方之後提出的方案與可能接受的條件。甚至程序還可以偽裝自己，表示不看重某件東西，以獲得更多的談判利益。

研究者們使用了約5800條個人類真實的談判句子，作為機器的訓練集。並嘗試了多個不同的，可在談判中學習的談判策略，記錄了每個策略最終的得分，寫成了論文。這篇論文已經貼在arXiv上[1]，程序也已經開源[2]。Facebook發了一篇簡要的博客[3]簡述了他們的實驗方案。

不過，在實驗中，研究人員發現了這樣的現象。機器在談判時開始不遵守英語語法：

這個談判對話片段翻譯成中文大概是這個意思：

Bob：我我我我要拿走剩下的一切。

Alice：我只有0個球，球對我非常非常非常非常非常非常非常非常非常非常重要。

這是由於研究人員忘了給機器加上「符合英語語法」的約束激勵。所以機器只能採取不停重複某個辭彙的方式表達「這東西對我很重要」，顯得很「愚蠢」。加上約束以後，機器就表現得正常了。

這種語言錯亂、不停重複辭彙的情況在自然語言處理（比如機器翻譯）的研究中經常出現，屬於設置錯誤。而不是什麼「失控」。

自然，加上語言系統，也不是因為Facebook的研究人員「對機器發明語言的恐懼」。而是由於這個實驗的目標是進一步改進機器與人的交流，而不是去提高機器與機器的交流水平。現在機器之間交流都是用編碼，最精準也最快。

目前，神經網路的發展非常迅速，但依然停止在模擬「神經」的程度，只在有限的幾個領域超過人類，還完全說不上有智能。相反，它們非常愚蠢，一旦有參數錯誤，就會表現為「神經病」。但把「神經病」的表現包裝成「神」來膜拜或恐懼，則是淋漓盡致地表現出人類那種特有的愚蠢了。

參考鏈接：

[1] https://arxiv.org/pdf/1706.05125.pdf

[2] https://github.com/facebookresearch/end-to-end-negotiator

[3] https://code.facebook.com/posts/1686672014972296/deal-or-no-deal-training-ai-bots-to-negotiate/

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！