牛津教授吐槽DeepMind心智神經網路，還推薦了這些多智能體學習論文

夏乙 發自 凹非寺

量子位 出品 | 公眾號 QbitAI

DeepMind最近又有一篇論文刷了屏：

在Machine Theory of Mind中，DeepMind提出了「機器心智理論網路」ToMnet，讓AI智能體能理解自己和周圍智能體的情緒、意圖、慾望等等。他們在論文摘要中這樣陳述這篇論文的價值：推進可解釋性AI發展的重要一步。

論文地址：https://arxiv.org/abs/1802.07740

和歷史上的每一篇刷屏論文一樣，flag立得太高，當然會招來反對。

這次提出質疑的，不少我們熟悉的馬庫斯老師了，而是牛津大學計算機科學專業副教授希蒙（Shimon Whiteson）。

希蒙上周讀完這篇論文之後，大概心裡堆積了太多的槽點，於是連發10條Twitter想要一吐為快。他說：

我其實很喜歡這篇論文的想法，用元學習方法來為對手建模。但是，深度學習圈寫論文的那些毛病，這篇論文就是個極度惡劣的樣本！

說起「深度學習圈那些毛病」，你們大概能想到一個老生常談的問題：Over Claim。

重要一步？

希蒙主要針對的，就是DeepMind所宣稱的「重要一步」。

「重要一步」這樣的定位，就算那些提出新想法、新概念、新問題的開創性論文上，用起來也是小心翼翼，何況DeepMind這一篇，無論如何也談不上開創性。

希蒙批判這篇論文說，它沒有講理論，實驗領域簡單得跟玩兒似的，演算法上的貢獻也簡直微不足道，只不過是網路架構的一些工程性處理。那如果還能找出「重要一步」，就只能是提出了什麼重大的新想法吧？

想法新不新，要看「相關研究」那部分。可是這篇論文它……沒有Related Work部分……

深度學習健忘症

這也就牽扯到了深度學習圈外人對圈裡人的另一大意見：貴圈寫論文之前會不會讀一下相關文獻？研究者們還專門給這個問題起了個名字，叫「深度學習健忘症（Deep Learning Amnesia）」。

回到DeepMind這篇論文本身。希蒙認為，這篇論文主要講的是多智能體學習領域一個並不冷門的主題：對手建模（opponent modelling）。但是，全文從頭到尾都沒有提到這個概念。

在多智能體學習領域，有一種歷史悠久的著名方法，叫做虛構對策（fictitious play），DeepMind提都沒有提；多智能體環境中的對手建模，有一個完整的推理框架，叫做互動式的部分可觀察馬爾科夫決策過程（Interactive POMDPs），DeepMind也完全忽略了。

希蒙老師敲黑板：同學們，隨便瀏覽一篇多智能體學習的綜述文章，這些文獻都提到了啊！

可是DeepMind這一篇，引用的相關文獻完全跳過了這個領域，倒是談了不少心智理論和貝葉斯。

對於「健忘症」這個問題，論文一作、DeepMind研究員Neil Rabinowitz在Twitter上回復說，這些文獻他們是知道的，但是在introduction里不知道怎麼的就忘了引用了。現在arXiv上更新的第二版論文中，已經加上了這些該引用的文獻。

「相關研究」

不過，大部分論文中都有的「相關研究」那一節，還是沒寫。

對此，有一位前來吐槽的圍觀群眾說得好：要不咱們給DeepMind眾包個「相關研究」吧？

這顯然不是個可行的解決之道，不過對於想愛學習的同學們來說，也不是非要看這一篇論文嘛，多智能體學習這個領域有不少文獻綜述可以讀。

希蒙就列出了兩篇：

A Comprehensive Survey of Multiagent Reinforcement Learning

//ieeexplore.ieee.org/document/4445757/

A Framework for Sequential Planning in Multi-Agent Settings

https://www.jair.org/media/1579/live-1579-2391-jair.pdf

圍觀群眾Katja Hofmann也貢獻了一篇：

Autonomous Agents Modelling Other Agents: A Comprehensive Survey and Open Problems

https://arxiv.org/abs/1709.08071

關於希蒙

對DeepMind開炮的希蒙是牛津大學計算機專業研究人工智慧和機器學習方向的副教授，帶領著WhiRL（Whiteson Research Lab），研究領域主要涉及強化學習、深度學習等，以及它們在機器人、遊戲、信息檢索上的應用。

他帶領著學生們發表過不少很有名的論文，比如LipNet、比如和Pieter Abbeel合作的Learning with Opponent?Learning Awareness等等。

WhiRL實驗室合影，右四為希蒙

—完—

加入社群

量子位AI社群15群開始招募啦，歡迎對AI感興趣的同學，加小助手微信qbitbot6入群；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進群請加小助手微信號qbitbot6，並務必備註相應群的關鍵詞~通過審核後我們將邀請進群。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！