ICLR19高分論文：為思想「層次」建模，遞歸推理讓AI更聰明

新聞 03-03

新智元報道

編輯：聞菲

【新智元導讀】受人類遞歸推理思維啟發，UCL汪軍教授組在多智體深度強化學習研究中首次將概率遞歸推理引入AI的學習過程，讓智能體在決策前預測其他智能體的反應對自身的影響。這項工作提升了AI群體思考深度，也為MARL研究提供了全新的思路。

開始之前，先來做個遊戲。

假設你跟其他正在看這篇文章的讀者一起玩一個遊戲，從到100當中猜出一個數，最後最接近所有人猜的數字平均值的2/3的那個人獲勝，那麼作為一個個體，你會說幾？

這個遊戲來自著名的博弈論遊戲「猜平均數的三分之二」(guess 2/3 of the average-game)，嚴格來說，人類玩家之間並沒有一個必勝的策略。但是，通過不斷思考對手可能的決策，這個遊戲的眾多答案中就會出現一個唯一的納什均衡，也就是。

猜平均數的三分之二

0到100的平均值是50，如果每個個體完全不考慮對手的數字而是隨機選擇一個數字，那麼猜的數字的均值就是50.

這時候有人就可以想了，假設其他人都是無腦瞎猜，那麼要獲勝，自己就需要多想一步，說出50的三分之二——也就是「50*2/3=33」。

假設其他人都說「33」，又會有人想，要獲勝，自己就需要再多想一步，說出33的一半——「16」。

這個過程不斷重複下去，最終，就會得到0。實際上，0也是這個問題的納什均衡。

但注意，這是在所有人都完全極度理性的情況下，現實生活中，沒有人是絕對理性的，所以並不會出現所有人都猜到0的情況，一般群體能收斂到「16-33」之間已經很不錯了。

更重要的是，這個遊戲充分說明了預測其他人猜的數字對自己將要給出的結果的影響——即使是完全理性的玩家，在這樣的遊戲中也不應該猜「0」，除非能夠確認：1）其他玩家也都是理性的，2）每個玩家都知道其他玩家是理性的。

只要上述兩點沒有同時成立，也即存在非理性玩家的情況下，要獲勝至少應該猜大於的數字。現實生活中，大多數情況下人類的決策都會有非理性的因素。為了對真實的決策過程更好的建模，那麼考慮非理性的因素對於多智能體AI的研究來說就是至關重要了。

1981年，Alain Ledoux在他的法國雜誌《遊戲與策略》(Jeux et Stratégie) 中提出了「猜平均數的三分之二」這個遊戲，結果分布如下圖。

1981年2898位讀者參與「猜平均數2/3」的結果分布，來源：維基百科

這個遊戲也可以用來反映群體的「思維深度」，最終數字越小，說明群體的思考層數(回數)越多。

實驗心理學領域詳細研究了不同職業不同人的思維深度，厲害的國際象棋大師能夠預測未來7個來回甚至更遠的情況，然後根據預測，返回來決定眼下在哪裡落子。事實上，人類作為一個整體平均的思維深度是1.5– 2。

絕大多數的人都會在做事前對自己行為的結果進行某種程度上的預估，具體說，人會先預測自己的行為可能對他人影響，然後再進一步預測受了影響的他人將如何反過來影響自己，這是一個遞歸的過程。

認知心理學認為，遞歸推理 (recursive reasoning)也即推測他人認為自己在想什麼，是人類固有的一種思維模式，在社交生活中對人類行為決策起到重要作用。放在猜數字遊戲里，就是「我猜你猜我在想什麼」。

人類社交中的遞歸推理過程。圖片來源：Gl?scher Lab

UCL首次將遞歸推理引入多智體深度強化學習

在傳統的多智體學習過程當中，有研究者在對其他智能體建模 (也即「對手建模」, opponent modeling) 時使用了遞歸推理，但由於演算法複雜和計算力所限，目前還尚未有人在多智體深度強化學習 (Multi-Agent Deep Reinforcement Learning) 的對手建模中使用遞歸推理。

在被深度學習頂會ICLR 2019高分接收的一篇最新論文中，UCL汪軍教授組首次將遞歸推理的思維模式引入多智體深度強化學習。

具體說，他們提出了一個遞歸概率推理框架Probabilistic Recursive Reasoning,簡稱PR2，讓每個智能體在決策時考慮其他智能體將如何回應自己接下來的行動，然後做出最優的決策。

k 階遞歸推理圖模型。a代表思考深度，隱式的對手建模用函數ρ-i逼近。0階模型認為對手完全隨機。上圖灰色區域表示智能體 i 的遞歸推理思考過程。想得更深一級的智能體返回得出當前輪次的最優結果。每一級計算都包含上一級的計算，比如2階包含1階。來源：https://arxiv.org/abs/1901.09216

基於PR2框架，研究人員提出了分別對應連續和離散動作空間的PR2-Q 和 PR2-Actor-Critic演算法。有趣的是，這些演算法是天生的分散式演算法，不需要Centralized Value Function。多次實驗結果表明，PR2有效提升了多智體強化學習中單個智能體的學習效率。

「我們在MARL智能體的遞歸推理中，使用了概率圖模型建模，最後得到了一個soft learning的結果，」參與這項工作的UCL計算機學院博士生Yaodong Yang告訴新智元：「巧妙的是，這和單智能體的最大熵強化學習有相通之處。」

研究人員希望這項工作為MARL的對手建模帶來一個全新的角度。論文的第一作者、UCL計算機學院的博士生溫穎在接受新智元採訪時表示：「在PR2的基礎上，針對更深層的遞歸推理，我們設計了一個特殊的trick，能保證訓練時每一步更深層的推理都比上一次迭代要好，同時不是無限制地計算下去，那樣的話計算資源的消耗太大。」

研究負責人UCL汪軍教授說：「ICLR的工作主要是考慮了1階遞歸思考，也就是考慮別人會怎麼想自己，接下來，我們將繼續研究多智體強化學習中AI的遞歸推理，在ICML 2019的投稿中，我們將其推廣到 n 階遞歸思考的過程，從而讓多智能體AI在更加有效有意義的納什均衡，相關理論將在機器人、自動駕駛汽車等應用中都有重要意義。」

了解更多

https://openreview.net/forum?id=rkl6As0cF7

[2] ICML 2019投稿「Multi-Agent Generalized Recursive Reasoning」:

https://arxiv.org/abs/1901.09216

[3] 猜均值2/3遊戲介紹：

https://en.wikipedia.org/wiki/Guess_2/3_of_the_average

更多閱讀

【加入社群】

新智元 AI 技術產業社群招募中，歡迎對 AI 技術產業落地感興趣的同學，加小助手微信號：aiera2015_2入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。