好奇的AI通過探索遊戲世界和犯錯來學習

credit: 123RF

我好奇我按下這個按鈕會發生什麼？擁有好奇心的演算法正在教會自己探索並解決它們從未見過的問題。

面對超級馬里奧的第一關，一個好奇心驅動的AI學會了如何探索地圖，避開深坑，以及躲開並消滅敵人。這可能聽起來不那麼厲害——演算法在電子遊戲領域把人類虐爆已經好幾年了——但這個AI的技能都是藉助於它內建的對遊戲世界的探索慾望而學會的。

傳統的AI是通過正面強化學習的。它們在完成某種外界目標時會得到獎勵，比如把遊戲總分提高一分時。這鼓勵它們做出能提高分數的行為——例如在超級馬里奧中踩扁敵人——並阻礙它們做出不能提高分數的行為，例如掉進深坑。

這種方法叫做增強學習，它曾被用來創造 AlphaGo，來自谷歌 DeepMind 的在去年以四比一的成績擊敗韓國圍棋大師李世石的圍棋AI。在經曆數千盤真實與模擬的棋局的過程中，AlphaGo 學會了追求能帶來終極獎勵——勝利——的策略。

然而，在現實世界中並非到處都有獎勵，領導了加州大學伯克利分校的這項研究的 Deepak Pathak 如是說道。「作為替代，人類擁有內稟的好奇心來幫助他們學習。」 他說。這或許能解釋為什麼我們不需要刻意學習就能輕鬆地掌握領域廣泛的各種技能。

因此，Pathak 給他自己的增強學習演算法加入了好奇心，並觀察這是否足以讓它學會許多技能。當 Pathak 的演算法加深了它對周邊環境的理解，特別是對那些能直接影響環境的因素的理解時，它便會獲得獎勵。所以，這個演算法會因探索和掌握那些使它更加理解遊戲世界的技能而獲得獎勵，而非在遊戲世界中直接尋找獎勵。

這種方法能加快學習並提高演算法的效率，來自谷歌的AI公司 DeepMind 的 Max Jaderberg 說道。這家公司在去年用了一種類似的技巧去訓練一個AI去探索一個虛擬迷宮。它的演算法學習的速度比起傳統的增強學習演算法快了很多。「我們的AI學習時快得多，並且訓練時需要少得多的來自環境的經驗，這使得它在利用數據方面效率更高。」 他說道。

高效學習者

憑藉著好奇心，Pathak 自己的AI學會了在超級馬里奧中踩扁敵人並跳過深坑，還學會了在另一個類似 Doom 的遊戲中探索遙遠的房間和穿越走廊。它還能夠在更後面的馬里奧關卡中應用它新得到的技能，即使它從未見過這些關卡。

但是好奇心只能讓這個演算法在超級馬里奧中達到一定水平。平均來說，它只探索了第一關的百分之三十，因為他沒能找到越過只能用一段超過十五次操作的連擊穿過的一系列深坑的途徑。當AI到達這一地點時，它並不會信仰之躍跳向死亡，而是學會了轉身停下。

這個AI如此困惑的原因，可能是它不知道在這個深坑之後還有關卡的另一部分，Pathak 如是說道。它沒有學會持續地利用遊戲中的捷徑，因為這會讓它的探索範圍減小，從而無法滿足它的探索慾望。

Pathak 如今在研究機械臂是否能通過好奇心學會抓取新物體。「比起讓它隨機地行動，你可以利用這種方法讓它更有價值地活動。」 他說。他還打算研究一個類似的演算法是否能用在像 Roomba 吸塵器這樣的家用機器人上。

但 Jaderberg 並不確定這種演算法已經準備好被正式使用了。「現在談實際應用還為時尚早。」 他說。

論文地址：arXiv:1705.05363

本文譯自 New Scientist，由譯者 Zeno 基於創作共用協議(BY-NC)發布。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！