Facebook田淵棟開源遊戲平台ELF，簡化版《星際爭霸》完美測試人工智慧

選自Facebook

作者：田淵棟

機器之心編譯

參與：李澤南、李亞洲

在人工智慧有能力進入現實世界之前，遊戲是一種完美的測試環境。此前，谷歌 DeepMind 曾經宣布正在和暴雪共同研究能打《星際爭霸》的人工智慧，OpenAI 開源了人工智慧測試環境 Universe。最近，Facebook 也宣布了自己的人工智慧遊戲測試平台 ELF。田淵棟等人在其介紹論文中表示，新的測試平台可以支持三種遊戲形式：RTS、奪旗遊戲和塔防，同時也開放物理引擎。該平台現已開源。

遊戲是人工智慧研究的完美實驗環境。在遊戲環境中，可用於訓練人工智慧模型的數據是近乎無限、低成本、可複製，相比現實世界的經驗更容易獲得。這些特點正幫助 Facebook 人工智慧實驗室（FAIR）探索一些短期目標，如複雜遊戲環境中多個人工智慧的能力；以及長期目標：讓人工智慧應對現實世界的挑戰。遊戲研究可以幫助我們構建能夠進行計劃、具有理性、自我導航、解決問題、合作與交流的人工智慧。

儘管使用遊戲進行訓練能夠帶來多種好處，但研究者們在遊戲環境中進行探索可能會遇到很多困難。由於目前機器學習演算法的諸多限制，訓練需要成百上千的遊戲局數，這需要大量的計算資源，如配備大量 CPU、GPU 或定製硬體的高性能計算平台。此外，這些演算法是複雜而難以進行微調的。而隨著訓練環境中增加更多的人工智慧代理，這些變數將更加難以控制。

為了解決這些問題，讓所有人都能參與人工智慧的研究。FAIR 團隊創造了 ELF：一個大範圍、輕量級且易於使用的遊戲研究平台。ELF 可以讓研究者們在不同的遊戲環境中測試他們的演算法，其中包括桌游、Atari 遊戲（通過 Arcade Learning Environment），以及定製的即時戰略遊戲（RTS）。它們可以運行在帶有 GPU 的筆記本電腦上，而且支持在更為複雜的遊戲環境中訓練 AI，例如即時戰略遊戲——僅僅使用 6 塊 CPU，一塊 GPU，花上一天時間。

FAIR 的研究者們將 ELF 的界面設計得易於使用：ELF 在 C/C++界面中運行所有遊戲，自動處理並發問題如多線程/多任務。另外，ELF 還有一個純凈的 Python 用戶界面，提供了一批可供訓練的遊戲狀態。ELF 也支持遊戲以外的用途，它包括物理引擎等組件，可以模擬現實世界的環境。

目前，ELF 平台已經開源，開發者和研究者們可以在 GitHub 中找到它：https://github.com/facebookresearch/ELF

相關論文也已發表在 arXiv 中：https://arxiv.org/abs/1707.01067

架構

ELF 的架構相對簡單，它包含一個能夠主持多個在 C++端運行並發遊戲示例的模擬器，同時在 Python 端與 AI 模型（深度學習、強化學習等）溝通。

與其他在一個界面包含單個遊戲的 AI 平台不同，ELF 能把一批遊戲包括進一個 Python 界面。這使得模型和強化學習演算法能夠在每次迭代中包含一批遊戲狀態，降低了訓練模型所需的時間。

我們也在遊戲推斷和參與者模型（actor model) 之間建立配對靈活性。使用該框架，非常容易用一個參與者模型配對特定的遊戲示例，或者一個示例配對許多參與者模型，或者許多示例配對一個參與者模型。這樣的靈活性能夠快速的構建演算法原型，幫助研究員更快地理解哪個模型有更好的表現。

在 FAIR 早期的實驗中，ELF 能進行更快的模擬，使用同樣數量的 CPU 和 GPU 相比於 OpenAI Gym 玩 Atari 遊戲可以提高 30% 的訓練速度。當增加更多的核心之後，ELF 每核的幀率保持穩定。

Mini-RTS：實時策略遊戲進行研究

ELF 平台包括一個名為 Mini-RTS 的實時策略引擎與環境。我們寫 Mini-RTS 是為了幫助測試 ELF，它非常的快，在 Macbook Pro 上每核每秒運行 4 萬幀。它能捕捉實時策略遊戲的關鍵動態：兩個玩家同時收集資源、建立設施、探索未知領地，並嘗試控制地圖上的領地。此外，該引擎能夠加速人工智慧研究：完美的保存、載入、回放，完全可接入其遊戲內部狀態，多個內建式角色 AI，調試可視化、人類-AI 界面，等等。作為基準，我們在 Mini-RTS 上訓練的人工智慧展現出了驚人的結果，它可以在 70% 的對局中擊敗內建式 AI。這些結果顯示，訓練人工智慧完成任務，並在相對複雜的策略環境中優先排序行為是可能的。

有了 ELF 平台，我們期待它能幫助計算機處理指數級行為空間、長期延時獎勵和不完美信息。

論文：ELF: An Extensive, Lightweight and Flexible Research Platform for Real-time Strategy Games

摘要：在本論文中，我們提出了 ELF，一個大範圍、輕量級且易於使用的強化學習研究平台。在 ELF 中，我們可以通過高度定製化的即時戰略遊戲（RTS）引擎，實現三種遊戲環境（Mini-RTS、奪旗遊戲和塔防遊戲）。Mini-RTS 是簡化版的《星際爭霸》，捕捉遊戲動態，並可以在 MacBook Pro 筆記本上以每核心 40K 幀率（FPS）的速度運行。結合現代強化學習的方法，該系統可以在一天內使用 6 塊 CPU 和 1 塊 GPU 對內置 AI 進行端到端的訓練。

此外，我們的平台在環境代理通信拓撲、強化學習方法選擇、遊戲參數調整等方面上是靈活的，而且可以承載現有的 C/C++遊戲環境如 Arcade Learning Environment。通過 ELF，我們徹底探索了訓練環境，並展示了 Leaky ReLU 和 Batch Normalization 與長期訓練和漸進式課程體系的結合超過了基於規則的內建 AI，在超過 70% 的 Mini-RTS 遊戲中獲得了勝利。它在其他兩種遊戲中也能達到相似的水平。在遊戲的 Replay 中，我們可以看到人工智慧代理展示了有趣的策略。ELF 和它的強化學習平台將會開源。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！