OpenAI Universe加入GTA5，遊戲訓練人工智慧

選自OpenAI

機器之心編譯

參與：李澤南、李亞洲

昨天，OpenAI 宣布旗下的開源人工智慧測試環境 Universe 加入了遊戲大作《俠盜獵車手 5》。用戶只需購買正版遊戲，即可使用 Universe 中的人工智慧在 Los Santos 中的 3D 環境中縱橫馳騁。此次開源的項目讓自動駕駛模擬測試平台 DeepDrive 在 GTA 世界中進行測試變得更加簡便易行。

如何收集用於訓練人工智慧的數據一直是各家科技公司面臨的難題。在通過各種方法收集真實世界數據的同時，一些公司也在致力於構建虛擬環境——它們可以提供近乎無限的可能性。

OpenAI 一直視圖構建各種不同類型的人工智慧訓練環境。目前，Universe 中包括了大約 2600 種 Atari 遊戲，1000 種 flash 遊戲和 80 種瀏覽器環境，可供所有人用於訓練人工智慧系統。GTA5 的引入是該項目的最新舉措，它為訓練用於自動駕駛汽車的人工智慧打開了又一扇大門。

GTA5 的遊戲世界是一個內容豐富的 3D 世界。在以下視頻中你們會看到，在 Universe 的新測試環境中，人工智慧獲取視頻信息的幀數被限制在了 8FPS，環境信息和視角管理齊備。同時，在 Universe 中的 GTA5 已經將原版遊戲中的所有暴力元素去除。

開始遊戲

想讓人工智慧體進入 GTA5 的世界，你需要安裝 Universe 的 Python 庫（你不需要為此特意升級到最新版本）。你可以通過加入以下代碼來嵌入人工智慧體。與其他遊戲類似，人工智慧收集信息的渠道是基於遊戲視頻輸出的。除鍵盤和滑鼠之外，在此遊戲中人工智慧體可以使用模擬遊戲手柄進行操縱。

相關鏈接：

Universe GTAV： https://github.com/openai/universe-windows-envs/blob/master/vnc-gtav/README.md#using-the-prebuilt-ami

Universe： https://github.com/openai/universe#install-universe

在 GTA5 中，人工智慧看到的遊戲畫面

DeepDrive

DeepDrive 是一個用於開發人工智慧自動駕駛系統的開放平台。DeepDrive 使用定製框架和內存檢查技術在 GTA5 中的模擬環境測試自動駕駛汽車系統。在本次發布中，OpenAI 同時提供了預先訓練好的自動駕駛人工智慧，以及用於訓練這個系統的數據集以供參考。新的 DeepDrive 環境和人工智慧都構建在 Universe 基礎之上。

在 DeepDrive 與 Universe 整合之前，這個自動駕駛開放平台已經展現了與現代大型 3D 遊戲良好的兼容性。但這次開源的系統使用起來更加方便。原始版本的 DeepDrive 應用需要使用 Windows 系統的電腦在本地運行，需要花費大約一整天的時間調試遊戲和人工智慧介面。而在新的 DeepDrive 中，人們只需花費大約 20 分鐘來進行設置，新的系統也支持在 Linux 和 OS X 平台上運行，同時這一新的功能也與之前已有的 Universe 人工智慧互相兼容（當然，使用模擬遊戲手柄比鍵盤滑鼠效果更好）。

發布

今天發布的內容包括：

GTA V 環境的源代碼和 AMI

一個預訓練駕駛智能體，在 Caffe 和 TensorFlow 上的實現。

源代碼： https://github.com/openai/universe-windows-envs/tree/master/vnc-gtav

AMI：https://github.com/openai/universe-windows-envs/blob/master/vnc-gtav/README.md#using-the-prebuilt-ami

用於 GTA5 的自動駕駛人工智慧： https://github.com/deepdrive/deepdrive-universe

GTA5 的集成環境支持選擇視角與自定義視野。同時也擁有用於強化學習訓練的獎勵機制，包含避免碰撞、與目的地距離和停留在路面上等等。

環境

在 Universe 之前，DeepDrive 使用一個 DirectX 進行屏幕捕捉，且需要在 Windows 中使用 C++ 接入 Caffe 來寫智能體。現在該遊戲在雲中的 Windows 虛擬機上運行，並通過 websockets 和 VNC 與 Universe 通信。因此該智能體可在 Linux 或 Mac 上運行，也可被寫入任何機器學習框架中。

Universe

Universe 在 VNC 上遷移畫面（pixel）、鍵盤和滑鼠，在 websockets 上遷移其他信息。為了支持轉向與減速的操縱桿控制，我們把操縱桿控制行為放入了 websockets 的環境。

就像剛發布 Universe 時所說的那樣，在公共互聯網路上用戶能維持到 20 FPS。

GTA V 為研究人員測試、開發人工智慧提供了豐富、多樣的環境。它的地圖設置幾乎是洛杉磯的 1/5 大小，為測試系統提供了廣闊的範圍。還有 257 種不同的車輛、7 種自行車和 14 類天氣環境，使用單個模擬器探索大量的不同排列變化也是有可能的。

GTA V 中聖安地列斯 49 平方英里的島城使得研究人員有能力在忙亂的大都市中、蜿蜒的山路、平坦的沙漠以及高速公路上訓練人工智慧

在該環境中，也能收集大量的標記數據：你能使用底層 GTA V 引擎來收集 2D 或 3D 邊界盒（bounding boxes），並且為汽車、人行道、自行車、動物、路面、交通標誌以及其他 GTA V 中超過 7000 類的物體進行標記。該環境也能通過 mods 延展到現實世界的汽車、道路建築，甚至是整個城市。

預訓練智能體

此次發布包括一個基線智能體，通過在人工智慧玩遊戲的 21 小時的數據集（大約 60 萬張圖片）上進行模仿學習得以訓練。（內建遊戲人工智慧是個非常好的初始目標：它要比典型的人類玩家表現更好，因為它能獲取遊戲內部狀態，即使它仍然會犯在高速公路上 180 度掉頭這樣的錯誤）。該基線智能體能幹在多種不同的天氣環境中進行駕駛、應對交通環境，遵守交通規則。它也只是個開始，我們誠邀社區其他人對它進行改進。

其他研究人員已經證明我們能夠在 GTA V 上訓練視覺系統，並使用它在現實世界中分類圖片。Universe GTA V 融合體使得在模擬自動駕駛系統上嘗試強化學習技術變得很輕鬆。

GTA V 融合進 Universe 自動地繼承了所有的工具和語義，Universe 提供了可比性和可共享性，也使得在 GTA V 上評估智能體的表現變得更容易。它可被單獨使用，或者作為獲取通用 Universe 智能體的另一環境。