強化學習訓練Chrome小恐龍Dino Run：最高超過4000分

知識 06-02

選自Paperspace

作者：Ravi Munde

機器之心編譯

參與：Panda

強化學習是當前人工智慧領域內一個非常熱門的研究方向，在遊戲智能體方面的進展尤其耀眼。美國東北大學在讀碩士 Ravi Munde 近日發文介紹了其構建《小恐龍快跑（Dino Run）》強化學習智能體的過程。《小恐龍快跑》是 Chrome 瀏覽器上的一款隱藏小遊戲，當你的瀏覽器斷開網路時，你的屏幕上就會出現這隻小恐龍，此時只需點擊方向鍵即可開啟遊戲。

DeepMind 2013 年發表的論文《使用深度強化學習玩 Atari 遊戲（Playing Atari with Deep Reinforcement Learning）》為強化學習引入了一種新的深度學習模型，並展現了其僅使用原始像素作為輸入就能掌握 Atari 2600 電腦遊戲的不同控制策略的能力。在本教程中，我將使用 Keras 實現這篇論文。我首先會介紹強化學習的基礎知識，然後深入代碼以獲得實踐性的理解。

AI 玩《小恐龍快跑》

我在 2018 年 3 月初開始了這個項目並得到了一些優良的結果。但是，這個只有 CPU 的系統沒法學習更多功能。強大的 GPU 能顯著提升其性能表現。

在我們得到一個可運行的模型之前，有很多步驟和概念需要我們理解。

步驟：

構建一個瀏覽器（JavaScript）和模型（Python）之間的雙向介面

獲取和預處理圖像

訓練模型

評估

源代碼：https://github.com/Paperspace/DinoRunTutorial.git

開始

要這樣完成訓練和玩遊戲，你可以在設置好環境後克隆這個 GitHub 庫：

然後在 Jupyter Notebook 上操作

要確保你首先運行了 init_cache() 來初始化文件系統結構。

強化學習

一個學習走路的孩子

對很多人來說，這可能是一個新辭彙，但我們每個人都使用強化學習（RL）的概念學習過走路，而且我們的大腦現在依然這樣運作。獎勵系統是任何強化學習演算法的基礎。如果我們回到小孩走路的比喻，正面獎勵可能是父母的掌聲或拿到糖果；負面獎勵就是沒有糖果。然後，孩子在開始走路之前首先要學會站立。就人工智慧而言，智能體（我們這裡就是小恐龍 Dino）的主要目標是通過在環境中執行一個特定的動作序列來最大化特定的數值獎勵。強化學習中最大的難題是沒有監督（有標註數據）來引導智能體。它必須進行探索，靠自己學習。智能體首先會隨機執行動作，然後觀察每個動作所產生的獎勵，再學習預測面臨相似的環境狀態時可能最好的動作。

最簡單純粹的強化學習框架

Q 學習（Q-learning）

Q 學習是一種強化學習技術，在這種技術中，我們試圖近似一個特定函數，使其能為任意環境狀態序列得到動作-選擇策略。Q 學習是強化學習的一種無模型的實現，其中維護著一個相對每個狀態、所採取的動作和所得到的獎勵的 Q 值表。一個樣本 Q 值表應該能讓我們了解數據的結構。在我們的案例中，狀態即是遊戲截屏，動作則是什麼也不做和跳 [0,1]

一個樣本 Q 值表

我們使用深度神經網路，通過回歸方法來解決這一問題，然後選擇有最高預測 Q 值的動作。若想詳細了解 Q 學習，可參看 Tambet Matiisen 的這篇出色文章：https://ai.intel.com/demystifying-deep-reinforcement-learning/。你也可以參看我之前的文章，了解 Q 學習的所有超參數：https://medium.com/acing-ai/how-i-build-an-ai-to-play-dino-run-e37f37bdf153

設置

首先設置訓練過程所需的環境。

1. 選擇虛擬機（VM）：我們需要一個完整的桌面環境，讓我們可以在其中獲取截屏並將其用於訓練。我選擇了一個 Paperspace ML-in-a-box (MLIAB) Ubuntu 鏡像。MLIAB 的優勢在於預裝了 Anaconda 和很多其它的機器學習庫。

ML-in-a-box (MLIAB)

2. 配置和安裝 Keras 並使用 GPU

我們需要安裝 Keras 和 TensorFlow 的 GPU 版本。Paperspace 的虛擬機預裝了這些，但如果沒有安裝，可以執行下列操作來安裝：

另外，要確保 GPU 能被識別出來。執行下列 Python 代碼，你應該能看到可用的 GPU 設備：

3. 安裝依賴包

遊戲框架

你可以將你的瀏覽器指向 chrome://dino 或直接拔下網路插口來啟動遊戲。另一種方法是從 Chromium 的開源庫提取這個遊戲——如果我們想要修改遊戲代碼的話。

我們的模型是用 Python 寫的，而遊戲是用 JavaScript 構建的。要讓它們之間能進行通信，我們需要一些介面工具。

Selenium 是一種常用的瀏覽器自動化工具，可用於向瀏覽器發送動作和獲取當前分數等不同的遊戲參數。

現在我們有可以向遊戲發送動作的介面了，我們還需要一個獲取遊戲畫面的機制。

Selenium 和 OpenCV 能分別為截屏和圖像預處理提供最佳的表現，能實現 6-7 FPS 的幀率。

我們只需要 4 FPS 的幀率，所以足夠了。

遊戲模塊

我們使用這個模塊實現了 Python 和 JavaScript 之間的介面。下面的代碼片段應該能讓你一窺該模塊所執行的功能。

智能體模塊

我們使用智能體模塊封裝了所有介面。我們使用這一模塊控制小恐龍 Dino 以及獲取智能體在環境中的狀態。

遊戲狀態模塊

為了將動作發送給模塊並得到由該動作導致的環境轉換的結果狀態，我們使用了遊戲-狀態模塊。通過接收&執行動作、確定獎勵和返回經曆元組，其簡化了這一過程。

圖像處理流程

獲取圖像

獲取遊戲畫面的方法有很多，比如使用 PIL 和 MSS Python 庫來獲取整個屏幕的截屏然後裁剪相關區域。但是，其最大的缺點是對屏幕解析度和窗口位置的敏感度。幸運的是，該遊戲使用了 HTML Canvas。我們可以使用 JavaScript 輕鬆獲取 base64 格式的圖像。我們使用 Selenium 運行這個腳本。

從 Canvas 提取出的圖像

處理圖像

獲取得到的原始圖像的解析度大約是 600×150，有 3 個通道（RGB）。我們打算使用 4 個連續截屏作為該模型的單個輸入。這會使得我們的單個輸入的維度高達 600×150×3×4。這樣的計算成本很高，而且並非所有特徵都對玩遊戲有用。所以我們使用 OpenCV 庫對圖像進行尺寸調整、裁剪和處理操作。處理後得到的最終輸入圖像尺寸只有 80×80 像素，且只有單個通道（灰度）。