手把手教你搭建AlphaZero

安妮 允中 編譯整理

量子位 出品 | 公眾號 QbitAI

AlphaZero，DeepMind陣營的最強棋士。

關於AlphaZero的理論分析已經不少，最近Applied Data Science的聯合創始人David Foster，寫出了一份詳細的教程，教你如何搭建一套屬於自己的AlphaZero系統。而且還附上了代碼。

原文地址：https://medium.com/applied-data-science/how-to-build-your-own-alphazero-ai-using-python-and-keras-7f664945c188

量子位把其中的核心內容轉發如下。

如何構建自己的AlphaZero

首先，我們需要學習和理解AlphaGo Zero的原理。我之前寫過一篇AlphaGo Zero的知識點速查手冊可供參考，Tim Wheeler的博客中一篇文章給也講的很詳細，一併推薦給你。

知識點速查手冊：

https://medium.com/applied-data-science/alphago-zero-explained-in-one-diagram-365f5abf67e0

Tim Wheeler博客：

http://tim.hibal.org/blog/alpha-zero-how-and-why-it-works/

代碼

我將基於下面這個代碼庫進行講解：

https://github.com/AppliedDataSciencePartners/DeepReinforcementLearning

我們應該從哪裡開始構建自己的AlphaZero呢？

別急，可以從運行Jupyter notebook中run.ipynb的前兩個panel開始。一旦它對遊戲有了足夠的定位，那麼神經網路將開始訓練。通過額外的自我對弈和訓練，它將逐漸在預測遊戲中的各個行為的價值和下一步行動上做得越來越好，從而做出更好的決策和更聰明的遊戲。

現在，我們需要更詳細地看看面前的代碼，並且展示下AI是怎樣隨時間越來越厲害的。

Connect4

我們的演算法將要學習如何玩Connect4（四子連珠）這個遊戲。雖然不如圍棋那樣複雜，但也有4531985219092種遊戲位置。

遊戲規則很簡單。玩家輪流在任何一欄的頂部布置自己的顏色。誰最先在垂直、水平或對角線上都放置了同一種顏色就獲勝了，如果這種情況沒有出現，那遊戲就是平局。

下面是組成代碼庫的關鍵文件：

game.py

這個文件包含Connect4的遊戲規則。

每個正方形都被分配了一個從0到41的數字，如下圖所示：

game.py文件給除了從一種遊戲狀態到另一種狀態的邏輯，並且給出了一個選擇的動作。比如，考慮到empty board和38號動作，takeAction方法返回到一個新的遊戲狀態，也就是底部一行的中心位置。

你可以將game.py文件用任何符合相同API和演算法的遊戲文件替換掉，根據你給它的規則，通過自我對弈的方法學習。

run.ipynb

這個文件包含開啟學習過程的代碼。它通過演算法中的主要環節載入遊戲規則，並且由三個階段組成：

1.自我對弈

2.重新訓練神經網路

3.評估神經網路

有兩個智能體也參與到這個環節中，他們分別為best_player和current_player。

best_player包含執行最佳的神經網路，並且可以用於生成自我對弈的記憶。然後，current_player在這些記憶上重新訓練它的神經網路，然後再與best_player對弈。如果它贏了，best_player內部的神經網路被轉換為current_player內部的神經網路，然後循環再次啟動。

agent.py

這個文件包含遊戲中的一個玩家Agent class。在遊戲中，每個玩家都是用自己的神經網路和蒙特卡羅搜索樹進行初始化的。

我們需要用simulate method運行蒙特卡羅樹搜索過程。具體老說，智能體移動到樹的葉節點，用它的神經網路對節點進行評估，然後通過樹將節點的值返回。

之後，我們還需要用act method多次重複模擬，讓智能體理解從當前位置移動最有利。然後它將最終選擇的動作返回到遊戲中，以執行動作。

最後，replay method利用以前遊戲的記憶，重新訓練神經網路。

model.py

這個文件包括Residual_CNN類，這定義了如何構建一個神經網路的實例。

它使用了AlphaGo Zero論文中的神經網路結構的濃縮版本，然後是許多殘差層，然後分裂成價值和策略兩個分支。

卷積過濾的深度和數量可以在配置文件中指定。

Keras庫用來搭建網路，後端是TensorFlow。

要在神經網路中查看單個卷積過濾和密集連接的層，請在run.ipynb notebook中運行以下內容：

神經網路中的卷積過濾

MCTS.py

這裡包含構成蒙特卡洛搜索樹的節點、邊緣和MCTS類。

MCTS類包含前面提到的moveToLeaf和backFill方法，邊緣類的實例存儲了每個潛在行棋方法的統計信息。

config.py

在這裡設置影響演算法的關鍵參數。

調整這些變數會影響運行時間、神經網路的準確性和演算法的整體成功與否。上述參數能生成一個高質量的四子連珠（Connect4）玩家，但需要深長時間。想讓演算法加速，可以嘗試用如下的參數替代：

funcs.py

這裡包括兩個智能體之間對弈的playMatches以及playMatchesBetweenVersions函數。

要和你的作品對弈，可以運行下面的代碼（也是在run.ipynb notebook中）。

initialise.py

運行演算法時，所有模型和memory文件都保存在根目錄下的run文件夾中。

要從某一記錄點重啟演算法，需要把run文件夾轉移到run_archive文件夾，並在文件夾名中加入運行編號。然後把運行編號、模型版本號和memory版本號輸入到initialise.py文件中，對應run_archive文件夾中的相關文件。

其他

memory.py：Memory類的實例存儲以前的遊戲，演算法用這個來重新訓練當前玩家（current_player）的神經網路。

loss.py：這個文件包括一個自定義的損失函數。

settings.py：run和run_archive文件夾的位置。

loggers.py：日誌文件保存到run文件夾下的log文件夾中。要打開日誌記錄，請在這個文件夾中，將logger_disabled變數的值設置為False。

下圖來自logger.tourney文件，可以看到每個下法的概率。

結論

經過幾天的培訓後，我們的模型會產生下面這樣的mini-batch的迭代損失數值：

最上面的一行是策略端的誤差(MCTS的交叉熵移動概率與神經網路的輸出相對應)，底部是與值之間的誤差（實際遊戲值與神經網路值之間的均方差），中間這根線是上述兩者的平均值。

顯然，隨著訓練時間的增加，神經網路在預測每個遊戲狀態的值和可能的下一步動作方面變得越來越好。

為了展示這一成果是如何在更強的比賽中大展身手的，我讓17名玩家之間進行了一次聯賽，從首次迭代的神經網路到第49次迭代，每對搭檔都交手了兩次，兩名玩家都有機會先上場。

最終的排名如下：

很明顯可以看出，神經網路的後期版本優於早期版本，贏得了大部分遊戲。但似乎學習還沒有飽和——隨著訓練時間的延長，玩家還在變得更厲害，學習更多更複雜的策略。

例如，神經網路一直秉持的清晰策略是儘早搶佔中心欄，我們可以觀察下演算法初版和第30版的區別——

初版神經網路

第30版的神經網路

這是個不錯的策略，因為無論是通過哪種方法取勝，都需要佔據中心列，所以玩家需要搶佔先機。

最重要的是，這是由神經網路自己學會的，中途沒有任何人類輸入。

學習不同的遊戲

在games文件夾中，有一個名為Metasquares的game.py文件。所謂Metasquares，就是雙方在網格中輪流下棋，棋子連成的方塊越大，得分越高。

如果把Connect4 game.py替換成Metasquares game.py，同樣的演算法就開始學習玩新的Metasquares遊戲。

—完—

活動報名

加入社群

量子位AI社群13群開始招募啦，歡迎對AI感興趣的同學，加小助手微信qbitbot5入群；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進群請加小助手微信號qbitbot5，並務必備註相應群的關鍵詞~通過審核後我們將邀請進群。（專業群審核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話界面，回復「招聘」兩個字。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！