馬雲說的「SO TM WHAT」的 AlphaGo 是怎麼一步步修鍊成精的？

眾所周知，AlphaGo 是一款由 Google 旗下 DeepMind 團隊研發的圍棋人工智慧程序。它不僅是第一個擊敗人類職業圍棋選手，也是第一個戰勝世界冠軍的程序，是圍棋史上最具實力的選手之一。

近期，AlphaGo 的升級版本以」Master / Magister」 的稱謂與世界頂級的圍棋選手進行了 60 場線上快棋賽，並取得了全勝的出色戰績。那麼這位歷史上首位獲得這些榮譽的非人類棋手是如何進化不斷強大起來的呢？Google 官方的這份簡介，簡單釋放了背後的「玄機」。

AlphaGo 如何進行訓練？

一直以來，圍棋就被認為是傳統遊戲中，對人工智慧而言最具挑戰性的項目。這不僅僅是因為圍棋包含了龐大的搜索空間，更是因為對於落子位置的評估難度已遠遠超過了簡單的啟發式演算法。

為了應對圍棋的巨大複雜性，AlphaGo 採用了一種新穎的機器學習技術，結合了監督學習和強化學習的優勢。通過訓練形成一個策略網路（policy network），將棋盤上的局勢作為輸入信息，並對所有可行的落子位置生成一個概率分布。

然後，訓練出一個價值網路（value network）對自我對弈進行預測，以 -1（對手的絕對勝利）到 1（AlphaGo 的絕對勝利）的標準，預測所有可行落子位置的結果。這兩個網路自身都十分強大，而 AlphaGo 將這兩種網路整合進基於概率的蒙特卡羅樹搜索（MCTS）中，實現了它真正的優勢。最後，新版的 AlphaGo 產生大量自我對弈棋局，為下一代版本提供了訓練數據，此過程循環往複。

AlphaGo 如何決定落子？

在獲取棋局信息後，AlphaGo 會根據策略網路（policy network）探索哪個位置同時具備高潛在價值和高可能性，進而決定最佳落子位置。在分配的搜索時間結束時，模擬過程中被系統最頻繁考察的位置將成為 AlphaGo 的最終選擇。在經過先期的全盤探索和過程中對最佳落子的不斷揣摩後，AlphaGo 的搜索演算法就能在其計算能力之上加入近似人類的直覺判斷。

本文作者 ：

- - - - END - - - -