2017世界撲克圈十大霸屏事件之：人機大戰，AI大敗職業牌手

誰能想到在2017年，人工智慧（AI）竟然會在我們最心儀的遊戲 - 無限注德州撲克 - 中勝了人類一籌？不過，既然人類玩無限注德州撲克的戰略已經升級到了一個非常高的程度，電腦程序進化的程度超過人腦也沒有那麼稀奇了。畢竟，這只是時間問題而已。

德州撲克是信息不完全的遊戲，不同的玩家通過各種不同的信息，根據起始籌碼量，可以碰到10161個不同的決策點。德州撲克這種複雜性成為了設計AI的一個「基準挑戰」。如果AI能搞定德州撲克，那必定可以應用於其他信息不完全的領域。

擊敗人類之路

儘管AI與策略遊戲已經糾葛了30多年，但是直到最近，機器人才終於在高人氣的無限注德州撲克遊戲中擊敗了人類。2015年3月，有一款叫做Claudico的機器人跟四名頂尖的單挑無限注德州撲克高手進行了對戰。不過，機器人的破綻實在太多，無法戰勝人類。但是，對戰最後產生的數據可能會有一點誤導人。

這四名人類玩家分別是Bjorn Li, Doug Polk, Dong Kim和Jason Les。他們總共玩了8萬手牌，最終贏了$732,713（不過Les輸了$80,842）。但是，整個挑戰過程中，雙方全部的投注超過了$1.7億，這使得人類的盈利還佔不到總投注額的0.5%。從統計學上來講，幾乎可以忽略不計。

卡耐基梅隆大學的這支團隊並未止步於Claudico，特別是大學計算機部門的Tuomas Sandholm和Noam Brown。兩人還在繼續研究，不斷從職業牌手那裡得到反饋，然後用於改善機器人的設計。最後，他們在2016年設計出了Baby Tartanian 8，隨後又設計出了Libratus（冷撲大師），準備讓它在2017年接受挑戰。

2017年1月，人機大戰「復仇賽」再次啟動。這一次，人類挑戰者的隊伍稍有變化。Kim和Les的隊友變成了Jimmy Chou和Daniel McAulay。

我們通過當時的報道可以看到，這次復仇賽的結果和第一次不一樣了。AI在跟人類打了12萬手牌之後，贏了籌碼$1,766,250，取得了大勝。冷撲大師的表現還為它的設計團隊贏得了11月的HPCwire『人工智慧最佳使用』獎。

Doug Polk是這樣說Claudico的，「它有一些漏洞，但是在新的程序冷撲大師中得到了修補。我現在清晰地認識到，到了這個時候，人類在單挑無限注遊戲中已經滯後了，而且我可以想像到這種情況在其他形式的遊戲中還會繼續。」

Polk說到其他形式時，提到機器人目前主要的漏洞在於，還不能把在無限注單挑遊戲中的表現複製到其他遊戲形式中，比如六人桌、九人桌遊戲或其他撲克遊戲。但是就像Polk所說，這一天應該不會很遠了。

那麼，我們身為撲克愛好者和迅猛發展的技術社會中的一員，撲克AI的迅猛發展，對我們有什麼借鑒意義呢？

AI的策略

在撲克AI的測試過程中，Jason Les是參與度最高的職業牌手，擁有跟各個迭代的機器人交手的第一手經驗。Les對記者說，儘管他在大學學的不是人工智慧，但是他一直覺得AI非常迷人。在卡耐基梅隆大學的團隊尋找頂尖玩家跟Claudico挑戰時，他毫不猶豫地參與了進來。前段時間，Les還跟「夥伴」冷撲大師在神經信息處理系統大會中「敘舊」了呢。

「撲克大師Jason Les將會在周二晚上參加2017NIPS演示會議，跟他的老夥計冷撲大師重聚！」

「跟冷撲大師對戰是一次非常緊張激烈和費勁的經歷。它採用的是比以前更加接近納什平衡的策略，也就是說它幾乎沒有可以利用的漏洞。我們一開始希望能通過使用在它的抽象中不存在的下注量，從而獲得優勢。但是，我們後來發現，每當我們使用它一開始不熟悉的下注量後，AI會立刻運行演算法來學習新的下注量，填補自己的不足。」

AI的建造者在一篇正式的文章中提到了Les所指的的抽象。12月18日，這篇名為「Libratus: The Superhuman AI for No-Limit Poker」（冷撲大師：擊敗無限注撲克的超人類AI）詳細解釋了AI的內部工作原理。

冷撲大師並不像有些人想像的那樣，預先編程了策略，而是寫好了一個行動之前採取納什平衡的決策演算法。這個演算法是以「行動抽象」（不同情況下採取不同組的下注量）和「牌面抽象」（把類似的手牌分為一組，採取相同的打法）為基礎的，能讓冷撲大師把10616個遊戲決策點降低到1012個。

和以前的AI不同，冷撲大師共有三個模塊組成，每個模塊都有獨立的演算法。論文中列出了這三個模塊：

在行動之前就計算出近似納什平衡的策略

在遊戲過程中進行子遊戲求解

冷撲大師根據對手呈現的漏洞，調整自身的策略，使之更接近平衡

「從優點方面來看，冷撲大師採取的是非常平衡的策略，在所有時機的詐唬數目非常合適。另外，它還會執行完美的混合策略，使得對手更難推測它的範圍。人類沒有能力採取同樣的混合策略， 做不到用不同的辦法不同的下注量和不帶偏見的打同樣的手牌。冷撲大師沒有偏見或習慣，只會根據玩過的上億牌精心調整自己的策略。」

Les認為從某種程度上，人類可以在玩撲克方面模仿冷撲大師，採取混合的策略，不要每次都用同樣傳統的方式來玩某些牌或應對某些情況。對手有悟性的話，很容易就能看穿這種規律。他只需要做簡單的調整就能打敗你了。

「從觀察冷撲大師玩牌，我發現人類可以學到的最好的東西就是，應該採取混合的策略。也就是說，你應該用許多不同的方式來玩牌，哪怕有時候看起來有些違反傳統。不要讓別人所『接受』的玩法影響你對於對錯的判斷。採取這種辦法，像冷撲大師一樣採取各種各樣的下注量（有大也有小），這是每個人都可以學習的，而且可以用來對付正常的人類對手。」

在跟冷撲大師的挑戰結束後，Dong Kim也在採訪中提到了類似的看法。他說，作為「世界一流」的AI，它使用的是混合的策略，而且用超池下注來詐唬的次數遠超他所見過的人類。

最近幾個月，超池下注成為高水平玩家越來越喜歡採用的玩法。他們把這種戰術融入到自己的遊戲中， 跟冷撲大師一樣，用它來平衡詐唬和價值下注。超池下注的玩法曾多次被頂尖牌手提及。過去幾年，也有越來越多的人開始討論和使用遊戲理論最優策略（GTO）。

我們從冷撲大師身上能學到的最重要的就是AI的學習方法。冷撲大師之所以能擊敗頂尖的無限注德州撲克單挑桌玩家，不僅是因為有複雜的演算法，還因為它能根據新的信息和玩過的新手牌，不斷調整策略。

雖然我們人類並沒有冷撲大師這種超神的計算能力，但是頂尖的玩家可以通過使用AI模擬工具和軟體，比如德州撲克快速GTO破解器PioSOLVER，有意識地訓練自己，不斷尋找對手策略上的漏洞，然後調整策略來利用這些漏洞。

正如Les所說，人類可以利用撲克AI的進步，提高自己的遊戲。

「AI的進步真的為人類改善自己撲克遊戲提供了強大的工具。跟優秀的對手對戰一直是學習玩好撲克的不二法門。今天你如果想找到好的對手，那就要去玩真錢。如果你真的想挑戰自我，就必須去玩更高的級別。有了AI訓練工具，玩家有機會在不真正輸錢的情況下，跟絕對有最佳表現的對手對戰。」

遊戲的未來

雖然AI在破解無限注德州撲克遊戲上有了長足的發展，但是就算是冷撲大師的創造者Brown，還是解釋說這個遊戲並沒有被「破解」，至少近期不會。在2016年接受採訪時，他說，「無限注德州撲克在我們有生之年沒可能破解。話雖如此，我們還是能想到很多好的近似解，我認為幾年後我們就能看到機器人打敗非常頂尖的職業牌手了，不過這跟破解還是有很大區別的。」

不到一年後，他的預測就在冷撲大師的神勇表現中得到了驗證。不過Brown明確表示，冷撲大師的成功歸功於「好的近似解」，主要靠的是程序中的抽象。

但是，就算AI的計算能力越來越先進，成本效益越來越好，大多數真實的撲克場景依然是在人與人之間進行的。我們都知道，人類不過就是人類。人類會犯錯，會有情緒。他們還會分心，除了撲克之外還有其他的生活，而且多數人因為有「真正的」工作，所以用來學習遊戲的時間是很有限的。人們受限於人腦的計算能力，同時許多人玩撲克不是為了賺錢，而是有其他的目的，比如娛樂。所有這些因素加在一起，使得無限注德州撲克依然活力無限，受眾很廣，至少目前是這樣。

Dan 「Jungleman」 Cates 也同樣這種說法。他之前在錄一個視頻時說，儘管我們深愛的兩張牌遊戲從很多角度來看「破解」了，但是大部分正常人依然玩的是次優的撲克，有悟性的玩家依然可以利用他們的破綻賺到錢。

「儘管市面上有了所謂的破解之法，但是人們的玩法永遠都不會完美。」

機器人的危險之處

雖然有些人擔心機器人可能被不法分子用來在線上遊戲作弊，但是玩家和線上網站可以採取多種預防措施來保護自己。玩家可以留意下注量和時間的相似規律，看看是否存在不同尋常的下注方法，在聊天框是否沒有回應，然後把可疑的行為舉報給撲克網站。

另外，預防使用機器人和其他形式作弊的技術已經越來越先進，線上撲克在很多合法的國家和地區已經非常安全。不過，有人還是會問，機器人技術的發展是不是會使得預防機器人越來越困難。Les對這個問題也有所提及。

「AI的發展有可能導致玩線上撲克越來越不安全。雖然冷撲大師只玩單挑桌，但是隨著AI技術的發展，它會逐步滲入到六人桌和滿人桌領域，所以在線上撲克的安全問題上，我們可能會面臨更艱難的決策。我知道撲克網站做了很多的努力來保證安全，因為這是他們整個業務的根基，我希望他們能在採取應對方法上取得成功。」

「從長遠來看，我認為互聯網撲克的生存靠的是構建新的遊戲，強硬地面對AI的發展。新的遊戲可能是增加撲克牌的數目，增加籌碼籌碼量，或是做其他的改變。」

不論是不是為了防止線上撲克的作弊現象，Les所提到的增加撲克遊戲的種類確實是大勢所趨。所有的跡象都表明，撲克是死不了的。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！