深度強化學習從入門到大師：簡單介紹A3C（第五部分）

本文為 AI 研習社編譯的技術博客，原標題 ：

An intro to Advantage Actor Critic methods: let』s play Sonic the Hedgehog!

作者 | Thomas Simonini

翻譯、校對 | 斯蒂芬?二狗子

審核 | 鄧普斯?傑弗

整理 | 菠蘿妹

原文鏈接：

https://medium.freecodecamp.org/an-intro-to-advantage-actor-critic-methods-lets-play-sonic-the-hedgehog-86d6240171d

深度強化學習從入門到大師：簡單介紹A3C （第五部分）

從本系列課程開始，我們研究了兩種不同的強化學習方法：

• 基於數值的方法（Q-learning，Deep Q-learning）：該方法是學習一個值函數，該值函數將每組狀態、動作映射到一個數值。多虧了這個方法， 可以找到了每個狀態的最佳行動 - 具有最大Q值的行動。當行動個數有限時，該方法很有效。

• 基於策略函數的方法（策略梯度方法之REINFORCE 演算法）：我們不使用值函數，而直接優化策略。當動作空間是連續的或隨機時，這很有效。該方法的主要問題是找到一個好的評分函數來計算策略的好壞程度。我們使用episode的總獎賞作為評分函數（每個Episode中獲得的獎勵之和）。

但這兩種方法都有很大的缺點。這就是為什麼今天我們將研究一種新型的強化學習方法，我們稱之為「混合方法」: Actor Critic（AC）。我們將用到兩個神經網路：

• 衡量所採取的行動的好壞的評價器（critic）（基於值函數）

• 控制智能體行為方式的行動者（actor）（基於策略）

掌握這種架構對於理解最先進的演算法（如近端策略優化Proximal Policy Optimization，又名PPO）至關重要。PPO是基於Advantage Actor Critic（優勢行動者評論家演算法）。

本文中，你將通過Advantage Actor Critic（A2C）來實現一個可以學習如何玩刺蝟索尼克的智能體！

策略梯度法有一個很大的問題是，當使用蒙特卡洛策略梯度方法時，會等到整個情景episode結束後計算獎勵。據此可以得出結論，若結果回報值很高R(t)，整個情景中所做的行動都被是指定為是有利的（行動），即使有些行動非常糟糕。

正如我們在這個例子中所看到的，儘管A3 是一個不好的行動（會造成負獎勵），總回報（total reward）的重要評分使得所有被執行過的行動的策略參數被平均。

因此，學習模型要獲得最優策略，就需要大量樣本。因此導致訓練過程耗時，因為這需要花費大量的時間來收斂loss函數。那麼，如果我們可以在每個時間步對參數進行更新，結果會有什麼不同？

表演者-評論家模型是一個更好的得分函數。我們不會像在蒙特卡洛這種傳統強化學習方法那樣，等到情景episode結束才更新參數，而是在每個步驟進行更新（即時序差分學習，TD學習）。

因為每個時間步都進行參數更新，所以不再使用總回報R(t)。我們還需要訓練一個與值函數近似的評論家模型（記得，值函數是通過給定狀態和動作計算的最大未來回報的期望值）。這個值函數被用來代替使用策略梯度時的獎勵函數。

ctor Critic 是如何運行的

想一下，你和你的朋友一起玩視頻遊戲，你朋友一直回應你。你就是表演者，你朋友是評論家。

剛開始，你不會玩，所以你隨機嘗試一些行動。評論家（你朋友）將對你的行為的評價反饋給你。

通過在反饋中學習，你不斷更新玩遊戲的策略，並玩的越來越好了。

另一方面，你的朋友（評論家）也會更新他們提供反饋的方式，以便下次更好。

在我們看來，這個表演者-評論家的思想需要兩個神經網路。我們給出兩者表達式：

ACTOR：一個控制智能體行為的策略函數

CRITIC：一個衡量這些行為好壞程度的值函數

兩個模型同時運行。

因為我們有兩個模型（Actor和Critic）需要被訓練，所以需要分別優化兩組權重（用於行動的和用於評論的w）

Actor Critic表演-評論過程

在每個時間步，我們從環境中獲取當前狀態（St）,並將其作為輸入傳到Actor表演者和Critic評論家兩模型中。

我們的策略獲得狀態，輸出一行動（At）,並再接收一個新狀態（St+1）和獎勵（Rt+1）。

多虧那樣：

• 評論家模型計算當前狀態下採用某行動的得分q

• 表演者模型使用這個q值更新自身的策略權重

因為這一步的參數更新，使得在新狀態St+1到來時，Actor可以獲取到對應的行動At+1,隨後，Critic更新他的參數值。

在 深度Q學習的改進 這篇文章中我們了解，基於值函數的方法具有大的訓練波動。

這裡我們討論了優勢函數的使用，就是為了緩解這個問題。

優勢函數定義如下：

該函數給出相比在當前狀態下採用平均行動（動作值函數）的優勢值。換句話說，如果我採取這個行動，該函數計算我這個行動得到的獎勵。

（注：優勢函數的目的是，使用動作值函數減去了對應狀態擁有的基準值，使之變為動作帶來的增益，從而因而降低因狀態基準值的變化引起的方差）

如果 A(s,a) > 0: 梯度將朝梯度的那個方向更進一步。

如果 A(s,a)

實現這個優勢函數的需要兩個值函數-- Q(s,a) 和 V(s) 。幸運的是，我們可以使用 差分時間序列誤差TD Error 作為該優勢函數的(無偏)估計。

（Q(s,a)是動作值函數，V(s)也就是在狀態s下所有動作值函數動作概率的期望）

我們有兩種不同的策略來實現Actor Critic智能體：

• A2C（又名優勢演員評論家）

• A3C（又名非同步優勢演員評論家）

因此，我們使用與A2C，而不是A3C。如果您想看到完整的A3C實現，請查看 Arthur Juliani的優秀文章 A3C 和 Doom 實現。

在A3C中，我們不使用經驗回放，因為這需要大量內存。不同的是，我們可以並行的在多個環境實例上非同步執行不同的智能體。（可多核CPU跑）每個work（網路模型的副本）將非同步地更新全局網路。

另一方面，A2C與A3C的唯一區別是A2C是同步更新全局網路。我們等到所有works完成訓練後，計算他們的梯度的均值，以更新全局網路參數。

選擇A2C還是A3C？

這篇很棒的文章解釋了A3C存在的問題 。由於A3C的非同步特性，一些works（智能體的副本）使用較舊版本的參數。因此，這樣幾個work聚合地更新參數不是最好的。

這就是為什麼A2C在更新全局參數之前等待每個actor模型完成他們網路的各自部分的經驗訓練的原因。然後，我們重新開始一個使用各自部分經驗的新訓練，並且所有並行模型具有相同的新參數。

此架構思想受益於這篇文章

因此，訓練過程將使得模型間更密切聯繫，並且訓練更快速度。

實現一個玩刺蝟索尼克的A2C智能體

實際情況中的A2C

實際上，正如 Reddit帖子中 所解釋的那樣 , 因為A2C的同步性，所有我們不需要 A2C 的不同版本（不同的work）。

A2C中的每個work都具有相同的權重集，與A3C不同的是，A2C同時更新所有work(的參數）。

實際上，我們創建了多種版本的環境（比如八個），然後將它們並行地執行。

該過程如下：

• 使用「multiprocessing」庫創建一個具有n個環境的向量

• 創建一個對象「runner」，用來並行處理不同的環境

• 使用兩種網路模型：

1. step_model: 從環境中產生經驗樣本

2. train_model: 訓練經驗樣本

當 runner 邁出一步時（單步模型），將分別從n個環境中的每個環境執行一個步驟，並輸出了一批經驗樣本。

然後使用 train_model 和在這一批經驗樣本上計算（所有work）梯度。

最後，使用計算得出的新權重更新單步模型。

請記住，這樣一次計算所有梯度和每個 work 分別收集數據，並計算每個工人的梯度，然後求全局平均值是一樣的。為什麼？因為求導數的和（梯度的總和）與求和的導數相同。但求和的導數是使用GPU更好的方式（節省訓練時間）。

刺蝟索尼克的A2C

目前，我們了解了A2C一般的運行方式，我們可以開發這個玩索尼克的A2C智能體了！這個視頻展示了我們的智能體訓練10分鐘（左）和訓練10小時（右）的行為對比。

A2C Agent playing Sonic the Hedgehog (Left 1 update // Right 260)

實現代碼在GitHub上能找到（here）, 代碼的細節在notebook中給出了解釋。我還給你一個在GPU上訓練了10+小時的模型。

這個代碼實現比以前的代碼要複雜好多。我們要開始復現最先進的演算法，因此需要代碼的更高的效率。這也是為什麼，我們將整個code分為不同對對象和文件來實現代碼。

Understand A2C implementation playing Sonic the Hedgehog

就像這樣！你剛剛創建了一個學習玩刺蝟索尼克的智能體。 好棒！我們可以看到，在10小時的訓練中,智能體還是不理解「looping」，所以我們需要使用更穩定的架構：PPO。

花點時間來想想我們從第一節課到現在取得的所有成就：從簡單的文本遊戲（OpenAI taxi-v2）到像毀滅戰士、索尼克這些複雜的遊戲，我們採用越來越複雜的模型結構。這真是極好的！

下次，我們會來了解近端策略梯度，這個結構贏得了 OpenAI 遷移學習競賽，我們將訓練智能體玩索尼克2和索尼克3的全部關卡。

不要忘了，親自寫寫代碼實現每個部分。試著添加epochs，改模型架構，調整學習率等等。嘗試是最好的學習方式，玩的愉快~

想要繼續查看該篇文章相關鏈接和參考文獻？

長按鏈接點擊打開或點擊底部【深度強化學習從入門到大師：簡單介紹A3C（第五部分）】：

https://ai.yanxishe.com/page/TextTranslation/1407

【點擊查看本系列文章】

深度強化學習從入門到大師：簡介篇（第一部分）

深度強化學習從入門到大師：通過Q學習進行強化學習（第二部分）

深度強化學習從入門到大師：以Doom為例一文帶你讀懂深度Q學習（第三部分 - 上）

深度強化學習從入門到大師：進一步了解深度Q學習（第三部分 - 下)

深度強化學習從入門到大師：以 Cartpole 和 Doom 為例介紹策略梯度 （第四部分）

AI研習社每日更新精彩內容，觀看更多精彩內容：雷鋒網雷鋒網雷鋒網

等你來譯：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！