澳門大學講座教授陳俊龍：從深度強化學習到寬度強化學習：結構，演算法，機遇及挑戰

雷鋒網 AI 科技評論按：2018 年 5 月 31 日-6 月 1 日，中國自動化學會在中國科學院自動化研究所成功舉辦第 5 期智能自動化學科前沿講習班，主題為「深度與寬度強化學習」。

如何賦予機器自主學習的能力，一直是人工智慧領域的研究熱點。在越來越多的複雜現實場景任務中，需要利用深度學習、寬度學習來自動學習大規模輸入數據的抽象表徵，並以此表徵為依據進行自我激勵的強化學習，優化解決問題的策略。深度與寬度強化學習技術在遊戲、機器人控制、參數優化、機器視覺等領域中的成功應用，使其被認為是邁向通用人工智慧的重要途徑。

本期講習班邀請有澳門大學講座教授，中國自動化學會副理事長陳俊龍，清華大學教授宋士吉，北京交通大學教授侯忠生，國防科技大學教授徐昕，中國中車首席專家楊穎，中科院研究員趙冬斌，清華大學教授季向陽，西安交通大學教授陳霸東，浙江大學教授劉勇，清華大學副教授游科友等十位學者就深度與寬度強化學習技術在遊戲、機器人控制、參數優化、機器視覺等領域中的成功應用進行報告。雷鋒網 AI 科技評論作為合作媒體針對會議進行報道。會議整體內容請參考雷鋒網報道：

第一天：https://www.leiphone.com/news/201806/GlBY1r2LugLO8Hlo.html

第二天：https://www.leiphone.com/news/201806/UWOi5uIPcwuMZmTi.html

本篇文章為講習班報告第一篇，由澳門大學講座教授，中國自動化學會副理事長陳俊龍講解，報告題目為：從深度強化學習到寬度強化學習：結構，演算法，機遇及挑戰。

陳俊龍：澳門大學講座教授，科技學院前院長，中國自動化學會副理事及會士，澳門科學技術協進會副會長，IEEE Fellow，IAPR Fellow，美國科學促進會AAAS Fellow，國家千人學者，國家特聘專家。陳教授現任IEEE系統人機及智能學會的期刊主任。曾任該學會國際總主席。陳教授主要科研在智能系統與控制，計算智能，混合智能，數據科學方向。在2018年「計算機科學學科」高被引用文章數目學者中世界排名在前17名。陳教授或IEEE學會頒發了4次傑出貢獻獎，是美國工學技術教育認證會（ABET）的評審委員。澳門大學工程學科及計算機工程獲得國際【華盛頓協議】的認證是陳教授對澳門工程教育的至高貢獻。擔任院士期間帶領澳門大學的工程學科及計算機學科雙雙進入世界大學學科排名前200名。2016年他獲得母校，美國普渡大學的傑出電機及計算機工程獎。

陳俊龍教授的報告大致可以分為三個部分。首先討論了強化學習的結構及理論，包括馬爾科夫決策過程、強化學習的數學表達式、策略的構建、估計及預測未來的回報。然後討論了如何用深度神經網路學習來穩定學習過程及特徵提取、如何利用寬度學習結構跟強化學習結合。最後討論了深度、寬度強化學習帶來的機遇與挑戰。

陳教授用下圖簡單描述強化學習過程。他介紹道所謂強化學習就是智能體在完成某項任務時，通過動作 A 與環境（environment）進行交互, 在動作 A 和環境的作用下，智能體會產生新的狀態，同時環境會給出一個立即回報。如此循環下去, 經過數次迭代學習後，智能體能最終地學到完成相應任務的最優動作。

提到強化學習就不得不提一下 Q-Learning。接著他又用了一個例子來介紹了強化學習 Q-Learning 的原理。

原文地址：https://blog.csdn.net/Maggie_zhangxin/article/details/73481417

假設一個樓層共有 5 個房間，房間之間通過一道門連接，如下圖所示。房間編號為 0~4，樓層外的可以看作是一個大房間，編號 5。

可以用圖來表示上述的房間，將每一個房間看作是一個節點，每道門看作是一條邊。

在任意一個房間裡面放置一個智能體，並希望它能走出這棟樓，也可以理解為進入房間 5。可以把進入房間 5 作為最後的目標，並為可以直接到達目標房間的門賦予 100 的獎勵值，那些未與目標房間相連的門則賦予獎勵值 0。於是可以得到如下的圖。

根據上圖可以得到獎勵表如下，其中-1 代表著空值，表示節點之間無邊相連。

再添加一個類似的 Q 矩陣，代表智能體從經驗中所學到的知識。矩陣的行代表智能體當前的狀態，列代表到達下一狀態的可能動作。

然後陳教授又介紹了 Q-Learning 的轉換規則，即 Q(state, action)=R(state, action) + Gamma * Max(Q[next state, all actions])。

依據這個公式，矩陣 Q 中的一個元素值就等於矩陣 R 中相應元素的值與學習變數 Gamma 乘以到達下一個狀態的所有可能動作的最大獎勵值的總和。

為了具體理解 Q-Learning 是怎樣工作的，陳教授還舉了少量的例子。

首先設置 Gamma 為 0.8，初始狀態是房間 1。

對狀態 1 來說，存在兩個可能的動作：到達狀態 3，或者到達狀態 5。通過隨機選擇，選擇到達狀態 5。智能體到達了狀態 5，將會發生什麼？觀察 R 矩陣的第六行，有 3 個可能的動作，到達狀態 1,4 或者 5。根據公式 Q(1, 5) = R(1, 5) + 0.8 * Max[Q(5, 1), Q(5, 4), Q(5, 5)] = 100 + 0.8 * 0 = 100，由於矩陣 Q 此時依然被初始化為 0，Q(5, 1), Q(5, 4), Q(5, 5) 全部是 0，因此，Q(1, 5) 的結果是 100，因為即時獎勵 R(1,5) 等於 100。下一個狀態 5 現在變成了當前狀態，因為狀態 5 是目標狀態，故算作完成了一次嘗試。智能體的大腦中現在包含了一個更新後的 Q 矩陣。

對於下一次訓練，隨機選擇狀態 3 作為初始狀態。觀察 R 矩陣的第 4 行，有 3 個可能的動作，到達狀態 1,2 和 4。隨機選擇到達狀態 1 作為當前狀態的動作。現在，觀察矩陣 R 的第 2 行，具有 2 個可能的動作：到達狀態 3 或者狀態 5。現在計算 Q 值：Q(3, 1) = R(3, 1) + 0.8 * Max[Q(1, 2), Q(1, 5)] = 0 + 0.8 *Max(0, 100) = 80，使用上一次嘗試中更新的矩陣 Q 得到：Q(1, 3) = 0 以及 Q(1, 5) = 100。因此，計算的結果是 Q(3,1)=80。現在，矩陣 Q 如下。

智能體通過多次經歷學到更多的知識之後，Q 矩陣中的值會達到收斂狀態。如下。

通過對 Q 中的所有的非零值縮小一定的百分比，可以對其進行標準化，結果如下。

一旦矩陣 Q 接近收斂狀態，我們就知道智能體已經學習到了到達目標狀態的最佳路徑。

至此陳教授已經把 Q-learning 簡單介紹完了。通過上文的介紹大致可以總結出強化學習的六個特點：

無監督，只有獎勵信號

不需要指導學習者

不停的試錯

獎勵可能延遲（犧牲短期收益換取更大的長期收益）

需要探索和開拓

目標導向的智能體與不確定的環境間的交互是個全局性的問題

四個要素：

一、策略：做什麼？

1）確定策略：a=π（s）

2）隨機策略：π（a|s）=p[a_t=a|s_t=s],s_t∈S,a_t∈A（S_t）,∑π（a|s）=1

二、獎勵函數：r（在狀態轉移的同時，環境會反饋給智能體一個獎勵）

三、累積獎勵函數：V（一個策略的優劣取決於長期執行這一策略後的累積獎勵），常見的長期累積獎勵如下：

四、模型：用於表示智能體所處環境，是一個抽象概念，對於行動決策十分有用。

所有的強化學習任務都是馬爾科夫決策過程，陳教授對 MDP 的介紹如下。

一個馬爾可夫決策過程由一個五元組構成 M =（S，A，p，γ，r）。其中 S 是狀態集，A 是動作集，p 是狀態轉移概率，γ是折扣因子，r 是獎勵函數。

陳教授在介紹強化學習這部分的最後提到了目前強化學習面臨的兩大挑戰。

信度分配：之前的動作會影響當前的獎勵以及全局獎勵

探索開拓：使用已有策略還是開發新策略

Q-Learning 可以解決信度分配的問題。第二個問題則可以使用ε-greedy 演算法，SoftMax 演算法，Bayes bandit 演算法，UCB 演算法來處理等。

值函數（對未來獎勵的一個預測）可分為狀態值函數和行為值函數。

1.狀態值函數 V^π（s）：從狀態s 出發，按照策略π 採取行為得到的期望回報，

也被稱為 Bellman 方程。

2.行為價值函數 Q^π（s，a）：從狀態s出發採取行為a後，然後按照策略π採取行動得到的期望回報，

同樣被稱為動作‐值函數的 Bellman 方程。

類似的給出了相應的最優值函數為

最優值函數 V*（s） 是所有策略上的最大值函數：

最優行為值函數 Q*（s，a） 是在所有策略上的最大行為值函數：

從而的到 Bellman 最優方程：

及對應的最優策略：

陳教授介紹了求解強化學習的方法，可分為如下兩種情況：

模型已知的方法：動態規劃

模型未知的方法：蒙特卡洛方法，時間差分演算法

陳教授進一步主要介紹了時間差分演算法中兩種不同的方法： 異策略時間差分演算法 Q‐learning 和同策略時間差分演算法 Sarsa， 兩者的主要區別在於 a_t+1 的選擇上的不同，

普通的 Q‐learning 是一種表格方法，適用於狀態空間和動作空間是離散且維數比較低的情況； 當狀態空間和動作空間是高維連續的或者出現一個從未出現過的狀態，普通的 Q‐learning 是無法處理的。為了解決這個問題，陳教授進一步介紹了深度強化學習方法。

深度強化學習是深度神經網路與強化學習的結合方法， 利用深度神經網路逼近值函數，利用強化學習的方法進行更新，根據解決問題思路的不同可分為：

1．基於價值網路：狀態作為神經網路的輸入，經過神經網路分析後，輸出時當前狀態可能執行的所有動作的值函數，即利用神經網路生成 Q 值。

2．基於策略網路：狀態作為神經網路的輸入，經過神經網路分析後，輸出的是當前狀態可能採取的動作（確定性策略）， 或者是可能採取的每個動作的概率（隨機性策略）。

陳 教 授 也 提 到 了 Deepmind 公 司 在 2013 年 的 Playing Atari with Deep Reinforcement Learning (DRL) 提出的 DQN 演算法，Deep Q‐learning 是利用深度神經網路端到端的擬合 Q 值，採用 Q‐learning 演算法對值函數更新。DQN 利用經驗回放對強化學習過程進行訓練, 通過設置目標網路來單獨處理時間差分演算法中的 TD 偏差。

基於上面內容，陳教授進一步介紹了另外一種經典的時間差分演算法，即 ActorCritic 的方法，該方法結合了值函數（比如 Q learning）和策略搜索演算法（Policy Gradients）的優點，其中 Actor 指策略搜索演算法，Critic 指 Qlearning 或者其他的以值為基礎的學習方法，因為 Critic 是一個以值為基礎的學習法，所以可以進行單步更新，計算每一步的獎懲值，與傳統的 PolicyGradients 相比提高了學習效率，策略結構 Actor，主要用於選擇動作; 而值函數結構 Critic 主要是用於評價 Actor 的動作，agent 根據 Actor 的策略來選擇動作，並將該動作作用於環境，Critic 則根據環境給予的立即獎賞，根據該立即獎賞來更新值函數，並同時計算值函數的時間差分誤差 TD-error，通過將 TDerror 反饋給行動者 actor，指導 actor 對策略進行更好的更新，從而使得較優動作的選擇概率增加，而較差動作的選擇概率減小。

雖然深度結構網路非常強大，但大多數網路都被極度耗時的訓練過程所困擾。首先深度網路的結構複雜並且涉及到大量的超參數。另外，這種複雜性使得在理論上分析深層結構變得極其困難。另一方面，為了在應用中獲得更高的精度，深度模型不得不持續地增加網路層數或者調整參數個數。因此，為了提高訓練速度，寬度學習系統提供了一種深度學習網路的替代方法，同時，如果網路需要擴展，模型可以通過增量學習高效重建。陳教授還強調，在提高準確率方面，寬度學習是增加節點而不是增加層數。基於強化學習的高效性，陳教授指出可以將寬度學習與強化學習結合產生寬度強化學習方法，同樣也可以嘗試應用於文本生成、機械臂抓取、軌跡跟蹤控制等領域。

報告的最後陳教授在強化學習未來會面臨的挑戰中提到了如下幾點：

安全有效的探索

過擬合問題

多任務學習問題

獎勵函數的選擇問題

不穩定性問題

陳教授本次報告深入淺出的介紹了強化學習的相關概念，但對寬度學習的介紹並不多，寬度學習的概念可以參考這兩篇文章：澳門大學陳俊龍 | 寬度學習系統：一種不需要深度結構的高效增量學習系統，澳門大學陳俊龍：顛覆縱向的「深度」學習，寬度學習系統如何用橫向擴展進行高效增量學習？。

以上就是雷鋒網對於陳俊龍教授本次報告的全部報道。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！