「ICML教程」深度強化學習，決策與控制（117 PPT）

20萬，這是新智元今天達到的用戶總數。在飛向智能宇宙的旅程中，感謝每一位和新智元同行的朋友。您的關注和支持是「新智元號」星艦永不枯竭的燃料。

完整PPT下載：https://sites.google.com/view/icml17deeprl

將「神通廣大」的神經網路模型與簡單可擴展的訓練演算法結合在一起的深度學習對包括計算機視覺，語音識別和自然語言處理在內的一系列監督學習領域產生了巨大的影響。深度網路具備的捕獲複雜、高維度功能並學習靈活的分散式表示的能力使得這一成功得以實現。這種能力可以對現實世界的決策和控制問題產生影響，機器不僅能對複雜的感官模式進行分類，還可以選擇行動，並解釋其長期的影響。

決策和控制問題在更經典的深度學習應用中缺乏相關的監督，並帶來了一些挑戰，需要新的演算法開發來解決。在本教程中，我們將介紹與強化學習相關的強化和最優控制的基礎理論，討論將深度學習擴展到決策和控制中的一些最新成果，包括基於模型的演算法，模仿學習和逆向強化學習，探索當前深度強化學習演算法的前沿和局限性。

深度強化學習，決策與控制

序列決策的深度學習

什麼時候不需要順序決策？

• 當你的系統在做單獨的決策時，例如，分類，回歸

• 當這個決策不影響未來的決策時

一般的應用

機器人、自動駕駛、語言&對話（結構化預測）、商業運作、金融

為什麼選擇深度強化學習？

• 深度學習對於解釋豐富的感官輸入很好

• 對於選擇複雜行動，強化學習很好

• 使用深度網路來表示感官和動作的映射

• 包含預估、控制，等

• 需要擴展到大型的功能

本教程結構：

1. 強化學習的問題設置

2. 無模型強化學習

   策略梯度

   actor-critic 演算法

   價值函數

3. Soft optimality

4. 反向RL

5. 基於模型的RL

6. 前沿與開放性挑戰

術語和符號

模仿學習

獎勵函數

強化學習的目標

強化學習演算法解剖

生成樣本（即運行策略）→擬合一個模型來預估回報→改善政策

評估策略梯度

策略梯度存在的問題

（上）高方差

（下）慢收斂，難以選擇學習率

減小方差

基線

平均獎勵不是最好的基線，但相當好了。

控制變數

回顧

策略梯度：

直接微分期望獎勵

rial-and-error學習

減小方差

使用因果性

使用基線

改善收斂率自然／協變數梯度

自動步長調整

協變數／自然策略梯度

策略梯度例子：TRPO

• 自然梯度

• 自動步長調整

• 離散行動和連續行動

• 容易使用

• 可編碼

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！