《深入淺出強化學習：原理入門》
《深入淺出強化學習：原理入門》
郭憲 方勇純 編著
2018年1月出版
點擊此處參與抽獎，選取1 名同學獲贈此書，1月18日自動開獎。
內容簡介
本書用通俗易懂的語言深入淺出地介紹了強化學習的基本原理，覆蓋了傳統的強化學習基本方法和當前炙手可熱的深度強化學習方法。開篇從最基本的馬爾科夫決策過程入手，將強化學習問題納入到嚴謹的數學框架中，接著闡述了解決此類問題最基本的方法——動態規劃方法，並從中總結出解決強化學習問題的基本思路：交互迭代策略評估和策略改善。基於這個思路，分別介紹了基於值函數的強化學習方法和基於直接策略搜索的強化學習方法。最後介紹了逆向強化學習方法和近年具有代表性、比較前沿的強化學習方法。
除了系統地介紹基本理論，書中還介紹了相應的數學基礎和編程實例。因此，本書既適合零基礎的人員入門學習、也適合相關科研人員作為研究參考。
大咖推薦
鄧侃/ PhD of Robotics Institute, School of Computer Science, Carnegie Mellon University，前Oracle 主任架構師、前百度網頁搜索部高級總監、北京大數醫達科技有限公司創始人
徐昕/ 國防科技大學教授
俞凱/ 上海交通大學研究員
郝建業/ 天津大學副教授、天津市青年千人、天津大學「北洋青年學者」
陳白帆/ 中南大學副教授 湖南省自興人工智慧研究院副院長
本書前言
2017年5月，AlphaGo擊敗世界圍棋冠軍柯潔，標誌著人工智慧進入一個新的階段。AlphaGo背後的核心演算法——深度強化學習——成為繼深度學習之後廣泛受人關注的前沿熱點。與深度學習相比，深度強化學習具有更寬泛的應用背景，可應用於機器人、遊戲、自然語言處理、圖像處理、視頻處理等領域。深度強化學習演算法被認為是最有可能實現通用人工智慧計算的方法。不過，由於深度強化學習演算法融合了深度學習、統計、信息學、運籌學、概率論、優化等多個學科的內容，因此強化學習的入門門檻比較高，並且，到目前為止，市面上沒有一本零基礎全面介紹強化學習演算法的書籍。
本書是筆者在南開大學計算機與控制工程學院做博士後期間，每周在課題組內講解強化學習知識的講義合集。在學習強化學習基本理論的時候，我深深地感受到強化學習理論中的很多概念和公式都很難理解。經過大量資料和文獻的查閱並終於理解一個全新的概念時，內心湧現的那種喜悅和興奮，鼓動著我將這些知識分享給大家。為此，我在知乎開闢了《強化學習知識大講堂》專欄，並基本保持了每周一次更新的速度。該專欄得到大家的關注，很多知友反映受益良多，本書的雛形正是來源於此。在成書時，考慮到書的邏輯性和完整性，又添加了很多數學基礎和實例講解。希望本書能幫助更多的人入門強化學習，開啟自己的人工智慧之旅。
在寫作過程中，博士後合作導師方勇純教授給了大量的建議，包括書的整體結構、每一章的講述方式，甚至每個標題的選擇。寫作後，方老師細緻地審閱了全文，給出了詳細的批註，並多次當面指導書稿的修改。正是因為方老師的耐心指導與辛勤付出，本書才得以順利完成。
同時，非常感謝組內的研究生丁傑、朱威和趙銘慧三位同學，通過與他們的交流，我學會了如何更明晰地講解一個概念。本書的很多講解方式都是在與他們的交流中產生的。
本書在寫作過程中參考了很多文獻資料，這些文獻資料是無數科研工作者們日日夜夜奮鬥的成果。本書對這些成果進行加工並形成了一套自成體系的原理入門教程。可以說沒有這些科研工作者們的豐碩成果就沒有今天蓬勃發展的人工智慧，也就沒有這本書，在此對這些科學工作者們表示由衷的敬意。
本書前六章的內容及組織思路很大部分參考了David Silver的網路課程，同時參考了強化學習鼻祖 Richard S. Sutton等人所著的Reinforcement Learning: An Introduction，在此向Silver和Sutton致敬。
本書第8章介紹了置信域強化學習演算法，主要參考了John Shulman的博士論文，在此向John Shulman博士及其導師Pieter Abbeel致敬。第10章主要介紹了Sergey Levine博士的工作，在此對其表示感謝。在強化學習前沿部分，本書介紹了最近一年該領域很優秀的研究工作，如Donoghue的組合策略梯度和Qlearning方法，Tamar的值迭代網路，Deisenroth的PILCO方法和McAllister的PILCO擴展方法，在此對這些作者表示感謝。當然，本書還介紹了很多其他科研工作者的工作，在此對他們一併致謝。
本書闡述的主要是前人提出的強化學習演算法的基本理論，並沒有介紹筆者個人的工作，但在此仍然要感謝目前我負責的兩項基金的支持：國家自然科學基金青年基金（61603200）和中國博士後基金面上項目（2016M601256）。這兩個項目都和強化學習有關，本書也可看成是這兩個項目的前期調研和積累。關於更多筆者個人的工作，留待以後再與大家分享。
最後，感謝我的家人，感謝我的愛人王凱女士，感謝她長時間對我的理解和支持，沒有她的幫助，我一無所有，一事無成。這本書獻給她。
郭憲
2017年11月
本書目錄
1 緒論 1
1.1 這是一本什麼書 1
1.2 強化學習可以解決什麼問題 2
1.3 強化學習如何解決問題 4
1.4 強化學習演算法分類及發展趨勢 5
1.5 強化學習模擬環境構建 7
1.5.1 gym安裝及簡單的demo示例 8
1.5.2 深入剖析gym環境構建 10
1.6 本書主要內容及安排 12
第一篇 強化學習基礎 17
2 馬爾科夫決策過程 18
2.1 馬爾科夫決策過程理論講解 18
2.2 MDP中的概率學基礎講解 26
2.3 基於gym的MDP實例講解 29
2.4 習題 34
3 基於模型的動態規劃方法 36
3.1 基於模型的動態規劃方法理論 36
3.2 動態規劃中的數學基礎講解 47
3.2.1 線性方程組的迭代解法 47
3.2.2 壓縮映射證明策略評估的收斂性 49
3.3 基於gym的編程實例 52
3.4 最優控制與強化學習比較 54
3.5 習題 56
第二篇 基於值函數的強化學習方法 57
4 基於蒙特卡羅的強化學習方法 58
4.1 基於蒙特卡羅方法的理論 58
4.2 統計學基礎知識 67
4.3 基於Python的編程實例 71
4.4 習題 74
5 基於時間差分的強化學習方法 75
5.1 基於時間差分強化學習演算法理論講解 75
5.2 基於Python和gym的編程實例 83
5.3 習題 87
6 基於值函數逼近的強化學習方法 88
6.1 基於值函數逼近的理論講解 88
6.2 DQN及其變種 94
6.2.1 DQN方法 94
6.2.2 Double DQN 100
6.2.3 優先回放（Prioritized Replay） 102
6.2.4 Dueling DQN 104
6.3 函數逼近方法 105
6.3.1 基於非參數的函數逼近 105
6.3.2 基於參數的函數逼近 111
6.3.3 卷積神經網路 117
6.4 習題 123
第三篇 基於直接策略搜索的強化學習方法 125
7 基於策略梯度的強化學習方法 126
7.1 基於策略梯度的強化學習方法理論講解 126
7.2 基於gym和TensorFlow的策略梯度演算法實現 134
7.2.1 安裝Tensorflow 135
7.2.2 策略梯度演算法理論基礎 135
7.2.3 Softmax策略及其損失函數 136
7.2.4 基於TensorFlow的策略梯度演算法實現 138
7.2.5 基於策略梯度演算法的小車倒立擺問題 141
7.3 習題 141
8 基於置信域策略優化的強化學習方法 142
8.1 理論基礎 143
8.2 TRPO中的數學知識 153
8.2.1 資訊理論 153
8.2.2 優化方法 155
8.3 習題 164
9 基於確定性策略搜索的強化學習方法 165
9.1 理論基礎 165
9.2 習題 170
10 基於引導策略搜索的強化學習方法 171
10.1 理論基礎 171
10.2 GPS中涉及的數學基礎 178
10.2.1 監督相LBFGS優化方法 178
10.2.2 ADMM演算法 179
10.2.3 KL散度與變分推理 183
10.3 習題 184
第四篇 強化學習研究及前沿 185
11 逆向強化學習 186
11.1 概述 186
11.2 基於最大邊際的逆向強化學習 187
11.3 基於最大熵的逆向強化學習 194
11.4 習題 201
12 組合策略梯度和值函數方法 202
13 值迭代網路 207
13.1 為什麼要提出值迭代網路 207
13.2 值迭代網路 210
14 基於模型的強化學習方法：PILCO及其擴展 214
14.1 概述 214
14.2 PILCO 216
14.3 濾波PILCO和探索PILCO 226
14.3.1 濾波PILCO演算法 227
14.3.2 有向探索PILCO演算法 230
14.4 深度PILCO 232
後記 235
參考文獻 237
點擊此處參與抽獎，選取1 名同學獲贈此書，1月18日自動開獎。
博文視點
您閱讀的專業智庫
喜歡請分享至朋友圈
TAG:博文視點Broadview |