開放下載！復旦大學邱錫鵬教授發布教科書《神經網路與深度學習》

知識 04-08

機器之心報道

書籍作者：邱錫鵬

機器之心編輯部

從2016到2019，根據多年教學和研究經驗，邱錫鵬教授完成了深度學習教科書《神經網路與深度學習》！目前這本教科書的全書內容、習題和PPT資源都已經開放。

邱老師昨天就在知乎發布了這本書：「整本書終於寫完了，雖然還有很多不足。但先告一段落，不然就得無限期拖延下去。感謝眾多熱心網友的意見和建議。全書的內容可以從這裡（https://nndl.github.io/）下載。個人能力有限，書中難免有不當和錯誤之處，還望讀者海涵和指正，不勝感激。」

知乎地址：https://zhuanlan.zhihu.com/p/61591812

隨書練習題：https://github.com/nndl/exercise

總體而言，這本書從基礎到研究前沿介紹了深度學習的核心概念與理論。我們不僅能了解到全連接、卷積和循環等基本深度神經網路網路，同時還能學習到前沿的 Transformer 等模型，當然所需的數學基礎在附錄也都是有提供的。這本 446 頁的深度學習開放教科書，足夠我們了解 DL 的前前後後。

邱老師是復旦大學計算機科學技術學院的副教授與博士生導師，他目前主要從事自然語言處理、深度學習等方向的研究，在 ACL、EMNLP、AAAI、IJCAI 等計算機學會 A/B 類期刊、會議上發表 50 余篇學術論文。此外，邱老師還是 FudanNLP 的開發者和 FastNLP 的負責人，這兩個開源項目都旨在提供更好的 NLP 工具。

邱老師個人主頁：https://xpqiu.github.io/

如下我們將截取原書部分內容與練習題，希望其能介紹整體結構與大致內容。作為一本優秀的深度學習中文教科書，它真的值得大家下載與閱讀。

前言

本書的寫作目的是使得讀者能夠掌握神經網路與深度學習技術的基本原理，知其然還要知其所以然。全書共 15 章。第 1 章是緒論，介紹人工智慧、機器學習、深度學習的概要，使讀者對相關知識進行全面的了解。第 2、3 章介紹了機器學習的基礎知識。

第 4、5、6 章分別講述三種主要的神經網路模型：前饋神經網路、卷積神經網路和循環神經網路。第 7 章介紹神經網路的優化與正則化方法。第 8 章介紹神經網路中的注意力機制和外部記憶。第 9 章簡要介紹了一些無監督學習方法。第 10 章中介紹一些和模型獨立的機器學習方法：集成學習、協同學習、自學習、多任務學習、遷移學習、終身學習、小樣本學習、元學習等。這些都是目前深度學習的難點和熱點問題。

第 11 章介紹了概率圖模型的基本概念，為後面的章節進行鋪墊。第 12 章介紹兩種早期的深度學習模型：玻爾茲曼機和深度信念網路。第 13 章介紹最近兩年發展十分迅速的深度生成模型：變分自編碼器和對抗生成網路。第 14 章介紹了深度強化學習的知識。第 15 章介紹了應用十分廣泛的序列生成模型。

2015 年復旦大學計算機學院開設了《神經網路與深度學習》課程，當時還沒有關於深度學習的系統介紹。講好深度學習並不是一件容易的事，課程涉及知識點非常多並且比較雜亂，也和實踐結合十分緊密。作為任課教師，我嘗試將梳理了深度學習的知識體系，並寫了一本講義放在網路上。

雖然現在看起來當時對深度學習的理解仍然十分粗淺，且講義存在很多錯誤，但依然受到了很多熱心網友的反饋和鼓勵。2016 年，華章公司的姚蕾編輯多次拜訪並希望能將這個講義整理成書。一方面被姚蕾編輯的誠意打動，另一方面也確實感到應該有一本面向在校學生和相關從業人員的關於深度學習的專門書籍，最終有了正式出版的意願。

但我依然低估了寫書的難度，一方面是深度學習的發展十分迅速，而自己關於深度學習的認知也不斷變化，導致已寫好的內容經常需要修改，另一方面是平時的科研工作十分繁忙，很難抽出大段的時間來靜心寫作，因此斷斷續續的寫作一直拖延至今。

雖然我自己理想中著書立說的境界是自己在某一個領域有自己的理論體系，將各式各樣的方法都統一到自己的體系下，並可以容納大多數技術，從新的角度來重新解釋這些技術。本書顯然還達不到這樣的水平，但希望能結合自身的經驗，對神經網路和深度學習的相關知識進行總結、梳理，通過寫書這一途徑，也使得自己更加能夠深入理解深度學習這一領域，並提高自己的理論水平。

簡要目錄如下：

第一部分入門篇

第 1 章緒論

第 2 章機器學習概述

第 3 章線性模型

第二部分基礎模型

第 4 章前饋神經網路

第 5 章卷積神經網路

第 6 章循環神經網路

第 7 章網路優化與正則化

第 8 章注意力機制與外部記憶

第 9 章無監督學習