斯坦福吳恩達老師 deeplearning.ai 開課了：敲黑板序列模型

在機器之心周二發布的文章《吳恩達宣布啟動 AI Fund：1.75 億美金進軍 AI 創投》中，讀者紛紛留言 deeplearning.ai 的第五課什麼時候開始。終於，大家翹首期盼的課程今天開課了，同時也意味著該系列課程要結課了。自去年 8 月發布以來，吳恩達創業的第一個項目「深度學習教育課程」終於完整地呈現在人們的眼前。

課程鏈接：https://www.coursera.org/learn/nlp-sequence-models

和此前四門課程一樣，新的課程仍將由吳恩達本人主講。此外，斯坦福大學講師 Kian Katanforoosh 與 Younes Bensouda Mourri 也將參與授課。

吳恩達 deeplearning.ai 的五門課程

第一門：神經網路和深度學習

課程學習時間：四周，每周 3-6 小時

第二門：提升深度神經網路—調整超參數、正則化與優化

課程學習時間：三周，每周 3-6 小時

第三門：構建機器學習項目

課程學習時間：兩周，每周 3-4 小時

第四門：卷積神經網路

課程學習時間：四周，每周 4-5 小時

第五門：序列模型

課程簡介

本課程將講授如何構建自然語言、音頻和其他序列數據的模型。在深度學習的幫助下，序列演算法比兩年前效果更好，用於大量有趣的應用，如語音識別、音樂合成、聊天機器人、機器翻譯、自然語言理解等。學完本課，你將：

• 了解如何構建和訓練循環神經網路（RNN）及其常用變體，如 GRU 和 LSTM。

• 使用序列模型處理自然語言問題，如文本合成。

• 將序列模型應用到音頻應用中，如語音識別和音樂合成。

• 這是 Deep Learning Specialization 課程的第五課，也是最後一課。

適用人群

• 學完第一、二、四課的學習者。同樣推薦大家學習第三課。

• 已經對神經網路（包括 CNN）具備深厚理解，並想學習如何開發循環神經網路的人。

授課大綱

該課程共分為三部分，學員可分三周完成。

第 1 周：循環神經網路（RNN）

學習循環神經網路。RNN 模型被證明在時序數據上性能非常好。它有多種變體，如 LSTM、GRU 和雙向 RNN，本節將對此進行介紹。

第 2 周：自然語言處理 & 詞嵌入

自然語言處理和深度學習的結合非常重要。使用詞向量表示和嵌入層可以訓練出在多個行業中性能優秀的循環神經網路。應用實例如情感分析、命名實體識別和機器翻譯。

第 3 周：序列模型 & 注意力機制

序列模型可通過注意力機制獲得增強。這一演算法有助於模型在給定輸入序列的情況下了解其注意力的聚焦點。本周，你還將學到有關語音識別的知識，以及如何處理音頻數據。

參考資料

在學習該課程之前，機器之心為大家準備了一些學習資料做準備，內容包括循環神經網路的綜述論文、LSTM、GRU等循環神經網路變體的介紹、LSTM的原理解讀、教程等。

• 從90年代的SRNN開始，縱覽循環神經網路27年的研究進展

• LSTM、GRU與神經圖靈機：詳解深度學習最熱門的循環神經網路

• LSTM入門必讀：從基礎知識到工作方式詳解

• 乾貨 | 圖解LSTM神經網路架構及其11種變體（附論文）

• 深度 | LSTM 和遞歸網路基礎教程

• 深度 | 從任務到可視化，如何理解LSTM網路中的神經元

• 在調用API之前，你需要理解的LSTM工作原理

• 教程 | 如何解決LSTM循環神經網路中的超長序列問題

• 教程 | 將注意力機制引入RNN，解決5大應用領域的序列預測問題

• 學界 | RNN 怎麼用？給初學者的小教程

• 深度 | Facebook科學家Tomas Mikolov詳解RNN與機器智能的實現（附視頻+PPT）

前四課學習筆記

Deeplearning.ai 課程開課以來，一直受到大家的關注，也有眾多讀者積極的參與到學習中。機器之心在這段時間內也介紹了多篇該系列課程的學習筆記，還未學習前四課的同學可以參考一下文章：

• 吳恩達Deeplearning.ai課程學習全體驗：深度學習必備課程（已獲證書）

• 入門 | 吳恩達Deeplearning.ai 全部課程學習心得分享

• 資源 | 吳恩達deeplearning.ai第四課學習心得：卷積神經網路與計算機視覺

最後，如果大家完成該課程後有課程心得分享，機器之心非常樂意推薦給所有讀者，歡迎大家積極投稿。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！