CMU 2018 秋季新開課程《深度學習簡介》學習小組成員招募

一個人學習太苦悶？不如抱團來學習小組吧！

社長深知一人堅持的不易，並想邀請熱愛學習的你和諸多志同道合的小夥伴，以相互監督，共同進步的形式，一起研習一門新課程——卡耐基梅隆大學 2018 秋季新開課程《深度學習簡介》。

報名方式

回復此貼「我要報名」並且添加微信leiphonefansub,備註 CMU 2019即可成功報名。

學習形式

1. 課程視頻更新後，學員需要觀看課程視頻並且在社區留言打卡；

2. 每學完一節課程，學員需在自行獨立完成 Quiz 作業並在社區博客進行分享

3. 學員可以根據自己的時間及興趣，決定是否進行課後作業分享的公開課直播。

4. 為保證社區的學習氛圍，社長會根據課程完成情況和活躍程度對學員進行監督管理，如有必要，會定期清理不活躍或者長期潛水的學員；

5. 課程結束後，優秀的學員可以獲得社區提供的福利以及禮品；

6. 社區翻譯志願者持續招募中，如果對這門課程的翻譯感興趣，可以聯繫社長準備字幕翻譯工作。

7. 課程有一定難度，且有較多作業，希望學員一旦加入，能夠克服困難，收穫成長。

（PS：來自 CMU 官方的警告！）

課程介紹

「深度學習」系統，以神經網路為代表，逐漸應用於所有的 AI 任務，從語言理解，語音和圖像識別到機器翻譯，規劃，甚至是遊戲電競和自動駕駛。結果是在許多高級學術環境中，深度學習的專業知識正從深奧晦澀的理想轉變為行業必要的先決條件，並且在工業界的就業市場中佔有非常大的優勢。

在本課程中將會學習深度神經網路的基礎知識，以及它們在眾多 AI 任務中的應用。課程結束後，期望學生能對深度學習有足夠的了解，並且能夠在眾多的實際任務中應用深度學習。

課程鏈接：

學生評價

本課程包含全面的概念描述，它幫助我們理解了深度學習的基礎知識。課程從多層感知機開始逐漸深入更複雜的概念，比如注意力機制以及序列模型，另外我們必須完全掌握 Pytorch，這對實現深度學習模型非常重要。作為學生，會學習使用構建深度學習模型所需要的工具。家庭作業主要包括兩個部分，分別是 Autolab 和 Kaggle。

Kaggle 部分讓我們探索多種架構以及理解如何進行微調並不斷改進模型。所有的家庭作業涉及的任務都非常相似，嘗試使用多種深度學習方法來解決相同任務是非常有趣的。總而言之，在課程結束之際你會充滿信心去構建並調試深度學習模型。

領銜主講

Bhiksha Raj

先修要求

使用主流的工具包（複習課和實驗課主要用的工具是 PyTorch）。工具包主要用 Python 編程。學生只要需要掌握其中一門編程語言，或者可以使用自己熟練的編程語言並且學習一種工具包來進行編程。

學生需要熟悉基礎微積分 (微分，鏈式法則)，線性代數和概率論。

每周學習時間 (Units)： 本課程值得每周花 36 小時學習

課程大綱

第一講：

深度學習簡介

課程安排

神經計算的歷史和認知基礎

多層感知機

第二講

神經網路作為通用逼近器

第三講

訓練神經網路

感知器學習規則

經驗風險最小化

梯度下降優化

第四講

反向傳播

反向傳播的微積分

第五講

神經網路的收斂性

收斂率

損失面

學習率以及優化方法

最優化方法 RMSProp, Adagrad,Momentum

第六講

隨機梯度下降

模型加速

過擬合

正則化

第七講

技巧：選擇分歧損失函數；批歸一化；Dropout

訓練過程回顧

學生答疑解惑

第八講

繼續前面的優化課

第九講

卷積神經網路

權重模板

平移不變性

權值共享訓練網路

構建卷積模型

第十講

視覺模型

神經認知機

卷積神經網路的數學細節

Alexnet,Inception,VGG 網路

第十一講

循環神經網路 (RNNs)

建模系列

隨著時間的反向傳播

雙向 RNN

第十二講

穩定性

梯度爆炸/梯度消失

長短期記憶神經網路以及方差

Resnets

第十三講

循環神經網路的損失函數

序列預測

第十四講

序列到序列方法

連接時序分類

第十五講

序列到序列模型，注意力模型，語音和語言示例

第十六講

神經網路是什麼

自動編碼器和降維

表徵學習

第十七講

變分自動編碼器

第十八講

生成對抗網路（第一部分）

生成對抗網路（第二部分）

第十九講

Hopfield 神經網路

玻爾茲曼機

第二十講

訓練 Hopfield 網路

隨機 Hopfield 網路

第二十一講

受限玻爾茲曼機

深度玻爾茲曼機

第二十二講

強化學習第一部分

第二十三講

強化學習第二部分

第二十四講

感恩節假期

第二十五講

強化學習第三部分

第二十六講

強化學習第四部分

第二十七講

Q 學習

深度 Q 學習

第二十八講

新模型以及深度學習的趨勢

課程回顧

複習課時間表

第一節：AWS 雲服務

第二節：初試深度學習代碼

第三節：高效深度學習/優化演算法

第四節：卷積神經網路

第五節：調試及可視化

第六節：循環神經網路基礎

第七節：循環神經網路第二部分：損失函數，聯結時序分類（CTC）

第八節：注意力機制

第九節：深度學習相關研究

第十節：變分自動編碼器

第十一節：生成對抗網路

第十二節：強化學習

第十三節：Hopfield 網路，玻爾茲曼機，受限玻爾茲曼機

教材

感興趣的你，快來報名吧！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！