AI開學第一課！CMU深度學習秋季課程開課了

來源：新智元

本文約1000字，建議閱讀5分鐘。

本課程內容涵蓋了深度學習的基礎內容，以及較新的強化學習、GAN等。

[ 導讀 ]CMU深度學習秋季課程開課了！課程的主講老師是深度學習大牛、CMU計算機學院的Bhiksha Raj，課程內容涵蓋了深度學習的基礎內容，以及較新的強化學習、GAN等。

在深度學習研究領域CMU一直走在世界前列，其課程幾乎是入門首選材料，課程的slides和video將隨著課程進度陸續公開，想要系統地學習並掌握深度學習的讀者千萬不要錯過。

課程簡介

以深度神經網路為代表的「深度學習」系統越來越多地在各種AI任務中大顯神威，包括語言理解、語音和圖像識別、機器翻譯、規劃、甚至遊戲和自動駕駛。因此，掌握深度學習方面的專業知識已經逐漸從高深莫測轉變為現在許多高級學術問題中必須掌握的背景知識，並且深度學習人才在就業市場中也有很大的優勢。

在這個課程中，我們將學習深度神經網路的基礎知識，以及它們在各種AI任務中的應用。在課程結束後，學生將對課程主題有足夠的了解，並能夠將深度學習應用於各種任務。學生還將閱讀當前關於該領域的大量文獻，並通過進一步的研究擴展自己的專業知識。

這門課程涉及的概念很全面。它將幫助學生理解深度學習的基礎。課程從MLP（多層感知器）講始，逐步深入到更複雜的概念，例如注意力模型和sequence-to-sequence模型。學生需要完全掌握PyTorch，這對於實現深度學習模型非常重要。

作為學生，你將學習構建深度學習模型所需的各種工具。作業通常有兩個部分，即Autolab和Kaggle。Kaggle部分允許我們探索多種架構，並了解如何調優並持續改進模型。所有作業的任務都是相似的，學習如何使用多種深度學習方法解決相同的任務是很有趣的。總的來說，在本課程結束時，你將有足夠的信心構建和調優深度學習模型。

課程導師：

助教：

先修要求

1. 我們將使用一個主流的工具包中（主要是PyTorch）。工具包主要用Python編程。你需要能夠使用至少一種語言進行編程。或者，你可以使用熟悉的語言進行編程，但必須自行查找和學習對應的工具包。

2. 你需要熟悉基本的微積分（微分，鏈式法則），線性代數和基本概率知識。

教材

這門課程不會按照某一本教材來進行，而是會選擇許多資料。我們列出相關書目，並且會為每個單元提供相關閱讀資料的鏈接。學生需要在上課前熟悉這些材料。閱讀材料有時會晦澀難懂；但是不用擔心，我們會在課堂上給出更簡單的解釋。

討論板：Piazza

我們使用 Piazza 進行討論，鏈接：

https://piazza.com/class/jhyyudofj9u4za

你可以在這裡了解當前文獻中的模型目錄：

https://www.datasciencecentral.com/profiles/blogs/concise-visual-summary-of-deep-learning-architectures

如果現在還不能完全理解，我們希望在課程結束時，你能夠理解wiki和目錄上的多數模型架構。

Kaggle:

Kaggle是一個很受歡迎的數據科學平台，參與者通過競賽創造學習或分析一個數據集的最佳模型。本課程的作業將需要把評估結果提交到Kaggle leaderboard。

相關書目

Deep Learning By Ian Goodfellow, Yoshua Bengio, Aaron Courville Online book, 2017

Neural Networks and DeepLearning By Michael Nielsen Online book, 2016

Deep Learning with PythonBy J. Brownlee

Deep Learning Step by Step with Python: A Very Gentle Introduction to Deep Neural Networks for Practical Data Science By N. D. Lewis

Parallel Distributed Processing By Rumelhart and McClelland Out of print, 1986

課程內容

第 1 講（8.29）：

深度學習簡介

課程安排

神經計算的歷史和認知基礎

感知機和多層感知機

Slides:

http://deeplearning.cs.cmu.edu/slides/lec1.intro.pdf

Video:

https://www.youtube.com/watch?v=aPY-KC6zeeI

第 2 講（8.31）：

神經網路：一個通用的近似器

Slides:

http://deeplearning.cs.cmu.edu/slides/lec2.universal.pdf

第 3 講（9.5）：

訓練一個神經網路

感知器學習法則

經驗風險最小化

利用梯度下降法進行優化

第 4 講（9.10）：

反向傳播

反向傳播的微積分學

第 5 講（9.12）：

神經網路的收斂問題

收斂速度

損失函數

學習率和優化方法

RMSProp, Adagrad, Momentum

第 6 講（9.17）：

隨機梯度下降

加速

過擬合和正則化

小技巧：選擇散度 (損失) 函數、Batch normalization，Dropout

第 7 講（9.19）：

訓練回顧

學生Q&A

第 8 講（9.24）：

繼續優化問題

第 9 講（9.26）：

卷積神經網路（CNNs）

Weights as templates

平移不變性

使用參數共享進行訓練

第 10 講（10.1）：

視覺模型

神經認知機（Neocognitron）

CNN 的數學細節

Alexnet，Inception，VGG

第 11 講（10.3）：

循環神經網路（RNNs）

序列建模

通過時間反向傳播

雙向 RNN

第 12 講（10.8）：

模型穩定性

梯度爆炸 / 消失

長短期記憶單元（LSTM）及其變種

Resnets

第 13 講（10.10）：

循環網路的損失函數

序列預測

第 14 講（10.15）：

序列到序列方法

聯結主義時間分類器（CTC）

第 15 講（10.17）：

序列到序列模型、注意力模型（語音和語言的示例）

第 16 講（10.22）：

網路代表什麼？

自動編碼器和降維

學習表示

第 17 講（10.24）：

變分自動編碼器（VAE）

第 18 講（10.29）：

生成對抗網路（GANs）第一部分

第 18 講（10.31）：

生成對抗網路（GANs）第二部分

第 19 講（11.5）：

Hopfield 神經網路

玻爾茲曼機（Boltzmann Machines）

第 20 講（11.7）：

訓練 Hopfield 網路

隨機 Hopfield 網路

第 21 講（11.12）：

受限玻爾茲曼機

深度玻爾茲曼機

第 22 講（11.14）：

強化學習 1

第 23 講（11.19）：

強化學習 2

第 24 講（11.21）：

感恩節假期

第 25 講（11.26）：

強化學習 3

第 26 講（11.28）：

強化學習 4

第 27 講（12.3）：

強化學習 4

Q 學習

深度 Q 學習

第 28 講（12.5）：

新模型以及深度學習的趨勢

課程回顧

CMU深度學習第一課PPT節選

更多資料請查看官網：

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！