斯坦福 CS231n Spring 2017 詳細課程大綱

選自Stanford

機器之心編譯

參與：Smith、蔣思源

CS231n 一直是計算機視覺最為經典的課程，而該 2017 年春季課程由李飛飛主講，並邀請了 Goodfellow 等人對其中部分章節詳細介紹。本課程從計算機視覺的基礎概念開始，再在奠定了基本分類模型、神經網路和優化演算法的基礎後，李飛飛等人重點詳細介紹了 CNN、RNN、GAN、RL 等深度模型在計算機視覺上的應用。機器之心近日曾經報道李飛飛詳解深度學習的框架實現與對比，讀者也可以了解更多下載全部課件。

課件地址：http://cs231n.stanford.edu/slides/2017/

Lecture 1：計算機視覺的概述、歷史背景以及課程計劃

Lecture 2：圖像分類——包括數據驅動（data-driven）方法，K 近鄰方法（KNN）和線性分類（linear classification）方法

Lecture 3：損失函數和優化（loss Function and optimization）

這一講主要分為三部分內容：

1. 繼續上一講的內容介紹了線性分類方法；

2. 介紹了高階表徵及圖像的特點；

3. 優化及隨機梯度下降（SGD）。

Lecture 4：神經網路

包括經典的反向傳播演算法（back-propagation）；多層感知機結構（multilayer perceptrons）；以及神經元視角。

Lecture 5：卷積神經網路（CNN）

主要分為三部分內容：

1. 卷積神經網路的歷史背景及發展；

2. 卷積與池化（convolution and pooling）;

3. ConvNets 的效果

Lecture 6：如何訓練神經網路 I

介紹了各類激活函數，數據預處理，權重初始化，分批歸一化（batch normalization）以及超參優化（hyper-parameter optimization）。

Lecture 7：如何訓練神經網路 II

介紹了優化方法（optimization），模型集成（model ensembles），正則化（regularization），數據擴張（data-augmentation），和遷移學習（transfer learning）。

Lecture 8: 深度學習軟體基礎

1. 詳細對比了 CPU 和 GPU；

2. TensorFlow、Theano、PyTorch、Torch、Caffe 實例的具體說明；

3. 各類框架的對比及用途分析。

Lecture 9：卷積神經網路架構（CNN Architectures）

該課程從 LeNet-5 開始到 AlexNet、VGG、GoogLeNet、ResNet 等由理論到實例詳細描述了卷積神經網路的架構與原理。

Lecture 10：循環神經網路（Recurrent Neural Networks）

該課程先詳細介紹了 RNN、LSTM 和 GRU 的架構與原理，再從語言建模、圖像描述、視覺問答系統等對這些模型進行進一步的描述。

Lecture 11：檢測與分割（Detection and Segmentation）

該課程在圖像分類的基礎上介紹了其他的計算機視覺任務，如語義分割、目標檢測和實例分割等，同時還詳細介紹了其它如 R-CNN、Fast R-CNN、Mask R-CNN 等架構。

Lecture 12：可視化和理解（Visualizing and Understanding）

該部分不僅講述了特徵可視化和轉置，同時還描述了對抗性樣本和像 DeepDream 那樣的風格遷移系統。

Lecture 13：生成模型（Generative Models）

該章節從 PixelRNN 和 PixelCNN 開始，再到變分自編碼器和生成對抗網路詳細地講解了生成模型。

Lecture 14：強化學習（Reinforcement Learning）

該章節先從基本概念解釋了什麼是強化學習，再解釋了馬爾可夫決策過程如何形式化強化學習的基本概念。最後對 Q 學習和策略梯度進行了詳細的刻畫，包括架構、優化策略和訓練方案等等。

Lecture 15：深度學習高效的方法和硬體（Efficient Methods and Hardware for Deep Learning）

該章節首先展示了深度學習的三大挑戰：即模型規模、訓練速度和能源效率。而解決方案可以通過聯合設計演算法-硬體以提高深度學習效率，構建更高效的推斷演算法等，

Lecture 16：對抗性樣本和對抗性訓練（Adversarial Examples and Adversarial Training）

該章節由 Ian Goodfellow 於 5 月 30 日主講，主要從什麼事對抗性樣本、對抗性樣本產生的原因、如何將對抗性樣本應用到企業機器學習系統中、及對抗性樣本會如何提升機器學習的性能等方面詳細描述對抗性樣本和對抗性訓練。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！