深度學習——Bhiksha Raj 主講
新智元推薦
來源：專知
【新智元導讀】卡耐基梅隆大學深度學習春季課程開課了！課程的主講老師是卡耐基梅隆大學計算機學院的 BhikshaRaj，課程內容涵蓋了深度學習的基礎內容：深度學習介紹、反向傳播、感知器、經驗風險最小化、隨機梯度下降等等，以及比較新的強化學習、對抗網路、深度 Q 學習等。在深度學習研究領域 CMU 一直走在世界前列，其課程幾乎是深度學習入門首選材料，本文整理了課程的 slides 和 video，想要系統地學習並掌握深度學習的讀者千萬不要錯過。
本文是對美國卡耐基梅隆大學（CMU）2017 年秋季課程——深度學習的介紹。深度學習」 系統，以深度神經網路為代表，逐漸佔領了所有人工智慧任務，包括語言理解、語音和圖像識別、機器翻譯、規劃，甚至是遊戲和自動駕駛。因此，掌握深度學習專業知識已經逐漸從高深莫測到現在許多高級學術問題中必須掌握的背景知識，現在深度學習人才在就業方向上也有很大的優勢。
在本課程中，我們將學習深度神經網路的基礎知識，以及它在各種 AI 任務中的應用。到課程結束時，學生將會對這個課題有很大的了解，並且能夠將它應用到各種各樣的任務。 學生還能了解當前該領域大量的文獻，並通過進一步的研究擴展自己的專業知識。
課程時間：周一和周三，9.00am-10.20am
地點：Porter Hall 125C
閱讀：周五，9.00am-10.20am, 地點: GHC 4307
預備知識
我們將使用幾個主流工具包之一（主要用的工具包是 PyTorch）。這個工具包大部分是用 Python 編程的。 您需要能夠使用它進行編程。 或者，您必須找到你熟悉的語言對應的工具包進行編程。
你需要熟悉基本微積分（微分，鏈式規則），線性代數和基本概率知識。
課程作業
評分將以每周測試、家庭作業和期末項目為基礎。
總共有五個作業，請注意作業 4 和 5 同時布置，也將在同一天到期。
教材
該課程不使用特定的某一本教材，而是會從許多資料中整理獲得。 我們在本頁末尾列出相關書籍。 我們也會為每個班級掛上相關的閱讀材料。學生可以在課前熟悉這些材料。你閱讀的時候可能會遇到障礙，但是不需要擔心，我們會在課堂上進行簡單的解釋。
討論板：Piazza
我們使用 Piazza 進行討論，鏈接：http://piazza.com/cmu/spring2018/11785
Wiki 頁面
我們已經創建了一個實驗性的 wiki 來解釋當今使用的神經網路的類型，鏈接：
https://www.contrib.andrew.cmu.edu/~dalud/deep-learning-wiki/doku.php
你也可以在這裡找到一個很好的模型。如果你還不能完全理解 Wiki 上的許多體系結構，我們希望，在課程結束時，你將能夠解釋。
Kaggle
Kaggle 是一個流行的數據平台，參觀者可以學習和分析一個數據集，競爭最佳模型。對於作業 4 和 5，您將把評估結果提交給 Kaggle 排行榜，Kaggle 鏈接：https://www.kaggle.com/
重要內容
第 1 講：
深度學習簡介
課程安排
神經計算的歷史和認知基礎
感知機和多層感知機
Slides: http://deeplearning.cs.cmu.edu/slides/lec1.intro.pdf
video: https://piazza.com/class/j9xdaodf6p1443?cid=22
第 2 講：
神經網路，一個通用的近似器
Slides: http://deeplearning.cs.cmu.edu/slides/lec2.universal.pdf
video: https://www.youtube.com/watch?v=zlnQyxiEGNM&t=2s
第 3 講：
訓練一個神經網路
感知器學習規則
經驗風險最小化
根據梯度下降法進行優化
Slides: http://deeplearning.cs.cmu.edu/slides/lec3.learning.pdf
video: https://www.youtube.com/watch?v=HyjB2uMZK5k
第 4 講：
反向傳播
反向傳播的微積分學（Calculus）
Slides: http://deeplearning.cs.cmu.edu/slides/lec4.learning.pdf
第 5 講：
神經網路的收斂問題
收斂速度
損失函數
學習率和優化方法
RMSProp, Adagrad, Momentum
Slides: http://deeplearning.cs.cmu.edu/slides/lec5.convergence.pdf
第 6 講：
隨機梯度下降
加速
過擬合和正則化
小技巧：選擇散度 (損失) 函數、批正則化（Batch normalization），Dropout
Slides: http://deeplearning.cs.cmu.edu/slides/lec6.stochastic_gradient.pdf
第 7 講：
嘉賓講座（Scott Fahiman）
第 8 講：
卷積神經網路（CNNs）
Weights as templates
平移不變性
使用參數共享進行訓練
Arriving at the convlutional model
Slides: http://deeplearning.cs.cmu.edu/slides/lec9.CNN.pdf
第 9 講：
視覺模型
神經認知機
CNN 的數學細節
Alexnet，Inception，VGG
Slides: http://deeplearning.cs.cmu.edu/slides/lec10.CNN.pdf
第 10 講：
循環神經網路（RNNs）
序列建模
通過時間反向傳播
雙向 RNN
Slides: http://deeplearning.cs.cmu.edu/slides/lec11.recurrent.pdf
第 11 講：
模型穩定性
梯度爆炸 / 消失
長短期記憶單元（LSTM）及其變種
Resnets
Slides:http://deeplearning.cs.cmu.edu/slides/lec12.recurrent.pdf
第 12 講：
循環網路的損失函數
連接主義時序分類（CTC）
序列預測
第 13 講：
網路代表什麼？
自動編碼器和降維
表示學習
Slides:http://deeplearning.cs.cmu.edu/slides/lec15.representations.pdf
第 14 講：
變份自動編碼器（VAEs）第 1 部分
因子分析
期望最大化與變分推理
Slides:http://deeplearning.cs.cmu.edu/slides/lec18.vae.pdf
第 15 講：
變分自動編碼器（VAEs）第 2 部分
Slides:http://deeplearning.cs.cmu.edu/slides/lec18.vae.pdf
第 16、17 講：
春假
第 18 講：
語音識別中的神經網路，嘉賓講座（Stern）
第 19 講：
生成對抗網路（GANs），第 1 部分
Slides:http://deeplearning.cs.cmu.edu/slides/lec20.GAN.pdf
第 20 講：
生成對抗網路（GANs），第 2 部分
Slides:http://deeplearning.cs.cmu.edu/slides/lec20.GAN.pdf
第 21 講：
Hopfield 網路
能量函數
Slides: http://deeplearning.cs.cmu.edu/slides/lec20.GAN.pdf
第 22 講：
玻爾茲曼機
玻爾茲曼機的學習
Slides: http://deeplearning.cs.cmu.edu/slides/lec22.hopfield.pdf
第 23 講：
受限玻爾茲曼機
深度玻爾茲曼機
Slides: http://deeplearning.cs.cmu.edu/slides/lec22.hopfield.pdf
第 24 講：
強化學習 1
第 25 講：
強化學習 2
第 26 講：
強化學習 3
第 27 講：
Q 學習
深度 Q 學習
第 28 講：
嘉賓講座（GrahamNeubig）
第 29 講：
嘉賓講座（Byron Yu）
第 30 講：
多任務和多標籤學習、遷移學習
第 31 講：
新模型以及深度學習的趨勢
課程回顧
課程表
實驗課安排
參考書目
Deep Learning By Ian Goodfellow, Yoshua Bengio, Aaron CourvilleOnline book, 2017
Neural Networks and DeepLearning By Michael NielsenOnline book, 2016
Deep Learning with PythonBy J. Brownlee
Deep Learning Step by Stepwith Python: A Very Gentle Introduction to Deep Neural Networks for PracticalData Science By N. D. Lewis
Parallel DistributedProcessing By Rumelhart andMcClelland Out of print, 1986
第一次課 PPT 詳細內容
※三駕馬車或引領無人駕駛激光雷達呈數量級降價
※「三名本科生搞事情」用HowNet成功融入深度學習模型
TAG:新智元 |