深度學習之父Geoffrey Hinton的神經網路合集

國慶節來了，社長我也休息一下。

藉此機會，把我們之前發過的內容做一次總結，也方便大家查閱~

今天帶來的是深度學習祖師 Geoffrey Hinton的Neutral Network for Machine Learning全套課程。

大家可以把本文收藏下來，這樣方便回過頭來向各個章節跳轉。

作為深度學習祖師，Geoffrey Hinton 的每一句每一言，都使學習者如奉綸音。濃縮其畢生所學的《Neutral Network for Machine Learning》，則是唯一一門 Hinton 老師系統講授的公開課。

自 2012 年開課，NNML 就一躍成為深度學習開發者的殿堂級慕課。時隔五年，仍然是內容最 「干」、最值得學習的深度學習課程。

如果說吳恩達的《Machine Learning》是最佳入門課程，描述 NNML 則只需兩個字： 「必修」——對於有志於真正掌握深度學習的人而言。

它很難，但也因此沒有做任何 「dumb down」——為照顧小白而犧牲 「厚度」，把原本並不單純的原理硬以簡單的類比表述出來，是幾乎所有深度學習課程不得不做的妥協。

但這門課沒有。

為了讓廣大 AI 青年們不再為英語所累，快速進入學習狀態，AI 研習社 推出了深度學習之父 Geoffrey Hinton 的《Neutral Network for Machine Learning》中文系列視頻課程。PS: 出於對 Hinton 知識成果的尊重以及版權的需要，AI 研習社已經獲得了 Hinton 教授的親自授權。

課程開篇 Hinton 介紹了在我們了解神經網路學習演算法的細節之前，我們需要解決的一個基礎問題：我們為什麼需要機器學習？機器學習的用途廣泛，Hinton 結合不同場景為大家解釋了這個問題。

本次視頻中 Hinton 介紹了人的大腦中神經元網路的基礎知識，並解釋了演算法並非大腦實際工作方式，但確實受到大腦的啟發，以及大腦處理視覺、聽覺的輸入輸出與計算機神經網路的比對，為之後面向機器學習的神經元網路打好基礎。

神秘的神經元是如何傳輸信號的？什麼樣的數學公式可以模擬如此複雜的系統？有哪些常用的神經元模型？線性激勵神經元 ReLU 和鼎鼎大名的 Sigmoid 又有何區別？這節課中，Hinton 將為你一一解答。

本期課程以經典的手寫數字識別問題為例，詳細講解神經網路是如何從雜亂無章的圖像中學習到潛在特徵，並完美地區分不同數字的。主要步驟：設計簡單的雙層網路結構，數據準備，權值初始化，模型訓練及權值動態更新。

機器學習包含三大類別：有監督學習、無監督學習和增強學習，這三者各不相同，又相互補充。接下來你講了解到：這幾種方法有什麼區別，分別解決什麼樣的問題，適用於什麼情形？怎麼度量學習效果，聚類和稀疏編碼又是什麼？

常見的神經網路有前饋神經網路 FFN 和循環神經網路 RNN，不同的網路結構有著不同的魔力，比如 RNN 能記憶信息（比 FFN 強大），已經在語音識別上廣泛應用。那麼，RNN 的魔力到底源自何處？

這節課講的是神經網路早期版本——感知器。它的結構簡單，能實現簡單的邏輯運算，曾經轟動一時，開啟了神經網路的研究熱潮。然而，最後卻被後來居上的 SVM 打敗，自此一蹶不振。感知器為何會敗北？希望大家能從此課一探究竟。

上節課主要從數學公式上了解感知器的基本原理，比較抽象，這節課換個思路，在幾何空間里深入了解感知器，讓大家有更加直觀的理解。同時，你將了解到超平面、錐平面、凸優化等術語。

上幾節課介紹感知器的基本公式，並從幾何空間上簡單講解，這節課繼續深入下去，用可視化的方式剖析公式背後的原理。

由於感知器非常依賴輸入數據，特徵選得好，威力無窮，特徵不好，那就差強人意了，這直接導致感知器發展受限，跌入低谷。下面詳細解釋下感知器的局限性。

3.1 線性神經元的權值收斂

上面幾節課詳細講解了感知器，這次介紹線性神經元，跟感知器思想類似，但又不同：線性神經元訓練時會趨近於目標值。接下來 Hinton 會用猜測餐館菜價的例子，解釋權重收斂的過程。

3.2 線性神經元誤差曲面分析

權重更新離不開誤差計算，這節課著重分析下線性神經元的誤差曲面，以及怎麼用梯度下降演算法和學習率尋找權值的收斂方向

3.3 邏輯神經元的學習規則

線性神經元簡單但能力有限，實際中用的多是非線性神經元，比如 logit 神經元，也稱 sigmoid 函數，具體有哪些神奇之處？

3.4 反向傳播演算法解析（一）

多層非線性神經網路功能強大，但是由於結構複雜，難以訓練。幸運的是，鼎鼎大名的 BP（反向傳播）演算法解決了訓練難題，直接掀起了 AI 的第二次熱潮。

3.5 反向傳播演算法解析（二）

上次講了 BP 演算法的基本原理，誤差反向傳播，動態更新權值，但是仍然有些疑點：比如，以什麼樣的頻率更新？怎麼防止過擬合？

這節課介紹的是如何用 BP 反向傳播演算法訓練出詞向量，為了方便理解，先從一個族譜案例開始，形象演示神經元、獨熱編碼和反向傳播。

族譜是大腦神經元的一種簡化形式，這節課將概念特徵表達遷移到神經認知學上，從另外一個角度理解神經網路及其中的爭議。

感知器只能解決二分類問題，那分類問題怎麼辦？加 Softmax 層。Softmax 函數能將輸出結果表示成多種類別上的概率分布，很好的解決了多分類問題。

了解完 Softmax 的原理，這節課講下它的一個應用場景：語音識別，如何在嘈雜的環境中，推斷一段語音說的是 beach 還是 speech

第五節主要介紹物體識別問題的難點及克服這些難點的方法，重點介紹了數字識別和物體識別中使用的卷積神經網路，並介紹了由 Yann LeCun 和他的團隊提出的 Le Net，這是一個在向前反饋網路中使用了反向傳播的手寫數字識別系統。

第六節介紹了隨機梯度下降法（SGD），並且介紹了加快學習速度的動量方法（the momentum method）、針對網路中每一個連接的自適應學習步長（adaptive learning rates for each connection）和 RMSProp 演算法。這幾個演算法的難度很大，需要反覆推理思考，並在實踐中摸索以加深理解。

第七節介紹了與 RNN 有關的模型以及使用反向傳播來訓練 RNNs，並演示了使用 RNN 來解決二進位數字相加的問題，還介紹了訓練 RNN 時會遇到的難點問題。

首先講解了何謂 hessian 矩陣，強調了調整到 optimal point 方法的重要性。接下來 Hinton 講解了一個 RNN 運用 HF 方法在 language model 上的一個例子，並介紹了 multiplicative connection 和 Echo State Network（ESN）。

這一節課介紹了如何在網路有過多能力處理過多容量的訓練數據集時，通過降低過擬合來提高網路模型的泛化能力。Hinton 介紹了幾種控制網路容量的方法，以及如何設置度量參數以及防止過擬合的四種方法。

本節介紹了如何結合多種模型，並進一步從實際應用的角度介紹了完全貝葉斯方法。

本節課介紹了 Hopfield 網路的概念和增加 Hopfield 網路記憶容量的方法，以及玻爾茲曼機，它是有著隱藏單元的隨機 Hopfield 網路，可以進行二進位數據向量集合的概率模型的構建。

這節課主要限制玻爾茲曼機（RBMs）的基本概念以及用途。Hinton 教授是深度學習的開山鼻祖，也正是他在 2006 年的關於深度信念網路 DBN 的工作，以及逐層預訓練的訓練方法，開啟了深度學習的序章。其中，DBN 中在層間的預訓練就採用了 RBM 演算法模型。RBM 是一種無向圖模型，也是一種神經網路模型。

本節主要介紹了反向傳播（BP）演算法的發展歷史，置信網路主要解決的問題和 wake-sleep 演算法的優缺點。

本節課介紹了深度置信網路（DBNs）中的判別學習（Discriminative learning）以及神經網路經過堆疊 RBM 預訓練後在判別性微調中的變化。

本節課主要介紹了數據的降維方法，從 PCA（Principal Components Analysis）在信號處理領域的廣泛應用，到效果根偉顯著的自編碼（autoencoder），非常詳細地解釋了其中的原理。

這是本課程的最後一節課，也是選修章節，主要介紹了深度神經網路的應用以及最新（截止 2012 年）的研究進展，包括從圖片中提取語義特徵以及對超參數的貝葉斯優化，是對前面所講章節的延伸和擴充。

新人福利

關注 AI 研習社（okweiwu），回復1領取

【超過 1000G 神經網路 / AI / 大數據，教程，論文】

Deep Learning 解讀合輯 | 國慶特輯

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！

本站內容充實豐富，博大精深，小編精選每日熱門資訊，隨時更新，點擊「搶先收到最新資訊」瀏覽吧！

請您繼續閱讀更多來自 唯物 的精彩文章: