深度學習之父的神經網路第三課！

作為深度學習祖師，Geoffrey Hinton 的每一句每一言，都使學習者如奉綸音。濃縮其畢生所學的《Neutral Network for Machine Learning》，則是唯一一門Hinton 老師系統講授的公開課。

自 2012 年開課，NNML 就一躍成為深度學習開發者的殿堂級慕課。時隔五年，仍然是內容最「干」、最值得學習的深度學習課程。

如果說吳恩達的《Machine Learning》是最佳入門課程，描述NNML 則只需兩個字： 「必修」——對於有志於真正掌握深度學習的人而言。

它很難，但也因此沒有做任何「dumb down」——為照顧小白而犧牲「厚度」，把原本並不單純的原理硬以簡單的類比表述出來，是幾乎所有深度學習課程不得不做的妥協。

但這門課沒有。

本欄目將在AI研習社（公眾號：okweiwu）每周一、周三更新，敬請關注！

Lecure 3線性/邏輯神經網路和反向傳播

內容目錄Lecure 3

3.1 線性神經元的權值收斂

上面幾節課詳細講解了感知器，這次介紹線性神經元，跟感知器思想類似，但又不同：線性神經元訓練時會趨近於目標值。接下來Hinton會用猜測餐館菜價的例子，解釋權重收斂的過程。

3.2 線性神經元誤差曲面分析

權重更新離不開誤差計算，這節課著重分析下線性神經元的誤差曲面，以及怎麼用梯度下降演算法和學習率尋找權值的收斂方向

3.3 邏輯神經元的學習規則

線性神經元簡單但能力有限，實際中用的多是非線性神經元，比如logit神經元，也稱sigmoid函數，具體有哪些神奇之處？

3.4 反向傳播演算法解析（一）

多層非線性神經網路功能強大，但是由於結構複雜，難以訓練。幸運的是，鼎鼎大名的BP（反向傳播）演算法解決了訓練難題，直接掀起了AI的第二次熱潮。

3.5 反向傳播演算法解析（二）

上次講了BP演算法的基本原理，誤差反向傳播，動態更新權值，但是仍然有些疑點：比如，以什麼樣的頻率更新？怎麼防止過擬合？

往期課程

--------------------------------------------------

為了讓廣大 AI 青年們不再為英語所累，快速進入學習狀態，雷鋒網旗下 「AI 研習社」 推出了深度學習之父 Geoffrey Hinton 的《Neutral Network for Machine Learning》中文系列視頻課程。PS: 出於對 Hinton 知識成果的尊重以及版權的需要，AI 研習社已經獲得了 Hinton 教授的親自授權。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！