是時候回顧一下這些經典paper了
這是AI閱讀研究所欄目推出的第2篇文章，本欄目將持續為大家甄選出有價值的內容，供大家學習。Enjoy~
策劃 / 晉陽
編輯 / 不靈叔
上周霸屏的Hinton大神放言：要把反向傳播全部拋棄，重起爐灶！
然而，如今深度學習能夠取得這樣的成功，必是得益於上一波神經網路浪潮的推動。但是深度學習也有泡沫，存在無法復現的情況，但經大浪淘沙，留下的經典之作歷久彌新。無論過去多久，這些文章不但富有可靠性、真實性，還能讓讀者感受到學術之美，具有很高的閱讀價值。
1/
《Learning representations by back-propagating errors》
# 神經網路理論
「該文是Hinton 1986年提出的，目前接近10000的引用次數。在深度學習泛濫的今天，back-propogation已經是作為一種標準技術使用了，但是在當年，神經網路的有效訓練方法折磨著無數的研究者。然而很遺憾的是，現在的大部分深度學習論文都不再引用他們實驗必定會用到的back-propogation，更遺憾的是，很多人連back-propotation具體運行原理都不清楚。」
P.S.剛推薦完這篇論文，Hinton大神就說要拋棄back-propogation並且找到了新的方法，理由是生物領域並沒有找到類似機理。然而back-propogation本質就是求導，監督學習方法我還沒見過能繞過求導的。怎麼說呢，理想是好的，我個人覺得新方法應該也是繞不過求導本質的。
文章地址：http://www.cs.toronto.edu/~hinton/absps/naturebp.pdf
【推薦人】葉騰琪 都柏林城市大學Ph.D
2/
《Distilling the Knowledge in a Neural Network》
# 深度學習#知識蒸餾#網路壓縮
「訓練深度學習分類網路時，通常所採用的『one-hot』標籤扭曲了類別之間的真實距離。一個結構優良網路輸出的預測值能夠在一定程度上矯正這種距離扭曲，而知識蒸餾則將其以軟標籤的形式傳授給簡單網路，提高簡單網路的泛化能力。Hinton開闢了深度學習的知識蒸餾方法，原本將其用在模型壓縮、模型融合等方面。然而，它的機理中是否仍有未揭開的奧秘，探索仍未停止。例如，近期的《Deep Mutual Learning》（https://arxiv.org/abs/1706.00384）的實驗結果發現，兩個一模一樣的模型也能互相傳授蒸餾後的知識並獲得共同提升。這個有趣的提升，是否僅僅得益於不同初始化模型的融合效果，還是另有其它原因呢。相信讀者在重讀Hinton的這篇paper時，會有新的啟發。」
文章地址：https://arxiv.org/pdf/1503.02531.pdf
【推薦人】孫奕帆 清華大學 Ph.D
3/
《Approximation Capabilities of Multilayer Feedforward Networks》
# 神經網路理論
「在深度學習蓬勃發展的今天，不知道你是否想過，我們為什麼沒有大力發展「寬度學習「呢？該文提出了一個定理 universal approximation theorem，也就是說，只含有一層隱藏層的有限神經元網路可以逼近在實數集上緊子空間的連續函數。做學術，要有獨立思考能力。不能盲信研究熱點，也不能把之前的研究成果當作理所當然。在此高能預警：閱讀該文需要比較紮實的數學功底。雖然最後「寬度學習「沒有發展起來，但是前人給我們留下的成果仍然值得思考。」
文章地址：http://zmjones.com/static/statistical-learning/hornik-nn-1991.pdf
【推薦人】葉騰琪 都柏林城市大學 Ph.D
4/
《Curriculum Learning》
# 課程學習 #學習策略
「這篇論文是Yoshua Bengio一作的paper。文章介紹了課程學習，一個循序漸進的方式去訓練深度學習網路，主要調節了sampling的順序。把容易學習的樣本先學，把hard的樣本後學。像人類一樣，由淺入深訓練神經網路。 實驗主要跑了幾個toy dataset（Bengio爺一貫風格）。」
文章地址：https://ronan.collobert.com/pub/matos/2009_curriculum_icml.pdf
【推薦人】鄭哲東 悉尼科技大學 Ph.D
5/
《Imagenet classification with deep convolutional neural networks》
# 圖像分類#深度CNN#AlexNet
「Alex 在2012年的文章，被認為是深度學習上的突破性進展。圖像分類的必讀文章。」
文章地址：http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
【推薦人】Jackie Chen 名古屋大學Ph.D
6/
《Decoupled neural interfaces using synthetic gradients》
# 深度學習模型#神經網路鎖定#合成梯度
「來自deepmind的2016年論文，介紹了基於合成梯的耦合神經介面（Decoupled neural interfaces using synthetic gradients），摒棄傳統的順序同步更新思維，通過預測梯度，非同步更新。首先其思想就值得學習，目前深度學習多瓶頸，就需要創新的甚至是顛覆性多思維出現。」
文章地址：https://arxiv.org/pdf/1608.05343.pdf
【推薦人】Jackie Chen 名古屋大學Ph.D
在過去數十期的「學術青年分享會」中，許多學術青年解讀了最近在CVPR、ICCV、NIPS等學術會議發表的論文。如果你想聽以上經典文章的解讀，歡迎參與投票，我們將邀請學者對其進行精彩講解。（往期解讀回顧查看途徑：公眾號底部菜單 公開課 往期回顧。）
※Deep Learning讀書分享——深度網路的正則化
※如何用 3 個月零基礎入門機器學習？
※微軟 Ignite2017 大會探秘，Azure 機器學習三大工具正式發布
※TTIC Ph.D：PyTorch簡介 學術青年分享會
※ICCV 2017論文：性能保障的高階殘差量化網路加速方法
TAG:唯物 |