DeepMind、谷歌大腦核心研究員2017深度學習最新報告

新聞 07-04

新智元編譯

來源： mila.umontreal.ca

報道：弗格森、劉小芹、文強

【新智元導讀】深度學習領軍人物 Yoshua Bengio 主導的蒙特利爾大學深度學習暑期學校目前「深度學習」部分的報告已經全部結束。本年度作報告的學術和行業領袖包括有來自DeepMind、谷歌大腦、蒙特利爾大學、牛津大學、麥吉爾大學、多倫多大學等等。覆蓋的主題包括：時間遞歸神經網路、自然語言處理、生成模型、大腦中的深度學習等等。現在全部PPT已經公開，是了解深度學習發展和趨勢不可多得的新鮮材料。

蒙特利爾大學的深度學習暑期學校久負盛名，在深度學習領軍人物Yoshua Bengio 號召下，每年都聚集了頂尖的深度學習和人工智慧方面的學者進行授課。今年的暑期學校更是首次增加了強化學習課程。

深度學習暑期學校

深度神經網路，即學習在多層抽象中表示數據的神經網路，已經極大地提升了語音識別、對象識別、對象檢測、預測藥物分子活性以及其他許多技術。深度學習通過構建分布式表示（監督學習、無監督學習、強化學習）在大型數據集中發現複雜結構。

深度學習暑期學校（DLSS）面向研究生、工程師和研究人員，要求已經掌握機器學習的一些基本知識（包括深度學習，但不是必須），並希望對這個快速發展的研究領域有更多了解。

今年的 DLSS 由 Graham Taylor，Aaron Courville 和 Yoshua Bengio 組織。

強化學習暑期學校

這是第一屆的蒙特利爾大學強化學習暑期學校（RLSS），與 DLSS 是相輔相成的。RLSS 將涵蓋強化學習的基礎知識，並展示最新的研究趨勢和成果，為研究生和該領域的高級研究人員提供互動的機會。

本期強化學習暑期學校面向機器學習及相關領域的研究生。參加者需具有高級計算機科學和數學的先期培訓，優先考慮 CIFAR 機器和大腦學習項目研究實驗室的學生。

今年的 RLSS 由 Joelle Pineau 和 Doina Precup 組織。

目前，深度學習部分的課程已經結束，官方公開了全部的講義PPT，今年的深度學習部分的課程內容包括：

蒙特利爾大學 Yoshua Bengio 主講《循環神經網路》。

谷歌的Phil Blunsom 主講自然語言處理相關內容，分為兩部分《自然語言處理、語言建模和機器翻譯》和《自然語言的結構和基礎》。

蒙特利爾大學的Aaron Courville 主講《生成模型》。

谷歌大腦的Hugo Larocelle 主講《神經網路》。

麥吉爾大學的Doina Precup 主講《機器學習導論》。

牛津大學的 Mike Osborne主講《深度學習中的概率數字》。

多倫多大學的 Blake Aaron Richards 主講《大腦中的深度學習》。

Yoshua Bengio 主講《時間遞歸神經網路》：RNN 的 7個小貼士

Bengio 今年主講的主題是《時間遞歸神經網路》。在神經網路中，時間遞歸神經網路模型通過一個遞歸的更新，從一個固定大小狀態的向量中有選擇性地對一個輸入序列進行提煉。時間遞歸神經網路能在每一個時間點上產生一個輸出。

一個RNN能表徵一個全連接的定向生成模型，即，每一個變數都能從根據前序變數進行預測。

他在演講中介紹了多種類型的RNN：雙向RNN、遞歸網路，多維RNN 等等，根據演講PPT，用梯度下降學習長依存性是非常困難的。1991年，Bengio在MIT時，所做的研究中的樣本實驗，只能做到2個類型的序列。

基於梯度的學習為什麼很困難？Bengio認為，與短依存相比，長依存所獲得的權重過小，指數級的小。由此，從RNN的例子可以看到，梯度消失在深度網路是非常困難的。所以，為了穩定的存儲信息，動態性必須進行收縮。

關於 RNN的 7個小貼士：

剪裁梯度（避免梯度的過載）

漏洞融合（推動長期的依存性）

動能（便宜的第二等級）

初始化（在正確的範圍開始，以避免過載/消失）

稀疏梯度（對稱性破壞）

梯度傳播的正則化（避免梯度消失）

門自循環（LSTM&GRU，減少梯度消失）

他在演講中著重介紹了注意力機制：快速進步的20年：用於記憶許可權的注意力機制

神經網路圖靈機

記憶網路

使用基於內容的注意力機制來控制記憶的讀寫許可權

注意力機制會輸出一個超越記憶位置的Softmax

深度學習中的注意力機制示意圖

注意力機制現在在端到端的機器翻譯中得到應用，並且獲得巨大成功。

設計RNN架構

Bengio 課程全部PPT地址：

https://drive.google.com/file/d/0ByUKRdiCDK7-LXZkM3hVSzFGTkE/view

谷歌Phil Blunsom 主講自然語言處理

自然語言成為本期蒙特利爾大學深度學習暑期學校的一個重點。

來自谷歌的 Phil Blunsom 在兩個報告中分別介紹了《自然語言處理、語言建模和機器翻譯》和《自然語言的結構和基礎》

本報告中，講者介紹了語言建模的三種渠道：

通過計算基於 n-gram 的模型，我們用前面的 n 詞近似觀察詞的歷史。

在連續的空間中，神經網路的n-gram模型嵌入相同的固定n-gram歷史中，進而更好地捕捉不同歷史之間的關係。

使用時間遞歸神經網路，我們終止了固定的n-gram歷史，並且將整個歷史壓縮到固定的長度向量，使得長距離的關聯能夠被捕捉。

蒙特利爾大學Aaron Courville 主講：生成模型

CIFAR Fellow、蒙特利爾大學的 Aaron Courville 在這堂課中講授了生成模型的一些重點。Aaron Courville 不是別人，正是人工智慧領域的又一本「聖經級教材」《深度學習》（Deep Learning）一書的第三位作者——剩下兩位是 Ian Goodfellow 和 Yoshua Bengio。

我們知道，從模型角度講，無監督學習分為概率模型和非概率模型。稀疏編碼、自編碼器和 K-means 都屬於非概率模型，而在概率模型中衍生出了兩條分支：顯式密度模型（Explicitly Density Model）和隱性密度模型（Implicit Density Model），生成對抗網路（GAN）就屬於後者。

顯式密度模型又分為易解模型（Tractable Model）和難解模型（Non-Tractable Model）。NADE、PixelRNN 都屬於可解模型，而玻爾茲曼機（BMV）、變分自編碼器（VAE）則屬於難解模型。

Courvill 的這堂課內容分成兩部分，以PixelCNN 為例講自回歸模型，以及 VAE 和 GAN（包括 WGAN）講潛變數模型。

谷歌大腦的Hugo Larocelle 主講神經網路

《神經網路》課程的形式是在線視頻講座，將非常細緻地講解人工神經網路相關知識，內容涵蓋：神經網路是如何從輸入x得到預測的f(x)，需要了解前向傳播、神經元的類型；怎樣基於數據訓練一個神經網路（分類器），需要了解損失函數、反向傳播、梯度下降演算法、訓練的一些技巧等；深度學習：無監督預訓練、dropout、批標準化等。

麥吉爾大學的 Doina Precup 主講機器學習導論

本講介紹了機器學習的一些問題類型，以及線性逼近器、誤差函數/目標函數機器優化方法、偏差方差折衷，過擬合和欠擬合、線性估計器的L2和L1正則化、正則化的貝葉斯解釋，以及邏輯回歸。機器學習問題的類型包括監督學習，強化學習和無監督學習，本講課程以人臉檢測和識別、TD-Gammon、腫瘤檢測等作為實例分別講解，並介紹解決這些問題類型的步驟和可用方法。

牛津大學的 Mike Osborne主講深度學習中的概率數字

多倫多大學的 Blake Aaron Richards 主講大腦中的深度學習

我們的感知、動作和記憶從何而來？從我們神經系統中神經元的活動而來。人腦里有著幾十億大腦神經元，這些神經元彼此之間的突觸連接，還有這些連接強度的精確調諧，使這個地球上最複雜神秘的生理學功能成為可能。

但是，這些連接並不是由人類基因組所決定的。無論是昆蟲還是人類，神經元的連接都是後天形成的，動物會使用從感官和運動經驗中得到的信息來塑造神經元之間的突觸連接。

CIFAR Associate Fellow，Blake Richards 的研究領域是神經生理學、系統神經科學和計算神經科學。計算神經科學通過在對神經系統建模和分析的過程中應用計算的方法和觀念，整合各種對神經系統進行模擬的嘗試性工作。這當中，會使用機器學習方法和應用數學解答神經科學問題。

Richards 在深度學習暑期學校講的課題很有意思——《大腦里的深度學習》。人工神經網路本來就模仿了很多人類神經網路的概念，Deep learning本身就是做計算神經學的的人發明的。因此大腦里也會用到深度學習並不奇怪。Richards 介紹了當前的深度學習研究在真實大腦里的潛在應用。具體說，主要是反向傳播（Backpropagation）。

在演算法和數學公式推導中，體會大腦里的深度學習。

全部講義下載

Bengio - Recurrent Neural Networks（下載：http://t.cn/RoD3NZY）

Phil Blunsom - Natural Language Processing, Language Modelling and Machine Translation （下載：http://t.cn/RoD3R3Y）

Blunsom - Structure and Grounding in Natural Language（下載：http://t.cn/RoD3dLy）

Courville - Generative Models II（下載：http://t.cn/RoD1hiV）

Larochelle - Neural Networks 1（下載：http://t.cn/RoD1LR2）

Larochelle - Neural Networks 2（下載：http://t.cn/RoD15cy）

Osborne - Future_of_Work_DLSS（下載：http://t.cn/RoD1Mpq）

Osborne - PN_BO_DLSS（下載：http://t.cn/RoD1a8C）

Precup - dlss-intro-2017（下載：http://t.cn/RoD1pfi）

Richards - Deep_Learning_in_the_Brain（下載：http://t.cn/RoD1QaZ）