「Bengio領銜」巴黎高工數據科學暑期學校課程要點合集

1新智元編譯

詳細課程計劃和PPT、網站鏈接等可以在這裡找到：http://www.ds3-datascience-polytechnique.fr/program/

這是巴黎綜合理工學院（Ecole Polytechnique）數據科學暑期學校（8月28日~9月1日）的現場記錄。

講者包括：

• Yoshua Bengio - 蒙特利爾大學教授（深度學習）

• Csaba Szepesvari - 阿爾伯塔大學（Bandits）

• Pradeep Ravikumar - CMU助理教授（圖模型）

• Peter RichtarikI - 愛丁堡大學副教授（隨機優化方法）

• Cédric Archambeau - Amazon 首席應用科學家

• Olivier Bousquet - 谷歌技術總監

• Damien Eenst - 烈日大學（Université de Liège）教授

• Laura Grigori - INRIA研究總監

• Sean Meyn - 佛羅里達大學教授

• Sebastian Nowozin - 微軟劍橋研究院研究員

• Stuart Russell - UC伯克利大學教授

Yoshua Bengio：深度學習

在 Ecole Polytechnique 校長 Jacques Biot 以及暑期學校主要組織者的介紹講話後，Yoshu Bengio 首先以「深度學習AI」為題演講，涉及反向傳播、深度前饋神經網路、技巧、RNN和NLP等。他的講話非常general，講了一些好的工作中的state-of-the-art的方法，當前深度神經網路可以做什麼，研究熱點以及下一個前沿。

Yoshua Bengio 演講的要點：

• 組合性（compositionality）的想法

1. 分散式表示/嵌入

2. 特徵層次結構

• 視覺和語音識別的人類水平能力

• NLP正在進步，但仍有很多工作要做

• ML的五個組成部分

1. 大量數據

2. 非常靈活的模型

3. 足夠的計算能力

4. 計算上高效的推理

5. 能夠打敗維度災難（curse of dimensionality）的強大prior

• 深度學習的新東西

1. 無監督生成神經網路，例如GAN

2. 使用gating單元的注意力機制，例如，神經機器翻譯

3. 記憶增強神經網路（memory-augmented network）

4. 課程學習（curriculum learning）

5. 0-shot 學習

6. 使用不同的modality（圖像、文本、聲音）

7. 多任務學習（分類、回歸、圖像到文本、圖像到聲音）

• 對於序列數據，要處理與RNN的長期依賴關係，使用多個時間尺度

• 解開representation的潛在因素，深度學習會產生原始數據的線性化動檢，以便對圖像、辭彙等做線性代數

• 對於「需要多少數據」這種很重要但很難回答的問題，Yoshua提出了一個相當簡單但有些令人失望的答案：繪製「準確度 vs 樣本量」的經驗曲線，只要能繼續提高準確度，就繼續收集數據。

Sean Meyn：強化學習

接著，Sean Meyn針對強化學習做了題為「隱藏理論和新的超快演算法」的講課，非常技術，作者表示不太理解。

Sean Meyn講課的要點：

• 對於強化學習，學習隨機逼近而不是重新發現特定case

Pradeep Ravikumar：概率圖模型

Pradeep Ravikumar 的講課介紹了概率圖模型（表示、推理、學習）。

Pradeep Ravikumar 講課的要點：

• PGM是存儲分布和執行推理的一種便捷方式

• 用於概率圖模型（Probabilistic Graphical Model）的 Python 庫

• 概率圖模型（PGM）和pgmpy的簡明教程

Peter Richtarik：隨機優化方法

Peter Richtarik 的課有關隨機優化方法。

Peter Richtarik 課的要點：

• 優化（optimization）標準演算法工具箱的8個工具

1. 梯度下降

2. 加速

3. proximal 技巧

4. 隨機分解（隨機梯度下降（SGD）/隨機坐標下降（RCD））

5. minibatching

6. 方差縮減

7. 重要採樣

8. duality

Stuart Russell：BLOG模型

Stuart Russell 的課介紹了他的 BLOG 模型。他注意到，統計學長期以來忽略了語法（syntax），而syntax 在理論計算機科學和邏輯學中出現很多，後兩個領域（CS，邏輯學）長期以來是AI的主要方法。他的想法是將統計學和邏輯學結合起來。具體來說，是在類似prolog的語言中引入數據，或在類似PGM的語言中引入一階邏輯語法。

Stuart Russell 課的要點：

• BLOG 模型（他提出的統計/邏輯混合模型的名字）可以用於提出事實/完全無監督的文本理解

• BLOG 模型被聯合國用於區分地震和核試驗

Csaba Szepesvari：bandits

Csaba Szepesvari 針對bandits提供了非常基礎的課程，課程附帶很棒的參考資料。

Csaba Szepesvari 課的要點：

網站：http://banditalgs.com 上有全部內容

Olivier Bousquet：learn to learn

Olivier Bousquet是谷歌機器學習研究主管，他的課有關深度學習的最新進步，尤其是「學習如何學習」（ learn 2 learn）的方法。

Olivier Bousquet 課的要點

• Learn 2 learn

• 利用一個網路來構建另一個網路，方法是使用從被構建網路loss而來的強化學習feedback

• AutoML：自動學習

1. 架構

2. 梯度下降

3. 損失函數

• TensorFlow研究雲

• TPU

Sebastian Nowozin：無監督學習

Microsoft Research 的 Sebastian Nowozin 針對無監督深度學習的講座。

Sebastian Nowozin 課的要點：

• 當前GAN理論的研究工作

• f-divergence（例如Kullback-Leibler）對於GAN很有用

Cédric Archambeau：亞馬遜ML研究&貝葉斯優化

Cédric Archambeau 作了兩個talk：

• 有關亞馬遜ML研究

• 有關貝葉斯優化，用於在高斯過程找到好的超參數（例如，在深度學習中）

Cédric Archambeau 課的要點

• 提到了Amazon的很多東西

1. Amazon AI blog

2. 一個開源的神經機器翻譯工具：sockeye，可以用於執行任意類型的「具有attention的序列到序列」學習

3. DeepAR：具有自回歸循環網路（Autoregressive Recurrent Network）的概率預測

4. 提到通過繪製不同位置和長度的窗口對時間序列進行「data augmentation」的技術

5. 在 Amazon，他們更喜歡使用MXNet

6. 他們最近與 GPyOpt 有合作

Laura Grigori：線性代數演算法

最後是 Laura Grigori 的講座，她的研究領域是線性代數演算法。

Laura Grigori 課的要點：

• 感謝他們，我們得以有更多計算能力：）

原文地址：https://gmarti.gitlab.io/ml/2017/09/02/ds3-datascience-polytechnique.html

點擊閱讀原文可查看職位詳情，期待你的加入~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！