KDD 2016 Deep Learning大討論

今天KDD 2016有很多有意思的內容，其中要數題為「Is Deep Learning the New 42」的Plenary Panel給我印象最深。

首先說一下參與Panel的幾位學者的來頭。主持Panel的Andrei Broder自然不用說，目前擔任Google的Distinguished Scientist，之前是Yahoo Research的VP。參與討論的有University of Washington的Pedro Domingos（因為Markov Logic Networks著名），來自Google DeeMind的Nando de Freitas（之前因為Gaussian Process，現在因為Deep Learning著名），來自Université Paris-Saclay的Isabelle Guyon（因為SVM著名），來自University of California at Berkeley的Jitendra Malik（因為CV界的好幾個演算法著名）以及來自Purdue University的Jennifer Neville（因為Graph Mining著名）。

總體感覺是，Jennifer和Nando de Freitas大部分時間在打醬油。兩者均在學術圈的時日比較短，雖然Nando是做Deep Learning的，但深入的觀點感覺並不多，無法從多個領域的整體感覺來談論Deep Learning的一些High Level Idea。整個Panel而言，表現最搶眼的是Pedro Domingos，觀點犀利，而且觀眾很有共鳴。我這裡總結幾點：

1. Deep Learning的核心成功來源於Representation Learning。Pedro希望看到不同類型的，基於不同觀念的Representation Learning興起。

2. Deep Learning還處於非常早期的發展時期，我們需要對認知Deep Learning為什麼成功，而不僅僅限於能做什麼Task。

3. Model Interpretative可能是一個偽問題。在精確的模型和有解釋意義的模型之前，寧願選擇精確的模型。人類的認知局限，恰恰是希望能夠發展出人類 所不能解釋的，超過人類能力的模型。如果是為了解釋性，從而降低了模型的準確度，那就違背了Machine Learning的初衷。人類理解不了模型是好事，需要提高的人類的認知能力。這一個觀點在會場上引起了很大的震動。

4. 學者有義務對整個社會進行教育，所有人都應該理解Machine Learning的局限和期望。（這一點也就能夠解釋Pedro為什麼會寫科普性質的書籍《Master Algorithm》。）

5. 學術圈的存在意義不是做Incremental的學術，而恰恰是做Long-term，可能會失敗的有深遠意義的研究。

6. Deep Learning未必能夠在所有的領域都大放異彩。目前的成功還主要在Image、Speech領域。

Nando有一個觀點還是不錯的，那就是現在Deep Learning的成功也得益於軟體系統，特別是現在DL的各類框架的成熟。

總之，整個一個多小時Panel人山人海，看來Deep Learning依然是目前最為火熱的研究課題。

TAG:雷鋒網 |

※KDD Cup 2017雙料冠軍是如何煉成的？我們向Convolution團隊討教了他們的「成功方法論」
※SIGKDD明日召開，重點內容全概覽｜KDD 2017
※KDD 2017現場探營：務實、豐富，數據大爆炸的盛會即將開啟 | KDD 2017
※作為KDD 2017鑽石贊助商，滴滴出行會場有哪些活動？| KDD 2017
※KDD：BAT、華為谷歌論文排行榜，中國包攬KDD CUP
※KDD2017：阿里論文解讀，深度學習、大規模圖計算等
※阿里KDD2017：大規模圖計算對展示廣告的行為預測
※「北馬助跑」KDD 2017：體育運動分析中的數據挖掘與機器學習
※滴滴KDD2017論文：基於組合優化的計程車分單模型
※KDD2018主席熊輝教授：數據挖掘與深度學習結合新趨勢
※ACM SIGKDD主席裴健專訪：華人學者在數據挖掘領域的成就有目共睹
※「專訪」KDD2018主席熊輝教授：數據挖掘與深度學習結合新趨勢
※SIGKDD明日召開，重點內容全概覽
※加拿大西蒙弗雷澤大學裴健教授當選ACM SIGKDD新一屆主席
※「突破」深度學習計算消耗降低95%，KDD2017哈希法研究加速神經網路進化
※KDD 2017現場探營：務實、豐富，數據大爆炸的盛會即將開啟
※「裴健當選SIGKDD主席」研究被引超7萬次，他還有一個遺憾｜專訪
※KDD Cup 20年全回顧：從今年包攬前三甲說起，看中國力量逐年滲透的三大亮點
※作為KDD 2017鑽石贊助商，滴滴出行會場有哪些活動？