CMU教授炮轟谷歌：一切都是商業計劃，機器學習原理停留在20年前！

最新 07-14

編者按：本文來自微信公眾號「新智元」（ID：AI_era），作者文強。36氪經授權轉載。

【導讀】Twitter今天出現了一條驚爆tread：CMU助理教授Simon DeDeo炮轟谷歌大腦，認為他們沒在做真正的科學，只是用強大的算力以及招攬到的眾多優秀博士生，不斷快速推出機器學習工程成果，而真正的知識還跟20年前一樣！

你認為谷歌大腦和其他類似的企業AI研究院如何？

這只是再正常不過的一個問題，沒想到竟然冒出了一條讓人吃驚的回復。CMU的助理教授Simon DeDeo表示：在那裡人們並沒有做真正的科學！

好吧，事情是這個樣子的，先來看這位Simon DeDeo的回復——之前的聲明：

接下來我要說說對谷歌大腦和類似機構的看法。聲明：這是我個人的意見，我不需要他們的資助，也沒有通過討好他們來成就我的職業生涯。

字裡行間無不流露出對谷歌大腦等頂尖AI研究院的不屑與不滿，基本可以想見他的看法整體走向將是什麼。

下面這條可以認為是DeDeo的核心觀點：企業「研究」是從商業立場出發的，無論管理流程如何。

Simon DeDeo是CMU社會與決策科學（Social and Decision Sciences）助理教授，聖達菲研究所外部教授。他之前曾在印第安納大學的複雜系統和認知科學項目中工作過。他還曾在東京大學宇宙物理與數學研究所和芝加哥大學卡夫利宇宙物理研究所獲得博士後獎學金。

教育背景

博士：普林斯頓大學天體物理學

碩士：劍橋大學應用數學與理論物理

學士：哈佛大學天體物理學

在DeDeo的主頁介紹上寫著，他們的研究方向是：在社會思想實驗室（Laboratory for Social Minds），我們進行實證研究，並建立歷史和現代現象構建數學理論。我們的研究既包括數百年的人類文化發展，也有瞬息萬變的現代等級制度。我們創建了關於政治秩序重大轉變合成的深層次描述，目的是預測和理解我們整個物種的未來。

或許你認為以為從事天文學的博士對人工智慧並無了解，因此DeDeo的話無關緊要，不過，天文學也是目前積極採用機器學習的基礎學科之一。DeDeo在他的工作中也無可避免的會用到深度學習。此外，從2012年開始，深度學習的熱潮興起，幾句席捲整個自然科學領域，從生物、化學到物理，越來越多的科學家都發現機器學習能夠幫助乃至加速他們的發現。

而DeDeo，也不可避免的處於這場深度學習熱潮中間，而且關聯還不淺。

DeDeo將他的抱怨連發了幾十條Twitter，簡直構成了一篇文章：

我在貝葉斯時代長大，見證了David Spergel和他的快樂科學家團隊用一些簡單的，從理論上推動的方程改變了我們對世界的看法。

當我出到校門外開始研究生活和思考系統時，這也是我的研究出發點。當然，2010年左右，深度學習革命變得不可忽視。

這是令人興奮的事情。我們邀請學者參觀訪問，告訴我們關於決策樹、隨機森林，各種奇妙的事情。我也試著學習這些方法，但老實說，我們可以用簡單的工具做很多事情，因此並沒有把機器學習到成優先事項。

當我到IU時，我被聘為信息學部門的教授，IUsolCE（信息學也即未來的計算機科學，不再是簡單的快速排序，而是弄清楚機器對人類生活的影響）。我當時在一個招聘委員會裡，非常要招一個深度學習的人。

我帶所有的候選人去吃早餐（我喜歡跳過會議和委員會，把時間花在研究生和本科生身上），然後弄清現在的深度學習。大多數候選人可能都沒睡醒。

基本答案：我們所做的每一個性感的項目，從飛行四軸飛行器到在MNIST上再獲得精度0.1％的提升，基本上就是一名研究生。

你計算出神經網路的拓撲結構，然後找到權重。怎麼做？答案是：GSD，graduate student descent——開個玩笑。簡而言之，沒有一個好的答案，就是一個人坐在那裡，不斷調整參數。

機器學習是工程學的一項了不起的成就。但這不是科學。遠遠不是。我們如今做的只是1990年的東西，成倍放大的結果。它並沒有給我們帶來比20年前更多的見解。

是的，我也聽說過「深度學習實現了renormalization group！」但如果你有一個在空間中組織的信息系統，那麼神經元在空間上將信息組合起來真的很厲害嗎？

我也被邀請參加Google Research或類似地方的會議。他們的安保像瘋了一樣，比對沖基金更糟糕。保安會跟著你去洗手間。

在谷歌大腦，每位級別相當於我的科學家，也即相當於一名初級教員，原本都應該說是處於知識邊緣不斷探索的人，都在管理一個由10名研究生組成的團隊，在做著Graduate Student Descent。

谷歌可以擊敗堪薩斯大學，唯一的原因是他們每個研究人員可以僱用十倍以上的研究生。當然，不同之處在於，堪薩斯大學的研究生有機會做一些具有學術意義的事情。在Google Research卻無法如此。

他們不知道自己在做什麼。他們有人力將深度學習應用於任何事情，模擬薛定諤方程，藥物設計，你能想到的一切。他們的主要目標是找到谷歌可以產生最大影響的科學領域。

我訪問過50所大學。無論走到哪裡，我都會遇到新的想法。但有一個例外：商業「研究」實驗室。

如果你想構建能夠監控人並且更快地向他們推銷更多廣告的機器，那就去這些實驗室。如果你想找到一個工人階級正在做的工作，然後對正在做這件事的男人或女人建模，然後建立一個網路，取得這些人，那你更應該去商業實驗室了。

我們用Google Research構建的東西做過科學嗎？當然。我們有一篇很好的論文，用word2vec來幫助構建解謎理論（a theory of puzzle solving）。

但我們原本可以建立一個跟word2vec同等效用的系統。這裡面沒有任何學術智力上的貢獻。我不是在開玩笑。

我在一個晚上接到了一名頂級CS碩士研究生的電話，我們開始研究社會合作的問題。他想做深度學習。

僅僅兩周的時間，我們就比Google Brain正在做的更進一步。我並不是說在技術上——他們擁有大量豐富的YouTube視頻數據。但我們確實在學術貢獻上（intellectually）領先他們。

谷歌說他們也做了社會科學，但實際並非如此，他們做的只是分布在50多個GPU上的homo economicus（經濟人）。買一份Bowles and Ginits，Cooperative Species，你會在一周內學到更多東西。

你能在Google Brain做一些很酷的研究嗎？誠實的回答是：不能。你將處於機器學習的最前沿，沒有錯，但這是一個工程學科，其基本目標是由大公司設定的。你不會成為一名科學家（you will not be a scientist）。

我知道你可能需要賺錢。你可以在那裡賺很多。去吧，我非常尊重你的選擇。學術界糟糕透了。

但是，如果你想要在你蓬勃發展的事業中的某些時刻，在你的思想和靈魂里，加入兩千年推進人類智力前進的努力，你不會在谷歌做到這一點。當然Facebook也不行。

如果你真的選擇後者，你還有一個選擇，那就是加入大學的研究生院，讀博。

你的收入不會很多，但你的導師將真正關心你的學術和智力發展。你很難高估優秀的博士課程與產業之間的差異。如果你是一名優秀的博士生導師，干擾學生的智力發展，實在是太可恥了。在谷歌，這一切都是一個商業計劃。

這些都不是開玩笑。這是十年的經驗。研究生院的申請將在秋季開始。想一想吧。確保你得到一筆好的交易（你不應該為讀博負擔債務，你也應該得到醫保）。

簡而言之：企業「研究」是一個商業主張，無論管理層如何。鑒於這些公司對員工的密切監控，現在這個差距微乎其微。

最後說件事：我們訪問了Google Research，那裡的人聰明絕頂，令人難以置信。我們集思廣益，想出了各種精彩的研究思路。會議的最後一天，高校學者說，好，讓我們去酒吧，把這些想法再落實！

但他們的回答是：這是我們的業餘工作（vacation），我們手頭真正的工作落後了，我們這個周末必須工作。（不是「我們感到內疚了認為周末該去做」，而是「我們必須」。）

對於學者來說，這就是工作。突然間，我意識到，這只是他們的業餘項目罷了。

當然，DeDeo的言論一出，立即引發了眾多反駁之聲，有人說這是我見過最不著調的評論，在谷歌大腦和FAIR，有很多科學家在做著真正的基礎科研，雖然確實也有GSD（研究生調參），但完全與企業目標無關。

DeDeo的論調其實反映了一個早已有之的問題，那就是人才從學術界往產業界流動，這種趨勢實際上在兩年前就已經在AI圈裡得到熱議。

當時，還是加州大學伯克利分校人工智慧和深度學習專家的 Pieter Abbeel（現在已經自己創業，成立了covariant.ai）表示，如今的這股熱潮表明人工智慧技術已經發展到了能夠對現實世界產生影響的地步，而企業本身就是運用技術為社會提供產品和服務的。

荷蘭萊頓大學社會科學家 Robert Tijssen 表示，上世紀50年代，同樣的職業遷徙現象也在半導體研究中出現過，當時半導體領域的很多頂尖學者都被挖走，成為產業界研發實驗室的負責人。Robert Tijssen 對 Nature 記者說，這些學者將他們的專業知識帶入產業界，同時在產業里建立新的關係，而後又將這些產業關係反饋給原來學術界的同事和學生，達到典型的雙贏局面。

位於卡內基·梅隆大學的美國國家機器人工程中心（US NREC）負責人 Herman Herman 對 Tijssen 的觀點表示贊同。2015年，NREC 與 Uber 合作，Uber 從 NREC 的 150 名研究員當中招走了將近 40人，主要是研究自動駕駛汽車的研究員。當時有報道稱 NREC 陷入危機，但 Herman 表示那個說法稍微言過其實；NREC 與 Uber 的合作項目只是卡內基·梅隆大學機器人研究所幾十個項目中的一個，而機器人研究所有大約 500 名教職員工，這次人員調動對研究所來說正好是換新血的機會。而不久之後，Uber 就向機器人研究所捐資 550 萬美元，用於支付學生和教職工的獎學金。同時，這一事件的新聞性還提升了機器人研究所的知名度，學生提交申請數量也增多了。

Yoshua Bengio 也曾對學術界人才流失表示擔憂。他表示自己要堅守在學術界，不過，後來也成為微軟和加拿大AI創業公司ElementAI的顧問。

Hinton預計深度學習領域專家短缺只會是暫時的。本人就屬於谷歌大腦的的Hinton 告訴 Nature 記者，谷歌承認高校研究生項目的重要性。目前，谷歌資助了 250 多項學術研究項目和幾十個博士獎學金。

就在前不久，在清華大學人工智慧研究院成立儀式上，同期舉行了清華-谷歌AI學術論壇。谷歌AI總負責人Jeff Dean也受聘成為清華大學計算機學科顧問委員會委員。

Jeff Dean在研討會第一天的主旨演講，題目是《用深度學習解決世界重大挑戰》。

Jeff Dean發表主旨演講：用深度學習解決重大挑戰

Jeff Dean介紹了，過去6年來，Google Brain團隊一直在研究人工智慧中的難題，構建用於機器學習研究的大型計算機系統，並與Google的許多團隊合作，將其研究和系統應用於眾多Google產品當中。他們已經在計算機視覺，語音識別，語言理解，機器翻譯，醫療保健，機器人控制等領域取得了重大進展。

谷歌在人工智慧領域最終目標是三點：利用人工智慧和機器學習讓谷歌的產品更加實用（Making products more useful）；幫助企業和外部開發者利用人工智慧和機器學習進行創新（Helping others innovate）；為研究人員提供更好的工具，解決人類面臨的重大挑戰。

谷歌大腦與頂級高校以及科研和醫療機構合作，從改善城市基礎設施到健康信息學再到人腦逆向工程，還有使用深度學習預測分子性質，製作更好的藥物……這些全都是在對人類有意義的基礎科學。

然而，DeDeo的擔憂有一點是真切的——深度學習更多的是工程，雖然最近越來越多的人開始關注理論研究，但是，大量的調參和超強的算力，以及大數據，仍然是深度學習當下的必須。

周志華教授在今年4月發表了一場《關於深度學習的思考》的主題演講，其中提到，深度學習的理論基礎尚不清楚：

但是實際上在學術界大家一直沒有想清楚一件事情，就是我們為什麼要用這麼深的模型？今天深度學習已經取得了很多的成功，但是有一個很大的問題，就是理論基礎不清楚。我們理論上還說不清楚它到底是怎麼做，為什麼會成功，裡面的關鍵是什麼？如果我們要做理論分析的話，我們先要有一點直覺，知道它到底為什麼有用？這樣才好著手去分析。但現在其實我們根本就不知道該從什麼角度去看它。

周志華教授還指出，深度學習的可重複性低：

今天大家都非常關注我們做出來的結果的可重複性，不管是科學研究也好，技術發展也好，都希望這個結果可重複。而在整個機器學習領域，可以說深度學習的可重複性是最弱的。我們經常會碰到這樣的情況，有一組研究人員發文章說報告了一個結果，而這個結果其他的研究人員很難重複。因為哪怕你用同樣的數據，同樣的方法，只要超參數的設置不一樣，你的結果就不一樣。

總之，當前深度學習還有很多問題，機器學習也一樣。

不過，在哪裡都能做真正的研究，尤其是AI領域產學研結合得越來越緊密的情況下，你覺得呢？

參考資料：

DeDeoTwitter：https://threadreaderapp.com/thread/1017616703864307712.html

DeDeo主頁：https://www.cmu.edu/dietrich/sds/people/faculty/simon-dedeo.html

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！