深度學習情緒已經降溫 AI寒冬即將來臨
多年來，深度學習一直處於AI革命的最前沿，許多人相信這是將我們帶入技術奇點奇蹟(通用AI)的銀子彈。 2014年，2015年和2016年許多押注都是在推出新邊界的時候作出，例如Alpha Go等。特斯拉等公司通過其首席執行官親口宣布，全自動駕駛汽車已經非常接近了，特斯拉甚至開始向客戶推銷這個選項(在未來的軟體更新中啟用)。
在2018年中期我們看到發生了變化。從表面上看，NIPS會議仍然處於超賣狀態，企業公關仍然在所有新聞稿中都有AI，埃隆·馬斯克仍然保持著有前途的自動駕駛汽車，而谷歌 CEO不斷重申吳恩達的口號，即AI比電力更強大。但是這個敘述開始破裂。正如Piekniewski(下文以第一人稱敘述)在以前文章中所預測的那樣，最明顯的裂痕是自動駕駛 —— 這種技術在現實世界中的實際應用。
深度學習蒙塵
當ImageNet得到有效解決(注意這並不意味著解決方案已經解決)，該領域的許多傑出研究人員(包括通常低調安靜的傑夫·辛頓)都在積極地進行新聞採訪，在社交媒體上公開一些東西(例如燕樂存，吳恩達，李飛飛等)。總的來說，我們正處在一場巨大的革命前面，從現在開始，事情只會加速。好幾年已經過去了，那些人的Twitter變得不那麼活躍了，下面是吳恩達的例子：
2013年：每天0.413條推文
2014年：每天0.605條推文
2015年：每天0.320條推文
2016年：每天0.802推文
2017年：每天0.668推文
2018 年：每天0.263推文(至5月24日)
也許這是因為吳恩達的離譜言論現在遭受到社區更詳細的審查，如下面的推文所示：
顯然，情緒已經大大降溫，讚美深度學習作為終極演算法的推文少得多，論文正在變得不那麼「革命」，並且更「進化」。自從他們的Alpha Go zero推出以來，Deepmind並沒有顯示出任何令人驚嘆的事物[即使這並不令人興奮，因為只有遊戲的必要計算量和適用性 —— 參見Moravec的悖論]。而OpenAI相當安靜。
實際上，有些文章開始顯示，即使谷歌實際上並不知道如何處理Deepmind，因為它們的結果顯然不如原先預期的那麼實際......至於傑出的研究人員，他們一般都在加拿大或法國與政府官員見面，為了獲得未來的補助金，燕樂存甚至辭去Facebook的職位(相當具有象徵意義)。這種從富有的大公司向政府資助的研究機構的逐漸轉變表明，這些公司對這類研究的興趣(我認為是谷歌和Facebook)實際上正在慢慢收斂。這些都是早期跡象，沒有什麼大聲說出來的，只是肢體語言。
深度學習(不成)規模
關於深度學習的重要口號之一是它幾乎毫不費力地擴張。我們在2012年擁有6000M參數的AlexNet，現在我們可能已經有至少1000倍的數量的模型了嗎?好吧，我們可能會這樣做，但問題是 - 這些東西有1000倍的能力嗎?甚至100倍的能力? OpenAI的研究派上用場：
因此，就視覺應用而言，我們看到VGG和Resnets在計算資源應用的一個數量級上(就參數數量而言實際上較少)飽和。 Xception是谷歌啟動架構的一種變體，實際上它在ImageNet上的表現略微優於其他產品，可以說實際上略勝過其他人，因為AlexNet基本上解決了ImageNet。
所以，在比AlexNet計算機計算量提高100倍的情況下，我們在視覺方面幾乎飽和的體系結構，或精確的圖像分類。神經機器翻譯是所有大型網路搜索參與者的一大努力，難怪它需要所有可能的計算(儘管谷歌翻譯仍然很糟糕，儘管已經得到了更好的證明)。該圖上的最新三點有趣地顯示了Deepimind和OpenAI應用於遊戲的強化學習相關項目。特別是AlphaGo Zero和稍微更通用的AlphaZero需要大量計算，但不適用於真實世界的應用程序，因為需要大量計算來模擬和生成這些極度缺乏數據模型所需的數據。好的，現在我們可以在幾分鐘內培訓AlexNet而不是幾天，但是我們可以在幾天內培訓一個1000倍的AlexNet，並獲得質量更好的結果?顯然不行...
所以實際上，這張旨在表明深度學習規模如何的圖表顯示了恰恰相反的結果。我們不能只放大AlexNet並分別獲得更好的結果 - 我們必須擺脫特定的體系結構，並且有效的額外計算不會在沒有數量級的情況下購買更多的數據樣本，實際上這隻能在模擬遊戲環境中使用。
無人車事故
迄今為止，深度學習聲譽最大的打擊來自無人駕駛車輛的領域(我預計很長一段時間都是)。最初認為端到端的深度學習可以以某種方式解決這個問題，這個前提概念英偉達特別推崇。我不認為地球上還會有人仍然相信這一點，儘管我可能是錯的。看看去年加利福尼亞DMV的報道，Nvidia的車不能脫離10英里的距離駕駛。
在另一篇文章中，我討論了這種發展的一般狀況，並與人類駕駛員安全進行了比較(擾流警報)，看起來不太好。自2016年以來，還出現了幾起特斯拉AutoPilot事件，其中一些事件是致命的。可以說，特斯拉自動駕駛儀不應該與自動駕駛混淆，但至少在核心上它依賴於同一種技術。
從今天起，除了偶爾出現的巨大錯誤，它仍然不能停在路口，識別交通信號燈，甚至不能通過環形交叉路口。在2018年5月，也就是在承諾穿越美國東西海岸的特斯拉自動駕駛旅程的幾個月後(儘管有傳言稱他們已經嘗試過，但沒法在沒有約30次的脫離的條件下成功)的狀況。幾個月前(2018年2月)，埃隆·馬斯克在一次電話會議中被問及沿海駕駛時：
「我們本來可以完成穿越美國東西海岸的自動駕駛旅程，但它需要太多的專用代碼來有效地執行，這使其變得脆弱，只能用於特定的路線，但不是像一般的解決方案。我們可以在相同路徑重複它，但是如果它不能用於任何其他路線，這不是一個真正的解決方案...」
我對神經網路方面取得的進展感到非常興奮。這有點 ——也是那些看起來沒有進展的指數級別的東西之一 —— 看起來沒有太多進展，沒有什麼變化，但是突然會哇一聲。它就像是一個蹩腳的司機，技術拙劣。但突然之間，變成一個非常棒的司機。自動駕駛汽車也是這樣。」
那麼，看看上面的圖表(來自OpenAI)，似乎沒有看到指數級的進展。實質上，馬斯克的說法應該被解釋為：「我們目前沒有這種自動駕駛技術可以安全地帶著我們穿越海岸，儘管如果我們真的想要(也許......)我們可以偽造它。我們深深地希望有些神經網路能力的指數跳躍將很快發生，並幫助我們免受恥辱和大規模的訴訟。」
但迄今為止，戳破人工智慧泡泡最大的針是Uber自動駕駛汽車在亞利桑那州撞死一名行人的事故。從NTSB的初步報告中，我們可以讀到一些令人驚訝的發言：
除了本報告中顯而易見的一般系統設計失敗外，令人驚訝的是系統花費了很長時間來試圖確定前面看到的究竟是什麼(無論是行人，自行車，車輛還是其他物體)，在這種情況下，而不是做出唯一的邏輯決策，確保不會撞到它。這有幾個原因：首先，人們經常在事後說出他們的決定。所以一個人通常會說：「我看到一個騎車的人，所以我轉向左邊避開他」。
大量的心理物理學文獻將提出一個完全不同的解釋：人類通過神經系統的快速感知循環很快將其解釋為障礙，並且迅速採取行動躲避它，幾秒鐘後，意識到發生了什麼並提供了口頭說明」。我們每天做的很多決定都不是語言表達的，駕駛包括許多決定，言語表達費用昂貴，需要時間，而現實往往不能提供時間，這些機制已經發展了十億年保持我們的安全。
駕駛環境(儘管現代化)利用了許多這樣的反應，但由於這些反應並沒有專門為駕駛而發展，所以它們可能會引發錯誤，在汽車裡被蜂蟄而導致的膝跳反應可能導致許多撞車事故和死亡。但是我們對三維空間，速度，預測代理行為的能力，穿過我們路徑上物理對象行為的一般理解是原始技能，這些技能在1億年前與現在一樣有用，並且由於進化而變得異常敏捷。
但是由於大多數這些東西都不易表達，所以很難衡量，因此我們並沒有在這些方面優化我們的機器學習系統。現在，這將支持英偉達的端到端方法 - 學習圖像 - >動作映射，跳過任何語言表達。在某些方面，是做到這一點的正確方式，但是......問題在於輸入空間是難以置信的高維度，而動作空間的維度非常低。因此，「標籤」(讀數)的「數量」與進入的信息量相比非常小。在這種情況下，學習虛假關係很容易，正如深入學習中的敵對示例所例證的那樣。我們需要一個不同的範例，並假設對整個感知輸入和行為的預測，作為使系統能夠提取世界語義的第一步，而不是假相關性。
事實上，如果我們從深度學習的爆發中學到了什麼，是(10k +維)圖像空間中有足夠多的虛假模式，它們實際上概括了許多圖像，並使像我們分類器那樣實際上理解了所正在看到的東西。正如在這個領域投入巨資的頂尖研究人員所承認的，事實並非如此。事實上，許多頂級研究人員不應該對我的觀察結果感到憤怒，燕樂存提醒人們對AI關注的過度興奮和AI冬季，即使是當前反向傳播爆發之父——Geoffrey Hinton，在接受採訪時也承認這種情況可能已經是個死胡同，我們需要重新開始。儘管如此，炒作仍是非常厲害，甚至沒有人聽聽到該領域創始人的聲音。
加里·馬庫斯和他對炒作的反對
我應該提到，更多頂級人士正在認識到狂妄自大，並有勇氣公開稱之為自負。加里·馬庫斯是該領域最活躍的人之一。雖然我並不同意加里在人工智慧方面提出的所有建議，但我們當然同意它還沒有像深度學習所炒作的那樣強大。事實上，它還差得遠。我很尊重加里，他的行為應該像一個真正的科學家，而大多數所謂的「深度學習明星」就像廉價名人一樣。
結論
預測AI寒冬就像預測股市崩盤，不可能準確地分辨出什麼時候發生，但幾乎可以肯定它會在某個時刻出現。就像在股市崩盤之前，即將崩潰的跡象一樣，但儘管以再強烈的語氣描述它，還是會很容易忽視，即使已經非常明顯了。在我看來，已經有這樣的跡象表明，深度學習的衰退已經顯現出來了(可能在人工智慧方面，由於這個詞已被企業宣傳大肆濫用)，這在很明顯的情況下是可見的，由於越來越多的炒作。那麼寒冬到底有多「冷」?我不知道。接下來會發生什麼?我不知道。但是我認為，即將來臨，或許更快而決不會遲到。
TAG:頭條前瞻 |