贏家詛咒＋經驗主義？剛剛結束的ICLR上，谷歌研究員再批當前AI鍊金術通病

大數據文摘作品

編譯：馮琛、Aileen

在剛過去的ICLR會議中，谷歌人工智慧研究員Ali Rahimi批評了整個機器學習行業對經驗法則、試錯法和迷信的過分依賴。

去年12月，谷歌公司的人工智慧（AI）研究員Ali Rahimi在NIPS大會的演講中批判了自己的研究領域，他說，計算機通過嘗試和錯誤進行學習的機器學習演算法已經成為「鍊金術」的一種。

研究人員其實並不知道為什麼某些演算法行之有效，而其他演算法徒勞無益，他們也沒有嚴格的標準來界定AI架構的選擇。因此，他獲得了現場觀眾長達40秒的歡呼。

4月30日，Rahimi在加拿大溫哥華召開的國際學習表徵會議（ICLR）上再次強調了他的觀點。在他和同事發表了名為《贏家詛咒？關於速度、進步與經驗主義）Winner"s Curse? On Pace, Progress, and Empirical Rigor》的論文中，他們記錄了「機器學習鍊金術化」的相關案例，並提供了加強AI嚴謹性問題的解決方案。

這篇論文被選進今年ICLR的workshop

公眾號後台對話框內回復「鍊金術」即可下載這篇論文~

Rahimi說：「人工智慧領域存在一種『痛苦』。我們中有很多人都感覺自己使用的是外星技術。」

現代科學中，鍊金術常被用來比喻缺乏科學嚴謹性，沒有明確理論基礎支持，知其然而不知其所以然的研究工作。

鍊金術是中世紀的一種化學哲學的思想和始祖，是當代化學的雛形。其目標是通過化學方法將一些基本金屬轉變為黃金，製造萬靈藥及製備長生不老葯。現在的科學表明這種方法是行不通的。現代分析心理學的創始人卡爾?古斯塔夫?榮格認為，古代的鍊金術實際上是一種人以自己的心靈發展為參照，對自然界現象的投射行為。

——維基百科

「鍊金術問題」和「AI的可重複性問題」不同：可重複性問題是指研究人員因為實驗的不連續性和研究過程公開實踐不一致性，導致無法重複彼此的研究結果。

「鍊金術問題」和機器學習中的「黑箱問題」及「可解釋性」問題也有區別：後者是指，難以解釋特定的AI如何得到其結論。

就像Rahimi所指出的，是「某個機器學習系統是一個黑箱」和「整個領域都變成了黑箱」的區別。

如果沒有深入理解構建和訓練新演算法所需的基本工具，創造AI的研究人員就會像中世紀的鍊金術士那樣訴諸傳聞。Fran?ois Chollet是一位來自加州山景城的谷歌計算機科學家，他補充道：「人們崇拜草包族科學，依靠民間傳說和魔法。」（文摘菌：有關草包族科學，可以看看《別鬧了！費曼先生》）

例如，採用一些小演算法來調整他們的AI的「學習率「——演算法在每次錯誤後可以自行糾正——而不理解為什麼一個結果比其他的好。在其他情況下，AI研究人員對演算法的訓練更像只是在黑暗中蹣跚而行。

例如，實現了所謂的「隨機梯度下降」，以優化演算法的參數以儘可能降低故障率。然而，目前儘管有成千上萬的學術論文和數不清的方法應用，整個研究過程還是依賴於嘗試和錯誤。

梯度下降依靠嘗試和錯誤來優化演算法，圖為在3D景觀中尋找最小值。

Rahimi的論文強調了那些可能出現的精力浪費和次優表現。例如，論文指出，當其他研究人員對一個最先進的語言翻譯演算法進行大量訓練後，簡化後的演算法其實更好，它能更高效地將英語翻譯成德語或法語，這表明演算法的原來創作者並不了解那些可以被簡化掉的額外部分到底有什麼用。

不過，在倫敦的推特機器學習研究人員Ferenc Huszár說，有時候演算法里花里胡哨的東西才是唯一好的部分。在某些情況下，一個演算法的核心在技術上存在缺陷，這意味著，這演算法能有還不錯的結果完全歸功於其他應用在表面上的技巧。

Rahimi提供了一些關於了解哪種演算法效果最好以及什麼時候效果最好的建議。他認為，對於初學者來說，研究人員應該像研究翻譯演算法一樣進行「排除法研究」：每次刪除一部分演算法，以查看每個部分的功能。

他呼籲進行「切片分析」，其中詳細分析了演算法的性能，以了解某些部分的改進可能會在其他地方付出代價。

「研究人員應該用許多不同的條件和設置來測試他們的演算法，並且應該彙報演算法在所有情況下的表現。」

加州大學伯克利分校的計算機科學家Ben Recht是Rahimi的鍊金術主題演講的合著者，他認為人工智慧需要借鑒物理學，在物理學領域，研究人員經常將問題縮小到一個更小的「玩具問題」。「物理學家擅長以簡單的實驗設計從根源上詮釋現象。」

一些人工智慧研究人員已經開始採用這種方法，為了更好地理解演算法的內部機制，在處理大量彩色照片之前，先在小的黑白手寫字元上測試圖像識別演算法。

倫敦DeepMind的計算機科學家CsabaSzepesvári認為，機器學習領域也需要淡化對競爭性測試的重視。目前，如果一篇論文中報告的演算法優於某些基準，那這篇論文會比其他深度揭示軟體內部運行原理的論文更容易發表。

這就是花式翻譯演算法如何通過同行評審的原因。他還表示，「科學的目的是產生知識，科學家應該製造一些其他人可以採用和作為他人研究基石的東西。」

當然，並非每個人都同意這種批判。

Facebook的首席人工智慧科學家Yann LeCun擔心將過多的精力從前沿技術轉移到核心理解上，可能會減緩創新速度並阻礙人工智慧的實際應用。他表示，「這不是鍊金術，而是工程學，工程學本就很混亂。」

Yann LeCun回應說，在科學技術史上，工程學上的進步幾乎總是先於理論認識：望遠鏡誕生先於光學理論，蒸汽機先於熱力學，飛機先於空氣動力學，無線電和數據通信先於資訊理論，計算機先於計算機科學。

Ali Rahimi也回應了Yann LeCun對他的批評，感興趣的話可以看看Reddit上關於鍊金術問題的爭論（鏈接內含AliRahimi在2017 NIPS上的演講視頻）：

https://www.reddit.com/r/MachineLearning/comments/7hys85/n_ali_rahimis_talk_at_nipsnips_2017_testoftime/

Recht卻認為在研究中「有條不紊」和「冒險精神」的可以達到平衡：「我們兩個都需要。我們需要了解哪些地方出現了失敗，以便我們能夠建立可靠的系統，並且我們必須推進前沿工作，以便我們可以做出更厲害的系統。」

相關報道：

http://www.sciencemag.org/news/2018/05/ai-researchers-allege-machine-learning-alchemy

【今日機器學習概念】

Have a Great Definition

志願者介紹

回復「志願者」加入我們

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！