「ICML開杠」機器學習研究的四大危機

新智元報道

來源：ICML 2018

報道：金磊

【新智元導讀】近期，來自CMU和斯坦福的Zachary C. Lipton和Jacob Steinhardt兩位研究員為頂會ICML舉辦的Machine Learning: The Great Debate發表文章，並指出現在機器學習研究中的四大危機：混淆闡述與推測、無法明確得到較好結果的原因、數學公式堆積以及語言誤用。

學術界在大家的印象里一般是很嚴肅的，但近期AI頂會ICML在斯德哥爾摩舉辦了一個辯論會—Machine Learning: The Great Debates (ML-GD)，專供各家學者、研究人員積極探討領域內技術的現狀、瓶頸及對社會的影響。

有AI小網紅之稱的Zachary C.Lipton攜手斯坦福研究員Jacob Steinhardt發表了參會的論文《Troubling Trends in Machine Learning Scholarship》，並發推文，引發了熱烈的討論。

觀點提出背景

機器學習(ML)研究人員正在致力於有關「數據驅動演算法」知識的創建和傳播。據研究，許多研究人員都渴望實現以下目標：

• 理論性闡述可學習內容

• 深入理解經驗嚴謹的實驗

• 構建一個有高預測精度的工作系統

雖然確定哪些知識值得探究是很主觀的，但是一旦主題確定，當論文為讀者服務時，它對社區最有價值，它能創造基礎知識並儘可能清楚地進行闡述。

什麼樣的論文更適合讀者呢？我們可以列出如下特徵：這些論文應該

(i)提供直觀感受以幫助讀者理解，但應明確區別於已證明的強有力結論;

(ii)闡述考量和排除其他假設的實證調查 ;

(iii)明確理論分析與直覺或經驗之間的關係 ;

(iv)利用語言幫助讀者理解，選擇術語以避免誤解或未經證實的內容，避免與其他定義衝突，或與其他相關但不同的概念混淆。

機器學習研究中的四大危機

儘管機器學習最近取得了一些進展，但這些「理想」狀態往往與現實背離。在這篇文章中，我們將重點放在以下四種模式上，這些模式在ML學術(schoolar-ship)中似乎是最流行的:

1. 無法區分客觀闡述和推測。

2. 無法確定得到較好結果的原因，例如，當實際上是因為對超參數微調而獲得好效果的時候，卻強調不必要修改神經網路結構。

3. 數學公式堆積：使用令人混淆的數學術語而不加以澄清，例如混淆技術與非技術概念。

4. 語言誤用，例如，使用帶有口語的藝術術語，或者過多的使用既定的技術術語。

雖然這些模式背後的原因是不確定的，但會導致社區的迅速擴張、評閱的人數不足，以及學術和短期成功衡量標準（如文獻數量、關注度、創業機會）之間經常出現的不平衡。雖然每種模式都提供了相應的補救措施(但不建議這麼做)，我們還將討論一些關於社區如何應對這些趨勢的推測性建議。

有缺陷的學術研究可能會誤導大眾，並阻礙學術未來的研究。實際上，這些問題有許多是在人工智慧的歷史(更廣泛地說，是在科學研究)中循環出現的。1976年，Drew Mc-Dermott[1]指責人工智慧社區放棄了自律，並預言「如果我們不能批判自己，別人就會幫我們解決問題」。

類似的討論在整個80年代、90年代和2008年都反覆出現[2,3,4]。在心理學等其他領域，糟糕的實驗標準削弱了人們對該學科權威的信任。當今機器學習的強勁潮流歸功於迄今為止大量嚴謹的研究，包括理論研究[5,6,7]和實證研究[8,9,10]。通過提高清晰明了的科學思維和交流，我們可以維持社區目前所享有的信任和投資。

總結

可能有人會認為這些問題可以通過自律、自我糾正來改善。這個觀點雖然是正確的，但是機器學習社區需要反覆討論如何構建合理的學術標準以實現這種自我修正。

文獻原文地址：

https://www.dropbox.com/s/ao7c090p8bg1hk3/Lipton%20and%20Steinhardt%20-%20Troubling%20Trends%20in%20Machine%20Learning%20Scholarship.pdf?dl=0

參考文獻：

[1]Drew McDermott.Artificial Intelligence meets natural stupidity. ACM SIGART Bulletin,(57):4-9,1976.

[2]Timothy G Armstrong, Alistair Moffat, William Webber, and Justin Zobel. Improvements that don』t add up: ad-hoc retrieval results since 1998. In Proceedings of the 18th ACM conference on Information and knowledge management. ACM, 2009.

[3]Paul R Cohen and Adele E Howe. How evaluation guides ai research: The message still counts more than the medium. AI magazine , 9(4):35, 1988.

[4]RE Korf. Does deep blue use articial intelligence? ICGA Journal , 20(4):243{245, 1997.

[5]Leon Bottou and Olivier Bousquet. The tradeos of large scale learning. In Advances in neural information processing systems (NIPS) , 2008.

[6]John Duchi, Elad Hazan, and Yoram Singer. Adaptive subgradient methods for online learning and stochastic optimization. Journal of Machine Learning Research (JMLR) , 12(Jul), 2011.

[7]Yoav Freund and Robert E Schapire. A decision-theoretic generalization of on-line learning and an application to boosting. Journal of computer and system sciences , 55(1):119{139, 1997.

[8]James Bergstra and Yoshua Bengio. Random search for hyper-parameter optimization. Journal of Machine Learning Research (JMLR) , 13(Feb), 2012.

[9]Xavier Glorot and Yoshua Bengio. Understanding the diculty of training deep feedforward neural networks. In International conference on articial intelligence and statistics (AISTATS) ,2010.

[10]Kevin Jarrett, Koray Kavukcuoglu, Yann LeCun, et al. What is the best multi-stage architecture for object recognition? In International Conference on Computer Vision (ICCV) . IEEE, 2009.

【加入社群】

新智元 AI 技術 + 產業社群招募中，歡迎對 AI 技術 + 產業落地感興趣的同學，加小助手微信號: aiera2015_3入群；通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位；專業群審核較嚴，敬請諒解）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！