必讀！史上引用次數最多的機器學習論文 Top 10

新智元推薦

作者：SIGAI人工智慧平台

【新智元導讀】本文整理了機器學習歷史上出現的經典論文，按照被引用次數對它們進行了排序，重點介紹被引數Top10的論文。它們是一代又一代研究人員為我們留下的寶貴財富。

近 40 年來機器學習領域產生了數以萬計的論文，並以每年上萬篇的速度增長。但真正能夠稱為經典、經受住歷史檢驗、能投入實際應用的並不多。

本文整理了機器學習歷史上出現的經典論文，按照被引用次數對它們進行了排序，分為 top10，被引用次數超過 2 萬，被引用次數超過 1 萬，未來有潛力的文章 4 部分。

它們已經或者在未來具有資格被寫入機器學習、深度學習、人工智慧的教科書，是一代又一代研究人員為我們留下的寶貴財富。需要說明的是，引用次數對近幾年新出現的文章是不公平的，它們還處於高速增長期，但好酒就是好酒，隨著時間的沉澱會越來越香。

引用次數最高的 10 篇文獻

第 1 名 - EM 演算法

Arthur P Dempster, Nan M Laird, Donald B Rubin.Maximum Likelihood from Incomplete Data via the EM Algorithm. Journal of the royal statistical society series b-methodological, 1976.

被引用次數：55989

第 2 名 - logistic 回歸

David W Hosmer, Stanley Lemeshow.Applied logistic regression. Technometrics. 2000.

被引用次數：55234

代表了線性模型這一山頭。這不是 logistic 回歸的原文，logistic 回歸在這之前幾十年就已經被提出，但這篇文獻的引用次數卻達到了，雖然它不是論文而是書的形式，但其引用次數比著名的 PRML 還要高。這也符合我們的直觀認識，logistic 回歸雖然簡單，但卻實用，在工程上，往往是越簡單的東西越有用。

第 3 名 - 隨機森林

Breiman, Leo.Random Forests. Machine Learning 45 (1), 5-32, 2001.

被引用次數：42608

代表了集成學習這一大山頭。Breiman 的隨機森林，分類與回歸樹分列第 3/4 名。而隨機森林的排名比 AdaBoost 演算法要高。同樣的，隨機森林也很簡單，但卻好用。在 SIGAI 之前的公眾號文章 「隨機森林概述」 中對集成學習，bagging，隨機森林進行了詳細的介紹。

第 4 名 - 分類與回歸樹

Breiman, L., Friedman, J. Olshen, R. and Stone C.Classification and Regression Trees, Wadsworth, 1984.

被引用次數：39580

這是分類與回歸樹的原文，代表了決策樹這一山頭。在各種決策樹中，分類與回歸樹（CART）應當是用的最廣的，現在還被用於充當隨機森林，AdaBoost，梯度提升演算法的弱學習器。Breiman 老爺子在 2005 年已經逝去，但他留給我們大片的樹和森林。在 SIGAI 之前的公眾號文章 「理解決策樹」 中對這一演算法進行了詳細的介紹。

第 5 名 - 支持向量機開源庫 libsvm

C.-C. Chang and C.-J. Lin.LIBSVM: a Library for Support Vector Machines. ACM TIST, 2:27:1-27:27, 2011.

被引用次數：38386

這篇文章介紹了 libsvm 開源庫。引用次數超過了支持向量機的原文，應該算是公開的最經典的支持向量機實現，其作者是台灣大學林智仁教授及其學生。相信很多做機器學習研究和產品的同學都用過它。在 SIGAI 之前的公眾號文章 「用一張理解 SVM」，「理解 SVM 核函數和參數的作用」 中對 SVM 進行了詳細的介紹。

第 6 名 - 統計學習理論

An overview of statistical learning theory. VN Vapnik - IEEE transactions on neural networks

被引用次數：36117

Top10 中唯一一篇理論層面的文章，出自 Vapnik 之手。他最有影響力的成果是支持向量機，VC 維。但機器學習理論文章，整體來說引用次數相對較少，應該與做這些方向的研究者更少，文章更少有關，大部分人還是在做某些具體的演算法。

第 7 名 - 主成分分析

Ian T. Jolliffe.Principal Component Analysis. Springer Verlag, New York, 1986.

被引用次數：35849

第 8 名 - 決策樹樹 - C4.5

J. Ross Quinlan.C4.5: Programs for Machine Learning. Morgan Kaufmann, San Francisco, CA, 1993.

被引用次數：34703

又是決策樹。決策樹簡單實用，可解釋性強，是機器學習早期的重要成果。

第 9 名 - 深度卷積神經網路

Alex Krizhevsky, Ilya Sutskever, Geoffrey E.Hinton.ImageNet Classification with Deep Convolutional Neural Networks. 2012.

被引用次數：34574

代表了深度學習這一山頭。深度卷積神經網路的開山之作，將嚴樂村的卷積神經網路發揚光大。這篇 2012 年才發表的文章能有如此的引用次數實屬不易，剛釀造出來的酒就是名酒，出自 Hinton 之手這也不奇怪。如此的被引用次數是當前炙手可熱的深度學習造就的。同樣的，沒有複雜的公式和理論，但卻出奇的好用。

第 10 名 - 支持向量機

Cortes, C. and Vapnik, V.Support vector networks. Machine Learning, 20, 273-297, 1995.

被引用次數：33540

代表了線性模型、核技巧的山頭，這是 SVM 正式的原文。支持向量機才排到第 10 位讓人有些奇怪，它可是在機器學習的江湖中風光了近 20 年的演算法，當年言必稱 SVM。

總結這 top10 的文獻可以看出，簡單才是美。這些文獻提出的演算法沒有複雜的數學公式和晦澀難解的理論，但確實最經典的，因為有用！它們體現的是更深層次的哲學思想。其實在其他科學領域也是如此，數學領域中最經典的一些定理和公式也是非常的優美而簡潔，類似的還有物理。在 top10 中，Breiman 和 Vapnik 兩次上榜。

引用次數超過 2 萬的文獻

除了 top10 之外，還有一些被引用次數超過 2 萬的文章 ，也堪稱經典。

Lawrence R. Rabiner.A tutorial on Hidden Markov Models and selected applications in speech recognition. Proceedings of the IEEE. 77 (2): 257–286. 1989.

被引用次數：26466

代表了概率圖模型這一山頭。終於見到了概率圖模型，過去幾十年中，引用最廣的概率圖模型當屬隱馬爾可夫模型（HMM）。這篇文章不是 HMM 的原文，但卻寫成了經典，對 HMM 的原理，在語音識別中的建模方法講解得清晰透徹。

MacQueen, J. B.Some Methods for classification and Analysis of Multivariate Observations. Proceedings of 5th Berkeley Symposium on Mathematical Statistics and Probability. 1. University of California Press. pp. 281–297, 1967

被引用次數：24035

代表了聚類演算法的山頭。k 均值演算法的開山之作，它也在各種排名中都被稱為機器學習 10 大經典演算法，同樣是簡單而易於理解，我相信中學生都能看懂它！

J. Ross Quinlan.Induction of decision trees. Machine Learning, 1(1): 81-106, 1986.

被引用次數：20359

介紹決策樹的文獻，不過多解釋，地位擺在這裡。Quinlan 也是決策樹的一大山頭。

引用次數超過 1 萬的文獻

Roweis, Sam T and Saul, Lawrence K.Nonlinear dimensionality reduction by locally linear embedding.Science, 290(5500). 2000: 2323-2326.

被引用次數：12941

Tenenbaum, Joshua B and De Silva, Vin and Langford, John C. A global geometric framework for nonlinear dimensionality reduction. Science, 290(5500). 2000: 2319-2323.

被引用次數：11927

流形學習的雙雄，兩篇代表作，開這一領域之先河。流形學習是當年非常熱門的方向。這兩篇文章都發在 Science 上，要知道，計算機科學的論文發 Science 和 Nature 是非常難的。在 SIGAI 之前的公眾號文章 「流形學習概述」 中對這類演算法進行了介紹。

Ronald A. Fisher.The use of multiple measurements in taxonomic problems. Annals of Eugenics, 7 Part 2: 179-188, 1936.

被引用次數：15379

線性判別分析的原文，1936 年就已經發表了，那時候二戰還沒有爆發。

Burges JC.A tutorial on support vector machines for pattern recognition. Bell Laboratories, Lucent Technologies, 1997.

被引用次數：19885

介紹支持向量機在模式中應用的文章，SVM 當年真是灌水的好方向！

Yoav Freund, Robert E Schapire.A decision-theoretic generalization of on-line learning and an application to boosting. computational learning theory. 1995.

被引用次數：16431

AdaBoost 演算法的經典之作，與 SVM 並列為當年的機器學習雙雄。這是集成學習第一個有廣泛影響力的演算法，在人臉檢測等問題上取得了成功。在 SIGAI 之前的公眾號文章 「大話 AdaBoost 演算法」，「理解 AdaBoost 演算法」 中對它進行了詳細的介紹。

Lafferty, J., McCallum, A., Pereira, F.Conditional random fields: Probabilistic models for segmenting and labeling sequence data. Proc. 18th International Conf. on Machine Learning. Morgan Kaufmann. pp. 282–289. 2001.

被引用次數：11978

條件隨機場的經典之作，這種方法在自然語言處理，圖像分割等問題上得到了成功的應用，如今還被與循環神經網路整合在一起，解決自然語言處理等領域中的一些重點問題。

David E. Rumelhart, Geoffrey E. Hinton, and Ronald J. Williams.Learning internal representations by back-propagating errors. Nature, 323(99): 533-536, 1986.

被引用次數：16610

嚴格意義上的反向傳播演算法的原文，發在 Nature 上，重要性就不解釋了。現在的深度學習還是使用它。Hinton 的名字再一次出現。在 SIGAI 之前的公眾號文章 「反向傳播演算法推導 - 全連接神經網路」，「反向傳播演算法推導 - 卷積神經網路」 中進行了詳細的講解。

Hornik, K., Stinchcombe, M., and White, H.Multilayer feedforward networks are universal approximators. Neural Networks, 2, 359-366, 1989.

被引用次數：16394

神經網路的理論文章，著名的萬能逼近定理，從理論上證明了至少有 1 個隱含層的神經網路尅逼近閉區間上任意連續函數到任意指定精度，為神經網路和深度學習提供了強有力的理論保障。

Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner.Gradient-based learning applied to document recognition. Proceedings of the IEEE, november 1998.

被引用次數：16339

LeNet 網路的原文，被引用次數比嚴樂村同志在 1989 年，1990 年提出卷積神經網路的論文還多。也讓嚴樂村得到了卷積神經網路之父的稱號。

Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich,Going Deeper with Convolutions, Arxiv

被引用次數：11268

GoogLeNet 網路的原文，做深度學習的同學都知道。發表於 2015 年的文章能有如此的引用次數，當然得利於深度學習的火爆。

K. Simonyan and A. Zisserman.Very Deep Convolutional Networks for Large-Scale Image Recognition. international conference on learning representations. 2015.

被引用次數：18980

VGG 網路的原文，經典的卷積網路結構，被用在各個地方，引用次數比 GoogLeNet 多不少。

Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun.Deep Residual Learning for Image Recognition. computer vision and pattern recognition, 2015.

被引用次數：17285

殘差網路的原文，做深度學習的同學都知道，終於有中國人名字上榜，加油！

S. Hochreiter, J. Schmidhuber.Long short-term memory. Neural computation, 9(8): 1735-1780, 1997.

被引用次數：15448

LSTM 的原文，讓循環神經網路真正走向了實用。作者在深度學習領域做出了重要的貢獻，但卻非常低調，以至於很多人都不知道。

Martin Ester, Hanspeter Kriegel, Jorg Sander, Xu Xiaowei.A density-based algorithm for discovering clusters in large spatial databases with noise. Proceedings of the Second International Conference on Knowledge Discovery and Data Mining, pp. 226–231, 1996.

被引用次數：13817

又是聚類演算法，著名的 DBSCAN - 基於密度的聚類演算法的典型代表。這演算法也非常簡單，但也非常強大，沒有一個超過中學數學範圍之外的公式。在 SIGAI 之前的公眾號文章 「聚類演算法概述」 中對它進行了介紹。

Dorin Comaniciu, Peter Meer.Mean shift: a robust approach toward feature space analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002.

被引用次數：12146

大名鼎鼎的 mean shift 演算法，同樣是及其簡潔優美，但非常好用。做機器學習，機器視覺的同學肯定都知道，尤其是做視覺領域中目標跟蹤演算法的。

未來可能有潛力的文獻

下面這些文章的被引用次數目前還沒有超過 1 萬，但它們都還很年輕，未來很有前途，因此單獨列出。需要強調的是有幾篇強化學習的文章雖然是 1990 年代發表的，但我們也列出來了，它們會隨著深度學習研究的進展而逐漸體現出更重要的價值。

Goodfellow Ian, Pouget-Abadie J, Mirza M, et al.Generative adversarial nets. Advances in Neural Information Processing Systems, 2672-2680, 2014.

被引用次數：6902

生成對抗網路的開山之作，代表了深度生成模型這一山頭。生成對抗網路的思想簡單而優美，而且有效，出現了大量改進演算法和各種應用。變分自動編碼器（VAE）是僅次於 GAN 的深度生成模型，但其原文的被引用次數遠不及 GAN。

Richard Sutton.Learning to predict by the methods of temporal differences. Machine Learning. 3 (1): 9-44.1988.

被引用次數：5108

時序差分演算法的開山之作，地位就不多解釋了。

Mnih, Volodymyr, et al.Human-level control through deep reinforcement learning. Nature. 518 (7540): 529-533, 2015.

被引用次數：4570

深度強化學習的重量級作品，出自 DeepMind 公司之手。第一篇文章發表於 2013 年，引用次數遠不及這篇，這篇可是發在 Nature 上，開創了 DQN 演算法。

David Silver, et al.Mastering the Game of Go with Deep Neural Networks and Tree Search. Nature, 2016.

被引用次數：4123

AlphaGo 的原文，就不解釋了，地球人都知道。

Christopher JCH Watkins and Peter Dayan.Q-learning. Machine learning, 8(3-4):279–292, 1992.

被引用次數：8308

Q 學習的原文，奠定了這一演算法的基礎，也是 DQN 的基礎。

本文列出的演算法在《機器學習與應用》（清華大學出版社出版 雷明著）一書中均有詳細的講解。

【加入社群】

新智元AI技術 產業社群招募中，歡迎對AI技術 產業落地感興趣的同學，加小助手微信號：aiera2015_2入群;通過審核後我們將邀請進群，加入社群後務必修改群備註（姓名 - 公司 - 職位;專業群審核較嚴，敬請諒解）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！