想了解「機器學習之美」？他們推薦了這些論文

來源：Reddit

編譯：Bing

近日，有人在Reddit上提問：如果想向某人推薦一篇能表現機器學習之美的論文，你會選哪篇？這一話題引發了大家激烈的討論。論智就討論結果進行總結，對推薦論文做簡單介紹。

InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets（2016）

關鍵詞：GAN；InfoGAN

這篇是排名第一的推薦論文，推薦者svaisakh說：「InfoGAN是第一篇帶我走進無監督學習的論文。其中只有純粹的原始數據，模型從中學習抽象的概念，例如』旋轉』、』寬度』和』筆觸粗細（stroke-thickness）』等。

2014年，Ian Goodfellow提出了生成對抗網路（GAN），通過生成器和判別器的對抗學習，最終可以得到一個與真實數據分布一致的fake data。但是由於生成器的輸入是連續的雜訊信號，並且沒有任何約束，導致GAN無法利用這個信號，並且將其具體維度與數據的語義特徵對應起來，形成的並不是可解釋的表示。於是研究者就引入了InfoGAN。

論文摘要：這篇論文介紹了InfoGAN，它可以用完全無監督的方式學習分散的表示。InfoGAN是一個生成對抗網路，可以最大化隱變數（latent code）和觀測子集之間的交互信息。我們還得到了一個針對交互信息對象的低標準，可以更高效地進行優化。同時我們還證明了我們的訓練過程可以解釋成Wake-Sleep演算法的變體。尤其特別的是，InfoGAN成功地解開了MNIST數據集中數字的書寫風格、3D渲染圖像的光線位置以及SVHN數據集中的背景數字。它同樣還發現了視覺概念例如髮型、是否戴眼鏡、以及CelebA人臉數據集中的表情。實驗表明，InfoGAN學會的可解釋表示比當時的完全監督方法都優秀。

論文地址：arxiv.org/abs/1606.03657

A Neural Algorithm of Artistic Style（2015）

關鍵詞：神經網路；風格遷移

排名第二位的是網友ReginaldIII推薦的Gatys等人在神經網路風格遷移方面的開創性研究。他認為這項研究在使用格拉姆矩陣方面非常簡潔優雅，是了解風格遷移的必讀篇目。

論文摘要：在美術領域，人類以熟知各種將內容和風格結合的方法來創造一幅獨一無二的畫作的技巧。迄今為止，這一過程的演算法基礎還並不明確，也沒有人工系統能做到與之相似的功能。然而，其他視覺感知的領域，例如目標物體和人臉識別中，受到深度神經網路的啟發，接近人類水平的模型開始出現。在這篇論文中，研究人員講述了一種將圖像中風格和內容分開來的方法，風格可以轉移到一張新的圖片上。例如，一張普通的圖像可以轉變成梵高的風格；黑夜裡的沙灘經過風格遷移後可以變成陽光明媚的海灘。

他們使用一個預訓練的19層VGG網路作為基礎網路，假設有兩張圖像，一張負責內容，另一張負責風格。研究人員將內容圖像輸入到VGG網路，然後提取最後一層卷積層的活動，這些活動被稱作內容表示。接著將風格圖像輸入到VGG網路中，提取所有卷積層的活動。他們將每一層轉化為格拉姆矩陣表示，這些格拉姆矩陣被稱為風格表示。

接著創建一張與內容圖像的尺寸相同的新圖像，並向其中添加隨機白雜訊。再將這張圖像輸入到VGG中，得到內容和風格表示。最後利用梯度下降對新生成的圖像進行優化。

論文地址：arxiv.org/abs/1508.06576v2

A Unifying Review of Linear Gaussian Models（1998）

關鍵詞：主成分分析；因子分析；高斯模型

網友ccmlacc說道：「這是我至今最喜歡的論文！讀起來像首詩。」

論文摘要：因子分析、主成分分析、高斯聚類、向量量化、卡爾曼濾波器模型和隱藏的馬爾科夫模型都可以統一成單一生成模型下無監督學習的變體。這是通過收集許多前人的研究和觀察得到的，同時引入了一種新方法，用簡單的非線性鏈接分散和連續的狀態模型。通過使用其他非線性方法，我們證明了獨立成分分析同樣也是基礎生成模型的一種變體，我們證明了因子分析和混合高斯可以用於自動編碼器神經網路中，並且學習使用方差和回歸。我們為靜態數據引進了一種新模型，稱為感知主成分分析（SPCA），同時還有一個關於空間適應觀察雜訊的新概念。

論文地址：mlg.eng.cam.ac.uk/zoubin/papers/lds.pdf

Keeping the Neural Networks Simple by Minimizing the Description Length of the weights（1993）

關鍵詞：神經網路；權重；變分推理

這是Geoff Hinton對變分推理的再次思考，對「最小描述長度」有興趣的同學可以仔細閱讀這篇論文。

論文摘要：如果權重所含的信息比訓練時的輸出向量中的信息要少，那麼監督式的神經網路的生成效果就更好。所以在學習期間，通過懲罰所含信息量保持權重簡單是非常重要的。權重所含的信息量可以通過添加高斯雜訊控制，雜訊的水平可以在學習過程中優化預計的網路方差和權重所含信息之間的關係進行調整。我們介紹了一種方法，可以計算網路中預計方差和權重所含信息中的衍生物。假設輸出的結果是線性的，實際的衍生結果可以在沒有蒙特卡羅模擬的情況下高效地計算。

論文地址：svn.ucc.asn.au:8080/oxinabox/Uni%20Notes/honours/Background%20Reading/hinton1993keeping.pdf

Translating Neuralese（2017）

關鍵詞：NLP；機器翻譯

這是發表在ACL 2017上的論文，屬於自然語言處理方向，與智能體之間相互對話以及與人類對話有關。研究人員通過翻譯智能體之間的對話來理解這些信息，與傳統的機器翻譯不同，這項工作並沒有可比照的數據用於學習，因此研究人員假設特定情況下智能體之間的對話等同於自然語言串，然後對此進行建模。這也是讓機器語言變得更加可解釋的重要一步。

論文摘要：最近許多方法通提出學習去中心化的深度多智能體策略，在可微分的交流通道中進行合作。儘管這些策略對很多任務都是有效的，但是想了解引起這種交流的原因卻是很困難的。這裡我們提出了通過翻譯智能體間的對話理解它們。與傳統的機器翻譯問題不同，我們沒有可學習的平行數據，而是基於智能體的對話和自然語言串生成一個翻譯模型。最終證明我們的模型在語義和語法上都能被順利理解。

論文地址：arxiv.org/abs/1704.06960

Evolving Neural Networks through Augmenting Topologies（2002）

關鍵詞：神經網路；NEAT

這種機器學習方法翻譯過來稱作「通過增強拓撲的進化神經網路」。它描述了自學習機器的演算法概念，該方法受到進化過程的啟發，能夠將複雜問題分解，進而解決問題。網友BrotaroKubro表示，這篇關於NEAT演算法的論文是他最喜歡的機器學習/神經網路論文，留言獲得了許多人贊同。

論文摘要：神經進化的一個重要問題就是如何從進化神經網路拓撲中獲得優勢。我們提出了NEAT演算法，它超越了最好的固定拓撲方法，在強化學習任務中更勝一籌。效率的提高得益於三點：（1）採用不同拓撲交叉的原理方法；（2）用五種的形成保護結構的創新；（3）從最小結構中遞增。我們在一些聲稱每個元素對系統都是必要的研究上進行了測試，結果顯示學習速度更快。NEAT還對GA有很大貢獻，因為他展示了進化既可以優化解決方案，也可以使之複雜化，這使得逐代進化出更加複雜的方案成為可能，並且強化了與生物進化的類比。

論文地址：nn.cs.utexas.edu/downloads/papers/stanley.ec02.pdf

結語

除此之外，還有網友提到了一些經典論文，例如GAN的原始論文、WaveNet模型、BEGAN等。各位覺得還有哪些論文讀起來「賞心悅目」、能體現「機器學習之美」呢？請在下方留言交流吧！

討論區地址：https://www.reddit.com/r/MachineLearning/comments/8kbmyn/d_if_you_had_to_show_one_paper_to_someone_to_show/

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！