谷歌用1.2萬個模型「推翻」現有無監督研究成果！斬獲ICML 2019最佳論文
作者 | 夕顏、Just
出品 | AI科技大本營(ID:rgznai100)
6 月 11 日，在美國加州長灘舉行的 ICML 公布了 2019 年最佳論文獎，來自蘇黎世聯邦理工大學、谷歌大腦等的團隊和英國劍橋大學團隊摘得最佳論文獎項，此外，大會還公布了 7 篇獲最佳論文提名的論文，獲獎團隊來自 DeepMind、牛津、MIT 等。據統計，此次大會共收到 3424 篇提交論文，深度學習、通用機器學習、強化學習、優化是提交最多的子領域，但最終錄取的論文僅有 774 篇，谷歌更是成為被接受論文最多的霸主。
首先，我們來揭曉本屆 ICML 兩篇最佳論文：
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
Rates of Convergence for Sparse Variational Gaussian Process Regression
最佳論文簡介
論文標題：挑戰無監督學習解耦表示中的常見假設
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
團隊：來自蘇黎世聯邦理工學院(ETH Zurich)、MaxPlanck 智能系統研究所及谷歌大腦；
作者：Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar R?tsch, Sylvain Gelly, Bernhard Sch?lkopf, Olivier Bachem
論文地址：http://proceedings.mlr.press/v97/locatello19a/locatello19a.pdf
論文摘要：
無監督學習解耦表示背後的關鍵思想是，真實世界是由一小部分可解釋的變數因子生成，這些因子可以通過無監督學習演算法進行恢復。在這篇論文中，我們提出對這一領域最新進展有了清醒認知，並且挑戰了某些常見假設。
首先，我們從理論上表明，如果沒有對模型和數據的歸納偏差，無監督學習解耦表示基本不可能存在；其次，在七種不同的數據集中，我們以一種可重複的大規模實驗研究中訓練了超 12000 個模型，使用了最重要的方法和評估指標。我們觀察到，儘管用不同的方法成功的促進了相應損失「鼓勵」屬性，但如果沒有監督，則很難識別出好的解耦模型。
此外，增加解耦似乎不會降低下游任務學習樣本的複雜性。我們的結果表明，解耦學習的未來研究工作應該明確歸納偏見和（隱式）監督的作用，研究該強制解耦學習表示的具體好處，並且考慮有多種數據集的可重複的實驗設置。
2. 論文標題：稀疏高斯過程回歸變分的收斂速度
Rates of Convergence for Sparse Variational Gaussian Process Regression
團隊：英國劍橋大學、機器學習平台 Prowler.io
作者：David R. Burt，Carl E. Rasmussen，Mark van der Wilk
論文地址：https://arxiv.org/pdf/1903.03571.pdf
論文摘要
對高斯過程後驗（Gaussian process posteriors）的優秀變數近似法的提出避免了數據集大小為N時 O(N3) 的縮放。它們將計算成本減少到了 O （NM2），其中 M≤N 是誘導變數的數量，其總結了這一過程。
儘管雖然 N 的計算成本似乎是線性的，但演算法的真實複雜性取決於 M 如何增加以確保近似質量。我們通過表徵 KL 散度（KL divergence）向後驗的上限行為來解決這個問題。我們證明了在高概率下，M 的增長速度比 N 慢，可以使 KL 的散度任意地減小。
一個特別有意思的例子是，對於具有 D 維度的正態分布輸入的回歸，使用流行的 Squared Exponential 核 M=O(logD N)就足夠了。 我們的研究結果表明，隨著數據集的增長，高斯過程後驗可以近似地逼近，並為如何在連續學習場景中增加M提供了具體的規則。
7 篇最佳論文提名
Analogies Explained: Towards Understanding Word Embeddings
作者：CarlAllen1，Timothy Hospedales，來自愛丁堡大學。
論文地址：https://arxiv.org/pdf/1901.09813.pdf
SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver
作者：Po-WeiWang1，Priya L. Donti1，Bryan Wilder，Zico Kolter，分別來自卡耐基梅隆大學、南加州大學、Bosch Center for Artificial Intelligence。
論文地址：https://arxiv.org/pdf/1905.12149.pdf
A Tail-Index Analysis of Stochastic Gradient Noise in Deep Neural Networks
作者：Umut ?im?ekli，Levent Sagun, Mert Gürbüzbalaban，分別來自巴黎薩克雷大學、洛桑埃爾科爾理工大學、羅格斯大學。
論文地址：https://arxiv.org/pdf/1901.06053.pdf
Towards A Unified Analysis of Random Fourier Features
作者：Zhu Li，Jean-Fran?ois Ton，Dino Oglic，Dino Sejdinovic，分別來自牛津大學、倫敦國王學院。
論文地址：https://arxiv.org/pdf/1806.09178.pdf
Amortized Monte Carlo Integration
作者：Adam Golinski，Yee Whye Teh，Frank Wood，Tom Rainforth，分別來自牛津大學和英屬哥倫比亞大學。
論文地址：http://www.gatsby.ucl.ac.uk/~balaji/udl-camera-ready/UDL-12.pdf
Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning
作者：Natasha Jaques, Angeliki Lazaridou, Edward Hughes, Caglar Gulcehre, Pedro A. Ortega, DJ Strouse, Joel Z. Leibo, Nando de Freitas，分別來自MIT媒體實驗室、DeepMind和普林斯頓大學。
論文地址：https://arxiv.org/pdf/1810.08647.pdf
Stochastic Beams and Where to Find Them: The Gumbel-Top-k Trick for Sampling Sequences Without Replacement
作者：Wouter Kool, Herke van Hoof, Max Welling，分別來自荷蘭阿姆斯特丹大學，荷蘭ORTEC 和加拿大高等研究所(CIFAR)。
論文地址：https://arxiv.org/pdf/1903.06059.pdf
論文統計
早在一個月前，Reddit上便有網友根據 ICML 2019 大會官網公布的接收論文情況進行統計（ https://icml.cc/Conferences/2019/Schedule?type=Poster），總結了這次大會接收論文最多的機構、貢獻最多的作者等。
貢獻最多的機構：谷歌、麻省理工、加州大學伯克利分校
統計結果顯示， ICML 2019 接收論文最多的機構前三甲分別為谷歌（ 80 多篇）、麻省理工學院（40 多篇）以及加利福尼亞伯克利大學（40 多篇）。
此外，國內的清華、北大也榜上有名，分別位列 18 和 34 名，騰訊位列 42 名，而阿里巴巴在 Top100 更靠後一點。
按照學術和工業劃分，接收論文數量最多的機構分別為：
學術：麻省理工大學、伯克利大學、斯坦福大學
工業：谷歌、谷歌大腦、微軟
學術和工業論文的統計情況：
452 篇論文（58.4％）純屬學術研究；
60 篇論文（7.8％）純粹來自工業研究機構；
262 篇論文（33.9％）與作者隸屬於學術界和工業界。
貢獻最多作者：機器學習大牛 Michael Jordan
此外，ICML 2019 論文貢獻最多的作者當屬加州大學伯克利分校的機器學習大牛學習 Michael Jordan，被接收論文有 7 篇。其次是 EPFL（洛桑聯邦理工學院）教授 Sergey Levin、加州大學伯克利分校的 Volkan Cevher 和 Peter Barlett。不得不說，加州大學伯克利分校真是人才輩出。
同時，我們還在這份榜單上看到了國內清華大學計算機科學與技術系的教授朱軍、微軟亞洲研究院的劉鐵岩、清華大學軟體學院的龍明盛等華人的身影。
據了解，今年 ICML 共提交 3424 篇論文，其中錄取 774 篇，論文錄取率為 22.6%。錄取率較去年 ICML 2018 的 25% 有所降低。事實上，這與其他頂級會議的論文錄取情況十分相似，比如計算機視覺領域頂會 CVPR 2019 的錄取率接近 25.2%，比去年的 29% 相比也有所下降。可以看出，近年來人工智慧頂級會議的熱度雖不減，但錄取困難程度在不斷提升。
關於今年的獲獎和提名論文，大家認為公正嗎？對於論文研究成果你有什麼看法？歡迎在留言區討論。
TAG:AI科技大本營 |