ICLR 2018 最佳論文公布：Adam 的收斂性，球面 CNN， 連續適應獲獎

雷鋒網 AI 科技評論按：ICLR 2018 （International Conference on Learning Representations）於去年 10 月截至投稿後，論文評審已於今年 1 月結束，接收名單可以在 openreview.net 上查詢到。3 篇最佳論文的名單今天也於今天公布了。

此屆 ICLR 共收到 935 篇論文投稿，337 篇被接受為會議論文，接受率為 36%；其中 23 篇為 oral（口頭報告論文）、314 篇為 poster（海報展示論文）；另外還有 90 篇 workshop 論文。

作為人工智慧領域最年輕的會議，ICLR 的成長速度可以說是飛快。ICLR 在 2013 年才舉辦了第一屆，以「表徵學習以及在視覺、語音、音頻及 NLP 領域的作用」這一重要且熱門的課題為主旨，借著 OpenReview 評審機制以及 Yoshua Bengio 和 Yann LeCun 兩人的鼎力支持，到 2017 年舉辦第五屆時已經得到了學術研究者們的廣泛認可，被看作為「深度學習的頂級會議」。

在人工智慧持續火熱的背景下，ICLR 的投稿數量也依然在迅猛增長，ICLR 2015、2016、2017 收到的投稿分別為 143 篇、超過 265 篇、490 篇，今年 ICLR 2018 繼續翻倍到了 935 篇。華盛頓大學計算機系教授 Pedro Domingos 都在推特上開玩笑說：「這已經成了深度學習界的摩爾定律了，ICLR 的投稿數目每年都要翻一倍。」

ICLR 2018 共評選出三篇最佳論文。

《On the Convergence of Adam and Beyond》

• 關於 Adam 等演算法的收斂性的研究

• 作者：Sashank J. Reddi，Satyen Kale，Sanjiv Kumar ( 谷歌紐約 )

• 地址：https://openreview.net/forum?id=ryQu7f-RZ

• 摘要：近期人們提出了許多種隨機優化方法，RMSProp、Adam、Adadelta、Nadam 等方法都是以之前步驟中的梯度平方的指數移動平均值的平方根為比例對梯度更新做縮放，然後成功應用在了深度神經網路的訓練中。然而在許多應用中，比如具有很大輸出空間的學習任務中，研究人員們都已經實證地觀察到了這些演算法無法收斂到一個最優解（或者無法在非凸場景下收斂到一個極值點）。在這篇論文中，作者們證明了演算法出現這些問題的原因之一就是其中使用的指數移動平均值。作者們設置了一個簡單的凸優化場景作為例子，其中 Adam 無法收斂到最優解，然後結合以往對 Adam 演算法的分析詳細描述了這個問題。作者們經過分析後認為，如果給這些演算法增加對之前步驟中的梯度的「長期記憶」，就可以解決這個收斂性問題。作者們也一併提出了新的 Adam 演算法變體，它不僅解決了收斂性問題，而且也可以在許多任務中提高實證表現。

《Spherical CNNs》

• 球面卷積神經網路

• 作者：（三位並列一作）Taco S. Cohen ( 阿姆斯特丹大學 )，Mario Geiger ( 瑞士聯邦理工學院 )，Jonas K?hler ( 阿姆斯特丹大學 )，Max Welling ( 阿姆斯特丹大學 & CIFAR )

• 地址：https://openreview.net/forum?id=Hkbd5xZRb

• 摘要：對於涉及到 2D 平面圖像的學習問題，卷積神經網路（CNN）已經成為了默認選擇的方法。不過最近也有一些研究課題對於能夠處理球面圖像的模型產生了需求，比如無人機、機器人、自動駕駛汽車的全方位視覺問題，分子回歸問題，以及地球的天氣和氣候建模問題。簡單地把球面分布的信號投影到平面上，然後在上面應用卷積神經網路的做法是肯定會失敗的，因為這種投影帶來的空間變化扭曲失真會讓共享變換權重不再有效。

  在這篇論文中作者們介紹了構建球面 CNN 所需的基礎理論。作者們提出了一種球面互相關的定義，它不僅有良好的表達性，而且具有旋轉不變性。這種球面相關性可以滿足一般性的 Fourier 定理，也就使得我們可以使用一般性的（非交換的）快速 Fourier 變換（FFT）演算法對其進行高效的計算。作者們也展現了把球面 CNN 用於 3D 模型識別和霧化能量回歸問題中的計算效率、數值精度以及有效性。

《Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments》

• 在非穩態和競爭性環境中通過元學習方法實現連續適應

• 作者：Maruan Al-Shedivat ( CMU )，Trapit Bansal ( 馬薩諸塞大學阿默斯特分校 )，Yura Burda、Ilya Sutskever、Igor Mordatch ( OpenAI )，Pieter Abbeel ( UC 伯克利 )

• 地址：https://openreview.net/forum?id=Sk2u1g-0-

• 摘要：達成通用智能的其中一個重要里程碑，是掌握在非穩態環境中根據有限的經驗連續學習和適應的能力。在這篇論文中，作者們把持續適應的問題放在了「學習如何學習」（learning-to-learn）框架中進行研究。作者們開發了一個簡單的基於梯度的元學習演算法，它適用於在動態變化以及對抗性的場景中進行適應。除此之外，作者們還設計了一個新的多智能體競爭環境 RoboSumo，並且定義了多種迭代適應遊戲，用於測試連續適應的各個方面。作者們表明，基於元學習的方法要比基於小樣本學習思路設計的響應式基準模型的適應效率高得多。作者們對大批智能體進行的一系列學習、競爭實驗結果也顯現出基於元學習的學習者是適應能力最強的。

ICLR 2017 的三篇最佳論文如下，雷鋒網 AI 科技評論也編譯了其中兩篇的作者現場演講，感興趣的讀者可以點擊鏈接回顧。

• 《用半監督知識遷移解決深度學習中訓練隱私數據的問題》（Semi-supervised Knowledge Transfer for Deep Learning from Private Training Data），演講者/論文一作：Nicolas Papernot

• 《通過遞歸實現神經編程架構通用化》（Making Neural Programming Architectures Generalize via Recursion）

• 《泛化——一個理解深度學習需要重新思考的問題》（Understanding deep learning requires rethinking generalization），演講者/論文一作：張馳原

ICLR 2018 正會將於 4 月 30 日到 5 月 3 日在加拿大溫哥華舉行，到時雷鋒網 AI 科技評論也將繼續帶來即時報道。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！