「ICLR 2018錄用結果出爐」23篇oral乾貨，強化學習等最受關注

【新智元導讀】素有深度學習頂會「無冕之王」之稱的ICLR 2018今天公布了錄用結果。今年ICLR共接收981篇投稿，相較去年490篇多了一倍有餘，錄用結果如下：2.3% 錄用為 oral 論文（23篇）、31.4% 錄用為 poster 論文（314篇）、9% 被接收為 workshop track（90篇），51% 論文被拒（508篇）、6.2% 撤回（63篇）。

接收論文列表：https://openreview.net/group?id=ICLR.cc/2018/Conference

Oral Papers：23篇

1、AmbientGAN: Generative models from lossy measurements

（AmbientGAN：來自有損測量的生成模型）

作者：Ashish Bora, Eric Price, Alexandros G. Dimakis（德州大學）

論文地址：https://openreview.net/forum?id=Hy7fDog0b

評分：7.33

簡介：如何從嘈雜、扭曲、局部的觀察中學習GAN；

關鍵詞：生成模型，對抗網路，有損測量

2、Beyond Word Importance: Contextual Decomposition to Extract Interactions from LSTMs

作者：W. James Murdoch, Peter J. Liu, Bin Yu（伯克利大學、谷歌）

論文地址：https://openreview.net/forum?id=rkRwGg-0Z

評分：5.56

簡介：這篇論文引入了「語境分解」，一種LSTM解釋演算法，能夠提取單詞、短語和交互級別的重要性分數。

關鍵詞：可解釋性，LSTM，自然語言處理，情感分析，交互

3、Zero-Shot Visual Imitation

作者：Deepak Pathak, Parsa Mahmoudieh, Michael Luo, Pulkit Agrawal, Dian Chen, Fred Shentu, Evan Shelhamer, Jitendra Malik, Alexei A. Efros, Trevor Darrell（伯克利大學）

論文地址：https://openreview.net/forum?id=BkisuzWRW

評分：6.91

簡介：智能體在訓練時在沒有任何形式的監督的情況下從自己的經驗學習，並在測試時學習模仿單純的視覺演示（沒有動作）。

關鍵詞：模仿，zero shot，自我監督，機器人，技能，導航，操縱

4、Variance Reduction for Policy Gradient with Action-Dependent Factorized Baselines

作者：Cathy Wu, Aravind Rajeswaran, Yan Duan, Vikash Kumar, Alexandre M Bayen, Sham Kakade, Igor Mordatch, Pieter Abbeel（伯克利大學、華盛頓大學）

論文地址：https://openreview.net/forum?id=H1tSsb-AW

評分：6.91

簡介：依賴於動作的基線可以是無偏倚的，並且可以產生比策略梯度方法的只依賴於狀態基線更大的方差縮減。

關鍵詞：強化學習，策略梯度，方差縮減，基線，控制變數

5、Progressive Growing of GANs for Improved Quality, Stability, and Variation

作者：Tero Karras, Timo Aila, Samuli Laine, Jaakko Lehtinen（英偉達）

論文地址：https://openreview.net/forum?id=Hk99zCeAb

評分：5.67

簡介：該研究以漸進的方式訓練生成對抗網路，從而能夠生成高質量的高解析度圖像。

關鍵詞：生成對抗網路，無監督學習，層級方法

6、Neural Sketch Learning for Conditional Program Generation

作者：Vijayaraghavan Murali, Letao Qi, Swarat Chaudhuri, Chris Jermaine（萊斯大學）

論文地址：https://openreview.net/forum?id=HkfXMz-Ab

評分：7.44

簡介：這篇文章提出一種用類似Java語言生成類型安全程序的方法，只需給出少量關於所需代碼的語法信息。

關鍵詞：程序生成，源代碼，程序綜合，深度生成模型

7、Boosting Dilated Convolutional Networks with Mixed Tensor Decompositions

作者：Nadav Cohen, Ronen Tamari, Amnon Shashua

論文地址：https://openreview.net/forum?id=S1JHhv6TW

評分：8.00

簡介：引入混合張量分解的概念，並用它證明相互連接的擴張的卷積網路提升了它們的表達能力。

關鍵詞：深度學習，表現效率，擴張卷積，張量分解

8、Continuous Adaptation via Meta-Learning in Nonstationary and Competitive Environments

作者：Maruan Al-Shedivat, Trapit Bansal, Yura Burda, Ilya Sutskever, Igor Mordatch, Pieter Abbeel（CMU、UMASS、OpenAI、berkeley）

論文地址：https://openreview.net/forum?id=Sk2u1g-0-

評分：7.80

簡介：將持續適應問題轉換為learning-to learn框架，開發了一個簡單的基於梯度的meta-learning演算法，適應動態變化和對抗情況。

關鍵詞：強化學習，非平穩性，meta-learning，遷移學習，多智能體

9、Breaking the Softmax Bottleneck: A High-Rank RNN Language Model

作者：Zhilin Yang, Zihang Dai, Ruslan Salakhutdinov, William W. Cohen（CMU）

論文地址：https://openreview.net/forum?id=HkwZSG-CZ

評分：6.31

簡介：將語言建模作為一個矩陣分解問題，並表明基於Softmax的模型（包括大多數神經語言模型）的表達能力受到Softmax瓶頸的限制，提出了一個簡單而有效的方法來解決這個問題。

10、Characterizing Adversarial Subspaces Using Local Intrinsic Dimensionality

作者：Xingjun Ma, Bo Li, Yisen Wang, Sarah M. Erfani, Sudanthi Wijewickrema, Grant Schoenebeck, Michael E. Houle, Dawn Song, James Bailey（墨爾本大學）

論文地址：https://openreview.net/forum?id=B1gJ1L2aW

評分：7.25

簡介：我們通過使用局部本質維數（LID）描述對抗樣本中對抗子空間的維度屬性，並且證明這些特徵可以有效地區分對抗樣本。

關鍵詞：對抗子空間，局部本質維數，對抗防禦，深度神經網路

11、Learning to Represent Programs with Graphs

作者：Miltiadis Allamanis, Marc Brockschmidt, Mahmoud Khademi（微軟、SFU）

論文地址：https://openreview.net/forum?id=BJOFETxR-

評分：8.00

簡介：程序具有可以表示為圖形的結構，圖神經網路可以學習在這些圖形上發現bug

關鍵詞：程序，源代碼，圖神經網路

12、Spectral Normalization for Generative Adversarial Networks

作者：Takeru Miyato, Toshiki Kataoka, Masanori Koyama, Yuichi Yoshida

論文地址：https://openreview.net/forum?id=B1QRgziT-

評分：7.33

簡介：我們提出一種稱為spectral normalization的新的權重歸一化技術，以穩定GAN鑒別器的訓練。

關鍵詞：生成對抗網路，深度生成模型，無監督學習

13、Wasserstein Auto-Encoders

作者：Ilya Tolstikhin, Olivier Bousquet, Sylvain Gelly, Bernhard Schoelkopf

論文地址：https://openreview.net/forum?id=HkL7n1-0b

評分：8.00

簡介：我們提出了一種基於Wasserstein距離的自動編碼器，改進了VAE的採樣性能。

關鍵詞：自動編碼器，生成模型，GAN，VAE，無監督學習

14、Deep Mean Field Games for Learning Optimal Behavior Policy of Large Populations

作者：Jiachen Yang, Xiaojing Ye, Rakshit Trivedi, Huan Xu, Hongyuan Zha

論文地址：https://openreview.net/forum?id=HktK4BeCZ

評分：8.50

簡介：通過MFG和馬爾可夫決策過程的綜合推斷大型群體行為的MFG模型。

關鍵詞：平均場博弈，強化學習，馬爾可夫決策過程，逆強化學習，深度學習，逆向最優控制，計算社會科學，群集建模

15、Certifiable Distributional Robustness with Principled Adversarial Training

作者：Aman Sinha, Hongseok Namkoong, John Duchi（斯坦福大學）

論文地址：https://openreview.net/forum?id=Hk6kPgZA-

評分：9.00

簡介：本文提出一個快速、基於規則的對抗訓練程序，具有計算和統計上的性能保證。

關鍵詞：對抗訓練，分散式魯棒優化，深度學習，優化，學習理論

16、On the insufficiency of existing momentum schemes for Stochastic Optimization

作者：Rahul Kidambi, Praneeth Netrapalli, Prateek Jain, Sham M. Kakade

論文地址：https://openreview.net/forum?id=rJTutzbA-

評分：6.14

簡介：現有的動量/加速方法，如胖球法（heavy ball method）和Nesterov加速梯度法不能改善隨機梯度下降，尤其是在使用小的batch size時。

關鍵詞：隨機梯度下降，深度學習，動量，加速，heavy ball，Nesterov加速，隨機優化，SGD，加速隨機梯度下降

17、Ask the Right Questions: Active Question Reformulation with Reinforcement Learning

作者：Christian Buck, Jannis Bulian, Massimiliano Ciaramita, Wojciech Gajewski, Andrea Gesmundo, Neil Houlsby, Wei Wang.（谷歌）

論文地址：https://openreview.net/forum?id=S1CChZ-CZ

評分：5.83

簡介：我們提出一個位於用戶和黑箱問答系統之間的智能體，它學習重新構造問題以引出最好的答案。

關鍵詞：機器翻譯，轉述，問答，強化學習，智能體

18、Spherical CNNs

作者：Taco S. Cohen, Mario Geiger, Jonas K?hler, Max Welling

論文地址：https://openreview.net/forum?id=Hkbd5xZRb

評分：7.57

簡介：我們提出Spherical CNN，並將其應用於3D模型識別和分子能量回歸。

關鍵詞：深度學習，同變性，卷積，3D，視覺，形狀識別

19、Emergence of Linguistic Communication from Referential Games with Symbolic and Pixel Input

作者：Angeliki Lazaridou, Karl Moritz Hermann, Karl Tuyls, Stephen Clark

論文地址：https://openreview.net/forum?id=HJGv1Z-AW

評分：6.85

簡介：對應急通信協議中環境對性質的作用進行了對照研究。

關鍵詞：解纏，通信，應急語言，合成，多代理

20、Training and Inference with Integers in Deep Neural Networks

作者：Shuang Wu, Guoqi Li, Luping Shi, Feng Chen（清華大學）

論文地址：https://openreview.net/forum?id=HJGXzmspb

評分：6.27

簡介：我們在DNN中僅使用低位整數進行訓練和推理

關鍵詞：量化，訓練，bitwidth，三元權重

21、Multi-Scale Dense Networks for Resource Efficient Image Classification

作者：Gao Huang, Danlu Chen, Tianhong Li, Felix Wu, Laurens van der Maaten, Kilian Weinberger（康奈爾大學、清華大學）

論文地址：https://openreview.net/forum?id=Hk2aImxAb

評分：8.33

簡介：本文調查了圖像分類與測試時間的計算資源限制。

關鍵詞：高效學習，預算學習，深度學習，圖像分類，卷積網路

22、Synthetic and Natural Noise Both Break Neural Machine Translation

作者：Yonatan Belinkov, Yonatan Bisk

論文地址：https://openreview.net/forum?id=BJ8vJebC-

評分：7.33

簡介：NMT模型相當脆弱，容易受到噪音數據影響。本文用合成和自然的噪音作為NMT模型的對抗樣本，探索提高模型魯棒性的方法。

關鍵詞：神經機器翻譯，特徵，雜訊，對抗樣本，穩健訓練

23、On the Convergence of Adam and Beyond

作者：Sashank J. Reddi, Satyen Kale, Sanjiv Kumar（谷歌）

論文地址：https://openreview.net/forum?id=ryQu7f-RZ

評分：8.56

簡介：我們研究了Adam，RMSProp等流行優化演算法的收斂性，並提出了這些方法的新變體。

關鍵詞：優化，深度學習，Adam，RMSProp

ICLR 2018將於4 月 30 日~ 5 月 3 日在加拿大溫哥華舉行，新智元將持續帶來論文解讀和大會現場報道，敬請關注！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！