ICML 2019錄取結果出爐，Ian Goodfellow等入選論文推薦

新智元原創

編輯：肖琴

【新智元導讀】ICML 2019的錄取結果昨天已經出爐，許多投稿者在Twitter發表「中了」的消息，新智元摘選了幾篇不錯的ICML中獎論文，包括Ian Goodfellow等人的論文，一起來先睹為快吧！

昨天，ICML 2019的論文入選結果已經出爐，你的論文中了嗎？

來自Reddit的討論貼

儘管完整錄取列表尚未公開，不過已經有許多投稿者在Twitter發表「中了」的消息。

下面，新智元摘選了幾篇不錯的ICML中獎論文，一起來先睹為快吧。

5篇ICML 2019論文推薦

首先介紹來自加州大學聖地亞哥分校Yao Qin、Garrison Cottrell和前谷歌大腦Ian Goodfellow等人的論文，在這篇論文中，研究人員提出了語音識別的對抗樣本。

1、Imperceptible, Robust, and Targeted Adversarial Examples for Automatic Speech Recognition

https://arxiv.org/abs/1903.10346

作者：Yao Qin, Nicholas Carlini, Ian Goodfellow, Garrison Cottrell, Colin Raffel

對抗樣本(adversarial examples)是一種專門設計的輸入，其目的是使機器學習模型產生錯誤的輸出。

對抗樣本在圖像領域已經得到了廣泛的研究。在圖像領域中，可以通過對圖像進行細微的修改來產生對抗樣本，從而導致分類錯誤，這在物理世界中具有實用價值。

但是，目前應用於語音識別系統的有針對性的對抗樣本卻缺乏這兩種特性：人類可以很容易地識別對抗性干擾，並在通過揚聲器播放時它們並不生效。

本研究在這兩個方面都取得了進展。首先，我們利用聽覺掩碼(auditory masking)的心理聲學原理，在人類聽不到的音頻區域添加對抗擾動，開發出有效的、不易察覺的音頻對抗樣本(通過人類研究得到驗證)，同時對任意完整的句子保持100%的針對性成功率。

接下來，我們通過構造在應用於真實的模擬環境扭曲後仍然有效的擾動，從而在物理世界的無線音頻對抗樣本方面取得了進展。

2、TensorFuzz: Debugging Neural Networks with Coverage-Guided Fuzzing

https://arxiv.org/abs/1807.10875

作者：Augustus Odena, Ian Goodfellow

眾所周知，由於各種原因，機器學習模型難以調試（debug）或解釋。這造成了最近機器學習的 「可重複性危機」（reproducibility crisis）—— 對難以調試的技術做出可靠的實驗結論是很棘手的。

神經網路又特別難以 debug，因為即使是相對直接的關於神經網路的形式問題，解決的計算成本也很高，而且神經網路的軟體實現可能與理論模型有很大的差異。

在這項工作中，我們利用傳統軟體工程中的一種技術 —— 覆蓋引導模糊測試（coverage guided fuzzing，CGF），並將其應用於神經網路的測試。

具體來說，這項工作有以下貢獻：

我們對神經網路引入了 CGF 的概念，並描述了如何用快速近似最近鄰演算法（ fast approximate nearest neighbors algorithms）以通用的方式檢查覆蓋率。

我們開源了一個名為 TensorFuzz 的 CGF 軟體庫。

我們使用 TensorFuzz 在已訓練的神經網路中查找數值問題，在神經網路及其量化版本之間查找分歧，以及在字元級語言模型中查找不良行為。

圖：fuzzing 主循環的簡略描述。左：模糊測試程序圖，表示數據的 flow。右：用演算法的形式描述了模糊測試過程的主循環。

接下來介紹的論文來自羅格斯大學Han Zhang和Dimitris Metaxas，以及谷歌大腦的 Ian Goodfellow 和 Augustus Odena，在這篇論文中，他們提出「自注意力生成對抗網路」（SAGAN），將自注意力機制（self-attention mechanism）引入到卷積 GAN 中，作為卷積的補充，取得了最優的結果。

3、Self-Attention Generative Adversarial Networks

arxiv.org/abs/1805.08318

作者：Han Zhang, Ian Goodfellow, Dimitris Metaxas, Augustus Odena

在這篇論文中，我們提出自注意力生成對抗網路（ Self-Attention Generative Adversarial Network ，SAGAN）。SAGAN 允許對圖像生成任務進行注意力驅動、長相關性的建模。傳統的卷積 GAN 生成的高解析度細節僅作為在低解析度特徵圖上的空間局部點的函數。在 SAGAN 中，可以使用來自所有特徵位置的線索來生成細節。此外，鑒別器可以檢查圖像的遠端部分的高度詳細的特徵彼此一致。此外，最近的研究表明，生成器條件會影響 GAN 的性能。

利用這些發現，我們將譜歸一化到 GAN 生成器中，並發現這改進了訓練動態。我們提出的 SAGAN 達到了最優的結果，將 Inception score 從當前最高的 36.8 提高到 52.52，並且在具有挑戰性的 ImageNet 數據集上將 Frechet Inception distance 從 27.62 降低到 18.65。注意力層的可視化表明，生成器利用與對象形狀相對應的鄰域，而不是固定形狀的局部區域。

接下來推薦的論文來自東京大學的Kenta Oono和Taiji Suzuki，這篇論文有41頁，對於會議論文來說確實有點長。

4、Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks

arxiv.org/abs/1903.10047

作者：Kenta Oono, Taiji Suzuki

卷積神經網路(CNNs)在多個函數類中均能達到最優逼近和估計誤差率(在minimax意義上)。然而，由於包括Holder類在內的重要函數類的稀疏約束，以往分析的最優CNN的範圍過於廣泛，難以通過優化獲得。

我們證明了一個ResNet類型的CNN可以在更合理的情況下在這些類別中獲得minimax最優錯誤率——它可以是密集的，它的寬度、通道大小和過濾器大小相對於樣本大小是恆定的。

其核心思想是，只要神經網路具有 extit結構，我們就可以通過定製的CNN來複制全連接神經網路(FNN)的學習能力。從某種意義上說，我們的理論是通用的，我們可以自動地將block-sparse FNN所實現的任何近似率轉換成CNN的近似率。作為應用，我們使用相同策略推導出針對Barron類和H?lder類的CNN的近似誤差和估計誤差。

5、Imitation Learning from Imperfect Demonstration

https://arxiv.org/abs/1901.09387

作者：Yueh-Hua Wu, Nontawat Charoenphakdee, Han Bao, Voot Tangkaratt, Masashi Sugiyama

模仿學習(Imitation learning, IL)的目的是通過演示學習最優策略。然而，由於收集最優示例的成本很高，因此此類演示通常並不完美。為了有效地從不完美的演示中學習，我們提出了一種新的方法，利用置信評分(confidence scores)來描述演示的質量。更具體地說，我們提出了兩種基於confidence的IL方法，即兩步的重要性加權IL (2IWIL)和具有不完美演示和置信度的生成對抗性IL (IC-GAIL)。我們證明了，僅給出一小部分次優演示的置信度得分在理論上和經驗上都顯著提高了 IL 的性能。

更多ICML 2019錄取論文

1、Heterogeneous Model Reuse via Optimizing Multiparty Multiclass Margin

作者：吳西竹，周志華，柳松

2、Importance Sampling Policy Evaluation with an Estimated Behavior Policy

arxiv.org/abs/1806.01347

作者：Josiah Hanna, Scott Niekum, Peter Stone

3、Extrapolating Beyond Suboptimal Demonstrations via Inverse Reinforcement Learning from Observations

arxiv.org/abs/1904.06387

作者：Daniel S. Brown, Wonjoon Goo, Prabhat Nagarajan, Scott Niekum

4、Global Convergence of Block Coordinate Descent in Deep Learning

arxiv.org/abs/1803.00225

作者：Jinshan Zeng, Tim Tsz-Kit Lau, Shaobo Lin, Yuan Yao

5、Learn-to-Grow for addressing Catastrophic Forgetting in Continual Machine Learning

https://arxiv.org/abs/1904.00310

作者：Xilai Li, Yingbo Zhou, Tianfu Wu, Richard Socher, Caiming Xiong

6、Imitating Latent Policies from Observation

https://arxiv.org/abs/1805.07914

Ashley D. Edwards, Himanshu Sahni, Yannick Schroecker, Charles L. Isbell

7、Using Pre-Training Can Improve Model Robustness and Uncertainty

arxiv.org/abs/1901.09960

作者：Dan Hendrycks, Kimin Lee, Mantas Mazeika

8、Hyperbolic Disk Embeddings for Directed Acyclic Graphs

arxiv.org/abs/1902.04335

作者：Ryota Suzuki, Ryusuke Takahama, Shun Onoda

9、Finding Options that Minimize Planning Time

arxiv.org/abs/1810.07311

作者：Yuu Jinnai, David Abel, D Ellis Hershkowitz, Michael Littman, George Konidaris

10、Discovering Options for Exploration by Minimizing Cover Time

https://arxiv.org/abs/1903.00606

作者：Yuu Jinnai, Jee Won Park, David Abel, George Konidaris

更多閱讀

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！