清華黃民烈、朱小燕等新論文；Quoc Le等提出新型硬注意力圖像分類演算法

機器之心整理

參與：一鳴

本周有針對文本生成任務 GAN 的神經架構搜索方法，作者包括清華大學黃民烈、朱小燕等，Quoc V. Le 則提出了一種基於硬注意力機制的圖像分類方法。此外還有梯度提升機、強化學習應用等方面的論文綜述，以及基於神經架構搜索的圖神經網路等。

目錄：

Gradient Boosting Machine: A Survey

ARAML: A Stable Adversarial Training Framework for Text Generation

Implicit Deep Learning

Reinforcement Learning Applications

Saccader: Improving Accuracy of Hard Attention Models for Vision

GraphNAS: Graph Neural Architecture Search with Reinforcement Learning

More unlabelled data or label more data? A study on semi-supervised laparoscopic image segmentation

1. 論文：Gradient Boosting Machine: A Survey

作者：Zhiyuan He、Danchen Lin、Thomas Lau、Mike Wu

論文鏈接：https://arxiv.org/pdf/1908.06951v1.pdf

摘要：本文是一篇關於梯度提升的綜述性論文。研究者將探討不同類型的梯度提升演算法，並詳細說明它們各自的數學框架。文章由以下幾部分組成：梯度提升簡介；目標函數優化；損失函數估計；模型建構；梯度提升在排名中的應用。

推薦：梯度提升機是神經網路之前使用最為廣泛的機器學習工具，著名的 XGboost 便是基於這一演算法理論。本文適合機器學習初學者閱讀，用於了解梯度提升機制，以及集成模型等方面的應用。

2. 論文：ARAML: A Stable Adversarial Training Framework for Text Generation

作者：Pei Ke、Fei Huang、黃民烈、朱小燕

論文鏈接：https://arxiv.org/pdf/1908.07195v1.pdf

摘要：大部分用於文本生成任務的生成對抗網路會遇到強化學習訓練演算法（如策略梯度）的不穩定性問題，清華大學研究者提出新型框架 ARAML，該框架的判別器將獎勵分配給從數據附近平穩分布獲得的樣本，而不是從生成器的分布中獲得的樣本；生成器使用最大似然估計進行優化，而該估計由判別器的獎勵來增強，而不是策略梯度。實驗證明，ARAML 模型性能優於當前最優的文本生成 GAN，訓練過程比後者更加穩定。

ARAML 模型概覽。訓練樣本來自基於真實數據的平穩分布 P_s，生成器在判別器獎勵增強的樣本上訓練。判別器的訓練目標是判斷真實數據和生成數據。

推薦：本文作者包括清華大學黃民烈、朱小燕教授等人。不僅在文本生成上使用了 GAN，還採用了神經架構搜索構建架構，以及強化學習訓練方法，最終實現了文本生成任務的 SOTA。論文已被 EMNLP 2019 接收。

3. 論文：Implicit Deep Learning

作者：Laurent El Ghaoui、Fangda Gu、Bertrand Travacca、Armin Askari

論文鏈接：https://arxiv.org/pdf/1908.06315.pdf

摘要：在本文中，研究者定義了一類新的隱性深度學習預測規則，它們實現了前饋神經網路遞歸規則的泛化。這些模型基於一種定點方程（包含單個隱含特徵向量）的解決方案。新的框架極大地簡化了深度學習的符號並在新型架構和演算法、魯棒性分析和設計、可解釋性、稀疏性以及網路架構優化等諸多方面提供了新的可能性。

推薦：論文作者來自加州大學伯克利分校。模型壓縮是機器學習的新研究方向，本文從數學角度提出了一種新的壓縮方法，一定程度上解決了深度學習存在的諸多問題。

4. 論文：Reinforcement Learning Applications

作者：Yuxi Li

論文鏈接：https://arxiv.org/pdf/1908.06973v1.pdf

摘要：本文是一篇關於強化學習應用的綜述性論文。文章開頭簡要介紹了強化學習的成功案例、基礎知識、具體案例、存在的問題、ICML 2019 關於現實生活中強化學習的專題研討會、使用方法、研究資料和前景展望。之後討論了強化學習應用的選擇問題，包括推薦系統、計算機系統、能源、金融、醫療健康、機器人和交通等。

強化學習應用一覽。

推薦：強化學習儘管聽起來高大上，但是很多讀者並不知道怎樣應用這一模型。本文綜述性地介紹了強化學習在各類場景中的應用形式，並介紹了模型選擇方面的一些經驗和技巧。

5. 論文：Saccader: Improving Accuracy of Hard Attention Models for Vision

作者：Gamaleldin F. Elsayed、Simon Kornblith、Quoc V. Le

論文鏈接：https://arxiv.org/pdf/1908.07644.pdf

摘要：在本文中，研究者提出了一種新穎的硬注意力（hard attention）模型，稱之為 Saccader，並提供了該模型的自監督預訓練過程（過程中不會遇到優化問題）。通過預訓練和策略梯度優化，Saccader 模型估計了不同圖像塊與下游任務的相關性，並藉助於一種新的單元格來選擇不同時間進行分類的圖像塊。本文提出的方法不僅在 ImageNet 數據集上實現了高準確率，而且提供了更多可解釋的預測。

圖像上代表注意力的框圖示。

推薦：注意力機制被認為可以一定程度上解釋深度學習模型，在圖像分類任務上，利用注意力機制便可以知道哪些部分導致了最終的模型結果。本文作者為 Quoc V. Le 等。

6. 論文：GraphNAS: Graph Neural Architecture Search with Reinforcement Learning

作者：Yang Gao、 Hong Yang、 Peng Zhang、 Chuan Zhou、Yue Hu

論文鏈接：https://arxiv.org/pdf/1904.09981v2.pdf

摘要：圖網路在分析非歐幾里得幾何數據，如社交網路和生物數據上非常受歡迎。但是，設計圖神經網路需要大量的人工工作和領域知識。本文提出了一種圖神經網路架構搜索方法（GraphNAS），基於強化學習可以自動搜索出最優的圖神經網路架構。具體來說，GraphNAS 首先使用循環神經網路生成變數長度的串，用於描述圖神經網路的架構，然後使用強化學習的方式訓練循環神經網路，用於最大化生成架構在驗證集數據上的期望精確率。在節點分類實驗上的結果說明，GraphNAS 相比 Cora、Citeseer 和 Pubmed 等架構實現了更穩定、更好的性能表現。GraphNAS 設計的圖神經網路架構相比人類設計的架構在測試集精確率上也更高。

GraphNAS 的架構示意圖。

推薦：這篇來自中科院、悉尼大學和螞蟻金服的論文介紹了一種新穎的圖網路神經架構搜索機制。神經架構搜索和圖網路的深度結合，為讀者帶來了最新的圖網路研究。

7. 論文：More unlabelled data or label more data? A study on semi-supervised laparoscopic image segmentation

作者：Yunguan Fu、Maria R. Robu、Bongjin Koo、Crispin Schneider、Stijn van Laarhoven、Danail Stoyanov、Brian Davidson、Matthew J. Clarkson、Yipeng Hu

論文鏈接：https://arxiv.org/pdf/1908.08035

摘要：提升半監督圖像分割任務性能的選項是：加入更多的無標註數據、標註更多圖像或者將兩個方法結合。論文在內窺鏡腎臟圖像檢測應用任務中，研究了在使用平均教師學習這種半監督圖像分割演算法情況下，改變帶標註和無標註數據量對模型性能表現的影響。有趣的是，這種對比顯示，半監督學習採用的訓練策略也會影響結果。研究人員之後對比了不同的帶標註和無標註數據比例下模型的表現，並探討了怎樣權衡標註更多數據還是增加更多無標籤圖像這兩個策略，使得模型可以在醫療診斷任務中得到應用。

推薦：本文較為全面的探討了標註數據佔比在半監督圖像分割任務上的表現，給想要在臨床圖像診斷上應用機器學習的讀者有關模型選擇、訓練策略和數據集標註等方面以相關參考。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！