對抗樣本前，BERT也不行；AutoML的商業實踐綜述

機器之心整理

參與：一鳴

本周有一些重要的研究成果，如 Julia 將內嵌自動可微編程特性、以及 Ian Goodfellow 轉推的論文 DVD-GAN。還有一些論文對現有研究進行了反思，如第一篇針對 BERT 在觀點推理理解任務上的對抗樣本研究，以及一篇對推薦系統演算法的評價論文等。

目錄：

Probing Neural Network Comprehension of Natural Language Arguments

Efficient Video Generation on Complex Datasets

A Differentiable Programming System to Bridge Machine Learning and Scientific Computing

Are We Really Making Much Progress? A Worrying Analysis of Recent Neural Recommendation Approaches

OmniNet: A unified architecture for multi-modal multi-task learning

WikiMatrix: Mining 135M Parallel Sentences in 1620 Language Pairs from Wikipedia

Automated Machine Learning in Practice: State of the Art and Recent Results

1.標題：Probing Neural Network Comprehension of Natural Language Arguments

作者: Timothy Niven、Hung-Yu Kao

鏈接：https://arxiv.org/pdf/1907.07355.pdf

摘要：研究人員發現，儘管 BERT 在觀點推理理解任務上的表現僅比人類基準低 3 個百分點（77%），但是其性能完全依賴於挖掘數據集中的統計線索（statistical cues）。研究人員分析了這些統計線索，發現許多模型都使用這些線索用於推斷。這說明，針對這種線索，可以提出一種對抗樣本數據集，可以使所有語言模型的性能下降到幾乎隨機。論文提出了這種針對觀點理解任務魯棒性的對抗樣本數據集。

觀點閱讀理解任務對抗樣本數據集。左：原始數據；右：對抗樣本。

BERT-Large 模型的在對抗樣本數據集的表現，效果相當於隨機。

推薦：BERT 模型真的那麼神奇嗎？也許從數據集角度分析，再好的預訓練模型也不過是統計擬合。讀者朋友可以參考這篇論文，了解如何提升自然語言處理任務模型魯棒性的方法。

2. 標題：Efficient Video Generation on Complex Datasets

作者：Aidan Clark、Jeff Donahue、Karen Simonyan

鏈接：https://arxiv.org/pdf/1907.06571.pdf

摘要：近日，來自 DeepMind 的研究者則嘗試在視頻建模領域實現逼真的效果，他們認為除了圖像生成，GAN 在視頻生成上也是沒有問題的。類似 BigGAN 的思路，研究者在複雜的 Kinetics-600 數據集上訓練一種大型生成對抗網路（GAN），並期待該網路生成的視頻樣本複雜度大大高於之前的研究。

DeepMind 提出的模型叫作 Dual Video Discriminator GAN (DVD-GAN)，可以利用計算高效的判別器分解，擴展到時間更長、解析度更高的視頻。該研究是邁向逼真視頻生成的一次探索，連 Ian Goodfellow 也轉推了這篇論文。

DVD-GAN 生成的高清視頻。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！