2017年度NLP領域論文TOP10

來源：PaperWeekly

本文共2672字，建議閱讀5分鐘。

本文為大家帶來10篇精選的2017度值得閱讀的AI論文。

歷時九天，我們收到了近千份有效讀者投票，2017 年度最值得讀的 AI 論文評選也正式結束。

我們根據讀者的投票情況，選出了自然語言處理和計算機視覺領域「2017 年最值得讀的十大論文」。讓我們一起來看看過去一整年，在讀者心中排名前十的 NLP 論文都有哪些？

論文 | Attention Is All You Need

鏈接 | https://www.paperweekly.site/papers/224

源碼 | https://github.com/Kyubyong/transformer

大道至簡，Google Brain 在本文中提出了一個新型的簡化網路架構—Transformer，完全基於注意力機制，完全避免了循環和卷積，完全可並行。

本文可以說是 Google 繼 Highway Network 等新型神經網路之後，在神經網路模塊化的又一嘗試。

擴展閱讀：

Attention is All You Need | 每周一起讀（http://mp.weixin.qq.com/s/J-anyCuwLd5UYjTsUFNT1g）

一文讀懂「Attention is All You Need」| 附代碼實現（http://mp.weixin.qq.com/s/q3OVJypM6HZQc58JpKJgVA）

論文 | Reinforcement Learning for Relation Classification from Noisy Data

鏈接 | https://www.paperweekly.site/papers/1260

源碼 | 暫無

清華大學發表在 AAAI 2018 上的工作，本文將強化學習應用於關係抽取任務中，取得了不錯的效果。其主要貢獻是將遠程監督的信號轉化為強化學習中的延遲獎勵，從強化學習的視角提出解決問題的思路，並克服了聯合訓練 instance selector 和 relation classifier 兩個模塊的問題。

擴展閱讀：

論文 | Convolutional Sequence to Sequence Learning

鏈接 | https://www.paperweekly.site/papers/844

源碼 | https://github.com/facebookresearch/fairseq-py

本文提出了基於卷積神經網路（CNN）的 seq2seq 架構，和基於循環神經網路（RNN）的 seq2seq 相比，其更易於加速訓練，在 GPU 上達到 9.8 倍加速，平均每個 CPU 核上也達到 17 倍加速。此外，本文工作在 WMT』14 English-German 和 WMT』14 English-French 兩個數據集上，也取得相對更好的 BLUE Score。

ConvS2S 主要結構有：Position Embeddings（使編碼器或解碼器感知到位置變化）、Convolutional Block Structure（編碼和解碼上下文中的信息）、Multi-step Attention（每層解碼器使用各自的注意力機制）和 Residual connections（使架構適應深度網路）。

擴展閱讀：

論文解讀：Convolutional Sequence to Sequence Learning（http://mp.weixin.qq.com/s/rDelYDs20Y_P9ztYknopew）

論文 | Zero-Shot Relation Extraction via Reading Comprehension

鏈接 | https://www.paperweekly.site/papers/289

源碼 | https://bitbucket.org/omerlevy/bidaf_no_answer

本文提出了基於閱讀理解的關係抽取方法，並且成功抽取未標註的新關係。本文的精華之處在於對閱讀理解問題的轉化和數據集的生成。

填空式（slot-filling）關係抽取是在給定的關係 R、實體 e 和句子 s，在 s 中找到集合 A，使得其中的元素 a 滿足 R(e, a)。在閱讀理解中，問題 q 可表示為 R(e, ?)，回答問題等同於填空式關係抽取在 s 中找到答案，問題轉化成：把 R(e,?) 翻譯成問題 q，藉助閱讀理解抽取實體關係。

本文提出基於關係而非實體遠程監督關係的眾包標註方法，在可控的開銷內，為此類問題構建一個非常大的數據集。

論文 | IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models

鏈接 | https://www.paperweekly.site/papers/200

源碼 | https://github.com/geek-ai/irgan

本文是生成對抗網路（GAN）在信息檢索（IR）中的應用。信息檢索中的兩種常見模式：預測給出的文檔相關性；給出文檔對，判別他們之間的相關性。

本文轉換問題角度，得到基於對抗網路的信息檢索模型（IRGAN），主要由判別模型（挖掘標註與非標註的數據中的信息，用於引導生成模型擬合給定查詢的結果在文檔中的分布情況）和生成模型（根據查詢生成高相關性的結果）組成。

本文從三個角度使用 GAN 對信息檢索建模，即：pointwise（學習人類對文檔的相關性判斷），pairwise（找出最具有相關性的文檔對），listwise（相關性排序）。

本文的模型架構可以應用於：網頁搜索在線排序（sf: LambdaRank, LambdaMART, RankNet）、item 推薦系統（cf matrix factorisation）、問答系統（退化成 IR 的評估）。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！