計算語言頂會ACL 2017開幕在即：國內接收論文梳理（5篇傑出論文）

機器之心報道

作者：李亞洲

計算機視覺與模式識別領域的頂會 CVPR 2017 剛在美國夏威夷落幕，計算語言領域的頂會 ACL 又即將在加拿大溫哥華開幕。從 4 月份 ACL 2017 接收論文公布以來，機器之心已經陸續對 ACL 2017 做了數篇報道。在這篇文章中，我們將對 ACL 2017 的論文進行梳理，包括國內 5 篇獲獎的傑出論文，騰訊、微軟亞洲研究院、科大訊飛、搜狗等國內公司被接收的論文。

國際計算語言學協會 (ACL，The Association for Computational Linguistics)，是世界上影響力最大、最具活力的國際學術組織之一，其會員遍布世界各地。第 55 屆國際計算語言學協會（ACL）年會將於 7 月 30 日-8 月 4 日在加拿大溫哥華舉行。

作為計算語言學領域的首要會議，廣泛涉及自然語言的計算方法及其各類研究領域。ACL 2017 除了主要會議之外，還如同其他頂級會議一樣包含研討會、專題報告、研習會和演示等。

在這篇文章中，我們首先梳理了國內的 ACL 2017 論文，包括國內的 5 篇 Outstanding Papers，來自騰訊、微軟亞研、科大訊飛、搜狗等產業界的數篇論文，然後介紹了一個對 ACL 論文標題進行可視化的項目，從這個項目中我們可以看到 ACL 2017 大會內容的一些特點。這是一份不完整的梳理，大部分信息來自於 4 月份中國中文信息學會青年工作委員會聯合騰訊在北京舉辦的「ACL 2017 論文報告會」、機器之心對這些公司論文接收情況的主動了解。

國內 5 篇論文入選 ACL 2017 Outstanding Papers

6 月份，ACL 2017 官網發布 ACL 2017 傑出論文列表，列表中共有 22 篇論文入選，其中國內論文有 5 篇（全部來自學界）。5 篇論文分別為：

• Adversarial Multi-Criteria Learning for Chinese Word Segmentation

• 論文作者：陳新馳、施展、邱錫鵬、黃萱菁（復旦大學）

• 論文地址：https://arxiv.org/abs/1704.07556

• Visualizing and Understanding Neural Machine Translation

• 論文作者：丁延卓、劉洋、欒煥博、孫茂松（清華大學）

• 論文地址：http://nlp.csai.tsinghua.edu.cn/~ly/papers/acl2017_dyz.pdf

• Abstractive Document Summarization with a Graph-Based Attentional Neural Model

• 論文作者： 譚繼偉、萬小軍（北京大學）

• Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme

• 論文作者：鄭孫聰、Feng Wang、Hongyun Bao（中科院自動化研究所）

• 論文地址：https://arxiv.org/abs/1706.05075

• A Two-stage Parsing Method for Text-level Discourse Analysis

• 論文作者：王義中、李素建、Houfeng Wang（北京大學）

• 論文地址：https://eastonwang.github.io/papers/Two-Stage%20Parsing%20Method%20for%20Text-level%20Discourse%20Analysis.pdf

當時，機器之心對國內的 5 篇傑出論文進行了報道，詳細信息請查看：ACL 2017 傑出論文公布，國內四篇論文入選（當時因有一篇論文未公開，無法確定機構，漏算一篇）。

來自國內產業界的論文

在這部分內容中，機器之心整理了國內幾家公司被 ACL 2017 接收的論文，其中包括微軟亞洲研究院、騰訊 AI Lab、阿里巴巴、科大訊飛、搜狗。需要區分的是，這些公司被接收的論文中，有的是與國內大學一起完成的，因此與學界被接收的論文有交叉。

騰訊 AI Lab

在 2017 谷歌學術指標（Google Scholar）按論文引用率排名中，ACL 是計算機語言學和自然語言處理領域最高級別國際學術年會。騰訊 AI Lab 副主任俞棟認為，「自然語言的理解、表達、生成和轉換一直是自然語言處理的核心問題。近年來有很多新的解決思路和方法。今年的 ACL 涉及自然語言處理的各方面，尤其在語義解析、語義角色標註、基於語義和語法的自然語言生成、機器翻譯和問答系統方向上都有一些有趣的工作。」

據機器之心了解，今年騰訊 AI Lab 有三篇文章入選 ACL，分別為：

• 論文一：Modeling Source Syntax for Neural Machine Translation

• 作者：Junhui Li、Deyi Xiong、Zhaopeng Tu、Muhua Zhu、Min Zhang 和 Guodong Zhou

• 論文地址：https://arxiv.org/abs/1705.01020

簡介：本文提出將句法樹轉化為句法標籤序列的輕量級方法，有效將源端句法信息引入神經網路翻譯系統，被證實能顯著提高翻譯效果。

• 論文二：Chunk-Based Bi-Scale Decoder for Neural Machine Translation

• 作者：Hao Zhou、Zhaopeng Tu、Shujian Huang、Xiaohua Liu、Hang Li 和 Jiajun Chen

• 論文地址：https://arxiv.org/abs/1705.01452

簡介：本文引入一個額外組塊神經網路層，從組塊到詞的層次生成譯文，幫助實現神經網路翻譯系統短語級別的建模，實驗表明該方法在多種語言上都能顯著提高翻譯效果。

• 論文三：Deep Pyramid Convolutional Neural Networks for Text Categorization

• 作者：Rie Johnson 和 Tong Zhang

• 論文地址：http://riejohnson.com/paper/dpcnn-acl17.pdf

簡介：文章提出了一種能有效表達文本長距離關係的複雜度詞粒度 CNN。本文研究了如何加深詞粒度 CNN 對文本進行全局表達，並找到了一種簡單網路結構，通過增加網路深度提升準確度，但不過多增加計算量。實驗表明 15 層的 DPCNN 在六個情感和主題分類任務上達到了目前最佳結果。

微軟亞洲研究院

據機器之心了解，本屆 ACL 大會微軟亞洲研究院共有 6 篇長文被接收，還有一篇題為「SuperAgent: A Customer Service Chatbot for E-commerce Websites」的 demo 文章發表。在上周微軟亞洲研究院舉辦的「ACL 2017 論文研討會」上，已被 ACL2017 大會錄用論文的作者分別就各自的論文內容進行了分享。這六篇長文分別為：

• 論文一：Chunk-based Decoder for Neural Machine Translation

• 作者：Shonosuke Ishiwatari, Jingtao Yao, Shujie Liu, Mu Li, Ming Zhou, Naoki Yoshinaga, Masaru Kitsuregawa, Weijia Jia

簡介：在機器翻譯中使用組塊信息能夠更容易的對組塊內的詞語和組塊與組塊之間的關係進行建模，因此在統計機器翻譯中得到了廣泛的使用。該論文的科研人員將組塊的信息應用到神經機器翻譯中，從而更容易的解決了遠距離的依賴問題。他們提出的基於組塊的神經機器翻譯模型，包含了一個組塊級別的解碼器和詞級別的解碼器。組塊級別的解碼器負責對全局（組塊間）的依賴進行建模，而詞級別的解碼器則對局部（組塊內）的依賴進行建模。在英日翻譯任務（WAT』16）上的實驗顯示，基於組塊的神經機器翻譯解碼演算法能夠顯著的提高翻譯性能。

• 論文二：Sequence-to-Dependency Neural Machine Translation

• 作者：Shuangzhi Wu, Dongdong Zhang, Nan Yang, Mu Li,Ming Zhou

簡介：現有的神經網路機器翻譯系統大多以序列的形式生成目標語言，忽略了目標語言的句法知識。通常來說，句法知識對句子的構成有重要的指導作用。受目標語言句法知識在短語翻譯模型中成功應用的啟發，本文提出了一種序列到依存的神經網路機器翻譯模型。該模型能夠在翻譯源語言的同時生成目標語言的依存句法結構，進一步利用已有的句法結構指導後續翻譯的生成，從而做到翻譯的同時兼顧語法結構。實驗表明本文提出的方法的性能在中英翻譯和日英翻譯任務上都高於傳統神經網路機器翻譯。

• 論文三：Active Sentiment Domain Adaptation

• 作者：Fangzhao Wu, Yongfeng Huang, Jun Yan

簡介：情感分類是一個領域依賴的任務。不同的領域擁有不同的情感表達，因此一個領域訓練得到的情感分類器在另一個領域往往效果不佳。由於網路文本涉及大量的領域，因此很難為每一個領域去標註足夠多的樣本來訓練領域特定情感分類器。為此，該論文的研究人員提出了一個主動情感領域遷移的方法來解決該問題。他們的方法嘗試基於主動學習策略選取少量有信息量的目標領域的有標註樣本，從目標領域大量的無標註樣本中挖掘詞語間的領域特定情感關係，並通過結合以上兩種信息將情感詞典中的通用情感信息遷移到目標領域。在基準數據集上的實驗表明，該方法能夠在少量有標註樣本的情況下為目標領域訓練準確的情感分類器。

• 論文四：Sequential Matching Network: A New Architecture for Multi-turn Response Selection in Retrieval-based Chatbots

• 作者：Yu Wu, Wei Wu, Chen Xing, Ming Zhou, Zhoujun Li

• 鏈接：https://arxiv.org/abs/1612.01627

簡介：聊天機器人的一個很重要的問題是如何在選擇回復的時候考慮上下文。聊天上下文往往呈現層次結構並且有很多冗餘信息，因此如何同時對聊天上下文的結構建模並且準確把握上下文中的要點成為了能否找到合適回復的關鍵。在這篇文章中，研究員們提出了一個序列匹配網。該網路通過二維卷積神經網和循環神經網的耦合可以很好地對上下文建模並且抓住上下文中的關鍵點。在大規模標準數據集上，該模型對已有模型有非常大的提升，並且有很好的解釋性。另外，為了彌補學術界大規模標註數據的缺失，該文章還貢獻出了一個標註數據集。

• 論文五：Selective Encoding for Abstractive Sentence Summarization

• 作者：Qingyu Zhou, Nan Yang, Furu Wei, Ming Zhou

簡介：句子摘要任務的目標是產生一個句子的簡短概括。該論文的研究人員提出了選擇性編碼模型以改善生成式句子摘要的性能。他們的模型包含了一個句子編碼器、選擇門網路和帶注意力機制的解碼器。其中，句子編碼器和解碼器採用了循環神經網路。選擇門網路通過控制從編碼器到解碼器的信息流來構建額外的一層信息表示，該層表示為句子摘要構建了量身定做的語義表示。研究人員在英文 Gigaword、DUC 2004 和 MSR 三個生成式句子摘要數據集上進行了測試。實驗結果表明本文提出的選擇性編碼模型性能比當前最優基線模型有顯著提高。

• 論文六：Gated Self-Matching Networks for Reading Comprehension and Question Answering

• 作者：Wenhui Wang, Nan Yang, Furu Wei, Baobao Chang,Ming Zhou

• 鏈接：https://www.microsoft.com/en-us/research/publication/mrc/

簡介：本文提出了一種針對機器閱讀理解和問答任務的端到端的多層神經網路，模型主要由四部分組成。首先通過多層的雙向循環神經網路得到問題和篇章的語義向量表示。第二步通過 Attention 機制和 Gate 機制學習文章和問題辭彙級的匹配，從而得到篇章中每個詞和問題的對齊及其重要程度。第三步通過 Self-Matching 機制，對答案所需要的篇章中的證據和問題信息進行進一步聚合，得到最終的篇章中每個詞的語義向量表示。最後使用 Pointer Networks 得到答案在篇章中的起始位置和結束位置，進而得到問題的最終答案。在 Stanford 發布的機器閱讀理解比賽數據集 SQuAD 上，本文提出的模型（R-Net）的單模型和集成模型結果都分別排名第一。

科大訊飛

據機器之心了解，科大訊飛有兩篇論文被 ACL 2017 所接收，並且這兩篇論文都是科大訊飛與哈工大社會計算與信息檢索研究中心（HIT-SCIR）合作完成。

• 論文一：Generating and Exploiting Large-scale Pseudo Training Data for Zero Pronoun Resolution

• 作者：Ting Liu、Yiming Cui、Qingyu Yin、Weinan Zhang、Shijin Wang 和 Guoping Hu

• 論文地址：https://arxiv.org/pdf/1606.01603.pdf

簡介：為了緩解零代詞解析（Zero Pronoun Resolution）任務所需要的大量標註數據，本論文提出了一種簡單但新穎的方法來自動生成大規模偽訓練數據，因此我們可以藉助這些數據進行零代詞解析任務。

• 論文二：Attention-over-Attention Neural Networks for Reading Comprehension

• 作者：Yiming Cui、Zhipeng Chen、Si Wei?、Shijin Wang、Ting Liu 和 Guoping Hu

• 論文地址：https://arxiv.org/pdf/1607.04423.pdf

簡介：本論文提出一種簡單但新穎的 Attention-over-Attention 閱讀器模型，該模型能很好地解決完形填空式閱讀理解任務。該模型旨在將一個注意力機制放在文檔級注意力上以形成「attended attention」來預測最後的回答。

阿里巴巴

2015 年 7 月 24 日，阿里巴巴發布了一款人工智慧購物助理虛擬機器人「阿里小蜜」，它是阿里巴巴推出的圍繞電商服務、導購以及任務助理為核心的智能人機交互產品。今年，一篇介紹阿里小蜜背後技術的論文《AliMe Chat: A Sequence to Sequence and Rerank based Chatbot Engine》被 ACL 2017 所接收。

• 論文：AliMe Chat: A Sequence to Sequence and Rerank based Chatbot Engine

• 作者：Minghui Qiu、Feng-Lin Li、Siyu Wang、Xing Gao、Yan Chen、Weipeng Zhao、陳海青、Jun Huang、Wei Chu

• 論文地址：http://aclweb.org/anthology/P17-2079

簡介：面向 open domain 的聊天機器人無論在學術界還是工業界都是個有挑戰的課題。通常有兩種技術方案，一個是通過傳統的檢索模型 (IR) 來構建語聊的問答匹配，另外一個是通過生成模型 (Seq2Seq) 自動生成回復。前者回復答案可控但無法處理長尾問題，後者很難保持一致性和合理性。因此在阿里小蜜的聊天引擎中，我們結合了兩者各自的優點，提出了一個融合模型。我們的模型先通過 IR 產出候選回復，然後用 Seq2Seq 對候選進行打分和重排序，如果重排序後得分超過一定閾值就輸出，否則就用 Seq2Seq 生成答案。實驗證明，我們的融合模型比單純的生成模型和 IR 模型結果都好，比之前線上系統提升了 17%。

圖註：阿里小蜜對話示例

搜狗

據機器之心了解，搜狗聯合清華信息科學與技術國家實驗室有一篇論文入選 ACL 2017。

• 論文：Prior Knowledge Integration for Neural Machine Translation using Posterior Regularization

• 作者：Jiacheng Zhang、Yang Liu、 Huanbo Luan、Jingfang Xu 和 Maosong Sun

• 論文地址：http://nlp.csai.tsinghua.edu.cn/~ly/papers/acl2017_zjc.pdf

簡介：本論文提出了使用後驗正則化將先驗知識集成到神經機器翻譯中的一般框架，該方法將先驗知識表徵為對數線性模型中的特徵，並用來指導神經機器翻譯的學習過程。

ACL 2017 論文標題可視化

今年 4 月份，ACL 2017 接收論文公布，其中包含生物醫學、認知建模與心理語言學、互動式對話系統、機器翻譯等各研究領域的 194 篇長篇論文、107 篇短篇論文、21 個軟體演示以及 21 篇在由 TACL（Transactions of the Association for Computational Linguistics）接收出版並將在 ACL 2017 上進行主題演講報告的論文。

在機器之心的報道中，有一個可視化項目對所接收論文的標題進行了可視化，得出了幾個結論：

1. 首先如下圖所示，我們可以了解短篇論文和長篇論文標題的不同之處。端到端建模、聯合建模、對抗性學習和閱讀理解在長篇論文標題中較為普遍。案例研究、社交媒體和多語言分析在短篇論文中更為流行。學習、神經和翻譯在兩組論文中都很常見。

2. 下圖展示了 TACL 與長篇論文的區別。有趣的是沒有 TACL 使用「網路」這一單詞，但長篇論文很多都使用了。

3. 下面幾張可視化圖表展示了 ACL 2017 接收論文的一些描述性統計學數據，並能了解論文類別的變化。其中我們可以發現絕大多數論文都是長篇論文。機器翻譯、語義學和總結性的更多是長篇論文，而機器學習、社交媒體和多學科論文更多是短篇論文。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！