清華對話式人工智慧課題組六篇長文被ACL 2018、IJCAI-ECAI 2018錄用

雷鋒網 AI 科技評論按：本文首發於「人工智慧THU」，作者錢橋，雷鋒網 AI 科技評論獲授權轉載。

ACL 2018, the 56th Annual Meeting of the Association for Computational Linguistics 將於 2018 年 7 月 15 日至 20 日在澳大利亞墨爾本舉行。ACL 是自然語言處理領域的頂級國際會議，被評定為 CCF-A 類會議，起於 1963 年每年舉辦一次。本屆會議共收到 1621 篇投稿（長文 1045 篇，短文 576 篇），錄取文章約佔投稿總量的 20%。

IJCAI-ECAI 2018, the 27th International Joint Conference on Artificial Intelligence and the 23rd European Conference on Artificial Intelligence 將於 2018 年 7 月 13 日至 19 日在瑞典斯德哥爾摩舉行，由 IJCAI、EurAI 和 SAIS 聯合發起舉辦。IJCAI 是人工智慧領域的頂級國際會議，被評定為 CCF-A 類會議。IJCAI 起於 1969 年，每兩年舉辦一次，隨著投稿量的增加，2016 年起每年舉辦一次。本屆會議共收到 3470 篇長文投稿，其中 710 篇被錄取。

清華大學計算機系對話式人工智慧課題組多篇論文被 ACL 2018 和 IJCAI-ECAI 2018 會議錄用，涉及對話系統、語言生成、強化學習等領域。下面是論文列表及介紹：

作者：柯沛、關健、黃民烈、朱小燕

會議：ACL 2018 長文

本文著眼於閑聊對話生成領域，研究如何控制生成回復的全局功能特徵，並解決功能控制和內容豐富性的兼容問題。句子功能（Sentence Function）是一種重要的語言學特徵，按句子功能可將語言劃分為疑問句、陳述句、祈使句等多個類別，該特徵在對話中能夠體現說話者的目的。本文引入條件變分自編碼器，利用隱變數來建模和控制生成回復的功能特徵；同時，我們在模型中設計了類別控制器，解碼回復中的每個詞之前會先根據隱變數和當前解碼狀態預測待生成詞所屬的類別（即功能控制詞、話題詞或普通詞），再根據類別信息解碼出相應的詞，使得功能特徵和內容信息能夠在生成的回復中有機結合。自動評測和人工評測的結果表明，我們的模型生成的回復不僅在結構上符合設定的功能類別，而且在內容上具備豐富的信息量。

? Learning to Ask Questions in Open-domain Conversational Systems with Typed Decoders

作者：王延森，劉辰屹，黃民烈，聶禮強

會議：ACL 2018 長文

（本篇文章與山東大學聶老師合作）

本文研究如何賦予開放領域對話系統提問的能力，從而增強閑聊系統的交互性與持續性。如何提一個好問題，也較大程度體現了機器理解的能力。我們發現，一個好的提問由三種類型的詞構成：疑問詞、主題詞與普通詞，為此我們提出了"類型化解碼器"（Soft/Hard Typed Decoder）。在每個解碼的位置上，解碼器會先決定生成詞的類型分布，並利用概率偏置提高生成對應類型詞的可能性。對於 Soft 類型化解碼器而言，每個解碼位置上詞的類別分布與詞的生成概率分布進行混合；對於 Hard 類型化解碼器，我們採用了 Gumbel-Softmax 的概率操作技巧（近似 argmax 功能），使得解碼器具有選擇動態詞表的能力。自動評測和人工評測的結果說明了我們的模型所生成的提問相對基線模型具有明顯的優勢，更容易驅動對話繼續下去。

? Commonsense Knowledge Aware Conversation Generation with Graph Attention

作者：周昊，楊天吉，黃民烈，趙海舟，許靜芳，朱小燕

會議：IJCAI-ECAI 2018 長文

（本篇文章與搜狗公司許靜芳團隊合作）

本文研究如何通過常識知識的引入提升對話模型在開放領域對話生成任務上的語言理解和生成能力。給定用戶輸入的語句，對話模型首先從常識知識庫中檢索出相關的知識圖譜，然後使用一種靜態的圖注意力機制，將這些知識圖譜編碼成向量輸入到編碼器中，通過豐富語義知識從而提升模型對語言的理解能力。在語言生成的過程中，模型通過動態的圖注意力機制根據當前解碼器狀態注意到合適的知識圖譜以及其內的知識三元組，之後選擇合適的常識知識或普通單詞去生成，從而加強了模型的語言生成的信息量和知識方面的連貫性。自動評測和人工評測結果說明了我們提出的引入常識知識的對話模型可以生成語義合適且富有信息量的回復。

? A Weakly Supervised Method for Topic Segmentation and Labeling in Goal-oriented Dialogues via Reinforcement Learning

作者：高信龍一，黃民烈，陳海青，趙中州，李鳳麟，朱小燕，聶禮強

會議：IJCAI-ECAI 2018 長文

（本篇文章與阿里巴巴陳海青團隊合作）

本文研究話題結構分析在理解任務導向性對話上的作用，我們基於弱監督學習對大規模無標籤的對話語料進行話題分割與標註，採用深度強化學習方法來建模對聊天對話中意圖識別的未來獎勵。模型由一個基於層次化 LSTM 的表示學習網路，和一個在對話主題的局部連續性與全局結構性的獎勵序列上實現最優的強化學習網路兩部分組成。首先用簡單的先驗知識自動對數據進行粗標註，然後通過兩個網路的迭代訓練來進一步提煉數據。大量實驗的評價與分析證明了我們新提出的訓練模式在該任務上有顯著的提升。

? Assigning Personality to a Chatting Machine for Coherent Conversation Generation

作者：錢橋 黃民烈 趙海舟 許靜芳 朱小燕

為聊天機器人賦予固定的人物設定是對話領域的重大挑戰之一，本文著眼於聊天機器人在提及自身屬性時是否可以給出與人設相符的答案，同時保證了前後回答的一致性。我們提出了一種方法，使用從社交媒體上抓取的通用對話數據訓練生成模型，使用有監督的屬性檢測器 (Profile Detector) 判斷用戶的問題是否提及聊天機器人的屬性設定，以及具體哪一條預設的屬性值。隨後使用訓練好的雙向解碼器 (Bidirectional Decoder) 生成包含屬性值的回復。此外，為了消除訓練數據與預設屬性值不一致的問題，我們使用無監督的屬性值定位器 (Position Detector) 來幫助模型更好地訓練。我們同時使用了自動評價和人工評價，實驗結果表明我們生成的回復通順、邏輯正確並且語言多樣化。

? Densely Connected CNN with Multi-scale Feature Attention for Text Classification

作者：王詩瑤 黃民烈 鄧志東

會議：IJCAI-ECAI 2018 長文

（註：王詩瑤是鄧志東教授的博士生，黃民烈老師合作指導該論文工作）

用於文本分類的卷積神經網路大多數採用固定窗口大小的卷積核，因此無法靈活地學習可變 n-gram 特徵。在本文中，我們提出了一種密集連接的卷積神經網路，其包含基於多尺度特徵的注意力模型。密集的連接建立了底層特徵和高層特徵之間的跨層連接，從而產生豐富的多尺度特徵，即可變的 n-gram 特徵。此外，我們提出了多尺度特徵的注意力模型，使其可以自適應地選擇合適的特徵尺度用於文本分類。實驗表明，我們的模型在六個公開數據集上達到了超過基線的效果。注意力模型的可視化進一步揭示了該模型具有為文本分類選擇合適的 n-gram 特徵的能力。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！