自然語言處理領域論文筆記

引言

對話系統是當前的研究熱點，也是風險投資的熱點，從2016年初開始，成立了無數家做chatbot、語音助手等類似產品的公司，不管是對用戶的，還是對企業的，將對話系統這一應用推到了一個新的高度。seq2seq 是當前流行的演算法框架，給定一個輸入，模型自動給出一個不錯的輸出，聽起來都是一件美好的事情。seq2seq在對話系統中的研究比較多，本期 PaperWeekly 分享4篇的 paper notes，涉及到如何提高所生成對話的流暢度和多樣性，使得對話系統能夠更加接近人類的對話。4篇 paper 如下：

1、Sequence to Backward and Forward Sequences: A Content-Introducing Approach to Generative Short-Text Conversation, 2016

2、A Simple, Fast Diverse Decoding Algorithm for Neural Generation, 2016

3、DIVERSE BEAM SEARCH: DECODING DIVERSE SOLUTIONS FROM NEURAL SEQUENCE MODELS, 2016

4、A Diversity-Promoting Objective Function for Neural Conversation Models, 2015

1、Sequence to Backward and Forward Sequences: A Content-Introducing Approach to Generative Short-Text Conversation

作者

Lili Mou, Yiping Song, Rui Yan, Ge Li, Lu Zhang, Zhi Jin

單位

Key Laboratory of High Confidence Software Technologies (Peking University), MoE, China

Institute of Software, Peking University, China

Institute of Network Computing and Information Systems, Peking Univerity, China

Institute of Computer Science and Technology, Peking University, China

關鍵詞

content-introducing approach

neural network-based

generative dialogue systems

seq2BF

文章來源

arXiv, 2016

問題

使用引入內容方法，用於處理基於神經網路的生成式對話系統

模型

該模型由兩部分組成：

1、use PMI to predict a keyword for the reply

使用逐點互信息(PMI)進行預測，選取PMI值最大的單詞作為回答中的關鍵詞，該關鍵詞可以出現在回答語句中的任意位置。

2、generate a reply conditioned on the keyword as well as the query

使用sequence to backward and forward sequences(seq2BF)模型來生成包含關鍵詞的回答。以該關鍵詞為基點，將回答語句劃分為兩個序列：

(1) 反向序列：關鍵詞左側的所有單詞以逆序排列

(2) 正向序列：關鍵詞右側的所有單詞以順序排列

seq2BF模型具體工作如下：

(1) 使用seq2seq神經網路將問題編碼，僅對關鍵詞左側的單詞進行解碼，逆序輸出每個單詞

(2) 使用另一個seq2seq模型將問題再次編碼，在給定上步中解碼後的逆序單詞序列下，對回答中的剩餘單詞進行順序解碼，輸出最終單詞序列

資源相關工作

1、 Dialogue Systems

(1) (Isbell et al., 2000; Wang et al., 2013) retrieval methods

(2) (Ritter et al., 2011) phrase-based machine translation

(3) (Sordoni et al., 2015; Shang et al., 2015) recurrent neural networks

2、 Neural Networks for Sentence Generation

(1) (Sordoni et al., 2015) bag-of-words features

(2) (Shang et al., 2015) seq2seq-like neural networks

(3) (Yao et al., 2015; Serban et al., 2016a) design hierarchical neural networks

(4) (Li et al., 2016a) mutual information training objective

簡評

本文的創新點在於，不同與目前普遍存在的從句首到句尾順序生成目標單詞的方法，引入逐點互信息方法來預測回答語句中的關鍵詞，使用seq2BF機制確保該關鍵詞可以出現在目標回答語句的任意位置之中並確保輸出的流利度，相比於seq2seq的生成方法顯著地提升了對話系統的質量。

2、A Simple, Fast Diverse Decoding Algorithm for Neural Generation作者

Jiwei Li, Will Monroe and Dan Jurafsky

單位

Stanford

關鍵詞

seq2seq, diversity, RL

文章來源

arXiv, 2016

問題

seq2seq模型decoder時改進beam search，引入懲罰因子影響排序結果，並加入強化學習模型來自動學習diversity rate，使得解碼出的結果更具多樣性

模型

對比標準beam search，本模型引入懲罰因子，公式如下

其中$gamma$稱為diversity rate，k』範圍為[1,k]，K為beam size

強化學習模型中，策略為

reward為評價指標，例如機器翻譯中的BLEU值等

資源

1、回復生成實驗數據集：OpenSubtitleshttps://github.com/jiweil/mutual-information-for-neural-machine-translation

（代碼模型可從作者另外一篇文章的源碼稍加改動）

2、機器翻譯數據集：WMT』14http://www.statmt.org/wmt13/translation-task.html

相關工作

簡評

3、DIVERSE BEAM SEARCH: DECODING DIVERSE SOLUTIONS FROM NEURAL SEQUENCE MODELS作者

Ashwin K Vijayakumar, Michael Cogswell, Ramprasath R. Selvaraju, Qing Sun1 Stefan Lee, David Crandall & Dhruv Batra

單位

Virginia Tech, Blacksburg, VA, USA

Indiana University, Bloomington, IN, USA

關鍵詞

Beam Search; Diversity; Image Caption; Machine Translation; Visual Question Answer; Chatbot

文章來源

arXiv, 2016.10

問題

如何改進beam search解碼演算法，使其在seq2seq模型中可以生成更加豐富的結果？

模型

經典的beam search演算法以最大後驗概率作為優化目標函數，每一個time step只保留B個最優的狀態，是一種典型的貪心演算法，這個經典演算法常常被用於解碼可選狀態數量多的情形，比如生成對話、生成圖片描述、機器翻譯等，每一步都有詞表大小的可選狀態集。seq2seq模型的流行，讓這種解碼演算法的研究變得熱門。在生成對話任務時，用經典的beam search會生成類似「我不知道」等這種沒有營養的對話，雖然沒有語法上的錯誤，而且可能在一定的評價體系內會得到不錯的分數，但實際應用效果太差，因此diversity的研究變得熱門。

本文針對diversity的問題，提出了一種改進版的beam search演算法，旨在生成更加多樣性的話。

新演算法的主要思路是將經典演算法中的Beam進行分組，通過引入一個懲罰機制，使得每一組的相似度盡量低，這一項保證了生成的話相互之間差異更大一些，即滿足了多樣性的需求，在每一組Beam中，用經典的演算法進行優化搜索。具體的演算法流程如下圖：

實驗中，用了Image Caption、Machine Translation和VQA三個任務進行了對比，驗證了本文演算法的有效性，並且對演算法中的幾個參數進行了敏感度分析，分析了分組數對多樣性的影響。

資源

1、本文演算法torch實現https://github.com/ashwinkalyan/dbs

2、本文在線demo dbs.cloudcv.org

3、neuraltalk2實現https://github.com/karpathy/neuraltalk2

4、機器翻譯開源實現dl4mthttps://github.com/nyu-dl/dl4mt-tutorial

相關工作

相關的工作主要分類兩類：

1、Diverse M-Best Lists

2、Diverse Decoding for RNNs

之前Jiwei Li將解碼演算法的目標函數換成了互信息進行優化解碼，對diversity進行了研究。

簡評

本文研究的問題是一類基礎問題，beam search演算法作為一種經典的近似解碼演算法，應用的場景非常多。但在實際應用中，尤其是具體到生成對話、生成答案等任務上，存在一些適應性的問題，比如diversity。只是生成簡單而又安全的話對於實際應用沒有太多的意義，所以本文的研究非常有意義。本文的實驗從三個不同的任務上對改進後的beam search都做了對比驗證，非常紮實的結果驗證了演算法的有效性，並且對幾個關鍵參數進行了敏感度分析，有理有據。同時在github上開源了代碼，並且給出了一個在線demo。在評價方面，不僅僅設計了幾個自動評價指標，而且用了人工評價的方法對本文演算法進行了驗證，是一篇非常好的paper，值得學習。

4、A Diversity-Promoting Objective Function for Neural Conversation Models作者

Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, Bill Dolan

單位

Stanford University, Stanford, CA, USA

Microsoft Research, Redmond, WA, USA

關鍵詞

Sequence-to-sequence neural network models, conversational responses, Maximum Mutual Information(MMI)

文章來源

arXiv, 2015

問題

使用MMI訓練sequence-to-sequence model for conversational responses generation

傳統的ML(最大似然估計)在訓練sequence-to-sequence model的時候，易產生與輸入無關的』safe』 responses(最大似然估計的弊病—-always try to cover all mode of input data)

作者通過使用MMI, 最大化輸入與輸出的互信息，能夠有效避免與輸入無關的responses，得到更為diverse的responses.

模型

MMI最早在speech recognition中提出並應用(discriminative training criteria). 語音識別中，通常先用ML訓練聲學模型，然後再接MMI和語言模型，對聲學模型進一步調優。

在本文中，作者通過提出MMI用於seq-to-seq model的優化。作者提出了MMI-antiLM和MMI-bidi 兩個不同的MMI的formulations. MMI在seq-to-seq的應用中存在decoding的問題。

MMI-antiLM中，作者通過使用帶有權重的LM以生成更為diverse的responses by penalizing first word。

MMI-bidi中，搜索空間的數目過大，導致expolring所有的可能性在實際中無法實現。作者首先產生N-best list, 然後根據相應的準則函數 re-rank得到的N-best list。

在MMI不同的formulation中，作者通過啟發式的設計，使得decoding更為容易且產生的response更為diverse，在相關的數據集上取得了較好的BLEU且產生的response更為diverse。

簡評

最大後驗概率通常作為優化的目標函數，但很多應用場景中得到的結果並不理想。本文採用了一個新的而且也是其他領域中比較常見的目標函數來替換最大後驗概率，在生成對話時得到了更加豐富的結果。

總結

對話系統是一個相對高級的、綜合性很強的任務，所依賴的基礎任務比較多，比如分詞、命名實體識別、句法分析、語義角色標註等等。對於規範的中文表達而言，句法分析仍是一個沒有解決好的問題，更何況是不那麼規範的人話，句法分析的準確性又要下一個level了，隨之語義角色標註也得不到好的效果。經典的、基礎的任務還有很長的路要走，對話系統這種更難、更複雜的任務相信不是一年、兩年就可以突破的事情，雖然現在大熱，做的人很多，但就目前的研究水平來看，應該還有很長的路要走。seq2seq是個逃避這些問題的好方法和好思路，但相對來說更加不成熟，而且存在著很多的問題，想通過大量的數據來覆蓋所有的問題，是一種不太科學的思路。我想，seq2seq是個好方法，但傳統的NLP方法也是必不可少的，而且兩者應該是相互補充的。越多的人關注對話系統，就會越快地推動這個領域的發展，希望早日看到靠譜的、成熟的解決方案。感謝@Penny、@tonya、@zhangjun和@皓天 四位童鞋完成的paper notes。