IJCAI 2018｜北京大學分層式端到端模型，整合文本摘要和情感分類

新聞 05-17

目前在自然語言處理任務中，文本摘要和情感分類通常是分開解決的。北京大學的研究者提出的一種分層式端到端框架則將這兩項任務整合到了一起，並且實現了優於各自單個任務的表現。該研究的論文已被 IJCAI 2018 會議接收。

文本摘要和情感分類是自然語言處理領域內的兩大重要任務。文本摘要的目的是生成帶有原始文本的要點的摘要。相比於從原始文本的已有辭彙中選取一個子集來構建摘要的抽取式摘要（extractive summarization），抽象式摘要（abstractive summarization）是構建一個內部語義表徵然後使用自然語言生成技術來創建摘要，這種方式可能接近人類的表達方式。我們在本研究中主要關注抽象式文本摘要。情感分類是給文本分配一個情感標籤，以確定文本中的態度或意見。這也被稱為意見挖掘（opinion mining），即提取導出說話人的意見或態度。文本摘要和情感分類的目標都是挖掘文本的主要思想。文本摘要是以更為具體的方式使用詞和句子來描述文本，而情感分類則是以更為抽象的方式使用標籤總結文本。

大多數現有的模型要麼是為摘要設計的，要麼就是為分類設計的。對於抽象式文本摘要而言，最受歡迎的是序列到序列模型 [Sutskever et al., 2014; Rush et al., 2015]，其中生成長源文本的短摘要可以被看作是長序列和短序列之間的映射。這種模型由一個編碼器和一個解碼器構成。編碼器將源文本編碼成一個隱含表徵，解碼器則生成摘要。某些近期的抽象式摘要模型是序列到序列模型的變體 [Chopra et al., 2016; See et al., 2017]。對於情感分類，大多數近期的研究都使用了神經網路架構 [Kim, 2014; Tang et al., 2015]（比如 LSTM 或 CNN）來生成文本嵌入，然後使用多層感知器（MLP）根據這個嵌入預測標籤。

之前有一些研究 [Hole and Takalikar, 2013; Mane et al., 2015] 提出過能同時得到摘要和情感標籤的模型。但是，這些模型是分開訓練摘要部分和情感分類部分，並且需要豐富的人工設計的特徵。另外也還存在一些有關情感摘要的工作 [Titov and McDonald, 2008; Lerman et al., 2009]，其目標是從源文本中提取帶有特定情感類別的句子。這些研究只是重在摘要，而且不能提升情感分類的表現。

在本研究中，我們探索了在一個端到端的框架中同時提升文本摘要和情感分類水平的第一步。我們提出了一種分層式端到端模型，其由一個摘要層和一個情感分類層構成。摘要層是將源文本壓縮成短句子，而情感分類層是進一步將文本「總結」成一個情感類別。這種分層結構會在文本摘要和情感分類之間建立緊密的聯繫，因此這兩個任務可以彼此提升。在通過摘要壓縮了文本之後，情感分類器就能更加輕鬆地預測更短文本的情感標籤。此外，文本摘要還能標記出重要和有信息的詞，並移除對預測情感有害的冗餘和誤導性信息。這種情感分類能為文本摘要提供更為重要的監督信號並引導摘要組件獲取源文本的情感傾向，這能提升短文本和源文本之間的一致性。

我們在亞馬遜在線評論數據集上評估了我們提出的模型。實驗結果表明我們的模型在抽象式摘要和情感分類上都能實現比強大的基準系統更優的表現。

本論文有下列貢獻：

我們將情感分類當作是一種特定類型的摘要，並且使用一個統一的模型來執行情感分類和文本摘要。
我們提出了一種多視角注意（multi-view attention）來為摘要和情感分類獲取不同的文本表徵。
實驗結果表明我們的模型的表現優於分開訓練摘要和情感分類的強大基準。

圖 1 展示了我們的模型的架構。我們的模型由三個部分組成，即文本編碼器、摘要解碼器和情感分類器。文本編碼器使用一個雙向 LSTM 將源文本壓縮到上下文記憶中。摘要解碼器是一個單向的 LSTM，它通過查詢上下文記憶使用注意機制依次生成一個摘要向量和一個情感向量。然後一個詞生成器會使用其中的摘要向量來生成摘要。所有時間步驟的情感向量會被收集起來，然後輸入情感分類器來預測情感標籤。為了獲取源文本的上下文信息，我們使用了 highway 機制，以將上下文記憶作為分類器輸入的一部分。因此，該分類器可以根據摘要解碼器的情感向量和文本編碼器的上下文記憶來預測標籤。