新聞太長不想看？深度解析MetaMind文本摘要新研究

選自MetaMind

作者：Romain Paulus、Caiming Xiong、Richard Socher

機器之心編譯

參與：Jane W、Cindy、吳攀

去年四月被 Salesforce 收購的 MetaMind 仍然在繼續進行自然語言領域的前沿研究。近日，其研究博客發布了一篇文章，詳細介紹了一種用於文本摘要提取的深度強化模型（deep reinforced model），機器之心對這篇博客進行編譯介紹，並在文後附帶了相關的研究論文摘要。論文鏈接：https://arxiv.org/abs/1705.04304機器之心發布過的 MetaMind 的其它文章還有《MetaMind 發布論文：藉助動態記憶網路 DMN 讓機器更好地像人類般推理》和《MetaMind 深度解讀 NLP 研究：如何讓機器學習跳讀》。

近幾十年來，獲取新信息的方式發生了根本性變化，也帶來了越來越多挑戰。信息的獲取已不再是瓶頸；瓶頸在於我們是否有能力緊跟信息的步伐。我們都必須通過越來越多的閱讀來獲取關於工作、新聞和社交媒體的最新進展。我們研究了人工智慧在信息大潮中幫助人們提高工作能力的方法——答案之一是讓演算法自動歸納長文本。

怎樣訓練能夠產生長句、連貫和有意義的摘要的模型仍然是一個有待解決的研究問題。事實上，即使是最先進的深度學習演算法，生成任何長文本也是很困難的。為了使模型能夠成功地生成摘要，我們引入了兩個獨立的改進：一個更加語境化的詞生成模型和一種通過強化學習（RL）訓練摘要模型的新方法。

兩種訓練方法的結合使得系統能夠創建相關且高可讀性的多語句長文本（例如新聞文章）摘要，並在之前的基礎上實現了顯著的提升。我們的演算法可以對各種不同類型的文本和摘要長度進行訓練。在本文中，我們介紹了我們的模型的主要貢獻，並概述了文本摘要特有的自然語言挑戰。

圖 1：我們的模型的示例——由新聞文章生成多語句摘要。對於每個生成的詞，模型重點關注輸入的特定詞和之前生成的輸出。

提取式摘要（Extractive Summarization）與抽象式摘要（Abstractive Summarization）

自動摘要模型可以通過以下兩種方法實現：通過提取或抽象。提取式模型執行「複製和粘貼」操作：它們選擇輸入文檔的相關短語並連接它們以形成摘要。它們非常穩健，因為它們使用直接從原文中提取的已有自然語言短語，但是由於不能使用新詞或連接詞，它們缺乏靈活性。它們也不能像人一樣改述。相反，抽象式模型基於實際的「抽象」內容生成摘要：它們可以使用原文中沒有出現的詞。這使得它們有更多的潛力來產生流暢和連貫的摘要，但因為需要模型生成連貫的短語和連接詞，這也是一個更難的問題。

雖然抽象式模型在理論上更強大，但在實踐中也常出現錯誤。在生成的摘要中，典型的錯誤包括不連貫、不相關或重複的短語，特別是在嘗試創建長文本輸出時。從已有模型來看，它們缺乏一般連貫性、意識流動性和可讀性。在本任務中，我們解決了這些問題，並設計了一個更穩健和更連貫的抽象式摘要模型。

為了理解我們的新抽象式模型，我們首先定義基本構建塊（building block），然後介紹我們新的訓練方式。

用編碼器-解碼器模型讀取和生成文本

循環神經網路（RNN）能夠處理可變長度的序列（例如文本），並為每個短語計算有用的表徵（或隱藏狀態）。網路逐一處理序列的每個元素（在這種情況下，即每個詞）；對於序列中的每個新輸入，網路通過該輸入和之前隱藏狀態的函數輸出新的隱藏狀態。從這個角度講，在每個詞處計算的隱藏狀態是所有之前讀到的單詞的函數輸出。

圖 2：循環神經網路通過對每個詞應用相同的函數（綠色）來讀取輸入語句

RNN 也可以用類似的方式產生輸出序列。在每個步驟中，RNN 隱藏狀態用於生成添加到最終輸出文本的新詞，該詞將被用作該模型的下一個輸入。

圖 3：RNN 可以生成輸出序列，並重使用輸出單詞作為下一個函數的輸入。

輸入（讀取）和輸出（生成）RNN 可以組合在聯合模型中，其中輸入 RNN 的最終隱藏狀態被用作輸出 RNN 的初始隱藏狀態。以這種方式組合，聯合模型能夠讀取任何文本並從中生成不同的文本。該框架稱為編碼器-解碼器（encoder-decoder）RNN（或 Seq2Seq），它是我們摘要模型的基礎。另外，我們用雙向編碼器替代傳統的編碼器 RNN，它使用兩個不同的 RNN 來讀取輸入序列：一個從左到右讀取文本（如圖 4 所示），另一個從右到左讀取。這有助於我們的模型更好地表示輸入語境。

圖 4：編碼器-解碼器 RNN 模型可用於解決自然語言中的 sequence-to-sequence 任務（如摘要）

一種新的注意及解碼機制

為了使我們的模型輸出更連貫，我們允許解碼器在生成新單詞時回顧部分輸入文檔，這種技術稱為時間注意（temporal attention）模型。與完全依賴自己的隱藏狀態不同，解碼器可以通過注意函數（attention function）整合不同部分的輸入語境信息。調整注意函數，以確保模型在生成輸出文本時使用不同部分的輸入，從而增加摘要的信息覆蓋度。

另外，為了確保我們的模型不產生重複信息，我們還允許它回顧解碼器之前的隱藏狀態。用類似的方式，我們定義內部解碼注意函數（intra-decoder attention function），它可以回顧解碼器 RNN 之前的隱藏狀態。最後，解碼器將來自時間注意模型的語境向量（context vector）與來自內部解碼注意函數的語境向量相結合，在輸出摘要中生成下一個詞。圖 5 展示了在給定解碼步驟中這兩個注意函數的聯合過程。

圖 5：由編碼器隱藏狀態和解碼器隱藏狀態計算得到的兩個語境向量（標記為「C」）。使用這兩個語境向量和當前的解碼器隱藏狀態（「H」），生成一個新的詞（右）並添加到輸出序列中。

如何訓練模型？監督式學習 VS. 強化學習

要訓練這個模型並應用於新聞文章等真實數據，通常的方法是使用教師強迫演算法（teacher forcing algorithm）：一個模型在生成一個摘要時使用參考摘要（reference summary），並且該模型在每生成一個新單詞時會被分配一個逐詞誤差（word-by-word error，或「局部監督/local supervision」，如圖 6 所示）。

圖 6：用監督式學習訓練模型。每個生成的單詞得到一個訓練監督信號，通過與同一位置的正確摘要單詞進行比較來進行訓練。

該方法可用於訓練任意基於循環神經網路的序列生成模型，具有非常好的結果。然而，對於我們的特定任務，正確的摘要不一定要按照逐字來匹配參考序列。你可以想像，對於同樣的新聞文章，兩個人可能在風格、單詞或句子順序上產生不盡相同的摘要，但仍然認為摘要是好的。教師強迫演算法的問題是：一旦產生了前幾個單詞，訓練就會被誤導：嚴格遵守一個官方正確的摘要，但不能適應一個潛在正確但不同的開頭。

考慮到這一點，我們可以比教師強迫的逐詞方法做得更好。這裡可以應用一種稱為強化學習（RL）的不同類型的訓練。首先，強化學習演算法使模型生成自己的摘要，然後使用外部評分器（scorer）來比較生成的摘要與正確摘要。這個評分器然後向模型表明生成的摘要有多「好」。如果分數很高，那麼模型進行更新，使得這些摘要更有可能在將來出現。否則，如果得分低，模型將受到懲罰，並改變其生成過程以防止生成類似的摘要。這種強化模型擅長得出用於評估整個序列而不是逐詞預測的摘要分數。

圖 7：在強化學習中，模型沒有對應每個預測詞的局部監督信號，而是用基於整個輸出和摘要參考的獎勵信號（reward signal）進行訓練。

如何評估摘要？

評分器到底是什麼？它如何分辨出一個摘要的「好壞」？由於要人手動評估數以萬計的摘要在很大程度上是耗時並不切實際的，因此，我們使用一種名為 ROUGE（Recall-Oriented Understudy for Gisting Evaluation）的自動評分指標。ROUGE 通過對比摘要中將生成的摘要中的匹配子短語和實際數據的參考摘要中的子短語來運作，即使它們並不是完全一致的。不同的 ROUGE 變體（ROUGE-1、ROUGE-2、ROUGE-L）都以相同的方式工作，但使用不同的子序列長度。

儘管 ROUGE 分數與人類判斷總體上有很好的相關性，但 ROUGE 最高分的總結不一定是最可讀或最自然的。當我們僅通過強化學習來訓練模型使 ROUGE 得分最大化時，這就成為一個問題。我們觀察到我們具有最高 ROUGE 分數的模型也會生成幾乎不可讀的摘要。

為了發揮兩個領域的優勢，我們的模式同時受到教師強迫和強化學習的訓練，能夠利用詞級和整個摘要層面的監督使摘要具有連貫性和可讀性。特別是我們發現 ROUGE 優化的強化學習有助於改善回調（即所有需要總結的重要信息實際上已經被總結），並且詞級學習監督能確保良好的語言流暢性，使得摘要更連貫可讀。

圖 8：監督學習（紅色）和強化學習（紫色）的組合，演示了我們的模型同時學習本地和全局獎勵並同時優化可讀性和整體 ROUGE 分數的方法

直到最近，CNN / Daily Mail 數據集中的抽象摘要的最高 ROUGE-1 分數是 35.46。結合解碼器內部注意 RNN 模型的聯合監督和強化學習訓練，這個分數提高到了 39.87，並且，如果僅是強化學習，該分數為 41.16。圖 9 顯示了我們和其他的現有模型的摘要分數。即使我們的純強化學習模型具有較高的 ROUGE 分數，我們監督的+ 強化學習模型具有較高的可讀性，因此它與該摘要任務更加相關。注意： 由於使用稍微不同的數據格式，Nallapati et al 的結果與我們的和其他數據格式不能直接相比，但仍然給出了很好的參考。

圖 9： CNN / Daily mail 數據集的摘要結果，比較我們的模型與現有的抽象式和提取式方法

樣本輸出

對於真正的摘要，這樣大的改進意味著什麼？現在我們來看一些根據數據集拆分的文檔形成的多語句摘要。在 CNN / Daily Mail 數據集上訓練後，我們的模型和它更簡單化的基線生成了以下示例。正如你所看到的，這些摘要已經大大改善，但是還需要更多的工作來使它們完美。

圖 10：我們的模型生成的更多的摘要例子，對比同一篇文章的人工撰寫的摘要

為了說明我們在文本摘要方面的主要貢獻帶來的影響，圖 11 顯示了如果不考慮內部注意力和強化學習訓練，我們模型的輸出是如何離題的。

圖 11：我們的模型生成的示例摘要，有和沒有我們的主要貢獻。原始文章中不存在的新詞將以綠色顯示。摘要中重複的短語顯示為紅色。

結論

我們的模型顯著提高了在多語句摘要生成方面的最新技術水平，優於現有的抽象式模型和提取式基線。我們相信，我們的貢獻（解碼器內部注意模塊和組合的訓練目標）可以改善其他的序列生成任務，特別是較長的輸出。

我們的工作也涉及諸如 ROUGE 等自動評估指標的限制，這表明需要更好的指標來評估和優化摘要模型。一個理想的度量指標在摘要的連貫性和可讀性方面應與人類的判斷相一致。當我們使用這樣的指標來強化摘要模型時，摘要的質量可能會進一步提高。

以下為相關論文的摘要介紹：

論文：A Deep Reinforced Model for Abstractive Summarization

用於抽象式摘要的基於注意 RNN 的編碼器-解碼器模型已經在短輸入和輸出序列上取得了良好的表現。但是，對於更長的文檔和摘要，這些模型通常會包含重複的和不連貫的短語。我們引入了一種帶有內部注意（intra-attention）的神經網路模型和一種新的訓練方法。這種方法將標準的監督式詞預測和強化學習（RL）結合到了一起。僅使用前者訓練的模型常常會表現出「exposure bias」——它假設在訓練的每一步都會提供 ground truth。但是，當標準詞預測與強化學習的全局序列預測訓練結合起來時，結果得到的摘要的可讀性更高。我們在 CNN/Daily Mail 和 New York Times 數據集上對這個模型進行了評估。我們的模型在 CNN/Daily Mail 數據集上得到了 41.16 的 ROUGE-1 分數，比之前的最佳模型高出了顯著的 5.7 分。其也是第一個在 New York Times 語料庫上表現良好的抽象式模型。人類評估也表明我們的模型能得到更高質量的摘要。