谷歌NeurIPS 2018：全新NLP工具煉成會改變文風的AI

新聞 12-11

新智元報道

來源：Venturebeat

編輯：大明

【新智元導讀】本文總結了2018年下半年，最火的開源框架、模型，以及社區。同時還提到一個有趣的現象，每20分鐘就有一篇AI論文現世。最後作者為新智元讀者推薦3本經典深度學習教程。

代筆們，槍手們，小心了！會改文風的AI來了！

日前，在加拿大蒙特利爾舉辦的AI頂會NeurIPS 2018上，來自密歇根大學和谷歌大腦的研究人員提出了一種新的面向NLP任務的機器學習新架構，不僅能夠根據給定的實例生成句子，而且能夠在保留句子意思的情況下，改變句子表達的感情、時態、複雜度等屬性。

論文鏈接：

https://papers.nips.cc/paper/7757-content-preserving-text-generation-with-attribute-controls.pdf

研究人員稱，這一技術有望可能用於多種用途，比如複述、小組會議、機器翻譯、對話系統等。該系統可以作為今年前不久微軟推出的NLP弱結構關係推理工具的有力補充。

研究人員表示，「我們通過本文解決了對句子屬性的修改問題，在無需平行數據的情況下首次成功對句子的多個屬性進行了修改。」

本文中介紹的AI系統可以改變句子的感情色彩，即褒貶義、正負面感情色彩的改變。數據集來自Yelp用戶點評內容和IMDB影片評論

該團隊首先解決感情控制問題。研究數據基於兩大用戶生成的文本數據集：點評應用Yelp評論數據集的過濾版本，以及IMDB網站上的大量電影評論進行，這兩個數據集的句子數量分別達到44.7萬和30萬，用於訓練系統。

在訓練之後，研究人員使用12.8萬條Yelp餐廳評論和3.6萬條IMDB電影評論的測試數據集，嘗試從具有負面情緒的句子中生成具有正面情緒的文本片段，反之亦然。

BLEU是評估機器翻譯文本質量的標準化指標，本文中提出的AI系統在BLEU評估中的表現勝過了兩種當前效果最好的文本生成方法。

此外，這個系統始終能夠生成與輸入句子相關的、語法正確的句子。在某種程度上，參與亞馬遜Mechanical Turk項目的人認為模型生成的輸出比以前的方法得到的輸出的真實度更高。

該模型生成的句子非常連貫自然。比如，它將「櫃檯後面的人並不友好」轉換成了「櫃檯上的人非常友好和樂於助人。」在另一個例子中，該模型把「這是關於這部電影，還有一個有趣的方面」，變成了這部電影「沒有值得關注的質量」。

令人更加印象深刻的是，另一項測試中的研究人員使用該系統同時控制句子的多種屬性，包括情緒，時態，聲音和情緒等。在對多倫多BookCorpus數據集的200萬個文本片段的數據集進行訓練之後，模型能夠將將來時句子中的指示性情緒（「John將無法住在營地里」），轉換為條件時態中的虛擬語氣（「John不能住在營地「）。

如上圖所示，系統可以同時修改輸入句子的多個屬性，如感情、時態、主動/被動式以及肯定/否定等

研究人員表示，「本文表明，我們的轉換模型通過各種實驗和指標有效地反映了條件信息。以前的成果主要是關於句子單個屬性的控制，並在兩種模式之間進行轉換，本文中的模型應用很容易擴展到多屬性的轉換場景。在這個框架下，未來方向是轉換句子紅具有連續值的屬性，以及範圍更大的語義和句法屬性。「

量度標準與實驗結果

表1：情感條件句子生成的定量評估。屬性兼容性表示生成的句子的標籤的準確性，由預訓練後的分類器來量度。句子內容的保留程度由（BLEU-1（B-1）和BLEU-4（B-4）分數）評估。根據預訓練的分類器量度生成「困惑度」指標，來評估輸出句子的流暢度。對於準確性和內容兼容性指標，數值越高更好，對於困惑度，數字越低越好。