清華大學矣曉沅：「九歌」——基於深度學習的中國古典詩歌自動生成系統

雷鋒網AI研習社按：近年來人工智慧與文學藝術的結合日趨緊密，AI自動繪畫、自動作曲等方向都成為研究熱點。詩歌自動生成是一項有趣且具有挑戰性的任務。在本次公開課中， 講者將介紹清華自然語言處理與社會人文計算實驗室的自動作詩系統，「九歌」，及其相關的技術方法和論文。

分享嘉賓：

矣曉沅，清華大學計算機系在讀碩士， 導師為孫茂松教授。主要從事自然語言處理、文本生成方向的研究。研究工作在IJCAI、CoNLL、EMNLP等會議發表。

分享主題：「九歌」——基於深度學習的中國古典詩歌自動生成系統

分享提綱：

任務背景及「九歌」 作詩系統簡介

基於顯著性上下文機制的詩歌生成

基於工作記憶模型的詩歌生成

基於互信息的無監督風格詩歌生成

雷鋒網AI研習社將其分享內容整理如下：

人工智慧的概念提出不久後，許多科學家試圖將人工智慧與日常生活相結合。在 NLP 領域，我們熟悉的有機器翻譯、專家系統和對話系統，而詩歌屬於人類語言中高度凝練，高度藝術化的體現，幾十年以前便有科學家試圖讓 AI 具備創作詩歌的能力。

關於自動詩歌生成，我們的應用主要體現在：

一、娛樂場景——老百姓可以輕易通過詩意的方式去表達自己的情感；

二、詩詞教育——了解詩詞中的關鍵詞、意象、押韻等元素是如何在詩詞中起作用的。

三、文學研究——實驗中關於詞頻、意象之間的關係的發現，能給文學研究一定的啟發作用。

四、啟發其他類型文本的生成（歌詞、小說……）。

詩歌的特點是形式上高度凝練、簡潔、節奏感強、語義豐富，因此我們認為它是自動分析、理解和生成文本的理想切入點。

關於自動詩歌的生成，業界的研究主要經歷了三個階段：

我們實驗室是在 2016 年初開始做這件事情的，我們的九歌系統採用了最新的深度學習技術，結合多個為詩歌生成專門設計的不同模型，基於超過 30 萬首的詩歌進行訓練學習，能夠產生集句詩、絕句、藏頭詩、宋詞等不同體裁的詩歌。

下面我會給大家介紹九歌系統背後的幾個重要模型：

基於顯著性上下文機制的詩歌生成

第一個模型被稱作「基於顯著性上下文機制的詩歌生成」，在這之前，針對中國古典詩歌自動生成的一些工作在新穎性、韻律和關鍵詞插入有了顯著提升，然而在上下文關聯性方面還有所欠缺。前期的試驗中，我們發現這也是自動詩歌生成系統的硬傷部分。

以這首詩為例子，詩歌主要以「春風」為關鍵詞，通過 2016 的某個模型進行生成後，我們發現上下文的連貫性非常差。明明前兩句描述的是比較和煦的景色，後兩句卻突然轉變成比較悲愴的邊塞風格。也就是說，前半部分與後半部分的主題、風格和內容完全不一致，而且中間也缺乏必要的過渡，關聯性較差。

為什麼模型會出現這樣的問題呢？我們認為是因為之前的模型存在兩種不合理的假設。

第一種是認為一首詩的生成過程中，歷史信息可以被一個單獨的歷史向量存儲和利用。

簡單來說，就是每生成一句詩，便將這句詩的句向量壓縮到歷史向量中，以此類推，不停更新歷史向量然後生成詩句。

這個假設會帶來很多問題：

首先，單獨的向量的 capasity 並不高，無法將大量的句子和語義給保存下來。

第二，語義較好的詞和無明確語義的詞（如停用詞等）被混到了一起。

第二種不合理的假設認為 seq2seq 機制可以從一個無限長的歷史序列里探索和利用歷史信息。

這種假設的好處是可以有區分性地選擇歷史信息，忽略虛詞。然而隨之而來的問題是，當詩詞的句子數過多時，比如以某宋詞的第十五句作為例子，那麼就需要將前面的十四句先拼成很長的序列作為輸入，這將導致性能的大幅下降。

針對以上提到的兩項問題，我們提出了 salient clue 機制，通過機制實現更優質的上下文捕捉。我們的內部設計邏輯是忽略句子里語義表現較差的部分，如虛詞、停用詞等，從而選擇語義明確的部分來形成歷史向量，來指導下文的生成。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！