Facebook 用神經網路寫十四行詩，比人類更像人類

1 新智元編譯

詩歌自動生成模型不僅需要聚焦於「正在寫什麼」（內容），還要聚焦「如何寫」（形式）

微軟詩人小冰不寂寞了，在她寫下詩集《陽光失了玻璃窗》之後，Facebook 人工智慧研究院和劍橋大學一起，也開始研究用神經網路生成韻律詩了。從小冰那本詩集中的作品看，「韻律」應該不是小冰作詩時考慮的要素。讓我們簡單感受一下。

幸福的人生的逼迫

這就是人類生活的意義

——小冰

The crow crooked on more beautiful and free，

He journeyed off into the quarter sea.

——FAIR 論文中AI自動生成的詩歌

詩歌是語言交際的高級形式，其中傳達了一類信息，既滿足審美，又要符合語義約束。由於詩歌是語言最具表現力的形式之一，能被當作是詩歌的文本自動創作具有相當難度。除了需要理解語言的許多方面，包括韻律、節奏和頭韻等語音模式，詩歌創作還需要對語義的深刻理解。

詩歌生成可以分為兩個子任務，即與詩歌語義有關的內容問題，以及與詩歌遵循的審美規則有關的形式問題。這些規則描述的可能是一些文學要素，通常具有高度的規範性（從這個角度上說，小冰所選擇切入的中國現代詩，其約束確實要少一些）。舉例來說，不同形式的詩歌（這一研究的對象當然是英語詩歌），如 limerick（五行打油詩）、ballad（民謠）和 sonnet（十四行詩）。例如，limerick 的特點是它們要嚴格按照韻律規則（AABBA）、節奏（兩個非重音節接一個重音節），而第三和第四行較短。創造這樣的詩歌不僅需要理解語言本身，還需要了解大聲朗讀時聽上去如何。

統計文本生成通常需要構建一個生成語言模型，學習任何給定的詞語、給定的上下文的概率。神經語言模型（Schwenk 和 Gauvain，2005; Bengio 等，2006）學習自然語言的複雜語法和語義表徵的能力已經吸引了巨大的研究興趣（Mikolov 等，2010； Sutskever 等，2014；Cho 等，2014; Kim 等，2015）。詩歌生成是一個有趣的應用，因為自動執行此任務需要創建的模型不僅聚焦於「正在寫什麼」（內容），還要聚焦「如何寫」（形式）。

FAIR 和劍橋提出了兩種新方法

為了完成這一任務，Facebook 人工智慧研究院（FAIR）和劍橋大學的這項研究提出了兩種新方法。第一個涉及到通過使用語音編碼來訓練模型，以學習內容和形式的隱含表示。第二個涉及到訓練生成語言模型來表徵內容，然後由表徵形式的判別式發音模型來約束。第二種模型特別有趣，因為可以通過調整發音模型來產生具有任意韻律、節奏、重複和主題的詩歌。

圖1：在Iambic Pentameter（五音步抑揚格）詩歌上訓練的語音級模型（phonetic-levelmodel）的輸出示例（突出了語法錯誤）。

圖4：自動生成和人類創作的詩歌的例子。（a）字元級模型（Character-levelmodel） - 嚴格的節奏規則– 抑揚格– 無主題；（b）字元級模型- 嚴格的節奏規則– 抑抑揚格；（c）字元級模型- 雙聲疊韻。（d）艾米莉·狄金森- - I』m nobody, whoare you?（e）語音級模型– Nonsensical 抑揚格線。

圖5：要求受試者區分自動生成詩歌和人類詩歌的實驗環境。

論文摘要

摘要：

我們提出了兩種自動生成各種形式的韻律詩的新方法。第一種方法使用訓練語音編碼的神經語言模型來學習英語詩歌形式和內容的隱含表達。這種模型可以有效地學習諸如韻律、節奏和頭韻等常見的詩歌要素。第二種方法將詩歌生成視為約束滿足問題，其中生成式神經語言模型的任務是學習內容表示，判別式加權有限狀態機基於形式對其進行約束。通過操縱模型的約束，我們可以產生任意形式和主題的連貫的詩歌。大規模的外部評估表明，在 54% 的時間內，受試者會認為機器生成的詩是由人類寫的。此外，參與者將一首機器生成的詩評為了所有參評詩歌中最像人類寫的詩。

論文地址：https://research.fb.com/wp-content/uploads/2017/06/automatically-generating-rhythmic-6-2.pdf?

點擊閱讀原文可查看職位詳情，期待你的加入~

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！