OpenAI新研究發現無監督情感神經元：可調控生成文本的情感

選自OpenAI

作者：Alec Radford等

機器之心編譯

參與：吳攀

近日 OpenAI 公布了一項新研究，介紹了一種可以學習情感表徵的無監督式的系統，該系統可以預測亞馬遜網站上評論文本中的下一個字元，而讓人驚訝的是，該系統中還出現了意料之外的「情感神經元（sentiment neuron）」，其囊括了幾乎所有的情感信號。OpenAI 官方博客刊文對這一研究進行了解讀，機器之心對該解讀文章和論文摘要進行了編譯，原論文可點擊文末「閱讀原文」查閱。

• 論文地址：https://arxiv.org/abs/1704.01444

• 開源代碼：https://github.com/openai/generating-reviews-discovering-sentiment

我們開發了一個可以學習到出色的情感（sentiment）表徵的無監督式系統，儘管訓練出的這個系統只能預測亞馬遜評論文本中的下一個字元。

使用這種表徵的一個線性模型在一個小卻得到了廣泛研究的數據集（Stanford Sentiment Treebank）上實現了當前最佳的情感分析準確度——91.8%，而之前的最高水平是 90.2%；而且該模型可以僅使用少 30-100 倍的有標註樣本就能達到比肩之前的監督式系統的表現。我們的表徵中也包含了一個明顯的「情感神經元（sentiment neuron）」，其囊括了幾乎所有的情感信號。

使我們的模型的兩個變體（綠線和藍線）的表現媲美完全監督式方法而所需的有標註樣本的數量，其中每個變體都使用了 6920 個樣本來進行訓練（灰色虛線）。我們的 L1-regularized 模型（在亞馬遜評論上以無監督的方式預訓練過）可以僅使用 11 個有標註樣本就能實現媲美多通道 CNN（multichannel CNN）的表現，且僅使用 232 個樣本就能媲美當前最佳的 CT-LSTM Ensembles

我們的模型學習到了一個可解釋的功能，而且這種對亞馬遜評論中下一個字元的簡單預測可以實現對情感概念（concept of sentiment）的發現；這讓我們也非常驚訝。我們相信這個現象並不特定於我們的模型，而是被訓練用來預測輸入的下一步或下一個維度的特定大型神經網路的普遍性質。

方法

我們首先在一個有 8200 萬條亞馬遜評論的語料庫上訓練了一個有 4096 個單元的乘法 LSTM（multiplicative LSTM），以用來預測一段文本中的下一個字元。在我們的 4 塊英偉達 Pascal GPU 上，我們的訓練花了 1 個月時間——我們的模型每秒可以處理 12,500 個字元。

這 4096 個單元（它們只是浮點數的向量）可被看作是一種特徵向量，表徵了該模型所讀取的字元串。在訓練了該 mLSTM 之後，我們對這些單元進行了一種線性組合（linear combination）並通過可用的監督數據學習了該組合的權重，從而將該模型變成了一個情感分類器（sentiment classifier）。

情感神經元（sentiment neuron）

在使用 L1 regularization 訓練該線性模型時，我們注意到其僅使用了極其少的學習過的單元。研究之後，我們發現其中存在一個單個的「情感神經元（sentiment neuron）」，其能很好地預測情感值（sentiment value）。

我們模型中的情感神經元可以將評論分類為負面（negative）或正面（positive），儘管該模型的訓練目的只是為了預測文本中的下一個字元。

就像類似的模型一樣，我們的模型也可被用於生成文本。但和那些模型不同的是，我們可以直接控制文本結果的情感：我們只需要簡單修改情感神經元的值即可。

由訓練好的模型所生成的合成文本例子。上面的文本是我們在固定了情感單元的值（以確定評論的情感）後從該模型所生成的樣本中隨機取出的。下面的文本是我們使用了固定前置「I couldn"t figure out」後從模型生成的樣本中選出的高似然度樣本。

例子

下圖一個字元接一個字元地展示了該情感神經元的值，其中負值用紅色表示，正值用綠色表示。注意像「best（最好的）」和「horrendous（可怕的）」這樣的有強烈指示性的詞會導致顏色發生劇變。

該情感神經元在逐一字元地調整其值

值得注意的是，該系統在完成了句子或短語之後也會進行較大的更新。比如說，在句子「And about 99.8 percent of that got lost in the film」中，在「lost」之後會有一次負面更新，而在句子結束時還有一次更大的更新，儘管短語「in the film」本身並沒有情感內容。

無監督學習

有標註數據是當今機器學習的燃料。收集數據很簡單，但大規模地標註數據則很困難。只有帶來的回報值得我們努力的重要問題才值得我們為其進行標註，比如機器翻譯、語音識別或自動駕駛。

長久以來，機器學習研究者都一直夢想著開發出能自己學習數據集表徵的無監督學習演算法，然後將其用於解決僅有少量有標註樣本的任務。我們的研究表明，簡單地在大量數據上訓練大型無監督下一步預測模型（unsupervised next-step-prediction model）可能是一種可用於創建優秀的表徵學習系統的好方法。

未來研究

我們的研究向著通用型無監督表徵學習的目標邁進了一步。我們通過探索我們能否在語言建模時附帶學習到高質量的表徵而發現了這個結果，並且在一個精心選擇的數據集上擴展了一個已有的模型。然而該基本現象的神秘之處還是多於我們已了解的東西。

• 這些結果對長文檔的數據集來說表現並不是很好。我們猜測我們的字元級的模型難以記憶數百乃至數千時間步驟的信息。我們認為應當嘗試一下層次模型，其可以適應它們運行時的時間尺度。進一步擴展這些模型也許還能進一步提升表徵保真度（representation fidelity）以及在情感分析和類似任務上的表現。

• 當輸入文本和評論數據差別越大時，該模型的表現就越差。拓寬文本樣本的語料庫能否得到同等信息量的表徵？該表徵又能否用於更寬範圍的領域？還有待驗證。

• 我們的結果表明非常大型的下一步預測模型（next-step-prediction model）可以學習到出色的無監督表徵。在一個大規模視頻集上訓練一個大型神經網路來預測下一幀有可能會得到對物體、場景和動作分類器的無監督表徵。

總的來說，理解模型、訓練方案和數據集的屬性是很重要的，從而能可靠地得到這樣出色的表徵。

以下是對該研究相關論文的摘要介紹：

論文：學習生成評論和發現情感（Learning to Generate Reviews and Discovering Sentiment）

我們探索了位元組級循環語言模型（byte-level recurrent language model）的性質。當具有足夠的計算能力、訓練數據和計算時間時，這些模型所學習到的表徵會包含對應於高級概念的解開的特徵（disentangled feature）。具體而言，我們發現了一個執行情感的單個單元。這些以無監督的形式學習到的表徵在 Stanford Sentiment Treebank 的二元子集上達到了當前最佳。它們也非常具有數據效率。當僅使用少量有標註的樣本時，我們的方法實現了可媲美在完全數據集上訓練的強大基準的表現。我們還表明該情感單元可直接影響該模型的生成過程。只需將其值固定為正或負，就能生成對應於正面情感或負面情感的樣本。