遞歸神經網路創作音樂和模仿莎士比亞寫小說

親愛的同學們，這是károly fajir的兩分鐘論文。

人工神經網路是非常有用的工具，能夠學習和識別圖像上的物體或學習梵高的繪畫風格，並以他的風格繪製新的畫作。

今天我們將討論遞歸神經網路（RNN）。那麼遞歸（recurrent）部分是什麼意思？

使用人工神經網路，我們通常在輸入和輸出之間具有一對一的關係。這意味著一個圖像進來，一個分類結果出來，無論圖像描繪人臉還是火車。

使用遞歸神經網路，我們可以有一對多的關係。輸入仍然是一個圖像，但輸出不會是一個單詞，而是一個單詞的序列，描述了我們在圖像上看到的一個句子。

對於多對一的關係，一個很好的例子是情緒分析，這意味著例如句子的輸入序列被分類為負或正。

這對於處理電影評論非常有用，我們想知道用戶喜歡或討厭電影，而無需閱讀數十頁的討論頁面。

最後，遞歸神經網路也可以處理將輸入序列轉換為輸出序列的多對多關係。這樣做的例子可以是機器翻譯，其輸入句子並將其轉換為不同語言的輸出句子。

對於多對多關係的另一個例子，讓我們看看在閱讀托爾斯泰《戰爭和和平》小說之後，演算法學到了什麼，要求它以這種風格寫出來，應該注意的是，生成一本新的小說是通過字母的形式發生的，所以演算法不允許記住單詞。

我們來看看培訓過程不同階段的結果。最初的結果是很好的，但是演算法似乎立刻意識到這些詞基本上是一大堆被空格分開的字母。

如果我們稍等一會兒，我們看到它開始對結構有一個非常初步的了解。例如打開的引號必須關閉，句子可以被句號關閉，後面跟著一個大寫字母開頭。

後來，它開始學習更短和更常見的詞，如fall,that,the,for,me。

如果我們等待更長時間，我們看到它已經掌握了較長的單詞，已經開始有意義的短句子。

這是莎士比亞風格的作品片段，演算法通過閱讀他的所有作品之後生成的。你看到有意義的名字，你真的必須徹底檢閱文本，以得出結論，這確實不是真正的莎士比亞片段。

它也可以嘗試寫數學論文，我不得不查看相當一段時間，直到我意識到有些東西是不對頭的。我認為它可以非常容易地欺騙非專家的讀者。你能相信嗎？這很瘋狂！

它還能夠學習Linux操作系統的源代碼，並生成看起來很合理的新代碼。

它也可以繼續撰寫這首歌，迪士尼冰雪皇后的《Let it Go》。

所以遞歸神經網路是令人驚奇的工具，開闢了全新的視野，用於解決輸入或輸出不是一個東西，而是一系列東西的問題。現在一個遞歸神經網路正在展示它的智慧。

"Well, your wit is in the care of side and that."

無論你走到哪裡，都要記住這一點。

感謝觀看，下次再見！

RNN和LTSM資源：

Andrej Karpathy s original article is available here:

http://karpathy.github.io/2015/05/21/rnn-effectiveness/

Source code:

https://github.com/karpathy/char-rnn

The paper "Long Short-Term Memory" by Sepp Hochreiter and Jürgen Schmidhuber is available here:

http://deeplearning.cs.cmu.edu/pdfs/Hochreiter97_lstm.pdf

Continuing "Let It Go" from Disney with a recurrent neural network:

https://ericye16.com/music-rnn/](https://ericye16.com/music-rnn/

A great write-up on how LSTMs work:

http://colah.github.io/posts/2015-08-Understanding-LSTMs/

了解更多：探索LSTM：基本概念到內部結構

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！