用深度學習解決自然語言處理中的7大問題，文本分類、語言建模、機器翻譯等

新智元編譯

來源：machinelearningmastery.com

作者：Jason Brownlee

編譯：neko

【新智元導讀】自然語言處理領域正在從統計學方法轉向神經網路方法。在自然語言中，仍然存在許多具有挑戰性的問題。但是，深度學習方法在某些特定的語言問題上取得了state-of-the-art的結果。這篇文章將介紹深度學習方法正在取得進展的7類自然語言處理任務。

自然語言處理領域正在從統計學方法轉向神經網路方法。在自然語言中，仍然存在許多具有挑戰性的問題。但是，深度學習方法在某些特定的語言問題上取得了state-of-the-art的結果。不僅僅是在一些benchmark問題上深度學習模型取得的表現，這是最有趣的；事實上，單個模型可以學習單詞的含義和執行語言任務，從而避免需要一套專門的、人工的方法。

這篇文章將介紹深度學習方法正在取得進展的7類有趣的自然語言處理任務。

文本分類

語言建模

語音識別

字幕生成

機器翻譯

文檔摘要

問題回答

每個任務都提供了對問題的描述，一個例子，以及有關演示方法和結果的論文的引用。大多數參考資料來自Goldberg的A Primer on Neural Network Models for Natural Language Processing（https://arxiv.org/abs/1510.00726）。

1. 文本分類

給定一個文本的例子，預測一個預定義的類標籤。

文本分類的目的是對文檔的話題或主題進行分類。

——統計自然語言處理基礎（Foundations of Statistical Natural Language Processing，1999）

流行的分類示例是情緒分析，其中類標籤表示源文本的情緒基調，例如「積極」或「消極」。

以下是另外3個例子：

垃圾郵件過濾，將電子郵件文本分類為垃圾郵件。

語言識別，對源文本的語言進行分類。

流派分類，對虛構故事的流派進行分類。

此外，這個問題也可能是一個文本被分為多個類的方式，即所謂的多標籤分類。例如，預測源推文的多個標籤。

更多閱讀：

文本分類-學術百科 www.scholarpedia.org/article/Text_categorization

文檔分類-維基百科 https://en.wikipedia.org/wiki/Document_classification

下面是有關文本分類的一些深度學習論文：

對爛番茄影評的情感分析

Deep Unordered Composition Rivals Syntactic Methods for Text Classification, 2015. https://cs.umd.edu/~miyyer/pubs/2015_acl_dan.pdf

對amazon產品評論、IMDB電影評論和分類主題新聞文章情緒分析

Effective Use of Word Order for Text Categorization with Convolutional Neural Networks, 2015. https://arxiv.org/abs/1412.1058

對電影評論的情緒分析，將句子歸類為主觀或客觀，對問題類型進行分類，對產品評論的情感進行分類，等等。

Convolutional Neural Networks for Sentence Classification, 2014. https://arxiv.org/abs/1408.5882

2. 語言建模

語言建模實際上是一個更有趣的自然語言問題的子任務，特別是那些在其他輸入條件下調節語言模型的問題。

這個問題是根據前面的單詞預測下一個單詞。該任務是語音識別或光學字元識別（OCR）的基礎，也用於拼寫校正、手寫識別和統計機器翻譯。

——Foundations of Statistical Natural Language Processing (page 191), by Christopher D. Manning & Hinrich Schütze

除了語言建模的學術興趣，它是許多深度學習自然語言處理架構的關鍵組成部分。語言模型學習辭彙之間的概率關係，生成在統計上與源文本一致的新的辭彙序列。

單獨來說，語言模型可以用於文本或語音生成；例如:

生成新的文章標題

生成新的句子、段落或文檔

生成一個句子的後續句子

有關語言建模的更多內容，參閱:

語言建模-維基百科 https://en.wikipedia.org/wiki/Language_model

循環神經網路的不合理有效性（The Unreasonable Effectiveness of Recurrent Neural Networks）2015

基於生成模型的文本到語音合成 https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture 10 - Text to Speech.pdf

下面是一個關於語言建模深度學習例子:

英語文本、書籍和新聞文章的語言模型

一種神經概率語言模型（A Neural Probabilistic Language Model）www.jmlr.org/papers/v3/bengio03a.html

3.語音識別

語音識別是指理解所說的問題。語音識別的任務是將一個包含自然語言話語的聲音信號映射到說話者預期的相應序列。

——深度學習（page 458）

給定話語的音頻數據，語音識別模型需要生成人類可讀的文本。考慮到這個過程的自動性質，這個問題也可以被稱為自動語音識別(ASR)。使用語言模型來創建文本輸出，該輸出基於音頻數據。

一些例子包括：

轉錄講話

為電影或電視節目製作文字說明

開車時用語音發出指令

有關語音識別的更多信息，請參閱：

語音識別-維基百科 https://en.wikipedia.org/wiki/Speech_recognition

下面是三個用於語音識別的深度學習方法的例子：

英語語音轉文本

Connectionist Temporal Classification: Labelling Unsegmented Sequence Data with Recurrent Neural Networks，2006

www.cs.toronto.edu/~graves/icml_2006.pdf

Speech Recognition with Deep Recurrent Neural Networks, 2013.

https://arxiv.org/abs/1303.5778

Exploring convolutional neural network structures and optimization techniques for speech recognition, 2014.

https://www.microsoft.com/en-us/research/publication/exploring-convolutional-neural-network-structures-and-optimization-techniques-for-speech-recognition/

4. 字幕生成

字幕生成是有關描述圖像內容的問題。給定例如照片等數字圖像，生成圖像內容的文本描述。語言模型用於創建以圖像為條件的描述。

一些例子包括：

描述場景內容

創建照片標題

描述視頻

這不僅僅是為聽力障礙者的應用，而且還可以生成可用於搜索圖像和視頻的具有可讀性的文本，例如在網路上。

以下是3個字幕生成深入學習方法的例子：

生成照片標題

Show, Attend and Tell: Neural Image Caption Generation with Visual Attention, 2016.

https://arxiv.org/abs/1502.03044

Show and tell: A neural image caption generator, 2015.

https://arxiv.org/abs/1411.4555

生成視頻字幕

Sequence to Sequence – Video to Text, 2015.

https://arxiv.org/abs/1505.00487

5. 機器翻譯

機器翻譯是將一種語言的源文本轉換為另一種語言的問題。

機器翻譯，將文本或語音從一種語言自動翻譯成另一種語言，是NLP最重要的應用之一。

——統計自然語言處理基礎，463頁，1999。

考慮到神經網路的使用，這一領域也被稱為神經機器翻譯。

在機器翻譯任務中，輸入已經由某種語言的符號序列組成，並且計算機程序必須將其轉換成其他語言的符號序列。這通常適用於自然語言，例如從英語翻譯成法語。深度學習最近開始在這類任務上有重要影響。

——深度學習，98頁，2016

語言模型用於以另一種語言輸出目標文本，以源文本為條件。

一些例子包括：

將文本文件從法語翻譯成英語

將西班牙語音頻轉換為德語文本

將英語文本翻譯成義大利語音頻

有關神經機器翻譯的更多信息，參閱：

神經機器翻譯-維基百科 https://en.wikipedia.org/wiki/Neural_machine_translation

以下是機器翻譯深度學習方法的3個例子：

將英語翻譯成法語

Sequence to Sequence Learning with Neural Networks, 2014.

https://arxiv.org/abs/1409.3215

Neural Machine Translation by Jointly Learning to Align and Translate, 2014.

https://arxiv.org/abs/1409.0473

Joint Language and Translation Modeling with Recurrent Neural Networks, 2013.

https://www.microsoft.com/en-us/research/publication/joint-language-and-translation-modeling-with-recurrent-neural-networks/

6. 文檔摘要

文檔摘要是創建文本文檔的簡短描述的任務。即，使用語言模型來輸出基於完整文檔的總結性摘要。

文件摘要的一些例子包括：

創建文檔的標題

創建文檔的概要

有關該主題的更多信息，請參閱：

Automatic summarization-維基百科 https://en.wikipedia.org/wiki/

深度學習是否（成功地）被應用於自動文本摘要？https://www.quora.com/Has-Deep-Learning-been-applied-to-automatic-text-summarization-successfully

以下是關於文檔摘要深度學習方法的3個例子：

新聞文章中的句子概要：

A Neural Attention Model for Abstractive Summarization, 2015.

https://arxiv.org/abs/1509.00685

Abstractive Text Summarization Using Sequence-to-Sequence RNNs and Beyond, 2016.

https://arxiv.org/abs/1602.06023

Neural Summarization by Extracting Sentences and Word, 2016.

https://arxiv.org/abs/1603.07252

7. 問題回答

問題回答是給出一個主題（例如文本文檔）回答有關該主題的具體問題的任務。

一些例子：

回答有關維基百科頁面的問題

回答有關新聞文章的問題

回答有關病例的問題

參閱：

Question answering - 維基百科

https://en.wikipedia.org/wiki/Question_answering

回答有關新聞文章的問題

Teaching Machines to Read and Comprehend, 2015.

papers.nips.cc/paper/5945-teaching-machines-to-read-and-comprehend

回答一般知識問題

Question Answering over Freebase with Multi-Column Convolutional Neural Networks, 2015.

www.aclweb.org/anthology/P15-1026

回答基於特定文件的實質性問題

Deep Learning for Answer Sentence Selection, 2015.

https://arxiv.org/abs/1412.1632

更多閱讀

A Primer on Neural Network Models for Natural Language Processing, 2015.

https://arxiv.org/abs/1510.00726

Natural Language Processing (almost) from Scratch, 2011.

https://arxiv.org/abs/1103.0398

Deep Learning for Natural Language Processing, Practicals Overview, Oxford, 2017

https://github.com/oxford-cs-deepnlp-2017/lectures/blob/master/Lecture 2b - Overview of the Practicals.pdf

What NLP problems has deep learning or neural networks been applied to successfully?

https://www.quora.com/What-NLP-problems-has-deep-learning-or-neural-networks-been-applied-to-successfully

Can deep learning make similar breakthroughs in natural language processing as it did in vision & speech?

https://www.quora.com/Can-deep-learning-make-similar-breakthroughs-in-natural-language-processing-as-it-did-in-vision-speech

原文：https://machinelearningmastery.com/applications-of-deep-learning-for-natural-language-processing/

【號外】新智元正在進行新一輪招聘，飛往智能宇宙的最美飛船，還有N個座位

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！