自然語言處理終極方向：深度學慣用於自然語言處理的5大優勢

1新智元編譯

來源：machinelearningmastery.com

作者：Jason Brownlee

編譯：朱煥

【新智元導讀】在自然語言處理領域，深度學習的承諾是：給新模型帶來更好的性能，這些新模型可能需要更多數據，但不再需要那麼多的語言學專業知識。

在自然語言處理領域，深度學習的承諾是：給新模型帶來更好的性能，這些新模型可能需要更多數據，但不再需要那麼多的語言學專業知識。

關於深度學習方法有很多炒作和大話，但除了炒作之外，深度學習方法正在為挑戰性問題取得最先進的結果，特別是在自然語言處理領域。

在這篇文章中，您將看到深度學習方法應對自然語言處理問題的具體前景。看完這篇文章後，你會知道：

1.自然語言處理深度學習的承諾。

2.深度學習從業人員和研究科學家對自然語言處理深度學習的承諾有什麼說法。

3.自然語言處理的重要深度學習方法和應用。

讓我們開始吧。

深度學習的承諾

深度學習的方法很受歡迎，主要是因為它們兌現了當初的承諾。

這並不是說在技術上沒有任何炒作，而是說，這種炒作是基於非常真實的成果。這些成果正在從計算機視覺和自然語言處理的一系列極具挑戰性的人工智慧問題中得到證實。

深度學習力量的第一次大型展現，就是在自然語言處理領域，特別是在語音識別方面。 最近的進展則是在機器翻譯方面。

在這篇文章中，我們將看到，自然語言處理領域的深度學習方法的五個具體承諾。這些承諾是這個領域的研究人員和從業人者最近所強調的，而這些人面對這些承諾的態度比一般的新聞報道要剋制得多。

總而言之，這些承諾是：

深度學習插入替換現有模型 。深度學習方法可以插入現有的自然語言系統，由此產生的新模型可以實現同等或更好的性能。

新NLP模型 。深度學習方法提供了新的建模方法以挑戰自然語言問題（如序列-序列預測）。

特徵學習 。深度學習方法可以從模型所需的自然語言中學習特徵，而不需要專家指定、提取特徵。、

持續改進。自然語言處理中的深度學習的表現是基於真實世界的結果，並且所帶來的改進正在持續，還可能加速。

端對端模型 。大型端對端深度學習模型可以適應自然語言問題，提供更一般和更好的方法。

我們現在將仔細看看這些承諾中的每一個。其實自然語言處理深度學習還有一些其他承諾;，這些只是我從中選擇的最突出的五個。

深度學習插入替換現有模型

自然語言處理中的深度學習的第一個承諾是，能夠用具有更好性能的模型替代現有的線性模型，能夠學習和利用非線性關係。

Yoav Goldberg在他的《NLP研究人員神經網路入門》中強調，深度學習方法取得了令人印象深刻的成果，他說在此文中說：「最近，神經網路模型也開始應用於文本自然語言信號，並再次帶來了非常有希望的結果。」

他還繼續強調，這些方法易於使用，有時可用於批量地替代現有的線性方法。他說：「最近，該領域在從稀疏輸入的線性模型切換到稠密數據的非線性神經網路模型方面取得了一些成功。大多數神經網路技術都很容易應用，有時候幾乎可以替代舊的線性分類器；不過，在許多情況下仍存在著使用神經網路的障礙。」

新NLP模型

另一個承諾是，深度學習方法有助於開發全新的模型。

一個很好的例子是，使用能夠學習和判斷超長序列輸出的循環神經網路。 這種方法與從前的完全不同，因為它們允許NLP從業者擺脫傳統的建模假設，並實現最先進的結果。

Yoav Goldberg在其NLP深度學習的專著《自然語言處理的神經網路方法》第xvii頁指出，像循環神經網路這樣複雜神經網路模型可以帶來全新的NLP建模機會。他說，「在2014年左右，該領域已經開始看到，在從稀疏輸入的線性模型到稠密輸入的非線性神經網路模型的轉換方面，已取得了一些成功。 .……其他的變化更高級，需要研究者改變思維，並能帶來新的建模機會。特別是，基於循環神經網路（RNNs）的一系列方法減輕了對序列模型中普遍存在的馬爾可夫假設的依賴，允許以任意長序列為條件，併產生了有效的特徵提取器。 這些進步導致了語言建模、自動機器翻譯和其他應用的突破。」

特徵學習

深度學習方法具有學習特徵表示的能力，不必要求專家從自然語言中人工指定和提取特徵。

NLP研究員Chris Manning在自然語言處理深度學習課程的第一次講座中突出了這方面的觀點。

他描述了人工定義輸入特徵的局限性：按照這種方法，在之前的應用中，機器學習只是在統計NLP中證明人類事先定義的特徵，並且計算機幾乎沒有學習。

Chris 認為，深度學習方法帶來的承諾是自動特徵學習。 他強調，特徵學習是自動的，而不是人工；它易於適應，不脆弱，並可以不斷自動地改善。

Chris Mining 在2017年的《自然語言處理與深度學習》講座第一講幻燈片中說，「一般來說，我們人工設計的特徵往往被過度地指定，它們不完整，需要很長時間才能設計和驗證，會讓你忙活一天後只能達到有限的性能水平。而深度學習到的特徵易於適應，能快速訓練，它們可以持續學習，以便達到以前未能實現的、更好的性能水平。

持續改進

NLP的深度學習的另一個承諾是，在挑戰性問題上持續快速改進。

在《自然語言處理與深度學習》講座第一講中，Chris Manning表示，深度學習的方法很受歡迎，因為它們很管用。他說，「深度學習對大多數人來說如此令人興奮的真正原因是，它確實管用。「

他強調，深度學習的初步結果令人印象深刻。深度學習在語音領域的表現比過去30年中任何其他方法的表現都更好。

Chris 提到，深度學習帶來的不僅是最先進的成果，而且是不斷改進的進步速度。他說，」……在過去的六七年中，非常令人驚嘆的是，深度學習方法一直在不斷改進，並以驚人的速度變得更好。 我其實想說，這是前所未有的，我看到這個領域飛速地進展，每個月都會推出更好的方法。「

端對端模型的承諾

深度學習的最終承諾是，開發和訓練自然語言問題的端對端模型能力，而不是為專門模型開發流程。

端對端模型不僅能改進模型的性能，也能帶來更好的開發速度和簡潔性。

神經機器翻譯（簡稱NMT）是指，嘗試學習將一種語言翻譯成另一種語言的大型神經網路。 傳統上，這是由一系列手工調整的模型組成的流程來處理的，而流程中的每個模型都需要專業語言知識。

Chris Manning 在斯坦福大學NLP深度學習課程第十講《神經機器翻譯和注意模型》中描述了這一點。他說：」神經機器翻譯是指，我們想要做的是構建一個大型神經網路，在這個網路中我們可以對訓練整個端到端機器翻譯過程並進行優化。……這種遠離人工定製模型、朝向端到端、序列到序列預測模型的趨勢，一直是語音識別的趨勢。 這樣做的系統被稱為NMT （神經機器翻譯）系統。

設計端到端模型，而非為專門系統設計流程，這也是語音識別的一個趨勢。

在斯坦福NLP課程第十二講《語音處理的端到端模型》中，目前就職於Nvidia的 NLP研究員Navdeep Jaitly強調，語音識別的每個組成部分都可以用神經網路來代替。自動語音識別流程中的幾大組塊是語音處理，聲學模型，發音模型和語言模型。問題是，每個組塊的屬性和錯誤類型是不同的。這激發了開發一個神經網路來端到端地學習整個問題的需要。

他說，「隨著時間的推移，人們開始注意到，如果我們使用神經網路，這些組件中的每一個都可以做得更好。 ……但是，仍然有一個問題。 每個組件都有各自的神經網路，但是每個組件中的錯誤都是不同的，所以它們可能無法很好地協同工作。 所以這讓我們擁有動機，嘗試去把整個語音識別當作一個大模型來訓練。」

自然語言處理深度學習網路的類型

深度學習是一個很大的學習領域，並不是它的所有內容都與自然語言處理相關。

哪些類型的深度學習模型能提升性能？學習者在具體優化方法上很容易陷入泥沼。

從較高層次看，深度學習中有5種方法在自然語言處理中應用最為廣泛。

他們是：

嵌入圖層

多層感知器（MLP）

卷積神經網路（CNN）

循環神經網路（RNNs）

遞歸神經網路（ReNNs）

NLP中的問題類型

深度學習不會徹底解決自然語言處理問題或人工智慧問題。

迄今為止，在自然語言處理的一系列廣泛問題中，已經對深度學習方法進行了評估，並在其中一些問題上取得了成功。這些成功表明，使用深度學習能獲得高於以往的表現或能力。

重要的是，深度學習方法取得最大成功的領域，恰恰是一些更加面對終端用戶、更具挑戰性也更有趣的問題。

深度學習取得成功的5個例子包括：

詞表示和詞含義

文本分類

語言建模

機器翻譯

語音識別

進一步閱讀

如果您想深入學習，下面是更多的相關資源：

A Primer on Neural Network Models for Natural Language Processing, 2015.

Neural Network Methods in Natural Language Processing, 2017.

Stanford CS224n: Natural Language Processing with Deep Learning, 2017

原文：https://machinelearningmastery.com/promise-deep-learning-natural-language-processing/

【號外】新智元正在進行新一輪招聘，飛往智能宇宙的最美飛船，還有N個座位

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！