NLP前路何在？Bengio等27位NLP頂級研究者有話說

知識 12-13

機器之心整理

作者：Sebastian Ruder

機器之心編輯部

Deep Learning Indaba 2018 是由 DeepMind 主辦的深度學習峰會，於今年 9 月份在南非斯泰倫博斯舉行。在此次大會上，AYLIEN 研究科學家 Sebastian Ruder、DeepMind 高級研究科學家 Stephan Gouws 和斯泰倫博斯大學講師 Herman Kamper 採訪了 20 多名 NLP 領域的研究者，包括 Yoshua Bengio、阿蘭?圖靈研究所 Fellow Annie Louis 等，試圖就 NLP 的研究現狀、當前困境和未來走向等問題給出解答。

Sebastian Ruder 近日公布了這次採訪的談話實錄，以及大會演講的 PPT，對整個採訪進行了總結。

採訪實錄：https://docs.google.com/document/d/18NoNdArdzDLJFQGBMVMsQ-iLOowP1XXDaSVRmYN0IyM/edit#heading=h.brxm2juq8i2

演講 PPT：https://drive.google.com/file/d/15ehMIJ7wY9A7RSmyJPNmrBMuC7se0PMP/view

這些採訪基於四個相同的問題，如下所示。機器之心摘錄了部分受訪者的回答內容，包括 Yoshua Bengio、阿蘭?圖靈研究所 Fellow Annie Louis、谷歌大腦研究科學家 George Dahl、紐約大學助理教授&FAIR 研究科學家 Kyunghyun Cho，其中有些研究者並沒有回答完四個問題，這是基於受訪者自身的意願。

您能否列舉目前困擾 NLP 領域的三大難題？

如果必須選擇一個，您認為過去十年 NLP 領域最有影響力的研究是什麼？

您覺得有沒有什麼把 NLP 領域帶向了錯誤的方向？

您對剛啟動項目的 NLP 研究生有什麼建議嗎？

Annie Louis（愛丁堡大學/圖靈研究院 Fellow）

1. 您能否列舉目前困擾 NLP 領域的三大難題？

1）域適應：我們某種程度上假設不同領域的語言有明顯的不同，因為我們的模型無法很好地遷移。而人類可以閱讀大部分領域的內容。那麼人們抽象了什麼，或者忽略了什麼，遷移了什麼知識？如何讓系統在多個領域中良好地運轉？

2）文本及對話生成：基於神經網路的方法對於這些系統的端到端訓練非常有用，這些系統目前在易出錯的流程中包含了太多的組件。但儘管現在的輸出流暢性很好，但內容往往非常古怪：輸出很容易出現曲解、重複、不完整等現象。我們以前遇到過相反的問題：內容很好，但流暢性差。

3）利用有限的數據進行學習：突然之間，NLP 的數據集都開始變得非常大。系統非常渴望數據。這些大型數據集的問題在於，它們通常是近似的，因為裡面的數據是從網頁或其他渠道利用啟發式方法收集到的。例如，你得到的可能不是一份真正的摘要，而是為搜索引擎索引提供的網頁概要。這種數據無法反映語言上的複雜性及手工標註數據中包含的有趣現象。因此，有時候我們可能不是在解決有趣的問題，而僅僅是讓神經類型的系統為任務而工作。這不是件壞事，但我們需要轉向更加有趣的事物。如果我們需要從 100 萬份示例中學習，那麼有關複雜現象的數據仍然是一個問題。

2. 如果必須選擇一個，您認為過去十年 NLP 領域最有影響力的研究是什麼？

這個問題不好回答。最近比較有影響力的研究應該是編碼器-解碼器框架中的序列到序列學習。這一概念已經在 NLP 領域中廣泛應用。

3. 您覺得有沒有什麼把 NLP 領域帶向了錯誤的方向？

我猜 NLP 領域的人應該也對計算語言學感興趣，想利用計算技術得到一些關於語言的科學理解。這個角度如今在 NLP 大會中有點小眾。我們在做大部分任務時也不再有語言學假設或基於任務的故事。模型通用性較強，普適的技巧也有一大堆，這些技巧不是為某個單獨的任務定製的。說實話，我認為語言不同於語音或視覺。在語音或視覺領域，輸入是信號或像素，我們並不知道如何利用它們計算特徵。它們不是人類使用的自然形式。但語言不是這樣，饋入系統的輸入與人們在紙上讀到的內容形式相同，人們可以用同樣的形式教給另一個人。歸根結底，我們需要探索更好的方法，向模型中添加先驗知識，這樣才能取得大的進步。

4. 您對剛啟動項目的 NLP 研究生有什麼建議嗎？

NLP 領域的研究人員需要深厚的專業知識，還需要跨學科閱讀，這點是毋庸置疑的。儘管對於學科的強調有所改變，但這點是不會變的。或許我們需要少讀點心理學，多讀點機器學習的內容。我建議大家儘早拓寬閱讀面。目標要遠大，不要專挑簡單的任務和方法。要致力於解決那些在語言、社會、經濟領域舉足輕重的問題。

George Dahl（谷歌大腦）

1. 您能否列舉目前困擾 NLP 領域的三大難題？

首先，如何構建更好的基準來大規模揭露我們當前方法存在的局限性？MultiNLI 是還不錯的基準，但它仍有很多難以糾正的問題。

參考：https://arxiv.org/pdf/1803.02324.pdf

看看我們在流行基準上的準確率就能明白，我們對在構建自然語言讀寫系統方面取得的進步有些過於樂觀了。

我們需要新的評估數據集和任務來表明我們的技術是否對人類語言的可變性具備泛化性。我更希望基準測試低估而不是像現在這樣高估我們在自然語言方面取得的進步。

其次，我們如何將「方向盤」與文本生成模型連接在一起？我們如何創建能夠聽從高級指令（如生成什麼）或遵循對生成內容的約束的模型？我希望模型能夠基於簡化或受限的自然語言指令（指令說明要做哪些高級改變）編輯一段文字。我們如何利用自然語言交互來操作語言形式（linguistic formalism）？我們如何構建互動式的「證明」（proof）協議，證明統計系統捕獲了一篇文章的所有重點？

最後，如何生成更多信息含量更大的訓練數據？我們能否創建可擴展到編輯或轉述等事情的語言遊戲（編輯或轉述可以自然生成對比示例）？我們可以從人類標註者那裡引出更多不同的語言例子嗎？我們能否構建詞袋模型完全無法處理的大規模訓練數據集？或者，我們可以找到更好的辦法來實現在無標註文本上的自監督嗎？

2. 如果必須選擇一個，您認為過去十年 NLP 領域最有影響力的工作是什麼？

神經機器翻譯的成功及其持續發展。它仍然脆弱，犯了很多錯，但是 amazing！

3. 您覺得有沒有什麼把 NLP 領域帶向了錯誤的方向？

過分依賴次優基準。我們很多模型的性能只比強大的詞袋基線模型好一點點。我們的一些數據集構建得不太好或者極其有限（例如大部分 paraphrase 數據集）。

4. 您對剛啟動項目的 NLP 研究生有什麼建議嗎？

學習如何精調模型，學習如何建立強大的基線模型，學習如何構建能經受住特定假設考驗的基線。認真對待任何一篇論文，要不止一次地等待結論出現。很多情況下，你可以發表更加穩固的研究，做出更加強大的基線。

Kyunghyun Cho（紐約大學&FAIR）

1. 您能否列舉目前困擾 NLP 領域的三大難題？

NLP/MT 領域最大的問題或許是下一次飛躍的時間和方向。NLP/MT 在過去半個世紀中經歷了兩次巨變。第一次發生在 90 年代早中期，彼時統計學方法成為主導，推動 NLP 領域遠離基於規則的方法。第二次發生在 2012-2015 年，那時深度學習成為主流方法。每次飛躍不僅帶來實證方面的改進，還動搖了我們對 NLP 領域和待解決問題的既定理解。那麼下一次飛躍將會是怎樣的呢？每個人都有自己的猜測，我認為下一次飛躍將由新的人／群體開啟，就像前兩次那樣。

2. 如果必須選擇一個，您認為過去十年 NLP 領域最有影響力的工作是什麼？

很難選，不過我還是會選 Collobert & Weston (2008) 的研究《A unified architecture for natural language processing: deep neural networks with multitask learning》及其後續期刊論文《Natural Language Processing (Almost) from Scratch》。Collobert 和 Weston 在這些論文中提出並展示了基於神經網路的方法對 NLP 領域大量問題的有效性，這與當時其他人所做的研究都不相同。

3. 您覺得有沒有什麼把 NLP 領域帶向了錯誤的方向？

我並不認為該領域曾走到錯誤的方向。我堅信，科學並不總是直線前進，而是通過帶指引的隨機遊走加深理解。昨天看似錯誤的方向或許在今天或明天看來就是正確的。例如，2006 到 2012 年很多人（包括我自己在內）曾研究深度網路逐層無監督預訓練方法，當時該方法看起來是非常有前景的，但是現在大家不再追求這種方法了（至少不再積極探索了）。這是錯誤的方向嗎？我不這麼認為，因為我們從那些年的研究中得到了很多（ReLU、攤銷推理等都是那個時代的遺產）。類似地，在 2014 和 2015 年有很多論文將 word2vec 方法應用於各種問題，現在大部分問題都被遺忘了，這是錯誤的方向嗎？興許不是。我們只是需要這個階段作為墊腳石。我認為更好的問題在於科學「有指引的隨機遊走」，指引（guide）是什麼？

4. 您對剛啟動項目的 NLP 研究生有什麼建議嗎？

我認為科學研究總是充滿失敗。你的 100 個想法中 99 個都會失敗。如果每個想法都有效，那麼要麼是你太容易滿足，要麼你在自我欺騙，也有可能你是天才。至於天才，每個世紀大概會出一個吧。因此，我的建議是：不要失望！

Yoshua Bengio（蒙特利爾大學）

1 您能否列舉目前困擾 NLP 領域的三大難題？

接地（氣）的語言學習，即聯合地學習世界模型以及將其和自然語言對應起來的方式。

在深度學習框架中融合語言理解和推理。

常識理解，這隻能結合以上兩個問題來解決。

3 您覺得有沒有什麼把 NLP 領域帶向了錯誤的方向？

貪婪。我們正在竭力追求短期成果和回報，因此我們將大量文本數據丟給深度神經網路，希望模型能完全自發地、智能地理解和生成語言，但如果我們沒有解決構建世界模型（即理解我們的世界如何運行的模型，其中建模了人類和智能體）這一更艱難的問題這行不通，無論我們設計了多少神經架構技巧，上述願景都無法實現。我們需要咬緊牙關，結合其它領域來一起解決 NLP 的問題，而不是以一種孤立的方式。

4 您對剛啟動項目的 NLP 研究生有什麼建議嗎？

要有野心。不要將自己的閱讀範圍限制在 NLP 論文領域。要讀大量的機器學習、深度學習、強化學習論文。博士生涯是一個人實現遠大目標的絕佳時期，即使是實現了目標的一小步也會有很大的價值。

更多採訪內容請參見原文。我們再簡單介紹一下演講 PPT 的大致內容和結構，Sebastian Ruder 的演講聚焦於三個主題：

什麼是 NLP？它在過去幾年中的主要發展有哪些？

目前困擾 NLP 領域的最大難題是什麼？

了解當地社區並開始考慮合作

對於第一個主題，Sebastian Ruder 展示了近年來 NLP 領域的重要研究進展，包括自然語言模型、多任務學習、詞嵌入等，如下圖所示：