忘掉Word2vec吧！艾倫人工智慧研究院新詞向量學習方法，一文了解各大獎項論文

最新 06-06

【導讀】當地時間6月1日到6月6日，第十六屆自然語言處理頂級會議NAACL - HLT（Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies，簡稱 NAACL）在新奧爾良市舉行，來自世界各地的NLP專家聚集在一起介紹NLP和相關領域的最新進展。大會公布了各獎項包括最佳論文獎、4 篇傑出論文（Outstanding Papers）和 3 篇時間檢驗獎獲獎論文（Test-of-Time Award Papers），其中艾倫人工智慧研究院Matthew E. Peters獲得最佳論文獎。

據統計，今年共收到長論文投稿 647 篇，其中接受 207 篇，接受率 32%；短論文投稿 425 篇，接受 125 篇，接受率 29%。

NAACL 2018 各大獎項

Arxiv：https://arxiv.org/abs/1802.05365

Code: https://allennlp.org/elmo

這篇論文介紹了一種新的深度上下文單詞表徵，它可以建模（1）單詞用法中的複雜特性（比如句法和語義），和（2）這些用法在不同的語言上下文中如何變化（比如可以建模詞的多義性）。這篇論文在一個大的文本語料庫上預訓練了一個深度雙向語言模型（biLM），然後把根據它的內部狀態學到的函數作為詞向量。文章表明，這些學到的詞表示可以很容易地加入到現有模型中，並在問答、文本蘊含、情感分析等 6 個不同的有難度的 NLP 問題中大幅提高現有的方法。文章在最後也進行了分析，表明顯露出預訓練模型的深度內部狀態這一方法非常重要，使得後續模型可以混合不同類型的半監督信號。

作者所在機構是艾倫人工智慧研究所（Allen Institute for AI），其在2013年成立於西雅圖，是一家非營利組織，由微軟聯合創始人保羅·艾倫（Paul Allen）支持，通常被人稱作AI2。

值得一提的是，ELMo已經加入到TensorFlow Hub中，方便大家調用。

https://www.tensorflow.org/hub/modules/google/elmo/1

TensorFlow Hub是TensorFlow中可重用機器學習模塊的庫。機器學習模型變得越來越複雜，為了幫助開發者更好地分享和重用模型，TensorFlow 團隊推出了 TensoFlow Hub，用於發布和查找可重用的模塊（TensorFlow 圖的獨立片段）。這些模塊已經包含了權重信息，而且可能已經在大數據集上預訓練過，可以直接用在開發者的應用程序中。通過重用這些模塊，開發者只需要在更小的數據集上訓練模型，從而加快了訓練速度。

Arxiv：https://arxiv.org/abs/1804.06868

這篇論提出了一種基於上下文的模型，能夠把一組交互對話中的語句映射為可執行的正式查詢語句。為了把交互過程的歷史也包含在內，模型中維持著一個交互對話級別的編碼器，它會在每輪對話結束後更新，也能夠在生成過程中拷貝之前曾經預測過的查詢語句中的子序列。提出的方法結合了語句之間的顯示和隱式參照。論文在 ATIS 航班規劃交互上評估了模型，並取得了很好的結果。

Arxiv：https://homes.cs.washington.edu/~eaclark7/www/naacl2018.pdf

這篇論文提出了一種神經文本生成方法，可以顯式地表示文本中提到的實體。實體表徵是向量的形式，它們可以隨著文本處理過程更新，這些是專門為小說或者新聞故事這樣的敘述性文本設計的。實驗表明，建模實體的做法可以在以下兩個自動化評價中取得不錯的效果：提及生成（mention generation ），即模型需要選擇下一個要提及的實體是什麼，提及時又需要用哪個詞；和在正確的下一句和來自同一個故事的更靠後的一句之間進行選擇。論文也人工評估了在故事上下文中自動生成的文本，研究結果也進一步證明了想法的有效性，並為未來研究指出了方向。

Arxiv：https://arxiv.org/abs/1711.05408

這篇論文探究了簡單的循環神經網路（RNNs）作為正式模型識別加權語言時的不同問題的計算複雜度。文章重點關注的模型是單層、ReLU 激活函數、帶 softmax 的 RNN 網路，這種網路在自然語言處理應用中非常常見。實驗表明對於這樣的 RNN 來說，多數的問題都是不可判定的，比如一致性、等價性、最小化以及權重最高的字元串的確定性。然而，對於一致性 RNN 來說，這最後一個問題是可以判定的，雖然解決方案的長度會超出所有計算範圍。如果附加條件限定字元串為多項式長度，這個問題變為 NP-complete 和 APX-hard。總結來說，這表明這種 RNN 的實際應用中近似和啟發性演算法是必須的。

最佳論文也是傑出論文，這裡就不介紹了。

今年NAACL 會議首次設立時間檢驗獎，選擇範圍為 2002-2012 年 ACL 的各個會議（包括 ACL, NAACL, EACL, EMNLP 和 CONLL）、workshop 以及期刊（TACL 和 CL journal）中的關於計算語言學（Computational Linguistics）的論文，意在表彰直到今天都對計算語言學領域有顯著、長期影響的論文。在 NAACL 2018 區域主席提名的 19 篇無利益衝突的論文中，最終選出了如下三篇論文，這些經典值得大家仔細研讀。