自然語言處理論文筆記

引

本期的PaperWeekly一共分享四篇最近arXiv上發布的高質量paper，包括：情感分析、機器閱讀理解、知識圖譜、文本分類。人工智慧及其相關研究日新月異，本文將帶著大家了解一下以上四個研究方向都有哪些最新進展。四篇paper分別是：

1、Linguistically Regularized LSTMs for Sentiment Classification, 2016.11

2、End-to-End Answer Chunk Extraction and Ranking for Reading Comprehension, 2016.10

3、Knowledge will Propel Machine Understanding of Content: Extrapolating from Current Examples, 2016.10

4、AC-BLSTM: Asymmetric Convolutional Bidirectional LSTM Networks for Text Classification, 2016.11

Linguistically Regularized LSTMs for Sentiment Classification作者

Qiao Qian, Minlie Huang, Xiaoyan Zhu

單位

State Key Lab. of Intelligent Technology and Systems, National Lab. for Information Science and Technology, Dept. of Computer Science and Technology, Tsinghua University

關鍵詞

sentiment classification, neural network models, linguistically coherent representations,

文章來源

arXiv, 2016.11

問題

利用語言資源和神經網路相結合來提升情感分類問題的精度

模型

在LSTM和Bi-LSTM模型的基礎上加入四種規則約束，這四種規則分別是: Non-Sentiment Regularizer,Sentiment Regularizer, Negation Regularizer, Intensity Regularizer.因此，新的loss function變為:

不同的規則約束對應不同的L函數

資源

1、Movie Review (MR)https://www.cs.cornell.edu/people/pabo/movie-review-data/

2、Stanford Sentiment Tree- bank (SST)http://nlp.stanford.edu/sentiment/treebank.html

相關工作

1、Neural Networks for Sentiment Classification

Empirical evaluation of gated recurrent neural networks on sequence modeling

Hybrid speech recognition with deep bidirectional lstm

2、Applying Linguistic Knowledge for Sentiment Classification

Sentiment classification of movie reviews using contextual valence shifters

簡評

本文提出了一種新的基於語言資源約束和LSTM/Bi-LSTM的模型用於情感分類，並通過在MR和SST數據集上的實驗和對RNN/RNTN,LSTM,Tree-LSTM,CNN的效果對比證明了這一模型的有效性。除此之外，本文還基於不同的約束進行了實驗，證明的不同的約束在提高分類精度上的作用。本文實驗豐富，效果的提升雖不顯著，但新的模型確實在不同程度上克服了舊模型的一些不足。

End-to-End Answer Chunk Extraction and Ranking for Reading Comprehension作者

Yang Yu, Wei Zhang, Kazi Hasan, Mo Yu, Bing Xiang, Bowen Zhou

單位

IBM Watson

關鍵詞

Reading Comprehension, Chunk extraction, Ranking

文章來源

arXiv, 2016.10

問題

針對答案非定長的閱讀理解任務，本文提出了DCR（dynamic chunk reader）模型，來從給定的文檔中抽取可能的候選答案並進行排序。

模型

本文提出的模型結構共分為四部分，

1、Encoder Layer

如圖所示，這部分是用雙向GRU分別對文檔（Passage）和問題（Question）進行編碼。

2、Attention Layer

該層採用的方法與相關工作中的mLSTM類似，文檔每個時刻的狀態hjp都與問題中的每個狀態hkq進行匹配得到一個權重向量αk，然後再根據該權重向量對問題的GRU隱層輸出hp進行加權求和，得到文檔中該時刻狀態hjp對應的上下文向量βj，兩個向量hjp和βj拼接在一起作為該時刻新的表示vj。最後再將上述與問題相關的新文檔表示v通過雙向GRU，得到文檔最終的表示γ。

3、Chunk-Representation Layer

上一部分獲得了與問題相關的文檔表示γ，那麼這部分則是考慮如何抽取候選答案，並獲得候選答案的表示向量。本文提出了兩種候選答案抽取方法，第一種方法是抽取所有滿足訓練數據中答案對應詞性標註模式的候選項，第二種方法則是簡單粗暴地確定一個候選項最大長度，然後遍歷所有可能的候選項。至於候選答案的表示方式，本文將候選答案前向GRU的最後一個時刻狀態和反向GRU第一個時刻狀態拼接在一起作為最終候選項的表示。

4、Ranker Layer

已經獲得了所有候選項的表示，那麼接著就是對所有候選項進行打分排序。本文中打分是採用問題的表示和候選項的表示計算內積的方式得到的，本文訓練過程中沒有採用常見於排序任務的Margin ranking loss，而是先用softmax對所有候選項計算一個概率值，然後採用交叉熵損失函數進行訓練。

本文在SQuAD數據集上進行實驗，提出的方法效果比之前兩篇SQuAD相關paper的方法有較大的提升。

資源

1、SQuAD

https://rajpurkar.github.io/SQuAD-explorer/

相關工作

1、數據集相關論文

SQuAD: 100,000+ Questions for Machine Comprehension of Text

2、模型相關論文

MACHINE COMPREHENSION USING MATCH-LSTM

簡評

在對文檔和問題編碼階段，本篇論文提出的模型與之前mLSTM那篇paper有些相似。兩篇論文中模型的主要區別在於：mLSTM那篇論文採用預測起始、終止位置的方法來確定答案，而本文則是先採用一些規則或Pattern的方法來抽取一些候選答案，然後再對候選答案進行排序。

聯繫方式

Knowledge will Propel Machine Understanding of Content: Extrapolating from Current Examples作者

Amit Sheth, Sujan Perera, and Sanjaya Wijeratne

單位關鍵詞

Semantic analysis of multimodal data，Machine intelligence,Understanding complex text，EmojiNet

文章來源

arXiv, 2016.10

問題

利用知識和多模態數據來解決特定情況下的複雜文本的深層理解問題

模型

1、現知識庫在處理特定領域問題中的局限性及解決方法

（1）知識庫的雜亂

解決方法：採用自動判別技術，領域知識庫索引技術，利用實體和關係的語義去判別所給定知識庫領域中的相關部分。

（2）知識庫數據的不完備和不充足

解決方法：使用 human-in-the-loop模型在真實的臨床數據和已有的知識庫中去發現更多的實體與實體之間的關係。

（3）知識表示技術和推理技術的局限性

解決方法：在單個屬性的表示中加入了三元組和軟邏輯的解釋能力及其相關概率值和理由。

2、新的研究應用

（1）隱實體鏈接

（2）表情符號語義消歧

（3）理解和分析web論壇中關於藥物濫用的相關討論

利用相關背景知識加強不同種類信息的信息抽取模型

3、在健康領域中的文本理解模型

4、使用感知器和文本資料了解城市交通情況

(1)交通領域的概念關係網模型

(2)概率圖模型

使用領域知識關聯不同模態下的上下文相關數據

簡評

本文主要舉例說明了知識將推動機器對內容的理解。總體來看本文像一篇綜述性的文章，給出了在知識庫創建過程中所遇到的問題的解決方案，同時以實際案例來闡述知識在我們實際問題中應用。

AC-BLSTM: Asymmetric Convolutional Bidirectional LSTM Networks for Text Classification作者

Depeng Liang and Yongdong Zhang

單位

Guangdong Province Key Laboratory of Computational Science, School of Data and

Computer Science, Sun Yat-sen University, Guang Zhou, China

關鍵詞

ACNN; BLSTM; Text Classification

文章來源

arXiv, 2016.11

問題

本文提出了一個新的深度學習的模型–AC-BLSTM的模型（即：將ACNN和BLSTM組合在一起），用於句子和文章層面的分類。

模型

AC-BLSTM模型可以分成四個部分,如Figure 1所示：

1、輸入: 輸入是一個sentence，使用 ( L d )的矩陣表示，其中L表示句子中的L個詞，d表示每個詞的詞向量的維度

2、ACNN(Asymmetric CNN): 傳統的CNN採用的是 ( k d ) 大小的filter，ACNN則把filter的過程分成 ( 1 d ) 和 ( k 1 ) 的兩個過程，相當於是把 ( k d ) 的filter做因式分解。

這一層的輸入是一個 ( L d ) 的矩陣，對於n個尺度為( 1 d ) 和( ki 1 )的卷積層的輸出是一個 [ (L - ki + 1) n ]的矩陣，如下圖所示，本文採用了3種不同的卷積核，所以輸出是3種不同的[ (L - ki + 1) n ]的矩陣（圖中一個彩色的小方塊表示 (1 * n)的向量）

3、連接層: 為了給BLSTM構造輸入，連接層將3種不同卷積層的輸出，以Ct^i表示第1種卷積層為LSTM第t個time step貢獻的輸入，則LSTM網路的第t步輸入Ct = [Ct^1, Ct^2, Ct^3]，其中t屬於, K = max

4、BLSTM: LSTM能夠很好的解決long time delay 和long range context的問題，但其處理是單向的，而BLSTM能夠解決given point的雙邊的依賴關係，因此，本文選擇了BLSTM網路層來學習ACNN輸入的特徵的dependencies

5、Softmax層: 為了應用於分類問題，本文在最後使用全連接層和softmax函數來實現分類。

資源

文章中使用的數據集

1、SST-1

http://nlp.stanford.edu/sentiment/index.html

2、SST-2

http://nlp.stanford.edu/sentiment/index.html

3、Movie Review(MR)

https://www.cs.cornell.edu/people/pabo/movie-review-data/

4、SUBJ

https://www.cs.cornell.edu/people/pabo/movie-review-data/

5、TREC

http://cogcomp.cs.illinois.edu/Data/QA/QC/

6、YELP13

https://www.yelp.com/dataset_challenge

相關工作

1、Yoon Kim於2014年在Convolutional neural networks for sentence classification一文中提出將詞向量和CNN結合，用於句子分類的模型。在該文中，Kim將不同長度的filter的組合在一起，且提出了static或者可以fine-tuning的word embedding模型

2、Zhou et al.則於2015年在A C-LSTM neural network for text classification一文中提出將CNN和LSTM疊加的模型，且使用固定的word embedding

3、Szegedy et al.於2015年在Rethinking the Inception Architecture for Computer Vision中提出了ACNN模型，這減少了參數的個數且提高了模型的表徵

簡評

這篇文章主要貢獻就是提出了一個AC-BSLTM的模型用於文本分類，亮點就在於：ACNN可以在減少參數的個數的同時通過增加更多的非線性性來提高表達能力，而BLSTM能夠捕捉輸入的兩端的信息。兩者的結合就提高了分類的精度。但事實上，這兩個網路模型都是現有的，本文的工作感覺只是兩個網路的連接，在本質上沒有太大的改進，且在分類精度上的提高也比較有限。

致謝

感謝@方嘉倩@destin wang和@min279三位童鞋的辛勤工作。