雲從刷榜 RACE 閱讀理解數據集論文詳解

雷鋒網 AI 科技評論消息，2019 年 3 月 8 日，雲從科技和上海交通大學聯合宣布，在大型深層閱讀理解任務數據集 RACE 數據集（ReAding Comprehension dataset collected from English Examinations）上登頂第一。論文中，雲從科技與上海交通大學基於原創 DCMN 演算法，提出了一種全新的模型，使機器閱讀理解正確率提高了 4.2 個百分點，並在高中測試題部分首次超越人類（機器正確率 69.8%、普通人類 69.4%）。

RACE 是一個來源於中學考試題目的大規模閱讀理解數據集，包含了大約 28000 個文章以及近 100000 個問題。它的形式類似於英語考試中的閱讀理解（選擇題），給定一篇文章，通過閱讀並理解文章（Passage），針對提出的問題（Question）從四個選項中選擇正確的答案（Answers）。該題型的正確答案並不一定直接體現在文章中，只能從語義層面深入理解文章，通過分析文章中線索並基於上下文推理，選出正確答案。相對以往的抽取類閱讀理解，演算法要求更高，被認為是「深度閱讀理解」。

RACE 數據集的難點在於：由於正確答案並沒有直接使用文章中的話術來回答，不能直接從文中檢索得到答案。必須從語義層面深入理解文章，才能準確回答問題。

基於以上難點，雲從科技與上海交通大學首創了一種 P、Q 與 A 之間的匹配機制，稱為 Dual Co-Matching Network（簡稱 DCMN），並基於這種機制探索性的研究了 P、Q 與 A 的各種組合下的匹配策略。

結果顯示，採用 PQ_A 的匹配策略，即先將 P 與 Q 連接，然後與 A 匹配，策略都得到了更優的結果。再將模型（基於 PQ_A 策略）與其他已知的模型、以及純粹基於 BERT 自身的模型進行了比較，得到如下的結果：

對論文的具體解讀如下：

1. DCMN匹配機制

以 P 與 Q 之間的匹配為例，說明 DCMN 的匹配機制。下圖為 P 與 Q 之間的 DCMN 匹配框架。

論文使用目前 NLP 最新的研究成果 BERT 分別為 P 和 Q 中的每一個 Token 進行編碼。基於 BERT 的編碼，可以得到的編碼是一個包含了 P 和 Q 中各自上下文信息的編碼，而不是一個固定的靜態編碼，如上圖中 H^p 與 H^q；

其次，通過 Attention 的方式，實現 P 和 Q 的匹配。具體來講，構建 P 中的每一個 Token 在 Q 中的 Attendances，即 Question-Aware 的 Passage，如上圖中 M^p。這樣得到的每一個 P 的 Token 編碼包含了與 Question 的匹配信息；

為了充分利用 BERT 帶來的上下文信息，以及 P 與 Q 匹配後的信息，將 P 中每個 Token 的 BERT 編碼 H^p 與 P 中每個 Token 與 Q 匹配後的編碼 M^p進行融合，對 H^p和 M^p進行了元素減法及乘法操作，通過一個激活函數，得到了 P 與 Q 的最終融合表示，圖中表示為 S^pq；

最後通過 maxpooling 操作得到 C^pq l 維向量用於最後的 loss 計算。

2. 各種匹配策略研究

除了 P 與 A 之間的匹配，還可以有 Q 與 A、P 與 Q 之間的匹配，以及不同匹配得到的匹配向量間的組合，這些不同的匹配與組合構成了不同的匹配策略。對七種不同的匹配策略分別進行試驗，以找到更加合適的匹配策略，分別是：

[P_Q; P_A; Q_A], [P_Q; P_A], [P_Q; Q_A], [P_A; Q_A], [PQ_A], [P_QA], [PA_Q]

「PA」表示先將 P 和 A 連接為一個序列，再參與匹配，「PQ」與「QA」同理。符號「[ ; ]」表示將多種匹配的結果組合在一起。[P_Q; P_A; Q_A] 模式下的模型架構如下圖：

7 種不同策略通過試驗，採用 PQ_A 的匹配策略，即先將 P 與 Q 連接，然後與 A 匹配，無論是在初中題目 (RACE-M)、高中題目 (RACE-H) 還是整體 (RACE)，該策略都得到了更優的結果。

論文地址：https://arxiv.org/abs/1901.09381

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！