科大訊飛在機器閱讀理解SQuAD比賽中奪得第一

雷鋒網7月31日消息  近日，在最近一場由斯坦福大學發起的SQuAD（Stanford Question Answering）挑戰賽中，科大訊飛與哈工大聯合實驗室(HFL)提交的系統模型奪得第一，打敗了包括微軟亞洲研究院、艾倫研究院、IBM、Salesforce、Facebook、谷歌以及卡內基·梅隆大學、斯坦福大學在內的全球學術界和產業界的研究團隊，這是中國本土研究機構首次取得該賽事的第一名。

科大訊飛在最新一次SQuAD（Stanford Question Answering）挑戰賽中奪得第一（圖/雷鋒網）

據雷鋒網了解，SQuAD挑戰賽被譽為「機器閱讀理解界的ImageNet」，來自全球產業界和學術界的頂尖團隊都有參與其中，如艾倫研究院、IBM、Salesforce、Facebook、Google、微軟研究院，以及CMU和斯坦福大學等。

SQuAD機器閱讀理解挑戰賽的具體運行過程是這樣的。該比賽通過眾包的方式構建了一個大規模的機器閱讀理解數據集（包含10萬個問題），可將一篇幾百詞左右的短文給人工標註者閱讀，讓標註人員提出最多5個基於文章內容的問題並提供正確答案；短文原文則來源於500多篇維基百科文章。參賽者提交的系統模型在閱讀完數據集中的一篇短文之後，再來回答若干個基於文章內容的問題，然後與人工標註的答案進行比對，得出精確匹配（Exact Match）和模糊匹配（F1-score）的結果。

科大訊飛向雷鋒網透露，這個比賽是一個持續性的挑戰賽，參賽者可以進行調優提交。然後主辦方再定期更新成績。在該輪測試中，科大訊飛與哈工大聯合實驗室提交的系統模型——Interactive AoA Reader（基於互動式層疊注意力模型），精確匹配達77.845%，模糊匹配達85.297%，兩項成績均排名首位。

一般來說，機器閱讀理解在研究領域經常遇到以下兩方面的難題：

1、數據問題：目前基於深度學習模型等統計方法的機器閱讀理解，在研究上離不開大量的被人工標註的數據，但是固有的數據集則往往存在規模較小、質量不佳等問題。這種情況下，很難基於這些數據量做出優秀、有效的模型。

2、演算法問題：傳統的NLP在做閱讀理解或自動問答時，會採用分拆任務的方式將其分成問題分析、篇章分析、關鍵句抽取等一些步驟，但這種方法容易造成級聯誤差的積累，很難得到很好的效果。如，分目標的結果整合最後和終極目標不能完全吻合；局部優化不當可能造成研究進展緩慢等。

所以，目前在機器閱讀理解領域中，則多採用完全端到端的神經網路建模，消除了分步驟產生的級聯誤差。除此之外，採用神經網路的方法能夠通過大量的訓練數據學習到泛化的知識表示，對篇章和問題從語義層面上高度抽象化。

據科大訊飛向雷鋒網介紹，其在這一問題上也同樣採用了端到端的神經網路模型，但把精力更多的放在如何能夠模擬人類在做閱讀理解問題時的一些方法。此次在測試中奪得第一的「Interactive AoA Reader」，其主要是根據給定的問題對篇章進行多次的過濾，同時根據已經被過濾的文章進一步篩選出問題中的關鍵提問點。通過「互動式」地逐步精確答案的範圍，該模型從而可得到不錯的成績。

科大訊飛智能閱卷技術工作流程

目前，科大訊飛和哈工大聯合實驗室的研發成果已被逐漸運用在教育領域，如通過機器給考卷的主觀題評分，從而達到輔助人工閱卷，減少人員投入，降低人工閱卷中疲勞、情緒等因素的影響，進一步提升人工閱卷評分的效率、準確性和公平性。

同時，雷鋒網還了解到，科大訊飛近幾年在智能閱卷技術上也一直在全國各中小學頻設試點，並和一些教育機構牽手合作。如，2015年11月以前，科大訊飛就利用機器閱卷技術在安慶、合肥等地設立試點，經過對人機評分結果的分析，計算機在評分一致率、平均分差、相關度以及與仲裁分更接近的比例等指標方面都已達到或超過人工評分水平。而在今年的湖北省的中考中，襄陽市引進的智能評卷系統也來自科大訊飛的機器智能閱卷技術。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！