標題:Neural Machine Reading Comprehension: Methods and Trends
-
作者:Shanshan Liu, Xin Zhang, Sheng Zhang, Hui Wang, Weiming Zhang
-
鏈接:https://arxiv.org/pdf/1907.01118.pdf
摘要:過去幾年里,隨着深度學習的出現,機器閱讀理解(其要求機器基於給定的上下文回答問題)已經贏得了越來越廣泛的關注。雖然基於深度學習的機器閱讀理解研究正蓬勃發展,但卻沒有綜合性調研文章來總結該領域已經提出的方法和近期發展趨勢。所以,本文對這一充滿潛力的領域中的近期研究工作進行了全面概述。
具體來說,研究者首先對比了不同維度下的機器閱讀理解任務,並介紹了總體架構。接着,他們又進一步對該領域常用模型中使用的 SOTA 方法進行分類。最后,研究者討論了該領域新的發展趨勢,並在文章結尾提出一些未決問題。
推薦:國防科技大學的這篇文章全面介紹了機器閱讀理解研究的現狀、發展和新趨勢,是該領域內少有的綜述類文章。機器閱讀理解在機器問答、信息搜索等方面的具有重要意義,推薦有興趣的讀者閱讀本文。
文章結構:
1.介紹MRC
2.任務和評估矩陣
MRC可以分成四個任務: |
對應的數據集 |
loze Test, 完形填空 |
CNN & Daily Mail,CBT (The Children’s Book Test),LAM- BADA dataset (LAnguage Modeling Boardened to Account for Discourse Aspects),Who-did-What,CLOTH,CliCR |
Multiple Choice, 單選 |
MCTest,RACE |
Span Extraction,跨度提取 |
SQuAD,NewsQA,TriviaQA,DuoRC |
Free Answering,自由回答 |
bAbI,MS MARCO,SearchQA,NarrativeQA,DuReader |
評價維度:construction, understanding, flexibility, evaluation and application
評價標准:ACC,F1, ROUGE-L, ROUGE (Recall-Oriented Understudy for Gisting Evaluation),BLEU (Bilingual Evaluation Understudy)
3.MRC系統的大體結構:
步驟 |
舉例 |
Embeddings |
Word2vec |
Feature Extraction |
RNN,CNN |
Context-Question Interaction(在文中找到與問題最相關的部分) |
Attention mechanism(注意力機制), unidirectional or bidirectional |
Answer Prediction |
|
4.深度學習在MRC系統中的應用
5.最新的進展
基於知識的機器閱讀理解
不可回答問題
多段式機器閱讀理解
對話問答
6.未解決的問題
外部知識的整合
MRC系統的魯棒性
給定上下文的局限性
推理能力不足
7.結論