自然语言处理（微课版）课件 第七章 机器阅读理解

机器阅读理解简介/常见的机器阅读理解模型/预训练机器阅读理解模型2026/6/11第七章机器阅读理解简介机器阅读理解任务、机器阅读理解模型架构常见的机器阅读理解模型双向注意力流模型、R-Net网络、阅读验证模型、回溯式阅读模型预训练的机器阅读理解模型微调BERT2026/6/127.1简介机器阅读理解通过赋予机器对自然语言的阅读和理解能力，从而能够帮助人类快速聚焦从大量文本中的相关信息，显著降低人工获取信息成本，在信息抽取、对话系统、文本问答等领域具有很高的应用价值2026/6/137.1.1机器阅读理解任务机器阅读理解任务：按照给出答案的方式，机器阅读理解任务可以再分为四种形式：完型填空式、多项选择式、片段抽取式和自由生成式2026/6/147.1.1机器阅读理解任务

2026/6/152026/6/16例：完型填空阅读理解7.1.1机器阅读理解任务7.1.1机器阅读理解任务

2026/6/177.1.1机器阅读理解任务

2026/6/187.1.1机器阅读理解任务

2026/6/197.1.1机器阅读理解任务不同机器阅读理解任务的评估标准：对于抽取式的阅读理解任务一般使用exactmatch(EM)和F1-score进行评估，EM评估模型答案恰好匹配给定答案(之一)的比率，F1则衡量预测答案和正确答案的平均重叠率。而对于生成式的任务，使用ROUGE-L和BLUE作为评估标准。2026/6/1107.1.2机器阅读理解模型架构最早的机器阅读理解模型：1977年被提出，其利用模式匹配的方法提取时间地点相关信息进行问答早期方法：大多使用基于规则的启发式方法，比如词包方法(BagOfWords,BOW)和手动定义规则的方法。2026/6/1117.1.2机器阅读理解模型架构当前的主流方法基于RNN和交互表示的框架基于预训练模型编码的整体表示2026/6/1127.1.2机器阅读理解模型架构基于RNN和交互表示的框架框架构成：表示层，编码层，交互层和预测层常用技巧：注意力机制，如Bi-DAF的双向注意力机制2026/6/113Bi-DAF的双向注意力机制7.1.2机器阅读理解模型架构基于RNN和交互表示的框架2026/6/114基于RNN和交互表示的框架7.1.2机器阅读理解模型架构基于预训练模型编码：以基于BERT的机器阅读理解模型架构为主导优势变得更为精简，可以抽象为编码器解码器两层架构取缔了问题和文章的显式交互模块：BERT系列的预训练模型基于双向的自注意力机制，擅长于捕捉序列之间的交互关系，而RNN系列的模型并没有和注意力机制耦合，需要显式的搭建交叉注意力架构实现问题和文章的交互2026/6/1157.1.2机器阅读理解模型架构基于预训练模型编码2026/6/116基于BERT的阅读理解模型7.1.2机器阅读理解模型架构仍然存在的难题复杂多跳推理：往往需要利用图算法实现推理，无法用预训练模型对话式机器阅读理解：需要考虑对话历史和对话者长文本序列问题：超出了BERT编码长度限制可解释性问题：模型可能只是利用了一些表层启发式的规则，并没有真正的进行深层次的推理，面对对抗攻击的鲁棒性也很弱。2026/6/1177.2常见的机器阅读理解模型双向注意力流模型R网络模型阅读验证模型回溯式阅读模型2026/6/1187.2.1双向注意力流模型双向注意力流模型2016年，华盛顿大学的团队发布了双向注意力流阅读理解模型BiDAF，在其发布后的几周内占据SQuAD的榜首，虽然现今BiDAF的表现已经被Bert模型超过，但是其架构十分经典，在诸多领域仍然具有参考价值。2026/6/119双向注意力流模型字符嵌入层：将文章和问题中的每个单词映射到高维向量空间，这里利用字符级别的CNN获得每个单词的字符级嵌入2026/6/1207.2.1双向注意力流模型双向注意力流模型词嵌入层：将每个单词映射到高维向量空间种，但和字符级嵌入不同，BiDAF中使用预训练的GloVE词向量来得到所有单词的固定单词嵌入2026/6/1217.2.1双向注意力流模型双向注意力流模型上下文嵌入层：在得到字词嵌入信息并融合后，利用双向的长短期记忆网络（longshorttermmemory,LSTM）对前几层提供的嵌入单词之间的交互关系进行建模，提炼更细粒度的语义信息2026/6/1227.2.1双向注意力流模型双向注意力流模型注意力流层：将上下文信息与问题的词信息进行拼接和融合2026/6/1237.2.1双向注意力流模型双向注意力流模型建模层：对问题感知的文章表示进一步编码2026/6/1247.2.1双向注意力流模型双向注意力流模型输出层：进行基于问题的文章交互编码后，输出对答案开始位置和结束位置的交互2026/6/1257.2.1双向注意力流模型双向注意力流模型输出层：进行基于问题的文章交互编码后，输出对答案开始位置和结束位置的交互2026/6/1267.2.1双向注意力流模型7.2.2R-Net网络R-Net网络2017年微软团队第一个提出端到端的机器阅读理解模型：R网络(R-Net)，该模型第一次将注意力机制应用于机器阅读理解任务当中2026/6/127R-Net网络问题和文章编码：对给定的问题和文章进行编码2026/6/1287.2.2R-Net网络R-Net网络基于注意力的门控循环网络：将问题信息融入到文章表示中，通过增加额外的门控机制计算问题关于文章每个部分的重要性，有效地对文章中只有部分内容与问题相关的现象进行了建模2026/6/1297.2.2R-Net网络R-Net网络基于门控注意力机制的循环网络：生成问题感知的文章表示，然而该编码只包含有限的上下文信息，用该编码生成候选答案可能忽视了其周围文本中的重要线索2026/6/1307.2.2R-Net网络R-Net网络输出层：R-Net使用指针网络(pointernetwork)预测答案的起始位置与结束位置。2026/6/1317.2.2R-Net网络7.2.3阅读验证模型阅读验证模型阅读验证（Read+Verify）模型是国防科技大学联合微软亚洲研究院发布的工作，是针对不可回答问题的阅读理解的一项经典工作，之前关注不可回答问题的工作往往只是通过额外输出不可回答的概率来判断是否需要模型回答，在此基础上，Read+Verify模型通过进一步检查模型提取的答案是否和文章问题相关，得到更准确的预测结果，这种方式避免了模型不使用文章中的信息，直接根据问题给出答案的情况发生2026/6/132阅读验证模型模型主要由阅读和验证两个阶段构成：阅读阶段假设问题可回答并对答案区间进行提取，再预测该问题不可根据文章信息回答的概率；验证阶段进一步验证阅读阶段提取的答案能否根据文章给出，并且验证模型是否能够回答该问题，最后结合两个阶段的结果得出最终结果2026/6/1337.2.3阅读验证模型阅读验证模型2026/6/1347.2.3阅读验证模型阅读验证模型的三种架构：顺序架构交互式架构混合结构2026/6/1357.2.3阅读验证模型阅读验证模型的三种架构：顺序架构：将提取的答案、答案所在的句子和问题合并成一个序列，然后使用GPT进行编码。2026/6/1367.2.3阅读验证模型顺序架构阅读验证模型的三种架构：交互式架构：交互式架构捕捉问题和答案所在句子之间的交互，从而识别其局部蕴含关系，以验证问题是否能被答案回答，具体由编码层、推断层、句子内交互层和预测层组成。2026/6/1377.2.3阅读验证模型交互式架构阅读验证模型的三种架构：交互式架构：交互式架构捕捉问题和答案所在句子之间的交互，从而识别其局部蕴含关系，以验证问题是否能被答案回答，具体由编码层、推断层、句子内交互层和预测层组成。2026/6/1387.2.3阅读验证模型顺序架构7.2.4回溯式阅读模型回溯式阅读模型2021年上海交通大学的张卓胜博士提出了回溯式阅读理解模型(RetrospectiveReader)。回溯式阅读模型的主要创新在于针对不可回答问题，对通常的编码器-解码器架构进行改进，编码端使用两个平行的模块，一个判断问题是否不可回答，另一个对具体答案进行提取，作者称之为泛读和精读过程；解码端综合两种编码结果最终得到对问题不可回答的预测。2026/6/139回溯式阅读模型外部前置验证模块：使用多层Transformer框架实现外部验证模块2026/6/1407.2.4回溯式阅读模型回溯式阅读模型内部前置验证模块：同样使用多层Transformer模块，在提取答案的过程中会考虑不可回答的情景2026/6/1417.2.4回溯式阅读模型回溯式阅读模型后置验证模块：综合了外部前置验证模块和内部前置验证模块，得到问题是否可答最终的预测分数2026/6/1427.2.4回溯式阅读模型7.3预训练的机器阅读理解模型实验实践：微调BERT实现机器阅读理解模型2026/6/1437.3.1微调BERT任务目标：以片段抽取式机器阅读理解任务为例，用BERT实现机器阅读理解模型数据集选择和模型实现：在CMRC2018数据集上进行中文抽取，模型使用Bert-base-chinese，使用huggingface的transformers库2026/6/144本章小结7.1节：介绍了机器阅读理解的任务形式化定义，基本的任务分类和相应的阅读理解数据集，同时大致梳理了机器阅读理解模型架构的发展脉络。7.2节：详细介绍了四个较有代表性的机器阅读理解模型，前两个是传统架构的阅读理解模型，后两个则是重点关注不可回答问题的阅读理解模型。7.3节：描述了使用预训练模型BERT解决片段抽取式阅读理解任务的主要流程，并展示了部分实现代码2026/6/145本章练习7.1按照给出答案的方式，机器阅读理解任务可以分为哪几类？它们有哪些相同点和不同点？7.2在阅读7.1节后，在上查找机器阅读理解(machinereadingcomprehension)相关的论文文献，尤其是一些综述