CN114077655B 一种答案抽取模型的训练方法及装置 （北京金山数字娱乐科技有限公司）

A,2019.05.28A,2019.07.05A,2020.02.11A,2020.07.07本申请提供一种答案抽取模型的训练方法及装置，其中所述答案抽取模型的训练方法包的问题集中筛选与所述样本文本相关联的至少个所述待查询问题与所述样本文本输入预训练2从原始语料中确定样本文本，并在预先构建的问题集中筛选与所述将任意一个所述待查询问题与所述样本文本输入预训练的答案抽取基于所述答案抽取结果以及所述答案标签生成所述答案抽取模型的根据所述问题标签中包含的答案类型标签所属类别生成与所述问题标签匹配的查询若所述问题标签中包含的答案类型标签为第一类别，则获取预定于所述问题标签和所述问题模板构建与所述问若所述问题标签中包含的答案类型标签为第二类别，则对所述原将任意一个所述待查询问题与所述样本文本作为输入集输入所基于所述编码向量计算所述每个词单元作为所述待查询问题对应的预测答案的起始根据所述起始位置以及结束位置的概率分布，确定所述待将所述起始位置的概率分布中概率最大的词单元在所述样本文本中的位置作为所述将所述结束位置的概率分布中概率最大的词单元在所述样本文本中的位置作为所述将所述起始位置以及结束位置之间的词单元作为所述答案3基于所述起始位置的概率分布以及所述答案标签中目标起始位置的概率确定所述答基于所述结束位置的概率分布以及所述答案标签中目标结束位置的概率确定所述答基于所述起始位置以及所述结束位置确定所述答案抽取结计算所述起始位置损失、所述结束位置损失和所述S13、将第i个堆栈层的输出向量输入至第i+1个堆栈层筛选模块，被配置为从原始语料中确定样本文本，并在预确定模块，被配置为将任意一个所述待查询问题与所述样本文本计算模块，被配置为基于所述答案抽取结果以及所述答4读理解模型，从而在训练获得的机器阅读理解模型的基础上在文本片段中找出问题的答[0008]基于所述答案抽取结果以及所述答案标签生成所述答案[0012]根据所述问题标签中包含的答案类型标签所属类别生成与所述问题标签匹配的[0014]若所述问题标签中包含的答案类型标签为第一类别，则5并基于所述问题标签和所述问题模板构建与所述问题[0017]将任意一个所述待查询问题与所述样本文本作为输入集[0018]基于所述编码向量计算所述每个词单元作为所述待查询问题对应的预测答案的[0021]将所述起始位置的概率分布中概率最大的词单元在所述样本文本中的位置作为[0022]将所述结束位置的概率分布中概率最大的词单元在所述样本文本中的位置作为[0025]基于所述起始位置的概率分布以及所述答案标签中目标起始位置的概率确定所述答案抽取结果在所述样本文本中起始位置的起[0026]基于所述结束位置的概率分布以及所述答案标签中目标结束位置的概率确定所述答案抽取结果在所述样本文本中结束位置的结67[0064]图1示出了根据本申请一实施例的计算设备100的结构框图。该计算设备100的部多个网络160通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网8[0067]计算设备100可以是任何类型的静止或移动计算设备，包括移动计算机或移动计文本向量输入至第1个堆栈层，将第1个堆栈层的输出向量输入至第2个堆栈层……依次类[0077]根据所述问题标签中包含的答案类型标签所属类别生成与所述问题标签匹配的9于是对问题标签进行一个描述，有针对性的进行描述就相当于给出一些更多的语义信息，[0083]若所述问题标签中包含的答案类型标签为第一类别，则并基于所述问题标签和所述问题模板构建与所述问题类别的答案类型标签的问题标签，只需在每个问题前增加事件类型的字符串加以区分即板(找出XX事件发生的时间)，基于问题[0088]步骤204，将任意一个所述待查询问题与所述样本文本输入预训练的答案抽取模[0090]实际应用中，首先从原始语料中选择一句话或一段样本文本作为给定的事件序[0094]将任意一个所述待查询问题与所述样本文本作为输入集[0095]基于所述编码向量计算所述每个词单元作为所述待查询问题对应的预测答案的[0113]BERT模型输出编码向量后，可对编码向量中的每个词单[0116]其中，式(1)用于预测编码向量中每个词单元为实体的起始位置索引的概率；式(2)用于预测编码向量中每个词单元为实体的结束位置索引的概率；式(1)中的Tstart和式[0117]计算每个词单元为实体起始或结束位置索引的概率后，基于筛选结果中概率最大的起始或结束位置索引[0119]将所述起始位置的概率分布中概率最大的词单元在所述样本文本中的位置作为[0120]将所述结束位置的概率分布中概率最大的词单元在所述样本文本中的位置作为中概率最大的起始位置索引构建的起始位置索引集合的公式如式(3)所示；对每个词单元[0126]其中，公式(3)中的i和公式(4)中的j分别表示样本文本中答案结束位置的概率中，y5概率值最大，则由此可知，查询问题对应的实体(答案)为样本文[0128]本说明书实施例通过计算每个词单元为答案起始位置索引或答案结束位置索引[0129]步骤206，基于所述答案抽取结果以及所述答案标签生成所述答案抽取模型的目[0132]基于所述起始位置的概率分布以及所述答案标签中目标起始位置的概率确定所述答案抽取结果在所述样本文本中起始位置的起[0133]基于所述结束位置的概率分布以及所述答案标签中目标结束位置的概率确定所述答案抽取结果在所述样本文本中结束位置的结[0137]本说明书实施例使用三元组损失函数(Hard-Loss损失函数)计算所述目标损失[0141]其中，式(5)中的k表示集合中的元素个数，Eistart为集合中的元素；[0146]若根据对样本文本中每一个词单元作为答案起始位置的概率计算结果确定第1个据对样本文本中每一个词单元作为答案结束位置的概率计算结果确定第3个词单元和第4个词单元为结束位置索引的概率最大，则若与第1个起始索引(E1start)相匹配的正样本结束索引为E3end，则与第1个起始索引(E1start)相匹配的负样本结个起始索引(E2start)相匹配的负样本结束索[0148]Lstart和Lend分别根据交或结束位置索引对应的概率与真实答案对应起始或结束位置索引对应的概率进行加权计yy示出了本申请一个实施例的答案抽取模型的训练装置的结构示意图。如图7所示，该装置选与所述样本文本相关联的至少一个待查询问题以及对应的答[0161]确定模块704，被配置为将任意一个所述待查询问题与所述样本文本输入预训练[0162]计算模块706，被配置为基于所述答案抽取结果以及所述答案标签生成所述答案[0168]第一问题生成模块，被配置为若所述问题标签中包含的答案类型标签为第一类[0169]第二问题生成模块，被配置为若所述问题标签中包含的答案类型标签为第二类题对应的预测答案的起始位置以及结束位置的概[0173]答案抽取结果确定子模块，被配置为根据所述起始位置以及结束位置的概率分中目标起始位置的概率确定所述答案抽取结果在所述样本文本中起始位置的起始位置损中目标结束位置的概率确定所述答案抽取结果在所述样本文本中结束位置的结束位置损[0191]所述输出子单元，被配置为将第n个堆栈层的输出向量作为所述输入集中每个词或该方法各步骤所必须建立的功能模块，各个功能模块并非实际的功能分割或者分离限被处理器执行时实现如前所述答案抽取模型的训练[0196]上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围[0197]所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形