CN111737552B 训练信息抽取模型和获取知识图谱的方法、装置和设备 （中国科学院自动化研究所）

KaiLeietal.CooperforDistantlySuperviseInternationalConferLinguistics.2018,426–436.于对噪音样本的预测结果对第一信息抽取模型态模型对噪音样本的预测结果与初始的第二信息抽取模型对非噪音样本的预测结果的差异对2获取包含非噪音样本集合和噪音样本集合的训练样本集，其中所采用所述噪音样本集合对初始的第一信息抽取模型进行训练，并在述第一信息抽取模型对所述噪音样本的预测结果与所述噪音样本对应的噪音标签之间的基于所述第一中间态模型对所述噪音样本的预测结果，与初始的第基于所述第二中间态模型对所述非噪音样本的预测结果与所述非噪音样本对应的非基于预设平滑系数对所述已训练的参考模型的参数进行调整，得到对所述非噪音样本集合中各个非噪音样本的标签进行标签转移获得的M个所述噪音样针对所述非噪音样本集合中的各个非噪音样本，根据除自身各个非噪音样本每次进行标签转移得到的噪音样本属针对任意一个非噪音样本，每次进行标签转移得到对应的噪音标签时都执行下列过获取所述非噪音样本与除所述非噪音样本之外的其它非噪音样本在训练过程中基于所述第一信息抽取模型对所述噪音样本的预测结果与所述噪音样本对3将所述M个噪音样本集合中的噪音样本分批输入所述第一信息抽取模型，获得所述第获得基于每批第一预测标签与相应的噪音样本的噪音标签之间的差所述基于所述第一中间态模型对所述噪音样本的预测结果，与初始的第分别基于每个第一中间态模型对所述噪音样本的预测结果分别将所述M个噪音样本集合中的噪音样本输入对应的第一中间态模型，得到每个第分别根据每批第二预测标签与所述第三预测标签之间的根据所述融合差异对所述第一信息抽取模型进行至少一次梯度更新将所述非噪音样本集合中的非噪音样本输入所述第二中间态模获得基于所述第四预测标签与相应的非噪音样本的非噪根据所述第二分类损失函数，对所述第二中间态模型进行至少一次4根据所述预设平滑系数对所述已训练的参考模型的参数进行指数获取待处理文本，其中所述待处理文本为用于描述实体与实体之间将所述待处理文本输入已训练的目标信息抽取模型，基于所述目标所述待处理文本中的实体关联信息，其中所述目标信息抽取模型为通过权利要求1~8中任获取单元，用于获取包含非噪音样本集合和噪音样本集合的训练第一更新单元，用于采用所述噪音样本集合对初始的第一信在训练过程中基于所述第一信息抽取模型对噪音样本的预测结果与噪音样本对应的噪音第二更新单元，用于基于所述第一中间态模型对噪音样本的预信息抽取模型对非噪音样本的预测结果之间的差异，对所述第一信息抽取模型进行更新，得到第二中间态模型，其中所述第一信息抽取模型和所述第二信息抽取模型的参数相同，所述第二信息抽取模型用于指导所述第一信息第三更新单元，用于基于所述第二中间态模型对非噪音调整单元，用于基于预设平滑系数对所述已训练的参考模型的根据所述预设平滑系数对所述已训练的参考模型的参数进行指数获取单元，用于获取待处理文本，其中所述待处理文本为用于描信息抽取单元，用于将所述待处理文本输入已训练5设备上运行时，所述程序代码用于使所述电子设备执行权利要求1~8中任一所述方法的步6[0004]本申请实施例提供一种训练信息抽取模型和获取知识图于所述第一信息抽取模型对所述噪音样本的预测结果与所述噪音样本对应的噪音标签之[0009]基于所述第二中间态模型对所述非噪音样本的预测结果与所述非噪音样本对应7[0013]第一更新单元，用于采用所述噪音样本集合对初始的第一信息抽取模型进行训到用于获得实体关联信息的目标信息抽取模型，其中所述实体关联信息用于构建知识图[0019]分别基于各个非噪音样本包含的句子包，以及各个非噪音样本对应的M个噪音标[0024]将所述M个噪音样本集合中的噪音样本分批输入所述第一信息抽取模型，获得所述第一信息抽取模型输出的M批第一预测标签，其中同一批噪音样本属于相同的噪音样本[0026]分别根据每个第一分类损失函数，对所述第一信息抽取8[0029]分别将所述M个噪音样本集合中的噪音样本输入对应的第一中间态模型，得到每9设备和存储介质。其中在训练信息抽取模型时所使用的训练样本数据集既包含非噪音样[0055]图4为本申请实施例中的一种基于元学习的远程监督关系抽取模型鲁棒性训练框[0061]图8为本申请实施例中的一个可选的训练信息抽取模型的完整方法实现时序流程的非结构化的数据；非结构化或半结构化文本数据的典型代表是图书馆数据库中的文档，将数据以一个一个的包含subject(主语)，relation(关系)和object(宾语)的三元组形式直接对非噪音样本进行标签转移得到的错误标签。非噪音标签标注了非噪音样本的实体、训练数据，对应的概率通常为1，即在训练过程中将噪音样本和非噪音样本都看做是正样样本学习和领域迁移等任务。元学习能够有效地解决NLP(NatureLanguageprocessing，[0080]人工智能(ArtificialIntelligence，AI)是利用数字计算机或者数字计算机控[0084]在本申请实施例中提出的目标信息抽取模型主要应用于对自然语言文本进行处的目标信息抽取模型；应用部分用于通过使用在训练部分训练得到的目标信息抽取模型，和位置向量拼接之后经过卷积神经网络(Convolation)提取特征后，提取出来的特征通过Piecewisemaxpooling(分段最大池化)层之后，进行拼接后送入Softmaxclassifier抽取模型进行训练，其中初始的第一信息抽取模型和初始的第二信息抽取模型的参数相模拟错误标签影响模型的过程，对第一信息抽取模型进行梯度更新得到第一中间态模型。类软件及网站或者社交类软件及网站的计算机设备。各终端设备210通过无线网络与服务[0099]同样的，在使用已训练的目标信息抽取模型抽取待处理文本中的实体关联信息[0101]参阅图3所示，其为本申请实施例提供的一种训练信息抽取模型的方法的实施流[0107]在本申请实施例中，训练信息抽取模型时采用的训练样本集包含两种类型的样[0110]在基于步骤S31中的训练样本数据集来训练目标信息抽取模型的过程中，采用了更新，得到已训练的参考模型，例如基于参考模型预测得到的母子关系对应的概率值为中基于第一信息抽取模型对噪音样本的预测结果与噪音样本对应的噪音标签之间的差异，[0118]步骤S34：基于第二中间态模型对非噪音样本的预测结果与非噪音样本对应的非[0123]下面主要以关系抽取为例进行详细介绍，此时目标信息抽取模型为关系抽取模各个非噪音样本的标签进行标签转移获得的M个噪音样本集合时，噪音样本集合中的各个子包B2中包含多条同时包含实体A和实体C的句子，将句子包B2的标签转移到句子包B1后，[0130]表1为本申请实施例列举的一种对3个非噪音样本进行3次标签转移的结果示意的各个非噪音样本进行M次标签转移得到的，上述过程中的这些噪音样本是仿照原始的非其中即在第m次标签转移时得到的句子包一个其它非噪音样本的非噪音标签，作为对该非噪音样本进行标签转移后得到的噪音标[0146]在介绍完训练样本集之后，下面结合图4对本申请实施例中的模型训练过程进行[0147]参阅图4所示，其为本申请实施例中的一种基于元学习的远程监督关系抽取模型[0150](2)元训练(Meta-Train)模块：利用生成的人工噪音样本来模拟关系抽取模型在因此基于噪音样本集合中M批噪音样本对初始的第一信息抽取模型进行训练时，可分批次[0155]将M个噪音样本集合中的噪音样本分批输入初始的第一信息抽取模型，获得初始的第一信息抽取模型输出的M批第一预测标签，其中同一批噪音样本属于相同的噪音样本[0157]比如第一预测标签表示句子包中实体1和实体2之间的关系为应的噪音标签之间的差异确定的第一分类损失函数，在本申请实施例中采用交叉熵损可替换成其他模型，例如LSTM(LongShort-TermMemory，长短期记忆网络)、GRU(Gated系矩阵R，利用包内注意力机制(intraba请实施例中要求更新后的学生模型(第一中间态模型)给出与老师模型一致的预测。为此，本申请实施例中提出了一个基于KL(Kullback-Leibler)散度(别名：信息散度/相对熵)的一致性损失函数J(h),该函数用来衡量更新后的学生模型的预测与老师模型预测结果的[0167]分别将M个噪音样本集合中的噪音样本输入对应的第一中间态模型，得到每个第样本对应的第一中间态模型，同理，针对第二次噪音样本m)，表示模型预测得到句子包所表示的实体关系为第二预测标签所表示关系类型的概(预测得到的母子关系对应的概率值为0.2)，对应的第三预测标签的关系为父子的概率为0.05(预测得到的母子关系对应的概率值为0.9)，则基于0.65于一致性损失函数，得到元目标函数。其中元目标函数是将M个一致性损失函数求平均得到的，可表示为Lmeta(9),定义如下所示：无限趋近于θ时所获得的模型，作为第二中间态模型，[0180]在上述实施方式中，通过元目标函数的约束，更新后的学生模型(第二中间态模型)可以给出和老师模型一致的预测结果，从而保证了更新后的学生模型没有拟合噪音数出的第四预测标签；获得基于第四预测标签与相应的非噪音样本的非噪音标签之间的差度下降的方式最小化利用原始的非噪音样本(X,Y)计算得到的第二分类损失函数，对第二[0184]其中，第二分类损失函数是通过将原始的非[0186]比如，第四预测标签表示句子包中实体1和实体2之间的关系为父子的概率为表示实体1和实体2之间的关系为母子的概率为1，因此可知实体1和实体2之间的关系为父整第二中间态模型的参数θ,将无限趋近于θ时所获得的模型作为已[0193]6=y+(1-y)0;模型进行元训练以及元测试，通过元学习的方式训练得到不拟合噪音数据的事件抽取模[0201](3)MIMLRE(基于多示例多标签的关系抽取模型)：一个针对多示例多标签学习的[0202](4)PCNN+ONE(选择最可靠样本训练的分段卷积神经网络)：一个使用分段最大池[0203](5)PCNN+ATT(结合句子级别注意力机制的分段卷积神经网络)：一个基于注意力[0205](7)BGWA(结合词级别的双向门控循环单元网络)：一个基于词汇级和句子级注意[0207](9)PCNN+BAG-ATT(结合包级别注意力机制的分段卷积神经网络)：一个基于包内[0209]可以看出，本申请中的模型TFML在相关数据集上的结果r＝0r＝0.1r＝0.2r＝0.3r＝0.468.772.276.384.884.0[0215]其中，表2讨论了本申请中的关系抽取模型和相关技术中的模型在更加有噪的数[0216]参阅图7A所示，为本申请实施例提供的一种获取知识图中，即可识别出该文本中实体所表达的关系类型，并且可以表示成三元组<subject，述事件信息的待处理文本中抽取出用户感兴趣的事件并以结构化的形式呈现出来。具体[0244]6=y6+(1-y)0;[0245]步骤S812：判断非噪音样本集合中是否还有非噪音样本，如果是，则返回步骤并在训练过程中基于初始的第一信息抽取模型对噪音样本的预测结果与噪音样本对应的[0253]第三更新单元904，用于基于第二中间态模型对非噪音样本的预测结果与非噪音[0258]分别基于各个非噪音样本包含的句子包，以及各个非噪音样本对应的M个噪音标[0263]将M个噪音样本集合中的噪音样本分批输入初始的第一信息抽取模型，获得初始的第一信息抽取模型输出的M批第一预测标签，其中同一批噪音样本属于相同的噪音样本[0265]分别根据每个第一分类损失函数，对初始的第一信息抽取模型进行一次梯度更[0266]第二更新模型903具体用于：分别基于每个第一中间态模型对噪音样本的预测结[0268]分别将M个噪音样本集合中的噪音样本输入对应的第一中间态模型，得到每个第实施本申请时