CN110705294A 命名实体识别模型训练方法、命名实体识别方法及装置 （苏宁云计算有限公司）

本发明公开一种命名实体识别模型训练方特征向量和字权重向量并进行融合获得第二上得词特征向量和词权重向量并进行融合获得第文向量对依次连接的双向神经网络和条件随机2对语料样本进行预处理，得到字符序列样本，并对所基于预设的第一双向语言模型和第一自注意力机制模型分别对所述训练字符序列进基于预设的第二双向语言模型和第二自注意力机制模型分别对所述训练字符序列进对所述训练字符序列对应的字特征向量和字权重向量进行融合获得所述训练字符序对所述训练字符序列对应的词特征向量和词权重向量进行融合获得所述训练字符序使用所述训练字符序列的第一上下文向量和第二上下文向量对依次连接的双向神经根据BMEO标注规则对所述字符序列样本进行标注3.根据权利要求1所述的方法，其特征在对所述训练字符序列的字特征向量和所述训练字符序列的字权重向量进行逐个维度所述词特征向量和所述词权重向量均为M维向量，所述对所述训练字符序列对应的词对所述训练字符序列的词特征向量和所述训练字符序列的词权重向量进行逐个维度4.根据权利要求1至3任一所述的方法，其特征在于，所述使用对所述训练字符序列的第一上下文向量和第二上下文向将所述训练字符序列的融合向量输入到所述双向神使用所述条件随机场模型对所述训练字符序列的语义信息特征进对所述训练字符序列的命名实体识别结果与所述训练字符序列预先标注的命名实体3根据所述误差损失对所述双向神经网络和所述条件随机将所述训练字符序列的语义信息特征输入到所述条件随基于预设的第一双向语言模型和第一自注意力机制模型分别对所述待标注字符序列基于预设的第二双向语言模型和第二自注意力机制模型分别对所述待标注字符序列对所述待标注字符序列对应的字特征向量和字权重向量进行融合获得所述待标注字对所述待标注字符序列对应的词特征向量和词权重向量进行融合获得所述待标注字将所述待标注字符序列的第一上下文向量和第二上下文向量输入到命名实体识别模第一预训练模块，用于基于预设的第一双向语言第二预训练模块，用于基于预设的第二双向语言识别模型训练模块，用于使用所述训练字符序第一数据处理模块，用于基于预设的第一双向语言模型第二数据处理模块，用于基于预设的第二双向语言模型4第一向量融合模块，用于对所述待标注字符第二向量融合模块，用于对所述待标注字符命名实体识别模块，用于将所述待标注字符序列的第5[0002]命名实体识别(NamedEntitiesRecognition，NER)是自然语言处理(Natural[0008]基于预设的第一双向语言模型和第一自注意力机制模型分别对所述训练字符序[0009]基于预设的第二双向语言模型和第二自注意力机制模型分别对所述训练字符序[0010]对所述训练字符序列对应的字特征向量和字权重向量进行融合获得所述训练字[0011]对所述训练字符序列对应的词特征向量和词权重向量进行融合获得所述训练字[0012]使用所述训练字符序列的第一上下文向量和第二上下文向量对依次连接的双向6序列对应的字特征向量和字权重向量进行融合获得所述训练字符序列的第一上下文向量，[0018]对所述训练字符序列的字特征向量和所述训练字符序列的字权重向量进行逐个[0019]所述词特征向量和所述词权重向量均为M维向量，所述对所述训练字符序列对应[0020]对所述训练字符序列的词特征向量和所述训练字符序列的词权重向量进行逐个[0025]对所述训练字符序列的命名实体识别结果与所述训练字符序列预先标注的命名[0031]基于预设的第一双向语言模型和第一自注意力机制模型分别对所述待标注字符[0032]基于预设的第二双向语言模型和第二自注意力机制模型分别对所述待标注字符[0033]对所述待标注字符序列对应的字符特征向量和字符权重向量进行融合获得所述7[0034]对所述待标注字符序列对应的词特征向量和词权重向量进行融合获得所述待标[0035]将所述待标注字符序列的第一上下文向量和第二上下文向量输入到命名实体识[0048]对所述训练字符的字特征向量和所述训练字符的字权重向量[0049]所述词特征向量和所述词权重向量均为M维向量，所述第二向量融合模块具体用[0050]对所述训练字符序列的词特征向量和所述训练字符序列的词权重向量进行逐个8语言模型能很好地识别每个字或词在字符序列中不同位置的表达含义以及自注意力机制9[0077]图1是本发明实施例提供的一种命名实体识别模型训练方法的流程示意图，参照红富士苹果[0084]步骤102，基于预设的第一双向语言模型和第一自注意力机制模型分别对训练字符序列进行预训练，获得训练字符序列对应的字特征向量和字权重向量，在执行步骤102[0096]步骤103，基于预设的第二双向语言模型和第二自注意力机制模型分别对训练字符序列进行预训练，获得训练字符序列对应的词特征向量和词权重向量，在执行步骤103[0098]将训练字符序列输入到第二双向语言模型中，获得第二双向语言模型输出的结[0104]步骤104，对训练字符序列对应的字特征向量和字权重向量进行融合获得训练字[0107]步骤105，对训练字符序列对应的词特征向量和词权重向量进行融合获得训练字[0110]步骤106，使用训练字符序列的第一上下文向量和第二上下文向量对依次连接的定大小的GRU内核。其中，双向GRU神经网络中的GRU内核是对传统RNN(RecurrentNeural避免RNN在求导时梯度消失或者梯度爆炸的问题。GRU网络包含两个门函数(resetgate和[0114]步骤1061，对所述训练字符序列的第一上下文向量和第二上并将包含训练好的依次连接的双向神经网络和条件随机场模型的模型确定为命名实体识用第一上下文向量和第二上下文向量对依次连接的双向神经网络和条件随机场中进行训地识别每个字或词在字符序列中不同位置的表达含义以及和自注意力机制模型能够计算现针对待标注文本快速调用线上的命名实体识别模型进[0129]步骤202，基于第一双向语言模型和第一自注意力机制模型分别对待标注字符序[0132]步骤203，基于第二双向语言模型和第二自注意力机制模型分别对待标注字符序[0136]步骤204，对待标注字符序列对应的字特征向量和字权重向量进行融合获得待标[0138]步骤205，对待标注字符序列对应的词特征向量和词权重向量进行融合获得待标[0140]步骤206，将待标注字符序列的第一上下文向量和第二上下文向量输入到命名实[0141]具体地，首先将待标注字符序列的第一上下文向量和第二上[0142]其中，将待标注字符序列的语义信息特征传入训练好的条件随机场模型进行标苹果内存手机OO分别对训练字符序列进行预训练，获得训练字符序列对应的字符特征向量和字符权重向[0163]进一步地，字特征向量和字权重向量均为N维向量，第一向量融合模块34具体用[0166]对所述训练字符序列的词特征向量和所述训练字符序列的词权重向量进行逐个[0172]模型训练子模块，用于根据误差损失对双向神经网络和条件随机场模型进行训施例中详尽描述的技术细节，可参见本发明实施例一提供的命名实体识别模型训练方法，程序被处理器执行时实现如上述实施例一中的命名的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指[0198]这些计