CN114048737B 实体识别模型训练方法、装置、设备及实体识别方法 （北京明略软件系统有限公司）

第二训练样本对初始多任务模型进行训练得到2根据所述预训练模型建立初始多任务模型，所述初始多任务模型用通过目标损失函数与第二训练样本对所述初始多任务模型进行将目标训练样本输入所述目标多任务模型，得到所述目标多任务模将所述预训练模型分别与第一任务层和第二任务层连接，得到标损失函数的损失值，loss1表示实体识别任务的损失值，loss2表示分词任务的损失值，通过更新所述第二训练样本对所述初始多任务模型的对所述分词表示向量、所述字向量和所述位置表示向量进行加和运算通过所述目标数据集对所述实体识别模型的语言层进行训将所述语言层与训练完成的所述第一任务层连接，训练完成的所述3将所述第一目标特征输入到训练完成的所述第一任务层，以得项所述的实体识别模型训练方法得到的目标模型对目标样本进行第二训练模块，根据所述预训练模型建立初始多任务模型，所第三训练模块，通过目标损失函数与第二训练样本对所述初始多任务模型进行训练，第四训练模块，将目标训练样本输入所述目标多任务模型，第五训练模块，利用所述分词表示向量、所述字向量和所4实施例的实体识别模型训练方法得到的目标模型对目标样5强了语言模型的表征能力；通过目标损失函数与第二训练样本对初始多任务模型进行训[0015]图1为根据本申请实施例提供的一种可选的实体识别模型训练方法硬件环境示意[0020]图6为根据本申请实施例提供的另一种可选的实体识别模型训练方法流程示意[0021]图7为根据本申请实施例提供的另一种可选的实体识别模型训练方法流程示意[0022]图8为根据本申请实施例提供的另一种可选的实体识别模型训练方法流程示意[0023]图9为根据本申请实施例提供的另一种可选的实体识别模型训练方法流程示意[0024]图10为根据本申请实施例提供的另一种可选的实体识别模型训练方法流程示意[0025]图11为根据本申请实施例提供的另一种可选的实体识别模型训练方法流程示意6[0032]本申请实施例中的一种实体识别模型训练方法可以由服务器103或终端101来执英文有明显的空格和一些独特的形式标志，例如首字母大写等作为英文单词的边界标识，何标注标签的文本语料，本申请实施例对此不作具体限定。初始模型包括但不限于，7函数和第二训练样本304对初始多任务模型进行训练，得到如图3所示的目标多任务模型，[0042]本申请实施例中，利用目标损失函数和第二训练样本304对初始多任务模型进行[0043]可以理解的是，本申请实施例的目标多任务模型中，预训练模型可以为Pre_词表示向量403，以及目标多任务模型中的预训练模型301输出的字向量402和位置表示向[0046]本申请实施例中，上述训练得到的目标多任务模型的第一任务层，可以为Bi_8302和条件随机场层405,其中语言层404与训练完成的第一任务层302连接，训练完成的第一任务层302与条件随机场层405连接。上述实施例实体识别模型的语言层404提取特征之序特征的敏感性，并输出新的特征，在Bi_LSTM_n之后引入CRF模型，CRF模型用于对Bi_p，也用于特征提取，以执行分词任务。可以理解的是，本申请实施例的Bi_LSTM_n和Bi_9练样本和第二训练样本304可以为标注标签的文本语料，也可以为无任何标注标签的文本[0060]其中，Loss表示目标损失函数的定初始多任务模型的训练完成即可。[0066]本申请实施例中，上述的第一训练样本和第二训练样本304可以为标注标签的文多任务模型的实体识别任务进行训练，使得在针对训练实体识别任务进行第二训练样本多任务模型训练得到的目标多任务模型的表现效果和泛[0072]步骤S902，通过目标数据集对实体识别模型的语言层404进行训练，得到目标模示向量403、字向量402和位置表示向量401进行加和运算后的目标数据集输入Bert模型中与CRF模型连接，当Bert模型对输入的目标数据集进行特征提取后，输出第一目标特征到实现如前述任意一个方法实施例提供的实体识别模型训练方法得到目标模型对目标样本进行实体识别。词任务，实体识别任务为训练完成的第一任务层302，分词任务为训练完成的第二任务层完成的第一任务层302和训练完成的第二任务层303之间的参数其中，Loss表示目标损失函数的[0092]本申请实施例中，将第二训练样本304输入步骤S1103训练完成的目标多任务模字向量402和位置表示向量401进行特征提取和表征，从而增强了实体识别模型的表征能可以学习Bi_LSTM_n输出特征之间的依赖[0097]第三训练模块1203，通过目标损失函数与第二训练样本304对初始多任务模型进输出的分词表示向量403，以及目标多任务模型中的预训练模型301输出的字向量402和位四训练模块1204可以用于执行本申请实施例中的步骤S204，该实施例中的第五训练模块[0102]利用第一训练样本对RoBerta模型进行训练，从而得到一个具有初始参数值的模命名实体进行识别。[0104]通过Pre_RoBerta模型建立初始多任务模型，初始多任务模型用于执行实体识别[0107]在利用第二训练样本304对初始多任务模型进行训练时，通过目标损失函数值来[0108]其中，Loss表示目标损失函数的[0110]将目标训练样本输入目标多任务模型，得到目标多任务模型的Bi_LSTM_p输出的[0113]需要说明的是，在Bert模型之后，可以增加第三训练模块1203训练得到的Bi_[0117]处理器1301，用于执行存储器1303上所存放的程序，当处理器1301执行存储器及非暂态性计算机可执行程序，如本申请实施例描述的实体识别模型训练方法。处理器[0120]实现上述的实体识别模型训练方法所需的非暂态软件程序以及指令存储在存储[0122]上述的处理器可以是通用处理器，包括中央处理器(CentralProce简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecific根据实际的需要选择其中的部分或者全部模块来实现本实施DSP)、数字信号处理设备(DSPDevice，DSPD)、可编程逻辑设备(ProgrammableLogic或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出[0135]以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实