CN119494347A 一种基于知识增强预训练模型的命名实体识别方法及系统 （厦门数据谷信息科技有限公司）

一种基于知识增强预训练模型的命名实体本发明公开了一种基于知识增强预训练模据的泛化能力，通过详细的性能评估和优化过22.根据权利要求1所述的一种基于知识增强预训练模型的命名实体识别方法，其特征根据命名实体识别规则将文本数据中与目标领域相关的数据进行筛选，命3.根据权利要求2所述的一种基于知识增强预训练模型的命名实体识别方法，其特征从知识库中将知识信息源进行确认，并将知识信息源中的关键实体、关将目标文本数据利用命名实体识别技术进行实体和概念的识将目标文本数据中识别的实体和概念与知识信息源中提取的关将构建的知识图谱进行质量评估，并根据评估结果对构建的知识图谱4.根据权利要求3所述的一种基于知识增强预训练模型的命名实体识别方法，其特征3利用每个实体所对应的关系数量和每个实体的每条关系对应的关联系数获取每个实5.根据权利要求4所述的一种基于知识增强预训练模型的命名实体识别方法，其特征利用所述目标实体对应的关系强度系数和观测实体对应的关系强度系数获取频率调b表示目标知识图谱数据的所有实体对应的关系强度系数b表示目标知识图谱数据的所有实体对应的关系强度系数标准差；Smb表示目标实体对4利用所述频率调节系数结合预设的初始刷新频率进行目标知识图谱数据的刷新频率t6.根据权利要求3所述的一种基于知识增强预训练模型的命名实体识别方法，其特征从数据库中调取命名实体识别规则，并将命名实体识别规则中的识别要求进行确认，根据识别要求将训练模型的标准进行制定，训练模型的标准包括模根据制定的训练模型的标准对选择的训练模型进7.根据权利要求6所述的一种基于知识增强预训练模型的命名实体识别方法，其特征将目标知识图谱数据的向量表示集成到识别训练模型添加的知识将向量表示集成完成的识别训练模型进行模型参数调整，模型参模型参数调整完成后将向量表示集成完成的识别训练模型进行模型训练根据模型训练结果对模型的知识嵌入层的结8.根据权利要求7所述的一种基于知识增强预训练模型的命名实体识别方法，其特征5将分词和标记化处理完成的待识别文本使用实体链接技术将待识别文本中的实体与将格式转换完成的待识别文本输入到知识增强模型中，知识增强模型利用知识嵌入知识增强模型将推理后的待识别文本进行输出张量生成根据输出张量中的分类得分，利用激活函数对输出张量中的根据预测结果对待识别文本中的命名实体进行抽取，将抽9.根据权利要求8所述的一种基于知识增强预训练模型的命名实体识别方法，其特征将命名实体数据与生成的标准评估数据集进行数据匹配，并将匹配将优化后的知识增强模型使用交叉验证法进行模型验证完成后得到命名实体识别的标准知识增强将命名实体识别的标准知识增强训练模型导出为标将导出的标准知识增强训练模型集成到目标应用终端中，其中，目标准知识增强训练模型集成到目标应用终端后进行负载测试，根据负根据生成的监控日志以及目标应用终端上的用户反馈进行标准知识增强训练模型的6[0003]公开号为CN116451764A的中国专利申请文献公开了一种基于查询集合的实体识[0006]本发明的目的在于提供一种基于知识增强预训练模型的命名实体识别方法及系7将目标文本数据利用命名实体识别技术进行实体和概念的识将构建的知识图谱进行质量评估，并根据评估结果对构建的知识图谱进行优化，利用每个实体所对应的关系数量和每个实体的每条关系对应的关联系数获取每8当关系强度系数超过预设的强度系数阈值的实体个数未超过预设的个数阈值时，利用所述目标实体对应的关系强度系数和观测实体对应的关系强度系数获取频b表示目标知识图谱数据的所有实体对应的关系强度系数标准差；Smb表示目标实利用所述频率调节系数结合预设的初始刷新频率进行目标知识图谱数据的刷新9J表示频率调节系数。根据制定的训练模型的标准进行训练模型选择，选择的训练模型包括BERT、根据制定的训练模型的标准对选择的训练模型进将目标知识图谱数据的向量表示集成到识别训练模型添加的知识将向量表示集成完成的识别训练模型进行模型参数调整，模型参数包括学习率、模型参数调整完成后将向量表示集成完成的识别训练模型进行模型训练，并且，根据模型训练结果对模型的知识嵌入层的结[0018]优选的，针对S5中将待识别文本输入至知识增强模型中将分词和标记化处理完成的待识别文本使用实体链接技术将待识别文本中的实将优化后的知识增强模型使用交叉验证法进行模型验证完成后得到命名实体识别的标准知识增强将命名实体识别的标准知识增强训练模型导出为标根据生成的监控日志以及目标应用终端上的用户反馈进行标准知识增强训练模应用终端上的用户反馈进行标准知识增强训练将目标文本数据利用命名实体识别技术进行实体和概念的识将构建的知识图谱进行质量评估，并根据评估结果对构建的知识图谱进行优化，增强了知识图谱的可靠性，知识增强的预训练模型能够处理更复杂的语义理解和推理任利用每个实体所对应的关系数量和每个实体的每条关系对应的关联系数获取每当关系强度系数超过预设的强度系数阈值的实体个数未超过预设的个数阈值时，方案能够广泛应用于各种知识图谱管理和维护场景中。通过定期刷新和更新知识图谱数利用所述目标实体对应的关系强度系数和观测实体对应的关系强度系数获取频b表示目标知识图谱数据的所有实体对应的关系强度系数标准差；Smb表示目标实利用所述频率调节系数结合预设的初始刷新频率进行目标知识图谱数据的刷新J表示频率调节系数。方案能够广泛应用于各种知识图谱管理和维护场景中。通过定期刷新和更新知识图谱数根据制定的训练模型的标准进行训练模型选择，选择的训练模型包括BERT、根据制定的训练模型的标准对选择的训练模型进将目标知识图谱数据的向量表示集成到识别训练模型添加的知识将向量表示集成完成的识别训练模型进行模型参数调整，模型参数包括学习率、模型参数调整完成后将向量表示集成完成的识别训练模型进行模型训练，并且，根据模型训练结果对模型的知识嵌入层的结函数的变化和根据模型训练结果对知识嵌入层的结构进行调整，可以逐步优化模型性能，将分词和标记化处理完成的待识别文本使用实体链接技术将待识别文本中的实将优化后的知识增强模型使用交叉验证法进行模型验证完成后得到命名实体识别的标准知识增强[0049]为了解决现有技术中，没有在应用终端上对构建完成的供以下技术方案：将命名实体识别的标准知识增强训练模型