CN119538926A 命名实体识别模型训练方法、装置、电子设备及存储介质 (广东明创软件科技有限公司)_第1页
CN119538926A 命名实体识别模型训练方法、装置、电子设备及存储介质 (广东明创软件科技有限公司)_第2页
CN119538926A 命名实体识别模型训练方法、装置、电子设备及存储介质 (广东明创软件科技有限公司)_第3页
CN119538926A 命名实体识别模型训练方法、装置、电子设备及存储介质 (广东明创软件科技有限公司)_第4页
CN119538926A 命名实体识别模型训练方法、装置、电子设备及存储介质 (广东明创软件科技有限公司)_第5页
已阅读5页,还剩25页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

本申请公开了一种命名实体识别模型训练获取领域数据,并对领域数据进行数据清洗处2获取所述样本数据的领域信息,并对所述样本数据进行根据所设定的实体类型和所述领域信息及所述语义信根据标注后的样本数据对实体命名识别模型在所述领域数据所包含的领域中确定领域标识,并接收输入的实体类型,并根据所述实体类型对所述样本根据所述领域信息和所述语义信息,对所述第一实体根据所述实体类型和所述第二实体对所述样本数据进行根据所述实体类型在所述实体集合中进行实体筛选,得将所述第二实体与所述实体类型进行关联,并基于所设定的标6.如权利要求5所述的方法,其特征在于,所述对所述标记结果进行去噪和归一化处根据所述筛选规则和所述实体信息对所述标记结果进行处理,得到处理后的标记结3将所述实体信息中实体长度大于长度阈值的第一实体进行将所述实体信息中实体前后缀不属于相对应实体类型的将所述实体信息中属于同一实体的不同实体数据标注模块,用于根据所设定的实体类型和所述模型训练模块,用于根据标注后的样本数据对实体4[0002]命名实体识别(NamedEntityRecognition,NER)是自然语言处理中的一项基础5程序时实现上述任一项所述的命名实体识别模型义将在下文描述中给出。6进行标注处理,需要准确的对样本数据的领域信息进行获取,同时为了进一步提高实体识别的准确性,还可以对样本数据的语义信息进行获取,便于对实体进行进一步的识别和确定。[0038]示例性地,在对样本数据进行分析处理时,利用预设的大规模语言模型(Large7[0040]在进行实际的实体识别时,在输入了样本数据和prompts之后,进行处理的对象[0041]“YouareahighlyintelligentandaccuratemedicaldomainNamed_entityrecognition(NER)system.YoutakePassageasinputandyourtaskistogivenpassageandclassifyintoasetoffollowingpredefinedentitytypes:predefinedentitytypes,'E':entityintheinputtext}}form,nootherform.”用LLM与所设定的实体识别规则对其进行实体的识别,进而在完成实体识别时便完成实体8[0052]在实际处理中,样本数据可以使基于多领域的领域数据进行清可以理解为对实体基于领域的不同进行划分,也可以理解为基于领域对实体进行过滤处9[0069]其中,命名实体识别模型可以基于条件随机场(ConditionalRandomField,CRF)、循环神经网络(RerrentNeuralNetwork,RNN)以及双向Transformer的Encoder[0111]该电子设备500可以实现本申请实施例所提供的命名实体识别模型训练方法任一[0112]请参见图6,图6是本申请实施例提供的电子设备的另一种结构示意图,如图6所述实施例中提供的命名实体识别模型训练方法。该电子设备600可以为移动终端如智能手讯网络或者其他设备进行通讯。RF电路610可包括各种现有的用于执行这些功能的电路元GSMEnvironment,EDGE),宽带码分多址技术(WidebandCodeDivisionMultipleAccess,WCDMA),码分多址技术(CodeDivisionAccess,CDMA)、时分多址技术(Time气和电子工程师协会标准IEEE802.11a,IEEE802.11b,IEEE802.11g和/或IEEE802.11n)、网络电话(VoiceoverInternetProtocol,VoIP)、全球微波互联接入[0114]存储器620可用于存储软件程序以及模块,如上述实施例中命名实体识别模型训练方法对应的程序指令/模块,处理器680通过运行存储在存储器620内的软件程序以及模相对于处理器680远程设置的存储器,这些远程存储器可以通过网络连接至电子设备600。[0116]输入单元630可用于接收输入的数字或字符信息,以及产生与用户设置以及功能户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表[0117]显示单元640可用于显示由用户输入的信息或提供给用户的信息以及电子设备环境光线的明暗来调节显示面板641的亮度,接近传感器可在翻盖合上或者关闭时产生中[0120]电子设备600通过传输模块660(例如Wi_Fi模块)可以帮助用户接收请求、发送信

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论