CN117033608B 一种基于大语言模型的知识图谱生成式问答方法及系统 （中国电子科技集团公司第十研究所）

所US2022383126A1,2022.12.01KnowledgeGraphandBERT.Se一种基于大语言模型的知识图谱生成式问本发明公开了一种基于大语言模型的知识过子图检索策略为经LoRA微调后的大语言模型2LanguageModelsFinetunedwithMedicalDataandComprehensEvaluation./10arXiv.2306.09968.2023,1-11.3通过获取领域知识图谱的三元组结构数据，调用基于BERT预训练模型生成图谱单跳、通过领域知识图谱获取结构化的实例数据：标注出图谱数据的实体和关联三元组信息，令知识图谱数据x={name:name,k1:v,k2:v2…,kn:v}，设X为知识图谱中一个实体[name,kz,v2],...，x即是模型训练数据的实例数据；再面向知识图谱问答任务构建提示模版P；将实例数据添加至提示模版即生成模型训步骤21：将LoRA模型参数拆分两部分：预训练权重weRdrd和finetune增量权重步骤22：将步骤1的训练数据进行Tokenizer处理，设置训练参数，加模型微调结束后，利用部分训练数据验证模型效果，将训练完成的若res1>res0，则模型微调效果提升，将其作为后续图谱问答的推理模型；若res1<4步骤34：实体链接将实体指称项链接到知识库中对应实共现句的特征表示向量与目标关系向量r相似度越高时，该共现句能正确表达目标关系5先将目标实体列表转化成词向量表，抽取得到的实体也转换成词向量和表中词向量进行对比，判断在目标实体列表中是否有与抽取实体语义相同的实给定一个包含一组识别提及M={mq,m2…,mn}的规则文本S，实体链接系统的目标6.一种适用于权利要求1至5任一项所述的基于大语言模型的知识图谱生成式问答方生成模块，用于将经LoRA微调后的大语言模型作为问6的智能问答技术是基于深度学习构建的预训练模型，其核心是通过语义理解识别问题意[0005]二是问题局限性大，知识图谱问答是基于三元组的实体名称和实体关系返回答7信息，令知识图谱数据x={name:name,k1:v,k2:v2…,kn:v}，设X为知识图谱中一个实[name,kz,v2],...，x即是模型训练数据的实例数据；[0019]再面向知识图谱问答任务构建提示模版P；将实例数据添加至提示模版即生成模[0024]若res1>res0，则模型微调效果提升，可将其作为后续图谱问答的推理模型；若8一个头实体entity1时，根据知识图谱中的关系表示预测出相应的尾实体entityz；同样地，实体共现句的特征表示向量与目标关系向量r相似度越高时，该共现句能正确表达目标[0041]给定一个包含一组识别提及M={mq,m2…,mn}的规则文本S，实体链接系统的9[0045]步骤43：模型推理，输入步骤42中的Prompt和History，第一次模型输入时，[0046]本发明还公开了一种适用于上述所述的基于大语言模型的知识图谱生成式问答[0049]提供模块，用于通过子图检索策略为经LoRA微调后的大语言模型提供问答知识[0056]图1为本发明实施例的一种基于大语言模型的知识图谱生成式问答方法的示意[0061]参见图1，本发明提供了一种基于大语言模型的知识图谱生成式问答方法的实施X={name:name,k1:v,k2:v2…,kn:v}，设X为知识图谱中一个实体节点的关系数据，点名称，经数据预处理后，图谱数据X转换为x'=[[name,kq,v1],[name,k2,v2],...,力。首先，将LoRA模型参数拆分两部分：预训练权重weRdrd和finetune增量权重没有发生改变，只需要将训练完成的矩阵乘积BA与原本固定的权重矩阵w相加作为新的模型区中矩阵，即h=(w+BA)x，将权重矩阵h作为新权重参数替换最初预训练模型语型仅能识别出训练过程指定的实体类型数据，因此本发明提出利用信息抽取模型UIE完成[0081]UIE模型输入包含schema和text两个参数，schema为抽取实体类型，用户可自定一个包含一组识别提及M={mq,m2,…,mn}的规则文本S，实体链接系统的目标是找到一有对应的图谱中当前提及的实体，在实体消歧之前，对于每个提及，潜在候选实体[0089]本发明提供了一种适用于上述方法实施例的基于大语言模型的知识图谱生成式[0092]提供模块，用于通过子图检索策略为经LoRA微调后的大语言模型提