CN117573843B 一种基于知识校准和检索增强的医疗辅助问答方法及系统 （图灵人工智能研究院（南京）有限公司）

道紫东路2号紫东国际创意园C21栋六楼一种基于知识校准和检索增强的医疗辅助本发明提供一种基于知识校准和检索增强掌握事实正确知识并校准，进而得到大语言模型；结合医学专业知识和医院的信息创建知识2依据对比知识评价方式评估出微调后的基座模型中未掌握事实结合医学专业知识和医院的信息创建知识库，对所述知识库通过微调后的中文语义向量模型对所述知识库中每个文档片段和节点进行特征提取，获取用户问题并进行行业关键词提取，整合用户问题和行业关键整合所述用户问题及其行业关键词、相关联知识数据构建其中，依据对比知识评价方式评估出微调后的基座模型中未S21.计算微调后的基座模型对事实知识掌握程度的指标；S32.遍历每个行业关键词，取行业关键词的特征向量和用户问题的特征向量进行加3获取所述搜索的特征向量与所述向量数据库所确定范围的向量相似点层，进而对该向量数据的上层节点的相似度进行加权计算，得到加权相似度似度；筛选出加权相似度大于设定阈值的文档片段或节点，按照额定数量的文档片段或节点作为所述向量数据库的召S51.根据查询的问题q、相关的正例文档d+及负例文档d-计算目标函数对中文语义S52.同时采用困难负例Hard和负例IB最小化对比目标函数对中文语义向量模型进行。获取用户问题的行业关键词，将用户问题及行业关键词在初步提示模板中嵌入衔接提示词，构成提示语模板，输入至8.一种基于知识校准和检索增强的医疗辅助问答系统，其采用于如权利要求1_7中任4校准模块，其用于依据对比知识评价方式评估出微调后的基座模知识库创建模块，其用于结合医学专业知识和医院的信息提取出的关键信息作为节点，以自下而上的方式对所述知识库内的每个文档创建树状索数据检索模块，其用于获取用户问题并进行行业关键词提取，整提示语优化模块，其用于整合所述用户问题及其行业关键词、相关联5据对Ziya_LLaMA_13B_v1模型进行了微调，度小满公司基于金融数据微调了Bloom_176b模[0003]注入了行业高质量数据的微调模型可以在特定领域有更好的表现，但LLM在推理域高质量数据对LLM进行微调以提升其在该领域上的表现，但基座模型训练数据的清洗相关的内容与噪声会影响上下文学习效果，另外因LLM的最大输入长度限制，通常会截断处6[0011]依据对比知识评价方式评估出微调后的基座模型中未掌[0013]通过微调后的中文语义向量模型对知识库中每个文档片示不同pn(ols,r")的期望；[0021]S23.将指标TU(s,r,0)与预设阈值进行数值对比，根据对比结果作出如下决[0026]S32.遍历每个行业关键词，取行业关7的特征向量与所述向量数据库所确定范围的向量数据进行相似度计算，通过Multi_相似度召回的文档片段或节点作为所述向量数据库的召回结点层，进而对该向量数据的上层节点的相似度进行加权计算，得到加权相似度[0035]S52.同时采用困难负例Hard和负例IB最小化对比目标函数对中文语义向量模型输入至所述大语言模型得到所述用户问题的答案的具体8[0047]校准模块用于依据对比知识评价方式评估出微调后的基座模型中未掌握事实正提取出的关键信息作为节点，以自下而上的方式对所述知识库内的每个文档创建树状索[0049]向量数据库构建模块用于通过微调后的中文语义向量模型对所述知识库中每个9[0058]图1为本发明介绍的一种基于知识校准和检索增强的医疗辅助问答方法的流程实现模型高效的微调。[0069]第二步.依据对比知识评价方式评估出微调了校准模型中错误的医学知识，设计了优化模块。因此本实施例所采用的基座模型目标函数loss应用自适应权值w=eTX(r-T)+0.15。目的是通过指标TU来[0072]第三步.结合医学专业知识和预先选[0083]读取知识库内的文档/图片/表格等信息并进行分段，在保持完整的句子/段落的KeyBert模型进行摘要提取获取关键信息，限制80词以内。将片段的关键信息作为叶子节[0084]第四步.通过微调后的中文语义向量模型对所[0085]中文语义向量模型采用BAAI/bge_large_zh中文语义向量模型对知识库内每个文档片段和树索引的摘要进行特征提取。该语义向量模型借鉴了RetroMAE（Retrieval_。Batch内的不相关数据看作负样本以减少重复计算和提高训练效率。此时的目标函数为,其中用来衡量问题和文档qq[0088]第2步是同时采用困难负例（hardnegatives）和IB负例最小化对比目标函数。目的是让微调后的中文语义向量模型提[0089]第五步.获取用户问题并提取其对应的行业结果明确向量数据库检索范围，计算知识向量数据与用户问题的相似度后，应用Multi_[0091]Step1:采用微调后的KeyBert模型提取用户问题中的关键词，将提取出的行业关进行微调。采用微调后的KeyBert模型提取用户问题中的关键词可以将用户口语化输入转索的特征向量与所述向量数据库所确定范围的向量数据进行相似度计算，通过Multi_相似度召回的文档片段或节点作为所述向量数据库的召回结基线，此时节点层级i=0，树状索引的节点的节点层级i=1，其父节点节点层级i=2，谱可以对原始数据进行的更小粒度的查询和搜索，因此借助知识图谱进行检索增强，即用户问题和其行业关键词进行知识图谱检索，将两种检索方式知识融合后构建提示语模各知识库设计特征关键词，知识库里每个文档的摘要自下而上形成每个文档的树状索引。[0111]校准模块用于依据对比知识评价方式评估出微调后的基座模型中未掌握事实正提取出的关键信息作为节点，以自下而上的方式对所述知识库内的每个文档创建树状索[0113]向量数据库构建模块用