CN118569263B 基于大语言模型微调和检索增强生成的医学知识关系抽取方法及系统 （合肥工业大学）

基于大语言模型微调和检索增强生成的医本发明公开了基于大语言模型微调和检索法和RAG技术从多个专业知识库中检索目标医学2利用LoRA算法对大型语言模型调整过程引预测的关系标签J;J=f(w+BA,通过计算损失函数L来评估模型预测的回答与实际回答之间的差异，以此来指导模型使用反向传播算法计算损失函数相对于A和B的梯度；采用RAG从多个专业知识库中检索目标医学实体信息；将所述目标医学实体信息整合综合运用微调后的大语言模型和目标医学实体信息，对测试数据通过多专家系统的设计，每个独立的模型专家对可能的关系进行评估2.根据权利要求1所述的基于大语言模型微调和检索增强生成的医学知识关系抽取方33.根据权利要求1所述的基于大语言模型微调和检索增强生成的医学知识关系抽取方计算医学实体的特征向量与每个检索到的文选取最高余弦相似度的文本片段作为与所述医学实体最相关的信息整合到模型的推4.根据权利要求3所述的基于大语言模型微调和检索增强生成的医学知识关系抽取方检索过程中，使用BERT作为嵌入模型，为目标医学实体以及检对于医学实体E和检索到的文本片段D转化为向量的过程分量；然后计算医学实体的特征向量与每个检索到的文本片段的特征向量之间的余弦相似LoRA微调模块，利用LoRA算法对大型语言模型调整过程引入4损失函数单元，通过计算损失函数来评估模型预反向传播单元，计算损失函数相对于低秩矩阵的梯度根推理和决策模块，综合运用微调后的大语言模型和目标医学实体信6.根据权利要求5所述的基于大语言模型微调和检索增强生成的医学知识关系抽取系相似度排序单元，计算医学实体的特征向量与每个检索到的整合输入单元，选取最高余弦相似度的文本片段作为与所述5及为医疗保健提供强有力的数据和知识支持都有着不可或缺的作6[0013]利用LoRA算法对大型语言模型调整过程引入低秩矩阵进行特定任务的适应性调[0014]采用RAG从多个专业知识库中检索目标医学实体信息；将所述目标医学实体信息[0020]将传统LoRA方法中,ΔW分解为两个低秩矩阵A和B的乘积，更新的权重矩阵表示为:生成预测的关系标签r:j=f(w+BA,prompt);[0026]通过计算损失函数L来评估模型预测的回答与实际回答之间的差异，以此来指导[0030]使用反向传播算法计算损失函数相对于A和B的梯度；根据梯度和学习率η更新参7[0037]计算医学实体的特征向量与每个检索到的文本片段的特征向量之间的余弦相似[0038]选取最高余弦相似度的文本片段作为与该医学实体最相关的信息整合到模型的8[0057]损失函数单元，通过计算损失函数来评估模型预测的回答与实际回答之间的差如何更准确地从医学文献中抽取实体间的关系，使得Llama2大语言模型适应下游的医学关系抽取任务。进入到推理阶段，为了给予Llama2大语言模型更多有关目标三元组的信9[0068]本发明实施例公开了基于大语言模型微调和检索增强生成的医学知识关系抽取[0070]利用LoRA算法对大型语言模型调整过程引入低秩矩阵进行特定任务的适应性调[0071]采用RAG从多个专业知识库中检索目标医学实体信息；将所述目标医学实体信息习到了丰富的语言特征，这些特征涵盖了从基础语法到复杂语义和深层次的上下文关系。[0086]将传统LoRA方法中,ΔW分解为两个低秩矩阵A和B的乘积，更新的权重矩阵表示为:<<d时，这个数目会小得多。r:j=f(w+BA,[0092]通过计算损失函数L来评估模型预测的回答与实际回答之间的差异，以此来指导[0096]使用反向传播算法计算损失函数相对于A和B的梯度；根据梯度和学习率η更新参[0100]LoRA通过引入低秩矩阵来修改模型的权重，而不是直接在大规模参数上进行训[0105]RAG结合了传统的语言模型和信息检索机制，当系统需要对特定的医学实体进行[0106]为了进一步优化上述技术方案，采用RAG从多个专业知识库中检索目标医学实体[0109]计算医学实体的特征向量与每个检索到的文本片段的特征向量之间的余弦相似[0110]选取最高余弦相似度的文本片段作为与该医学实体最相关的信息整合到模型的[0112]在输入文本中识别出医学实体，然后系统会对这些实体在外部知识库中进行查[0124]本发明的另一实施例公开了基于大语言模型微调和检索增强生成的医学知识关[0133]损失函数单