CN118230985B 一种基于插件指令微调大模型的口腔医学导诊方法及系统 （四川大学）

WO2023098288A1,2023.06.一种基于插件指令微调大模型的口腔医学本发明提供了一种基于插件指令微调大模2S201、对不同的口腔学科门类的最优口腔医学数其中，Adlaptersw表示含有不同口腔学科知识的插件，N表示口腔学科门数，Θ表示应标签对，Instfs}表示最优口腔医学指令数据集，t表示最优口腔医学指令数据集中的数S202、在现有通用大模型中添加路由层，并将含S203、对初始的插件指令微调口腔医学大模型进S105、根据三元组数据以及最优口腔医学对话3S106、根据现有口腔医学学科门类以及经标记所述最优插件指令微调口腔医学大模型中路由层的表达所述最优插件指令微调口腔医学大模型的损失函数的表达表示最优插件指令微调口腔医学大模型在给定的条件下预测下一个词元6.一种执行权利要求1_5中任一所述的基于插件指令微调大模型的口腔医学导诊方法含有不同口腔学科知识的插件，并融合含有不同口腔学科知识的插件与现有通用大模型，对不同的口腔学科门类的最优口腔医学数据集单独初始化4其中，Adlaptersw表示含有不同口腔学科知识的插件，N表示口腔学科门数，Θ表示应标签对，Instfs}表示最优口腔医学指令数据集，t表示最优口腔医学指令数据集中的数在现有通用大模型中添加路由层，并将含有不同口腔学科知识的插对初始的插件指令微调口腔医学大模型进行训练，使路由层具有5[0002]口腔医学智能导诊是指在口腔医学领域利用人工智能技术来辅助代替导诊护士6构建医学指令数据集，并按照细分学科分类得到口腔医学下各大细分学科的指令数据集。该医学指令数据集的构建方法解决了目前医学领域用于大模型微调数[0026]其中，Inst{s}表示最优口腔医学指令数据集，{s}表示不同的学科门类，7不同口腔科室以及病人情况进行精确化导诊的技t个口腔医[0036]上述进一步方案所带来的技术效果是：形成包含不同口通用大模型，Adapter1,2,...,N表示含有不同口腔学科知识的插件，N表示口腔学科门数，[0040]上述进一步方案所带来的技术效果是：将初始化后的路8x2,...,xi-1)表示最优插件指令微调口腔医学大模型在给定的条件下预测下一个词元xi的9[0069]其中，Inst{s}表示最优口腔医学指令数据集，{s}表示不同的学科门类，抽取得到Subject主体S以及Object主体O，然后对实体进行关系分类预测得到实体间关系[0076]对口腔对话数据集D进行聚类(Clustering)分析，抽取代表性口腔医学对话数据t个口腔通用大模型，Adapter1,2,...,N表示含有不同口腔学科知识的插件，N表示口腔学科门数，[0098]在原有通用大模型结构中有针对不同学科数据选择不同插件的能力,如理式所示，最终得到融合口腔医学知识的大[0102]本实施例中，最优指令插件指令微调口腔医学大模[0105]混合前馈层由现有通用大模型的前馈层与构建得到的不同口腔学科知识的插件[0106]最优指令插件指令微调口腔医学大模型的损失函数与现有通用大模型训练的损取K个混合前馈层中的知识插件进行计算来完成整体大模型的更新，而不是和传统大模型x2,...,xi-1)表示最优插件指令微调口腔医学大模型在给定的条件下预测下一个词元xi的[0119]如图4所示实施例提供的导诊系统可以执行上述方法实施例导诊方法所示的技术开的实施例描述的各示意单元及算法步骤，本发明能够以硬件和/或硬件和计算