CN119514674A 基于知识图谱的医疗领域大模型预训练与微调方法和装置 （杭州古珀医疗科技有限公司）

基于知识图谱的医疗领域大模型预训练与本发明公开了一种基于知识图谱的医疗领利用收集的医疗相关文本数据及质量标注结果将高质量数据和编码后的医学知识图谱在不同训练样本输入预训练后的大语言模型进行模型等高风险领域的AI2型从新获取的医疗相关文本数据中筛选出高将医学知识图谱编码为大语言模型处理的文本格式，将高质量数据和编设计包括指令、知识图谱推理路径和生成的回答的指令微调数据格式，将以指令模型根据用户新输入的指令输出最终回答和2.根据权利要求1所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征选取若干医学话题，每个话题对应两个不同质量的医疗相关文本内容，估将每个话题对应的两个不同质量的医疗相关文本内容人工标注为包括高质量文本内容3.根据权利要求2所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征将新获取的医疗相关文本数据输入训练后的奖励模型，奖励模型输出相应的质量评4.根据权利要求3所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征定期抽样检查质量筛选结果并由医学专家进行人工验证，根5.根据权利要求1或4所述的基于知识图6.根据权利要求1所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征<|node_start|>头实体<|node_end|><|relation_start|>关系<|relation_end|><|node_start|>尾实体<|no其中，<|node_start|>和<|node_end|>用于标识医学知识图7.根据权利要求6所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征38.根据权利要求1所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征9.根据权利要求1所述的基于知识图谱的医疗领域大模型预训练与微调方法，其特征所述数据质量筛选模块用于利用收集的医疗相关文本数据及其质量标注结果训练奖所述模型预训练模块用于将医学知识图谱编码为大语言模型处理的文量数据和编码后的医学知识图谱在不同批次交替输入大语所述模型微调模块用于设计包括指令、知识图谱推理路径和生成据格式，将以指令微调数据格式构建的训练样本输入预训练后的大语言模型进行模型微4[0002]近年来，随着人工智能技术的飞速发展，大语言模型(LargeLangu现有通用大语言模型在医疗领域应用时存在的5语言模型根据用户新输入的指令输出最终回答和度评估将每个话题对应的两个不同质量的医疗相关文本内容人工标注为包括高质量文本[0024]<|node_start|>头实体<|node_end|><|relation_start|>关系<|relation_end|6径为回答问题所需的医学知识图谱推理步骤，生成的回答为基于推理路径得出的最终答[0030]所述数据质量筛选模块用于利用收集的医疗相关文本数据及其质量标注结果训高质量数据和编码后的医学知识图谱在不同批次交替输[0034](1)本发明通过训练奖励模型来自动筛选和保留医疗相关文本数据中的高质量数[0036](3)本发明通过对医学知识图谱进行编码，使大语言模型能够有效地编码和表示[0037](4)本发明通过设计特殊的指令微调数据格式对预训练后的大语言模型进行微[0039]图1是本发明实施例提供的基于知识图谱的医疗领域大模型预训练与微调方法的[0040]图2是本发明实施例提供的基于知识图谱的医疗领域大模型预训练与微调装置的7[0043]图1是本发明实施例提供的基于知识图谱的医疗领域大模型预训练与微调方法的一种基于强化学习中RLHF(ReinforcementLearningfromHumanFeedback，基于人类反馈的强化学习)思想的数据质量筛选方法，该方法的核心是训练一个奖励模型来评估网页[0052]使用Qwen2_7B模型作为基础模型，采用DPO(DirectPreferenceOp8高质量的医学知识库和训练可靠的医疗AI模[0078]<|node_start|>头实体<|node_end|><|relation_start|>关系<|relation_end|[0080]<|node_start|>阿司匹林<|node_end|><|relation_start|>用于治疗<|relation_end|><|node_start|>发烧<|9大语言模型根据用户新输入的指令输出最终[0089]实施例中，医学垂直领域大语言模型在微调阶段采用了创新的知识图谱推理机[0095]这种格式的设计旨在让模型学习如何利用知识图谱进行推理，并生成相应的答示方法使得大语言模型能够学习和遵循预训练阶段所获看到模型是如何一步步从初始问题推理到最终答案的。通过输出推理路径并支持其可视[0108]数据质量筛选模块210用于利用收集的医疗相关文本数据及其质量标注结果训练[0109]模型预训练模块220用于将