CN119443182A 一种基于因果关系感知的大语言模型微调方法及装置 （山东浪潮科学研究院有限公司）

一种基于因果关系感知的大语言模型微调本发明公开一种基于因果关系感知的大语练模型，根据微调数据集对预训练后的中文代微调后中文LLama模型进行评估优化，获得模21.一种基于因果关系感知的大语言模型微调方法，其特征是针对古文理解的应用场步骤4：加载预训练模型，根据微调数据集对预训练后的中文LL进行微调，2.根据权利要求1所述的一种基于因果关系感知的大语言模型微调方法，其特征是步3.根据权利要求1所述的一种基于因果关系感知的大语言模型微调方法，其特征是步繁体古文领域细化训练：使用繁体古文数据集进行领域内训练，得到预训练的中文4.根据权利要求1所述的一种基于因果关系感知的大语言模型微调方法，其特征是步5.根据权利要求1所述的一种基于因果关系感知的大语言模型微调方法，其特征是步筛选及审核：对微调数据集中没有现代中文译文的繁体古6.根据权利要求1所述的一种基于因果关系感知的大语言模型微调方法，其特征是步步骤41：建立因果关系模型，通过因果关系模型进行繁3步骤43：构建因果关系网络，通过因果关系网络7.根据权利要求6所述的一种基于因果关系感知的大语言模型微调方法，其特征是步8.根据权利要求6所述的一种基于因果关系感知的大语言模型微调方法，其特征是步设置参数更新策略时，基于因果关系的强度设置学习率，因果关系9.根据权利要求1所述的一种基于因果关系感知的大语言模型微调方法，其特征是步对微调后中文LLama模型进行标准化测试：使用标准化测试集对微调后中进行自动化工具比较：使用自动化工具比较中文LLama模型生成的答案与标准答案之10.一种基于因果关系感知的大语言模型微调装置，其特征是所述装置针对古文理解数据准备模块根据繁体古文数据集，形成微调数据集，并对微调4模型微调模块加载预训练模型，根据微调数据集对预训练后的中文LLama模型基于因5关系进行微调：步骤44：利用因果关系模型、结构方程模型SEM识别微调数据集中数据间因果关6[0005]进一步，所述的一种基于因果关系感知的大语言模型微调方法的步骤1中构建繁[0006]进一步，所述的一种基于因果关系感知的大语言模型微调方法的步骤2中增量训[0007]进一步，所述的一种基于因果关系感知的大语言模型微调方法的步骤3中根据繁[0008]进一步，所述的一种基于因果关系感知的大语言模型微调方法的步骤3中对微调7[0012]进一步，所述的一种基于因果关系感知的大语言模型微调方法的步骤5中对微调进行自动化工具比较：使用自动化工具比较中文LLama模型生成的答案与标准答模型微调模块加载预训练模型，根据微调数据集对预训练后的中文LLama模型基步骤44：利用因果关系模型、结构方程模型SEM识别微调数据集中数据间因果关89[0034]步骤44：利用因果关系模型、结构方程模型SEM识别微调数据集中数据间因果关[0035]根据因果关系的强度调节因果特征权重，进而调节中文LLama模型中涉及因果特并设置参数更新策略，其中根据因果特征强化层的因果特征重要性动态调整参数更新速进行自动化工具比较：使用自动化工具比较中文LLama模型生成的答案与标准答模型微调模块根据微调数据集对预训练后的中文LLama模型基于因果关系进行微步骤44：利用因果关系模型、结构方程模型SEM识别