CN119416874B 基于知识增强及自适应微调的电力大语言模型构建方法 （国网信息通信产业集团有限公司）

基于知识增强及自适应微调的电力大语言本发明涉及一种基于知识增强及自适应微力领域相关的文本数据，并预处理；S2:使用2所述电力大语言模型包括基础模型、路由层和专家模块，所述基础;所述专家模块包括若干专家子模块，每个专家子模块专注于特定的电力;备的数据集;ci(f(z;a))是第i个专家在其特定任务上的损失函数;R(0)是全局正则化;将电力领域的特定特征作为条件输入到生成器中，指导生成过3;在判别器中加入领域特征检测模块，识别不符合电力领域领域特征检测模块进行判别器的微调；S61:使用知识图谱嵌入方法将知识图谱中的S62:将知识图谱向量嵌入整合到电力大语言模型的输S65:在电力大语言模型内部增加交叉注意力层2.根据权利要求1所述的基于知识增强及自适应微调的电力大语言模型构建方法，其S11:收集电力领域相关的文本数据,将不同格式的数据转换为统一的文本格式，并进S13:利用文本相似度算法Jaccard相似度检测并去除重复的文档和段落，并通过关键3.根据权利要求2所述的基于知识增强及自适应微调的电力大语言模型构建方法，其分析每个文档的主题分布，筛选出与电力领域相关的主创建电力领域相关的关键词列表，遍历每个文档或段4.根据权利要求3所述的基于知识增强及自适应微调的电力大语言模型构建方法，其4;;其中，o,为文档d的主题分布；为主题k的主题词分布；为文档主题分布的;其中，是文档d中的第n个词的主题；wa.n为是文档d中第n个词；5.根据权利要求1所述的基于知识增强及自适应微调的电力大语言模型构建方法，其将预处理后的文本数据转换为适合SeqGAN输入的格式，训练SeqGA;;6.根据权利要求1所述的基于知识增强及自适应微调的电力大语言模型构建方法，其初始化基础模型和专家模块，通过预训练的大语言模模块添加专门处理其任务的特化层，这些层的初始参数从基础模型的相近领域模块中选5训练路由器使其学习到任务特性与专家模块之间7.一种基于知识增强及自适应微调的电力具体执行如权利要求1_6任一项所述的一种基于知识增强及自适应微调的电力大语言模型适于由处理器加载并执行如权利要求1～6任6[0012]S6:将知识图谱与电力大语言模型结合，通过提示和注意力机制增强模型的推理7[0019]S11:收集电力领域相关的文本数据,将不同格式的数据转换为统一的文本格式，[0021]S13:利用文本相似度算法Jaccard相似度检测并去除重复的文档和段落，并通过关键词过滤和主题建模LDA筛选出与电力领域8[0046]其中，为生成器的损失函数；r-G表示从生成器G生成的文本序列Y;logD(X)为判别器对真实文本序列X的输出的对数。9专家准备的数据集;c:(f(a;0))是第i个专家在其特定任务上的损失函数;R(0)是全局选用；[0072]另一实施例中，提供一种基于知识增强及自适应微调的电力大语言模型构建系[0098]S13:利用文本相似度算法Jaccard相似度检测并去除重复的文档和段落，并通过关键词过滤和主题建模LDA筛选出与电力领域LO为生成器的损失函数；r-G表示从生成器G生成的文本序列Y;,[0151]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发