CN119441398A 一种基于语义大模型的电力客服智能问答方法及相关装置 （中国电力科学研究院有限公司）

一种基于语义大模型的电力客服智能问答本发明公开了一种基于语义大模型的电力构建基于Transformer的电力客服语义大模型，本发明主要设计电力客服语义大模型上下文窗2通过引入相对位置编码信息，构建基于转换器模型Transformer的电力客服语义大模通过改进相对位置编码对预训练后电力客服语义大模型进行改进获得改进后的电力所述通过引入相对位置编码信息，构建基于转换器模型Transformer的电力客服语义大模通过模型的嵌入层将输入序列中的各个词转换为词嵌入向量，对每其中表示第i个词元对应的d维词嵌入向量；将构建的电力客服语义大模型作为基础模型，收集电力领域将大规模电力语料数据集引入基础模型，利用迁移学习的思想对基础模型进行预训所述通过改进相对位置编码对预训练后电力客服语义大模型进行改进获得改进后的电力3首先定义一个比例因子S为扩展上下文长度L'与原始上下文长度L之间的比率：将对于向量x的旋转编码函数改写为关于输入向量x、位置m和θ的函数：引入一个原始上下文长度L和波长d之间的比率r，在第d个隐藏状态中，比率r取决ll;。4对改进后的电力客服语义大模型进行指令微调得到电力客服智能问答大模型的通过奖励模型和强化学习内部评估一系列大模型的输出，对改进后训练一个奖励模型，奖励模型输入为用户问题及大模将用户问题输入至电力客服智能问答大模型后得到输出的结果，将使用价值函数来估计预期输出和当前输出之间的差异，通过比较将用户提问添加提示词或指令转换为电力客服智能问答大模型能理智能问答模块，用于基于电力客服智能问答大模型对所述提通过引入相对位置编码信息，构建基于转换器模型Transformer的电力客服语义大模通过改进相对位置编码对预训练后电力客服语义大模型进行改进获得改进后的电力所述通过引入相对位置编码信息，构建基于转换器模型Transformer的电力客服语义5通过模型的嵌入层将输入序列中的各个词转换为词嵌入向量，对每其中表示第i个词元对应的d维词嵌入向量；10.根据权利要求8所述的一种基于语义大模型的电力客服智能问答系统，其特征在所述构建大规模数据集，对电力客服语义大模型在固定的上下文长度上进行预训练，将构建的电力客服语义大模型作为基础模型，收集电力领域将大规模电力语料数据集引入基础模型，利用迁移学习的思想对基础模型进行预训11.根据权利要求9所述的一种基于语义大模型的电力客服智能问答系统，其特征在所述通过改进相对位置编码对预训练后电力客服语义大模型进行改进获得改进后的首先定义一个比例因子S为扩展上下文长度L'与原始上下文长度L之间的比率：将对于向量x的旋转编码函数改写为关于输入向量x、位置m和θ的函数：6引入一个原始上下文长度L和波长d之间的比率r，在第d个隐藏状态中，比率r取决ll;。12.根据权利要求8所述的一种基于语义大模型的电力客服智能问答系统，其特征在13.根据权利要求8所述的一种基于语义大模型的电力客服智能问答系统，其特征在于，对改进后的电力客服语义大模型进行指令微调得到电力客服智能问答大模型的步骤通过奖励模型和强化学习内部评估一系列大模型的输出，对改进后训练一个奖励模型，奖励模型输入为用户问题及大模将用户问题输入至电力客服智能问答大模型后得到输出的结果，将7使用价值函数来估计预期输出和当前输出之间的差异，通过比较14.根据权利要求8所述的一种基于语义大模型的电力客服智能问答系统，其特征在将用户提问添加提示词或指令转换为电力客服智能问答大模型能理存储的计算机程序以实现如权利要求1至7中任意一项所述的一种基于语义大模型的电力8[0003]本发明实施例的目的在于提供一种基于语义大模型的电力客服智能问答方法及通过引入相对位置编码信息，构建基于转换器模型Transformer的电力客服语义通过改进相对位置编码对预训练后电力客服语义大模型进行改进获得改进后的9[0006]其中表示第i个词元对应的d维词嵌入向量；首先定义一个比例因子S为扩展上下文长度L'与原始上下文长度L之间的比率：引入一个原始上下文长度L和波长d之间的比率r，在第d个隐藏状态中，比率rll;令数据集上对改进后的电力客服语义大模型进行指令微调，获得电力客服智能问答大模通过在线客服模块接收电力客服智能问答大模型模块生成的回复并判断是否需通过引入相对位置编码信息，构建基于转换器模型Transformer的电力客服语义通过改进相对位置编码对预训练后电力客服语义大模型进行改进获得改进后的[0023]其中表示第i个词元对应的d维词嵌入向量；首先定义一个比例因子S为扩展上下文长度L'与原始上下文长度L之间的比率：引入一个原始上下文长度L和波长d之间的比率r，在第d个隐藏状态中，比率rll;令数据集上对改进后的电力客服语义大模型进行指令微调，获得电力客服智能问答大模[0038]根据本发明实施例的第四方面，本发明实施例提供了一领域指令微调和基于优化价值函数的人类反馈强化学习，构建电力客服智能问答大模型，价值函数优化策略为近端优化策略，指令微调和基于该策略的人类反馈强化学习训练方图1为本发明实施例提供的一种基于语义大模型的电力客服智能问答方法的流程图2为本发明实施例提供的一种基于语义大模型的电力客服智能问答方法中图3为本发明实施例提供的一种基于语义大模型的电力客服智能问答方法中电力图4为本发明实施例提供的一种基于语义大模型的电力客服智能问答方法中基于图5为本发明实施例提供的一种基于语义大模型的电力客服智能问答方法中基于图6为本发明实施例提供的一种基于语义大模型的电力客服智能问答系统的结构图7为本发明实施例提供的又一种基于语义大模型的电力客服智能问答方法的流用户体验和服务质量。下面结合图1对本发明第一实施例提供一种基于语义大模型的电力将各个自注意力运算的结果拼接作为后续网络的输入；每一层Transformer网络通过残差输入的文本序列映射而得。w,f、r"和是线性层的可学习参数矩阵，m是注意力头个数，和v,则表示第n个词元对应的词向量集成位置信息n之后的键值向量。基于Transformer和键向量向量的元素按照两两一组应用旋转变换，再取其中的实部计算查询和键向使用SentencePiece来拓展通用底座模型的词表，SentencePiece将输入文本视为一系列首先定义一个比例因子S为扩展上下文长度L'与原始上下文长度L之间的比率：[0064]进一步将步骤1中对于向量x的编码函数改写为关于输入向量x、位置m和θ的始上下文长度L和波长d之间的比率r。在第d个隐藏状态中，比率r取决于d，即lα和p的最佳值为1和32。大模型训练模块，用于通过改进相对位置编码对智能问答的上下文长度进行拓答系统的详细描述可以参考对本发明实施例提供的一种基于语义大模型的电力客服智能[0088]请参阅图7所示，本发明实施例还公开一种基于语义大模型的电力客服智能问答通过引入相对位置编码信息，构建基于转换器模型Transformer的电力客服语义通过改进相对位置编码对预训练后电力客服语义大模型进行改进获得改进后的[0089]在一具体实施方式中，所述通过引入相对位置编码信息，构建基于转换器模型[0090]其中表示第i个词元对应的d维词嵌入向量；首先定义一个比例因子S为扩展上下文长度L'与原始上下文长度L之间的比率：引入一个原始上下文长度L和波长d之间的比率r，在第d个隐藏状态中，比率rll;令数据集上对改进后的电力客服语义大模型进行指令微调，获得电力客服智能问答大模通过引入相对位置编码信息，构建基于转换器模型Transformer的电力客服语义通过改进相对位置编码对预训练后电力客服语义大模型进行改进获得改进后的答系统的详细描述可以参考对本发明实施例提供的一种基于语义大模型的电力客服智能储在所述存储器101中并可在所述至少一个处理器102上运行的计算机程序103及至少一条[0107]存储器101可用于存储所述计算机程序103，所述处理器102通过运行或执行存储语义大模型的电力客服智能问答方法的步骤。所述存储器101可主要包括存储程序区和存[0109]所述电子设备100中的所述存储器101存储多个指令以实现一种基于语义大模型[0110]所述电子设备100集成的模块/单元如果以软件功能单元的形式实现并作为独立以参考对本申请