CN119513266A 一种基于大模型微调的电信业务问答方法、系统和服务器 （浙江孚临科技有限公司）

一种基于大模型微调的电信业务问答方法、本发明公开了一种基于大模型微调的电信通过构建提示文本输入文本模型进行模型数据发送的待回答文本进行问题改写并向量化后与关性低于设定值的改写语句输入训练好的大语2删除字段缺少数据和统一字段后成整合成json数据格式的训S3，对用户发送的待回答文本进行问题改写后将改对大语言模型Qwen2进行微调训练，其中模型权重被配置为W∈Rdxd，其中d分别是输在开始进行微调过程中，通过引入两个较小的矩阵A∈Rdxr，矩阵B∈Rrxd,其中r<<0_A0B0)+AB；采用Lora微调方式，其中矩阵A、矩阵B和W的更新公式为：最小化取值其中是矩阵的Frobenius范数的平Rmxm为正交矩阵,P∈Rnxm为对角矩阵；通过使用训练数据集中的样本,计算初始梯度GO=VW,L,其中G0矩阵SVD为UPV,U的前3XWvO进行低秩分解：kxrrxnd。使用N个训练处理器进行数据并行训练操作，在每个训练处理器中均独立运行一初始在进行前向传播计算前对权重执行全聚集算法操作取回分布在各训练处理器上的权在执行前向和反向传播计算后每个训练处理器分别得到一份梯对梯度执行全归约算法操作来确保每个训练处理器所维护的梯度是数据构建模块，用于对客服历史聊天记录数据进行打标并标注用微调训练模块，用于通过引入低秩矩阵、采用分布式训练对初始大语言模型进行4对大语言模型Qwen2进行微调训练，其中模型权重被配置为W∈Rdxd，其中d分别是输在开始进行微调过程中，通过引入两个较小的矩阵A∈Rdxr，矩阵B∈Rrxd,其中r<<0_A0B0)+AB；采用Lora微调方式，其中矩阵A、矩阵B和W的更新公式为：最小化取值其中是矩阵的Frobenius范数的平Rmxm为正交矩阵,P∈Rnxm为对角矩阵；通过使用训练数据集中的样本,计算初始梯度GO=VW,L,G0矩阵SVD为UPV,U的前r列行低秩分解，其中注意力权重计算为:其中QvvBkBoqdxr，59.一种服务器，包括存储器、处理器以及存储在6[0003]本发明针对现有技术中的不足，提供了一种基于大模型微调的电信业务问答方0为初始化的W；其中为了逼近全量微调采用新的权重AB；采用Lora微调方式，其中矩阵A、矩阵B和W的更新公式为：7其中是矩阵的Frobenius范数的平方，当通过使用训练数据集中的样本,计算初始梯度GO=VW,L,G0矩阵SVD为UPV,U的前r列初始vO为线性变换矩kvWk+对应训练处理器维护的梯度，对每个训练处理器用所维护的优化器和梯度更新相应的权[0013]本发明还公开了一种基于大模型微调的电信业务问答系统，包括数据构建模块、8相关性低于设定值的改写语句输入训练好的大语言模型来获得对[0015]其中L是损失函数，η是学习率；最小化取值其中通过使用训练数据集中的样本,计算初始梯度GO=VW,L,GO矩阵SV力权重矩阵Wq,Wk,Wv,Wo,进行低秩分解，其中注意力权重计算为:Attention(Q,k,v)=其中Q＝XWq，K＝XWk，V＝XWv，WO为线性变换矩阵,kvBkWv+AvBvAvvond9[0023]图1为本发明一实施例公开的基于大模型微调的电信业务问答方法的步骤示意[0026]图4为本发明另一实施例公开的基于大模型微调的电信业务问答系统的结构示意电信人员通过人工的方式对客服历史聊天记录中的用户问题进行标注，识别问题的类别、)[:,:r]0[0048]步骤S1021,计算初始梯度GO=VW,L,并对矩阵G0进行奇异值分解得到其对应的[0049]步骤S1022,使用矩阵U的前r列对矩阵A进行初始化得到A0、使用矩阵V的第r+1行始大语言模型通常包含注意力机制以保证模型具有长程依赖能力对复杂的上下文进行处vBqWk+AkBk上运行，也可以在多个GPU和多台机器上进行分布式训练，可迅速降低训练成本和时间。每个训练处理器中均独立运行一初始大语言模型，模型权重会被分成N份且每个训练处理别发送至N个独立运行一相同初始大语言模型且分别包含该初始大语言模型1/N权重的训基础，并对训练数据集和模型权重进行均匀切割以使每个GPU可以独立地使用自己的数据并分别送到加载有初始大语言模型的两个相同的GPU卡上。本实施例选择7张A_800显卡进行训练，并设置每张显卡的batch_size为8、初始学习率为5e_5，指定要微调的权重为q_[0062]步骤S202，各训练处理器利用全聚集算法取回分布在各GPU上的权重组成完成的播和反向传播前，需通过全聚集算法AllReduce取回分布在各GPU上的权重组成完成的参率，本实施例还结合构建电信业务知识库及向量搜索的方式进行用户问题对应答案的获写的语句输入BGE模型中转化为文本向量并与电信业务知识库内的数据进行向量化计算，找到电信业务知识库内与用户问题相似度最高的几个句子并将其输入Re_rank模型中对其搜索模块3，用于对用户发送的待回答文本进行问题改写后将改写语句向量化后与电信业其中模型权重被配置为W∈Rd×d，其中d分别是输入和输出的维度；在开始进行微调过程Lora微调方式，其中矩阵A、矩阵B和W的更新公式为：[0077]其中L是损失函数，η是学习率；最小化取值其中通过使用训练数据集中的样本