CN119416143A 一种融合LoRA的大语言模型的多任务处理方法及系统 （广东省风力发电有限公司）

一种融合LoRA的大语言模型的多任务处理开了一种融合LoRA的大语言模型的多任务处理任务处理信息进行特征提取以确定各个场景任参数集进行数据匹配以得到与场景任务参数关征输入至经过参数更新操作的大语言模型中来2接收用户输入的任务处理信息，并对所述任务处理信息进行基于所述场景任务特征来与预先的LoRA模块参数集进行数据匹配以得到与所述场景将所述场景任务特征输入至经过参数更新操作的大语言模型中来进行识别以得到相语言模型包括多个Transformer层，且多个LoRA模块同时并入每个Transformer层，每个对所述预训练大语言模型添加低秩适配器，并基于各个领域数据构建的别对预训练大语言模型进行训练直至所述预获取针对各个领域数据的微调模块参数，将所述微调模块参数存储将得到场景领域的LoRA模块参数与大语言模型的模型参数合并，得到相整合LoRA模块到预训练大语言模型的过程中引入可训练的路由参数Ψ,并将所述可训练的路由参数Ψ以及每个LoRA模块的参数θi均作为预训练大语言模型的模型参数来进行k基于Transformer的参数微调模型使用低秩参数增量矩阵A和低秩参数增量矩阵B以及3变换矩阵T来进行预训练参数矩阵ΔW的更新，其中预训练参数矩rk或d，Aek,Be⃞,Te*;在训练过程中，变换矩阵T对低秩参数增量矩阵A和低秩参数增量矩阵B执行特定于任融合LoRA的大语言模型系统的最终损失是语言建模损失和混合专家模型路由损失的损失的权重机器对模型训练速度和收敛性的影响；Lasry代表基于专家分类的交叉熵损其中，语言建模任务是预训练解码器的大语言模型的常用目标，x表示标记序列{x1，采用基于Transformer的参数微调模型，并利用变换矩阵T来优化LoRB2获取域元数据，利用域元数据对输入的任务处理信息来进行采用序列级路由策略将所述域元数据路由至相应的LoRA模块，在训练期间，每个对各领域数据进行用户权限划分以确定不同用户的访问权限；所述访4获取与用户关联的领域权限信息；若是发现用户没有获取特定领域参数应用的权限，采用与用户的领域权限信息相似度最高的LoRA模块或者通用领域模型参数来对大语接收模块：用于接收用户输入的任务处理信息，并对所述任务处路由模块：用于基于所述场景任务特征以及上下文信息来与预先的L识别模块：用于将所述场景任务特征以及上下文信息输入要求1至7任一项所述的融合LoRA的大语言模10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程5[0002]目前，大型语言模型在加速自然语言处理技术的进步方面扮演了至关重要的角型回应特定领域问题的准确度成为本领域技术人员亟待解[0006]基于所述场景任务特征来与预先的LoRA模块参数集进行数据匹配以得到与所述[0007]将所述场景任务特征输入至经过参数更新操作的大语言模型中来进行识别以得集分别对预训练大语言模型进行训练直至所述预训练大语言模型6[0016]整合LoRA模块到预训练大语言模型的过程中引入可训练的可训练的路由参数Ψ以及每个LoRA模块的参数θi均作为预训练大语言模型的模型参数来[0017]作为一种可选的实施方式，在本发明实施例第一方面中，所述大语言模型的[0021]基于Transformer的参数微调模型使用低秩参数增量矩阵A和低秩参数增量矩阵B以及变换矩阵T来进行预训练参数矩阵ΔW的更新，其中预训练参数矩阵woe4被固Aek,Be⃞,Te*;[0022]在训练过程中，变换矩阵T对低秩参数增量矩阵A和低秩参数增量矩阵B执行特定[0024]融合LoRA的大语言模型系统的最终损失是语言建模损失和混合专家模型路由损[0025]其中，语言建模任务是预训练解码器的大语言模型的常用目标，x表示标记序列i是在给定序列中前面的标记x<i后预测的目标标记；[0026]采用基于Transformer的参数微调模型，并利用变换矩阵T来7W,ek,W0表示基础大语言模型的初始注意力和前馈权重矩阵，其参数r是路由器的可训练参数，由线性层实现；AiBi定义了LoRA模块Mi，Ai和Bi分别是第i个LoRA模块的参数，其中[0038]采用与用户的领域权限信息相似度最高的LoRA模块或者通用领域模型参数来对[0041]本发明实施例第二方面公开一种融合LoRA的大语言模型的多任务处理系统，包8所述计算机程序使得计算机执行本发明实施例第一方面公开的融合LoRA的大语言模型的[0048]本发明实施例中融合LoRA的大语言模型的多任务处理方法通过预先定义的LoRA[0050]图1是本发明实施例公开的融合LoRA的大语言模型的多任务处理方法的流程示意[0052]图3是本发明实施例公开的基于Transformer的参数微调模型及四种变换矩阵的[0054]图5是本发明实施例提供的一种融合LoRA的大语言模型的多任务处理系统的结构9个领域的数据混合并仅通过添加一个LoRA模块进行微调是一种简单且高效的方法。此外，LoRA组合来隐式整合多个任务适配器的知识。MoE混合专家模型通过引入多个专家处理不型语言模型拥有数十亿参数并面临灾难性遗忘的挑战，基于适配器的微调方法，例如据有限的新任务快速适配大型语言模型提供了一种资源高[0060]专家混合MoE是一种集成方法，通常表现为一组专门处理不同输入数据类型的子MoE与指令调整相结合可以提升特定任务的性能。通常通过两阶段学习或端到端多任务学[0066]本发明实施例描述了一种融合LoRA(Low_RankAdaptation)技术的大语言模型的配不同的LoRA模块参数组来应对多样化的任务场景，实现了大语言模型的多任务处理能[0076]本发明针对现有解决方案的局限性和挑战，提出一种融合LoRA的大语言模型系能够根据任务需求自适应地调整，通过精心设计的Transformer架构微调方法和多样的变[0077]本发明实施例通过在每个Transformer层中同时并入多个LoRA模块，并赋予每个[0078]在每个Transformer层之前嵌入的路由组件能够根据模型输入数据动态匹配相应每个场景任务数据上获得最优的LoRA模块参数，随后采用路由机制将N个LoRA模块集成到[0083]首先针对N个不同的任务类型{M1,M2,…,MW},分别设计和训练了N个LoRA模块{R1,R2,…,RW},每个LoRA模块Ri针对其对应的任务Mi进行优化，以在该特定任务上景最优化的模块参数集θi；[0085]在整合LoRA模块到共享大语言模型的过程中，引入了可训练的路由器参数Ψ,这[0087]整合LoRA模块到预训练大语言模型的过程中引入可训练的可训练的路由参数Ψ以及每个LoRA模块的参数θi均作为预训练大语言模型的模型参数来在训练过程中同时学习到如何最优地选择LoRA模块以及如何调整LoRA模块参数以适应特[0090]传统的多任务处理模型在训练过程中往往需要人工指定哪些任务应该使用哪些wf、wf、WY[0097]基于Transformer的参数微调模型使用低秩参数增量矩阵A和低秩参数增量矩阵B以及变换矩阵T来进行预训练参数矩阵ΔW的更新，其中预训练参数矩阵被固定，秩rk或d，Aek,Be⃞r,TeR;[0098]在训练过程中，变换矩阵T对低秩参数增量矩阵A和低秩参数增量矩阵B执行特定方法,提升模型在多任务自然语言处理领域中的性能，通过引入线性变换和特定结构的变[0100]采用的Transformer架构包含多个密集参数矩阵，每个矩阵承载着特定的语义信后模型的性能；具体来说，基于Transformer的参数微调模型使用低秩参数增量矩阵Aexk和BeRdxr以及变换矩阵Texr的乘积B(T)A，来近似预训练参数矩阵这种集成既增强模型对不同任务的适应性，还为调整模型参数提供了更丰富的表达能力，ce";由于rkC"e;[0115]复合变换耦合矩阵:通过[0117]其中，ceR"*,DeR*;ceR,De*,允许A和B[0122]变换矩阵T对低秩参数增量矩阵A和B执行特定于任务的自适应线性变换，包括缩对偶变换叠加矩阵等多种类型。这些不同类型的变换矩阵为模型提供了丰富的变换能力，[0125]通过结合Transformer层的强大特征提取能力和基于低秩参数增量的高效微调方[0127]融合LoRA的大语言模型系统的最终损失是语言建模损失和混合专家模型路由损衡两个损失的权重机器对模型训练速度和收敛性的影响；Lasrv代表基于专家分类的交叉LU(x)=1logp(xlxzi):[0128]其中，语言建模任务是预训练解码器的大语言模型的常用目标，x表示标记序列i是在给定序列中前面的标记x<i后预测的目标标记；[0129]采用基于Transformer的参数微调模型，并利用变换矩阵T来[0132]本发明实施例通过引入LoRA模块并在微调过程中利用变换矩阵T对LoRA模块参数节参数λ来平衡两者的权重，有助于模型在训练过程中同时关注语言建模的准确性和专家[0135]通过引入专家分类的交叉熵损失L_clsfy，模型在训练过程中能够学习到不同专woek,W0表示基础大语言模型的初始注意力和前馈权重矩阵，其参数数，由线性层实现；AiBi定义了LoRA模块Mi，Ai和Bi分别是第i个LoRA模块的参数，其中Aer,Bek,该模块在每个Transformer层内重复多次，使得每个任务类型的数合适的LoRA专家模块进行处理；每个Transformer层前嵌入的路由器负责执行这一动态选woek,W0表示基础大语言模型的初始注意力和前馈权重矩阵，其参数数，由线性层实现；AiBi定义了LoRA模块从,Ai和Bi分别是第i个LoRA模块的参数，其中该模块在每个Transformer层内重复多次，使得每个任务类型的数准确地识别不同领域的任务需求。随后，采用序列级路由策略将域元数据路由至相应的[0151]每个Transformer层都使用不同的路由器来分配标有相应领域的训练数据，并且多个LoRA模块与基础模型权重W_0并行放置。这种并行处理机制使得模型能够同时处理多[0157]采用与用户的领域权限信息相似度最高的LoRA模块或者通用领域模型参数来对[0162]采用与用户领域权限信息相似度最高的LoRA模块或通用领域模型参数来更新大语言模型中的参数，确保了模型在处理用户请求时能够充分利用与用户最相关的领域知的大语言模型中来进行识别以得到相应的识别结果信息，并输出相应的所述识别结果信[0169]本发明实施例中融合LoRA的大语言模型的多任务处理方法通过预先定义的LoRA合LoRA的大语言模型的多任务处理方法中的部分程序使得计算机执行实施例一中的融合LoRA的大语言模型的多任务处理方法中的部分或LoRA的大语言模型的多任务处理方法中[0181]所述集成的单元若以软件功能单元的形式实现并作为独