CN119415277A 异构平台的大模型部署方法、装置、设备及程序产品 （安徽讯飞寰语科技有限公司）

本申请公开了一种异构平台的大模型部署将量化后子模型及量化策略生成可部署的子模型，以便于部署到异构平台上对应的目标芯片模型部署过程自动选择子模型所要部署的目标2根据每个所述子模型包含的算子类型及算子的计算量，结合异将所述量化后的子模型及对应的量化策略生成可部署的子模型，以根据算子之间的结构关系，从所述混合专家大模型的输入开始将所述混合专家大模型从输入至所述目标门控算子切分为继续向后搜索，识别到两个以上的前馈网络的输出集中到同一个权根据所述子模型包含的算子类型，结合异构平台上各类型芯片的若所述子模型的计算量大于设定计算量阈值，则结合能够支持所若所述子模型的计算量不大于所述设定计算量阈值，则结合根据每个子模型所要部署的目标芯片对各算子的量化支持情况从每个算子的候选量化策略集合中选择目标量化策略，由各算子的目标3其中，所述量化模式列表中包含两种以上的量化模式，不同量所述精度模式表征和原始浮点模型相比量化导致的精度降低不超过所述性能模式表征和原始浮点模型相比量化导致的精度降低不超过第二比值且最大所述平衡模式表征和原始浮点模型相比量化导致的精度降低不超过第三比值且最大将所述量化后的子模型及对应的量化策略，生成设定的中间格在进行模型部署时，将每一所述子模型的格式转换为子模型根据各芯片当前推理分配下的占用情况，按照配置的性能均衡策略芯片选择单元，用于根据每个所述子模型包含的算子类型及算子的量化策略确定单元，用于根据每个子模型所要部署的目标芯片模型量化单元，用于按照每个所述子模型的量化策略对所述子模可部署模型生成单元，用于将所述量化后的子模型及对应的量4所述处理器，用于执行所述程序，实现如权利要求1~10中任一项所5[0015]继续向后搜索，识别到两个以上的前馈网络的输出集中6[0018]根据所述子模型包含的算子类型，结合异构平台上各类选芯片，按照第一芯片选择顺序从所述各候选芯片中选择所述子模型所要部署的目标芯[0031]所述性能模式表征和原始浮点模型相比量化导致的精度降低不超过第二比值且[0032]所述平衡模式表征和原始浮点模型相比量化导致的精度降低不超过第三比值且7[0044]量化策略确定单元，用于根据每个子模型所要部署的目8[0054]图1为本申请实施例提供的异构平台的大模型部署方法的一个实施系统架构示意[0060]图7为本申请实施例提供的一种离线状态下通过服务器对大模型进行处理生成可[0061]图8为本申请实施例提供的一种在线状态下通过终端对子模型进行部署、推理的LargePre_TrainedModels或Large_ScalePre_TrainingModels。大模型的特点是规9[0071]本申请提供了一种异构平台的大模型部署方法，可以应用于如图1所示的系统架[0072]终端100或服务器200均可单独用于执行本申请实施例提供的异构平台的大模型以在服务器200上实施，在线状态下的各个方法步骤可以在终端100（终端100作为异构平[0077]输入单元130可用于接收输入的数字或字符信息，以及产生与该便携式多功能装或其他输入设备132。该触摸屏131可收集用户在其上或附近的触摸操作(比如用户使用手[0081]处理器170是终端100的控制中心，利用各种接口和线路连接整个终端100的各个备通信。该无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystemofMobilecommunication，GSM)、通用分组无线服务(GeneralPacket多针连接器，可以用于连接终端100与其他装置进行通信，也可以用于连接充电器为终端[0092]处理器202可以为中央处理器(centralprocessingunit，CPU)、图形处理器[0093]存储器204可以包括易失性存储器(volatilememory)，例如随机存取存储器(randomaccessmemory，RAM)。存储器204还可以包括非易失性存储器(non_volatile器202可以执行异构平台的大模型部署方法的步骤，也可以调度其他单元以实现相应的功100和服务器200中的处理器(例如处理器170以及处理programmablegatearray，FPGA)、通用处理器、数字信号处理器(digitalsignal[0109]不同类型的芯片对不同类型的算子的量化支持情况可能不同，示例如对于某一NPU芯片，其对于深度可分离卷积中的逐通道卷积depthwise_conv算子可支持fp16运算，输入数据分配给不同的专家子模型进行处理。输入数据首先被传递给Router，Router会根[0125]Router中包含门控算子，如软门控softmax算子、硬门控argmax算子、TopK门控求和算子weightsum，在weightsum之前进行切分，将从weightsum到目标门控算子[0130]如图5所示，在FFN和weightsum之间进行切分，从weightsum到目标门控算子模型所包含的各算子的类型，分析确定异构平台上能够支持子模型中各算子的候选芯片，[0141]本实施例中可以预先设定一计算量阈值，用于衡量子模型的计算量是否足够[0158]对于上述步骤S2中，从每个算子的候选量化策略集合中选择目标量化策略的过[0168]本实施例提供的子模型的量化策略选择方法，能够实现模型量化策略的自动选[0169]一种可能的实现方式中，步骤S120_S140具体可以通过预先配置的量化选择器实[0178]在本申请的一些实施例中，在将子模型部署到异构平台上对应的目标芯片中之[0181]上述对异构平台上各芯片进行性能均衡的操作可以通过若其需要运行图像显示且GPU的内存占用不超过60%，同时子模型运行在GPU上的Pi不超过[0189]对于服务器生成的可部署的各个子模型，如HdM.uni、F1M.uni、F2M.uni…[0191]本实施例中在终端上可以进一步引入内存访问分配器MAD，MemoryAccess构平台的大模型部署装置与上文描述的异构平台的大[0193]参见图9，图9为本申请实施例公开的一种异构平台的大模型部署装置结构示意[0197]量化策略确定单元13，用于根据每个子模型所要部署的目标芯片的量化支持情[0198]模型量化单元14，用于按照每个所述子模型的量化策略[0204]继续向后搜索，识别到两个以上的前馈网络的输出集中到同一个权重求和算子[0207]根据所述子模型包含的算子类型，结合异构平台上各类选芯片，按照第一芯片选择顺序从所述各候选芯片中选择所述子模型所要部署的目标芯[0220]所述性能模式表征和原始浮点模型相比量化导致的精度降低不超过第二比值且[0221]所述平衡模式表征和原始浮点模型相比量化导致的精度降低不超过第三比值且[0230]如图10所示，该电子设置609可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图10示出了具