CN117370798B 模型压缩方法、训练方法、多媒体数据处理方法及装置 （北京百度网讯科技有限公司）

模型中级联的N个处理层中每个处理层的激活值于第n个处理层之前的n_1个处理层对多媒体数2将多媒体数据输入待压缩模型，得到所述待压缩模型中级联的N个处理层中每个处理根据所述激活值矩阵中的激活值的分布信息，生成所述每个处理根据所述每个处理层的权重缩放因子，对所述每个处理层的权重参数进行缩放处理，根据所述每个处理层的权重缩放因子，对所述每个处理层的权重参数进行缩放处理，将所述多媒体数据输入所述权重缩放后的目标模型，得到所述每个处理层的激活值；基于所述截断阈值，对所述每个处理层的参数进行截断处理，按所述待压缩模型的处理通道标识，对所述分布矩阵进行分割，得到所述与每基于所述聚类结果，对所述分布矩阵进行分割，得到与每个分按照预定区域数量，对所述分布矩阵进行平均分割，得到与每个分割区域3将所述与每个分割区域对应的最大激活值确定为所述与每个分割区域对应的截断阈根据所述每个处理层的激活值的分布信息，确定所述每个处及根据所述每个处理层的激活值和所述每个处理层的权重缩放阈值，所述根据所述每个处理层的激活值的分布信息，确定所述每个处理层的权重缩放阈针对所述每个处理层，根据与第m_1个轮次输入的所述多媒体数据对应的激活值的分根据所述与第m个轮次输入的所述多媒体数据对应的激活值的分布信息，确定第二缩根据所述与第m_1个轮次输入的所述多媒体数据对应的激活值的分布信息，确定与所将所述与所述第m_1个轮次对应的每个处理层的最大激活值确定为所述第一缩放阈根据所述与第m个轮次输入的所述多媒体数据对应的激活值的分布信息，确定与所述将所述与所述第m个轮次对应的每个处理层的最大激活值确定为所述第针对所述每个处理层，根据所述预定量化精度和所述每个处理层4将作为样本数据的第一多媒体数据输入压缩模型，得到针对多压缩模型是采用权利要求1~14中任一项所述的方法得到的压缩后将待处理的多媒体数据输入压缩模型，得到表示所述多媒体数据所属类别的概率向所述压缩模型包括采用权利要求1~14中任一项所述的方法得到的压缩后的深度理层之前的n_1个处理层对所述多媒体数据处理后得到的输出特征，N为大于1的整数，n=生成模块，用于根据所述激活值矩阵中的激活值的分布信缩放模块，用于根据所述每个处理层的权重缩放因子，对所缩放子模块，用于根据所述每个处理层的权重缩放因子，对第一获得子模块，用于将所述多媒体输入所述权重缩放后第二获得子模块，用于根据所述每个处理层的激活值的分布第一获得单元，用于根据所述每个处理层的激活值的分布信5分割子单元，用于对所述分布矩阵进行分割，得到与每个按所述待压缩模型的处理通道数量，对所述分布矩阵进行分割，得到所述与每基于所述聚类结果，对所述分布矩阵进行分割，得到与每个分按照预定区域数量，对所述分布矩阵进行平均分割，得到与每个分割区域将所述与每个分割区域对应的最大激活值确定为所述与每个分割区域对应的截断阈第一确定子模块，用于根据所述每个处理层的激活值的分布生成子模块，用于根据所述每个处理层的激活值和所述每个处理层的权重缩放阈值，26.根据权利要求25所述的装置，其中，所述每第二确定单元，用于根据所述与第m个轮次输入的所述多媒体数据对应的激活值的分第三确定单元，用于响应于所述第二缩放阈值大于所述第一缩第二确定子单元，用于根据所述与第m_1个轮次输入的所述多媒体数据对应的激活值第三确定子单元，用于将所述与所述第m_1个轮次对应的每个处理层的最大激活值确第四确定子单元，用于根据所述与第m个轮次输入的所述多媒体数据对应的激活值的6第五确定子单元，用于将所述与所述第m个轮次对应的每个处理层的最大激活值确定第二确定子模块，用于针对所述每个处理层，根据所述预定第四确定单元，用于所述每个处理层的待量化参数的分布信第二获得模块，用于将作为样本数据的第一多媒体数据输第一确定模块，用于根据所述第一类别信息和所述第一概率第三获得模块，用于将待处理的多媒体数据输入压缩模型，第二确定模块，用于根据所述概率向量，确定所述多个预定所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被使所述计算机执行根据权利要求1_16中7[0002]以GPT(GenerativePre_trainedTransformer，生成式预训练变换器)为基础的语8采用前文描述的模型压缩方法得到的压缩后的深度[0013]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特[0015]图1示意性示出了根据本公开实施例的可以应用模型压缩方法、训练方法或多媒9[0033]图1示意性示出了根据本公开实施例的可以应用模型压缩方法及装置的示例性系领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、[0036]用户可以使用第一终端设备101、第二终端设备102、第三终端设备103通过网络二终端设备102、第三终端设备103所浏览的内容提供支持的后台管理服务器(仅为示例)。[0039]需要说明的是，本公开实施例所提供的模型压缩方法一般可以由第一终端设备[0040]或者，本公开实施例所提供的模型压缩方法一般也可以由服务器105执行。相应供的模型压缩方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备于Transformer的端到端目标检测模型(End_to_EndObjectDetectionwith[0054]根据本公开的实施例，待压缩模型中级联的N个处理层可以与待压缩模型的类型~10的离散程度。离散程度越高，在量化过程中被截断的参数越多，则对[0063]如图3所示，在实施例300中待压缩模型可以包括级联的处理层P1310、处理层[0066]例如：可以根据激活值矩阵321中的全部激活值X11～X34，确定激活值的取值范[0070]由于每个处理层的激活值的分布信息与处理的多媒体数个处理层针对不同批次的多媒体数据得到的不同[0072]例如：针对某个处理层，对于第1轮次输入的多媒体数据对应的激活值的分布信层中的激活值的最大值确定为第二缩放阈值abs_max2。在abs_max1小于abs_max2的情况可以将与M轮次对应的M个缩放阈值中的最大值作为权重[0073]根据本公开的实施例，与第m_1个轮次输入的多媒体数据对应的激活值的分布信[0074]同理：与第m个轮次输入的多媒体数据对应的激活值的分布信息可以表征激活值[0078]如图3所示，可以将权重缩放因子矩阵322中的每一个元素与初始权重参数矩阵某个处理层的缓存单元(Cache)中的激活值进行量化时，可以将该缓存单元中当前缓存的[0094]实施例400A确定的待量化参数的维度与通道数量成正比，虽然可以提高量化精[0104]根据本公开的实施例，预定区域数量可以基于实际应用场景的需要进行预先设qqqq子进行缩小之后，对于键权重参数矩阵需要按照同样的权重缩放因子的倒数进行放大处中的更新后的权重参数是基于初始权重参数矩阵Wk与第一权重缩放因子矩阵Sq矩阵是根据第一缓存单元530_1中缓存的激活值按照前文描述的权重因子的计算方法得到[0117]在第二矩阵乘处理层540_2对查询特征与键特征进行矩阵乘运算时，运算结果并的权重参数是基于初始权重参数矩阵Wo与第二权重缩放因子矩阵Sv的倒数进行元素对应相[0119]在第一矩阵乘处理层540_2对值特征与Softmax层550的输出结果进行矩阵乘运了在值特征处理层(V)520_1和输出层(Outproj)560插入缩放因子对权重参数矩阵进行缩[0120]根据本公开的实施例，由于将权重缩放因子矩阵融入每多个预定类别中的某个类别。[0127]根据本公开的实施例，样本数据可以与前文描述的多媒体数据的定义范围相进行压缩并训练而得到的模型。在多媒体数据为图像时，压缩模型例如可以是通过对ResNet_50等进行压缩并训练而得[0143]量化模块840，用于基于预定量化精度，依次对每个处理层的待量化参数进行量元。第二确定子单元，用于根据与第m_1个轮次输入的多媒体数据对应的激活值的分布信个轮次对应的每个处理层的最大激活值确定为第对应的每个处理层的最大激活值确定为第二[0173]如图11所示，设备1100包括计算单元1101，其可以根据存储在只读存储器(ROM)1102中的计算机程序或者从存储单元1108加载到随机访问存储器(RAM)1103中的计算机程通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信[0175]计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算程序的部分或者全部可以经由ROM1102和/或通信单元1109而被载入和/或安装到设备机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0177]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端_服务器关系的计如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，