CN118982723B 一种图像处理方法、数据处理方法、设备、介质及产品 （浪潮电子信息产业股份有限公司）

规模扩充至各维度的元素数量均为z个正整数的分解实现将张量算子分解以及降低算子参数量处理任务时能够显著降低张量计算的复杂度及次张量计算转换为多组小规模张量算子的并行2在进行张量计算的过程中，对待进行所述张量计算的张量算子将所述张量算子进行规模扩充并进行重排元素处理得到所述第二张量根据所述第二张量算子中各维度对应位置的底数的乘积和所述第三张量算子的秩数确定单个所述第三张量算子的参数数量，其中若底数能够进行开根号计算得到非1正整数根据所述第二张量算子中单个维度的指数之和确定所述第三根据所述第三张量算子的秩数、单个所述第三张量算子的参数张量算子的方式以及将所述第二张量算子重排为所述第三将所述张量算子进行规模扩充并进行重排元素处理得到所述第二张量根据所述第二张量算子中各维度对应位置的底数的乘积和所述第三张量算子的秩数确定单个所述第三张量算子的参数数量，其中若底数能够进行开根号计算得到非1正整数若一组所述第三张量算子的参数数量的最大值不足以占用分配给所述张量计算的单对应位置的底数的乘积和所述第三张量算子的秩数确定单个所述第三张量算子的参数数3将所述张量算子进行规模扩充并进行重排元素处理得到所述第二张量根据所述第二张量算子中各维度对应位置的底数的乘积和所述第三张量算子的秩数确定单个所述第三张量算子的参数数量，其中若底数能够进行开根号计算得到非1正整数根据所述第二张量算子中单个维度的指数之和确定所述第三根据单个所述第三张量算子的参数数量以及所述第三张量算子的个数确定所述张量若所述张量计算的参数数量不足以占用分配给所述张量计算的计三张量算子的秩数确定单个所述第三张量算子的参数数量以及根据所述第二张量算子中将两个所述张量算子均扩充至各维度的元素数量均为z个正整数的乘积且各维度的元将所述第三张量算子存入高速缓存后，自所述高速缓存读取所述根据模型计算任务确定存储设备的信息与计算设备的信息后，自所在进行张量计算的过程中，对待进行所述张量计算的张量算子4将所述张量算子进行规模扩充并进行重排元素处理得到所述第二张量根据所述第二张量算子中各维度对应位置的底数的乘积和所述第三张量算子的秩数确定单个所述第三张量算子的参数数量，其中若底数能够进行开根号计算得到非1正整数根据所述第二张量算子中单个维度的指数之和确定所述第三根据所述第三张量算子的秩数、单个所述第三张量算子的参数张量算子的方式以及将所述第二张量算子重排为所述第三处理器，用于执行所述计算机程序，所述计算机程序被所述处理器执行时实要求1至6任意一项所述图像处理方法的步骤或权利要求7所述数理器执行时实现如权利要求1至6任意一项所述图像处理方法的步骤或权利要求7所述数据行时实现如权利要求1至6任意一项所述图像处理方法的步骤或权利要求7所述数据处理方5缓解人工智能模型对计算资源和存储资源的6[0016]根据所述图像处理模型的模型计算精度需求参数和分配给所述张量计算的计算算的计算参数存储空间的大小，确定将所述张量算子处理为所述第三张量算子的转换系算的计算参数存储空间的大小，确定将所述张量算子处理为所述第三张量算子的转换系[0025]根据所述第二张量算子中各维度对应位置的底数的乘积和所述第三张量算子的秩数确定单个所述第三张量算子的参数数量，其中若底数能够进行开根号计算得到非1正[0026]若一组所述第三张量算子的参数数量的最大值不足以占用分配给所述张量计算维度对应位置的底数的乘积和所述第三张量算子的秩数确定单个所述第三张量算子的参算的计算参数存储空间的大小，确定将所述张量算子处理为所述第三张量算子的转换系[0029]根据所述第二张量算子中各维度对应位置的底数的乘积和所述第三张量算子的秩数确定单个所述第三张量算子的参数数量，其中若底数能够进行开根号计算得到非1正[0031]根据单个所述第三张量算子的参数数量以及所述第三张量算子的个数确定所述[0032]若所述张量计算的参数数量不足以占用分配给所述张量计算的计算参数存储空7所述第三张量算子的秩数确定单个所述第三张量算子的参数数量以及根据所述第二张量算子中单个维度的指数之和确定所述第三张量[0036]根据所述第二张量算子中各维度对应位置的底数的乘积和所述第三张量算子的秩数确定单个所述第三张量算子的参数数量，其中若底数能够进行开根号计算得到非1正第一张量算子的方式以及将所述第二张量算子重排为所述[0042]将两个所述张量算子均扩充至各维度的元素数量均为z个正整数的乘积且各维度算子中的被乘数张量算子的列数与两个所述张量算子中的乘数张量8上述任意一项所述图像处理方法的步骤或上述数据计算机程序被处理器执行时实现如上述任意一项所述图像处理方法的步骤或上述数据处量计算的张量算子进行规模扩充至各维度的元素数量均为z个正整数的乘积形式，再进行计算资源允许的情况下能够提升图像处理任务张量计算时，对待进行张量计算的张量算子进行规模扩充至各维度的元素数量均为z个正9缓解人工智能模型对计算资源和存储资源的展，在训练人工智能模型以及利用人工智能模型进行推理计算以解决实际问题的过程中，现实等多个领域取得了显著进展并得到广泛应用。Transformer模型将图像数据视为序列记录，作为参数通过后续的学习得到学习后的最佳参数数据用于预测图像的最终分类结各维度的元素数量均为z个正整数的乘积形式，再进行增维处理并使各维度的增维数量相[0073]本发明实施例提供图像处理方法及数据处理方法，可以也可以应用于由多台计算设备组成的集群中。若采用集群，则各计算设备可以采用相同类型的计算设备或异构的计算设备。计算设备的类型可以包括但不限于图形处理器素处理，以在升高第一张量算子的维度的同时降低第一张量算子的每个维度的元素数量，[0083]在具体实施中，本发明实施例提供的数据处理方法可以应用于如图2所示的数据行张量列分解处理得到第三张量算子，而后利用第三张量算子执行原本所需的张量计算。模为z个正整数的乘积的形式的维度可以不进行规模扩充，而仅对不满足元素规模为z个正整数的乘积的形式的维度进行规模扩充，但需要保证第一张量算子各维度均可以表示为相数量均为z个正整数的乘积的前提下，可以再以对张量算子的各维度的元素扩充数量最小括：将两个张量算子均扩充至各维度的元素数量均为z个正整数的乘积且各维度的元素数数张量算子的列数与两个张量算子中的乘数张量算子小主要由将第二张量算子进行张量列分解处理得到第三张量算子时所算子的转换系数。张量列分解通过将大规模高维张量分解为小规模张量与秩数的乘积形进行张量计算时，对待进行张量计算的张量算子进行规模扩充至各维度的元素数量均为z的张量计算，可以列出张量列分解所选择的秩数与模型计算精度需求参数之间的关系式，中若底数能够进行开根号计算得到非1正整数则对底数进行开根号计算后再进行乘积计算参数存储空间，则更改对张量算子的规模扩充尺度或对第一张量算子的重排元素方式，够进行开根号计算得到非1正整数则对底数进行开根号计算后再进行乘积计算；根据第二置的底数的乘积和第三张量算子的秩数确定单个第三张量算子的参数数量以及根据第二张量算子中单个维度的指数之和确定第三张量需要考虑将张量算子处理为第三张量算子后的全部计算参数的规模占满计算参数存储空[0116]定义f(m,,n)表示若mu或能够进行开根号计算得到非1正整数则将my或量算子的大小为rxf(m,n)xr。则张量计算对应的所有第三张量算子的参数数量可以根据和rxf(m,n)xr得到。三张量算子的参数数量，其中若底数能够进行开根号计算得到非1正整数则对底数进行开算子扩充为第一张量算子的方式以及将第二张量算子重排为第三张一组第三张量算子的张量计算的参数数量以及分配给张量计算的计算参数存储空间的大[0120]其中，一组第三张量算子的张量计算可以为一次基于第张量计算的张量算子进行分解后的第三张量ij表示元素a'(i,j)在矩阵A'中的行索引和列索引。[0137]A=a(iz,iz,i3;j1,j2,j3)2）[0138]其中，i=1,.……,4；iz=1,..…,4；ig=1,.…,49；j1=1,……,4；[0139]a(iz,iz,i3;j1,j2,j3)元素对应于矩阵A'的元素a'(i,j)，以及它们之间的对应关i=i+(iz-1)*4+(iz-1)*4*49；i=1,...…,4；iz=1,..…,4；;[0142]j=j1+(i2-1)*4+(ji3-1)*4*49；j1=1,……,4；jiz=1,….…A；。元素a2(i,1,i,z,iz,1,iz,z,is,1,iz,2ju,1,j2,jz,1,jz,2,jz1,js,z)组成。[0146]高维张量算子A的元素a(iz,iz,i3;j1,j2,j3)之间的对应关系如下所示：[0147]a(iz,i2,i3;j1,j2,j3)=4）[0149]i:=is,1十7*is,z；ign=0,1,……,6；n=1,2；[0150]Jm=jm,1十2*jm,z；jimn=0,1；m=1,2；n=1,2；[0151]js=js,1十7*js,z；jan=0,1,……,6；n=1,2；a9(i,1,i1,2,iz,,iz,2,is,1,iz,2ij,1,j,2,jz1,ja,z,js1,js,z)在张量算子Aa的12个不同维a=az=2，则l可以取值为l=1,2。而在更一般的情况中，l可以表示为l=1,….…,a1;l2=1,……,ay等等。[0157]因为Tir,i、T3,i在张量列分解后时很小的数，另外T,o='s,z=1，Tik,2=IK+1,0，的量化张量列分解表示。通过本发明实施例提供的量化张量列分解处理,例如本例中得到的第三张量算子包括型计算过程中减轻对大存储空间需求的压力。n=1,2。在张量算子的12个不量算子中的索引。表示该小规模4维张量算子在排除秩对应的维度后剩下的两[0165]因为Tir,i、T3,i在分解后得到的是很小的数，另外T,o='s,z=1，Tik,2=IK+1,0，计算过程中减轻对大存储空间需求的压力。。[0168]通过这一步骤的张量算子乘的计算，可以将矩阵乘积的计算复杂度由原来的O(768*768*196)减少为O(r4(2*2*2*4+7*7*4*2))=O(424r4)，其中规模，要保证重排后的张量规模左半部分维度后续可以量化的维度与右半部分维度后续可2*2，这样的重排导致左半部分维度后续可以量化的维度为6，右半部分维度后续可以量化[0172]针对这一情形，对应表1所示的五种矩阵乘加计算对应的第一次重排元素处理的规模可以采用表2所示的方式。表2为表1所示五种矩阵乘加计算对应的第一次重排元素处及增加了计算量，所以在实际计算中在满足计算条件的情况下应该尽量补更少的0来进行[0181]在Transformer模型的计算流程中，上述的两种矩阵乘积指的是进行12次矩阵乘。A和B。[0199]其中，m=1,n=2；m=2,n=1,2；m=3,n=1；运算需要O(768*196)的计算量，但是张量算子的相加不需要计算，只是通过元素重排[0216]j[0217]步骤4：从而向量a与矩阵B的乘积就可以通过张量与张量算子的对应核进行向量。本向量矩阵乘法所需的计算复杂度为O(768*1000)，但是通过张量的计算方式需要的[0226]在Transformer模型的计算流程中，上述的标量矩阵乘积指的是进行12次标量矩量矩阵相乘运算需要O(12*196*64)的计算量，但是标量张量算子的相乘所需的计算[0248]等式左边为张量算子A对应指标为(i,j,k)的元素，等式右边是张量A9对应指标为(i1,1,i1,2,i,3,i1,sjz,1,jz2,jz,3,kz1,kz,2,kz3)的元素，并且两种指标满足下面公式：[0254]其中，AK,l是规模为Tir,i-1x2XTik,i的小规模3维张量算子，因为在分解后得[0256]步骤4：从而向量a与向量b的向量加就可以通过张量算子A与张量算子B的张量加法C=A+B来得到近似结果，其具体的计算如下：[0263]通过上述的6种类型的计算改进，不仅可以减少模型计算任务中存储张量计算所需的参数的存储复杂度，还可以降低模型计算过程中的计算复杂度。另外，在图1的针对不同类型的张量计算设计不同的处理模块，针对本发明实施例介绍的6种矩阵计算可素处理，以在升高第一张量算子的维度的同时降低第一张量算子的每个维度的元素数量，图像处理模型的模型计算精度需求参数，确定将张量算子处理为第三张量算子的转换系[0281]在本发明实施例的一些可选的实施方式中根据图像处理模型的模型计算精度各维度对应位置的底数的乘积和第三张量算子的秩数确定单个第三张量算子的参数数量，其中若底数能够进行开根号计算得到非1正整数则对底数进行开根号计算后再进行乘积计算参数存储空间，则更改对张量算子的规模扩充尺度或对第一张量算子的重排元素方式，能够进行开根号计算得到非1正整数则对底数进行开根号计算后再进行乘积计算；根据第位置的底数的乘积和第三张量算子的秩数确定单个第三张量算子的参数数量以及根据第二张量算子中单个维度的指数之和确定第三[0284]在本发明实施例的另一些可选的实施方式中，将张量算三张量算子的参数数量，其中若底数能够进行开根号计算得到非1正整数则对底数进行开算