CN115661511B 通道全局排序指导剪枝和量化联合的神经网络压缩方法 （西安电子科技大学）

通道全局排序指导剪枝和量化联合的神经本发明公开了一种通道全局排序指导剪枝和量化联合的神经网络压缩方法，包括下述步神经网络模型中所有通道的重要性得分并获取道重要性的全局排序指导下对图像分类卷积神术中存在的仅在同一层内比较通道重要性且剪枝和量化互不相关导致在指定压缩比下压缩后网络相比于未压缩网络的分类准确性的下降值2获取包括M个目标类别且每个类别包含N幅RGB图像的数据集X，并对每幅RGB图像中的RGB图像及其标签组成训练样本集Xtrain，将剩余的M(N_N0)幅RGB图像及其标签组成测试样(3c)采用交叉熵损失函数C,并通过每个训练样本的分类结果及其对(4)计算训练好的图像分类卷积神经网络模型中所有通道的重要性得分并对图像分类(4a)将从训练样本集Xtrain中随机选取的MN1个训练样本及其标签组成的秩生成样本集Xchoose作为0的输入，并使用钩子Hook函数提取0中输入第c幅图像时每个二维卷积层的每个通道的特征图'(xiu),再对进行奇异值分解，得到输入时每个(4b)通过每个通道的平均秩R'计算该通道的重要性得分score;=a,R'+b,,并对训练好的图像分类卷积神经网络模型中重要性得分最低的ρ个通道进行删除，获得剪枝率为Ω3rl表示向上(4d)根据每个二维卷积层的权重量化位宽和每个分段线性激活层量化位宽",对为4'()的剪枝量化后的图像分类卷积神经网络模型o:(5)对剪枝量化后的图像分类卷积神经网络模型重新进行剪枝并更新权重、激活层量算的所有通道的重要性得分对剪枝量化后的图像分类卷积神经网络模型重新进行剪枝后的图像分类卷积神经网络模型i.2.根据权利要求1所述的一种通道全局排序指导剪枝和量化联合的卷积神经网络压缩多个残差单元模块的具体排列方式为：第一残差单元模残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第二残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第二残差单元模块→第4一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块第一残差单元模块的具体结构为：卷积模块→分段线性激活层第二残差单元模块的具体结构为：并行排布的卷积模块和平卷积模块的具体结构为：二维卷积层→批归一化层→分段线在第一个到第九个第一残差单元模块中的卷积模块中，每个二维卷积层的卷积核大小为33.根据权利要求1所述的一种通道全局排序指导剪枝和量化联合的卷积神经网络压缩0是输入训练样本的数量，r=O(X)表示输入第c幅图像时网络输出的4.根据权利要求1所述的一种通道全局排序指导剪枝和量化联合的卷积神经网络压缩方法，其特征在于，步骤(4a)中所述的5jjj分别表示;(x)的左奇异向量，前j个奇异值和右奇异向量，(r是输5.根据权利要求1所述的一种通道全局排序指导剪枝和量化联合的卷积神经网络压缩线性激活层量化位宽对剪枝后的图像分类卷积神经网络模型中每个二维卷积层的权重l表示输入到第l个分段线性激活层的特征向量，4'()表示用于对输入的特征向量进6.根据权利要求1所述的一种通道全局排序指导剪枝和量化联合的卷积神经网络压缩初始化突变率为μ,随机步长为λ,梯度迭代更新步数为τ,迭max＝0；(5b)通过从Pool中抽样的S种样本和所有通道的平均秩所计算的S组所有通道的重要(5c)按照中的权值参数初始化S个剪枝量化后的图像分类卷积神经网络模型的权值6l″和所有通道的平均秩所计算的每个通道的重要性得分进行剪枝后进行量化，获得新的剪枝量化后的图像分类卷积神经网络模型，将训练样本集下降法将梯度迭代更新τ步，获得梯度迭代更新好的剪枝量化后的图像分类卷积神经网络7.根据权利要求1所述的一种通道全局排序指导剪枝和量化联合的卷积神经网络压缩卷积神经网络模型0的权值参数为,性激活层用ReLU函数替换4'()函数；(6c)判断是否成立，若是，对中所有分段线性激活层使用xt)函数并执行i,7[0004]YuPo_Hsiang等人在2020年发表的论文“JointPruning&Quantizationfor比下压缩后网络相比于未压缩网络的分类准确性道重要性且剪枝和量化本质上互不相关导致在指定压缩比下压缩后网络相比于未压缩网8[0008]获取包括M个目标类别且每个类别包含N幅RGB图像的数据集X，并对每幅RGB图像MN0幅RGB图像及其标签组成训练样本集Xtrai[0014](3c)采用交叉熵损失函数c,并通过每个训练样本的分类结果及其对应的标签计算O的损失值再采用随机梯度下降法，通过对权值参数θe的偏导值对θe进行更[0015](3d)判断e≥E是否成立，若是，得到训练好的图像分类卷积神经网络模型o,否[0016](4)计算训练好的图像分类卷积神经网络模型中所有通道的重要性得分并对图像[0017](4a)将从训练样本集Xtrain中随机选取的MN1个训练样本及其标签组成的秩生成样xi时每个二维卷积层的每个通道的特征图再对of(x)进行奇异值分解，得到输入时[0018](4b)通过每个通道的平均秩R'计算该通道的重要性得分scoref=a,R'+b,并对训练好的图像分类卷积神经网络模型中重要性得分最低的ρ个通道进行删除，获得剪枝率[0019](4c)通过每个二维卷积层的I个通道组成的稀疏掩模计算该二9[0023](4d)根据每个二维卷积层的权重量化位宽和每个分段线性激活层量化位宽对剪枝后的图像分类卷积神经网络模型中每个二维卷积层的权重向量Wl进行量化，同活函数为4F()的剪枝量化后的图像分类卷积神经网络模型i:[0024](5)对剪枝量化后的图像分类卷积神经网络模型重新进行剪枝并更新权重、激活新计算的所有通道的重要性得分对剪枝量化后的图像分类卷积神经网络模型重新进行i.[0029]本发明在对训练好的图像分类卷积神经网络模型计算所有二维卷积层的所有通通道重要性且剪枝和量化本质上互不相关导致在指定压缩比下压缩后网络相比于未压缩[0035]获取包括M个目标类别且每个类别包含N幅RGB图像的数据集X，并对每幅RGB图像MN0幅RGB图像及其标签组成训练样本集Xtrai第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第二残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第二残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差单元模块→第一残差个特征图，并对每幅特征图中的目标进行分类，得到每个训练样本的分类结果[0048]步骤3c)采用交叉熵损失函数c,并通过每个训练样本的分类结果及其对应的标更新，得到本次迭代的图像分类卷积神经网络模型Oe，计算O的损失值E,以及对θe进[0053]步骤4)计算训练好的图像分类卷积神经网络模型中所有通道的重要性得分并获[0054]步骤4a)将从训练样本集Xtrain中随机选取的MN1个训练样本及其标签组成的秩生图像时每个二维卷积层的每个通道的特征图再对o;(x)进行奇异值分解，得到输入时每个通道的秩然后根据(r'计算每个通道的平均秩R后保存，[0057]其中，σj,uj,vj分别表示of(x)的左奇异向量，前j个奇异值和右奇异向量，[0058]步骤4b)通过每个通道的平均秩R'计算该通道的重要性得分score'=a,R'+h,并对训练好的图像分类卷积神经网络模型中重要性得分最低的ρ个通道进行删除，获得剪[0059]步骤4c)通过每个二维卷积层的I个通道组成的稀疏掩模计算该[0063]步骤4d)根据每个二维卷积层的权重量化位宽和每个分段线性激活层量化位宽对剪枝后的图像分类卷积神经网络模型中每个二维卷积层的权重向量Wl进行量化，激活函数为4()的剪枝量化后的图像分类卷积神经网络模型o,量化、替换公式分别为：新计算的所有通道的重要性得分对剪枝量化后的图像分类卷积神经网络模型重新进行瓦-N(0,sud'),初始化突变率为μ,随机步长为λ,梯度迭代更新步数为[0070]步骤5b)通过从Pool中抽样的S种样本和所有通道的平均秩所计算的S组所有通道的重要性得分对进行剪枝后进行量化，获得S个剪枝量化后的图像分类卷积神经网络模[0071]步骤5c)按照中的权值参数初始化S个剪枝量化后的图像分类卷积神经网络模梯度下降法将梯度迭代更新τ步，获得梯度迭代更新好的剪枝量化后的图像分类卷积神经[0077]步骤5f)将测试样本集Xtest输入梯度迭代更新好的剪枝量化后的图像分类卷积神k＝k+[0080]对更新的剪枝量化后的图像分类卷积神经网络模型的权值参数进行微调，获i,微调过程为：有分段线性激活层用ReLU函数替换4'()函数；[0091]对本发明和现有的受层内通道评分指导的剪枝和量化联合的方法的分类准确性、[0092]现有的剪枝和量化联合的神经网络模型压缩方法是指：YuPo_Hsiang等人在其发表的论文“JointPruning&QuantizationforExtremelySparseNeuralNetworks”(arXivpreprintarXiv:2010.01892)中，提出的剪枝和量化联合