CN110598731A 一种基于结构化剪枝的高效图像分类方法 （浙江大学）

代理人应孔月本发明公开了一种基于结构化剪枝的高效以减少网络模型在进行图像分类时产生的不必比原始网络在图像分类算法中的分类效率提升2(3.2)根据H和W的空间维度划分卷积核的权重组，将某一卷积层内所有卷积核的所有(3.3)根据用户对模型设定的压缩或加速比例，确定网络模型各层所需设定的目标稀(3.4)为网络权重矩阵中的每个权重组设定稀疏的重要性标准，并根据该标准对各个(3.6)通过空间正则化的方法对空间剪枝所得到的不规则形状的稀疏卷积核进行重(3.7)对输入特征图中与规则稀疏卷积核中已删除权重相同方向上的像素进行裁剪，(5)将稀疏网络模型作为新的图像分类器，然后通过对测试集类别标签的预测进行新步骤(3.2)的具体流程为，根据四维权值张量中卷积核的高H和宽W两个维度对步骤(3.3)中确定网络模型各层所需设定的目标稀3参数量占总参数量的比例αl，然后利用设定的参数压缩比计算该模型需要减少的参数量(GFLOPs)以及该模型总的GFLOPs，然后根据指定的加速比例来确定该模型需要减少的重组按照Ln-norm进行升序排序，然后利用函数对前N次迭代获得的排名进组排名中排名最小的权重组获得的惩罚以及每一次权重组排名中刚好位于临界排名RNg的重组新的正则化因子当达到预先设定的正则化上限target_reg时，对应参数组找与其具有最小差异的规则形状的稀疏卷积核对不规则形状卷积核进行重塑，用函数述步骤(4)的具体流程为，对于稀疏后的网络，通过mask对已删除权重组中的权重进行标45[0003]深度卷积神经网络(ConvolutionalNeuralNetwork，CNN)在特征表示上具有极[0010](3.2)根据H和W的空间[0011](3.3)根据用户对模6[0012](3.4)为网络权重矩阵中的每个权[0014](3.6)通过空间正则化的方法对空间剪枝所得到的不规则形状的稀疏卷积核进行[0015](3.7)对输入特征图中与规则稀疏卷积核中已删除权重相同方向上的像素进行裁[0018](5)将稀疏网络模型作为新的图像分类器，然后通过对测试集类别标签的预测进设定模型的参数压缩比例时，首先计算模型中各个参数层的参数量N*C*H*W以及模型的总7得的惩罚以及每一次权重组排名中刚好位于临界排名RNg的权重组获得的惩罚占A的比重，通过将各权重组的正则化增量Δλg与对应的正则化因子相加的方式逐步更新该权重组的状卷积核中第i个子矩形在空间位置s的mask值，通过最小化V(i)即可找到对应规则形状的重组中的权重进行标注，同时对反向传播过程中相应权重组的各权重梯度进行mask标注，[0029](1)本发明提供的图像分类方法属于一种基于深度卷积神经网络的图像分类方从训练数据中学习图像的层级结构性特征，能够提取更加接近图像高级语义的抽象特征，[0030](2)本发明在进行简化图像分类器时，通过去除网络模型中冗余的权重参数达到[0031](3)本发明在剪枝过程中为神经网络某一卷积层中不同的权重组分配不同的正则8[0032](4)本发明在剪枝部分提出的空间正则化方法，可以将空间剪枝产生的不规则形[0042](2)对所有输入图像进行预处理操作，首先将所有图像的尺寸进行统一，通过[0043](3)采用预训练好的神经网络模型(VGG-16)作为原始的图像分类器，然后将步骤[0045](3.2)根据模型指定要压缩或加速9疏率。在本实验中，经指定2倍加速比例的情况下，计算并设置模型各层的目标稀疏率为[0047](3.4)根据网络权重矩阵中各个权重组新的正则化因子当达到预先设定的正则化上限target_reg时，对应参数组将被核中第i个子矩形的所有空间位置s的mask值设置为1，而将大卷积核中子矩形之外的空间[0052](5)将稀疏后的网络模型作为新的图像分类器，然后通过对一组新图像类别标签[0053]实验结果表明，原始的VGG-16网络模型在ImageNet测试集上的分类准确率为90.1经本发明方法简化后的稀疏网络模型在Im