CN119443185A 一种基于通道注意力和自适应学习的模型剪枝方法 （河海大学）

一种基于通道注意力和自适应学习的模型本发明公开了一种基于通道注意力和自适意力机制SENet，将其加入到目标模型每一个卷的SENet的中间输出并结合BN层中缩放因子，得22.根据权利要求1所述一种基于通道注意力和自适应学习的模型剪枝方法，其特征在3.根据权利要求1所述一种基于通道注意力和自适应学习的模型剪枝方法，其特征在在压缩步骤中，首先设第m个样本在第c个卷积层输出的特征其中，是第m个样本第c个卷积层的第k个通道的聚W1和W2。得到第m个样本第c个卷积层通道注意力向量s"=该过程表示3计算所有选定样本的通道注意力向量的平均值，即第c个卷积层的通道重要性分数该过程表示如下：4.根据权利要求1所述一种基于通道注意力和自适应学习的模型剪枝方法，其特征在5.根据权利要求1所述一种基于通道注意力和自适应学习的模型剪枝方法，其特征在将第i个卷积层的各通道重要性分数按从大到小的顺示第i个卷积层第k个通道的通道重要性分数。将所有需要剪枝的层进行相同的剪枝操作，6.根据权利要求1所述一种基于通道注意力和自适应学习的模型剪枝方法，其特征在交叉熵损失函数是分类任务中常用的损失函数之一主4将Imagei(i代表训练集图像序号，即Imagei代表第i张训练集图5[0001]本发明一种基于通道注意力和自适应学习机制的模型剪枝方法属于计算机应用致剪枝后模型性能大幅度下降，如申请公开号CN118504642A(一种基于参数剪枝调优的机器翻译模型训练方法和系统)直接从训练好的模型中提取通道重要性；而现有的剪枝方法仅针对剪枝过程而不考虑微调过程，导致剪枝后模型在微调阶段难以学习到困难样本特BatchNormalization(BN)层的缩放因子，将通道重要性映射到注意力空间以放大通道重6(i代表训练集图像序号，即Imagei代表第i张训练集图像)作为遥感图像分类模型的输入，学习率0.1相乘并与相应的模型参数相加以记为W1和W2。得到第m个样本第c个卷积层通道注意力向量该过程[0027]计算所有选定样本的通道注意力向量的平均值，即第c个卷积层的通道重要性分[0030]我们将第c个卷积层的通道重要性分数死与对应的BN层中的缩放因子γc相结合，7后者本质上反映了各通道的相对重要性。最终第c个卷积层的通道重要性分数Ic＝[Ic,1,[0031]l[0036]将第i个卷积层的各通道重要性分数按从大到小的顺序排序，得到排名百分比在xi,x表示第i个卷积层第k个通道的通道重要性分数。将所有需要剪枝的层进行相同的剪枝[0041]作为本发明的一种优选方案，所述步骤6的利用自适应学习损失函数训练具体过[0046]交叉熵损失函数是分类任务中常用的损失函数之一主要用于稳定模型的训练过8数据尺寸保持一致而添加的卷积层)，并调整SENet的输入尺寸大小符合前一层的输出形9记为W1和W2。得到第m个样本第c个卷积层通道注意力向量s"=该过程lu(w1·恐"))(2)[0072]计算所有选定样本的通道注意力向量的平均值，即第c个卷积层的通道重要性分[0075]我们将第c个卷积层的通道重要性分数与对应的BN层中的缩放因子γc相结合，后者本质上反映了各通道的相对重要性。最终第c个卷积层的通道重要性分数Ic＝[Ic,1,cx(4)[0081]将第i个卷积层的各通道重要性分数按从大到小的顺序排序，得到排名百分比在xi,k表示第i个卷积层第k个通道的通道重要性分数。将所有需要剪枝的层进行相同的剪枝(i代表训练集图像序号，即Imagei代表第i张训练集图像)作为遥感图[0092]交