CN114187308B 基于多尺度池化金字塔的HRNet自蒸馏目标分割方法 （中国人民解放军陆军工程大学）

基于多尺度池化金字塔的HRNet自蒸馏目标本发明公开了一种基于多尺度池化金字塔尺度池化金字塔模块分别与HRNet的分支特征、的一致性和正确性；将HRNet的原始分割网络作为基准模型，在基准模型上构建自蒸馏学习结目标分割结果。本发明有效提升了HRNet基准模2字塔模块PSPModule的具体结构为：输入特征InFeat→并行四路池化特征提取层→级联层化层→双线性插值层h×w×n→池化特征；四路池化特征提取层区别在于池化层的参数不步骤2中自蒸馏学习结构包含分支一致性蒸馏学习结构和自下而上蒸馏学习结构，其分支一致性蒸馏学习结构：将HRNet的4组为网络主体的权重矩阵,W,=4W,'Il=1,2,…,M}为自蒸馏结构中的辅助分类网络权重34[0002]知识蒸馏能将大规模网络的表征能力迁移到小规模网络，提升轻量型网络的分[0003]目前，已有许多科研机构从事知识蒸馏方法研究，如Zhang等人(ZhangL.,etal.BeYourOwnTeacher:ImprovethePerformanceofConvolutionalNeuralNetworksviaSelfDistillation[C].IEEEInternationalConferenceonComputer像分类性能。Yang等人(YangC.,etal.,SnapshotDistillation:Teacher-StudentOptimizationinOneGeneration[C].IEEEConferenceonComputerVisionand图像分类性能。Li等人(DuoL.etal.,DynamicHierarchicalMimickingTowardsConsistentOptimizationObjectives[C].IEEEConferenceonComputerVisionandPatternRecognition,2020)提取残差网络不同层特征，将不同层特征互相视为蒸馏教师[0004]本发明的目的在于提供一种基于多尺度池化金字塔的HRNet自蒸馏目标分割方[0005]实现本发明目的的技术解决方案为：一种基于多尺度池化金字塔的HRNet自蒸馏5开数据集上的实验，验证了本发明能在不增加参数规模的前提下提升HRNet的目标分割性化金字塔模块PSPModule的具体结构为：输入特征InFeat→并行四路池化特征提取层→级归一化层→双线性插值层h×w×n→池化特征；四路池化特征提取层区别在于池化层的参[0025]进一步地，步骤2中自蒸馏学习结构包含分支一致性蒸馏学习结构和自下而上蒸6[0026]分支一致性蒸馏学习结构：将HRNet的4组分支蒸馏特征分别作为教师端和学生m为网络主体的权重矩阵,为自蒸馏结构中的辅助分类网络[0036]式(1)中Ls为自蒸馏网络的预测结果相对于标注图产生的预测损失，即交叉墒损7k[0055](1)对于一个分支端(如Subconv1)，获取其蒸馏特征的网络结构为：卷积层金字塔模块PSPModule0(720×48)→卷积层Score0(1×1×48×2)→Sub0softmax层→输[0057]蒸馏结构中的多尺度池化金字塔模块的结构如图2所示。如输入特征InFeat大小w×n)→并行四路池化特征提取层→级联层→卷积层(3×3×4n×n)→输出特征OutFeat(h8[0059]步骤1中获得了四组分支蒸馏特征和一组输出端蒸馏特征，在这五组蒸馏特征基[0061]分支一致性蒸馏学习结构如图3所示。将四组分支蒸馏特征Sub1softmax、对可表示为：(Sub1softmax→Sub2softmax)、(Sub1softmax←Sub2softmax)、(Sub1softmax→Sub3softmax)、(Sub1softmax←Sub3softmax)、(Sub1softmax→softmax←Sub3softmax)、(Sub2softmax→Sub4softmax)、(Sub2softmax←Sub4→Sub1softmax)、(Sub0softmax←Sub2softmax)、(Sub0softmax→Sub3softmax)、图，K为预测类别数量，本发明中K＝2。Wm为网络主体(不涉及自蒸馏网络)的权重矩阵,发明中M＝5，且将辅助分类网络在总体网络中连接的具体位置记为A＝{ai|i＝1,2,...,[0070]式(1)中Ls为自蒸馏网络的预测结果相对于标注图产生的预测损失。在本发明中9[0081]实验数据集为4个公开的目标分割数据集，分别为：(1)COD(Deng-PingF.,et10000幅自然伪装图像。(2)CPD(FangZ.,etal.Camouflagepeopledetectionviastrongsemanticdilationnetwork[C].TheACMTuringCelebrationConference-(YangC.,etal.SaliencyDetectionviaGraph-BasedManifoldRanking[C].CVPR,2013)是一个包含5168副图像的显著性目标数据集。(4)PASCAL-S(RadhakrishnaA.,etal.,Frequency-tunedsalientregiondetection[C].CVPR,2009)是一个包含850副图像[0082]本发明使用目标分割任务中常用的F值(F-measure)(RadhakrishnaA.,etal.,Frequency-tunedsalientregiondetection[C].CVPR,2009)评价并比较基准模型和自