CN113743514B 一种基于知识蒸馏的目标检测方法及目标检测终端 （庆阳瑞华能源有限公司）

一种基于知识蒸馏的目标检测方法及目标种基于知识蒸馏的目标检测方法及目标检测终权的特征蒸馏方式利用训练好的教师网络对学在不引入额外参数和推理运算量的情况下有效2通过注意力加权的特征蒸馏方式利用训练好的教师网络所述通过注意力加权的特征蒸馏方式利用训练好的教师网络对学生网络进行知识蒸通过优化后的蒸馏损失函数对学生网络进行知所述通过注意力权重矩阵为蒸馏损失函数附上权重通过Softmax函数将教师网络和学生网络的特征沿着空间维度进行归一化计算处理，将图片输入训练好的教师网络，对图片中用于蒸馏的几层特征，3将教师网络中堆叠的CSP模块用单个CSP模块代替，且各层通道数所述自建数据集是天然气工厂场景下的自建目标检测数对知识蒸馏后的学生网络进行训练，训练过程中采用SGD优化器对学生网络中的所有45[0015]通过注意力加权的特征蒸馏方式利用训练好的教师网络对学生网络进行知识蒸[0029]通过Softmax函数将教师网络和学生网络的特征沿着空间维度进行归一化计算处6[0041]对知识蒸馏后的学生网络进行训练，训练过程中采用SGD优化器对学生网络中的模型，蒸馏优化能够在不引入额外参数和推理运算量的情况下有效提升目标检测模型性7[0055]具体实现中，本发明实施例中描述的终端包括但不限于诸如具有触摸敏感表面[0063]S2,通过注意力加权的特征蒸馏方式利用训练好的教师网络对学生网络进行知识[0066]S21，通过注意力权重矩阵为蒸馏损失函数附上权重，得到优化后的蒸馏损失函和学生网络的参数量分别为47.0M和6.9M，因此压缩后减少了85推理运算量分别为的特征蒸馏方式，以在数据集上训练好的YOLOv5l网络作为教师网络，监督学生网络特征提取的骨干网络以及下方三个网格步长不相同的回8[0076]在特征融合阶段(图2、图3中Backbone以下部分)，采用PANet方案增强FPN网数据集、MSCOCO数据集这两个公开的通用目标检测数据集以及天然气工厂场景下的自建目标检测数据集(即自建数据集)。在VOC数据集上训练时使用VOC2007train+val和提出的特征蒸馏方式对学生网络YOLOv5c进行30个epoch的蒸馏，其中Softmax温度取1.0。倍下采样的空间尺度，在教师网络、学生网络中两组特征的通道维数分别为(128,256)和[0083]图5注意力图中呈现绿色、注意力分布较大的区域大多数属于前景物体，而呈蓝9成权重矩阵的有效方法。实际应用时将注意力图通过Softmax进行归一化后作为权矩阵为的第c个通道得到的张量，形状为(H,W)；按照该comment左边的公式对Xc归一化得到的张[0090]根据注意力图计算注意力权重矩阵(利用教师网络输出的特征计算注意力权重矩[0096]对知识蒸馏后的学生网络进行训练，采用SGD优化器对学生网络的所有参数进行[0098]本实施例中，将用上述蒸馏训练得到的目标检测模型，与直接训练得到的施例的目标检测模型，经过模型转换后用ncnn框架分别部署在运行Android操作系统的智目标检测模型能够在不引入额外参数和推理运算量的情况下有效提升目标检测模型性能，