CN113574566B 目标检测网络构建优化方法、装置、设备、介质及产品 （北京大学深圳研究生院）

2021.06.24PCT/CN2021/0939112021.05.14WO2022/236824ZH2022.11.17本申请公开了一种目标检测网络构建优化取高质量可视媒体数据及其对应的低质量可视验网络针对于高质量可视媒体数据的第一主干网侧面输出特征以及提取预设待训练目标检测网络针对于低质量可视媒体数据的第二主干网所述显著性目标位置损失以及所述显著性预测2获取高质量可视媒体数据、所述高质量可视媒体数据对应的低面输出特征以及提取预设待训练目标检测网络针对于所述低质量可视媒体数据的第二主述第二主干网侧面输出特征至少包括一第二网基于所述第一主干网侧面输出特征与所述第二主干网侧建表示所述预设先验网络与所述预设待训练目标检测网络之间的相关性的特征相关性损对各所述第一网络高层特征进行融合，获得所述预设先验网络对应的基于所述第一显著性预测图和所述第二显著性预测图之间的显著目标位置的差异度，构建表示所述预设先验网络和所述预设待训练目标检测网络之间进行显著目标定位的显基于所述第二显著性预测图与所述真实标签，构建表示所述预待训练目标检测网络之间进行显著目标定位的显著基于所述特征相关性损失、所述显著性目标位置损失以及所述络与所述预设待训练目标检测网络之间的相关性的特征相在所述第一主干网侧面输出特征中分别提取各第一局部特征图和各第一全局特征图，并在所述第二主干网侧面输出特征中提取各第二局部特征图和各基于各所述第一局部特征图与各所述第二局部特征图之间的差异度以及各所述第一在所述第一显著性预测图中确定显著目标对应的第一二显著性预测图中确定显著目标对应的第二目基于所述第一目标网络通道输出和所述第二目标网络通道输出之所述基于所述第二显著性预测图与所述真实标签，构建所述显著3基于所述第二显著性预测图对应的预测输出标签与所述真实标签之间的差基于所述第二显著性预测图和各所述网络低层特征，构建层对所述第二显著性预测图进行全局平均池化，获得具备预设尺寸大将所述全局平均池化特征与各所述转换底层特征分别进行元素相将所述第二显著性预测图分别转换为与各所述元素相乘特征大小一致的各大小转换所述对各所述第二网络高层特征进行融合，获得所述预设待训练目将所述第三待融合特征转换为与所述第二待融合特征的大小以及通道数一致的第一将所述第二待融合特征与所述第一待拼接目标特征拼接为将所述目标中间特征转换为与所述第一待融合特征的大小以及通道数一致的第二待将所述第一待融合特征与所述第二待拼接目标特征拼接为所述第二显基于所述特征相关性损失、所述显著性目标位置损失以及所述显若否，则基于所述特征相关性损失、所述显著性目标质量可视媒体数据对应的低质量可视媒体数据以及对应的8.一种目标检测网络构建优化设备，其特征在4所述存储器用于存储实现目标检测网络构建优化方法所述处理器用于执行实现所述目标检测网络构建优化方法的程序，执行以实现如权利要求1至7中任一项所述目标检测网络构建优5于边缘信息引导的图像显著性目标检测网络以及基于注意力响应的图像显著性目标检测络构建优化方法应用于目标检测网络构建优化设备，所述目标检测网络构建优化方法包网侧面输出特征以及提取预设待训练目标检测网络针对于所述低质量可视媒体数据的第[0007]基于所述特征相关性损失、所述显著性目标位置损失以数据的第一主干网侧面输出特征以及提取预设待训练目标检测网络针对于所述低质量可6进行显著目标定位的显著目标位置损失以及显著性机程序被处理器执行时实现如上述的目标检测网络构建优化方法征以及提取预设待训练目标检测网络针对于所述低质量可视媒体数据的第二主干网侧面述预设先验网络和所述预设待训练目标检测网络定位图像中显著目标的位置的一致性的7[0021]图4为本申请目标检测网络构建优化方法中通过生成所述层次化细化特征获得所[0022]图5为本申请实施例中目标检测网络构建优化方法涉及的硬件运行环境的设备结第一主干网侧面输出特征以及提取预设待训练目标检测网络针对于所述低质量可视媒体媒体数据为高质量可视媒体数据在预设场景下产生的质量指标值未超过预设质量指标阈性目标检测网络，预设先验网络对高质量的清晰图像具备精确的显著性目标检测的能力，8的输出，例如，例如，假设预设先验网络为ResNet，则可设定ResNet中layer1、layer2、layer3和layer4的输出均为第一主干网标定位得到的显著物体位置和预设待训练目标检测网络进行显著目标定位得到的显著物特征为预设待训练目标检测网络中网络层级超过预设网络层级阈值之后的网络层输出的[0033]具体地，基于第一主干网侧面输出特征和第二主干网侧面输出特征之间的差异度，构建表示预设先验网络与预设待训练目标检测网络之间的相关性的特征相关性损失，基于第一显著性预测结果对应的预测标签与真实标签之间的差异度，构建显著性预测损9标检测网络学习预设先验网络的中间隐藏层的特征表达以及如何进行显著目标定位的知体数据、所述高质量可视媒体数据对应的低质量可视媒体数据以及对应的真实标签的步别提取预设先验网络针对于所述高质量可视媒体数据的第一主干网侧面输出特征以及提取预设待训练目标检测网络针对于所述低质量可视媒体数据的第二主干网侧面输出特征，进而基于所述第一主干网侧面输出特征、所述第二主干网侧面输出特征和所述真实标签，构建表示所述预设先验网络与所述预设待训练目标检测网络之间的相关性的特征相关性证预设待训练目标检测网络从低质量可视媒体数据中提取的特征尽量靠近预设先验网络进行精确地显著性目标检测，在进行显著性目标检测时无需依赖于高质量可视媒体数据，[0048]步骤S21，基于所述第一主干网侧面输出特征与所述第二主干网侧面输出特征之关性损失，并基于第一主干网侧面输出特征与第二主干网侧面输出特征之间的全局差异预设待训练目标检测网络的不同层级的隐藏[0054]具体地，分别对各第一层级输出特征进行对应的预设池化核大小的方形池化操不同网络层级的第二层级输出特征同样可设置为对应不同预设池化核大小的方形池化操数据输入预设先验网络的通道维度与高质量可视媒体数据对应的低质量可视媒体数据输域矩阵，则将各输入通道在第一局部特征表达中对应的各区域矩阵进行求和以及归一化φgip为所述第一主干网侧面输出特征。将第三待融合特征转换为与第二待融合特征的大小以及通道数一致的第一待拼接目标特[0080]步骤S23，基于所述第一显著性预测图和所述第二显著性预测图之间的显著目标绝对值元素的大小，在第二显著性预测图中确定显著目标对应的第二目标网络通道输出，[0089]步骤S24，基于所述第二显著性预测图与所述真实标签，构建所述显著性预测损预测损失包括第一显著性预测损失和第二显著[0093]步骤A10，基于所述第二显著性预测图对应的预测输出标签与所述真实标签之间二显著性预测图的通道维度以及尺寸大小均转换至与真实标签的通道维度与尺寸大小一[0100]步骤B20，基于所述层次化细化特征生成的第三显著性预测图与所述真实标签之关性损失，LLP为所述显著性目标位置损失，SC为所述第二显著性预测图，Fine-grained目标检测网络可如预设先验网络对高质量可视媒体数据进行精确地显著性目标检测一样，著性目标检测网络对低质量可视媒体数据的检测精度较低的技术缺陷奠[0114]步骤B14，将所述第二显著性预测图分别转换为与各所述元素相乘特征大小一致1t[0123]本领域技术人员可以理解，图5中示出的目标检测网络构建优化设备结构并不构[0125]在图5所示的目标检测网络构建优化设备中，处理器1001用于执行存储器1005中[0126]本申请目标检测网络构建优化设备具体实施方式与上述目标检测网络构建优化数据的第一主干网侧面输出特征以及提取预设待训练目标检测网络针对于所述低质量可进行显著目标定位的显著目标位置损失以及显著性[0132]基于所述第一主干网侧面输出特征与所述第二主干网侧面输出特征之间的差异[0134]基于所述第一显著性预测图和所述第二显著性预测图之间的显著目标位置的差[0137]在所述第一主干网侧面输出特征中分别提取各第一局部特征图和各第一全局特[0138]基于各所述第一局部特征图与各所述第二局部特征图之间的差异度以及各所述述第二显著性预测图中确定显著目标对应的第二目标网[0143]基于所述第二显著性预测图对应的预测输出标签与所述[0149]将所述第二显著性预测图分别转换为与各所述元素相乘特征大小一致的各大小[0150]将各所述通道拼接特征的通道维度转换为所述预设通道维度，获得各待拼接特[0153]将所述第三待融合特征转换为与所述第二待融合特征的大小以及通道数一致的[0155]将所述目标中间特征转换为与所述第一待融合特征的大小以及通道数一致的第[0156]将所述第一待融合特征与所述第二待拼接目标特征拼接为所述第二显著性预测[0158]基于所述特征相关性损失、所述显著性目标位置损失以述高质量可视媒体数据对应的低质量可视媒体数据以及对应的真实标[0161]本申请目标检测网络构建优化装置的具体实施方式与上述目标检测网络构建优理器执行以用于实现上述任一项所述的目标检测网