CN116012658B 一种自监督预训练目标检测方法、系统、设备及存储介质 （西安交通大学）

WO2023005186A1,2023.02.02本发明公开了一种自监督预训练目标检测在粘贴的patch块中随机选择一片区域将其改为与提取的色彩RGB值相应的颜色，优化了预训练的多尺度特征编码为objectquery；objectquery基于提取的合成图特征进行学习，并对学2S3：分别提取合成图的特征以及合成图中粘贴的patchS4：objectquery基于提取的合成图特征进行学习，并对学习S4中，objectquery和合成图的特征输入至Transformer中解码器中自注意力模块引入为objectquery设计的注意通过resnet50主干网络提取合成图的特征以及合成图中粘贴的patch块的多尺度特贴的patch块编码为objectqu基于获取的不同尺度的patch特征图定义对应的linear层，得到不同根据合成图提取的多尺度输入特征不同的大小比例，将每个patch在不同尺度特征编b;=f(v)=fa(v0)用于预测boundingboxes，预测是否是粘贴上的patch，用于重建objectb;=f(v)=fa(v0)37.根据权利要求1所述方法的一种自监督预训练目标检测系统，其特征在于，包括的patch块粘贴到背景图中，得到合成图，提取下游待检测目标的色彩RGB值，在粘贴的patch块中随机选择一片区域将其改为与提取的色多尺度特征转化模块，用于分别提取合成图的特征以及合成图中粘贴的patch块的多匹配模块，用于objectquery基于提取的合成图query进行类别和边界框预测，得到预测的集合，将预测的集合和真实的标注集合进行匹8.一种终端设备，包括存储器、处理器以及存储在9.一种计算机可读存储介质，所述计算机可读存储介质存4成本很高而且准确性也因为标注误差而受到影响。无监督任务是使用不需要标注的数据，用剩余部分来预测扣除的部分)、颜色补全(把图像的灰度图作为输入、预测真实的彩图)[0005]本发明的目的在于解决现有技术中自监督预训练代理任务在目标检测定位和分[0010]S3：分别提取合成图的特征以及合成图中粘贴的patch块的多尺度特征，并将5[0018]通过resnet50主干网络提取合成图的特征以及合成图中粘贴的patch块的多尺度[0021]通过主干网络对每个patch块进行特征提取，得到若干个不同尺度的patch特征[0024]根据合成图提取的多尺度输入特征不同的大小比例，将每个patch在不同尺度特[0025]所述步骤S4中，objectquery和合成图的特征输入至Transformer中学习，并在Transformer的解码器中自注意力模块引入为objectquery设[0028]fbox用于预测boundingboxes，fcat预测是否是粘贴上的patch，frec用于重建objectdescriptors，其中则v1……vk表示通过Transformer计算的与图像相关的object选择一片区域将其改为与提取的色彩RGB值相6[0032]多尺度特征转化模块，用于分别提取合成图的特征以及合成图中粘贴的patch块[0033]匹配模块，用于objectquery基于提取的合成图特征进行学习，并对学习后的行边界框预测保证了预测的patch和真实patch之间的7[0053]参见图1，本发明实施例公开了一种自监督预训练目标检测方法，本方法是基于[0055]微调阶段是基于预训练阶段保存的模型权重在相对较小的数据集进行有监督微[0056]基于DETR的自监督先验任务是将从前景图中使用裁剪策略裁剪的patch粘贴到背景图中构造合成图并让模型学习在合成图中检测粘贴的patch的任务，目的在于初步训练[0058]Transformer计算模块包括编码器Encoder和解码器Decoder，编码阶段对输入的图像特征进行编码，解码阶段利用objectq[0059]预测头模块是使用多层感知机MLP对经过Transformer计算的objectquery进行8[0065]为自监督预训练提供更准确的边界框弱监督，采用合成图的方式来构造输入图[0076]步骤3：基于粘贴的patch构造适配于多尺度输入特征的Transformerobject[0078]解码器的一个重要组件是objectquery，其作为解码器的交叉注意力模块的9query在编码器输出的特征memory中进行查找，所述memory解释为合成图特征经过Transformer的Encoder编码器计算的阶段和微调阶段，objectquery均是大小为[300,batch_size,256]的可学习编码，通过尺度特征，其将patch经过backbone主干网络提取的最后一个尺度的特征转换为了object[0082]对于主干网络从合成图提取的多尺度输入特征而言，其在输入Transformer的编例从大到小为本发明实施例中，本步骤得到的不同尺度特征图实际为4个尺[0088]进一步的，对于预测得到的每个objectquery，通过pytorch的repeat_[0090]进一步的，基于合成图特征图拼接的比例，在不同尺度patch特征构造的object数第二个特征图对应的objectquery重复3*4,最大的特征图对应的objectquery重复3*[0091]由于本发明采用了一对多的策略，即对于每个尺度的特征映射得到的object征负责不同patch之间的objectquery不需要交互，进一步在Transformer的解码器的Self_attention自注意力模块引入注意力掩码Attentio责重建objectdescriptors。瓦=fiox(v),盆=fec(vi),⃞=fiar(v),则[0098]其中，v1……vk表示通过Transformer计算的与图像相关的objectquery，所述objectquery是Transforme[0110]公式(4)中.表示面积，用预测框坐标和真实框坐标的交集和并集表示结果框本[0115]本发明实施例中，proposals可以解释为算法提取的候选簇或候选框；objectquery可以解释为Transformer中一组可学习的位置编码；CP_DETR可以解释为基于DETR的[0123]多尺度特征转化模块，用于分别提取合成图的特征以及粘贴的patch块的多尺度[0124]匹配模块，用于objectquery基于提取的合成图特征进行学习，并对学习后的[0129]所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行[0130]所述终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产上述实施例方法中的全部或部分流程