CN114612716B 一种基于自适应解码器的目标检测方法及装置 （南京大学）

Gao,ZT;Wang,LM;Han,B;Guo,S.AdaMixer:AFast-Conver一种基于自适应解码器的目标检测方法及一种基于自适应解码器的目标检测方法及网络得到的不同大小的特征图组合成3D特征空地配合查询量的空间信息和位置信息完成对采2器和解码器自适应地根据查询的空间位置信息和语义内容信息进行采样点位置和特征解空间中的坐标，r是特征图的高宽比的以2为底的对数，初始语义向量q0从标准正态分布N32.根据权利要求1所述的一种基于自适应解码器的目标检测方法，其特征是步骤1)中3.根据权利要求1所述的一种基于自适应解码器的目标检测方法，其特征是解码器首先将查询量送入一个多头自注意力模块，得到一个增强后的语义查询量qeRla,将q经过一个线性层的变换之后，得到Pin个采样点集合利用采样点集合在3D特4.根据权利要求1所述的一种基于自适应解码器的目标检测方法，其特征是将解码器4问题形式化成一个直接的集合预测问题，首先需要用基于Transformer结构的编码器和解码器来生成很多框来预测目标的位置，再基于这些预测的框和真实的框来进行二分图匹过编码器和解码器自适应地根据查询的空间位置信息和语义内容信息进行采样点位置和5虑z轴权重的特征矩阵,然后再在z轴上做高斯权重插值，进而得到完整的采样后的特征矩义通道混合中，使用基于q的动态权重矩阵在特征通道上对特征矩阵X进行通道语义增强；[0016]3)训练阶段：对配置的网络模型采用训练数据进行训练，使用focalloss，L1[0018]本发明还提出一种基于自适应解码器的目标检测装置，具有计算机可读存储介[0019]本发明提出了一种新的解码方式，可以更好地利用基于查询的Transformer式目6[0022]本发明提出的解码器可以自适应地基于查询量来采样特征，以及用特征通道混率有很大的帮助，本发明的设计的检测模型有效地利用了查询量中包含语义和位置信息，额外的网络输出头即可有助于网络的简化以及可以消耗更少的[0033]1)生成3D特征阶段：使用输入图像基于骨干网络ResNet-50不同阶段输出的不同7像降采样的一个预设量。本发明中，对骨干网络ResNet的第二到第五阶段(C2～C5)的特征qqz+rq[0045]为输入特征图初始化编码生成N个初始查询量，每个查询中的语义向量q0初始化q自注意力模块，得到一个增强后的语义查询量qeRa,然后使用该q经过一个线性层的变其中C＝dfeat/g，进行自适应混合，首先进行自适应语义通道混征输出，接着进行自适应空间信息混合，得到ASM(ACMX))eR"n⃞C,最后利用此输出送8集前景比IoF(Intersectionoverforeground)作为一个偏置加入了注意力的权重，这样[0051]其中IoF信息B中的每个元素B,-log(⃞+e),∈=10-7，这里的exp(Bij)=1表示包围框j完全包住包围框i，exp(Bij)=∈表示包围框j和包围框i完全不相交。Q,k,veR"⃞da分别代表自注意力机制中的查询量(query)、关键字(key)，值(value)。PosEmbedding()是对查询量位置四元组的一种正弦编码，可以使不同位置拥有不同的编qq[0054]α对每个注意力头都是一个可学习的标量。最终经过该多头自注意力模块可以得[0064]得到一个平面的特征矩阵,然后再9中的每组采样特征矩阵xeRpin"c,其中C＝dfeat/g，进行独立的3D特终得到的特征矩阵X的维度即变为Rgxptn(feat.线性层Linearc()在不同的组之间相互独立，但是动态权重矩阵Mc在3D特征空间的不同采[0078]对于给出的特征矩阵xeRpinxc,其中C＝dfeat/g，该模块使用基于q的动态权重矩[0081]其中，输出的ASM(x)[0086]经过(3)中的整体动态混合模块后得到输出将g组的输量(x/,y/,z/,r/)[0091]如果对特征矩阵X不分组，则自适应混合模块直接对特征矩阵X进行自适应地解通道数转换到q的相同通道数，得到更新后的查询中的语义向量q/，并得到位置向量的更[0098]在本发明实例中，取Lfocal的λcls＝2，pt是对于分类t的置信度分数，LL1bbox的失函数的组合形成了本发明的损失函数L。对损失函数L的监督将被用于解码器的每个阶的标准增强操作只包括随机的水平翻转，这里为了和一些流行的检测器(比如FCOS和[0105]测试集输入数据的处理同训练数据，也是将输入的图像短边缩放到800，使用示目标检测准确率的指标，AP50指在物体的真实包围框和预测的包围框的交并比IoU大于比IoU大于0.75时即认为预测准确时的平均准确率；AP指物体的真实包围框和预测的包围型物体时的平均准确率。在COCO数据集中，使用1x的训练策略时，对比其