CN114926652B 基于交互与聚合式特征优化的孪生跟踪方法及系统 （厦门理工学院）

基于交互与聚合式特征优化的孪生跟踪方本发明涉及一种基于交互与聚合式特征优化的孪生跟踪方法及系统，该方法包括以下步征；构建门控双视角聚合模块优化多层模板特板特征和搜索区域特征的自注意力聚合及交互2S3、构建门控双视角聚合模块GDA以优化模板多层特征，将模板多层特征Fz输入GDA模根据第一帧给定的目标真实边界框，在第一帧图像上裁剪出尺寸大小为3x127x127小为3x255x255的搜索区域图像。层特征和搜索区域多层特征其中l表示提取的模板或搜述LA模块用于凸显局部视角的高频信息；对于大小为CxHxW的单层模板特征f",局部视角2为可学习的卷积参数，大小为和这里r表示通道压缩参3所述LA模块关注固定的感受野，通过卷积操作聚合局部区域的信息；而所述G即Q=θ(xi)ke""和即veRcms,其中S＝lXHXW，这里l表示被查询的总特征层数；于是全局特征K和V表示为：j)]对于模板多层特征根据上式，其中第i层特征经过GA模块的更新表LA模块和GA模块通过通道压缩参数r和m在一定程度上降低了通道4得局部和全局视角下的注意力特征和GA(f";F):在此基础上，利用聚合门控模块的门控机制自适应地融合和GA(;F),从而增强显著特征的有效表示；对于输入特征和GA(;F),首先将两个特征拼接在一起，使用一个1x1的卷积层学习它们之间的GA(f";F:)的权重矩阵表示为1_Wgate；然后，通过权重矩阵与特征逐元素相乘的方对于GDA模块输出的优化特征SGA模块逐层提取空间维度的全局语义度优化的搜索区域特征具体地，对于第i层模板特征生成的目标语义注意力矩阵At":表示为：然后，SGA模块采用全局视角注意力聚合多层特征，其与G5而增强位置的关联；将得到的相关性图与搜索区域特征相加得到更细粒度的优化特征表示为：6相似的区域，将其作为当前帧目标的预测位置。SiamFC(BertinettoL,ValmadreJ,HenriquesJF,etal.Fully_convolutionalsiamesenetworksforobjectperformancevisualtrackingwithsiameseregionproposalnetwork.ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2018，目标的外观变化，CFNet(ValmadreJ,BertinettoL,HenriquesJF,etal.End_to_endrepresentationlearningforcorrelationfilterbasedtracking.ProceedingsoftheIEEEConferenceonComput5008.)和RASNet(WangQ,TengZ,XingJ,etal.Learningattentions:Residualattentionalsiamesenetworkforhighperformanceonlinevisualtracking.ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2018，pp.4854_4863.)分别在模板分支嵌入相关滤波模块和注意力机制模块，通过局部模块来更新模板参数。GradNet(LiP,ChenB,OuyangW,etal.Gradnet:Gradient_guidednetworkforvisualobjecttracking.ProceedingsoftheIEEEInternationalConferenceonComputerVision.2019,pp.6161_6170.)和UpdateNet(ZhangL,AbelG,JoostV,etal.LearningthemodelupdateforsiameseComputerVision.2019,pp.4009_4018.)则利用网络迭代学习的过程来实现模板参数更新。相对于GradNet和UpdateNet在第一帧模板上直接更新参数，MemDTC(YangT,Antoni7B.Visualtrackingviadynamicmemorynetworks.IEEETransactionsonPatternAnalysisandMachineIntelligence.2021,pp.360_374.)通过添加记忆单元来存储跟踪生漂移时快速恢复。此外，为了提高孪生跟踪器对相似物和复杂背景的判别能力，DaSiamRPN(ZhuZ,WangQ,LiB,etal.Distractor_awaresiamesenetworksforvisualobjecttracking.ProceedingsoftheEuropeanConferenceonComputerVision.2018,pp.103_119.)在线设计了一个可进行增量学习的干扰物感知模块。Nocal_Siam(TanH,ZhangX,ZhangZ,etal.Nocal_siam:Refiningvisualfeaturesandresponsewithadvancednon_localblocksforreal_timesiamesetracking.IEEETransactionsonImageProcessing.2021,pp.30:2656_2668.)利用非局部注意力的远距离依赖性，加强对和目标相关的特征权重的学习。SiamDW(ZhangZ,PengH.Deeperandwidersiamesenetworksforreal_timevisualtracking.ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition.2019,pp.4591_4600.)[0005]本发明的目的在于提供一种基于交互与聚合式特征优化[0009]S3、构建门控双视角聚合模块GDA以优化模板多层特征，将模板多层特征Fz输入8板多层特征和搜索区域多层特征其中l表示提取的模板[0018]所述GDA模块包括局部视角注意力LA、全局视角注意力GA以及聚合门控三个子模块用于通过多层特征的交互，聚合不同感受野的全局信息；对于一组l层的特征F＝{x1,keR"和即即和其中S＝l×H×W，这里l表示被查询的总特征层数；于是全局特征K和V表示9[0037]上式中，其表示沿着j维度进行softmax操别获得局部和全局视角下的注意力特征La(:)和GA(";F):在此基础上，利用聚合门控模征和GA(f";F),首先将两个特征拼接在一起，使用一个1×1的卷积层学习它们之间gategate[0047]对于GDA模块输出的优化特征SGA模块逐层提取空间维度的全局粗粒度优化的搜索区域特征具体地，对于第i层模板特征i,生成的目标语义注意力矩阵At":表示为：[0074]本发明还提供了一种基于交互与聚合式特征优化的孪生跟踪系统，包括存储器、[0077]图2是本发明实施例中本发明方法与其他目标跟踪方法在不同属性下的精度对比[0083]根据第一帧给定的目标真实边界框(ground_truthboundingbox)，在第一帧图w和h分别表示预测边界框的宽和高。[0085]采用ResNet_50及其改进网络作为特征提取网络，将模板图像和搜索区域图像作[0086]S3、构建门控双视角聚合模块GDA以优化模板多层特征，将模板多层特征的嵌入特征和信号强度，因此可以通过减去平均信号强度的方式获得高频判别性的信息。大小为C×H×W的单层模板特征t:,局部视角注意力特征La(r')表示为：j共享卷积层φ(·)和g(·)，得到对应特征图k,eR"和veR"",即和其中S＝l×H×W，这里l表示被查询的总特征层数。于是全局特征K和V表示[0106]上式中，其表示沿着j维度进行softmax操分别获得局部和全局视角下的注意力特征LA(f:)和GA(f";F:)。在此基础上，利用聚合门控模块的门控机制自适应地融合Lad:)和GA(";F),从而增强显著特征的有效表示。对于输入特征LA()和首先将两个特征拼接在一起，使用一个1×1的卷积层学习它们阵，则的权重矩阵表示为1_[0115]S4、构建语义引导的注意力模块SGA以实现搜索区域的粗粒度特征优化，将和搜索区域多层特征输入SGA模块，获得粗粒度优化的搜[0116]1)对于GDA模块输出的优化特征SGA模块逐层提取空间维度的全到粗粒度优化的搜索区域特征具体地，对于第i层模板特征i,生成的目标语义注意力矩阵At":表示为：其具体实现方法为：[0130]1)对于第i层的模板优化特征以及搜索区域优化特征首[0141]2)采用对应元素相加的方法对两个相关性图进行融合，从而增强位置的关联；将得到的相关性图与搜索区域特征i:表示为：[0145]本实施例还提供了一种基于交互与聚合式特征优化的孪生跟踪系统，包括存储[0146]本实施例中，采用了OTB100数据集进行对比验证，图2展示了本发明方法FRIA_本发明提出的方法与其他目标跟踪方法的成功率对比现在流程图一