CN111860249B 一种基于多层次聚合和注意孪生网络的视觉目标跟踪方法 （上海蠡图信息科技有限公司）

一种基于多层次聚合和注意孪生网络的视本发明公开了一种基于多层次聚合和注意利用孪生主干网络负责提取示例样本和搜索样集成高层语义特征和低层细节特征来学习多层特征间的互补信息，用以辅助浅层特征跟踪目2定义多层聚合模块，选择地集成高层语义特征和低层细节特征来在所述多层聚合模块后加入自细化模块抑制多层聚在所述孪生主干网络的顶层卷积特征处添加头注意模块，增将三层特征级联在一起，并将级联后的特征进行卷积运算生成聚合的多层聚合特征FMM充分编码来自浅层的低级细节信息和深层的高级将此输入特征输入到3个具有相同结构的卷积层中得到3个新的特征，分别为Fq、Fk和定义Fsji表示用来测量位置i处特征相对位置j处特征的影响，且两者之间的联系越紧sji的值就越大；N＝H×W；其中Fcji为用来测量第i个通道对第j个通道的影响，与所述空间注3其中λc与空间注意中的类似，初始化为0并逐步学习，用以控制输入特征F的通道重要新生成的两个注意特征执行逐元素操作得到了空间通道注提出的所述多层次聚合和注意孪生网络的跟踪框架SiamMLAA中F即为Fz3，与浅层相似其中为Fz3输入到所述头注意模块得到的2.如权利要求1所述的基于多层次聚合和注意孪生网络的视觉目标跟踪方法，其特征在网络的前2个阶段中遵循原始的ResNe在第3阶段，由步长为2的最大池化来代替卷积层执行下采样，3.如权利要求1或2所述的基于多层次聚使用ResNet22网络第3个阶段的最后3个块，即layer2-2、layer2-3和4.如权利要求3所述的基于多层次聚合和注意孪生网络的视觉目标跟踪方法，其特征将所述细化特征与搜索样本对应的浅层特征Fx1来计算匹相似度计算可表示为：fi(z,x)=corr(1,Fa),其中Corr(·)表示互相关操作。5.如权利要求4任一所述的基于多层次聚合和注意孪生网络的视觉目标跟踪方法，其在第一部分中，按输入特征的通道方向采用全局平均池化来压46.如权利要求5所述的基于多层次聚合和注意孪生网络的视觉目标跟踪方法，其特征,F"=F'8m,5[0003]近些年基于孪生(Siamese)网络的跟踪器通过将跟踪问题转化为相似度学习问题用卷积神经网络充当主干网络在外部海量视频数据集ILSVRC2015上学习用于分类或回归[0004]本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施化模块抑制多层聚合产生的噪声；在所述孪生主干网络的顶层卷积特征处添加头注意模[0008]作为本发明所述的基于多层次聚合和注意孪生网络的视觉目标跟踪方法的一种6[0009]作为本发明所述的基于多层次聚合和注意孪生网络的视觉目标跟踪方法的一种[0010]作为本发明所述的基于多层次聚合和注意孪生网络的视觉目标跟踪方法的一种[0011]作为本发明所述的基于多层次聚合和注意孪生网络的视觉目标跟踪方法的一种其中SrM(·)表示自细化模块；将所述细化特征与搜索样本对应的浅[0012]作为本发明所述的基于多层次聚合和注意孪生网络的视觉目标跟踪方法的一种[0016]作为本发明所述的基于多层次聚合和注意孪生网络的视觉目标跟踪方法的一种[0018]F"=F'8m,7[0020]作为本发明所述的基于多层次聚合和注意孪生网络的视觉目标跟踪方法的一种[0022]定义Fsji表示用来测量位置i处特征相对位置j处特征的影响，且两者之间的联系sji[0025]作为本发明所述的基于多层次聚合和注意孪生网络的视觉目标跟踪方法的一种[0027]其中Fcji为用来测量第i个通道对第j个通道的影响，与所述空间注意机制相似，Fcji值越大表示两者间的相互联系就越大；然后将重构成RC×N的特征F与通道注意映射Fc进[0030]作为本发明所述的基于多层次聚合和注意孪生网络的视觉目标跟踪方法的一种个注意特征执行逐元素操作得到了空间通道注意特征Fsca；提出的所述多层次聚合和注意8[0036]图2为本发明所述基于多层次聚合和注意孪生网络的视觉目标跟踪方法的整体流9[0051]参照图1的示意，示意为本实施例提出多层次聚合和注意孪生网络的整体框架示意网络(SiamMLAA)，其中包括了头部注意(HA)模块、多层聚合(MLA)模块和自细化(SR)模块。简单过程为可描述为头部注意模块添加到主干网络的顶层卷积层用来改善特征表示，[0052]本实施例提出的基于多层次聚合和注意的孪生网络跟踪模型SiamMLAA，该[0053]由于注意到卷积神经网络(convolutionneuralnetwork，CNN)的深层特征表示语制多层融合产生的噪声，在多层聚合模块之后引入了自细化模块.最后在主干网络的顶层[0055]参照图2的示意，示意为本实施例基于多层次聚合和注意孪生网络的视觉目标跟[0059]本步骤中需要说明是：强大的特征表示对于精确和健壮的视觉目标跟踪至关重第一个块中，即layer2-1(该层位于此阶段总共有4个块，分别为layer2-1、layer2-2、述三个层次的特征具有不同的空间大小，故采用反卷积的方式将最后2层特征采样到相同；[0078]在第一部分中，按输入特征的通道方向采用全局平均池[0080]F'=8u,,[0086]F"=F'8m,[0090]本步骤中部注意模块包括空间注意机制和通道注意机制，其中空间注意机制包[0096]定义Fsji表示用来测量位置i处特征相对位置j处特征的影响，且两者之间的联系sji的值就越大；N＝H×W；[0111]提出的多层次聚合和注意孪生网络的跟踪框架SiamMLAA中F即[0116]为验证上述实施例提出基于多层次聚合和注意孪生网络的视觉目标跟踪方法的踪方法中也有较高的竞争力，故提出的网络SiamMLAA在各个方面都取得了十分良好的性[0122]将该方法的结果与一些先进方法在五个公共的跟踪基准上进行评估，其中包括共跟踪基准数据集OTB2013、OTB50和OTB2015上进行了评估实验，采用一次性通过评估(one-passevaluation，OPE)的成功率图(Successplot)和精度图(Precisionplot)来比较实时的先进跟踪方法进行评估，其中包括CCOT和ECO等，均参照表1结果显示，本发明SiamMLAA可以在运行速度与跟踪性能两个方面取[0126]利用它们来测试所提出的跟踪方法SiamMLAA，在实验中使用和期望平均重叠踪器进行比较。其中除了基线SiamDW以及VOT2016/2017中先进的跟踪器(如CCOT和ECO等)具体实验结果还如表1所示。SiamMLAA在VOT2016/2017上的EAO分数分别达到了0.387/模块(即多层聚合MLA模块、自细化SR模块和头注意HA模块)的跟踪器在精度和成功率两方面取得了几乎最好的跟踪性能，这证明了本发明所提出跟踪器中的每个模块都是必要的，对最后的跟踪性能都起着十分明显的改善作用。程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此一个或多个组件可以存在于执行中的过程和/或线程中，并且组件可以位于一个计算机中构的各种