CN115239763B 一种基于中心点检测和图匹配的平面目标跟踪方法（北京交通大学）

(19)国家知识产权局(12)发明专利(10)授权公告号CN115239763B(65)同一申请的已公布的文献号(73)专利权人北京交通大学地址100044北京市海淀区西直门外上园村3号(72)发明人王涛李坤鹏刘贺李浥东郎丛妍(74)专利代理机构北京市商泰律师事务所专利代理师黄晓军李坤鹏.基于深度图匹配的平面目标跟踪算法研究.《万方数据》.2024,1-71.Applications》.2023,1-14.审查员黄文琪(54)发明名称一种基于中心点检测和图匹配的平面目标跟踪方法本发明提供了一种基于中心点检测和图匹配的平面目标跟踪方法，该方法包括：使用中心定位网络预测当前帧中跟踪目标的中心点，并根据预测的中心点确定初始目标区域；将模板图像和所述目标区域建模为一个由两个子图组成的完整的图，两个子图分别对应两个区域，使用深度图匹配网络预测模板图像和所述目标区域的匹配对中估计目标从模板图像到当前图像的几何变换，得到跟踪目标的预测位置。本发明方法无约束场景下的表现总体上好于以往的方法，特利用上一秋测的适动如便用ANSAC算法从的图像否丢夫?否是2使用中心定位网络预测当前帧中跟踪目标的中心点，并根据预测的中心点确定初始目将模板图像和所述目标区域建模为一个由两个子图组成的完整的使用RANSAC算法从由匹配矩阵标识的匹配对中估计目标从模板图像到当前图像的几所述的使用深度图匹配网络预测模板图像和所述目标区域的键点和搜索图像中关键点的对应关系(M),在数据预处理时，将图像的尺寸统一调整为2563所述的将模板图像和所述目标区域建模为一个由两个子图组成的完整的图，两个子图别缩放为128×128和320×320,即输入图像的格式分别为[C₁,H₁,W₁]=[3,128,128],[C₂,的特征维度为256,使用不可学习的正弦余弦编码对特征图中每个位置的元素进行位置编步骤三：将两部分特征向量展平并沿空间维度拼接在一起，得到特征向量f∈R送进Encoder模块中，其中d=256,Encoder编码器通过自注意力和4跟踪时，首先用上一帧跟踪到的运动参数对当前读取的图像作一个逆变换得到重采样根据所述匹配矩阵得到模板图像和目标区域中特征点的匹配对，使用RANSAC算法过滤如果分数矩阵中置信度高于0.9的元素个数小于4个5一种基于中心点检测和图匹配的平面目标跟踪方法技术领域[0001]本发明涉及计算机视觉及人工智能技术领域，尤其涉及一种基于中心点检测和图匹配的平面目标跟踪方法。背景技术[0002]随着互联网技术和计算机视觉的不断发展，对图像信息的感知和分析为人们的生活提供了很大的便利。如今图像信息获取的渠道多样且广泛，例如手机、监控摄像头、相机等等。大量视觉信息的涌入，也迫切需要高效的方法或技术对其进行处理。在这些技术中，平面目标跟踪在追踪特定目标方面发挥着重要作用。平面目标跟踪在许多基于视觉的机器人应用及相关领域中应用广泛，如视觉SLAM(SimultaneousLocalizationandMapping,即时定位与地图创建)和增强现实，它通过对二维图像分析得出的几何变换为三维物体的跟踪或建模提供强有力的支持。[0003]对于一个视频序列，平面目标跟踪的目的是在初始帧给定要跟踪的平面对象的情况下，估计目标在后续帧中出现的位置。这一问题通常被转化为估计2D几何变换，如仿射变换、透视变换(也称单应性)。在这一领域虽然已经有一些优秀的工作提出，但他们在目标被遮挡和快速运动时仍表现不足。[0004]目前，现有技术中的平面目标跟踪方法可以分为基于模板的方法和基于关键点的方法两大类。基于模板的方法本质是求解优化问题，它最小化模板和搜索区域之间的差异来跟踪物体，如ESM(EfficientSecond-OrderMinimization,高效二阶最小化)算法。基于关键点的方法通常将模板和搜索区域建模为两组关键点，然后建立它们之间的对应关系，最后使用几何验证的方法估计2D变换，如Gracker算法。和基于模板的方法相比，基于关键点的方法对部分遮挡有天然的优势。[0005]近些年深度学习的发展为这一领域注入了新的活力，逐渐成为平面目标跟踪方向的研究热点。这些深度方法通常是基于模板的方法设计的，他们通过融合模板和搜索图像的深度全局特征来回归预测目标的位置或单应性，如HomographyNet算法、HDN算法。此外，也有一些方法致力于构建对几何变换鲁棒的描述子来提高跟踪的准确性，如GIFT算子、LISRD算子。但是很少有深度学习的方法将关键点的获取和匹配统一到一个完整的框架中。[0006]目前，现有技术中还没有一种对运动模糊和无约束场景特别有效的基于关键点的深度平面目标跟踪方法。发明内容[0007]本发明的实施例提供了一种基于中心点检测和图匹配的平面目标跟踪方法，以实现有效地对图像中的平面目标进行跟踪。[0008]为了实现上述目的，本发明采取了如下技术方案。[0009]一种基于中心点检测和图匹配的平面目标跟踪方法，包括：[0010]使用中心定位网络预测当前帧中跟踪目标的中心点，并根据预测的中心点确定初6[0012]使用RANSAC算法从由匹配矩阵标识的匹配对中估计目标从模板图像到当前图像寸分别缩放为128×128和320×320,即输入图像的格式分别为[C₁,H₁,W₁]=[3,128,128],维后的特征维度为256,使用不可学习的正弦余弦编码对特征图中每个位置的元素进行位[0016]步骤三：将两部分特征向量展平并沿空间维度拼接在一起，得到特征向量[0018]解码后的信息为,特征向量f′通过维度变换变为并被送预测的概率图P∈R²×*²,在网格坐标空间下计算概率图分布的期望值来获得预测的目标中[0020]步骤四：采用11loss作为损失函数进行训练，具体公式如(3)所示，其中Ci=(Cx,Cy)和c=(Cx,c、)分别表示预测的目标中心点和真实的目标中心点标签，采用7[0024]在中心定位网络中输入连续的视频帧，其中第一帧为模板帧，目标所在区域称为模板，把中心定位网络中ResNet50对模板区域提取的特征进行存储避免重复计算，模板区域是指以模板的中心作为中心点，宽和高分别是模板的宽和高2倍的区域，把模板在第一帧中的位置偏移作为初始的运动参数；[0025]跟踪时，首先用上一帧跟踪到的运动参数对当前读取的图像作一个逆变换得到重采样图像，同时上一时刻跟踪到的位置会在重采样图像中对应一个四边形区域，以该四边形的中心作为中心点，5倍的模板的宽和高作为大小对重采样图像进行裁剪、填充和缩放得到搜索区域，把模板区域和搜索区域送到中心定位网络中得到预测的目标中心点位置(cx,c、),以(c,c、)为中心裁剪出一个大小和模板一样的区域作为定位到的初始目标区域。[0026]优选地，所述的使用深度图匹配网络预测模板图像和所述目标区域的匹配矩阵之[0027]步骤一：获取公开图匹配数据集，数据集包括模板图像(P)、搜索图像(Q)、模板图像中的关键点(vp)及其描述子(vp)、搜索图像中的关键点(v。)及其描述子(v。)、模板图像中的关键点和搜索图像中关键点的对应关系(M),在数据预处理时，将图像的尺寸统一调整为256×256,即输入图像的大小为[C,H,W]=[3,256,256],C表示通道，H表示图像的高度，W表示图像的宽度；[0028]步骤二：根据Delaunay三角剖分算法将模板图像P和搜索图像Q建模为图，分别表征，ε表示边的特征，根据两个点集之间(Vp和VQ)的特征相似度构建交叉边，将两个子图连边v→w在第t次传递时的信息，m+¹表示节点v在(t+1)传递时的邻居信息，U表示节点更新函数，把每个节点相连的边的信息进行聚合得到邻居信息，再把邻居信息和原有的节点的信息进行融合更新，作为节点的新状态；[0033]更新节点状态后，图会进行边状态的更新，同样分为聚合和更新两个步骤，具体如公式(6)和(7)所示：f结分别表示边v→w在第t次传递时源节点和目的节点的特征向量，M表示边信息传递函数，ew表示边v→w在第t次传递时的状态，m+¹表示该边在(t+1)传递时8附图说明[0048]图1为本发明实施例提供的一种基于中心点检测和图匹配的平面目标跟踪方法的9实现原理图。[0049]图2为本发明实施例提供的一种中心定位网络的结构示意图。[0050]图3为本发明实施例提供的一种深度图匹配网络的结构示意图。[0051]图4为本发明实施例提供的一种中心定位网络的训练流程图。[0052]图5为本发明实施例提供的一种图匹配网络的训练流程图。图6为本发明实施例提供的一种基于中心点检测和图匹配的平面目标跟踪方法的处理流程图。具体实施方式[0053]下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。[0054]本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一件被“连接”或“耦接”到另一元件时，它可以直接连接或耦“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。[0055]本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。[0056]为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。[0057]本发明实施例提出了一种对目标不同的运动状态更鲁棒的平面目标跟踪方法，该方法在快速运动和运动模糊场景下的表现得到较大改善，该方法将深度学习与基于关键点的跟踪方法结合，提出了一种基于中心点检测和图匹配的平面目标跟踪方法，将关键点的获取和匹配统一到一个完整的框架中。[0058]本发明实施例的基于中心点检测和图匹配的平面目标跟踪方法的实现原理如图1所示，该方法首先通过中心定位网络预测当前帧中跟踪目标的中心点，并根据预测的中心点确定初始目标区域。直观地说，这给出了跟踪目标的初始位置的可靠猜测，为匹配阶段创造了良好的初始条件。然后，将模板图像和目标区域建模为一个由两个子图组成的完整的图，两个子图分别对应两个区域。之后，通过深度图匹配网络建立两个点集之间的对应关系。最后，通过RANSAC(RandomSampleConsensus,随机样本一致性)算法从匹配的关键点对中计算出单应性。[0059]本发明实施例提供的一种对中心定位网络进行训练的过程如图2所示，包括如下的处理过程：据预处理时，将模板图像中比目标大2²倍的区域作为模板区域，将搜索图像中比目标大5²倍的区域作为搜索区域，并将尺寸分别缩放为128×128和320×320,即输入图像的格式分别图像进行特征提取，提取的特征维度为1024.然后采用1×1的卷积核对提取的特征进行降维，降维后的特征维度为256.之后，使用不可学习的正[0062]步骤三：将两部分特征向量展平并沿空间维度拼接在一起，得到特征向量[0064]这里，解码后的信息。然后，特征向量f′会通过维度变换变为到一个中心点位置预测的概率图P∈R"²×当。我们在网格坐标空间下计算概率图分布的期[0066]步骤四：采用11loss作为损失函数进行训练，具体公式如(3)所示，其中Ci=(Cx,Cy)和Ci=(Cx,Cy)分别表示预测的目标中心点和真实的目标中心点标签。采用[0068]本发明实施例提供的一种对深度图匹配网络进行训练的过程如图3所示，包括如图像中的关键点(vp)及其描述子(vp)、搜索图像中的关键点(v。)及其描述子(v₀)、模板图整为256×256,即输入图像的大小为[C,H,W]=[3,256,256],C表示通道，H表示图像的高m;j=Vp(i)V₂(j),i∈Vp,(4)-(7)中的聚合函数(MV,ME)和更新函数(UV,UE)均由MLP实现，该MLP包括包括一个线性平衡正负样本的超参数，实验中被设置为50,S和M分别表示预测的分数矩阵和真实匹配矩[0082]本发明实施例提供的一种中心定位网络的训练流程图如图4所示，本发明实施例提供的一种图匹配网络的训练流程图如图5所示，为本发明实施例提供的一种基于中心点为模板帧，目标所在区域称为模板。为了避免在前向传播中多次计算模板，我们会把中心定位网络中ResNet50对模板区域提取的特征和图匹配网络中对应模板的子图都存起来。模板区域是指以模板的中心作为中心点，宽和高分别是模板的宽和高2倍的区域。同时，我们把模板在第一帧中的位置偏移作为初始的运动参数。[0084]步骤二：中心定位网络处理。这一阶段，我们首先会用上一帧跟踪到的运动参数对读取的图像作一个逆变换得到重采样图像。然后上一时刻跟踪到的位置也会在重采样图像中对应一个四边形区域。我们以该四边形的中心作为中心点，5倍的模板的宽和高作为大小对重采样图像进行裁剪、填充和缩放得到搜索区域。之后，把模板区域和搜索区域送到中心定位网络中得到预测的目标中心点位置(c,c)。最后，以(c,c)为中心裁剪出一个大小和模板一样的区域作为定位到的目标区域。[0085]步骤三：图匹配网络处理。在步骤二中我们得到了一个初始的矩形目标区域。我们用SuperPoint对其提取特征点，并用Delaunay三角剖分算法把提取的特征点建模为图。然后把其和步骤一中模板图像对应的子图合并建模为一个完整的图。构建完的图被送入图匹配网络，进行信息的传递、聚合和更新。在图的状态更新完毕后，我们使用一个线性层从交叉边上的特征估计对应节点的匹配置信度，得到分数矩阵。最后，我们使用贪心算法对分数矩阵进行处理，得到值为0或1的匹配矩阵。[0086]步骤四：由步骤三中的匹配矩阵，可以得到模板图像和目标区域中特征点的对应关系。我们使用RANSAC算法过滤掉带来较大差异的outliers,然后使用剩余的特征点匹配对估计出一个变换矩阵。使用该变换矩阵对模板的初始位置作几何变换，得到目标在当前帧中的预测位置。[0087]步骤五：丢失处理。在目标跟踪中，发生目标丢失是一个常见的情形。为了提高跟踪的准确率，我们在跟踪框架中加入了丢失检测与重定位机制。如果分数矩阵中置信度高于0.9的元素个数小于4个，我们就认为发生了目标丢失，因为计算透视变换至少需要4对匹配的特征点。当发生目标丢失时，我们会启动重定位机制。目标丢失时，上一帧的运动参数一般是不可信的。所以我们不再用上一帧的运动参数对当前帧图像作逆变换，而是直接在当前帧图像上根据上一帧跟踪到的位置确定搜索区域输入到中心定位网络中并执行后续步骤。[0088]在公开数据集POT-210上对所提出的基于中心点检测和图匹配的平面目标跟踪方法与其他先进算法进行了实验对比与分析，证明了本发明提出方法的有效性。结果表明，本发明提出的方法对目标不同的运动状态具有更好的鲁棒性，而且在处理部分遮挡、运动模糊和无约束场景上有领先优势，实现了更精准的跟踪。[0089]表1.在POT-210数据集上同其它方法的比较SIFTLISRDGrackerGIFTFER0.5360.4100.6470.7890.6890.54[0091]综上所述，本发明实施例提出了一种对目标运动状态更鲁棒的平面目标跟踪方法，提出的方法在快速运动和运动模糊场景下的表现得到较大改善。实验数据表明，本发明提出的跟踪方法在缩放、旋转、透视变换、运动模糊、部分遮挡和无约束场景下的表现均有提高，特别在部分遮挡、运动模糊和无约束场景下获得了较大收益。[0092]本发明将平面目标跟踪任务分解为两个步骤，即先预测跟踪对象粗粒度的初始目[0093]本发明提出的中心定位网络可以在跟踪目标发生较大位置偏移的情况下首先定位到目标的初始位置，这可以在增加很少计算量的情况下，有效地降低模型的搜索空间，减少目标丢失情况的发生，比直接估计目标的最终位置更具有稳健性。本发明提出的图匹配网络将问题表示建模为图，由于图结构在连续帧中保持一定的结构不变性，提高了跟踪的稳定性。总的来说，本发明提出的两阶段跟踪策略通过预定位和图匹配技术实现了对目标不同运动状态更鲁棒的跟踪效果，尤其在大尺度运动和无约束场景下获得了更佳的表现。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。[0094]通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存