基于深度学习的目标跟踪算法研究

基于深度学习的目标跟踪算法研究

1基于深度学习的跟踪算法随着人工智能的发展，基于深度学习的目标跟踪已成为计算机视觉领域最活跃的研究主题之一。由于深度学习具有优秀的特征提取与表达能力，基于深度学习的跟踪算法在跟踪精度与速度上都有较好的表现，在目标跟踪领域逐渐成为主流算法之一。Bertinetto孪生网络的相似性学习方式和效率很大程度上会影响跟踪性能，受此启发，本文基于SiamRPN的网络结构提出一种多尺度相似性学习的端到端跟踪网络算法，对深度互相关这一相似性学习方式做多尺度改进，在不大幅增加算法复杂度的情况下以获得较高的跟踪精度，经实验对比证明该算法的跟踪性能有较大的提升。2siamrpn网络相似性学习多尺度优化SiamRPN(SiameseRegionProposalNetwork）算法是SiamRPN引入了目标检测中anchor的概念，通过训练分类分支和回归分支进行区域建议，避免了逐尺度逐位置判断的费时步骤，而是将问题转化为将预选框通过回归参数进行调整，提升了算法的跟踪精度和速度。为优化SiamRPN的相关度计算，SiamRPN++提出了深度互相关，提升了其相似性学习效率，从而使得跟踪性能进一步增强。但是在其网络相似性学习的尺度改进方面上还有所欠缺。而为了进一步加强目标特征的相似性学习的尺度多样性，本文基于SiamRPN的基本网络框架提出了多尺度互相关（Multi-ScaleCrossCorrelation,MS-XCorr）模块，主要在深度互相关操作基础上进行多尺度的改进，进一步提升其跟踪性能。3多尺度模仿研究网络3.1x网络特征图在2015年，Szegedy其中，X为输入特征图，Y是网络的最终输出特征图，f代指inception网络层，X这些不同尺寸的卷积核可以提供不同大小的感受野从而提取到多种尺度的图像特征，丰富了其特征多样性。3.2输出特征图HuSqueeze操作得到各个通道的全局描述之后，再进行Excitation操作F其中，W那么其最终输出特征图U′是由学习到的通道权重s与U进行F3.3多特征图自适应加权融合模块结合inception多尺度卷积网络的结构，本文提出一种多尺度互相关（Multi-ScaleCrossCorrelation,MS-XCorr）模块，在深度互相关计算的基础上做多尺度的改进，其网络结构如图3所示。该模块主要分为上下两个对称的网络分支，当特征图输入时，两特征图沿着上下的Inception网络模块（InceptionBlock）同时进行多尺度的卷积以及池化操作，分别得到多个尺寸的特征图，其中卷积核尺寸分别为1×1、3×3，池化为5×5的最大池化。上下支路得到的特征图一一对应进行深度相关，得到尺寸相同的响应图，最后将这些响应图通过SENet模块（SENetblock）进行自适应加权融合，得到模块的最终输出响应图。这里由于上下分支的特殊对称结构，不需要特殊的padding技巧就可以保证最后的响应图尺寸相同，同时也避免了padding对算法的平移不变性的影响。模块的具体计算过程见式（5）至式（7):在式（5）中，X3.4多尺度互相关改进本文基于SiamRPN的基本网络框架，结合多尺度互相关模块提出了一种多尺度相似性学习的目标跟踪算法。算法整体网络结构如图4所示。算法整体框架与SiamRPN大致相同，使用孪生网络作为主干网络提取特征，后接RPN网络的分类分支与回归分支。而不同之处主要是对分类分支和回归分支中的相关操作进行多尺度的互相关改进，都替换成多尺度互相关模块。这样相对于原SiamRPN算法中直接进行相关，多尺度的相似性学习充分结合了多尺度，多通道的特征，优化了跟踪算法在对模板帧的相似性学习，使得跟踪器会有更强的泛化能力与容错率，从而具有更好的性能表现。4比较实验4.1多尺度互相关网络改进算法本文实验的数据集和平台环境如下：训练数据集为ILSVRC本文在该环境下以深度互相关（DW-XCorr）为相关模块的SiamRPN为基线，将多尺度互相关（MS-XCorr）的SiamRPN作为改进算法，其中分别选用了1×1卷积和3×3卷积两支路的双尺度互相关，三支路的三尺度互相关两种尺度数的改进网络版本，同时进行训练。其中，上述基线、双尺度、三尺度三个网络模型只有相关模块不同，其主干网络选用的是VGGNet4.2多尺度改进网络测试对比实验目的是验证改进算法相对未改进前的性能提升效果以及最佳尺度数的选取，即验证MS-XCorr模块相对于DW-XCorr模块对SiamRPN跟踪网络算法的最佳改进效果。那么本文将基线与改进后双尺度与三尺度的网络在同一训练集下使用相同的参数进行训练，训练完成后，分别测试出最佳权重并进行各跟踪指标的测试。其中本文测试指标依赖交并比（IoU）以及中心像素点误差（PixelError）两个基本指标建立，具体计算如式（8）和式（9）。其中，式（8）中A测试对比结果如表1所示，其中MS-XCorr-2与MS-XCorr-3分别表示双尺度与三尺度改进网络。由表1可知，多尺度改进后的网络相比改进前在成功率，精度，平均精度，稳定性上均有提升。其中双尺度的改进幅度优于三尺度，其成功率提升了4.3%，精度提升了4.4%，平均精度提升了4.0%，但是由于网络复杂度的增加，帧率有所下降。而三尺度改进网络由于其5×5的池化分支尺度较大对精度产生了影响，最终导致其整体改进效果不如双尺度。同时，本文针对光照变化，姿态变化，遮挡等具体跟踪场景，以及针对多类目标，进行改进前算法与双尺度改进后算法的对照实验如图5所示，左侧是改进前网络测试情况，右侧是双尺度改进后的测试情况。从图5可以得知，由于改进后算法更强的相似性学习能力，对于相似目标，遮挡，光照变化，姿态变化等较复杂的情况下改进后的算法跟踪的精度和稳定性都有明显的提升效果，其抗干扰，抗遮挡能力有明显提升。5多尺度互相关模块本文为实现更好的端到端网络的跟踪效果，分析了SiamRPN算法的原理与网络结构，以网络中相似性学习尺度单一的问题为切入点，并结合inception网络的多尺度思想以及借鉴了SENet网络的通道自适应加权的机制，在深度互相关的基础上对相似性学习进行了多尺度改进，提出了多尺度互相关模块。而后设计了对比试验，在同一训练数据集下对多尺度改进前的网络以及改进后的两种不同尺度数的网络分别进行训练，