【《视频目标跟踪技术研究的国内外文献综述》4000字】

-PAGE53-视频目标跟踪技术研究的国内外文献综述视频目标跟踪技术发展至今已经有20多年的研究历史，在该领域目前大家比较公认的将目标跟踪算法分为两大类：生成式模型方法和判别式模型方法。1.1基于生成式模型的跟踪算法基于生成模型方法的目标跟踪算法重点关注的是数据是如何生成的。生成式模型的基本框架如图1-1所示，首先，我们通过初始帧中给定的目标样本去学习一个能够对目标进行表示的目标生成模型；其次，在后续的视频帧中对目标进行全局搜索，将搜索到的信号进行分类；最后，将得到的分类信号和目标的生成模型进行相似性匹配，匹配度最大的信号作为当前帧的目标位置[18]。比如在当前帧中学习到目标的外观表示是90%为红色，10%为蓝色，那么在后续帧中，跟踪算法在整幅图像上进行搜索时，就会以最符合这个比例的图像块区域作为预测的目标位置。常用的几种跟踪算法有归一化互相关匹配目标跟踪算法[14]，KLT光流法[15]，卡尔曼滤波[16]，均值移位法[17]等。图1-1生成式模型的框架Fig.1-1Theframeworkofthegenerativemodel1998年，Black等人[19]描述了一种使用基于视图表示的跟踪刚体和关节对象的方法，作者将标准特征空间技术的最小二乘图像重建问题重新表述为鲁棒估计问题，利用参数化光流估计技术来解决目标视图和特征空间与图像之间的仿射变换。均值移位算法是一种有效的二维图像跟踪方法，2003年，Comaniciu等人[20]将基于差分尺度空间滤波器局部极大值的特征尺度选择理论应用于均值漂移跟踪的核尺度选择问题，提出了meanshift跟踪算法，作者采用核函数直方图模型通过均值移位的方式对目标进行快速的定位，首先得到关于目标样本和候选样本的模型描述，然后计算两个模板的相似性，选择相似函数最大的候选样本并得到关于目标样本的均值移位向量。算法对边缘遮挡、目标旋转、变形和背景运动不敏感，解决了非刚性目标的跟踪问题。2008年，Ross等人[21]提出了一种新的跟踪方法，该方法对低维子空间的表示采用增量学习法来进行，可以更好地处理目标跟踪过程中的外观变化问题，该算法的模型更新有两个重要作用：一是对跟踪过程中的样本均值进行及时正确的更新，二是使得对过去观测的遗忘因子有较少的建模能力，这两个功能都可显着地改善整体跟踪性能。2011年，Li等人[22]通过利用压缩感测的信号恢复能力，提出了实时压缩感测跟踪（RTCST），采用降维和正交匹配追踪算法来降低网络深度，加速跟踪过程。生成方法框架具有实时性好、调整参数少的优点，但其建模复杂度限制了其进一步的发展。1.2基于判别式模型的跟踪算法基于判别式模型的视频目标跟踪主要思想是对图像中的目标和背景进行区分。不考虑样本的生成模型，直接研究预测模型。在计算机视觉中，这种方法通常采用图像特征与机器学习相结合的思想。在提取目标特征后，利用机器学习方法训练分类器，实现目标与背景的区分，性能更加鲁棒，逐渐占据了研究者们的视野。判别法不关心数据是如何产生的，只关心信号之间的差异，将跟踪问题看作一个二值分类问题，然后简单地按差异对给定信号进行分类。一般来说，寻找目标和背景是寻找决策的边界。将跟踪视为逐帧检测问题，并从第一帧中手动选择目标帧。图1-2判别式模型的框架Fig.1-2Theframeworkofthedisciminativemodel随着相关滤波和深度学习技术的发展，基于检测结构跟踪的判别算法成为主流。其优点在于，它们的速度、精度和鲁棒性都完全超过了生成法。因此下面主要从相关滤波、深度学习两个方面对基于判别式的目标跟踪算法研究现状进行介绍。（1）基于相关滤波的视频目标跟踪算法自从ASEF和MOSSE的出现，基于相关滤波器的跟踪器（CFT）在接下来的几年里引起了视觉跟踪界的极大关注。MOSSE[24]只使用单通道灰度特征，显示了615FPS的高速率，显示了相关滤波的优势，然后CSK[25]扩展了基于MOSSE的填充循环矩阵。在Galoogahi等人[26]发表了利用多通道特性学习的MCCF之后，基于CSK改进的多通道特性版本核相关滤波器--KCF[27]，其精度和速度在当时OTB50中表现最佳。CN[28]在CSK上扩展了基于CSK的颜色特征。随着特征通道的增加，从MOSSE（615FPS）到CSK（292FPS）、KCF（172FPS）、CN（152FPS），跟踪器的速度逐渐降低，但效果越来越好，而且始终可以保持在实时高速水平。由于滤波器的大小是固定的，这使得它不可能对目标的尺度变化做出良好的响应。因此许多研究者都在致力于改进相关的滤波框架。Danelljan等人提出了仅具有HOG特征的DSST[29]，采用基础的DCF框架作为对目标进行位置检测，跟踪过程中还加入了尺度滤波器对目标的尺度变化进行调整。然而，DSST的回归公式是一个局部最优问题，因为位置的计算和尺度的计算是在不同模块中进行的，所以其实时性有所下降（25FPS）。为了克服这个问题，Danelljan等人又提出了一种基于PCA降维的FDSST[30]加速算法，将33个尺度降到17个尺度，提高了运行速度（54FPS）。相关滤波的模板匹配方法对目标的快速变形和快速运动跟踪效果差，颜色特征不利于光照变化和背景相似性，单独使用时性能不理想。Bertineto等人[31]提出了Staple，结合了基于模板的特征方法DSST和基于颜色直方图特征的方法DAT（15FPS）。他们发现，该跟踪器的精度和速度，在结合了HOG特征对光照变化的强鲁棒性和CN特征对变形的不敏感性等优点之后，均高于单双跟踪器。边界效应一直是视觉跟踪中的难点之一，由于运动速度快，真实的样本会从余弦窗口逃逸出来，因此背景会被训练到分类器中，导致样本被污染和跟踪失败。为了解决这个问题，Danelljan等人[32]提出了SRDCF，学习空间正则化项来惩罚边界区域中的滤波系数，抑制边界效应。Hu等人[33]提出了一种基于流形正则化的相关滤波器MRCT。利用增广样本和无监督学习训练分类器建立回归模型，并与BACF相似，将从目标区域裁剪的一个正样本和非目标区域裁剪的多个负样本生成增广样本，以减少边界效应。有学者提出将卷积特征和相关滤波相结合来提高跟踪精度[34]，他们提出了一个学习连续卷积算子跟踪器（C-COT）的理论框架，通过三次样条插值来融合不同卷积层的特征图。它的跟踪效果很好，但计算量大，速度只有0.3FPS。ECO[35]是C-COT的加速版本。引入了因子卷积算子、小型生成模型和区间更新策略，提高了跟踪速度和鲁棒性。ECO的GPU版本以8FPS的速度运行，ECO-HC可以在CPU上以60FPS的速度运行。基于相关滤波的视频目标跟踪算法由于引入了循环矩阵和快速傅立叶变换（FFT）、离散傅立叶变换（DFT）和逆FFT（IFFT）的应用，极大地提高了视觉跟踪的速度。同时采用更好的学习方法，提取更强大的特征，但跟踪精度却还是一直处于中低水平，不能适应大部分具有挑战属性的视频序列。（2）基于深度学习的视频目标跟踪算法在视觉跟踪领域，基于深度学习的跟踪器（CNTs）大多属于判别方法。自2015年以来，从国际顶级会议（ICCV、CVPR、ECCV）可以看出，越来越多的基于DL的跟踪器取得了令人惊讶的性能。CNN-SVM[36]是韩国POSTECH团队提出的最早的基于DL的跟踪器之一，它将卷积神经网络（CNN）和支持向量机（SVM）分类器相结合。最后，以目标特定显著性图为观测对象，采用序贯贝叶斯滤波进行跟踪。此后，大量基于CNN的跟踪器不断涌现。MDNet[37]作为CNN-SVM的改进，通过深度学习提取运动特征，并在跟踪过程中加入运动特征。它向人们展示了CNN在视觉跟踪领域的潜力，但该跟踪器只适合在台式机或服务器上运行，不适合在ARM（处理器）上运行。为了提高基于DL的方法的速度，Held等[38]提出了第一个基于DL的跟踪器GOTURN可以以100FPS的速度运行。为了提高速度，该算法利用了大量的离线训练数据，且避免了在线微调，因此不采用基于回归的方法对提取的图像块进行分类，而是对目标的边界框（bounding-box）进行回归。然而，这些措施可以获得较高的FPS，但代价是较低的跟踪精度。Bertineto等人[39]提出使用孪生网络结构的SiamFC。它是第一个用VID数据集训练样本的跟踪器。它的性能优于GOTURN和SRDCF，在GPU（SiamFC58FPS和SiamFC-3s86fps）上运行速度非常快。在VOT2016上，基于ResNet的SiamFC-R和基于AlexNet的SiamFC-A表现优异，是VOT2017上速度测试的赢家。SiamFC因其优异的性能而备受关注。可以说，这为基于DL的视觉跟踪开辟了另一个方向，而VID数据集也因其非常适合预训练而成为基于DL的跟踪器的标准训练数据库。Fan等人[41]提出了PTAV，采用SiamFC结合f-DSST、多线程技术，借鉴VSLAM中并行跟踪和映射的经验，使用跟踪器T和验证器V在两个独立的线程上并行工作。通过验证器对跟踪器进行校正，从一个新的角度对该问题进行了研究，取得了良好的实验结果。Tao等人[42]提出了基于内容的图像检索（CBIR）的SINT，它只使用从第一帧开始的原始目标观察。通过离线训练得到匹配函数，并根据匹配函数利用孪生网络对与初始帧标定的目标最匹配的图像块进行跟踪。实验中，SINT加入了光流跟踪模块（SINT+），效果得到了改善，但两者都不能实时运行。基于深度学习的视频目标跟踪算法需要对网络进行离线训练，训练时的数据集越多网络能够学习到的模型就越复杂，越能应对各种复杂的挑战场景，但在线跟踪时由于更新问题跟踪速度一直较慢。即使是在GPU加速下大部分算法也无法达到实时性要求，且代价高昂。参考文献黄凯奇,任伟强,谭铁牛.图像物体分类与检测算法综述[J].计算机学报,2014(06):385-392.高韬.智能交通监控中运动目标检测与跟踪算法研究[D].天津：天津大学，2010:45-109.管皓,薛向阳,安志勇.深度学习在视频目标跟踪中的应用进展与展望.自动化学报,2016,42(6):834-847.陈远祥.视频图像运动目标跟踪技术的研究[D].江苏大学,2010.余铎,王耀南,等.基于视觉的移动机器人目标跟踪方法[J].仪器仪表学报,2019,40(01):227-235.朱玉刚.融合深度学习的无人驾驶多目标检测算法[J].软件导刊,2019,18(9):42-46.

WangN,ShiJ,YeungDY,etal.UnderstandingandDiagnosingVisualTrackingSystems[C]//2015IEEEInternationalConferenceonComputerVision(ICCV).IEEE,2015.尹宏鹏,陈波,柴毅,等.基于视觉的目标检测与跟踪综述[J].自动化学报,2016,42(10):1466-1489.W.Zhu,Y.Liu,B.L.Bian,Z.Zhang,SurveyonObjectTrackingMethodBaseonGenerativeModel,MICROPROCESSORS,2017(38):41-47.H.Yang,L.Shao,F.Zheng,L.Wang,Z.Song,Recentadvancesandtrendsinvisualtracking:Areview,Neurocomputing,74(2011)3823-3831.SulfanBagusSetyawan,DjokoPurwanto,RonnyMardiyanto.VisualobjecttrackingusingimprovedMeanShiftalgorithm[C].InternationalConferenceonInformationTechnologySystemsandInnovation,2015:1-7.潘志安[1],朱三元[2].移动摄像视频的多运动目标实时跟踪算法[J].控制工程,2017(4):836-843.杨亚男,付春玲.视频目标跟踪算法综述[J].科技资讯,2018(2):14-15]BriechleK,HanebeckUD.Templatematchingusingfastnormalizedcrosscorrelation[C].Aerospace/DefenseSensing,Simulation,andControls.InternationalSocietyforOpticsandPhotonics,2001:95-102.BakerS,MatthewsI.Lucas-Kanade20YearOn:AUnifyingFramework[J].InternationalJournalofComputerVision,2004,56(3):221-255.NguyenHT,SmeuldersAWM.Fastoccludedobjecttrackingbyarobustappearancefilter[J].PatternAnalysisandMachineIntelligence,IEEETransactionson,2004,26(8):1099-1104.ComaniciuD,RameshV,MeerP.Real-timetrackingofnon-rigidobjectsusingmeanshift[C].ComputerVisionandPatternRecognition,2000:142-149MinWP,JungSK.TLDbasedvehicletrackingsystemforAR-HUDusingHOGandonlineSVMinEHMI[C].IEEEInternationalConferenceonConsumerElect