（电路与系统专业论文）具有适应遮挡处理与模板漂移抑制的视频目标跟踪算法.pdf

摘要 摘要 视频目标跟踪是计算机视觉领域的研究热点之一，它在人机交互、自动监视、视频检 索、交通监测以及车辆导航中有着广泛的应用。实现鲁棒精确的视频目标跟踪又是一个研 究难点，因为首先，目标的外观在不断变化；其次，在跟踪过程中经常会发牛模板漂移现 象，即模板逐渐被背景物体占据；再次，目标在跟踪过程中会被遮挡，跟踪算法很难判断 目标外观的改变是目标本身还是遮挡物造成的；另外，目标被部分遮挡时，跟踪精度通常 会大幅下降；最后，在目标被完全遮挡的情况下，很难准确判断目标重现的时刻。 研究者针对上述难题已经提出了许多算法，但是这些算法性能都不够理想。本论文提 出的目标跟踪算法较好地解决了上述问题。本文算法采用带掩蔽的模板匹配来定位目标， 以屏蔽遮挡物的干扰。由于其中的模板掩蔽是根据目标的遮挡情况生成的，因而有效判断 目标的遮挡情况是关键。本文算法融合了时空上下文、目标外观模型和运动矢量所提供的 目标遮挡信息，显著增加了辨别遮挡区域的鲁棒性。由于根据前一帧的遮挡情况得到的模 板掩蔽可能在当前帧中不再准确，因而带掩蔽模板匹配的结果经常会有误差。本文算法利 用目标未被遮挡的区域来校正目标定位结果。在得到目标的准确位置后，需要更新模板。 更新模板的关键是要尽量抑制模板漂移。本文算法在k a i m a n 外观滤波器中显式建模漂移 噪声，给予较易产牛模板漂移的图像区域较低的更新强度，从而在更新模板和抑制漂移之 间取得了最优的平衡，提高了跟踪精度。对于全遮挡，本文算法利用干扰物和重现的目标 具有不同的模板匹配误差和前向匹配误差的特性，鲁棒地判断全遮挡的结束时刻。本文算 法还对目标坐标变换参数的变化率进行k a l m a n 滤波，且滤波器的模型噪卢功率在线估计， 以有效预测目标在下一帧中的几何状态并据此设置初始搜索点，迸一步提高鲁棒性并降低 计算量。大量基于实景测试视频的定性实验和基于合成测试视频的定量实验表明，本论文 提出的算法显著提高了视频目标跟踪的鲁棒性和精确度。 关键字：视频目标跟踪、遮挡处理、模板漂移、自适应k a l m a n 滤波、模板匹配 中图分类号：t n 9 1 1 7 3 a b s t r a c t a b s t r a c t v i s u a lo b i e c tt r a c k i n gi su n d e ri n t e n s i v er e s e a r c hi nt h ef i e l do fc o m p u t e rv i s i o na n dh a sa v e r ) ，w i d er a n g eo f 印p i i c a t i o n s ，i n c l u d i n gh u m a n c o m p u t e ri n t e r a c t i o n ，a u t o - m o n i t o r i n g ，v i d e o r e t r i e v a l ，t r a f n cs u r v e i l l a n c e ，v e h i c l en a v i g a t i o n ，a n de t c r e a l i z i n gr o b u s ta n da c c u r a t ev i s u a l o b j e c tt m c k i n gi sc h a l l e n g i n g ，b e c a u s e1 ) t h et a r g e ta p p e a r a n c ek e e p sc h a n g i n g ；2 ) t e m p l a t ed r i f t f 诧q u e n t l yo c c u r si nw h i c ht h et e m p l a t ei s 豇a d u a l l yo c c u p i e db yt h eb a c k g r o u n d ；3 ) t h et a 唱e ti s o r e no c c l u d e dd u r i n gt r a c k i n g ，a n dt h et r a c k e rw o u l dh a v ead i 仃1 c u l tt i m ed e c i d i n gi ft h ec h a n g e i nt h et a 唱e ta p p e a r a n c ei sc a u s e db yt h et a r g e ti t s e l fo rb yo c c l u d e r s ；4 ) t r a c k i n gp r e c i s i o n d e g r a d e sal o tw h e nt h et a 唱e ti su n d e rp a r t i a lo c c l u s i o n s ；5 ) i ti sv e r yd i 伍c u l tt od e t e r n l i n ea t w h i c hf r a m eac o m p l e t e l yo c c l u d e dt a r g e tr e e m e 唱e s r e s e a r c h e r sh a v ep r o p o s e dm a n ya l g o r i t h m st r y i n gt os o l v et h ea f o r e m e n t i o n e dd i 伍c u l t i e s h o w e v e r ，t h ep e r f o r m a n c e so ft h o s ea i g o r i t h m sa r en o ts a t i s f a c t o r ) ，e n o u g h t h et r a c k i n g a l g o “t h mp r o p o s e di n t h i st h e s i sp r o v i d e sam u c hb e t t e rs o l u t i o n t ot h ep r o b l e m sm e n t i o n e d a b o v e i no r d e rt 0s h i e l do u to c c l u d e r s ，t h ep r o p o s e da l g o r i t h mu s e sm a s k e dt e m p l a t em a t c h i n g t ol o c a t et h et a r g e t a st h et e m p l a t em a s ki sg e n e r a t e da c c o r d i n gt ot h eo c c l u s i o ns i t u a t i o n ，i ti s c r u c i a lt oe f f e c t i v e i ya n a l y z et h eo c c l u s i o ns i t u a t i o n b yc o m b i n i n gt h ei n f o m a t i o np r o v i d e db y s p a t i o t e m p o r a lc o n t e x t ，t a 唱e t 印p e a r a n c em o d e l ，a n dm o t i o nc o n s t r a i n t st o g e t h e r ，t h ep r o p o s e d a l g o r i t h ma c h i e v e sam u c hm o r er o b u s ta n a l y s i so fo c c l u s i o ns i t u a t i o n s a st h et e m p l a t em a s k d e r i v e df r o mt h ep r e v i o u so c c l u s i o ns i t u a t i o nm i g h tb ei n c o r r e c ti nt h ec u l l r e n t 行a m e ，t h em a s k e d t e m p l a t em a t c h i n gm i g h ty i e l di n a c c u r a t e r e s u l t s t h ep r o p o s e da l g o r i t h mu t i l i z e st h e n o n - o c c i u d e dp a r to ft h et a 唱e tt 0r e c t i 匆t h ee r r o n e o u st a 唱e tl o c a t i o n a r e rt h et a r g e ti s a c c u r a t e l yl o c a t e d ，t h et e m p l a t ei su p d a t e d ，i nw h i c ht h eg o a li s t oi n h i b i tt e m p l a t ed r i rt ot h e 伊e a t e s te x t e n t b ye x p l i c i t i ym o d e i i n gt h ed r i f tn o i s ei nt h ek a l m a na p p e a r a n c en i t e r ，t h e p r o p o s e da l g o r i t h my i e l d sl o w e ru p d a t i n gr a t ef o rr e g i o n sm o r es u s c e p t i b l et ot e m p i a t ed r i ra n d h e n c es t r i k e sa no p t i m a lb a l a n c eb e t w e e nu p d a t i n gt h et e m p l a t ea n di n h i b i t i n gd r i r 7 i oh a n d l e c o m p l e t eo c c i u s i o n s ，t h ep r o p o s e da i g o r i t h me x p l o i t st h ed i 行e r e n c eb e t w e e nt h er e a p p e a r i n g t a r g e ta n d t h ef o r e g r o u n d b a c k g r o u n do u t l i e r si nt e 咖so ft h e i rt e m p l a t ea n db a c k w a r dm a t c h i n g e r r o r s ，s om a tt h ee n do fac o m p l e t eo c c l u s i o nc a nb ed e t e c t e dr o b u s t ly t bf u r t h e re n h a n c e r o b u s t n e s sa n dr e d u c ec o m p u t a t i o n ，t h ep r o p o s e da l g o r i t h ma l s oa p p l i e sk a l m a nf i l t e rt om e c h a n g i n gr a t eo ft h e c o o r d i n a t et r a n s f o r m a t i o np a r a m e t e r s ，w h e r et h ep o w e r so ft h en o i s em o d e l s i nt h e6 l t e ra r ee s t i m a t e do n l i n e ，s oa st oe f r e c t i v e l yp r e d i c tt h eg e o m e t r i cs t a t u so ft h et a r g e ti n t h en e x tf r a m ea n ds e tt h ei n i t i a ls e a r c h i n gp o i n ta c c o r d i n g l y ai a 唱en u m b e ro fq u a l i t a t i v e e x p e r i m e n t sb a s e do nr e a l - w o r l dt e s ts e q u e n c e sa n dq u a n t i t a t i v ee x p e r i m e n t sb a s e do ns y n t h e t i c t e s ts e q u e n c e ss h o wt h a tt h ep r o p o s e da l g o r i t h mc o n s i d e r a b i y p r o m o t e st h er o b u s t n e s sa n d a c c u r a c yo fv i s u a lo h i e c tt r a c k i n g i n d e xt e r m s ：o b j e c tt r a c k i n g ，o c c l u s i o nh a n d l i n g ，t e m p l a t ed r i r ，a d a p t i v ek a l m a nf i l t e r ，t e m p i a t e m a t c h i n g 2 第。章绪论 第一章绪论 1 1 视频目标跟踪的任务描述 视频目标跟踪( v i s u a l0 b j e c tt r a c k i n g ) 指的是，在由一系列图像帧组成的视频序列中， 由计算机自动确定一个给定的目标在每一帧图像中的几何状态，包括其位置、尺寸以及取 向等。 视频目标跟踪技术是计算机视觉领域的研究热点。这是因为，首先，它是实现更高层 次的视频分析任务( 例如目标运动理解) 的基础：只有先在整个视频序列中锁定目标，才 能对目标的运动状态以及外观状态的变化进行分析与理解。其次，视频目标跟踪具有非常 广泛的应用，其应用范围包括：视觉制导、人机交互、自动监视、视频检索、交通监测以 及车辆导航等等。 视频目标跟踪技术又是计算机视觉领域的研究难点。由于现实世界千变万化，被跟踪 目标的外观在跟踪过程中会受到环境光照、观察视角、观察距离以及自身形变等因素而不 断变化。同时，被跟踪目标还经常会被其它物体部分或完全遮挡，这给视频目标跟踪算法 判断目标外观变化的成因造成了很大的困难。此外，被跟踪目标周围的复杂背景会对目标 跟踪算法造成许多干扰。总之，在现实世界中实现鲁棒精确的视频目标跟踪是非常富有挑 战性的。 1 2 视频目标跟踪算法分类 广义上来说，目标跟踪可以分为点目标跟踪( p o i n t t r a c k i n g ) 【1 。2 】和面目标跟踪( k e m e l t r a c k i n g ) 【j 制。当目标相对于整个视场非常小时，例如雷达图像，通常采用点目标跟踪算 法。由于不同的点目标以及点目标与干扰物之间的差别仅仅在于位置、速度与轨迹不同， 而几乎没有外观上的区别，因而点目标跟踪算法并不从目标外观上来定位目标，而是从亮 点运动轨迹的角度着手定位目标。代表性的算法如概率数据关联【1 】等。 由于视频目标跟踪的传感器通常是摄像头，且目标相对摄像头的视角一般不是很小， 因而目标具有其独特的外观，且占有定的区域。在这种情况下，采用的是面目标跟踪算 法。在这类算法中，主要根据目标的外观及形态来区分干扰物并定位目标。面目标跟踪算 第。章绪论 法又可分为基于目标轮廓的跟踪( c o n t o u rt r a c k i n g ) 【】以及基于模板匹配( t e m p l a t e m a t c h i n g ) 的跟踪【5 - 13 1 。基于目标轮廓的跟踪算法需要在每帧图像中确定目标当前的轮廓， 也就是说，跟踪目标轮廓的整个演化过程。其中的关键在于如何正确区分某一边缘是目标 的轮廓，还是目标内部或干扰物内部的细节。这里要注意的是，基于目标轮廓的跟踪算法 不考虑目标内部的外观，因而几乎不受目标内部外观变化的影响，但同时，这类算法也丢 弃了目标内部外观所带来的丰富的有助于定位目标的信息。 模板匹配跟踪算法同时整合了目标的整体外观信息与几何信息。具体来说，目标的整 体外观信息通过目标模板来描述，目标的几何信息则通过一组啦标变换参数来表述。这组 坐标变换参数对应于图像帧中的某一个区域，该区域的图像与目标模板之间的相似程度由 某一相似度衡量函数确定。定位甘标的任务等效于如下最优化问题：找到这样一组举标变 换参数，使得其所对应的图像区域与目标模板之间的相似度最大，即 口。g ) = a r g m a xs i m l 眵仃；口) l 丁)( 1 1 ) 口 其中，厶是第胛帧图像；必乃是通过以口为参数的坐标变换痧将模板丁映射到图像帧坐 标系后所对应的图像区域；s i m 厶乃代表任何能够反映图像朋铂图像丁之间相似度的函数； ( 门) 是在第刀帧图像中最优的坐标变换参数，反映了目标在该帧图像中的几何信息。 在跟踪的一开始，通常在第一帧中划出一块图像区域作为要跟踪的目标( 可以是自动 或手动的) ，并用该图像区域初始化模板。模板匹配跟踪算法随后在每一帧中都通过( 1 1 ) 式确定该帧中目标所在的图像区域。 由于模板匹配跟踪算法充分利用了目标的整个外观信息，因而具有较高的目标定位鲁 棒性，得到了广泛的应用。本论文提出的视频目标跟踪算法即属于模板匹配跟踪算法，且 只考虑仅能得到灰度图像的情况下的视频目标跟踪。 1 3 模板匹配视频目标跟踪算法需要解决的难题以及现有解决方案 尽管模板匹配视频目标跟踪算法具有相对较高的鲁棒性，但是现实世界的复杂性和多 样性使得仅仅简单地用( 1 一1 ) 式来跟踪目标在很多情况下效果并不理想。实际上，模板匹配 视频目标跟踪算法需要解决以下难题，才能够获得鲁棒精确的跟踪性能。 4 第一章绪论 1 3 1 应对目标外观不断发生改变的同时有效抑制模板漂移 在实际的跟踪过程中，目标的外观会由于光照、取向、自身形变等因素而不断发生变 化。如果一直使用初始化时的模板，则该模板越来越不能代表当前的目标，最终会导致跟 踪精度大幅下降甚至丢失目标。为了解决这个问题，必须在跟踪的过程中不断更新模板。 更新模板尽管能够使得跟踪算法始终使用最新的目标外观信息来定位目标，但是它同 时带来了一个很大的副作用：模板漂移( t e m p l a t ed r i r ) 【5 ，l 引。所谓模板漂移，是指在跟踪 过程中，目标逐渐移出模板，而背景物体则逐渐移入模板，最终导致目标的丢失。 许多文献都对模板漂移现象的原因作了初步与定性的解释4 ，15 1 。模板漂移的根本原因 是模板匹配存在搜索精度有限所导致的几何误差，这些误差在每次模板更新时被引入到模 板中，转化成模板的外观误差。尽管这些误差很小，但是会逐渐累积起来，造成目标相对 模板的不断漂移。模板更新得越频繁，模板漂移现象就越严重。这样就导致了一对矛盾： 为了使模板能够尽可能及时准确地反映当前目标的外观，必须频繁更新模板；另一方面， 频繁更新模板又会造成模板外观被漂移现象所破坏。为了解决这对矛盾，必须设计一个能 够抑制模板漂移的模板更新算法。 最简单的模板更新算法是，每帧或每隔若干帧把匹配到的图像区域作为新的模板1 2 0 2 。 然而，这样做会导致很严重的模板漂移现象3 1 。如前所述，模板漂移现象是有限搜索精 度下进行模板更新的必然结果。 为了在更新模板的同时尽量减少模板漂移，各种模板更新算法被提了出来。一些方法 用初始模板来校正模板匹配的结果【5 l o ，13 1 。这些方法在目标外观在整个跟踪阶段变化很小时 可以较好地避免模板漂移，但是在大多数情况下，目标外观经过一段时间后都会发生较为 显著的变化，这时，初始模板对于匹配校正就不再有效，且反而会导致跟踪效果变差。 文献【7 】用e m ( e x p e c t a t i o n m a x i m i z a t i o n ) 算法f 2 2 】学习得到“稳定分量( s t a b i e c o m p o n e n t ) 来保持跟踪的稳定性并减少模板漂移。但是，该算法没有显式考虑导致模板 漂移的外观误差。由于此误差并不一定满足均匀分布，因而会被该算法中用来描述外观转 移的“转移分量( 、v a n d e r i n gc o m p o n e n t ) 学习得到，从而导致该算法抑制模板漂移的性能 下降。 文献 1 5 】在比较了不依赖于初始模板的各种模板更新策略后，得出结论认为用k a l m a n 模板更新滤波器对模板进行滤波的策略对于漂移与噪声具有最强的鲁棒性。文献 2 3 】进一 第章绪论 步研究了如何选取模板更新滤波器的k a l m a n 系数。但是，在文献【1 5 】与【2 3 】中，k a l m a n 系数一经选定就在整个跟踪过程中保持不变，这使得模板更新滤波器无法根据目标外观变 化的剧烈程度以及可能的模板漂移程度自适应地调整模板更新的强度。 在文献【6 】与【1 0 】中，通过估计k a l m a n 模板更新滤波器的两个模型噪声之，滤波器的 k a l m a n 增益能够根据目标外观变化的情况自动调整。但是，文献 6 】与 1 0 】要么假定状态转 移噪声功率恒定，要么假定观测噪声功率恒定，而这在实际情况中都较为罕见。因此，文 献【6 】与【l o 】中的方法在实景视频流中仍然不能很好地减少模板漂移。为了更好地抑制模板 漂移，在设计k a l m a n 外观滤波器时必须显式建模模板漂移的影响。 1 3 2 有效预测目标在下一帧的几何状态 首先，无论对于穷尽式搜索还是各种快速搜索算法，跟踪稳定性在很大程度上依赖于 是否能够有效预测目标在下一帧的几何状态，并据此设定坐标变换空间中的初始搜索点。 当目标经过复杂背景时，背景物体会造成相似度函数在举标变换参数空间中的局部极值点， 甚至替代目标而成为全局极值点。局部极值点对于许多快速搜索算法 1 1 ，幡”1 来说，是导致 这些算法收敛到错误坐标变换参数上的原因。而错误的全局极值点则会使得穷尽式搜索都 被干扰。然而，如果初始搜索点在目标附近，则对于快速搜索算法来说可以最大程度地避 开局部极值点的干扰，因为在目标所在的真实点附近，相似度函数往往具有单峰性；对于 穷尽式搜索来说，也可以通过缩小搜索范围而尽量避开错误全局极值点的干扰，因为在真 实目标点的一个较小邻域内的全局极值点往往就是目标本身。其次，如果能够实现有效的 初始搜索点预测，则计算量也可以大幅下降。对于快速搜索算法来说，其收敛所需要的次 数会减少；对于穷尽式搜索来说，其搜索范围可以减小。现在的问题时，目标加速度的随 意性以及目标定位过程中的观测噪声，给有效预测初始搜索点造成了许多困难。 1 3 3 有效地检测出遮挡物 对于普适性视频目标跟踪算法来讲，除了目标的初始外观之外，它没有任何其它关于 目标的先验知识。此外，摄像头的运动是随意的，也就是说，背景是可以任意变化的。在 这种情况下，要有效地检测出遮挡物具有很大的难度。当遮挡物的某些部分与被遮挡目标 相应区域的灰度较为相近时，这部分遮挡物很容易会被跟踪算法忽略。而目标自身的外观 第一一章绪论 变化使得探测遮挡物更加困难，因为跟踪算法很难判断目标外观的变化究竟是其自身变化 造成的还是遮挡物造成的。由于对待这两种情况的措施截然相反，判断失误会导致严重后 果。 现有文献中已有很多算法试图辨别某一图像区域属于目标还是属于遮挡物。在文献【2 4 】 和 2 5 】中，首先通过背景残差确定前景物体的位置，并为每个前景物体分配轨迹序号。如 果两条不同的轨迹重合了，则认为发生了遮挡。尽管这种方法较为可靠，但是该方法仅仅 适用于固定的摄像头与已知的背景。此外，该方法还必须为所有的前景物体都建立外观模 型。 文献【7 】用三个分布的混合来建模观测到的目标外观。其中用来描述遮挡物的分量被假 定为满足均匀分布。另一种方法通过检测像素的观测值偏离估计值的大小来判断该像素是 否被遮挡【6 9 ，10 1 。当遮挡物的统计特性恰好符合以上这些算法的假设时，它们能够取得较好 的效果。然而，在大多数情况下，这些方法的假设条件并不能满足，因为在实景视频流跟 踪中，遮挡持续时间经常较长，因而并不满足均匀分布；此外，遮挡物可能在灰度值上与 目标较为接近，因而即使某像素被遮挡，其观测值仍然十分接近估计值。另外，上述方法 的遮挡判断是基于单帧单个像素的，没有利用上下文信息。 上下文信息在文献【1 9 】和【1 2 】中得到了利用。文献【1 9 】在定位目标前，首先将当前候选 图像区域中的图像小块与模板进行比较，以确定这些小块是否被遮挡。文献【1 2 】则通过比 较未能被很好地运动补偿的图像块与整体目标之间的运动特性来分析遮挡情况。由于这些 方法利用了时间或空间上下文的信息，因而它们对于探测遮挡物比前述方法更为有效。但 是，由于它们或者仅用模板，或者仅用前一帧信息，这些方法仍然经常会产生错误累积与 传递。 对于基于粒子滤波的视频目标跟踪算法【9 ，其多假设( m u l t i p i eh y p o t h e s e s ) 可能使得 一些处于目标位置处的粒子在遮挡结束后重新获得较大的权值，但是，重新锁定目标取决 于先前能够有效地探测出遮挡物并保护好模板。粒了滤波本身并不能做到这一点，因为它 不具有鉴别目标与遮挡物的能力【2 6 2 7 1 。为了应对遮挡，仍然需要加入遮挡探测机制【9 1 。问 题是如何设计一个鲁棒的遮挡探测机制。 1 3 4 避免模板被遮挡物破坏 第一章绪论 遮挡物的存在使得更新模板的时候必须格外小心，避免遮挡物被“更新”进模板中而 破坏模板。一旦模板被遮挡物破坏( 哪怕是部分破坏) ，跟踪失败的可能性非常大。对于短 时遮挡，模板更新滤波器( 是一种低通滤波器) 可以过滤遮挡物的影响，但是，如果遮挡 时间稍长，则遮挡物还是会“渗透”进模板之中。为了杜绝遮挡物的渗透，必须使用模板 掩蔽( t e m p l a t em a s k ) 机制，在模板更新中屏蔽掉被遮挡的部分【6 ，9 l 叭。但是，生成一个正 确的模板掩蔽取决于有效地检测出遮挡物。如前所述，这并非易事。 1 3 5 在发生部分遮挡时仍保持精确跟踪 当目标被部分遮挡时，如果用整个模板去匹配，则遮挡物的存在会导致匹配精度的显 著下降。为了解决这个问题，必须用掩蔽后的模板进行匹配( m a s k e dt e m p l a t em a t c h i n g ) f 1 9 】。 然而，还有一个关键的问题没有解决：由于目标的遮挡情况在不断变化，根据上一帧中目 标的遮挡情况得到的模板掩蔽在许多情况下并不适用于当前帧的目标遮挡情况，因而用该 模板掩蔽进行模板匹配会造成目标定位的误差，尤其当目标的遮挡比较严重或者遮挡的变 换情况比较显著时，这个误差会很大，甚至造成跟踪失败。 要在未知当前帧目标遮挡情况下实现精确目标定位实际上需要解决一个互为前提的悖 论：精确地定位目标需要首先知道当前帧的目标遮挡情况，而当前帧的目标遮挡情况只有 在得到了目标的精确位置后才能够通过与目标模板进行比较来确定。用灰度直方图来描述 目标可以是一个解决方案【8 1 ，因为这种方案搜索目标时没有对目标空间结构的限制。但是， 只有当日标未被遮挡部分的灰度直方图与整个目标的灰度直方图相似的情况下，这种方法 才有效。而在实际跟踪中，这个条件经常不满足。所以，必须设计一个显示解决这个问题 的算法。 1 3 6 有效应对全遮挡 在目标跟踪过程中，目标有可能被其它物体完全遮挡一段不确定的时间。在这种情况 下，如何在目标再次出现时有效地重新捕获它是关键。如果使用一个相似度阈值来判断目 标的重现，则该阈值可能无法确定。这是因为，一方面，由于目标再次出现时，其外观可 能已经发生了一些变化，因而阈值不能太小，否则无法重新捕获目标；另一方面，由于干 扰物的外观可能与目标较为相近，因而阈值又不能太大，否则会把干扰物误认为重新出现 第一章绪论 的目标。即使该阈值可以确定，但是对于不同的情况，最优的阈值变动幅度非常大，不可 能为所有情况都设定一个统一的阈值。所以，如何鲁棒地判断全遮挡的结束一直是一个难 题。 文献 6 】和文献 1 0 】规避了这个问题。它们作了全遮挡最长持续帧数的假设，并在这个 假设的全遮挡时间段内选出匹配最成功的一帧作为目标重新出现的时刻。但是，这个方法 的不足之处在于需要人为假设全遮挡的最长持续帧数。 1 4 本文的工作和创新点 本文提出的视频目标跟踪算法具有自适应遮挡处理与模板漂移抑制的能力，能够很好 地解决前面提到的模板匹配视频目标跟踪算法需要解决的难题。具体来说，本文提出的算 法有五个主要组成部分，包括： 1 ) 抑制漂移的带掩蔽k a l m a n 外观滤波算法( d r i r i n h i b i t i v em a s k e dk a l m a na p p e a r a n c e f i i t e r ，d i m k a f ) 。该算法通过计算模板像素真实值的概率分布定量地估计出漂移噪声功 率。然后将漂移噪声功率加上摄像头噪声功率后，实现在线估计观测噪声的功率。状态转 移噪声的功率也可以通过新息功率在线计算得到。这样，本算法的k a i m a n 增益系数始终 能够在更新模板与减少漂移之间寻求最优平衡点，而且，这个平衡点在不同的模板位置与 跟踪时刻上都能自适应地调整。基于实景视频的定性实验以及基于合成视频的定量实验结 果均表明，本算法十分有效地抑制了模板漂移现象，提高了有限搜索精度下的跟踪精确度。 2 ) 自适应初始搜索点预测算法( a d a p t i v ep r e d i c t i o no fi n i t i a is e a r c h i n gp o i n t ，a p i s p ) 。 该算法用k a l m a n 滤波器对坐标变换参数的变化率进行跟踪，而非直接对举标变换参数进 行滤波。这样做更有利于对华标变换参数进行预测。然后，该算法将坐标变换参数在下一 帧的预测值作为初始搜索点。由于该算法在线有效估计模型噪声功率，因而它能够实时针 对不同的目标运动以及搜索精度自适应地调整。实验结果表明该算法能够非常准确地预测 坐标变换参数，大大降低了被复杂背景干扰的风险，且显著降低了计算量。 3 ) 内容自适应渐进式遮挡分析算法( c o n t e n t a d a p t i v ep r o 伊e s s i v eo c c l u s i o na n a l y s i s ， c a p o a ) 。该算法利用时空上下文信息渐进地分析感兴趣区域的遮挡情况，并结合参考目 标与运动矢量进一步提高分析结果的可靠性。遮挡判断所用到的阈值根据模板各处的估计 误差功率以及可能的遮挡比例自适应调整，因而该算法的遮挡分析是内容自适应的。大量 9 第一章绪论 基于实景视频的实验结果表明，该算法区分遮挡物与目标的能力显著高于现有算法。 4 ) 可变掩蔽模板匹配算法( v a r i a n t m a s kt e m p i a t em a t c h i n g ，v m t m ) 。该算法与内容 自适应渐进式遮挡分析算法相配合，在首次非精确的匹配结果的基础上采用可变掩蔽模板 匹配算法进行校正，校正过程中的模板掩蔽动态地随着候选目标位置的变化而改变，使得 目标未被遮挡的部分始终能够有效引导匹配算法找到精确的目标位置。定性与定量实验结 果均证实了该算法很好地解决了在发生部分遮挡时仍保持精确跟踪的难题。 5 ) 局部最优匹配鉴定算法( l o c a lb e s tm a t c ha u t h e n t i c a t i o n ，l b m a ) 。该算法在目标 被完全遮挡后的每隔几帧即选出一个最佳匹配作为可能的重新出现的目标。然后利用遮挡 物与刚重新出现的目标在作后向匹配时的不同特性检验该匹配是否真的是重新出现的目 标。如果是，则将该匹配所在的帧确定为目标重新出现的时刻，该最佳匹配的位置即为目 标重新出现的位置。大量实景视频的实验结果证实了该算法的有效性。 1 5 本文的内容组织 在本文接下来的部分中，第二章给出本文提出的具有自适应遮挡处理与模板漂移抑制 的视频目标跟踪算法的总体架构。第三章介绍如何利用抑制漂移的带掩蔽k a l m a n 外观滤 波来提高有限搜索精度下的跟踪精确性，以及如何通过自适应初始搜索点预测来提高存在 背景干扰物时的跟踪鲁棒性。第四章讨论本文算法如何进行遮挡分析与处理，以提高存在 前景遮挡物时的跟踪鲁棒性和精确性。第五章示出大量视频目标跟踪的实验结果。第六章 对本文做一个总结，并展望今后的工作。 l o 第：章本文视频目标跟踪算法总体架构 第二章本文视频目标跟踪算法总体架构 在1 4 节中已经简要介绍了本文算法的各个组成部分的功能。在详细介绍这些组成部 分之前，我们首先给出本文算法的总体架构，以阐述各组成部分之间的调用关系。 表2 1 中的伪代码给出了本文算法的总体架构，各组成部分用灰色区域予以突出显示。 在第一帧中，通过手动或自动指定感兴趣区域( r e g i o no f i n t e r e s t ，r o i ) 【2 8 】选定要被跟踪 的目标。感兴趣区域通常为矩形，比目标稍大并覆盖目标。在初始化的过程中，可能有一 些属于背景的像素也包含在了r o i 中，但是这些像素并不会影响跟踪效果，因为它们稍后 会被内容自适应渐进式遮挡分析算法排除在目标区域之外。模板于反映了当前目标外观的 估计。选定了r o i 后，丁的初始化通过坐标变换采样r o i 来实现。此外，初始化的对象还 包括一个称为“干扰图( 叫t l i e rm a p ) ”的与图像帧等大的二值图。干扰图反映了在第胛 帧图像中非目标像素的位置分布：干扰图在图像帧中非目标像素的对应位置取值为l ，其 它位置取值为0 。模板掩蔽是一个与模板等大的矩阵，其元素初始值均为1 ，表明此时没有 模板像素被掩蔽。作为内容自适应渐进式遮挡分析算法的一个重要信息来源，参考目标 ( r e f c r e n c et a r g e t ) 砀初始化为第一帧的r o i 。 在常规模式下，我们用自适应初始搜索点预测算法( a p i s p 算法) 预测目标在新的一 帧中的位置。第一次带掩蔽模板匹配给出一个近似的包含目标的感兴趣区域( 尺) 。该感 兴趣区域之所以是近似的，是因为第一次模板匹配所用的模板掩蔽是根据上一帧中的遮挡 情况生成的，而本帧中的遮挡情况可能已经变化。为了校正目标位置，我们首先用内容白 适应渐进式遮挡分析算法( c a p o a 算法) 分析r 中的遮挡情况，然后根据分析结果进 行可变掩蔽模板匹配( v m t m ) 。可变掩蔽模板匹配给出了一个新的感兴趣区域( r ) ， 该区域内的遮挡情况再次通过c a p o a 算法进行分析。尺内的遮挡分析结果生成了一个 新的模板掩蔽( 膨) ，该模板掩蔽用于第二次带掩蔽模板匹配。这次模板匹配确定了最终 的感兴趣区域( r ) 。r 中的遮挡情况通过c a p o a 算法分析得到后，生成了当前帧 最终的干扰图与最终的模板掩蔽( 用于下一帧模板匹酉己) 。得到了目标的准确位置以及最终 的模板掩蔽后，模板通过抑制漂移的带掩蔽k a l m a n 外观滤波器( d i m k a f ) 更新。需要 第二章本文视频目标跟踪算法总体架构 表2 1 本文算法总体架构 1 通过选择感兴趣f x 域( 尺优) 初始化十扰图u 。当x 属十目标i ) ( 域时，= 0 ，否则( 曲= 1 。 2 通过坐标变换采样尺们来初始化估计模板于。参考目标死，初始化为r 0 几 3 初始化模板掩蔽蚴为与模板等大的全l 矩阵。 4 全遮挡标识民w = o ，过渡期标识局砌= o 。 5 f o r 疗= 2 ，3 ，( 为刀帧序号) i f ( 只x r = o ) p 常规模式水 5 1 运行湾l s 驴算法预测初始搜索点。 5 2 运行尺0 吼= f t m ( 于，厶， 靠1 ) 来获得近似感兴趣区域r a 吼。f r m 指的是第一次模板匹配。厶 是第甩帧。 5 3 运行【砌，也朋叫= e 触，o 钺尺饼l ，7 岛厶l ，巩1 ) 来获得初步干扰图砌。砌删砂为哑元。 5 4 运行尺d ，22 繁姗醮( 于，厶，咖) 米把感兴趣i 錾域位置从尺修正为r 。以砌被用来生成可 变模板掩蔽心。 5 5 运行【幽m 厅戳m j 】= c a p 笺( 尺o 呸，7 岛k l ，“i ) 来得到一个新的模板掩蔽m ，。 i f ( 尺c 也中超过8 5 的区域被遮挡) 5 6 1 全遮挡标识鼠x l c = l e l s e 5 7 1 运行r 2s t m ( 于，厶，m ) 来获得最终感兴趣i x 域尺d ，3 。s t m 指的是第二次模板匹配。 5 7 2 运行【玩， 磊】- e a p o a ( 尺o b ，厶- i ，巩i ) 来获得最终干扰图以与最终模板掩蔽 厶。 5 7 3 运行于卜d im _ 鼬娇( 于，尺g 呢， 厶) 来更新模板。 5 7 4 通过增量插值与滤波更新参考目标，o e n d e i s e 宰全遮挡模式 i f ( f 力啊= 0 ) 5 8 1 用匀速运动模型预测目标位置。 5 8 2 运行糯m a 算法来检测全遮挡的结束。 i f ( 探测到全遮挡结束) 5 8 3 1 f 硎= l 。 e n d e l s e 5 8 4 运行不带掩蔽模板匹配 i f ( 当前帧是过渡期最后一帧) 5 8 5 1 瞅r = 0 ，r m = 0 。 5 8 5 2 重新初始化以和坛。 e d e n d e n d e n d _ _ - l - - _ _ _ - _ l _ - - l - - _ - _ _ - _ - - - l - - 一 1 2 第一一章本文视频目标跟踪算法总体架构 注意的是，在分析r 啦与r 中的遮挡情况时，仅仅需要分析新覆盖的区域。 当超过8 5 的目标被遮挡时，本文算法进入了全遮挡模式。在全遮挡模式下，目标位 置用匀速模型预测。再现目标的可靠捕获通过局部最优匹配鉴定算法( l b m a 算法) 实现。 一旦探测到全遮挡结束，本文算法将经历一个5 帧的过渡期，在此期间既不使用模板掩蔽， 也不进行模板更新，以确保稳定过渡。过渡期结束后，干扰图与模板掩蔽重新初始化，本 文算法再次进入常规模式。 在接下来的各章中，我们详细介绍本文算法的各组成部分。 第三章抑制漂移的外观滤波和e j 适应初始搜索点预测 第三章抑制漂移的外观滤波和自适应初始搜索点预测 3 1 抑制漂移的外观滤波 为了连贯与清楚起见，我们首先阐述抑制漂移的带掩蔽k a l m a n 外观滤波。 3 1 1 定位目标 在基于模板匹配的目标跟踪中，目标由代表其外观的了图像表示，这个子图像称为模 板。在本文中，模板像素用砸) 表示，其中炉b 卅t 是像素坐标。由于观测噪声的存在， 真实的目标外观无法得到，因此跟踪算法实际利用的是模板的估计值亍。 在每一帧中，于通过举标变换触；口) 映射到图像帧中，其中口是变换参数向量。触；口) 描述了目标的运动与形变，其所能表达的运动与形变的复杂程度完全由口决定。对于仅包 含平移与缩放的嫩标变换，口是一个三维向量，舡；口) 可以表示为： 矽c x ；口，= q ； + 三； c 3 一， 其中，口i ，眈，口3 分别为缩放、水平位移、垂直位移变换参数分量。在本文中，坐标变换的 复杂度仅限于缩放与位移，其它所有类型的运动与形变( 包括平面内或三维旋转，非刚性 形变，等等) 都作为目标外观的变化，在模板更新过程中被学习。 目标在第胛帧中的几何信息通过进行以下的参数搜索确定： 五谢，1 n 南互j l ；口) 】一于斜m g ) ( 3 - 2 ) 在上式中，磊是第胛帧的变换参数向量的最优估计值；厶 ) 是第门帧图像中位于图像帧坐标 x 处的像素值；于是估计模板中位于模板坐标x 处的像素值；q r 是模板像素坐标的集合； m 是模板掩蔽。m 在模板被遮挡的相应位置的值为o ，在其它位置值为l 。s u m ( 蚴是模板 未被遮挡的部分所包含的像素个数。( 3 2 ) 式代表了本文所用的带掩蔽模板匹配操作，其具 体搜索过程有一系列快速搜索算法【1 l ，1 6 。1 8 ，2 9 1 ，或者使用粒子滤波算法【2 3 】。初始搜索点则由 下一节会提到的自适应初始搜索点预测算法得到。另外，由于坐标变换撕产生的不一定 是整数坐标值，因此需要用双线性插值来计算厶【触；口) 】。需要注意的是，进行第一次带掩 1 4 第三章抑制漂移的外观滤波和白适应初始搜索点预测 蔽模板匹配操作时，仅仅搜索平移参数以确保稳定，因为此时还没有得到一个可靠的模板 掩蔽。在进行第二次带掩蔽模板匹配时，所有的坐标变换参数都被搜索( 参见表2 1 ) 。这 里，我们采用了从低复杂度到高复杂度逐级搜索最优坐标变换参数的策略，以提高稳定性 与鲁棒性【3 0 】。 每一次通过( 3 2 ) 式得到变换参数向量的估计值盎后，估计模板于的未遮挡部分根据目标 外观的观测值埘触；盎) 】进行更新，以学习目标外观的变化。在理想情况下，由( 3 1 ) 式得到 的变换参数向量五反映了目标的真实几何状态，但是，由于( 3 1 ) 式的最终搜索结果必须取 自离散向量空间，其中的量化误差导致了变换参数向量的最优估计值与真实值幻之间不可