（计算机科学与技术专业论文）复杂场景中目标跟踪算法鲁棒性研究.pdf

复杂场景下目标跟踪算法鲁棒性的研究 摘要 目标跟踪是计算机视觉领域的重要研究课题，当目标通过自动或者交互方式 给定后，跟踪算法要求在后续图像帧中对该目标图像进行实时、鲁棒性好的定位 输出。其中，实时性要求跟踪算法必须提高算法的搜索效率；鲁棒性要求跟踪算 法对目标的运动、姿态变化以及场景干扰具有准确的输出。在兼顾实时性的基础 上提高跟踪算法的鲁棒性一直是目标跟踪研究中的前沿和热点，同时也是本文的 研究目的。 传统的方法如m e a ns h i f t 方法能够实时地跟踪目标，但没有考虑跟踪过程中 可能出现遮挡问题，当遮挡发生时，目标定位准确性降低，研究者提出了相应解 决方法，但需要准确判断遮挡的发生和结束。本文研究了由多个模块描述目标进 而实现对目标跟踪的多模块目标跟踪算法，通过综合每个模块在候选位置的匹配 相似度，提高算法在遮挡情况下的目标定位的准确性，克服了遮挡判定算法中阈 值难以选择的缺点。并引入积分直方图降低直方图的计算复杂度，改进匹配搜索 策略提高其实时性，并且根据目标与目标周围区域的颜色对比，选择区分度较高 的模块进一步提高算法的鲁棒性。 传统方法由于采用直方图、轮廓、模板等相对固定的模型，难以适应背景动 态变化和物体的大范围运动，本文提出了一种基于前景特征点检测的目标跟踪算 法，由特征点创建背景模型，进而分类前景特征点。通过在全局范围内搜索与目 标特征点匹配的前景特征点，在局部区域排除背景特征点，能够减少背景特征点 对匹配过程的影响，同时使用s i f t - l i k e 算子描述特征点进一步减少噪声的干扰。 为验证理论结果和算法性能，本文在p c 平台上用v c 编程实现了本文提出的 算法及部分对比算法。通过对大量相关视频的实验，证明了本文提出的算法能够 较好地在遮挡和场景动态变化情况下对目标进行跟踪。且算法在保证跟踪鲁棒性 的前提下，减少了计算复杂度，能够满足更高层视觉分析任务的实时要求，具有 一定的实用价值。 关键词：目标跟踪；目标建模；角点检测；特征跟踪；积分直方图 硕上学位论文 a b s t r a c t t a r g e tt r a c k i n gi sa ni m p o r t a n tc o m p o n e n to fc o m p u t e rv i s i o n ，g i v e nt h et a r g e t m a n u a l l yo ra u t o m a t i c a l l y ，t r a c k i n ga l g o r i t h m ss h o u l dm e e tt h er e q u i r e m e n t so f r o b u s t t r a c k i n g i nr e a l - t i m e r e a l t i m e p r o p e r t y a s k sf o re f f i c i e n t s e a r c h i n g a l g o r i t h m s o nt h eo t h e rh a n d ，t h et r a c k i n ga l g o r i t h ms h o u l db er o b u s tt ot h ec h a n g e s o fm o t i o n s ，o b j e c tg e s t u r e ，a n da l s ot h ec h a n g e so ft h es c e n e s t oe n h a n c es y s t e m r o b u s t n e s su n d e rt h er e a l - t i m er e q u i r e m e n ti sn o to n l yo n eo ft h en e wa n dh o tf i e l d s i n v o l v e di nt h et a r g e tt r a c k i n gb u ta l s oo u rg o a li nt h i st h e s i s t r a d i t i o n a lt r a c k i n ga l g o r i t h m sl i k em e a ns h i f tb a s e dm e t h o dc o u l dt r a c k i n g o b j e c ti nr e a l t i m e ，b u tn oc o n s i d e r a t i o ni sg i v e nt oo c c l u s i o n ，t a r g e tl o c a t i o n s a c c u r a c yr e d u c e su n d e ro c c l u s i o n c o r r e s p o n d i n gs o l u t i o n sa r ep r o p o s e db ym a n y r e s e a r c h e r s ，b u tt h e s em e t h o d sa l w a y sn e e dj u d g et h eb e g i n n i n ga n de n d i n go f o c c l u s i o na c c u r a t e l y t h i st h e s i ss t u d i e sf r a g m e n tt r a c k i n ga l g o r i t h m ，w h i c hm o d e l i n g t a r g e tb ym u l t i p l ep a t c h e s b yc o m b i n i n ga l lp a t c h e s s i m i l a r i t ya te a c hc a n d i d a t e p o s i t i o nt of i n dt h eb e s ts t a t e ，t h i sa l g o r i t h mg e t sr o b u s t n e s st a r g e tl o c a t i o nu n d e r o c c l u s i o n ，o v e r c o m e st h es h o r t c o m i n go ft h r e s h o l dd i f f i c u l tt oc h o i c e si no c c l u s i o n j u d g m e n t s t h e na d o p t si n t e g r a lh i s t o g r a mt or e d u c ec o m p u t a t i o n a lc o m p l e x i t yo f h i s t o g r a m ，m o d i f i e sm a t c h i n gt e c h n i q u et oe n h a n c et h er e a l - t i m ep e r f o r m a n c e b a s e d c o l o rc o n t r a s tb e t w e e no b j e c ta n ds u r r o u n d i n gr e g i o n ，c h o o s ep a t c h e sb e t t e rc l a s s i f i e d t h eo b je c tt oi m p r o v et h er o b u s t n e s su n d e ro c c l u s i o nf u r t h e r a st r a d i t i o n a lm e t h o du s e dh i s t o g r a m ，c o n t o u r , t e m p l a t eo ro t h e rm o d e l r e l a t i v e l yf i x e d ，t h e yc a n ta d a p tt h e s ev i d e os c e n eu n d e rs c e n ed y n a m i cc h a n g eo r o b j e c tm o t i o ni nl a r g e s c a l e t h i st h e s i sp r o p o s e san o v e la l g o r i t h mb a s e do n f o r e g r o u n df e a t u r ep o i n t sd e t e c t i o n c r e a t eb a c k g r o u n dm o d e lf r o mf e a t u r ep o i n t s ， t h e nc l a s s i f i e df o r e g r o u n df e a t u r ep o i n t sb yb a c k g r o u n dm o d e l b ys e a r c hm a t c h e d p o i n t so ft a r g e tp o i n t si nt h eg l o b a ls c o p ef r o mf o r e g r o u n df e a t u r ep o i n t s ，e l i m i n a t e s b a c k g r o u n df e a t u r ep o i n t si nt h el o c a ls c o p e ，t h i sm e t h o dc o u l dr e d u c et h ei m p a c to f b a c k g r o u n df e a t u r ep o i n t si n t h em a t c h p r o c e s s ，a n d d e c r e a s ei n t e r f e r e n c eb y e m p l o y i n gs i f t - l i k eo p e r a t o rt od e s c r i p tf e a t u r ep o i n t s w er e a l i z e a l g o r i t h mp r o p o s e d i n t h i st h e s i sa n do t h e rr e l a t i v em e t h o d p r o g r a m m i n gb yv ci n p cp l a t f o r mt ov e r i f yt h e o r e t i c a lc o n c l u s i o na n dt h e p e r f o r m a n c eo fa l g o r i t h m e x p e r i m e n t a lr e s u l t si n d i c a t et h ep r o p o s e da l g o r i t h mh a s i i i 复杂场景下目标躁踪算法鲁棒性研究 g o o dt r a c k i n gp e r f o r m a n c eu n d e rc o m p l e xb a c k g r o u n dl i k eo c c l u s i o n ，s c e n ed y n a m i c c h a n g eo ro b j e e tm o t i o n i n l a r g e - s c a l e e x c e l l e n to nk e e p i n gr o b u s t n e s s u n d e r c o m p l e xs c e n e ，t h i sm e t h o dh a sal o wc o m p l e x i t y , w h i c hc a nm e e tt h er e q u i r e m e n to f r e a l - t i m ef o rh i g h e rl a y e rv i s i o na n a l y s i st a s k t h e r e f o r e ，t h en e wa l g o r i t h mi s v a l u a b l ei na p p l i c a t i o n k e y w o r d s ：t a r g e tt r a c k i n g ；t a r g e tm o d e l i n g ；c o r n e rd e t e c t i o n ；f e a t u r e t r a c k i n g ；i n t e g r a lh i s t o g r a m 硕上学位论文 插图索引 图2 1 二维对数搜索示意图1 0 图2 2 金字塔分层搜索示意图l2 图3 1直方图具有尺度和旋转不变性1 5 图3 2l b p 纹理图像与f l b p 纹理图像1 6 图3 3 基本的模块选择策略1 7 图3 4 积分直方图1 9 图3 5 基于积分直方图获取小区域的直方图1 9 图3 6 改进的模块选择策略2 1 图3 7目标姿态变化前后，模块分布情况2 2 图3 8m e a ns h i f t 方法与本文方法的对比2 3 图3 9 b h a t t a c h a r y y a 系数变化情况2 4 图3 1 0 粒子滤波器跟踪算法与本文方法的对比2 5 图4 1 卡尔曼滤波器递推过程2 9 图4 2s s d a 增长曲线图3 5 图4 3 基于特征光流的跟踪算法的实验结果3 8 图4 4 本文方法的跟踪结果3 8 图4 5 基于卡尔曼滤波器的方法对m e a ns h i f t 跟踪结果的改进3 9 图4 6 预测位置与目标位置在x 轴和y 轴上的偏差4 0 v i i 复杂场景下目标跟踪算法鲁棒住研究 附表索引 表3 1 本文算法与a d m a 方法的平均计算时间对比2 6 表4 1 本文算法各步骤平均运算时间4 0 v i i i 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名： 楣鬓戈 日期：年岁月了7 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，i 司蒽 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密臼。 ( 请在以上相应方框内打“”) 作者签名： 导师签名： 日期：上眇年多月3 日 日期：2 户7 年钐月2 一日 撼融砀卅 硕上学位论文 第1 章绪论 目标跟踪( o b j e c tt r a c k i n g ) ，在视频序列中对感兴趣的目标进行有效的跟踪， 是计算机视觉领域的一个经典问题。如何对目标模型进行高效的模式匹配以及如 何有效地适应目标自身的运动变化、排除场景干扰是一个优秀的目标跟踪系统必 须解决的两个关键问题。这两个问题反映到跟踪算法的性能上就是实时性和鲁棒 性。随着计算机视觉、模式识别技术以及数字视频技术的不断发展，众多学者对 其进行了深入的研究，提出了很多新的思路和方法。其中，如何很好地兼顾系统 的实时性和鲁棒性始终是研究的前沿。结合当前的研究现状，如何进一步提高算 法的鲁棒性是本文的主要研究目的。 本章内容安排如下，首先对简要介绍对视频序列中目标跟踪的意义等做简要 的介绍；然后系统地概述国内外研究现状；最后给出本文详细研究内容以及后续 章节的安排。 1 1 研究背景和意义 在视频序列中对感兴趣目标的跟踪是计算机视觉中一个必不可少的关键技 术。目标跟踪在视频监控【1 2 1 、智能驾驶【3 卅、人机交互【5 6 1 等领域有着广泛的应 用。 视频监控：对于智能视频监控，在商业、军事上有广泛的应用，同时可应用 于银行、机场、政府重要机构等公共场所的无人值守。这些系统是要减少对人工 的依赖，自动完成对感兴趣目标的分析与描述，而对目标的实时检测和跟踪是其 中的主要环节。 智能驾驶：汽车的自动驾驶或称无人驾驶汽车是最近兴起的一项研究，这方 面的工作主要集中于车辆在沿道路自动行进并发现道路上其他汽车，或者自动避 开道路上的障碍物，在建筑物内自动导航等。 人机交互：相比键盘、鼠标等传统人机交互接口方式，基于视觉的人机交互 一种更简洁、智能化和人性化的人机交互方式，能够自动收集人类在计算机前的 视频信号，利用计算机视觉相关理论分析视频信号，识别人类动作。近年来的研 究主要集中在姿态分析、面部表情及步态识别等。 此外，目标跟踪在基于视觉的控制7 8 1 、医学图像【9 10 1 、视觉重构“1 2 】等领 域均有应用。 计算机视觉分析系统在通过自动或半自动、交互等方式给定所要跟踪的目标 后，目标跟踪的主要目的就是在后续视频帧中对给目标进行定位。一个好的目标 跟踪算法一般需要满足两个基本的要求： 复杂场景下目标跟踪算法鲁棒性研究 ( 1 ) 实时性：即对跟踪算法的计算速度提出要求，视频序列的帧率一般为 l o 3 0 帧秒，在视频跟踪过程中，为能实时跟踪目标，要求在一帧或者间隔几帧 的时间之内完成一次跟踪算法的计算，进行目标定位。通常视觉分析系统在跟踪 环节后面还有其他处理环节，因此跟踪算法的复杂度不能超出实时计算的要求 ( 2 ) 鲁棒性：即对跟踪系统的准确跟踪提出要求，从控制理论观点看，目标 跟踪是一个开环系统，这样的系统由于没有反馈输入，很难对目标进行有效的跟 踪，因此系统的鲁棒性至关重要。 实际观测中，视频场景可能很复杂，场景动态变化、目标姿态变化或大幅运 动及随时可能出现的对目标的遮挡均使目标的跟踪非常复杂。对目标跟踪的研究 还必须对目标图像的描述方法即目标图像的建模方法进行研究。不同的建模方法 对搜索算法的效率有着不同的影响，好的模型可以加快搜索效率提高算法实时性， 不合理的模型不仅会导致搜索效率的降低，同时也可能对场景干扰、虚假目标等 干扰因素没有足够的分辨能力。然而，传统的基于模板匹配、灰度相关的跟踪算 法不论在实时性还是鲁棒性方面都不能很好地满足上述要求。虽然近年来很多学 者提出了新的思路和方法，但是也没有很好地解决目标跟踪中的诸多难题。同时 兼顾实时性、鲁棒性的可视跟踪算法的研究一直是研究前沿和特点。 本文的研究背景主要是为计算机视觉、医学图像、智能控制等领域的研究人 员提供目标跟踪中新的理论和算法支持，在兼顾算法的实时性能的前提下提高算 法的鲁棒性。 。 1 2 国内外研究现状 1 2 1 相关理论研究动态 1 1 节已经提到实时性和鲁棒性是目标跟踪的两个重要目标，当前目标跟踪 的研究热点也基本以提高算法的实时性和鲁棒性为主。 针对目标跟踪中直方图计算量大的问题，p o r k i l i 提出了一种新颖的直方图计 算方法积分直方图，减少了模板匹配过程中直方图的累积计算量1 1 3 】。对传统的基 于模板匹配的跟踪算法，m o h a m m a d 等人提出了基于早期停止的降分辨率搜索策 略【l4 ，杨静等人提出了m s e a 算法通过比较模板灰度信息和与局部图像的灰度信 息和，快速判断候选位置是否需要进行匹配运算，减少了匹配估计次数【”j 。a h m e d e l g a m m a l 等人提出了f g t 方法用来加速核函数直方图的生成速度【l 6 1 。 国内外相关研究者对算法的鲁棒性问题非常关注。为了解决遮挡问题， n g u y e n 等人提出根据像素灰度值的预测值和测量值的差别来判断像素是否发生 遮挡，以确定怎样进行模板更新【1 7 】，但该方法由于滤波器数量恒定无法适应目标 的尺度变化，彭宁嵩等人提出了对颜色空间子特征值使用卡尔曼滤波器组更新模 板的方法1 1 8 。基于目标特征的方法，f r a n c oo b e r t i 提出了一种基于角点检测的特 2 硕一l 学位论文 征跟踪方法，在遮挡过程中以剩余的特征点确定目标的位置【1 9 】。另外，文献 2 0 1 提出的基于网格模型的目标跟踪算法，利用网格结点的运动估计和网格更新过程 完成目标的多帧跟踪。文献【2 l 】提出采用边缘匹配的方法，但这种方法的效果十 分依赖于目标分割和边缘检测的质量。而基于多模块子块的目标跟踪算法，文献 【2 2 将目标整体相关匹配算法和目标各子块相关匹配作表决的算法相结合，被遮 挡的子块不参与表决，文献 2 3 】提出首先使用s s d 跟踪算法在较大范围内搜索候 选目标，在粗尺度确定目标所在区域，然后对目标的各个子块利用m e a ns h i f t 算 法精确定位目标。 对大多数跟踪问题而言，通常假定摄像机是相对背景固定的，或者可以通过 全局运动进行补偿，其中问题的关键是目标( 前景) 和背景的建模问题。虽然基 于像素级的高斯模型和混合高斯模型方法，以及直方图、轮廓、模板等特征或特 征的组合被大量应用，但在实际的跟踪中常常还会遇到问题，主要原因是模型的 相对固定不能适应大幅度的光照、背景变化和物体的大范围运动等。因此，一些 研究者已经注意到自适应方法的重要性，c o l l i n s 等人通过对r g b 色彩空间中的 三个分量赋予不同的权重进行组合，从而可以根据背景的变化，依据目标模型可 区分度，从4 9 种不同的直方图中进行选择所需的特征【2 4 1 。z h uq i a n g 等人提出了 由s i f t - l i k e 算子描述角点，对角点分类建立并更新背景模型，并根据背景模型检 测前景特征点，从而解决背景动态变化的问题【2 5 1 。王建宇则提出对图像进行h a a r 变换，根据f i n s h e r 准则评价每个h a a r 特征对目标和当前背景的区分能力，由区 分能力最强的h a a r 特征建立目标模型，采用卡尔曼滤波算法预测目标位置【2 引。 张彦等人提出利用特征点信息将场景中的像素点分类，并针对不同类别像素点计 算其更新速率，然后对像素点采用相应速率进行更新，从而能根据场景不同变化 进行自适应更新【27 l 。 1 2 2 国内外最新研究成果 上述这些理论和方法的研究有力地促进了相关应用的发展，被广泛应用于智 能监控、虚拟现实、人机接口、运动分析等领域。如19 9 7 年美国国防部高级研究 项目署设立了以卡内基梅隆大学为首、麻省理工学院等高校参与的视觉监控重大 项目v a s m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) ，主要研究用于战场及普通民 用场景进行监控的自动视频理解技术；实时监控系统i o i m a g e 是一个融合形状 分析和跟踪技术的智能监控系统，可以定位人和分割出人的身体部分，自动检测 入侵者、跟踪目标并对其自动方法；美国的a r d a 机构在2 0 0 3 年开始主持项 高级研究计划v a c e ( v i d e oa n a l y s i sa n dc o n t e n te x t r a c t i o n ) ，旨在通过目标的 检测、识别和跟踪以达到检测、识别和理解目标的行为。卡内基梅隆大学研制的 自主行驶汽车n a v l a b 上的视觉系统，除采用包括光学摄像机、激光测距以及超声 在内的多种传感器获取道路信息，利用多传感器融合和基于聚类的方式完成室外 复杂场景f 目标跟踪算泫鲁棒性研究 l t - 寡= 詈暑= = = 皇= 詈詈詈皇詈皇詈詈詈詈詈詈暑詈詈詈詈詈詈穹詈詈皇詈詈皇鲁詈詈詈詈暑量鼍詈昌詈詈昌篁皇詈詈詈暑詈詈鲁葛鼍昌詈鼍一 道路的跟踪和识别。 中科院自动化所模式识别实验室从2 0 实际9 0 年代就开始研究基于三维模型 的智能视频监控系统，针对系统中若个关键性问题，进行了深入的研究和探讨， 并总结英国雷丁大学的v i e w s 车辆交通监控原型系统的研究经验，自行设计了 一个拥有自主知识产权的交通监控原型系统v s t a r ( v i s u a ls u r v e i l l a n c e s t a r ) 。清华 大学完成的国家科技攻关计划“备战2 0 0 8 年奥运会跳水选手人体运动信息检测、 分析和仿真系统 ，针对单摄像机视频序列解决人体分割和运动姿态分析问题， 为竞技体育项目的日常训练构建一个视频反馈和分析系统。 1 3 本文系统框架及主要内容 本文分析国内外目标跟踪的相关研究和发展动态，为了提高目标跟踪算法的 鲁棒性，本文主要研究基于模板匹配的跟踪算法在目标发生遮挡情况下的应用。 在传统的基于模板匹配的算法已经成熟的实时跟踪的基础上，着重研究了如何进 一步提高跟踪的鲁棒性。首先研究了一种基于积分直方图的多模块模板匹配算法， 能够处理大比例遮挡问题，然后研究了基于前景特征点检测的跟踪算法，能够处 理对场景动态变化或目标的大幅运动。并最终结合两个算法，一般情况下，采用 基于前景特征点检测的方法跟踪目标，在目标发生遮挡时，采用多模块模板匹配 算法提高算法的鲁棒性。 1 3 1 本文主要工作及论文结构 本文的主要工作有： ( 1 ) 分析了常见跟踪算法中目标建模方面的不足，提出根据目标显著特征选 择多个模块，利用积分直方图建立每个模块的特征直方图，同时充分考虑了模块 的空域信息。 ( 2 ) 针对多模块描述目标的方法，提出相应的候选目标搜索方法一一多模块 模板搜索方法，以及相应的模块选择、目标搜索策略、模板更新方法。 ( 3 ) 针对多模块跟踪算法实时性略低的缺点，提出基于前景特征点检测的目 标跟踪算法，提高算法实时性，增强系统对场景动态变化、目标大幅运动的处理 能力。 本论文的组织结构为： 第一章，绪论，介绍目标跟踪算法的研究背景和国内外研究现状，分析了本论 文实现的目标跟踪框架，最后给出论文的创新点和论文结构； 第二章，介绍目标跟踪算法的基本框架，从目标建模、相似度度量和匹配算 法三个方面讨论了前人的研究成果； 第三章，介绍多模块目标建模方法及多模块模板匹配算法，并提出多种改进 方法提高跟踪算法的实时性； 4 硕上学位论文 第四章，介绍基于前景特征点检测的目标跟踪算法，以提高算法对场景动态 变化或目标大幅运动的跟踪的有效性；， 之后是论文的结论部分，总结本文的研究成果，存在的问题并对将来研究的 方向进行展望。 最后附上参考文献和致谢。 1 4 小结 本章阐述了本课题的研究背景和意义，对课题研究趋势和现状进行了介绍， 在此基础上总结了课题研究的关键问题，并对现有算法的不足进行说明。之后给 出了论文的主要内容和章节结构。 复杂场景下目标跟踪算法鲁棒性研究 第2 章目标跟踪算法相关研究 前面我们已经简单介绍了目标跟踪算法及其在国内外的研究现状，目标跟踪 问题在近年来得到了广泛的关注和长足的发展，针对不同的跟踪环境和运算要求， 相关学者研究和设计了很多跟踪方法。由于新方法的不断产生以及各种边缘学科 在该领域的应用，很难对目标跟踪方法做一个确切的分类，本文所讨论的算法由 以下三个部分组成：目标的建模、相似度度量、匹配算法。彭宁嵩定义为基于“目 标建模、定位的跟踪框架【2 引。下面我们分别介绍上述三个部分中前人所做的工 作，主要是近期的研究成果，然后总结上述研究工作中遇到的难点，针对本文讨 论的遮挡问题和场景动态变化、目标大幅运动的问题给出大概的描述。 2 1 目标建模 目标建模是计算机视觉的基本问题，对目标跟踪的性能有着重要的影响。下 面我们简要介绍典型的目标建模方法。 2 1 1 基于模板的建模方法 基于模板的目标建模方法直接采用目标图像的像素集合对目标进行描述。由 于模型表示直接、简单，被广泛应用于基于模板匹配的跟踪算法中。这种类型的 跟踪算法与“图像配准 类似，不同之处是相邻帧间目标的变化不剧烈。因此可 以使用归一化相关准则方法对目标进行定位【2 9 1 。基于模板的方法对光照变化敏 感，余胜生等人提出了基于统计学方法对场景中每个像素点的亮度值建模，根据 光照的变化对像素点亮度值的影响的分布情况，实现光照突变检测和像素点的自 适应更新【3 们。j e p s o n 等人详细讨论了如何利用图像的结构信息、运动信息和噪声 剔除方法综合对目标模型进行建模【3 l l 。 基于模板的建模方法有如下缺点： ( 1 ) 没有对目标图像进行特征选择，所有像素都要参与跟踪匹配，容易受背 景变化的影响。 ( 2 ) 跟踪算法的运算量与模板大小即目标图像的像素数量成正比，在目标尺 度变化情况下，系统计算量不稳定。 ( 3 ) 容易受光照变化、目标自身姿态变化等因素的影响，从而导致模板对目 标图像的描述不准确。 2 1 2 基于特征的建模方法 基于特征的建模即通过特征对目标图像进行建模的方法，往往能够较好地描 述目标。由于特征维数一般小于图像的实际维数，因此特征建模方法能够定程 6 硕l 学位论文 度上提高算法的实时性。而且，矩特征1 3 2 】对目标的缩放、旋转等运动不敏感，可 以在一定程度上提高跟踪算法的鲁棒性。但计算不变矩需要大量的运算时间，很 难满足系统实时性的要求。 2 1 3 基于颜色分布的建模方法 基于颜色分布的建模方法也属于基于特征的建模方法，由于颜色特征具有旋 转不变性和尺度不变性，在图像检索、目标跟踪中广泛应用。较为常见的是使用 目标图像的直方图对目标进行建模。通常使用的颜色空间主要有r g b 、l u v 等。 基于颜色分布的方法有以下优点： ( 1 ) 计算量小。直方图表示实际上是对目标图像的降维表示，因此可以大大 降低模式匹配的计算量。 ( 2 ) 通过采用合理的颜色模型生成的直方图模型对光照变化不敏感，如利用 l u v 颜色空间生成直方图比r g b 空间生成的直方图对光照变化更为鲁棒。 ( 3 ) 适合对非刚性目标的建模。由于非刚性目标随时间发生姿态变化，很难 用形状信息直接描述目标，但其颜色分布基本保持不变。 但在背景中存在与目标颜色分布相似的区域的情况下，简单的直方图建模方 法常常会导致系统对虚假目标的误跟踪。为解决上述问题，学者们提出了基于核 直方图方法【3 3 , 3 4 】、基于l b p ( l o c a lb i n a r yp a t t e r n ，局部二值模式) 的直方图方 法【35 1 。 此外，还有基于纹理特征、基于形状特征的建模方法，如h o u g h 变换等，还 有一些学者提出了利用多模型法对目标进行建模。 2 2 相似度度量 目标建模后需要使用相似度函数来刻画当前帧图像中某个区域的特征是否与 目标图像的特征相似。系统的鲁棒性要求相似度函数能够对光照变化等因素不敏 感，同时能够减少外点( o u t l i e r s ) 对相似性判断的影响。传统的基于相关匹配、 欧氏距离的度量方法对像素灰度值和外点敏感的，所以很难取得满意的跟踪效果。 相似度函数实际上是定义的一种刻画候选数据和当前测试数据的距离度量， 因此，这种距离必须具备度量的性质。常用的度量方法有基于h a u s d o r f f 距离的 度量方法、基于不变矩的度量、基于b h a t t a c h a r y y a 系数的度量【3 3 , 3 4 】，其他的还有 k u l l b a c kd i v e r g e n c e 等。 2 2 1b h a t t a c h a r y y a 系数 c o m a n i c i u 提出了基于b h a t t a c h a r y y a 系数的相似度度量方法【3 3 ，3 4 1 。给定两个 n 维矢量u = “一江1 ，刀和y = v ) ，汪l ，押之间的b h a t t a c h a r y y a 系数p 表示为： 7 复杂场景下口标跟踪算法鲁棒性研究 p = h ( 2 1 ) b h a t t a c h a r y y a 系数是一种具有收敛特性的度量方法，并且具有鲜明的几何意 义。它实际是两个模为1 的n 维矢量之间夹角的余弦。 2 2 2h a u s d o r f f 距离 给定两个有限像素点集a = a i ，a 2 ，口p ) 和b = 岛，如，) ，则h a u s d o r f fl i 验 定义为： h ( a ，b ) = m a x ( h ( a ，b ) ，办( b ，彳) ) ( 2 2 ) 其中 办( 4 ，砂= 嚣，嘧慨训 式中h ( a ，b ) 称为从a 到b 的有向h a u s d o r f f 距离。如果定义一个点q 到一个 点集b 的距离d s ( q ) 为a i 到b 点集中每一个点的距离的最小值，即 以( q ) = m 址i 川, , l l a , 一岛8 ，贝jh ( a ，b ) 是点集a 中所有点到点集b 的距离以( q ) 的最大值， h ( b ，a 1 意义相同，称为反向h a u s d o r f f 距离。但若集合a 中有一部分点是干扰点 或属于背景点，偏离相似形状区域，那么计算出来的h a u s d o r f f 距离h ( a ，b 1 为很 大，为此，h u t t e n l o c h e r 等人提出了部分h a u s d o r f f 距离的概念，用来比较有严重 的遮挡或退化的图像中的部分图像，产生了较好的匹配结果。 部分h a u s d o r f f 有向距离的定义为： 吃( a ，b ) = 绦爿d b ( q ) ( 2 3 ) 求取部分h a u s d o r f f 距离，首先要求出点集a 中所有点到点集b 的距离，然 后将这些距离由小到大排序，其中需要为k 的距离即为( 彳，b ) 。而且，在计算 忽( 么，b ) 时，k 值并不固定，k 由下式k = 加d _ ，【厂m 】计算得到，是给定的一个 分数( 厂= k l v 【o ，1 】) ，m 表示集合a 中点的个数。 2 2 3k uiib a c k l eibie r 足巨离 两个符合广义高斯分布的数据源之间可采用k u l l b a c k l e i b l e r 距离( k l d ) 计 算它们的相似度： 。( zh a ) = e 胁) i n 器吱 ( 2 4 ) k l d 距离不具有对称性，这与我们平常理解的相似度概念不一致，通常使用如下 具有对称性的形式表示两个数据源之间的相似度： 8 硕一l 学位论文 4 ( 石i t 4 ) = l o ( 石。正) + d ( 五l i 彳) 2 ( 2 5 ) 2 2 4 基于不变矩的度量 不变矩能够在图像经过平移、旋转、比例变化后仍保持不变，设从目标图像 中提取的矩特征为s - - s j ，j = l ，2 ，7 ，从当前帧图像中提取的若干个可能的目标 区域图像的矩特征为乃= 乃，i = 1 ，2 ，坼，j = l ，2 ，7 ) ，其中坼为候选目标总数， 定义归一化绝对差为： 1f| z = l l 弓一邑l j = l ( 2 6 ) 判别规则为：若破_ _ _ m g s i n ，j 、d t ，则候选目标图像中第k 个区域与目标图像最匹 配。 2 3 匹配算法 选取相似度函数之后，通过模式匹配判断目标的相对真实位置。跟踪算法中 的模式匹配方法大致可以分为：模板匹配法、基于梯度的匹配法两大类，下面分 别对它们进行介绍。 2 3 1 模板匹配法 模板匹配法是将系统的目标图像( 模板) 在当前帧图像上以不同的偏移值进 行移位，对每一个偏移值下重叠的两个子图像一一目标模板及与目标模板同样大 小的当前图像进行相关处理，根据判别准则和相关处理结果，判断目标在当前图 像中的位置。相关跟踪器能在较低的信噪比条件下提供更好的跟踪性能。 设目标模板为丁( x ，y ) ，大小为m x m 个像素，当前图像为i ( x ，y ) ，大小为n n 个像素，其中m 刀，( x o ，y o ) 为目标模板在当前图像中的偏移值。则相关跟踪算法 可以用归一化相关准则来描述，位置( ，) 处的相关系数p ( 而，) 的表达式为： p ( ，y o ) = m - - l m l t ( x ，y ) i ( x + x o ，y + y o ) x = oy = o ( 2 7 ) 其中：o _ x o ，y o - m ，p ( x o ，y o ) 为最大时的偏移量( ，) 所处位置就是目标 所在位置。相关法属于穷尽搜索方法( f u l ls e a r c h ) ，可以保证全局最优，缺点是 9 复杂场景下目标跟踪算法鲁棒性研究 运算量巨大，而且目标的剧烈运动、目标姿态、尺度变化和光照干扰等因素常会 严重影响下相关跟踪方法的可靠性。 为了满足实时性的要求，必须降低匹配算法的时间复杂度。各种关于模板匹 配的改进算法，比如：基于f f t 变换的相位相关算法、由粗到精逐层逼近的匹配 算法、采用“子模板”等方法先进行粗匹配，找到大致的位置在进行精确匹配、 降分辨率匹配等纷纷被提出。k r a t t e n t h a l e r 等人为了减少相关运算的计算量提出 了点相关( p o i n tc o r r e l a t i o n ) 的方法【3 6 】。m o h a m m a 在分析了降分辨率匹配结果 和实际匹配结果关系的基础上给出了一种降分辨、逐层求精的匹配方法【l 4 1 。 下面介绍几种模板匹配的次优搜索方法，它们包括二维对数搜索、分层搜索 和顺序搜索。设模板与搜索区域的图像分别为t = ，“) ，待1 ，2 ，m ， ，= l ，2 ， ，i = i ( i ，) ，待l ，2 ，u ，= l ，2 ，v 且在图像i 中所要搜索的范围是 以点z ( i ，) = ( x ，y ) 为中心，上下左右等距的方形区域( x - p ，y p 卜卜+ p ，y + p 】) ， 取值范围为卜p ，p x 卜p ，p 】的区域。 2 3 1 1 二维对数搜索法 假设搜索的范围是卜7 ，7 i x 一7 ，7 】( 即p = 7 ) 。我们搜索和原点( 图1 1 中圆点) 距离为4 = 2 “1 ( 其中k = 1 0 9 2p ，当p = 7 时，k = 3 ，嘎= 4 ) 的八邻点( 图1 1 中方型点) ，找到其中的最优匹配点。再以此最优匹配点位中心，搜索和它距离为 d 2 = 4 2 的八邻点，找到其中的最优匹配点。重复此过程，直到搜索到和中心点 距离为以21 的八邻点，找到最终的最优匹配点( 图2 1 中箭头所指的菱形点) 。 。 ，工 ： ：工 工 工 图2 1 二维对数搜索示意图。 由上述可看出，搜索的范围从【一p ，p 】【一p ，p 】，第一次缩小为卜p 2 ，p 2 【一p 2 ，p 2 】，第二次缩小为卜p 4 ，p 4 i - p 4 ，p 4 】，第n 次缩小为 - p 2 , p 2 ” - p 2 , p 2 ” 。因此，搜索的点数按对数次方减少，二维对数搜索总的计算量为 1 0 硕十学位论文 m n ( 8 k + i ) ，比穷举法大为减少。 2 3 1 2 金字塔分层搜索法 如果原始尺寸的图像很大，可以用金字塔分解的方法减少搜索图像的尺寸( 如 图2 2 所示) 。设原始尺寸的图像为厶，原始尺寸的模板图像为r o ，具体实现步骤 如下。 s t e p i 图像o , dr o 先经低通滤波器过滤，经过2 ：1 采样，图像尺寸缩为原来 的1 4 。缩小的图像和模板分别记为和五，同时，搜索区域也从以( x ，y ) 为原点 的 - p ，p 】卜p ，p 】区域变为，以( 2 ，y 2 ) 为原点的【- p 2 ，p 2 x - p 2 ，p 2 】区域。 s t e p 2 重复步骤s t e p l1 1 次，缩小的图像和模板记为厶和瓦，搜索区域变为以 ( 2 ”，y 2 ”) 为原点的 - p 2 ，p 2 ” - p 2 ，p 2 ” 的区域。 s t e p 3 从第n 层图像厶开始搜索，此时模板乙的大小为( m 2 , n 2 ”) ，以点 ( 2 ”，y 2 ”) 为原点，在 一p 2 ”，p 2 ” i - p ： , p 2 ” 区域内搜索。搜索时，可以 采用穷举搜索或者上述二维对数搜索方法，结果记为( ，盛) 。 s t e p 4 在第n 一1 层图像厶_ l ，模板乙一。的大小是( 驯2 川，n 2 川) 。以点 ( 4 2 肛1 + 2 z ，y 2 肛1 + 2 苋) 为原点，在卜l ，1 】 - 1 ，1 】区域内搜索( 包括原点本身，共 九个点) ，结果记为( - p z 一。) 。 s t e p 5 在第n 2 层图像厶一z ，模板乙一z 的大小；- - - - 是( m