（信号与信息处理专业论文）基于mcmc粒子滤波的视频目标跟踪方法研究.pdf

山东大学硕士学位论文 摘要 对视频中运动目标进行跟踪，是近年来一个新兴的且日渐活跃的研究领域， 它融合了诸如计算机视觉、模式识别、人工智能以及一些生物学的技术，是- - f - j 跨学科的技术。准确的跟踪目标是有效的进行识别与决策的前提条件，是高级视 觉系统的基础。作为一种较为基础的技术，目标跟踪在生产和生活的各个方面比 如交通、监控和国防等领域有广阔的应用前景。 经过前人不懈的研究，很多跟踪方法已经被提出，并且得到了一定的应用。 常见的跟踪算法包括卡尔曼滤波法、m e a m h i f t 方法、粒子滤波法以及在粒子滤 波基础上提出的m c m c 粒子滤波法、r j m c m c 粒子滤波法和a m c m c 粒子滤 波法等。这些方法，在一定的约束条件下，成功地解决了一部分跟踪问题。然而， 在动态背景条件下，这些方法都受到了巨大的制约，效果不尽理想。尤其是在摄 像头前进的条件下，由于运动的特殊性，导致出现许多有待解决的跟踪问题。考 虑到这些问题，同时注意到了摄像头前进的过程中，会存在f o e 点，而此点的 存在为这些问题的解决提供了契机。f o e 点是由于摄像头的前进过程中，静止 的背景点光流交汇于一个点所形成的，恰好该点能够代表摄像机的运动方向。通 过对该点的运用，能在一定程度上预测目标的运动，避免由于摄像机运动产生的 运动偏移。所以本文把f o e 与a m c m c 方法相互结合运用，成功的解决了由于 摄像头前进而引起的一些问题，提高了跟踪效果。 m c m c 粒子滤波方法以及在该方法基础上提出的各种跟踪算法，提供给我 们一些有效地跟踪方法，能较为稳定地跟踪各种运动目标。同时，此方法也存在 着一些这样或者那样的问题，其中较慢的运行速度严重制约着其应用。m - h 方 法，是m c m c 方法的常用实现形式，其实现过程中存在着少则数百次的抽样过 程，这是速度问题得不到解决的关键。抽样效率不高，是由于随机抽取过程本身 的特性造成的。为了解决这个问题，对m - h 方法经过深入研究后，本文提出一 种改进的抽样方法，基于贪婪算法，采用了分段的抽样核函数，较为有效地解决 了这个问题。 在m c m c 等参数估计方法之后，还对m e a ns h i f t 这种非参数估计的方法进 山东大学硕士学位论文 行了研究。不同于参数估计的方法，一旦确定了跟踪目标，m e a ns h i f t 方法不需 其他的额外输入，而且该方法有计算概率密度梯度的功能。由于这些原因，本文 中尝试将m e a n s h i i t 方法与m c m c 方法相互结合，使用m e a ns h i f t 对目标进行 优化，进一步获得更好的跟踪效果。 2 关键字：目标跟踪；m c m c ；f o e ；m e l r o p o l i s - h a s t i n g s 山东大学硕士学位论文 a b s t r a c t m o v i n gt a r g e t st r a c k i n gi nv i d e os e q u e n c e si san e wr e s e a r c hs u b j e c ta n dh a s b e c o m em o l ea n dm o l ea c t i v er e c e n t l y i tc o n t a i n sm a n yt e c h n o l o g i e sf r o md i f f e r e n t s u b j e c t ss u c h 雒c o m p u t e rv i s i o n , p a t t e r nr e c o g n i t i o n , a r t i f i c i a li n t e l l i g e n c ea n de v e n s o m ek n o w l e d g ef r o mb i o l o g y s oi ti sa ni n t e r d i s c i p l i n a r ys u b j e c t p r e c i s e l y t r a c k i n gt a r g e t si st h ep r e r e q u i s i t eo fr e c o g n i t i o na n dd e c i s i o na n dt h eb a s i so f a d v a n c e dc o m p u t e rv i s i o n a sap r i m a r ys u b j e c t , t a r g e t st r a c k i n gc a l lb ef o u n di n m a n y a l - e a sf r o md a i l yl i f et om i l i t a r y e s p e c i a l l yi ti su s e de x t e n s i v e l yi nm o n i t o r i n g s y s t e m sa n d 恼cs y s t e m s t h r o u g ht h e s ey e a r so fe f f o r t , m a n ym e t h o d sf o rt r a c k i n gt a r g e t sh a v eb e e np u t f o r w a r d e d , a n dp r a c t i c a l l ya p p l i e d c o m m o nt r a c k i n ga l g o r i t h m sc o n t a i nk a l m a n f i l t e r , m e a ns h i l la l g o r i t h m , p a r t i c l ef i l t e ra n dt h ea l g o r i t h mb a s e do np a r t i c l ef i l t e r ： m c m c p a r t i c l ef i l t e r , r j m c m cp a r t i c l ef i l t e ra n da m c m cp a r t i c l ef i l t e r t h e s e a l g o r i t h m sc a l lp e r f o r mw e l li nt r a c k i n go b j e c t su n d e rs o m ec o n d i t i o n s b u ti n c l y m m i es c e n e s ，i ti sv e r yh a r dt og e tt h es a t i s f a c t o r yr e s u l t sb e c a u s et h em o v e m e n to f b a c k g r o u n da f f e c t st h en o r m a lp e r f o r m a n c eo ft h ea l g o r i t h m s e s p e c i a l l yu n d e rf r o n t o rb a c kc a l l l e l - dt r a n s l a t i o nl l l o v e m e l l l t , m a n yp r o b l e m sa b o u tt r a c k i n gt a r g e t sa p p e a r f o r t u n a t e l y , w en o t i c e dt h a tap o s i t i o nc a l l e df o ea l s oe x i s t si ns u c hc a s e t h e m o v e m e n to fac a r o mc a u s e st h eo p t i c a lf l o wf i e l do fb a c k g r o u n dt om e r g ei nf o e b e c a u s ef o ec a nr e p r e s e n tt h ed i r e c t i o no fc a m e r am o v e m e n t , w ec a ne s t i m a t et h o p o s i t i o no fo b j e c t sw i t ht h eh e l po ff o e i nt h i sw a y , b yc o m b i n i n gm c m c a n df o e ， s a t i s f a c t o r yr e s u l ti sg o ta f t e rt h ep r o b l e mc a u s e db yc a l n e l - dm o v e m e n ti ss o l v e d m c m c a l g o r i t h ma n dt h ei m p r o v e dm c m ca l g o r i t h mp r o v i d ei l l ss o m eu s e f u l m e t h o d st ot r a c kt a r g e t s ，a n di tc a l lt r a c ko b j e c t ss t e a d i l yi nd i f l t e r e n ts c e n a r i o s w h i l l ： i ts t i l lh a ss o m ep r o b l e m sw h i c hr e m a i nt ob es o l v e d , h i g hc o m p u t a t i o n a lc o m p l e x i t y l i m i l t si t s a p p l i c a t i o n f o re x a m p l e ，m e t r o p o l i sh a s t i n g sa l g o r i t h mi sac o m m o n m e t h o dt oc a r r yo u tt h em c m cp a r t i c l ef i l t e r t h ek e yl e a s o l lo fh i 曲t i m ec o s ti s 3 山东大学硕士学位论文 t h a tm - hu s u a u yn e e d sh u n d r e d so fs a m p l ep r o c e s s i n g a n di n e f f i c i e n ts a m p l ei s d e c i d e db yt h em - hi t s e l f i no r d e rt os a t i s f yt h er e q u i r e m e n to fr e a l - t i m ea p p l i c a t i o n , w es t u d i e dt h em ha l g o r i t h md e e p l ya n da ni m p r o v e da l g o r i t h mb a s e d0 nm hi s w o r k e do u ti nt h i sp a p e r m a k i n g 嘁o ft h eg r e e d ya l g o r i t h m , o u ra l g o r i t h ma d o p t s p i e c c w i s ek e r n e lf u n c t i o n st op r o d u c es a m p l e st od e a lw i t ht h i sp r o b l e ma n do b t a i n s s a t i s f a c t o r yr e s u l t s f o l l o w i n gt h et r a c k i n gm e t h o d sb a s e d0 1 1p a r a m e t r i ce s t i m a t i o n , w ca l s os t u d i e d a na l g o r i t h mb a s e do nn o n p a r a m c t r i ce s t i m a t i o nc a l l e dm e a ns h i f t d i f f e r e n tf r o m p a r a m e t r i ce s t i m a t i o n , m e a ns h i f td o e sn o tn e e da n yo t h e rp a r a m e t e r so n c et h et a r g e t i sd e f i n e d a n di ta l s oc a nc o m p u t et h eg r a d i e n to fp r o b a b i l i t yd i s t r i b u t i o n s om e a n s h i f ti sc o m b i n e dw i t hm c m ct oo p t i m i z ep a t i c l ea n db e t t e rr e s u l t sa r ea c h i e v e d 4 k e yw o r d s ：t a r g e t st r a c k i n g ；m c m c ；f o e ；m e t r o p o l i s - h a s t i n g s 山东大学硕士学位论文 j - - - mn p 量i 皇寡鼍詈鼍 a m c m c r 朋c m c m c m c e k f 唧 s t f t m f o e pf s i s 英文缩略词 a d d e dm a r k o vc h a i nm o n t ec a r l o r e v e r s i b l ej u m pm a r k o vc h a i nm o n t ec a r l o s h o r tt u n ef o u r i e rt r a n s f o r m p a r t i c l ef i l t e r 5 山东大学硕士学位论文 l 皇量詈詈皇鲁詈量量摹量_ 舅詈詈置詈鼍曩置鼍詈昌量量曼量鼍暑! 詈詈曼詈詈鼍鼍! ! 鼍鲁詈皇皇旨目皇| 葛i1 1 t , 皇皇皇鼍皇 第一章绪论 1 1 课题研究的背景及意义 近年来，计算机视觉的研究领域得到了空前的发展，使其得以在导弹视觉制 导、战场态势感知、机器人视觉导航、智能监控、自动驾驶、交通管制、医疗诊 断、虚拟现实等军事和民用及科研方面大放光彩。得益于这些研究，基于视频的 研究和应用也越来越多，例如视频跟踪，视频目标识别等。视频目标跟踪作为计 算机视觉的一个重要分支，是位于最底层的运动检测之上的，是后续模式识别、 视频压缩等高级视觉应用的基础，正引起越来越多人的关注与研究。 视频跟踪作为一个新兴的研究方向，融合了诸如计算机视觉、模式识别、人 工智能等学科的跨学科技术。常常被应用在以下几个方面。 ( 1 ) 智能交通方面。智能交通系统，能够提供提供诸如交通堵塞、交通事故 等突发状况的信息，为驾驶者提供宝贵的帮助。也能跟踪嫌疑肇事车辆，为侦破 交通事件提供资料，节省人力警力。借助图像分割和模式识别技术，甚至可能跟 踪识别车辆车牌，检测违规车辆等。 ( 2 ) 智能监控方面。当前，越来越多的摄像监控系统被应用在生活的各个方 面，比如车站、银行、电梯、学校甚至住宅区。这些系统，为安保工作带来了便 捷，为构建和谐社会贡献着力量。但是，这些技术并未真正的做到智能监控，无 法脱离人工干预。借助于视频跟踪技术，能使之真正做到智能化，主动检测人的 异常情况，比如入侵行为、骚乱等，并主动报警，达到了监控的智能化。 ( 3 ) 人工智能方面。人机交互是计算机工作的基础，智能的人机交互系统能 根据人的行为对设备进行智能操作，比如通过眨眼来控制电脑的开关、通过挥手 来选择电视频道，而这些实现的基础，便是对人的行为的检测和跟踪。 ( 4 ) 国防科技方面。在国防方面，目标的检测跟踪定位是必要并关键的。并 且在导弹的智能导航方面，无人机的操控方面也有着不可替代的作用。 ( 5 ) 视频压缩方面：如基于内容的视频压缩标准m p e g 4 在压缩图像过程中， 将图像处理成若干个v o p 平面，各个平面可以共享背景信息，因此只需存储目标 6 山东大学硕士学位论文 在各个v o p 平面的位置就可以了，这就大大提高了压缩效率。 ( 6 ) 人体的行为识别：如基于步态的人的身份识别的应用，基于人的面部特 征的身份识别的应用等等。 ( 7 ) 环境探测方面。随着科技的进步，人类对陌生领域的探测是无止境的。 比如和航天技术一起发展起来的外太空探测，以及和潜水技术发展起来的海洋生 物资源探测方面，运动目标的检测跟踪是这些技术发展的重要基础。 水域尤其是海洋，作为生命的发源地，一直是人类研究和认知的重点方向， 保护与开发水域环境是摆在人类面前的一个巨大的机遇与挑战。2 1 世纪以来， 随着科技的发展，海底探测方法和工具得到不断提高，尤其是水下潜艇和机器人、 水下摄像头等技术的出现，为人类进一步探测水底世界带来的新的契机。如果能 利用好这些珍贵视频，对其进行有效地目标跟踪处理，势必为进一步海洋生物行 为生态的研究打下坚实基础。正是基于此点，本课题将着重对水下生物的视频跟 踪进行研究。 1 2 视频目标跟踪的研究综述 基于视频的跟踪是根据输入的视频图像序列，分析图像序列中物体的运动形 态。运动目标跟踪是指利用目标物体的显著特征，比如颜色、形状、边缘等特征， 根据一定的匹配算法，在视频序列中搜寻与目标特征最相符的位置。目标跟踪实 现的主要问题有以下几个方面： ( 1 ) 完整地分割目标； ( 2 ) 合理地提取特征： ( 3 ) 准确地识别目标； ( 4 ) 选择合适的搜索算法，也要兼顾考虑算法的实现效率，以便达到实时处 理。 经过国内外多年的研究，运动目标跟踪已经取得一定的成绩。目前最常见的 对待跟踪问题的思路是把跟踪过程看作是状态估计过程，即贝叶斯估计问题，属 于参数估计的范畴。主要的解决方案有以下两种：一种是假设状态的变化过程是 线性的，噪声是高斯的，故此问题可以用线性方程的方法来解决，卡尔曼滤波 ( k a l m a nf i l t e r ) 是最具代表性的方法之一；第二种状态变化就少了这些约束， 7 山东大学硕士学位论文 可以是非线性非高斯的过程，可以利用非线性滤波方法求解，常用方法有扩展卡 尔曼滤波( e x t e n d e dk a l m a nf i l t e r - e k f ) 和粒子滤波法( p a r t i c l ef i l t e r ) 。这几种方 法是从运动分析角度来讲的。除了以上几种跟踪方案，基于图像匹配的m e a n s h i r 方法、基于光流的光流分割法等都受到了广泛应用。 i 、光流法 光流分割法是一种基于运动分析的跟踪方法，因为目标和背景之间的速度往 往是不同的，而本方法正是通过这一点来检测运动目标，它的假设前提是图像灰 度分布的变化仅仅是由于跟踪目标和背景的运动引起的，在此基础上进行运动估 计，忽略考虑光照阴影等外部光源变化。光流计算【l 】最早由h o r n 和s c h u n c k 提 出；而在1 9 9 6 年，r y u z o ，o k a d a 等人才根据光流以及边缘等信息，进行了运动 目标跟踪的研究【2 】；谭春健和张田文等人在国内也应用光流法进行了目标检测 和跟踪，并取得一定的成果 3 】。 尽管光流分割法具有较强的抗干扰性，但是对外部光照考虑不足，仍不能有 效处理目标运动造成的背景遮挡、显现以及孔径等问题，而且计算量偏大，导致 效率不够高，有的甚至还需要特定的硬件支持。假如光照强度或光源方位等外部 光源发生一定的变化，就会产生较为严重的错误结果【4 】。 2 、卡尔曼滤波 卡尔曼早在在1 9 6 0 年就提出了卡尔曼滤波理论【5 ，6 】，这标志了现代滤波理 论的成功建立，这也是第一次有人将现代控制理论中的状态空间思想，引入最优 滤波理论，用状态方程描述系统的动态变化模型，用观测方程描述系统的观测过 程，并且这种方法对事变系统、多维信号以及非平稳信号同样有效。 卡尔曼滤波法阴用于预测是一个通过递归法求取最优化解的数据处理算 法，对于很大部分的问题，解是最优的，而且效率是最高甚至是最有用的。但是 该方法有很大的限制，就是卡尔曼滤波器提出时是只适用于线性系统的，并且测 量过程也被要求是线性的。为了解决这些问题，许多改进方法被纷纷提出，比如 扩展卡尔曼滤波e k f ( e x t e n d e dg a l m a l lf i l t e r ) 和无味卡尔曼滤波u k f ( u n s e e n t e d k a l m a nf i l t e r ) s 1 0 1 等方法。对于线性系统，u k f 和e k f 几乎具有同样的估计能 力，但是对于非线性问题，u k f 方法更胜一筹。而且这些算法不是最优的，也 不够完美，比如当目标处于强机动多运动模型的状态下，在跟踪精度及稳定性上， 8 山东大学硕士学位论文 这些跟踪方法往往不够好。关键的是，尽管这些方法已经改进了k a l m a n 跟踪， 能够解决一部分非线性问题，但是这些方法仍有着致命的缺陷，即无法使用于非 高斯系统，这一点，严重制约了其运用。 3 、粒子滤波方法 在实际跟踪当中，绝大部分系统模型很难满足线性高斯的要求，而往往都是 非线性和非高斯的情况。对于这样的系统，卡尔曼滤波以及其改进方法，已经不 足以满足现实情况的需要，这样研究粒子滤波则更为有意义。 粒子滤波法 2 0 】是一种基于重点采样的算法，是贝叶斯方法和蒙特卡罗方法 相结合后产生的一种新的算法。当其适用于目标跟踪时，它是一种基于特征的跟 踪方法。其根本思想路是获得一系列带有权重的随机抽样，通过这些样本和权重 来表征目标状态的后验概率分布，最后通过样本值和权重得到所要求的目标的状 态变量。粒子滤波算法对系统是否为线性、噪声高斯分布、后验概率也是高斯型 的条件无特殊要求，这正是适用性高于卡尔曼滤波法的原因【1 l 】。 ? 在处理这些非线性非高斯的跟踪问题时，粒子滤波首次被g o r d o n 等【1 2 】应 用到状态估计过程中，而且粒子滤波不受非线性非高斯问题的限制，所以在视频 目标的监视与跟踪【1 3 】、机动目标跟踪 1 4 】、导航、障碍规避【1 5 】等方面得到了广 泛的应用【1 6 】。 4 、m e a ns h i f t 方法 7 m e a ns h i l l 跟踪算法是一种基于统计概率密度非参数估计的方法，并且是能 最优地搜寻最大概率密度值的梯度上升算法。作为跟踪方法使用时，能出色解决 两帧图像中运动目标的匹配问题。在跟踪算法具体实现的过程中，目标的特性被 核概率密度所描述，比如说颜色，将对目标的颜色特征进行核函数直方图建模。 在接下来的图像帧中，利用b h a t t a c h a r y y a 系数迭代地计算候选目标与被匹配目 标的相似性，进而使得具有最大相似性的候选目标位置成为目标的最终位置。 f u k u n a g a 1 7 等人在1 9 7 3 年，首次提出m e a ns h i f t 前后用法不一致方法，其 含义即偏移的均值向量，后来随着该理论的发展，其含义发生了变化，现在表示 一个迭代的过程。c h e n gy i z o n g 1 8 等人定义了一族核函数，将m e a ns h i f t 算法 引入到计算机视觉领域。并且在2 0 0 3 年，c o m a n i c i u 1 9 等人首次将m e a ns h 逾 应用到目标跟踪中，拉开了m e a ns h i f t 算法在目标跟踪中研究的序幕。 9 山东大学硕士学位论文 量皇皇鲁詈q 一 一, p 毫皇皇置詈鼍皇鼍詈毫量皇量昌量詈葛鼍皇量鼍 在目标跟踪领域中，m e a ns h i f t ：除了具有快速稳定的优点外，还有一些很好 的性质，具体说来： ( 1 ) 该算法实时性好，且具有较高的跟踪精确度； ( 2 ) 该算法是一个单参数算法，和别的算法结合应用比较容易实现； ( 3 ) 该算法常采用核函数直方图建模，对边缘阻挡、目标的运动形变以 及背景的运动都不敏感，具有较高的鲁棒性。 因为这些优势，该方法在跟踪领域得到了非常广泛的应用。 1 3 视频目标跟踪的难点和算法的评价 以上几种跟踪方法虽然已经基本能实现对目标的可靠跟踪，但是一般都要求 一定的限制条件，超出这些条件，结果往往不尽如人意。并且这些算法本身存在 一些难以克服的瓶颈问题。再有，由于应用环境的复杂性和多样性，目前尚没有 出现一个能普遍适用于一切环境条件的算法。其中，下面几个方面是视频跟踪主 要面对的困难，能否解决这些问题是基于视频的跟踪走向实用化的关键，也是评 价一种算法优越性的标准： ( 1 ) 目标问相互作用时，比如碰撞发生后，出现目标的跟丢，跟错； ( 2 ) 目标有遮挡存在时，出现目标物跟丢，跟错； ( 3 ) 对铰接目标的运动，易于出现多跟； ( 4 ) 目标运动姿势变化或出现形变，也出现跟丢，跟错； ( 5 ) 外部光源发生变化时，易发生跟踪错误； ( 6 ) 同一个目标，多次进出场景，能否正确区分，不使计数重复： ( 7 ) 所做监控系统跟踪速度慢，无法达到实时性，这也是算法优越性的主要 标准之一。 系统说来，对目标跟踪算法的评价，可以从以下三个方面进行评判： ( 1 ) 精确度问题：在相同的人工参与的情况下，算法应该具有非常低的漏检 率、误检率，并且能得到运动目标的精确状态，比如目标的大小、形状甚至精确 地边缘等信息。 ( 2 ) 算法复杂度：在能达到一定的效果前提下，算法的复杂度尽可能的小， 保证较快的速度。 l o 山东大学硕士学位论文 ( 3 ) 算法的通用度问题：跟踪算法应该对跟踪目标的先验知识( 颜色、形状、 运动类型等) 的依赖程度尽量低【2 4 】，能够适应不同的应用环境。 1 4 论文的主要研究与创新 本文将主要研究基于m c m c 粒子滤波以及其改进算法来实现目标的跟踪， 并详细研究了多重经典跟踪方法。然后结合f o e 对该算法在摄像头前进中进行 改进。针对m c m c 算法效率不高的问题，提出一种改进的m h 抽样方法。并将 m e a a s h i t l 算法与m c m c 方法相互结合。通过仿真实验，证明改进方法的有效性。 全文分为章，具体如下： 第一章为绪论，主要介绍运动目标跟踪在计算机视觉以及相关领域中的用 途，说明本课题研究的目的和意义，并对视频跟踪的国内外发展现状进行综述， 最后阐明目标跟踪所面临的主要困难。 第二章将系统介绍几种经典的跟踪算法，这些算法对曾经对目标跟踪理论的 进步作出过巨大的贡献，并且在一定的场合仍有巨大的应用空间。应用于线性系 统的k a l m a n 滤波法、能解决非线性问题的粒子滤波方法、粒子滤波基础上改进 m c m c 粒子滤波方法以及能跟踪目标数目改交场景的r j m c m c 粒子滤波方法， 详细描述了滤波理论及实现步骤，而且对这些方法进行了科学的实验仿真，并展 示比较了其效果。 第三章着重讲r j m c m c 基础上的新算法一a m c m c 粒子滤波，该方法不 仅能高效稳定的跟踪目标数目改变多种场景，而且计算量远远小于r j m c m c 方 法，实时性强。动态背景的情况下，引入了一些静态背景不会存在的问题，因此， 由于背景运动造成的f o e 点被引入了动态场景的跟踪，并将其与a m c m c 方法 相互结合。 第四章改进的m - h 算法。m e t r o p o l i sh a s t i n g s 是m c m c 方法实现的常用方 法之一，有许多优势，然后速度不快，实时性不易实现。提出一种改进的m h 方法，基于贪婪算法，采用一种分段的抽样函数，能较为有效地解决这个问题。 第五章m e a ns h i f t 与a m c m c 相结合的跟踪算法。首先描述m e a n s h i t t 的具 体算法，然后将其与a m c m c 算法相互结合。最后给出m e a n s h i t t 算法以及新的 结合算法的仿真。 山东大学硕士学位论文 本论文的主要创新之处： ( 1 ) 为了解决动态场景下的跟踪i l l 题，引入了f o e ，并用f o e 的位置估算 由于场景运动引入的误差量。由这些估算值对具体中的跟踪算法进行补偿，获得 了改善的跟踪效果，这种方法，尤其适应于场景平行前进或者后退的情况。 ( 2 ) 提出一种改进的m e t r o p o l i sh a s t i n g s 方法，m - h 方法的提出，为整个的 统计学引入了新的活力，使过去许多不可实现的方法成为了现实。但是，这种方 法还有许多有待改进之处。本文提出一种基于贪婪准则的改进方法，通过一定的 改动，使抽样建议进一步的集中在重要区域，提高了抽样效率。 ( 3 ) 将a m c m c 方法与m e a n s h i f t 方法相互结合使用，提高了跟踪性能。m e a n s h i f t 算法，在追寻目标方面有着很好的表现。通过其与m c m c 方法的结合，能 够使抽样在可能性最大的区域和方向进行。提高抽样效率，提高了跟踪精度。 1 2 山东大学硕士学位论文 第二章经典跟踪算法研究 经过多年研究，许多用于视频跟踪的经典方法纷纷被提出。这些前人留下的 方法，现在看来，虽有不足之处，但在当时却得到了广泛的应用，为目标跟踪的 研究发展，起到了巨大的推动作用，也为后人的研究，提供了极大地支持，开拓 了研究思路。 本章中，将会详细介绍k a l m a n 滤波法和粒子滤波法用于跟踪的思路及实现 手段，但是在上一章我们提过，k a l m a n 方法和粒子滤波法在一定的约束条件内 均可以用于跟踪，但是超出这个约束，这些算法将会失效。因此，我们还将介绍 使用更为广泛的m c m c 2 9 方法，这种方法不仅使用范围比上两种广，而且能很 好地实现目标的交互作用，跟踪稳定。 为了便于理解和描述，我们从一般系统来看。常见的系统模型和观测方程有 如下表达式 + 12 研】+ ( 2 1 ) z f2 峨】+ _ ( 2 2 ) 这其中，研】和j j i 【】可能是线性的，也可能是非线性的，实际系统一般为 非线性的函数。置是t 时刻的状态变量，它通过一组参数( 数目、位置、高宽 和形状等) 来描述图像序列中目标的实际状态；五被称作观测量，状态量对我 们而言一般是不能直接获得的，而观测量是所能知道的和所能掌握的信息，比如 目标的边缘信息、颜色等；w 和q 为互不相关的、均值为零的过程噪声和观测噪 声。 在具体讲述各种算法之前，有必要先了解下前景检测和目标观察模型的问 题，因为这是我们能够进行跟踪的基础。成功地将运动目标从场景中分割出来， 是跟踪的前提，这正是前景检测所要做的工作；而跟踪过程，是离不开观测数据 的，而观测数据的正确获得，是建立在良好的观测模型的基础之上的。 山东大学硕士学位论文 2 1 前景检测与系统的观测模型 2 1 1 前景检测 前景检测是指从图像序列中将变化区域( 运动目标) 从背景中分割提取出来。 这一步骤处于整个视频监控系统的最底层，是诸如目标跟踪、分类、行为理解等 各种高级后续处理的基础，没有前景检测，这些方法不过是空口之谈。 目前最经典的也是最常用的前景检测方法主要有三种：第一种是光流法 【2 5 ，2 6 1 ，通过光流估计序列图像中每个像素的运动场，然后将相近的运动矢量进 行合并，进而区分背景和前景；第二种方法是帧差法【2 1 】，它是通过时间序列图 像的相互差分来测定前景，实现起来较为简单；第三种方法是背景差分法 2 2 ，2 3 1 ， 通过图像与训练建立的背景帧差分的方法来检测运动目标。 下面对这三种方法进行简单分析。 ( 1 ) 光流法 不同于实际空间，在描述图像平面中的运动时，我们不能直接使用运动场。 所幸的是，我们可以通过图像序列中像素点的灰度分布的变化来体现。而光流场 恰是用来反映图像上每一个灰度值在空间中位置的变化情况，这样在图像序列 中，我们就可以通过光流场来描述空间中的运动场。光流能近似地求取图像中某 个灰度值在观测瞬间的速度，而光流场可用来表征整幅图像灰度模式的运动。 通过光流场来进行前景检测的主要思想是在整个光流场中，不同区域的光流 运动有着不同的变化，而在同一目标上的灰度点有着近似的光流变化。正是基于 这一点，利用光流运动的特点，在获得图像的光流场之后，可采用最小相似性规 则的聚类方法对图片进行分割，获得运动目标。 光流场不仅能够检测静态背景的图像序列，也可以检测运动场景下的目标， 适用于多重场景，适应性很强。而且该方法不需要预先知道场景的信息，有很高 的独立性，所以得到了非常广泛地应用。然而该方法也有其局限性，比如在目标 灰度比较单一不容易区分或者灰度变化很大的情况下，往往造成检测错误。而且， 像一般基于光流的方法一样，光照的变化能对其产生致命的影响。在一些特殊场 景下，即使光流计算正确，也不能正确表征物体实际的运动。 ( 2 ) 帧差法 1 4 山东大学硕士学位论文 固定场景下，排除光照因素和噪声的影响，背景的变化一般说来是可以忽略 的，而只有前景是在变化的。相邻或者相近的两帧之间进行差分之后，背景区域 就近似变为零，而只有前景区域为非零值。帧差法又叫做时间差分算法，它的基 本原理正是基于以上的条件，首先计算图像序列中两帧图像的灰度差值，然后对 图像进行平滑去噪等处理，再通过阈值来判断目标。 用o ，力来表示当前帧，_ ( x ，y ) 表示另外一帧，o ，力表示一具体像素的 坐标位置，帧差法就是通过两帧相减，最后用阈值来判决前景。 e c 毛y ，= 巨芝：二乏芝宝隹善 q 司 其中，e 伉y ) 为前景图像，可为判断阈值。 帧差法有着原理和实现都很简单、处理速度快、并且对光线变化不敏感等优 点。但是当两帧相邻的纹理信息比较少时，会产生很大的空洞；并且检测出来的 相对运动区域与物体位置并非完全一致，尤其是运动较快时，如果帧选取不好， 物体被拉伸扭曲变化的非常严重；并且对背景的扰动不够鲁棒，如河流、摆动的 枝叶花草等，很容易出现检测错误，对检测结果影响较大。 ( 3 ) 背景差分法 简单的背景差分是把图像序列中当前帧和背景帧相减来确定图像中的运动 目标，当然条件是背景是已知的，是静态背景下目标检测的常用方法。把当前帧 设为t ( x , 力，背景帧用b t ( x , 力表示，则有： 互伍y ) = l ：it化(x,yy)一-互bt心(x,叫y)l- 来获得，因此该区域的颜色直方图可以表示为： g 。；的= k u 未) 研刀一包) 】，其中k 为归一化的系数，使颜色直方图为一个概率 分布的形式，万是冲击函数，力表示直方图的横坐标。 为了增强颜色直方图的识别性，我们引入核函数的思想其中最为常见的是 基于像素点相对位置进行权重调整的方法，即不同位置处的颜色对目标的识别起 着不同的作用，越接近目标的中心，其作用越大，就给其一个较大的权重。这种 垡( 刀；d = k 形【d ( u ) 】研甩一6 f ( u ) 】 方法常被称为位置核函数颜色直方图： r ( 工) ， 其中d ( = 8 旦8 代表点u 距离区域中心点的归一化距离，砜为目标区域中 心，而形( x ) 表示权重，一般根据实际情况来构造。 在实际应用中，由于技术的限制，一般情况下目标区域的边缘并非是精确的， 反而其中包含着很多的背景像素，为了降低边缘区域的影响，可以采用高斯核函 矿( x ) = 亡e x p ( 一南) 数来处理目标区域，即取： 2 万万 2 扩。由于高斯函数的作用，这样 处理以后，获得的颜色直方图中几乎可忽略目标区域边缘像素点的影响，而加重 区域中心周围像素点的权重，突出其作用。 这样，跟踪中目标的颜色特征就通过颜色直方图进行了量化。用于跟踪时， 目标跟踪要比较目标候选区域的特征与目标的特征，就是要比较两个区域颜色直 方图的相似度，为后续处理提供依据。通常的，我们把基于颜色直方图的 b h a t i 勰h a 巧y a 距离p 嘲作为颜色相似度的衡量标准。假设两个区域的归一化颜色 直方图为q 和，其b h 龇a c h 哪距离定义如下： d ( q ，马) = ，l 一q ( f ) 马( d 1 8 山东大学硕士学位论文 鲁置詈量皇皇皇囊暑量皇詈! ! 曼鼍暑皇毫量皇皇暑皇皇墨皇皇鼍! 皇鲁蔓皇詈皇曼皇詈暑舞皇葛皇曼曼鲁暑鲁i i 皇量皇暑皇置量鲁鼍皇量皇鲁量曩 其中d ( 且，马) 取值范围为【0 ，1 】，由公式可以看出，两个相同区域颜色直方 图的b 氏距离为0 ，而相应的，两个完全不同的归一化颜色直方图的b 氏距离为 1 。 2 2 贝叶斯统计算法 贝叶斯方法是将未知参数看作是随机变量，使用先验概率和当前观测信息计 算后验概率。其实质是用已有的信息来构造系统状态变量的后验概率密度，即通 过得到的观测序列z h ( 乙= ( z l ，互) ) 来计算实际状态五。那么我们会得到不同 的置信度p ( 五z l ，) ，从而得到五的最优估计。根据观察向量和已知的状态向量 推导现在状态的预测方程为： p ( 五，z n i ) 2j p ( x , x , 一1 ) p ( 五- l z j ：卜1 ) 玛一l ( 2 1 1 ) 这个式子也叫做c h a p m a n - k o l m o g o r o v 方程。 根据贝叶斯理论，其更新方程为： p c x , z 1 一= 鼍裂 2 面瓦l 忑* p ( z t x 7 1 p ( x t _ i ) p ( x t _ 1 z 1 t _ 1 ) d r t 一1 ( 2 1 2 ) 因为观察过程是相互独立的，其中p ( z f z 0 - 1 ) 可以归一化为一个常数，我们 用c 来代替它，然后将( 2 1 1 ) 式带入( 2 1 2 ) 式，得到 v ( x , z 1 ：f ) = c 叫p ( 乙) f p ( x , x , 一1 ) p ( x t l z 1 ：f 一1 ) d x t 一1 ( 2 1 3 ) 2 3 卡尔曼滤波法( k a i m a nf ii t e r ) 在跟踪问题中，方程式( 2 1 3 ) 只是概念上的表达式，对于大多数的真实系 统，一般无法求出其最优解。而要求取其近似解，处理思路主要有两种，其中一 是系统模型比较特殊，则有可能推算出最优解，比如卡尔曼滤波法。 k a l m a nf i l t e r 应用于跟踪是根据上一帧的状态值x t - 1 和当前帧的观测值z t 1 9 山东大学硕士学位论文 递归推算出当前帧的状态值x t 的跟踪方法。它是用状态方程和递推方法进行估 计的，因而卡尔曼滤波对信号的平稳性和时不变性不做要求，这扩大了其应用场 景。 其状态方程可表示如下： x ( k + d = ( 七) x ( d + 形( 七) ( 2 1 4 ) 其观测方程有以下表示式： z ( 七) = 日( 七) z ( 七) + y ( 后) ( 2 1 5 ) 其中，x ( k ) 是系统状态向量，z 是观测系统状态向量，( k ) 是状态转移 矩阵，h 是观测矩阵，w 是系统状态的随机干扰噪声向量，v 是观测噪声 向量。k a l m a n 滤波能准确跟踪是有条件的，即必须工作在线性高斯系统中。在 这个跟踪系统中，要求( k ) 和h ( k ) 为线性的，v 和w 为不相关的协方 差不变的高斯分布白噪声，其值为q 、r 。 其具体步骤如下： ( 1 ) 根据系统模型和上一个状态量，来预测下一个状态的值。假设现在状 态为x ( k + 1 ) ，上个状态为x ( k ) ， x ( k + l i d = ( 七) 工( 七i 七)( 2 1 6 ) 、 ( 2 ) 计算估计状态的协方差， p ( k + ll 七) = ( 七) p ( 七ij i ) 。( d + q( 2 1 7 ) 其中p ( k + lik ) 是x ( k + lik ) 的协方差，p ( kik ) 是x ( ki 七) 的协方差，x ( kl 七) 是上一状态的最优估计，( 七) 是o ( k ) 的转置矩阵。 ( 3 ) 结合预测值和测量值，求取现在状态的最优估计。 x ( k + ll 七+ 1 ) = x ( k + 1lk ) + k g ( z ( k + 1 ) - h ( k ) x ( k + 1i 七) ) ( 2 1 8 ) 其中，磁被称为卡尔曼增益或者修正矩阵，常用以下表达式， k g 取产p ( k l k - 1 ) i - i ( i - ip 0 c l k - 1 ) h + r )( 2 19 ) ( 4 ) 最后计算当前状态下最优估计的协方差， p ( k + ll k + 1 ) = ( i - k g ( k ) h 0 c ) ) p 0 c + li k ) ( 2 2 0 ) 山东大学硕士学位论文 詈| 量鲁詈詈皇置皇_ | - 巴皇皇鼍詈昌| _ 昌昌皇詈皇量| 目皇_ | 鼍置毫自曹皇皇皇皇_ 鲁皇皇鼍 一m - - - - - 葛 到此，整个的滤波过程就可以无限的循g - f 去 3 s 。可以表示成下表， 图2 2 l l n 妯滤波方法示意图 下图是i l n m 用于跟踪的一个粒子，跟踪一个在屏幕上做圆周运动的点的 实验截图，红色的点( 前方独立的点) 是被跟踪位置，绿色点( 远离独立点的点) 是根据上一个位置和运动方程所预测的位置