（模式识别与智能系统专业论文）视频图像运动目标跟踪技术的研究.pdf

江苏大学硕士学位论文 摘要 近几十年来，随着计算机技术的发展，视频目标跟踪系统广泛 应用于各领域。视频目标跟踪往往由于复杂的背景图像和目标尺寸 的变化变得非常困难。尽管人们对视频目标跟踪进行了较广泛的研 究，并提出了许多有效的跟踪方法，但是迄今为止该课题仍然存在 许多尚未解决的问题。 本文首先综述了课题的研究背景和意义，分析了国内外的研究 现状以及发展趋势，并对本文的研究重点和工作安排作了简要说 明。由于目标尺寸变化以及遮挡对目标跟踪的影响比较明显，所以 本文的研究重点为如何处理跟踪过程中目标尺寸的变化和目标的遮 挡。 运动目标的检测是视频目标跟踪的基础，主要包含图像预处 理、运动目标检测方法及形态学处理。本文对这三方面的内容进行 了深入的理论分析，并对运动目标检测方法进行了实验。实验结果 证明方法的有效性，为后续的跟踪提供准确的目标模型。 运动目标跟踪方面，首先对目标跟踪的理论进行了分析，包含 传统的目标跟踪算法、预测算法以及相似度度量方法，并对 m e a n s h i f t 跟踪算法与k a l m a n 滤波器进行了深入的研究。本文针对 传统的m e a n s h i f t 算法的不足，提出了k a l m a n 滤波器修正方案，主 要包含目标位置的预测与修正方案、目标模型的及时更新方案以及 遮挡处理方案。实验证明将这三种方案结合起来能够有效地处理无 尺寸变化目标的遮挡跟踪。 针对尺寸变化目标的跟踪，本文在m e a n s h i f t 算法与k a l m a n 滤 波器的基础上，将多尺寸空间的目标信息度量方法与k a l m a n 滤波器 相结合，提出了一种对目标尺寸进行预测与修正的k a l m a n 滤波器方 案。实验证明该方案能够自适应选择合适的目标尺寸进行跟踪。在 此基础上，将该方案与无尺寸变化目标的遮挡方案相结合，提出了 尺寸变化目标的遮挡处理方案。实验证明该方案能够很好的处理尺 江苏大学硕士学位论文 寸变化目标的遮挡跟踪。 关键字：m e a n s h i f t ，k a l m a n 滤波器，信息度量，遮挡，目标尺寸 江苏大学硕士学位论文 a b s t r a c t w i t hd e v e l o p m e n to fc o m p u t e rt e c h n o l o g yi nr e c e n t d e c a d e s ， t r a c k i n gt a r g e to fv i d e os y s t e mh a sb e e nw i d e l ya p p l i e di nv a r i o u sf i e l d s i ti sd i f f i c u l tt ot r a c kt a r g e tw i t ht h ec o m p l e xb a c k g r o u n da n dt h ec h a n g e o ft h et a r g e ts i z e t h e r ea r em a n yp r o b l e m sw h i c hc a n t tb er e s o l v e d ， a l t h o u g hp e o p l eh a v eb e e ni n - d e p t hr e s e a r c h e sa n dp r o p o s e dav a r i e t yo f e f f e c t i v em e t h o d s f i r s to fa l l ，t h et h e s i ss u m m a r i z e st h er e s e a r c hb a c k g r o u n da n d s i g n i f i c a n c eo ft h et o p i c ，t h e na n a l y s e st h ed e v e l o p m e n tt r e n da n dc u r r e n t s i t u a t i o n f i n a l l y ，i tg i v e st h eb r i e fi l l u s t r a t i o n sa b o u tt h ee m p h a s i so f r e s e a r c ha n de v e r ys t e p t h ee m p h a s i so f r e s e a r c hi sh o wt od e a lw i t ht h e c h a n g eo ft a r g e ts i z ea n dr e s o l v et h eo c c l u s i o np r o b l e mb e c a u s ei tc a l l o b v i o u s l yi n f l u e n c et h et a r g e tt r a c k i n g t h em o v i n gt a r g e td e t e c t i o ni st h eb a s eo ft a r g e tt r a c k i n gi nv i d e o i t c o n t a i n si m a g ep r e p r o c e s s i n g ，t h em e t h o d so ft h et a r g e td e t e c t i o na n d m o r p h o l o g i c a lp r o c e s s i n g b e s i d e s ，t h e t h e s i sa l s o g i v e s s o m e e x p e r i m e n t sa b o u tt h et a r g e td e t e c t i o n t h ee x p e r i m e n t a lr e s u l t ss h o w t h a tt h em e t h o d so ft a r g e td e t e c t i o na r ee f f e c t i v e s oi tc a ng i v et h ee x a c t m o d e lf o rt h et a r g e tt r a c k i n g i nt e r m so ft h et a r g e tt r a c k i n g ，f i r s to fa l l ，t h et h e s i sa n a l y s e st h e t h e o r yo ft h et a r g e tt r a c k i n gw h i c hc o n t a i n st h et r a d i t i o n a la l g o r i t h m s ，t h e f o r e c a s t a l g o r i t h m s a n dt h e s i m i l a r i t y m e a s u r em e t h o d s t h e ni t r e s e a r c h e st h em e a n s h i f ta l g o r i t h ma n dk a l m a nf i l t e r f i n a l l y ，i t p r o p o s e ss o m en e wm e t h o d su s i n gk a l m a nf i l t e ri no r d e rt or e m e d yt h e s h o r t a g e so fm e a n s h i f ta l g o r i t h m i tc o n t a i n st h em e t h o do ff o r e c a s t i n g t h et a r g e tp o s i t i o n , t h em e t h o do fu p d a t i n gt h et a r g e tm o d e la n dt h e m e t h o do fr e s o l v i n gt h eo c c l u s i o np r o b l e m t h ee x p e r i m e n t a lr e s u l t s 江苏大学硕士学位论文 s h o wt h a ti tc a nt r a c kt h em o v i n gt a r g e tw i t hf i x e ds i z ew e l lw h e nt h e t a r g e ti so c c l u d e d t or e s o l v et h ec h a n g eo ft h et a r g e ts i z e ，t h et h e s i sp r o p o s e san e w m e t h o do ff o r e c a s t i n gt a r g e ts i z ew h i c hc o m b i n e st h et a r g e ti n f o r m a t i o n m e a s u r ea n dk a l m a nf i l t e r t h ee x p e r i m e n t a lr e s u l t ss h o wt h a ti tc a n t r a c kt h et a r g e tw e l lw i t ht h e a d a p t i v es i z ew h e nt h et a r g e ts i z eh a s c h a n g e d b e s i d e s ，t h et h e s i sp r o p o s e san e wm e t h o dt od e a lw i t ht h e t a r g e to c c l u s i o nw h i c hc o m b i n e st h et a r g e ti n f o r m a t i o nm e a s u r ea n dt h e a n t e r i o rm e t h o do fd e a l i n gw i t ht h et a r g e to c c l u s i o n t h ee x p e r i m e n t a l r e s u l t ss h o wt h a ti tc a na l s os e l e c tt h ep r o p e rt a r g e ts i z ew e l lw h e nt h e t a r g e ti so c c l u d e d k e yw o r d s ：m e a n s h i f t ，k a l m a nf i l t e r , i n f o r m a t i o nm e a s u r e ，o c c l u s i o n ， t h et a r g e ts i z e 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论 文的规定，同意学校保留并向国家有关部门或机构送交论 文的复印件和电子版，允许论文被查阅和借阅。本人授权 江苏大学可以将本学位论文的全部内容或部分内容编入有 关数据库进行检索，可以采用影印、缩印或扫描等复制手 段保存和汇编本学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密 学位论文作者签名： m 力年多月莎日 指导教师硌撼及 易年z 其号b 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的 指导下，独立进行研究工作所取得的成果。除文中已注明 引用的内容以外，本论文不包含任何其他个人或集体己经 发表或撰写过的作品成果。对本文的研究做出重要贡献的 个人和集体，均已在文中以明确方式标明。本人完全意识 到本声明的法律结果由本人承担。 学位论文作者签名： 日期：2 年b n弦群 江苏大学硕士学位论文 第l 章绪论 1 1 课题的研究背景和意义 计算机视觉已经成为人工智能领域最热门的课题之一，与专家系统、自然语 言理解一起成为人工智能最活跃的三大领域f 1 j 【2 l 。计算机视觉起源于人工智能的 一个梦想，让计算机能够像我们人类一样进行视、听、说和思考，辅助人类对环 境进行感知、解释和理解。随着计算机技术的进一步发展，有理由相信人工智能 的梦想离现实越来越近。 视频处理系统由传统的模拟方式进入了数字式的网络时代。与模拟系统相 比，数字视频处理系统以计算机为处理核心，除了能够实现多媒体信息处理如压 缩、传输、存储和播放等基本应用之外，还能够针对目标一级进行检测、跟踪、 识别、行为分析等处理。它可以实时监视真实场景，获取实时的视频数据，提取 和跟踪场景中的目标，记录目标的活动过程，通过计算机的自动分析，产生对目 标活动状态的理解，从而向监控人员提供简洁有效的目标监控信息。能够大量减 少人力物力，提高监控性能，保证人员以及财产安全。 运动目标的检测与跟踪是视频处理领域的一个重要的课题。现实生活之中， 大量的有意义的视觉信息包含在运动之中。尽管人类既能看见运动的又能看见静 止的物体，但是在许多场合，如交通流量的检测、重要场所的保安、航空和军用 飞机的制导、汽车的自动驾驶或辅助驾驶等，往往只对运动的物体感兴趣。因 此，研究运动目标的检测和跟踪问题，有很大的理论意义和应用价值。 视频跟踪技术，融合了图像处理、模式识别、人工智能、自动控制以及计算 机等众多领域中的先进技术和核心思想。视频跟踪系统，与传统雷达系统相比， 采用摄像机和光学系统等比较廉价的设备，并且是被动式工作模式，工作时不向 外辐射无线电波，不易被敌方的电子侦察设备发现，因此具有更高的性价比、一 定的隐蔽性和抗电子干扰能力。“眼见为实”的视频跟踪系统，从视频监视器上 能直接看到运动目标的图像，可以获得关于运动目标更丰富的信息，因此具有很 好的直观性和可靠性1 3 】【4 】。 运动目标跟踪是视觉处理研究的核心内容，其典型应用主要包括： ( 1 ) 军事上的应用主要包括自动驾驶飞行器、自动目标跟踪、无人驾驶车辆 等。 ( 2 ) 智能机器人任务执行，通常机器人为了执行某些任务，需要能够在它的环 境中跟踪目标。在智能机器人的应用中，跟踪技术用于从安装在机器手上的运动 的摄像机中拍摄物体，计算运动轨迹，选择最佳姿态抓取物体等。 - 1 - 江苏大学硕士学位论文 ( 3 ) 安全场合智能监控，智能监控系统的需求主要来自那些对安全要求敏感的 场合，如银行、商店、停车场等。监控摄像机在商业中的应用需要监控系统能够 自动分析摄像机捕捉的图像数据，自动完成对复杂环境中的人和车辆进行实时观 测以及对感兴趣目标的行为进行分析和描述。 ( 4 ) 交通监管系统中的监控，现代社会的高节奏生活导致了交通的浮燥。基于 此而出现交通违规和不文明现象时，目标检测与跟踪显得尤其重要，从而大大减 少了交通管理的麻烦。 ( 5 ) 医学高科技的需求，现代高科技的发展促使医学的向前跃进，而医学生物 微观上的研究却与目标追踪密不可分。包括对微观细胞的追踪观察、人工植入器 官的跟踪观察等。 当然，除了以上的应用外，目标跟踪还存在很大的应用范围和前景。我们更 关心的是现实生活中的应用。涉及到最多的还是各种生活环境中的监控。传统的 监控系统主要是通过一些传感器如温度传感器、压力传感器和电接触传感器等来 实现的，现在已经逐步出现了可视化的监控系统。人们对基于视频图像的监控系 统的智能化要求越来越迫切，而运动目标的跟踪在视频图像处理中占据极其重要 的地位。 1 2 国内外研究现状及发展趋势 国外对于视频跟踪理论的研究起步较早。美国自然科学基金委员会及美国军 方对复杂环境下多目标的动态检测、识别以及跟踪的算法的研究及其应用非常重 视。美国自然科学基金多次资助有关公司进行相关算法研究，美国国防部 ( d e p a r t m e n t o fd e f e n s e ，d o d ) 、美国国防部高级研究项目署( d e f e n s ea d v a n c e d r e s e a r c hp r o j e c ta g e n c y ，d a r p a ) 、美国陆军夜视及电子探测设备委员会呷g h t v i s i o na n de l e c t r o n i cs e n s o r sd i r e c t o r a t e ，旧d 1 、美国陆军s b i r ( s m a l l b u s i n e s si n n o v 撕o i lr e s e a r c h ) 项目，美国海军水下战事中心( n a v yu n d e r w a t e r w a r f a r ec e n t e r ，n t r w c ) 等部门也先后投巨资资助该类算法的开发及其相关应用 研究并取得可观的成果。在2 0 世纪5 0 年代初期，g a c 公司就为美国海军研制开 发了自动地形识别跟踪系统( a u t o m a t i ct e r r a i nr e c o g n i t i o na n d n a v i g a t i o n ( s y s t e m ) ，a t r a n ) 。8 0 年代初期，自适应跟踪和智能跟踪的思想相 继提出，美国国防部d a r p a 和j s g & c c 联合发起和成立了自动目标识别工作组 a t r w g 。许多国际学术会议和期刊也包含了这一领域的最新研究成果，如： h t c o n f o nc o m p u t e rv i s i o na n dp a t t e r nr c c o g n i t i o n ( c v p r ) 、i n t c o n f o nc o m p u t e r v i s i o n ( i c c v ) 、e u r o p e a nc o n f o nc o m p u t e r v i s i o n ( e c c v ) 、a s i a nc o n f o nc o m p u t e r v i s i o n ( a c c v ) 、i n t c o n f o np a t t e r nr e c o g n i t i o n ( i c p r ) 、i n t j o u m a lo fc o m p u t e r v i s i o n ( i j c v ) 、i e e et r a n s o np a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e 口a m i ) 、 2 江苏大学硕士学位论文 i e e et r a n s o ni m a g ep r o c e s s i n g 、p a t t e r nr e c o g n i t i o n 、i m a g ea n dv i s i o nc o m p u t i n g 等。 运动目标跟踪是利用目标的点、线、区域块等特征与在连续帧中检测出的目 标进行匹配，得到最佳匹配的目标作为运动目标的后继。目标跟踪按照背景的复 杂度可以分为简单背景跟踪以及复杂背景跟踪，按照目标数量的多少可以分为单 目标跟踪以及多目标跟踪。其研究主要涉及到提高对运动目标的搜索速度和提高 目标匹配的准确性两方面。 随着图像设备的不断发展，图像跟踪技术也日趋完善。在图像跟踪技术中， 可以通过图像传感器来获取连续的图像序列，然后通过相应的算法来获得目标运 动的相关信息，比如位置、线速度、姿态角等。在比较先进的图像跟踪系统中， 通常采用图像雷达或望远镜及c c d ( c h a r g e c o u p i e d d e v i c e s ) 构成的地面图像探测 设备来获得图像序列，利用一些典型的边缘检测算子来检测图像的边界并确定目 标的位置。 在许多情况下，图像序列可以通过各种不同的设备获得，比如数码摄像机等 大众化的电子产品设备。使用设备简单，易于进行实物仿真，这正是图像跟踪和 其他跟踪方法的最大差别，也是图像跟踪能得到迅速发展的主要原因。实时的视 频跟踪系统还需要解决下列几个难题： ( 1 ) 图像的外界影响：现实中图像成像模型受到物体自身的材质、外界光源、 摄像机的视角和距离、透明度和遮挡等诸多因素的影响，并且像素值与此多因素 之间的依赖关系是非线性的，像素值的变化往往掩盖了图像变化的真正原因； ( 2 ) 运动目标的部分及完全遮挡：背景对目标的遮挡以及目标之间遮挡是视频 跟踪系统中一个难题，遮挡是造成目标的图像表达突然变化的重要原因之一，并 且这种变化具有突然性和不连续性，从而容易导致跟踪算法的失效； ( 3 ) 运动目标的尺度伸缩变化和形变：在跟踪过程中目标的平移或者旋转运 动，引起与摄像机的距离和视角发生变化，会造成目标图像的尺度伸缩变化和形 变，这些变化会造成目标图像表达的非线性变化，从而导致跟踪的失效； ( 4 ) 目标模板的更新：由于运动目标在跟踪的过程中伴随着尺度变化、形变以 及场景光线亮度的变化，需要定义合理的模板更新策略，避免运动目标的漂移； 目前比较常用的跟踪算法有如下几种：基于目标运动特征的跟踪算法，如图 像差分跟踪算法、基于目标光流特征的跟踪算法等；基于跟踪序列前后相关性的 目标跟踪算法，如模板相关算法、基于特征点的相关算法等；以及一些基于目标 特征参数的跟踪算法，如基于目标轮廓的跟踪算法、基于目标特征点的跟踪算法 等。另外还有很多学者将小波技术、模式识别、数学形态学、人工智能技术、神 经网络技术等应用于目标的检测跟踪算法，取得了很好的应用效果。这些算法各 有其优缺点，分别适用于不同的应用场合。 - 3 - 江苏大学硕士学位论文 具有代表性的跟踪算法有以下几种： ( 1 ) 基于区域的跟踪 5 1 1 6 1 基于区域的跟踪方法是根据与运动目标相关的图像区域的变化性来进行跟 踪。将当前帧与背景参考帧相减可以得到运动的区域。它采用运动估计或区域分 割的技术，主要依靠诸如纹理和运动的整体区域特征。基于区域的非刚体目标跟 踪与刚体目标跟踪方法在本质上没有太大的区别，非刚体的跟踪通常是把非刚体 区域划分为几个刚体区域分别进行跟踪，然后利用非刚体形成的若干准则将运动 区域合并。w r e n 等人川在跟踪单个人体时将人体划分为头、躯干和四肢等几个刚 体部分，分别进行跟踪，然后根据人体的几何结构信息将跟踪到的运动区域进行 合并，从而达到跟踪人体的目的。一些基于区域的车辆跟踪也己有了成型的系 统，如美国联邦公路管理局( f e d e r a lh i g h w a ya d m i n i s t r a t i o n ) 支持喷气推进实验室 ( j e tp r o p u l s i o nl a b o r a t o r y , j p u 开发的c m s 移动系统i s 。虽然基于区域的跟踪方 法在某些场合能较好的跟踪目标，但是它不能可靠的解决目标之间存在遮挡的情 况，而且这种从区域级图像获得的跟踪结果本质上讲仍然是运动目标检测的过 程，不可能得到目标的三维状态。基于区域的跟踪方法也无法适应背景复杂的场 合以及多目标的跟踪。 伪基于动态轮廓的跟踪【9 1 【1 0 l 基于动态轮廓的跟踪方法是将目标描述为边界轮廓来跟踪目标的，在后续的 帧中边界轮廓会进行动态的更新【1 1 l 【1 2 】【1 3 】【1 4 1 。该方法直接提取了目标的形状，提 供了对目标更有效的描述。与基于区域的跟踪方法相比，基于动态轮廓的方法对 目标的描述简单而有效，减少了一定的计算复杂度，甚至在有干扰或存在部分遮 挡的情况下仍然能跟踪目标。但这种方法在跟踪开始时需要初始化目标轮廓，因 此对初始化的位置比较敏感。如果初始化的位置比较接近运动目标，那么算法就 能够在尽可能短的时间里锁定目标并持续跟踪，反之会存在丢失目标的情况。而 且该方法的跟踪精度被限制在轮廓级，很难在图像平面中根据目标的轮廓信息恢 复目标的三维状态。 ( 3 ) 基于特征的跟踪1 1 5 - 1 7 l 基于特征的跟踪方法先从图像帧中提取特征基元，然后将基元分类到高层特 征，最后通过在图像帧中匹配高层特征来跟踪和识别目标。该方法又可细分为： 基于全局( g l o b a lf e a t l l r e - b 勰e d ) 特征的方法【堋、基于局部0 0 c a lf e a t u r e b a s e d ) 特征的 方法【1 9 1 和基于独立图形( d e p e n d e n c c 伊a p h - b 勰c d ) 的方法1 2 0 1 。基于特征的跟踪方法 利用目标的运动信息等各种特征可以跟踪存在部分遮挡的目标，但不能有效的处 理全部遮挡、重叠及干扰等情况。 基于特征的方法通常包括两个过程： ( a ) 特征选取 4 江苏大学硕士学位论文 图像特征是由于景物自身的物理与几何特性受环境影响从而使图像中一定区 域的信息产生明显变化而形成的。因此某种图像特征的存在代表着该局部区域中 有较大的特征信息量，并且可以从图像中加以区分出来。图像特征的提取，即从 图像中提取有用的特征信息。从广义上讲，图像的特征是图像中局部明显可分 的、本原的特征或属性。从区域划分看，特征有点特征、局部特征、整体特征； 而根据特征的表示可分为亮度特征、颜色特征、点线特征、方向特征、边缘特征 扫蟹 宇0 由于图像特征的多样性，如何提取能唯一表征该目标的特征在运动目标分析 中就显得极为重要。通常，特征的选择是依据用户所关心的问题来考虑的。既有 点、线、面这类相对简单的特征，也有复杂结构关系的图形或较为完整的物体图 像。选择简单的特征有利于图像特征的提取和检测，但是不利于特征之间的匹 配；而选择复杂的特征有利于简化匹配的难度和复杂度，减少误匹配。如何从图 像中检测和提取图像特征本身就具有一定难度，且由于特征目标本身在运动的情 况下可能出现较大的特征变动，使得定义特征本身具有相当大的难度。 c o ) 特征匹配 获取了目标的特征信息，进而需要对该特征进行逐帧匹配，就是要在图像序 列中为特征建立一一对应的关系。这一直是一个非常棘手的问题：假设图像序列 共有万帧图像，每帧有m 个特征，则在整个过程中一共需要建立起肌! 【”m 种特 征对应关系，因此这是一个组合爆炸问题。如何从这么多的组合中，选择出正确 的对应关系也存在着相当的困难。另外，特征匹配也存在着容错性差的问题，当 某一帧出现特征对应错误的情况下，后续图像序列的对应也将受前面错误的影 响，从而导致错误的蔓延和扩散，影响最终跟踪结果。由以上分析可知，解决特 征匹配问题必须引入某些约束机制，如：有最大速度约束、加速度恒定约束、运 动的刚性约束等。最大速度约束表明运动的速度存在着某个上限，因此特征在一 定的时间间隔运动距离的变化不大；加速度恒定约束则说明特征运动的平滑性； 运动的刚性约束则对目标上的刚体运动的特征作行为约束，即相同刚体上的特征 在运动过程中相互距离保持不变，具有相同的运动参数。只有图像特征被提取和 正确匹配后，才能进行相应的运动分析工作。 ( 4 ) 基于模型的跟踪【2 1 】阎。 基于模型的跟踪需要利用先验知识，跟踪的过程就是将运动区域与目标模型 匹配的过程。基于模型的刚体跟踪方法与基于模型的非刚体跟踪方法差别很大， 而具有刚体特性的代表性目标是车辆，具有非刚体特性的代表性目标是人体。因 此，基于模型的跟踪又分为基于模型的人体跟踪和基于模型的车辆跟踪。基于模 型的人体跟踪采用预测一匹配一更新的工作模式【2 3 1 。首先，下一帧的人体模型状 一5 一 江苏大学硕士学位论文 态由先验知识和历史跟踪记录进行预测。然后，将被预测的模型投影n - 维图像 平面上与图像数据进行匹配，这时候需要一个特殊的状态估计函数来度量投影模 型和图像数据的相似性。最后，根据不同的搜索策略，找到匹配的人体状态，并 更新模型。基于模型的车辆跟踪中车辆模型的建立要易于人体模型的建立。由于 刚体形态不变的特性，车辆模型不用时刻进行更新，可以在数帧后更新，或匹配 时相似性超过一定门限时进行更新。基于模型的跟踪与其他跟踪方法相比具有以 下优点：由于有先验知识的支持，该方法具有较好的稳健性，能够在有干扰和 遮挡的情况下得到较好的结果；( b ) 用于人体跟踪时，可以将人体结构、人的运动 约束及其他先验知识融合使用；( c ) 用于三维跟踪时，只要校正好相机，设置好二 维图像坐标与三维真实世界坐标的对应关系，就可以获得目标的三维状态。当然 基于模型的跟踪方法也具有不足之处，如在跟踪前必须有相应目标的模型结构、 计算量大等。 现在该领域还有其他新颖算法不断涌出，正是这些新算法的涌出，才促使这 种技术的蓬勃发展。 1 3 主要的研究内容与工作安排 如前所述，运动目标的跟踪是计算机视觉、运动图像编码、基于内容的检 索、安全监控等视频分析和处理的关键步骤。本文的研究内容主要有三个方面， 一是对尺寸变化目标的自适应跟踪；二是目标跟踪过程中的遮挡处理；三是将前 面两个结合起来，处理跟踪过程中尺寸变化目标的遮挡问题。 本文提出了目标信息量度量方法，将其应用到目标尺寸的预测与修正中来， 将其与m e a n s h i f t 算法和k a l m a n 滤波器结合起来对尺寸变化目标进行自适应跟 踪，并处理跟踪过程中的遮挡问题。 论文共分为七章，组织结构如下： 第1 章绪论 介绍了课题的背景和研究意义，对运动目标的检测与跟踪做了简要的概述。 第2 章运动目标的检测 介绍了运动目标检测所涉及到的相关理论，主要包括：图像预处理、运动目 标的检测方法以及形态学处理。 第3 章运动目标跟踪的理论基础 主要介绍了常用的几种目标跟踪算法，并分析了目标跟踪中用到的一些基础 理论，如滤波算法，相似性度量方法。 第4 章基于m e a n s h i f t 与k a i m a n 的无尺寸变化目标的跟踪 主要讲解了m e a n s h i f t 算法的跟踪过程以及k a l m a n 滤波器在跟踪过程中对目 标遮挡、目标位置预测与修正以及目标模型更新方面的应用，并通过实验证明了 6 江苏大学硕士学位论文 算法的有效性。 第5 章尺寸变化目标的自适应跟踪 详细讲解了目标信息量的理论，并将其与k a l m a n 滤波器结合起来对目标尺 寸进行预测与修正，从而能够对尺寸变化的目标进行自适应跟踪，并在此基础 上，将其与遮挡策略相结合对尺寸变化目标的遮挡问题进行处理。 第6 章运动目标跟踪系统的设计与实现 主要根据前面分析的算法进行视频图像目标跟踪系统的设计以及实现。 第7 章总结与展望 对本文的一个总结，包括本文的主要工作和得出的实验结论，以及对本课题 今后努力方向的展望。 7 江苏大学硕士学位论文 第2 章运动目标的检测 2 1 图像预处理 由于天气的变化、光照的变化、传感器的类型选择、目标运动时造成的运动 模糊等因素，在采集的图像中必然夹杂着各种类型的噪声，图像降质是不可避免 的，这些噪声的存在，使得运动目标的检测成为一项具有一定难度的工作，因此 在处理和分析图像之前，有必要对图像进行预处理。图像预处理主要用于消除图 像的基本噪声，增强图像对比度等，以改善图像质量，使图像变得较为清晰，便 于后续的处理和分析，如目标检测、分割等。因此图像的预处理结果直接影响到 整个图像分析过程。目前图像预处理方面的算法比较成熟，如采用平滑或空间低 通滤波滤除噪声、采用直方图均衡化来增强图像对比度等等。在对实际场景下的 运动目标图像作预处理时，需要考虑实际图像特点，主要是消除图像的基本噪声 和增强图像对比度。 图像滤波是去除图像噪声最常用的方法，主要可分为空域滤波和频域滤波方 法。为了消除噪声或突出图像的某些特征，常需要对图像进行平滑或锐化，根据 其特点和功能可分为线性平滑滤波器、非线性平滑滤波器、线性锐化滤波器和非 线性锐化滤波器。常用的方法有邻域均值滤波、中值滤波、维纳滤波等图像滤波 方法。 2 1 1 均值滤波 均值滤波算法是一种简单且对高斯噪声具有良好抑制能力的方法，均值滤波 的基本思想是用几个像素灰度的平均值来代替每个像素的灰度。假定含噪图像 f ( x ，y ) 的大小为mx n ，滤波后得到的图像为夕( x ，y ) ，则 夕( 叫2 赤；否巾，) ( 2 1 ) 上式中是点似y ) 的领域。 滤波后的图像夕( 毛y ) 中的每个像素的灰度值均由似y ) 周围预定邻域中的几 个像素的灰度值的平均值来决定。这种方法通过把突变点的灰度分散在其相邻点 中来达到平滑图像的效果，相当于将图像信号通过一个低通滤波器。 该算法简单，计算速度快，对具有高斯噪声的均匀邻域进行平均化，取均值 是较好的估计。但当该邻域跨越两块区域边界时，由于两块不同区域的样本参与 运算，将导致边界模糊，特别在边沿和细节处，邻域越大，模糊度越厉害。现在 流行的替换方法是中值滤波，它用像素点邻域的中值代替像素点的值。 8 江苏大学硕士学位论文 2 1 2 中值滤波 中值滤波是一种基于排序统计理论的非线性数字滤波技术，其在实际运算过 程中不需要了解图像的统计特性。与线性滤波器相比，中值滤波可以有效地克服 线性滤波器所带来的图像细节损失，能够在保留图像边缘的同时有效地去除噪声 ( 对斑点和椒盐噪声尤其有用) ，因此获得了广泛的应用。设计思想是检查输入信 号中的采样点并判断其是否代表了信号，使用奇数个采样点组成的滤波窗实现这 项功能。并对窗口中的数值进行排序，位于滤波窗中间的中值作为输出。然后， 丢弃最早的值，取得新的采样点，重复上面的计算过程。 在数字图像中，由于数字图像是二维数据，因此中值滤波也是二维的。滤波 过程首先选取某种结构的二维滑动模板，然后将模板内像素按照像素值的大小进 行排列，形成单调下降( 或上升) 的数据序列。二维中值滤波输出为： g ( x ，y ) = m e d f ( x - i ，y j )( f ，) d 怕印 其中f ( x , y ) 为原图像，g ( x ，y ) 为中值滤波后的图像。d 为二维模板，一般 选用3 x 3 、5 x 5 的方形区域。 计算中值比计算邻域的平均值需要用更多的时间，因为必须对邻域像素值进 行排序，但现在有很多改进的快速排序算法用来加快处理时间。在许多图像分析 任务中，中值滤波在图像增强方面作用是巨大的。 2 1 3 维纳滤波 维纳( 最小均方) 滤波的基本思想是使去噪后的图像于o ，) ，) 与含噪图像f ( x ，y ) 的均方误差最小。它考虑了有关噪声性质的先验信息，能根据图像的局部方差调 整滤波器的输出，是一种自适应滤波技术。误差的度量由下式给出： 矿= 【，( 而y ) 一厂( 而) ，) 】2 ( 2 3 ) 其中e ) 表示期望值。如果对式( 2 3 ) 的解没有约束，则最优估计于就是理 想图像，在条件g 下的条件均值。一般而言，最优估计是图像g 的非线性函数。 如果估计，是图像g 中数值的线性组合，那么式( 2 3 ) 的最小化是容易的，且估计 于接近理论上的最优。记维纳滤波器的傅立叶变换为h 。，则原始图像，的傅立 叶变换f 的估计户可以由下式得到： 讯叻= 风 ，垆而矛f ( 2 4 ) 其中日是维纳滤波器的传递函数， “，i c 代表复数共扼，鼠，是噪声的频谱密 度，s ，是未受噪声污染图像的频谱密度。 当摄像机与目标有相对运动时会产生运动模糊，维纳滤波可以消除运动模糊 9 江苏大学硕士学位论文 得到清晰的图像。另外，维纳滤波对摄像机焦距不当所产生的模糊也有较好的复 原效果。 维纳滤波在图像复原领域已经成为非常成熟的技术，但它也存在一定的局限 性。式( 2 4 ) 中的s ，是指未受噪声污染图像的频谱，考虑到滤波的目的就是为了 确定未受噪声污染的图像，那么该信息一般难以得到。维纳滤波的最优是基于最 小均方误差的且对所有误差等权处理，但这是一个在数学上可以接受的标准，当 图像复原的目的是供人观看时效果并不好。另外，在静止场景的视频应用中，摄 像机固定不动，摄像机的焦距也是固定的，运动模糊与焦距模糊几乎不会发生。 因此在我们的视频系统中使用维纳滤波进行预处理并不能很好的利用维纳滤波的 优点，维纳滤波并不是最合适的预处理方法。 2 1 4 高斯滤波 g a u s s i a n 平滑滤波器是图像处理中使用最多的一种平滑方法，g a u s s i a n 平滑 滤波器后得到的平滑图像可以表示为： 厂( x ，y ) = f ( x ，y ) 幸g ( x ，y ) ( 2 5 ) 小川= 丽1e x p l 一等) ( 2 6 ) 其中仃是高斯低通滤波器特征参数，不同莎的g a u s s i a n 滤波器具有不同的平 滑程度，取g a u s sia n 滤波器的作用范围为d m = 3 仃得： m y - - - 膈= 窆- d ) 去唧( - 可 ( 2 7 ) 膈 e 矗2 叫“f ( x - m , t - n y 。”。 m 。2 。_ n 2 g a u s s i a n 平滑滤波器可以去除类似于高斯白噪声等类型的噪声，但同时会使 图像边缘模糊。通过调节滤波器窗口大小，使得图像边缘的模糊程度不影响以后 各个算法的正常运行。 2 2 运动目标检测方法 图像序列中的运动目标检测是一个重要且十分困难的研究领域，在实现运动 补偿、视频压缩编码、视频理解时都需要用到运动目标的检测。一般来说，视频 理解主要关注于视频流中运动对象的识别和分析，滤除图像中与运动对象无关的 信息。运动目标的正确检测将大大提高后续跟踪的准确性。 目前常用的运动目标检测方法主要有两种：第一种是帧差分法，帧差分法是 基于时间序列图像上的差分图像实现运动目标的检测。第二种是背景差分法，背 景差分法是基于图像序列和背景参考模型相减实现运动目标的检测。 1 0 江苏大学硕士学位论文 2 2 1 帧差分法 帧差分法渊是利用视频序列中连续的帧图像的差异进行目标检测和提取，是 晟为常用方法之一，其思想是利用视频图像序列相邻帧中像素的变化进行目标检 测，主要通过像素时间差分以及阈值二值化提取运动目标。 帧差分法中的阈值处理相当关键，因为过低的阈值不能有效的抑制图像中的 噪声，过高的阈值将抑制图像中有用的变化。运动变化阐值的选择通常取决于场 景光照和摄像机等外界具体环境条件。阈值选择可以分为全局阐值和局部阈值， 通常在图像中不同光照区域引起的噪声也不相同，因此采用局部阈值能更好的抑 制噪声。 通过帧差分法检测到的运动目标仍然存在噪点及漏洞等缺陷所以需要将其 进行相应的形态学处理，使其更准确。帧差分法又分为：相邻二帧差分法和三帧 差分法，一个基本的相邻二帧差法的运算过程如图21 所示。 叫形态学处理j - 4o 标提取l 图z 1 相邻二帧差分法流程图 f i 醇1t h e f l o w c h a r t o f t w o * m m 咖 图21 是连续二帧图像间作像素时问差分及阈值处理来提取图像中的变化区 域，从而提取出运动物体轮廓，其处理效果如图23 所示。 圜冈 第l 帧第2 帧 圈2 2 相邻二帧差分法实验图 f i 9 2 2t h ee x p e a m e n “t a r g e to f ”o - h m e d m m 咖 相邻帧差分散果( 二值化后)形态学娃理后的效果 图2 3 相邻二帧差分法效果圈 f i 鲒3t h ee x p e r i m e n t a lr e s u l t o f t w c - f _ r a m e - d i f f e r e n c l n g 1 1 ， 江苏大学硕士学位论文 从图23 可以看出，相邻二帧差分法检测出来的运动目标并不是报准确，这 主要足由于受目标的运动而产生的背景影响，为来减小运动背景带柬的影响，所 以现在一般使月j 的相邻三帧差分法1 2 5 l 来提取运动目标。 三帧差法数学表达式如下： m l “d = 。稿df g 州g d 一正。( i ，州 ( 2 8 ) 啡班 警”墨岔7 其q j 几( f ，d 为三帧差分法图像第一帧，f a ，) 为第二帧，f + 。a ，d 为第三 帧，叶a ，d 为三帧变化部分图像，经过选取适当的闽值t ，就能区分前景与背 景，分离出运动目标，m “j ) 即为中间帧运动目标二值化罔。 厶当71 、竺k 唰至丑亘h 三困 么亘严压三k 爿三三r _ ：压三歹 圉2 4 三帧差分法流程图 r 9 2 4m e f l o w c h a r t o f t h n e d d n g 图24 为三帧差分法提取运动目标的流程图其主要是麻用连续三帧图像的 像素差分法得到中问帧的运动目标这样可以减小由于目标运动而产生的背景影 响，得出更准确的运动目标。其处理效果如图26 所示。从图中可以看出由于减 小了目标运动带来的背景髟响，三帧差分法比相邻二帧差分法检测到的运动目标 更加准确，更符合实际的目标。 圜闲圈 第1 帧第2 帧第3 帻 图2 5 三帧差分法实验图 f i 醇5t h e # x p e r i m t a l t a r g e t o f n 抽雎- d i r m g 帧差分散果( 二值化厉)形态学处理后的效果 图2 6 三贞差分 去效果图 f ；9 26m c c x l x t i m c n t a lr e s i m0 f t w o 由砌c 埘e 眦吨 江苏大学硕士学位论文 2 2 2 背景差分法 帧差分法直接反映相邻帧间的图像变化，但在目标运动较快时，易形成目标 重叠，影响分割效果；如当场景同时在变化时，就很难准确定位目标；目标如果 静止。则该方法完全失效。背景减除法能很好的解决这类问题，基本思想是通过 输入图像与参考模型进行比较进而分割运动目标，从而保证了目标的完整性。该 方法可以看作足一种特殊的帧差法，即将相邻的前一帧用背景模型替换反映了 运动目标所在环境的信息流程圈如圈27 所示。 图2 7 背景差分 击流程图 f i 醇7 恤o f l a w e h 州。f 此b 扯蛔。蚰d 蛐b t r a c i i 衄 设t 时刻视频