（模式识别与智能系统专业论文）基于图像序列的运动目标检测与跟踪算法研究.pdf

山东大学硕士学位论文 摘要 运动目标检测与跟踪是计算机视觉研究的主要问题之一，它融合了图像处 理、模式识别、自动控制、人工智能以及计算机等许多领域的先进技术，在军 事视觉制导、视频监控、医疗诊断、智能交通等方面都有广泛应用，因此本课 题研究具有重要的理论意义和实际价值。 本文主要针对图像序列中的运动目标检测与跟踪算法进行研究，首先讨论 了静态场景下常用的运动目标检测算法，然后重点研究了基于相关跟踪技术的 目标跟踪算法，以及基于均值漂移算法的目标跟踪算法，并针对其存在的问题 做出了有效地改进，提高了目标跟踪的稳定性和鲁棒性。论文的主要工作有： 静态背景下的运动目标检测方面，主要研究了瞬时差分法、背景减除法、 基于背景图像模型的方法以及阴影检测与去除的方法。针对瞬时差分法提取目 标不完整的缺点，本文采用基于块差的运动检测算法，使用自适应阈值对帧差 图像二值化，然后采用形态学等后处理，实现了对目标更加精确的提取。 目标跟踪算法方面首先研究了相关跟踪算法，针对多点相关跟踪算法运算 量大，不能满足实时跟踪的缺点，提出了一种改进的自适应阈值序列的s s d a 算法对模板在图像中按行、列遍历的顺序转变为从图像中心点开始，按螺 旋方式向外遍历，并且只将对应于二值化模板图像中像素值为l 的像素参与匹 配计算，使得匹配求相似度的运算点完全集中在目标像素，减少了计算量， 提高了匹配精度，同时采用模板尺寸修正及动态模板更新的方法，保证了跟 踪的准确性。 然后研究了均值漂移跟踪算法，针对均值漂移算法在目标跟踪过程中没有 考虑目标实际的宏观运动，在严重干扰情况下容易跟踪失败的问题，提出了结 合目标位置预测的改进的均值漂移算法。算法对跟踪过程中的干扰进行检测， 根据目标所受干扰的强弱，采用不同的比例因子将k a l m m 滤波预测结果与均 值漂移算法得到的跟踪结果进行线性组合，改进算法有效利用了目标的空间位 置信息，提高了跟踪的可靠性。 在均值漂移算法基础上，研究了连续自适应均值漂移( c 锄s 1 1 i f i ) 算法， 该算法在跟踪过程中能够自适应调节跟踪窗的尺度，但是局限于简单背景下的 山东大学硕士学位论文 跟踪。本文提出了改进的c 锄s i l i f t 算法，在h s v 颜色空间采用背景加权三维 直方图建立目标模型，将输入图像转化为颜色概率分布图，然后根据目标的运 动强弱自适应地结合颜色概率分布特征图与目标的运动差分图像，当目标运动 速度较大时，赋予运动特征较大的权重；相反目标运动速度较小时，赋予颜色 特征较大的权重，有效地克服了背景中的颜色干扰。 关键词：目标检测；相关跟踪：序贯相似性检测；均值漂移；颜色直方图 山东大学硕士学位论文 a b s t r a c t m o t i o nt a 蝎c td t ：t e c d o n 柚d 订a c k i i l gi s 锄eo ft h em o s ti i i l p o n a i l _ ts u b j e c t si n 岫p 咖“s i o i l w m c hc o m b i n 铭a d v 锄砌t c c l l n o l o g i 龉i ni m a g cp i o c e s s i i l g ， p a 仕锄印m o n a u t o m a t i c n 仃o l ，a n i & i a li n t e l l i g c 0 l p m c r 觚d 础l 盯 l a l i v ef i e l d s nh 鹪b r o 棚ya p p l i e di i lm i l i t a | y 、，i s u a lm i 站i kg l l i d 锄c e ，、，i d e 0 s u r v e i l l a n c e ，m e d i c a li m a g ea r l a l y s i s ，i m e l l i g c n tm l r 嘲r t a l j o n 觚do t t l c r 矗e l d s ， t l l i s 翱【b j c c tf e 疵hh 舔i m p c 戚柚tt h c o r e t i c a ls i g n i 丘c a n c e 锄dp r a c t i c a lv a l u e t h i sp a p e fm a i l l l ya i 脚t os t i l d ya l 鲥t h mo fd e t e c t i o n 孤d 协l c k i n gm o v i 】【l g o b j e c ti ni m a g es e q i l e n c 船f i r g td e t e c t i o no fl n o 、r i n go b j e c 协i ns 蜥优珊r ys c e n ei s d i i 玛辩d ，锄dt h e nt a r g c t t 瑚_ c k i n gb a s c d c o 鹏i a d m l 廿a c k 协gt c 涮q u ea n dm e a n s l i i f i a l g o r i t h ma 地d 如m e ds t u d i e d c o 璐i d e 血ge x i s t i n gp r o b l 坞e 彘拍v e i l p r w e da l g o r i t b i n sa p 嗍t c d ，s o 仃a c k i n gg t a b i l i t y 舡l dm b 咖e s s a 托i n c 佗a s c d t 1 1 em 面o rw o r i 【so f t l l i sp a p 盯a 酬唧i i i l 越i d 鹬f o l l o w s ： i nt h ed e t e c t i o no fm o 讽呜o b j e c 乜i ns 锄cb k g r o u n d ，t c 】叫) o r a lm 丘b r c n ， b a c k g r o 岫ds u b 晚c t i o i l a l g o 删b mb a s c do nb a c k g m di i i l a g ei n o d e l ，s h a d o w d e t 。c t i o n 铀d 锄o v a 王a l g 鲥m mh a wb c s t i 【i d i c d s i l l c eo 巧e c t 抛矗o n 啷i n g t e l n p o r a ld i 虢崩脱a l g o r i t b n li s 加ti n t 昭咖，ad e t e = c t i a l 酬t h mb a s e do nb l o c k n 厕o ni sa d o p t c d t h e nb i n a r yi m a g ei so b t a i n e db ya d 印t i v et l l s h o l d 孤dt l l r o u g h m 唧b o l o g i c a l 优筠s i n gm o f ea c c 啪t eo 巧e c te x n a c d i s 删i z e d i nt h cs t u d yo fc o r r e l a t i o n 蛐ga 1 9 0 r i t l l l i l a i l n i n gt ot h em l l l t i p l ep o i n t s c o r r c l a l i o na l g 晰m mh 雒c 哪p u t a t i a l 啪p l e ) 【i 以w i l i c hc 锄n o ts a t i s 句坨a l 血 仃i ( i n g ，锄i m p r o v e ds s d aa l g o r i t l l m 璐i n g 瓤印t i v el l l s h o l ds e q u e n i s p i d p o s e d c h 锄g e 位珂i d o n a ll i i l es c 姐t e i n p l a t ct o a r c h 丘d mt l l ec t e ro f 位 t e i i l p l a t ci m a g e 0 1 1 l yp i x e i sw h o 砌u ea r eo n cc 黜s p 啪i 血gt o 怆b i i l a r y t e i n p l a t ci m g ea 坨t a ：k e np a r ti nm em a t 幽gc a l c u la _ t i o 玛s i m i l a r i t yi sc 鲫p l e t e l y c o n c 撇do n 也et a f l 搏p i x e l s ，c o m p u t a l i a lc o m p l e 妇t yi sr c l l u c e d 锄d m a t c l l i n gp r i s i o ni si i l c 他a d t h w ea d o p tp a t t e n is i z ec o r r e c t i o na l l d 由删c t c m p l 8 把u i ，d a t e ，w h i c he 粥u 他t h ea c c u f yo f 舰c l 【i r l g i 山东大学硕士学位论文 t h e nm 嘲s h 嘏蚋c k i n ga l g 州t h mi ss t l l d i e d a i m i n gt om e 蛆s h i 致a l g o r 王t h m d o 嚣n o tu 辩m em o t i o ni n f 0 肌a t i o no ft a r g e tw i l i c hm a yf 越lt o 由随c kt a r g c tw h e n 幽e f ea r e r i o 璐d i s t l b a l l c e s ，柚i n l p r d v e d 纽翟e tt m c ，【j n ga l g 嘶t 胁b a s e do nm e 锄 s b j f t 趾dt a r g e tp o s i t i o np r e d i c t i o ni sp r o p o s e d a c c o r d i n gt 0d i 妊b f e n td i s t i l r b c e c i r c w n s 协n c e s ，a d o p td i 饪毫r e m a l ef a c t o 墙t oc o m b i i l ek a l m a nf i l t e r 删c t i o n s l l l tw i 也m 咖s h i r 仃a c k i n gr e s l l i t t h ei n l p m v e da l g o r i m m 脚k e s9 0 0 du o f s p ep o s m o no f t l l e 伽g c t ，廿a c k j n gf e n a b i l i 够i si l l c r s e d b a 鲐do nm e 越s h j 矗a l g o f i 血m ，c o 飙u s l ya d a 两v cm e a 【ls h i 矗a 王鲥t 妇i s t h e i ls t l l d i e d t h i sa l 鲥t l l mc 锄a d j u s ts c a l ew i t l lo b j e c td l 】r i n g 口a c k i l l gp i o c e 嚣，b u t 伽崎a p p l i e st o a c k 协r g e t ms 蛐p i eb a c k 铲a u n d a i li m p r o v c dc 锄s l l i 矗a l g o r i m m i sp f o p o s e d 1 h d i i n e 璐i o n a lb k 掣。岫dw e i g h t e dh i s t 0 蹦蚰i sb i i i l ti i lh s v c 0 1 0 rs p a 峨l h i n p u ti l i l a g ei sc o n v e r t e dt oc o j o rp r o b a b i l 毋d i g 啊b u t i o n 妇a g e a c c l d r d i n gt 0t a r g e tv e l o c i 坝c o m b i c o l o rp r o b a b i l i 哆d i s 砸b u t i i n l a g e 锄d d i 脑e 戚a li l l l a g ea d a p t i v e l y w h e i lt a r g dm o v c sm p i d l y n l ew e i g o f m 嘶o nc i sl l i g h e r ，o t h e n i s em ew e i g h to fc o l o rc u ei sl l i g h 钌w h c 札t a r g e tm o v e ss l o w l y ， 砌c h e 虢c t i v e l yo v e r c o m et l l ed i m 曲a n c e o f t 鼍l eb k g r 0 1 m dc o l o r 1 ( q ，w o r d s ：t a r g e td c t e c t i o n ；c o n l a l i o nn _ a c 虹n g ；s e q l l e m i a ls i m i l a r i 哆d e t e c t i 伽 刖g o r i l l n ；m c 雒s 1 1 i f t ；c o l o r h i 咖g r a m 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的科研成果。对本 文的研究作出重要贡献的个人和集体，均已在文中以明确方式标 明。本声明的法律责任由本人承担。 论文作者签名： 过! 耋 日期：塑至：丝 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同意 学校保留或向国家有关部门或机构送交论文的复印件和电子版，允 许论文被查阅和借阅；本人授权山东大学可以将本学位论文的全部 或部分内容编入有关数据库进行检索，可以采用影印、缩印或其他 复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：到噎导师签名： 山东大学硕士学位论文 第一章绪论 1 1 课题研究背景及意义 计算机视觉的研究目的是使用计算机代替人眼及大脑对景物环境进行感 知、解释和理解。随着计算机技术的不断发展，利用计算机来实现人类的视觉 功能成为目前计算机领域中最热门的课题之一。计算机视觉研究的一个重要方 面就是运动目标的检测和跟踪，它融合了计算机图像处理、模式识别、人工智 能及自动控制等诸多相关领域的知识，形成了一种能从图像序列中自动检测目 标，提取目标位置信息，自动跟踪目标的技术。 运动目标检测与跟踪在视频监控、虚拟现实、机器人导航、视频传输、医 学图像分析等许多领域有着广泛的应用，因此具有重要的实用价值和广阔的发 展前景。运动目标检测与跟踪的主要应用有： ( 1 ) 智能视频监控 智能化监控系统的需求主要来自那些对安全要求敏感的场合，如银行、商 店、停车场等。这些系统的特点是减少对人工的依赖，利用计算机视觉和视频 分析的方法自动分析摄像机拍录的图像序列，实现对场景中目标的定位、识别 和跟踪，并在此基础上分析和判断目标的行为。智能监控系统中采用的技术涉 及到计算机视觉、模式识别和人工智能中的许多核心问题，而对感兴趣目标实 时检测和连续跟踪是其中的首要环节，是基于视频的运动分析，行为理解等诸 多后续处理的普遍基础。 ( 2 ) 人机交互 传统的人机交互是通过计算机键盘和鼠标进行的，在高级用户接口领域中， 我们希望未来的计算机能够像人一样与我们更加容易和便捷的交流，如手势驱 动控制、手语翻译等。计算机无接触式的收集人在计算机前的视频信号，利用 计算机视觉的相关理论分析视频信号，分辨人的动作，明白人的意图，这种以 人为中心的人机交互界面是今后人机交互的发展方向。要实现以上技术，首先 要实现对人手和人脸的检测与跟踪。 ( 3 ) 运动分析 山东大学硕士学位论文 分割图像中的人体部分并在图像序列中跟踪分析感兴趣的关节运动，对于 建立人体的几何模型、解释人体的运动行为机制从而提高其运动性能有着积极 的推动作用，可以应用于体育运动、舞蹈训练中。如从大量的体育运动数据库 中进行基于内容的快速检索等。另外，人体的步态分析也可以作为独特的生物 特征用于人的远距离身份鉴别。 ( 4 ) 图像压缩 新一代的视频图像压缩编码标准m p e g 4 提出了一个视频编码的新概念一 一视频对象平面( v i d o b j e c tp l a n s v o p ) ，以实现基于图像内容的压缩。在压 缩编码过程中，视频中的场景被分割成若干个v o p ，不同v o p 根据其特点采 用不同的编码策略。这种方案具有很高的压缩比，同时具有良好的视觉效果， 便于进行基于内容的交互和查询。该技术难点在于如何在任意场景下实现对运 动目标的自动提取与分割，丙这也是视频跟踪所要解决的关键闯题。 ( 5 ) 交通检测 在交通系统中，目标跟踪研究也具有非常广泛的应用，主要包括交通流量 控制、车辆异常行为检测、行人行为判定等。道路上车辆异常行为检测在交通 事故的预防和事后处理中具有重要意义，其核心技术是如何分割和跟踪车辆并 对所跟踪车辆的运动轨迹进行判定。 除了上述民用方面的应用之外，基于图像序列的运动目标检测与跟踪技术 在军事领域，特别是制导和导航方面也有广泛的应用前景。 综上所述，研究运动目标检测与跟踪技术有很大的现实意义和应用价值。 1 2 国内外研究现状 运动目标检测与跟踪的主要工作可以分为运动目标检测和运动目标跟踪两 方面，这两方面是一个承接的关系，同时也相互影响。在过去的二三十年中， 人们对运动目标检测与跟踪作了大量深入的研究。提出了很多行之有效的方法。 如美国的m l tm e d i al a b ，c m u 的h 啪踬c o m p u t e ri n t e 血c ei n s t i t u t e ，m i c r o s o f t r e s e a r c h 的v e r s i o nt e c h n o l o g y g r o u p 等，国内的中国科学研究院计算所、哈尔 滨工业大学、浙江大学、清华大学等，也都取得了一定的成果。下面分别对当 前运动目标检测和跟踪的研究现状进行简单介绍。 2 山东大学硕士学位论文 1 2 1 运动目标检测方法 运动目标检测算法可以分为静态背景下运动目标检测和动态背景下运动目 标检测。静态背景下运动目标检测是指摄像机在整个监视过程是静止的；动态 背景下运动目标是指在监视过程中摄像机发生了移动，如平动、旋转或多自由 度运动。 静态背景下常用的运动目标检测方法有： ( 1 ) 瞬时差分法；瞬时差分法l l 刃是在连续的图像序列中两个或三个相邻帧 间，采用基于像素的帧间差分并阈值化来提取出图像中的运动区域。瞬时差分 运动目标检测方法对于动态环境具有较好的适应性，但一般不能完全提取出所 有相关的特征像素点，在运动实体的内部容易产生空洞。一种改进的方法是利 用三帧差分代替两帧差分，如v s a | “【3 】开发了一种自适应背景减除与三帧差分 相结合的混合算法，能够快速有效地从背景中检测出运动目标。 ( 2 ) 背景减除法：背景减除方法m 】是目前目标检测中最常用的方法之一， 它利用当前图像与背景图像的差分来检测运动区域。该方法一般能够提供完整 的特征数据，但对于动态场景的变化，如光照和外来无关事件的干扰特别敏感。 大部分研究工作者目前都在致力于开发背景模型，以减少动态背景变化对目标 检测的影响。如：h a r i t a o g l u 等【7 】利用最小、最大强度值和最大时间差分值为场 景中的每个像素建立统计模型，并周期性地进行背景更新：硒d d e r 等【3 】采用基 于卡尔曼滤波的自适应背景模型以适应天气和光照的变化。 ( 3 ) 光流法：光流法【9 ，埘根据连续的几帧图像计算各像素运动的大小和方 向，利用运动场区分背景和运动对象。如m e y e r 等【l l 】通过计算位移向量光流场 来初始化基于轮廓的跟踪方法，从而有效地提取和跟踪运动目标。光流法的主 要优点在于能够检测出独立的运动对象，而不需预知场景的任何信息；缺点是 大多数光流方法的计算比较复杂，且抗噪性能差，如果没有特定的硬件支持， 一般很难用于序列图像中运动目标的实时性操作。 运动目标检测还有一些其它的方法，如f r i d m 锄与r 鹏l 【1 2 】利用扩展的 e m 算法为每个像素建立了混合高斯分布模型，该模型可以自动更新，并能自 适应地将每个像素分类为背景、影子或运动前景，在目标运动速度缓慢的情况 山东大学硕士学位论文 下亦能较好地完成运动区域的分割，并可以有效地消除影子的影响；另外， s 廿i n g a 也提出了一种新的基于数学形态学的场景变化检测算法【，在变化的环 境条件下获得了相对稳定的分割效果。 动态背景下的运动目标检测由于目标与摄像机之间存在着复杂的相对运 动，所以检测算法要比静态背景下的运动目标检测算法复杂的多。常用的动态 背景下运动目标检测算法有块匹配法、光流估计法、图像匹配法以及全局运动 估计法等 1 2 2 运动目标跟踪方法 运动目标跟踪是确定同一物体在图像序列不同帧中位置的过程，当运动物 体被正确检测出来时，跟踪等价于在连续的图像帧问创建基于位置、速度、形 状、纹理、色彩等有关特征的对应匹配问题。目标跟踪的主要工作就是选择好 的目标特征和采用适当的搜索方法。根据匹配原理，把现有的跟踪方法分为基 于模型、区域、特征以及活动轮廓的跟踪【1 4 】。 ( 1 ) 基于模型的跟踪 基于模型的跟踪是通过一定的先验知识对所跟踪目标建立模型，然后通过 匹配跟踪目标，并实时更新模型。传统的运动物体表达方法有如下三种：( a ) 线 图法；目标运动的实质是主框架的运动，因此该表达方法将物体的各个部分以 直线来近似。例如i 渤u l o v a 【15 1 建立了人体骨骼的分层模型，用于单镜头视频 序列中的人体检测。( b ) 二维轮廓：该表达方法的使用与物体在图像中的投影 有关。如j u 等【1 6 1 提出纸板人模型，将人的肢体用一组连接的平面区域块表达， 区域块的参数化运动受关节运动的约束，该模型被用于关节运动图像的分析； ( c ) 立体模型：它是利用广义椭圆柱、球等三维模型来描述物体的结构细节， 因此需要计算更多的参数，匹配过程中的计算量更大。如w 砬h t e r 和n a g e l 【1 7 l 利用椭圆锥台建立三维人体模型，在连续的图像帧间匹配三维人体模型的投影 来获得人运动的定量描述，实现了单目图像序列中的人的跟踪。 ( 2 ) 基于特征的跟踪 基于特征的跟踪【博，1 9 1 是指根据目标特征利用某种匹配算法在图像序列中寻 找目标，进而跟踪运动目标。该算法通常包括特征提取、特征匹配以及计算运 4 山东大学硕士学位论文 动信息三个过程第一步，从图像序列中抽取显著特征，如拐角、边界、有明 显标记的区域对应的点、线等；第二步，在不同图像上寻找特征点的对应关系， 即匹配。匹配算法大多引入了刚性约束条件，已有的技术包括结构匹配、树搜 索匹配及假设检验匹配等。对于非刚性目标的跟踪主要是基于轮廓跟踪的方法， 包括主动轮廓模型和测量轮廓模型；第三步，根据某种相似性度量方法，确定 当前帧中目标的位置。 ( 3 ) 基于区域的跟踪 基于区域的跟踪算法基本思想是：把预先提取的运动区域作为匹配的目标 模板，设定一个匹配度量，然后在下一帧图像中匹配搜索目标图像，把度量取 极值时的位置判定为最佳匹配点。基于区域的跟踪算法由于提取了较完整的目 标模板，相对于其他跟踪算法能够得到更丰富的图像信息，因此广泛应用于跟 踪较小的目标或对比度较差的目标。近年来对基于区域的跟踪方法关注较多的 是如何处理模板变化时的情况【2 蚣1 1 ，这种变化是由运动目标姿态变化引起的， 如果能正确预测目标的姿态变化，则可实现稳定的跟踪。 ( 4 ) 基于活动轮廓的跟踪 基于活动轮廓的跟踪方法是利用一条封闭的参数化曲线来表达运动目标轮 廓，在由图像构造的特征场中通过极小化以曲线函数为参数的能量来进行动态 迭代，使得该轮廓能够自动连续更新。p a r a g i o s 与d e r i d l e 圆利用短程线活动轮 廓在图像序列中检测和跟踪多个运动目标。相对于区域跟踪方法，该方法计算 量小，如果开始能够合理分开每个运动目标并实现轮廓初始化，那么即使有部 分遮挡，也能连续的进行跟踪，但是初始化轮廓通常是很困难的 1 3 主要研究内容 本文主要围绕基于图像序列的运动目标检测和运动目标跟踪两个方面展开 研究。运动目标检测方面，研究了静态背景下常用的运动目标检测算法。运动 目标跟踪方面是本文的研究重点，主要研究了相关跟踪和基于均值漂移的目标 跟踪算法，并且针对其存在的问题提出了有效的改进算法。 针对瞬时差分法检测目标不完整的缺点，本文采用基于块差的运动检测算 法，通过自适应阙值对帧差图像二值化，然后经过数学形态学等后处理，实现 山东大学硕士学位论文 对目标更精确的提取。 在相关跟踪算法研究中。针对多点相关跟踪算法运算量大，不能满足实时 跟踪的缺点，提出了一种改进的自适应阈值序列的s s d a 算法，减少了计算 量，同时采用模板尺寸修正及动态模板更新方法，保证了跟踪的准确性。 然后研究了适用范围更加广泛的基于均值漂移的目标跟踪算法并对其作出 了有效地改进。提出了一种基于均值漂移与& i h 咖滤波的跟踪算法，跟踪过 程检测目标受到干扰的强弱，然后采用不同的比例因子将两种算法得到的跟踪 结果进行线性加权，强干扰情况下增大k a 】m a n 预测结果的比重。改进算法利 用了目标的空间位置信息，从而提高了目标跟踪的可靠性。 最后研究了连续自适应均值漂移( c 锄s l l i f i ) 算法，该算法在跟踪过程中 可以自适应地调节跟踪窗的尺度，但是在目标受到干扰时容易跟踪失败。本文 提出了一种改进的c a m s h i f t 算法，采用背景加权三维直方图建立目标模型，把 原始图像转化成颜色概率分布图，然后与目标运动差分图像相结合，根据目标 运动的强弱赋予两者不同的权重，有效地克服了背景中的颜色干扰。 1 4 章节安排 本文各章的内容安排如下： 第一章阐述了课题背景和研究意义，以及当前运动目标检测与跟踪技术领 域的研究现状。 第二章阐述了静态背景下常用的运动目标检测算法，主要内容包括瞬时差 分法、背景减除法以及基于背景图像模型的方法，并介绍了一种改进的瞬时差 分法，最后研究了阴影检测与去除的方法。 第三章研究了相关跟踪中的多点相关跟踪算法，主要讨论了平均绝对差分 相关匹配算法和序贯相似性检测算法( s s d a ) ，并提出了一种改进的自适 应阈值序列的s s d a 算法。 第四章研究了基于均值漂移算法的目标跟踪算法，提出了一种基于均值漂 移与k a j m 锄滤波相结合的改进的跟踪算法，然后分析了c 锄s l l i f i 算法的局限 性，提出了改进的c a m s h i f t 算法。 第五章为结论，对本文所做工作进行了总结，并提出了下一步研究方向。 6 山东大学硕士学位论文 第二章运动目标检测 2 1 引言 运动目标检测就是对包含运动信息的图像序列运用数字信号处理等技术进 行适当处理，检测并提取图像序列中与背景存在相对运动的前景，然后根据灰 度、边缘等图像特征将运动前景进一步分割为若干独立目标。运动目标检测是 计算机视觉信息提取中的一个重要问题，也是更高层次视频分析如基于对象的 视频编码、目标跟踪、运动分析的基础。快速、完整、准确地分割出运动目标 图像可以大大提高后续跟踪、识别和行为理解的准确性。但是由于背景图像的 动态变化，如噪声、光照、阴影、背景全局运动等影响，在实际系统中进行稳 定可靠的运动目标检测是一项非常具有挑战性的任务。 根据图像序列的背景情况可以将运动目标检测划分为静态背景下的运动目 标检测和动态背景下的运动目标检测。相对于静态背景情况下的运动目标检测， 动态背景下的运动目标检测更是目标检测中的一个难点问题。 本章主要研究了以下静态背景下常用的目标检测算法：基于相邻帧差的瞬 时差分法、基于背景图像与当前图像帧差的背景减除法以及基于背景模型的方 法。其中前两种方法可以归为基于图像间差分的方法，第三种方法则使用背景 的参数模型来模拟背景图像的像素值，通过判别新到的像素值是否与这个模型 相匹配来实现目标像素的检测。最后研究了阴影检测与去除算法，通过分析存 在阴影前后，像素点属性的变化来实现阴影的检测和去除，提高了运动目标检 测的准确率，并给出了实验结果 2 2 基于瞬时差分的运动目标检测 2 2 1 基本原理 瞬时差分法是通过对图像序列中连续的两帧或几帧图像作差来检测运动目 标。该算法能够适应环境变化，较准确地检测出变化明显的运动区域，但是对 目标区域中变化不明显的部分不能很好地检测。 基本的瞬时差分法是在连续两帧图像间采用基于像素的时间差分并且阈值 7 山东大学硕士学位论文 化来提取图像中的运动区域。如七- 1 时刻视频图像帧 ( x ，力与i 时刻图像帧 厶( x ，j ，) 之间的变化可以用一个二值化差分图像来表示： 驰洲似驴_ i = 他客丁 ( 2 1 ) 其中， 似力、拓l 力为连续的两帧图像，钆( x ，力为帧差图像，r 是二值化 设定的阈值，得到的二值图像中像素为l 的区域被认为是运动目标区域。 基本的瞬时差分法对于动态环境适应性较强，无需获取背景图像。但是当 相邻两帧图像的纹理、灰度等信息比较接近时，这种方法通常只能得到运动物 体的轮廓而不能完整地检测到目标的具体内容。如图2 1 ，将第七帧图像与第矗l 帧图像进行差分，然后二值化得到图像( c ) ，从图中可见目标区域内部由于变化 缓慢而无法检测。产生空洞。 ( a ) 第b l 帧图像( b ) 第川贞图像( c ) 目标检测结果 图2 i 瞬时差分法检测运动目标 2 2 2 改进的瞬时差分法 2 2 2 1 算法原理 基本的瞬时差分法往往不能完整地提取目标图像，因此对算法进行以下几 方面的改进： ( 1 ) 将基于点差异的变化检测变换为以点为中心基于块差的变化检测作为 差分后的图像，这样可以在一定程度上消除噪声的影响： ( 2 ) 采用自适应阈值方法对差分图像进行二值化处理，从而改进了使用固 定阈值所带来的通用性差无法自适应改变阈值的缺点； ( 3 ) 在对二值化图像后处理方面，采用数学形态学方法去除噪声干扰点、 消除孔洞，利用连通性分析、区域标记实现完整提取目标。 8 山东大学硕士学位论文 改进后算法的流程如图2 2 所示，下面将分别介绍主要模块的功能及实现 方法。 图2 2 改进的瞬时差分法流程图 2 2 2 2 变化检测 变化检测可以使用两帧图像中同一位置像素的差来实现，但只使用单个像 素的差来进行变化检测易受到噪声的干扰，所以通常用以像素为中心的两个块 的差来代替。通常变化检测中用于体现块之间差异的准则主要包括l ： 互相关函数g 船力： g p ( x ，力= c 五( m ，帕五- l ( 坍，一) ( 2 2 ) 均方误差函数劭艇阮力： g 。( 五j ，) = c ( 研，月) 眈( 脚，疗) 一五一。( 埘，行) 】 2 ( 2 3 ) ( - 一) | 矗 平均绝对差值函数g 砌d 力： 9 山东大学硕士学位论文 钆。( x ，) ，) = c ( 肌，栉) 阢( 肌，月) 一五一。( 脚，一) ( 2 4 ) ( _ 一) e 占 平均亮度差函数自删舰力： g 赫。( 南y ) = c ， ( 豫【五( 辫，磅一五一。( 豫郴 【2 5 ) _ 一k 丑 其中，西，帕和矗l 咖，帕分别为当前帧和上一帧的图像灰度值，口为大小 为肘的块，似力为口的中心位置坐标，矿为m r 大小的窗函数，c 为 比例系数。 2 - 2 2 3 二值化 二值化是指使用图像分割算法将图像中的前景目标点从背景像素点中分离 出来。阈值是图像分割中应用非常广泛的参数，阈值的选择直接影响检测结果 的好坏，只有使用恰当的阈值才能正确地分割出运动目标。二值化的方法归结 起来有两种：固定阈值二值化和自适应阈值二值化。根据经验选取固定阈值的 方法很难消除光线和噪声等因素的影响，其应用范围较小自适应阈值抗噪声 能力比较强，对于照明不均匀、有突发噪声干扰或者背景灰度变化大的序列图 像有较好的适应能力。自适应阈值的方法有很多，如最大灰度期望算法，o t s u 算法以及熵关联算法【2 4 之q 等。 基于直方图分析的门限分割法比较直观，该方法对于具有明显双峰直方图 的图像可以获得很好的分割效果。然而大多数情况下，要分割图像的直方图是 多峰的，因此，很难找到一个合适的阈值来分割图像。本文采用基于最大熵的 方法确定阈值鲫，可以较好地解决这个问题。考虑到信息一般由概率分布表示， 所以用信息熵来表示耳标和背景的灰度分布。阅值选取的不同，获取的目标区 域和背景区域的总信息量就不同，使它们的总信息量最大的阈值就是分割效果 最好的阈值。 设图像灰度的后验概率为： 易= 素 净l 一彤 ( 2 6 ) 其中珥= 2 ，嘶为灰度为f 的像素的总数：肼为相应的概率；舻为图像中总 j i l 像素数。设阈值为s ，则把整个灰度分为目标灰度与背景灰度。 1 0 山东大学硕士学位论文 目标灰度分布为：旦，旦，旦 z iz iz i 背景灰度分布为：兰，啬，兰 其中乙= a 目标熵：日( 彳) = 一宝孚l l l 譬 1 jj 背景熵删一砉。尚h 尚 直方图的熵为：o ( j ) = 日( 4 ) + 日( 曰) ( 2 7 ) ( 2 8 ) ( 2 9 ) 则使中( s ) 达到最大的j 即为阈值，用它将差分图象分割为目标区域和背景区域 两部分 2 2 2 4 后处理 二值化后的图像中往往包含许多孤立点、孔洞、间隙等，采用数学形态学 方法对分割后的二值图像进行后处理，选取适当的结构元素对图像进行腐蚀和 膨胀运算，以去除孤立点、填充空洞和间隙。本文采用的方法是先用3 3 的腐 蚀模板过滤，消除孤立噪声点，然后再用同样大小的膨胀模板过滤，对断裂或 者孔洞部分进行处理，从而有效地去除了背景区域中零散的噪声点和前景目标 区域中零散的孔洞。 膨胀和腐蚀的定义如下： 结构元素：口= ( 2 1 0 ) 结构元素的反转：= - 6 1 6 口 膨胀：o = u 置。= z e l 见n 彳矿 k 口 腐蚀：x o = n 五。= z e i 芝c x 6 c b ( 2 1 1 ) ( 2 1 2 ) ( 2 1 3 ) 山东大学硕士学位论文 其中，x 为二值图像，e 为整幅图像的栅格，历为结构元素b 中心“”平移 到位置z 得到的图像。 采用数学形态学方法处理完图像后，一些小的干扰区域被去除，小的孔洞 被填充上，但仍会有较大的孔洞存在于目标的内部。因此采取连通性检测的方 法进行处理，去除运动目标内部的孔洞。然后计算图中每个连通域中的面积， 对于面积小于一定值的区域将其抛弃，最后留下的前景区域就是运动目标。 2 2 2 5 实验结果 ( a ) 第t 帧图像( b ) 第斛l 帧图像( c ) 变化检测结果 ( d ) 二值化结果 ( c ) 检测结果 图2 3 改进瞬时差分结果图 图2 3 为采用改进瞬时差分法检测运动目标的结果。图( a ) 、( b ) 为连续的两 帧图像，图( c ) 为变化检测的结果，采用的检测准则为块平均绝对差值函数g 砌d ， 块的大小为4 4 ：图( d ) 为对图( c ) 采用自适应阈值二值化处理后的结果。图( c ) 为经过形态学、区域标记等处理后的最终检测结果。 2 3 基于背景减除法的运动目标检测 2 3 1 基本原理 背景减除法是当前运动目标检测中常用的一种方法，它利用当前图像与背 景图像的差分来检测运动区域。该算法实现简单，一般能够提供完整的特征数 据，对于背景已知的情况该方法是一种有效的运动目标捡测算法。 1 2 山东大学硕士学位论文 背景减除法的原理是：首先用事先存储的或实时得到的背景序列图像为每 个像素进行统计建模，得到背景图像巩，设当前帧图像为届则背景差分图像 d 颤，协为： 噍“y ) = k 瓴j ，) 一吨( 五力i ( 2 1 4 ) 设分割阈值为l 则二值化差分图像r _ 力计算公式如下： r 力= 0 絮善 ( a ) 背景图像( b ) 第4 0 帧图像( c ) 二值化差分图像 图2 4 背景减除法 与瞬时差分法相比，使用背景减除法进行运动目标检测一般可以提取出比 较完整的目标图像，如图2 4 ( c ) 。但在实际应用中仍有许多问题需要解决，可 归结为两个基本的问题：背景模型的获取和背景模型的更新嗍。 ( 1 ) 背景模型的获取：背景图像获取的理想情况是在场景中没有运动目标 的情况下进行，但是实际应用中一幅“纯净”的背景图像往往不容易得到，外 界光线的变化，背景中含有轻微扰动的对象，如树枝、树叶的摇动等，这些都 会增加获取背景的难度； ( 2 ) 背景模型的更新：长时间的视频监控，背景图像不会是“一尘不变” 的，背景的扰动，光照变化等会引起背景的改变，需要在一段时间后重新更新 背景图像，以适应背景的变化。 2 3 2 背景图像估计方法 一种简单的获取背景图像的方法是当场景中无任何目标出现时捕获背景图 像，这种人工的非自适应的方法获取的背景图像仅仅适用于短时间内的监视。 目前大多数算法已经放弃这种非自适应的背景图像估计方法。大部分研究人员 都在致力于研究不同的自适应背景模型算法，以减少动态场景变化对于目标检 山东大学硕士学位论文 测的影响。当场景环境不是很复杂时，可以使用统计滤波完成场景中背景图像 的估计。这里介绍两种估计背景图像的方法：统计平均方法和i 破滤波器方法。 ( 1 ) 统计平均方法 一种常用的自适应背景修正的方法是对背景图像进行多幅平均，这种方法 一般适用于场景内目标滞留时间较短，目标出现不频繁的情况。简单的背景修 正方法可采用如下公式计算： l1 皿2 专( 五+ 五一，+ + 石“+ - ) = 岛一t + 专瓴一五一 ，) ( 2 1 6 ) 由公式( 2 1 6 ) 可知，利用统计平均方法对背景图像进行修正，是非常重 要的参数。如果背景中目标出现的频繁频率较小，适当的选择参数可以获得 一个较为真实的背景图像的估计图像。 ( 2 ) i m 滤波器方法 另外一种自适应背景修正方法采用的是类似于i i r 滤波器的方法，计算公 式如下： 最= ( 1 一口) 最一i + 口五 ( 2 1 7 ) 由公式( 2 1 7 ) 可知，当口较小时，是一种缓慢修正背景图像的过程，当口较 大时，则是一种较快更新背景图像的过程。由此可知，如果场景中有目标出现， 口取较大值，则会一定程度上地将目标图像叠加到背景图像上，这显然不利于 运动目标检测。因此一种较好的处理方法是采用当前帧图像对背景图像进行修 正时，区别对待目标像素与背景像素。当一个像素被判定为目标像素时，则不 使用该像素的值对背景图像进行修正，否则使用该像素的值对背景进行修正。 2 4 基于自适应高斯背景模型的目标检测 背景模型法是对背景图像中的每一个像素点建立分布模型，并且随着时间 推移对模型参数进行更新，根据运动目标像素的分布不符合背景像素分布模型， 可以检测出运动目标。按照所处理背景的自身特性，背景模型可分为单摸态和 多模态两种。前者每个背景点的颜色分布比较集中，可以用单分布概率模型来 描述( 只有一个模态) 。后者的分布比较分散，需要多个分布概率模型共同描述 ( 具有多个模态) 。在许多应用场景中，如摇摆的树枝、水面的波纹、飘扬的旗 4 山东大学硕士学位论文 帜、监视器屏幕等，像素点的值都呈现多模态的特性。下面就单模态和多模态 两种情况下的背景模型分别加以说明和讨论例。 2 4 1 单高斯分布背景模型 采用第三节提到的背景估计方法，大多数情况下可以得到正确的背景估计 图像，但是当场景中有个别部分作无规则运动时，会引起场景中像素值不断变 化，使用基于统计平均思想的背景修正方法，只能得到像素的平均值从而引起 错误检测。下面将介绍一种有部分区域在不断变化的场景中运动目标检测算法。 ( 1 ) 初始的背景估计图像 采用基于高斯统计模型的背景图像估计算法，该方法由背景图像估计和更 新两部分组成。在背景图像估计算法中，计算一段较长时间段内视频序列图像 中每一个像素值的均值地和方差砖，把由硒和爵组成的具有高斯分布的图像 只= 【硒，西】作为初始的背景估计图像。 其中： 硒力= 睾z ( x ，力 f - o z - l 爵以力= 吉m ) ，) 一胁o ，_ y ) 】2 ( 2 1 8 ) ( 2 1 9 ) ( 2 ) 更新背景估计图像 完成背景估计图像的初始化后，随着每一帧新图像的到来，需要使用下列 公式自适应地更新背景图像的参数，得到更新后的背景估计图像蜀= 眦，一】。 其中： 岛= 口群i + ( 1 一口) z 砰= 口口乙+ ( 1 一口) “一鸬) 2 一击唧 一监) 其中盘为更新率，取值为【o l 】问的常数。 ( 3 ) 目标检测 ( 2 2 0 ) ( 2 2 1 ) ( 2 2 2 ) 当完成背景图像的估计后，需要对当前帧图像进行目标检测。利用估计的 背景图像与当前帧图像的差进行变化检测，使用公式如下： l ， 山东