（信号与信息处理专业论文）基于改进的混合高斯模型的运动目标检测算法.pdf

c l a s s i f i e di n d e x ：u 6 61 4 3 u d c ： ad i s s e r t a t i o nf o rt h ed e g r e eo f m e n g m o v i n go b j e c t sd e t e c t i o nba s e do n i m o r o v e dg a u s s i m i x t u r em o d e l a u s s l a nm l x t u r em 0e l c a n d i d a t e ：z h a n gz o n g b i n s u p e r v i s o r ：p o r f l u ot i a n f a n g a c a d e m i cd e g r e ea p p l i e df o r ：m a s t e ro fe n g i n e e r i n g s p e c i a l t y ：s i g n a la n di n f o r m a t i o np r o c e s s i n g d a t eo fs u b m i s s i o n ：m a r c h ，2 0 1 0 d a t eo fo r a le x a m i n a t i o n ：m a r c h ，2 0 1 0 u n i v e r s i t y ：h a r b i ne n g i n e e r i n gu n i v e r s i t y ， ，i ， 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由 作者本人独立完成的。有关观点、方法、数据和文献的引用已在 文中指出，并与参考文献相对应。除文中已注明引用的内容外， 本论文不包含任何其他个人或集体已经公开发表的作品成果。对 本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担已 作者( 签字) ：纭哮琳) 日期：伽f0 年3 1 月f r 日 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校 攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件。 本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据 库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本 学位论文，可以公布论文的全部内容。同时本人保证毕业后结合 学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈 尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文( 耐在授予学位后即可口在授予学位1 2 个月后 口 解密后) 由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者( 签字) ：弓长京株导师( 签字) ：矿穴谚己 日期：加口年1 月r 日 血fo 年5 月ls 日 p 基 u 哈尔滨工程大学硕十学位论文 摘要 在计算机视觉，智能监控等领域，运动目标检测是后续跟踪、识别和行 为理解的基础。本文针对摄像机静止的情况，研究了一种基于混合高斯模型 的运动目标检测算法。主要工作如下： ( 1 ) 理论研究部分。比较了常用的运动目标检测算法的优缺点；对现阶 段比较常用的背景建模方法从运算量、检测效果、处理背景扰动能力和存储 空间需求等方面进行了分析和比较。 ( 2 ) 视频预处理。采用双线性内插法进行图像尺寸变换；采用三维矢量 中值滤波算法抑制对模型影响较为严重的脉冲噪声和椒盐噪声，实验表明该 算法能比标量滤波和二维矢量中值滤波取得更高的信噪比。 ( 3 ) 运动目标检测。实现了基于混合高斯模型的运动目标检测，并针对 经典模型对突发运动和光线突变响应速度慢的问题提出了一种改进算法，将 前景区域分成运动目标区和误检区，并为误检区赋予较大的更新速率，实验 表明该算法可以有效的改善原有混合高斯模型响应场景突变慢的问题。 ( 4 ) 运动检测后处理。采用中值滤波抑制孤立前景点，采用数学形态学 算法填补目标中的镂空从而提高检测质量；分别实现了基于h s v 和r g b 色彩 空间变换的阴影抑制算法。 ( 5 ) 基于虚拟检测区域的车流量统计。运动目标检测之后可以得n - - 值 图像序列，在车道上的合适位置设定与车辆行驶方向垂直的虚拟检测区域， 统计区域内的前景点数目便可确定是有车状态还是无车状态，监测虚拟检测 区域的状态变化即可实现车流量统计。实验表明该算法可以较为准确的统计 车道的车流量。 关键词t 背景减除法；混合高斯模型：预处理；运动目标检测：阴影抑制； 车流量统计 哈尔滨i ：科人学硕+ 学何论文 a b s t r a c t m o v i n go b j e c td e t e c t i o n i st h ef o u n d a t i o no ft r a c k i n g ，r e c o g n i t i o na n d b e h a v i o ru n d e r s t a n d i n gi nt h ef i e l do fc o m p u t e rv i s i o na n di n t e l l i g e n ts u r v e i l l a n c e t h i st h e s i sh a sb e e nm a d ear e s e a r c ho nm o v i n go b j e c td e t e c t i o nb a s e do n g a u s s i a nm i x t u r em o d e l ( g m m ) u s i n gf i x e d c a m e r a t h em a i nw o r k so ft h i s t h e s i sa r ea sf o l l o w s ： ( 1 ) t h i st h e s i sa n a l y z e sa n dc o m p a r e sm o v i n go b j e c td e t e c t i o na l g o r i t h m s ， i n c l u d i n gs e q u e n c e sf r a m e ss u b t r a c t i o n , o p t i c a l f l o wm e t h o da n db a c k g r o u n d s u b t r a c t i o n t h i st h e s i sa l s oe l a b o r a t e so nt h ea d v a n t a g e sa n dw e a k n e s s e so f t y p i c a lb a c k g r o u n dm o d e l sf r o mc o m p u t a t i o n ，d e t e c t i o ne f f e c t ，a n t i - i n t e r f e r e n c e a b i l i t ya n dm e m o r yr e q u i r e m e n t ( 2 ) t h er e s o l u t i o no fe a c hf r a m ei sr e s i z e db yb i l i n e a ri n t e r p o l a t i o n i m p u l s e n o i s ea n ds a l ta n dp e p p e rn o i s e ，w h i c hb a d l yi n f l u e n c eg m m ，a r er e s t r a i n e db y 3 - dv e c t o rm e d i a nf i l t e r e x p e r i m e n t si n d i c a t et h a t t h i sa l g o r i t h mg a i nb e t t e r p s n rt h a ns c a l a rm e d i a nf i l t e ra n d2 dv e c t o rm e d i a nf i l t e r ( 3 ) am o v i n go b j e c td e t e c t i o na l g o r i t h mb a s e do ni m p r o v e dg m mf o r f i x e d - c a m e r ai sp r o p o s e d t h ea l g o r i t h md e t e c t sf o r e g r o u n db yg m ma n dt h e n c l a s s i f i e si ti n t or e a lc h a n g e da r e aa n df a l s ea l a r ma r e a t h em o d e ls e t st h eu p d a t e r a t ei nf a l s ea l a r ma r e al a r g e rt h a no t h e ra r e at os o l v e g h o s t a n ds u d d e n i l l u m i n a t i o nc h a n g ep r o b l e m s e x p e r i m e n t a lr e s u l t si n d i c a t et h a tt h i sa l g o r i t h m r e s p o n d sr e a ls c e n e sq u i c k l y , a n ds e g m e n tm o v i n go b j e c t sa c c u r a t e l y ( 4 ) a f t e rm o v i n go b j e c td e t e c t i o n ，i s o l a t e df o r e g r o u n dp o i n t sa r er e s t r a i n e d b ym e d i a nf i l t e ra n dh o l l o w - o u to b j e c ti s f i l l e db ym o r p h o l o g yf i l t e r s h a d o w d e t e c t i o nb a s e do nh s va n dr g bc o l o rc o n v e r s i o ni sc a r r i e do u t e x p e r i m e n t s i n d i c a t et h a tt h e s ea l g o r i t h m sc a ne f f e c t i v e l yr e m o v et h es h a d o w ( 5 ) t h er e s u l to fm o v i n go b j e c td e t e c t i o ni sb i n a r yi m a g es e q u e n c e a f t e r ， - ， 哈尔滨1 ：程大学硕+ 学位论文 s e t t i n gav i r t u a ld e t e c t i o na r e ap e r p e n d i c u l a rt ot h ed i r e c t i o no fv e h i c l ef l o wi n a p p r o p r i a t ep l a c eo fd r i v e w a y , t h es y s t e m c o u n tf o r e g r o u n d p o i n t st oj u d g e w h e t h e rt h e r ei sae a ri nt h ev i r t u a la r e a s ov e h i c l ef l o wc a l lb ec o u n t e db y m o n i t o rt h es t a t eo ft h ev i r t u a la r e a k e y w o r d s ：b a c k g r o u n ds u b t r a c t i o n ；g m m ；p r e - p r o c e s s i n g ；m o v i n go b j e c t d e t e c t i o n ；s h a d o wr e m o v a l ；v e h i c l ef l o wc o u n t i n g 哈尔滨：l ：程人学硕十学位论文 目录 第l 章绪论。l 1 1 课题的背景和意义1 1 2 运动目标检测的研究现状2 1 3 本文的主要工作5 1 4 论文章节安排6 第2 章运动检测算法研究7 2 1 帧间差分法8 2 2 光流法9 2 3 背景减除法。1 l 2 4 三种检测方法的比较1 2 2 5 典型的背景减除法1 2 2 5 1 均值滤波法12 2 5 2w 4 模型13 2 5 3 码书模型。1 4 2 5 4 单高斯模型1 4 2 5 5 混合高斯模型1 5 2 5 6 背景模型比较15 2 6 基于背景减除法的运动检测算法流程1 6 2 7 本章小结。1 7 第3 章视频预处理l 8 3 1 图像尺度变换1 8 3 2 视频去噪的常用方法。2 0 3 2 1 均值滤波法2l 3 2 2 中值滤波2 2 哈尔滨j 鼙人学硕十学位论文 3 2 3 维纳滤波2 2 3 2 4 高斯低通滤波2 3 3 3 三维矢量中值滤波2 3 3 3 1 矢量滤波2 4 3 3 2 三维矢量中值滤波2 5 3 3 3 实验结果及讨论2 6 3 4 本章小结2 8 第4 章基于混合高斯模型的运动目标检测2 9 4 1 混合高斯背景模型3 0 4 1 1 混合高斯模型的构建。3 0 4 1 2 运动目标检测3l 4 1 3 模型参数更新3 1 4 1 4 混合高斯模型的参数估计3 2 4 2 模型参数对系统性能的影响3 3 4 2 1 高斯分布数目对系统性能的影响。3 4 4 2 2 更新速率对系统性能的影响3 5 4 2 3 阈值对系统性能的影响3 6 4 3 背景初始化3 7 4 4 对混合高斯模型的改进3 8 4 4 1 混合高斯模型存在的不足3 8 4 4 2 改进策略3 9 4 4 3 实验结果及分析。4 l 4 5 本章小结4 2 第5 章检测后处理4 3 5 1 滤波处理4 3 5 2 形态学运算。4 3 5 2 1 膨胀和腐蚀4 3 哈尔滨：i ：稗人学硕+ 学何论文 5 2 2 开启和闭合4 4 5 3 阴影检测及消除4 5 5 3 1h s v 色彩空间上的阴影检测：4 6 5 3 2r g b 色彩空间上的阴影抑制。4 9 5 3 3h s v 和r g b 色彩空间上阴影检测的比较5 0 5 4 运动目标检测算法准确性分析5 l 5 5 本章小结5 2 第6 章运动目标检测在车流量统计中的应用。5 3 6 1 引言5 3 6 2 本文统计方法5 4 6 3 实验结果及分析5 5 6 4 本章小结5 6 结论5 7 参考文献5 9 攻读学位期间发表的论文和取得的科研成果“ 致j 射6 5 哈尔滨i ：科人学硕十学位论文 第1 章绪论 1 1 课题的背景和意义 随着科技的发展，图像传感器( 摄像头) 遍布了世界各个角落，从监控 设备到医疗仪器，从工业控制现场到移动终端，从卫星云图采集到机器人视 觉。面对如此庞杂的图像信息单纯依靠人力处理显然是不现实的，因此人们 对图像处理提出了智能化的要求。 摄像头采集到的图像可以是静止的，也可以是连续的图像序列。对于静 止图像的处理技术，人们通过多年的研究已经取得了长足的进步，而对图像 序列的处理技术方兴未艾。图像序列又称视频序列，是指摄像机采集到的一 组有序的随时间变化的静止图像，其中的每一幅静止图像称作一帧。 视频序列是连续变化的，因此人们不仅关心每一帧内部的信息，更关心 的是连续两幅图像之间的变化，也就是图像序列中的运动部分，这就涉及到 运动检测技术。所谓的运动检测就是从图像序列中将变化区域检测出来，这 是视频处理、理解和编码的重要基础。 运动目标检测技术在以下几个领域内都具有广泛的应用。 ( 1 ) 监控和安防 智能监控系统是近年来计算机视觉技术的一个重要应用方向，它在银行、 宾馆和车站等场所具有广阔的应用前景。智能监控系统是指利用计算机视觉 技术对摄像头采集的信号进行检测、跟踪和识别，并对监控的场景进行控制 的智能化系统【卜2 1 。其中运动目标检测与跟踪技术是该系统的核心。 ( 2 ) 人机交互 传统意义上的人机交互，是通过鼠标和键盘实现的，不仅需要人们专门 学习而且不符合人们日常交流的习惯。让计算机能够像人一样理解我们的手 势、行为和表情是计算机智能化发展的一个重要方面，想要准确的理解人们 意图，首先就要实现对人的运动检测。 哈尔滨i ：程人学硕十学位论文 ( 3 ) 视频编码 新一代视频编码标准( 如m p e g 4 ，h 2 6 4 等) 都是采用一种基于视频 对象的压缩编码方法，突破了传统的基于帧的压缩编码方法。为了实现基于 视频对象内容的操作，编码算法首先要把视频图像分割成不同的对象，通常 这所谓的运动对象就是场景中的运动目标，然后针对不同对象采取不同的编 码方法，从而实现高效压缩。 ( 4 ) 智能交通 随着经济的发展，城市交通问题日益严重，为解决这一难题，人们提出 了智能交通的概念，将先进的信息、通信、控制和计算机处理等技术综合应 用于现代交通管理系统。智能交通的研究内容主要有车流量统计，道路占用 率统计，车速检测，车辆逆行检测等。基于运动目标检测的视觉监控系统具 有直观、实时和内容丰富等优势，在智能交通领域有重要的应用。 ( 5 ) 图像检索 目前大量的数据以图像或视频方式保存，但是目前的检索方法主要依靠 人为的文字性描述，受限于个人的知识、兴趣和关注方向，既不直观也不规 范。视频检测技术能够用来提取出目标的特征，这样就可以直接搜索到需要 的内容从而实现检索，大大提高了系统的效率。 ( 6 ) 工业控制、生物医学和气象分析 在工业上，运动目标检测技术可以用于工业控制、机器人视觉和自动行 驶装置的导航等方面；在生物医学上，可以用于生物组织的运动分析；在气 象分析上，可以用于云图的预报等。 1 2 运动目标检测的研究现状 纵观国内外对运动目标检测技术的研究， 制和跟踪等关键技术上。 ( 1 ) 背景建模 运动目标检测的实际场景一般比较复杂， 2 主要集中在背景建模、阴影抑 t o y a m a 在文献【3 】中指出，构 哈尔滨i ：科人学硕+ 学位论文 建背景模型一般需要考虑以下几种情况：1 ) 背景中某一区域有反复的变化； 2 ) 场景中有运动的物体：3 ) 运动的物体转为静止从而融入背景；4 ) 背景中 的物体转为运动；5 ) 由于光照的变化导致背景的变化。为了准确的实现运动 目标检测，必须构建一个高性能的自适应背景模型。 背景模型的初始化对模型的性能有很大影响【4 1 。目前背景模型初始化主 要通过像素的时间特性。时白j 平均就是采用像素长时间的平均值作为背景， 但是该方法在场景中包含大量连续运动的物体时效果较差；时间中值法是采 用像素在一定时间内的中指作为背景，但是该方法只能处理场景中运动物体 覆盖率小于5 0 的情况。 背景更新是指模型随着场景的变化进行自适应调整的过程，这里要考虑 物体的运动以及光照变化的影响。更新速率是描述模型更新快慢的参数，目 前模型更新一般都是在不同阶段或者不同的对象( 前景或背景) 赋予不同的 更新速率。 ( 2 ) 阴影抑制 由于光照的原因，运动物体一般都包含阴影。运动的阴影一般与物体相 连而且具有相似的运动特征，如果不进行阴影抑制模型将产生错误的检测结 果。阴影抑制方法可以分为两类：基于色彩特征的检测方法和基于模型的检 测方法。前者利用阴影的色度、亮度和饱和度的特征进行检测，在不同的色 彩空间采用不同的判决依据，计算量小，但是参数的调整没有自适应性；后 者对阴影建模从而进行判别，运算量较大。 ( 3 ) 目标跟踪 目前运动目标跟踪的方法主要有基于相关的跟踪方法、基于特征的跟踪 方法和基于模型的跟踪方法【5 1 。相关跟踪就是进行图像匹配，根据一定的相 关准则( 相关函数) ，在当前帧中查找与上一帧图像中前景区域相关性最大的 区域，从而实现目标跟踪。这种方法简单，但是对光照变化和噪声影响较为 敏感；特征跟踪包括特征提取和特征匹配两个步骤，该方法实现跟踪只需跟 踪目标上的某一个( 或一组) 特征点，就可以完成整个运动目标的跟踪，这 3 哈尔滨。i ：科人学硕+ 学位论文 个特征点可以是质心也可以使目标上的任一点、线、面或灰度分布，但必须 保证该特征稳定，抗干扰能力强：模型跟踪是一种将跟踪的运动目标合成几 何模型从而通过目标识别完成跟踪的方法，该方法可靠性强，但是计算量大。 以上就是目前运动目标检测技术的一些研究热点，国内外进行这方面研 究的很多，出现了一大批有价值的成果。 ( 1 ) 国内研究现状 国内进行运动目标检测技术研究的大多是高校和研究所，比如西安交通 大学和华中理工大学的图像处理研究所在运动目标检测上做了大量的工作； 清华大学和中科院以及上海交大的图像处理研究所主要针对视频跟踪中的轮 廓跟踪算法进行研究；浙江大学图像处理研究所主要实现了智能交通和智能 监控等实际应用。但是由于起步较晚，国内的研究还只停留在理论方面，很 少出现比较大型的系统。 ( 2 ) 国外研究现状 国外的研究更看重理论在实际中的应用，如卡耐基梅隆大学和美国萨尔 诺夫公司合作开发的视频监控系统v s a m t 6 】系统，该系统可以监控复杂的场 景，如城市和战场等，并具有自动视频理解能力；美国马里兰州立大学和国 际商用机器公司联合开发了实时视频监控系统，该系统将形状分析和目标跟 踪结合起来，对人进行模型构建，这一研究成果可以在室外的环境对人群进 行检测和跟踪并且对他们的行为进行监控m ；美国m i t 多媒体实验室实现了 人的三维描述恢复，可以应用在复杂的环境下对单个人进行跟踪1 8 】。 本文采用混合高斯模型进行运动目标检测。该背景模型是由s t a u f f e r 等 人提出的，由于其检测结果相对准确，国内外研究人员对其进行了广泛的研 究，归纳起来可以分为以下几个方向： ( 1 ) 针对混合高斯模型运算量大的问题，研究人员提出了一些降低运算 量的改进算法，如根据背景不同位置的复杂程度分布高斯分布数目；由帧间 差分法初步判断前景区域，之后通过混合高斯模型进一步判断等：( 2 ) 在不 同的阶段采用不同的更新方程，改善经典模型在初始阶段学习慢的问题；( 3 ) 4 哈尔滨i ：科人学硕十学位论文 将运动目标检测和阴影检测结合起来，为阴影构建模型，利用混合高斯模型 的判决机制进行阴影抑制；( 4 ) 利用g m m 作为分类器，通过特征比较来进 行背景建模和目标提取。( 5 ) 由于背景减除法受光线突变影响较大，一些研 究人员通过场景整体亮度信息检测光照突变，当其发生时提高更新速率使模 型可以更快的响应场景变化。 国内外学者针对混合高斯模型的研究通常可以在某一方面取得较好的效 果，但是往往是以牺牲系统另一方面性能为代价的。 1 3 本文的主要工作 本文在前人的工作的基础上，针对摄像机静止这一特定条件下的运动目 标检测技术进行了研究，主要工作如下： 1 ) 运动目标检测理论研究 系统的研究了国内外关于运动检测的技术热点，包括运动检测和阴影抑 制等。对运动检测常用的帧间差分法、光流法和背景消除法进行了比较和分 析，并且系统的研究了目前应用较为广泛的混合高斯模型，包括模型的建立、 新观测值的匹配和模型的更新过程等。 2 ) 运动检测预处理 主要包括通过双线性内插降低视频分辨率从而降低运算量，采用三维矢 量中值滤波降低孤立脉冲噪声和椒盐对检测结果的影响。 3 ) 基于混合高斯模型的运动目标检测 实现了基于混合高斯模型的运动目标检测算法，并且针对静止物体转为 运动时留下的“鬼影”问题和光线突变造成的大面积误检问题提出了一种改进 算法，有效的改善了系统的性能。 4 ) 阴影抑制 研究了基于h s v 色彩空间变换和r g b 色彩空间变换的阴影抑制算法，分 析比较了这两种阴影抑制算法的效果。 5 ) 运动目标检测在车流量统计中的应用 5 哈尔滨i ：程人学硕十学位论文 实现了一种基于视频检测的车流量统计方法，该算法以前面介绍的运动 检测为前提，通过检测得到的前景图像序列统计车流量。 1 4 论文章节安排 第1 章，绪论。对运动目标检测和阴影抑制等问题的背景和发展情况作 了综述，分析了该领域研究的热点问题，之后介绍了本文的主要工作。 第2 章，运动目标检测方法研究。详细阐述了现阶段运动检测的三类算 法：帧间差分法，光流法以及背景减除法，系统的分析了三类方法的优势和 不足。着重分析了不同背景建模方法的优缺点。 第3 章，视频预处理。首先分析了图像缩放的常用算法，之后研究了视 频去噪和静止图像去噪的联系与区别，并针对运动目标检测这一具体应用采 用三维中值滤波算法进行去噪处理。 第4 章，基于混合高斯模型的运动目标检测。详细介绍了混合高斯模型 的原理，分析了模型参数对检测结果的影响；讨论了背景初始化的常用方法； 提出一种混合高斯模型的改进算法，有效的改善了模型的性能。 第5 章，检测后处理。针对前景图像有孤立噪声和目标镂空问题采用均 值滤波和形态学操作提高检测准确率；分析比较了h s v 和r g b 色彩空间上阴 影抑制的算法。 第6 章，运动目标检测在车流量统计中的应用。首先介绍了车流量检测 的目的和意义，分析了常用的检测方法，之后实现了一种基于运动目标检测 的车流量统计方法。 6 哈尔滨ji ：科人学硕十学位论文 第2 章运动检测算法研究 目标检测的方法与图像传感器( 摄像机) 和目标的相对运动有关，这种 相对运动可以分为以下四种组合方式【9 i 。 ( 1 ) 摄像机静止目标静止 这种情况是静止场景，处理方法就是静止图像的处理方法，包括图像分 割识别等，在访问控制如指纹识别，虹膜识别等场合有广泛应用。 ( 2 ) 摄像机静止目标运动 这种情况是动态场景，也是目前应用最多的方式，处理方法包括运动对 象检测、跟踪、识别等，在智能监控、安防等领域有广泛的应用。 ( 3 ) 摄像机运动目标静止 这种情况也是动态场景，相对来说比较复杂，主要应用在自动生成电子 地图、运动机器人视觉和三维场景理解等领域。 ( 4 ) 摄像机运动目标运动 这种动态场景是最为复杂的，一般应用在飞机上的监控系统。 由于摄像机静止目标运动这一方式应用最为广泛，本文主要研究这一特 定条件下的运动目标检测。在运动目标检测算法的研究过程中，人们始终希 望开发性能更好的检测方法，评价一个算法的标准一般包括：( 1 ) 算法的准 确性，算法应该具有比较低的误检概率和漏检概率，并且得到的目标尽量完 整；( 2 ) 算法的复杂度，这罩包括时间复杂度和空间复杂度，在保证算法性 能的前提下处理速度尽量高，占用内存尽量小；( 3 ) 算法的通用性，算法对 先验信息( 包括应用场合、色彩、形状和运动等) 的依赖性尽量低。实际上 所有的算法都要在准确性，复杂度以及通用性上折中。 目前运动目标检测算法大致可以分为三类：帧间差分法| 1 0 - 1 3 l 、光流法 1 4 - 1 8 l 和背景减除法。下面的章节将分别阐述三种算法。 7 哈尔滨ji ：科人学硕十学位论文 2 1 帧间差分法 帧间差分法也称为时自j 差分法或瞬时差分法。帧差法的思想是这样的： 由于视频序列之间的冗余，相邻的两帧有很多相同或相近的像素区域，而那 些不同的区域可以理解为变化区域，或者称为运动区域，也就是我们想要得 到的运动目标。 对于分辨率为m n 的图像序列，用f ( k ) 和f ( k 1 ) 来表示第k 和第k - i 帧图像，用f ( k ，f ，_ ，) 表示第k 帧中o ，力处的像素值，则差分结果d ( k ) 为： d ( 七) = ，( 七) - f ( k - 1 ) ( 2 - 1 ) 如果v ( k ) 是单通道( 灰度) 图像，d ( k ) 中每一像素结果如下： f f ( k ，l ，1 ) - f ( k - 1 ，l ，1 ) f ( k ，l ，刀) 一f ( k l ，l ，万)1 d ( k ) = l ；i i ( 2 2 ) l 厂( 七，m ，1 ) - f ( k - 1 ，m ，1 ) f ( k ，m ，刀) 一厂( 七一l ，m ，刀) 之后将差分结果二值化： m 舻黪黜篡 协3 ) 其中r 是二值化的阈值。该阈值对运动目标检测结果影响非常大，由于 图像序列一般都受到噪声的干扰，阈值选取过小会导致大量的噪声，如果选 取过大会导致检测的目标不全。 帧差法的主要优点是算法简单，复杂度低；适合于对实时性要求较高且 c p u 处理能力不高的场合；由于帧差法取自相邻的两帧，所以该算法对场景 内光线瞬间变化并不敏感。 但是工f 如前面提到的，任何算法都是准确性、复杂度和通用性的折中。 帧差法主要有以下的缺点： ( 1 ) 检测出来的目标包括背景。这是由于相邻两帧之间的差并不完全是 运动的目标，上一帧被运动目标覆盖的背景在下一帧会显露出来并被误判为 前景，这样导致得到的目标要比实际的情况大一些。在实际应用中，尤其是 8 哈尔滨! l ：科人学硕+ 学位论文 后续的跟踪环节，我们总希望得到最为接近运动目标的结果。 ( 2 ) 颜色均匀的目标会出现空洞。这属于漏检的情况，显然如果目标颜 色比较均匀或者变化较为缓慢，在一定的阈值范围内不能判断为前景，导致 检测到的目标包含空洞。 2 2 光流法 视觉心理学的研究认为摄像机与目标发生相对运动时，目标表面的光学 特征可以提供运动和结构的信息，而这种观察到的运动信息就称为光流 ( o r i l e a lf l o w ) ，或者说目标光学特征的移动投影到图像平面上形成了光流。 光流体现了视频序列的变化，可以用来确定摄像机和目标之间的相对运 动。光流有三个要素：( 1 ) 运动，这是光流形成的条件；( 2 ) 目标带有光学 特征，从而可以体现运动信息；( 3 ) 运动场投影n - 维图像，也就是形成视 频流。当场景中的目标发生运动时，可以通过光流分析获得运动目标的数目、 速度、目标距离以及目标的形状等信息。 光流法的核心就是求解目标的运动速度，根据视觉感知的原理，目标在 空间上的运动是连续的，同时传感器( 摄像头) 检测到的目标运动也是连续 的。因此假设目标的瞬时灰度值不变，则灰度的空间梯度与光流速度的点积 等于灰度对事件的变化率，这就是光流的基本方程。当然还需要引入另外的 约束条件，也就形成了不同的光流分析方法。光流的计算方法可以分为三类： 基于匹配的方法、基于频域的方法和基于梯度的方法。 基于匹配的方法又分为基于特征的光流计算方法和基于区域的光流计算 方法。基于特征的算法持续的对目标进行定位和跟踪，对目标的运动和亮度 变化有较好的鲁棒性，但是得到的光流通常比较稀疏，并且提取和匹配较难。 基于区域的算法首先对相似的区域匹配、定位，之后通过位移来计算光流。 这种方法在视频编码的运动估计中得到广泛的应用，但是它得到的光流仍然 较为稀疏。另外，基于匹配的光流计算方法在估计亚像素精度的光流时计算 量很大。 9 哈尔滨。l ：程大学硕十学位论文 基于频率的光流计算法利用速度可调的滤波器组获得的频率信息进行计 算。这种方法可以实现高精度的光流估计，但是计算非常复杂而且可靠性评 价比较困难。 基于梯度的光流计算方法利用视频序列的时空微分计算光流。因为该方 法简单而且效果较好，所以得到了广泛的应用。但是光流计算时涉及到可调 参数的选取等困难，在实际的运动目标检测应用时仍存在一定问题。 光流法的计算流程为：( 1 ) 取相邻两帧作运动估计；( 2 ) 利用运动估计 得到的运动向量进行场景分割；( 3 ) 对分割结果进行去噪以及小区域合并等 后续处理；( 4 ) 统计区域个数。如果存在不同区域则说明场景有变化，存在 运动物体，否则认为场景没有发生运动的物体。 设f ( x ，y ，t ) 表示图像( x ，y ) 出像素点在t 时刻的像素值，也就是说将动态 图像表示为关于空间和时间的函数，其泰勒序列为： f ( x + d x ，y + 咖，t + d t ) = f ( x ，y ，t ) + f , d x + l a y + f , d t + o ( 0 2 ) ( 2 - 4 ) 其中正、无和z 分别表示x 方向、y 方l a l 和t 方向的偏导数。可以找到d x 、 咖和出使得 f ( x + d x , y + d y ，t + d o = f ( x , y ，f ) ( 2 - 5 ) 由于出、咖和出非常小，所以： 一z = 六鲁z + 詈( 2 - 6 )口f口l 为计算速度，c ：( 冬，华) = ( ，y ) ，引入约束条件，即场景内速度向量变 d td t 化是缓慢的，简化平方误差的最小化方程 e 2 ( x ，y ) = ( 六+ 乃y + z ) 2 + 名( 以2 + 以2 + 匕2 + 匕2 ) ( 2 - 7 ) 其中以2 、，2 、匕2 和y ，? 分别表示错误偏导数的平方，旯是拉格朗同系 数，简化关于微分方程的求解： j ( 名2 + 六2 ) + z y = 名2 1 一六z ( 2 8 ) i ( a 2 + 丘2 砂+ 六工= 五2 v - f , f , 公式( 2 8 ) 中和y 是速度在( x ，y ) 邻域中关于x 和y 方向上的平均，方 1 0 哈尔滨ji ：程人学硕+ 学位论文 程解为： = 万一六五p 西一虽 ( 2 9 ) p = l 孓 d = a 2 + 正2 + 2 基于光流法的运动检测算法的优点：( 1 ) 光流不仅能反映出运动目标的 运动信息，还能反映其三维结构等丰富信息；( 2 ) 能够检测独立的运动目标， 不需要任何先验信息，因此能够适应摄像机静止和运动两种情况。但是光流 法也有缺陷：( 1 ) 当运动目标和场景背景的对比度很低或噪声很强时会出现 很高的虚警概率；( 2 ) 计算量大，如果没有特殊的硬件支持很难用于实时系 统。 2 3 背景减除法 背景减除法是运动目标检测领域内最常用的一种算法。该算法只适用于 摄像机静止的条件，首先对视频序列进行运算获得该场景的初始化模型，之 后将新观测值与背景模型比较，将背景从当前帧减除，从而得到运动目标。 由于光线变化等影响背景也会发生变化，所以背景模型也需要不断的更新从 而适应这种变化。背景减除得到的前景包含运动目标的位置、形状和面积等 信息。 如果用f ( x ，y ，t ) 表示t 时刻点( x ，y ) 位置的像素值，用b ( x ，y ，f ) 表示t 时刻 点( 工，j ，) 位置的背景那么检测结果d c x ，y ，t ) 为： 10i f lf ( x ，y ，f ) 一b ( x ，y ，t ) 阵t d ( x ，y ，) 2 1 l i f i f ( x ，y ，f ) 一易( x ，y ，f ) i r 2 - 1 0 基于背景减除法的运动目标检测难点在于背景建模。实际的场景一般比 较复杂，主要体现在以下三点：( 1 ) 背景中包含反复运动的物体，比如摇动 的树枝，海浪等；( 2 ) 运动物体融入背景或者静止物体转为运动；( 3 ) 光照 哈尔滨：i ：程大学硕十学位论文 变化对背景的影响。 背景减除法的优点有很多，计算量相对于光流法较小，能够满足实时性 要求，检测结果比帧差法准确，而且能够提取完整的运动目标。它的缺点主 要是对光照、天气及物体突然运动较为敏感。为了克服这些缺点，研究人员 提出了很多背景模型，后面会有详细的阐述和分析。 2 4 三种检测方法的比较 正如前面所说，任何一种算法都是准确性、复杂度和通用性的折中，帧 差法、光流法和背景减除法各有优势同时各有缺点，如表2 1 所示。 表2 1 运动检测算法优缺点对比 运动检测算法优点缺点 算法简单，运算量小；准确性较低； 帧间差分法 不受环境变化影响；不支持摄像机运动： 支持摄像机运动；运算量大； 光流法 获得的信息丰富；对噪声敏感； 运算量相对较小：对突发运动和光照突变敏感； 背景减除法 能准确检测出目标；不支持摄像机运动： 随着研究的深入，人们越来越倾向于算法的融合，取长补短，解决一些 计算量、抗干扰和背景建模等问题，大大提高了运动目标检测算法的性能， 但是在算法融合的过程中大部分都是以牺牲一定的优势为代价的，局限性仍 然存在。 2 5 典型的背景减除法 研究人员经过长期的努力，提出了很多具有实际应用价值的背景模型。 2 5 1 均值滤波法 均值滤波法采用当前帧之前的帧的平均值作为背景，首先创建一个可 以存储帧图像的存储空间，之后求这帧图像的相同位置的像素值的平均， 1 2 哈尔滨i ：科人学硕十学位论文 即 l - i b ( x 川y ) = 厂( 工洲y f ) ( 2 1 1 ) 厶i s o 均值滤波法需要帧的存储区域，只适用于单模态背景而且像素作为背 景的时间要超过缓存中一半以上。 为了降低存储空间以及运算量，可以采用运行期均值法【1 9 1 ，该算法首先 取一帧作为背景，之后通过式( 2 1 2 ) 对背景进行更新： b ( x ，y ，) = 2 f ( x , y ，f ) + ( 1 - 2 ) b ( x ，y ，t - i ) ( 2 1 2 ) 其中见是学习速率，五越小背景适应实际场景变化的速度越慢，反之背 景模型适应场景变化的速度越快，但是过大的五会引入大量的噪声。 均值滤波法的优点是运算量低，速度快，在有实时性要求且对准确性要 求不高时得到广泛的应用；该算法的缺点主要是对存储空间需求较高，而且 检测面积大、速度慢的物体时可能出现空洞。 2 5 2w 4 模型 w 4 模型1 7 1 将背景中的每个像素用最大灰度值m a x ( x ，y ，t ) 、最小灰度值 m i n ( x ，y ，t ) 和最大邻间差分值d m a x ( x ，y ，t ) 描述。其中d m a x ( x ，y ，t ) 是相邻 帧对应位置像素灰度差的最大值，这三个参数可以用图像序列的前帧估计， 之后新观测值f ( x ，y ，t ) 与背景模型的三个值比较，若满足式( 2 1 3 ) 或( 2 - 1 4 ) 则认为该像素是背景，否则就是前景点。 jf ( x ，y ，t ) - m a x ( x ，y ，f ) i d m a