（计算机应用技术专业论文）运动目标检测与阴影消除的研究.pdf

江苏大学硕士学位论文 摘要 近几十年来，随着计算机技术和图像处理技术的日益发展，运动 视频中的目标检测已经广泛运用到国防与国民经济建设的诸多领域。 而随着其应用领域的不断扩大，人们对视频序列中运动目标的检测和 阴影消除也进行了大量细致而深入的研究，提出了许多行之有效的方 法。运动目标的检测与阴影消除由于其在智能监控领域的应用前景和 潜在的经济价值已经成为目前计算机界研究的热点课题之一。 首先，本文综述了课题的研究背景和意义，研究了一些国内外基 于视频图像运动目标检测的经典理论和方法，对比了其性能上的优势 与不足。其中本文研究的经典算法主要包括帧间差分法、光流法、背 景差分法、高斯背景建模法等。文中详细讨论了这些算法的基本思想 和实现原理以及这些方法的实验对比。 其次，本文重点分析研究了混合高斯模型背景建模的方法。由于 传统方法的初始帧获取不准确，导致模型识别时收敛较慢，本文提出 了一种结合中值法和众值法的方法，从而提高了获取初始帧的准确性。 本文还引入了一个反映当前帧与模型匹配的有效像素点的参数，改进 了背景模型的更新算法，可以防止运动缓慢的物体渐渐融入背景。除 此之外，针对传统方法的运算量较大，时空开销较高的问题，为了提 高建模效率，在传统的混合高斯背景建模的基础上，提出了一种新的 混合高斯模型高斯成分个数自适应选择策略。新的方法能够在时间和 空间上减小开销，快速准确建立背景模型，以达到分割前景目标的良 好效果。 最后，由于光照条件的影响，大多数图像都存在阴影，阴影的存 在干扰了目标的检测。本文根据阴影在h s v 向量空间的特点，提出了 一种新的无阈值的阴影消除方法，能高效地检测出带阴影的运动目标。 江苏大学硕士学位论文 和传统的阴影分割方法相比，本文的方法可以在阈值不设定的情况下， 很好地消除运动目标的阴影，有很好的鲁棒性和实用性。 关键词：白适应混合高斯模型，运动目标检测，h s v ，阴影消除 江苏大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e rt e c h n o l o g ya n di m a g ep r o c e s s i n gt e c h n o l o g yi n r e c e n td e c a d e s ，t a r g e td e t e c t i o ns y s t e mw i t hm o v i n go b j e c tv i d e oi ss e r v e dt om a n y f i e l d so fd e f e n s ea sw e l la sn a t i o n a ld e f e n s ea n dc i v i le c o n o m i cc o n s t r u c t i o n w i l a p p l i c a t i o nf i e l d se x p a n d i n g ，p e o p l eh a v em a d em o r ea n dm o r ei n d e p t hr e s e a r c h e s a b o u tm o v i n gt a r g e td e t e c t i o na n ds h a d o ws u p p r e s s i o n p e o p l ep r o p o s e dav a r i e t yo f e f f e c t i v em e t h o d s t h et a r g e td e t e c t i o na n ds h a d o ws u p p r e s s i o no fm o v i n go b j e c th a v e b e c o m eo n eo ft h eh o tr e s e a r c ht o p i c sf o ra p p l i c a t i o np r o s p e c t sa n dp o t e n t i a le c o n o m i c v a l u ei nt h ef i e l do fi n t e l l i g e n c es u r v e i l l a n c e f i r s to fa l l ，t h et h e s i ss u m m a r i z e st h er e s e a r c hb a c k g r o u n da n ds i g n i f i c a n c eo ft h e t o p i c , a n db r i e f l yi n t r o d u c e s s o m ec l a s s i c a lt h e o r ya n dm e t h o do fm o v i n gt a r g e t d e t e c t i o n ，t h e na n a l y z e sa n dc o m p a r e st h ea d v a n t a g ea n dd i s a d v a n t a g eo ft h ep r o p o s e d d e t e c t i o nm e t h o d s i tp a y sa t t e n t i o nt ot h ei n t e r - f r a m ed i f f e r e n c em e t h o d ，o p t i c a lf l o w m e t h o d ，b a c k g r o u n dd i f f e r e n c em e t h o da sw e l la sg a u s s i a nm o d e lm e t h o d t h e ni t d i s c u s s e st h eb a s i ct h e o r ya n dr e a l i z a t i o no fa b o v em e t h o d s ，s o m ee x p e r i m e n t a ld a t aa r e a l s op r o p o s e d s e c o n d l y ，t h et h e s i sm a i n l ya n a l y s e sg a u s s i a nm o d e lm e t h o d a si ti sn o ta c c u r a t e t oa c q u i r et h ef i r s tf r a m ea n di ti st o os l o wt oa c q u i r es t a b l ef r a m eu s i n gt r a d i t i o n a l g a u s s i a nm o d e lm e t h o d ，an e wm e t h o dc o m b i n i n go fm e d i a nm e t h o da n dm a j o r i t y m e t h o di s p r o p o s e dt oi m p r o v et h ea c c u r a c yo ff i r s tf r a m e t h et h e s i s u s ean e w p a r a m e t e rr e f l e c t i n gt h em a t c ho fc u r r e n tf r a m ea n dg a u s s i a nb a c k g r o u n dm o d e lt o i m p r o v et h eu p d a t i n go fb a c k g r o u n dm o d e la n dt oa v o i dt h es l o wo b j e c tm e l t i n gi n t o b a c k g r o u n d b e s i d e s ，a c c o r d i n gt ol a r g ec o n s u m p t i o ni n t i m ea n ds p a c e u s i n gt r a d i t i o n a l g a u s s i a nm o d e lm e t h o d ，t h et h e s i sp r o p o s ea na d a p t i v es e l e c t i o ns t r a t e g yo fn u m b e ro f c o m p o n e n t so fm i x t u r eo fg a u s s i a nm o d e lt oi m p r o v et h ee f f i c i e n c yo fm o d e l i n g t h e n e wm e t h o dr e d u c et h ec o n s u m p t i o ni nt i m ea n ds p a c e ，a sw e l la sb u i l dt h eb a c k g r o u n d m o d e lf a s tf o rm o v i n go b j e c td e t e c t i o n f i n a l l y ，t h ee x i s t e n c eo fs h a d o wc a u s e si n t e r f e r e n c et om o v i n go b j e c td e t e c t i o n b e c a u s eo ft h ee f f e c to fi l l u m i n a t i o n t h et h e s i sp r o p o s e san e ws h a d o ws u p p r e s s i o n m e t h o dw i t hn ot h r e s h o l dt od e t e c tm o v i n go b j e c tw i ms h a d o w c o m p a r e d 丽廿lt h e t r a d i t i o n a ls h a d o w ss u p p r e s s i o nm e t h o d ，t h i sm e t h o dc a ns u p p r e s ss h a d o w st om o v i n g t t t 江苏大学硕士学位论文 o b j e c t sw i t h o u ts e t t i n gt h et h r e s h o l dv a l u e k e yw o r d s ：a d a p t i v em i x t u r eg a u s s i a nm o d e l ，s e l e c t i n gc o m p o n e n t sn u m b e r , m o v i n go b j e c td e t e c t i o n ，h s v i v 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的 规定，同意学校保留并向国家有关部门或机构送交论文的复印 件和电子版，允许论文被查阅和借阅。本人授权江苏大学可以 将本学位论文的全部内容或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位 论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密口。 学位论文作者签名： 竿谁 加3q 年6 月f 够日 指导教师签名： o io 年6 月忙日 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导 下，独立进行研究工作所取得的成果。除文中已注明引用的内 容以外，本论文不包含任何其他个人或集体己经发表或撰写过 的作品成果。对本文的研究做出重要贡献的个人和集体，均已 在文中以明确方式标明。本人完全意识到本声明的法律结果由 本人承担。 学位论文作者签名：f 年社 日期：b 年6 月 江苏大学硕士学位论文 第1 章绪论 1 1 课题的研究背景和意义 人类获取外界信息的一个最主要的途径是视觉系统，而运动目标的检测、跟 踪、识别又是视觉领域的一个重要课题，在国防与国民经济建设的诸多领域都有 着广泛的应用。因此研究运动目标的检测对我们的日常生活都有着非常重要的意 义，尤其在某些需要巨大人工工作量的场合，融入运动目标检测且无需人工参与 或仅需少量人工参与的智能化检测系统是科技发展的一种必然趋势。 我们研究的运动目标的检测和数字图像处理有着密不可分的关系【1 2 , 3 1 ，实时识 别出现在视频图像中的目标，就必须对图像中的像素进行处理。数字图像处理技 术是从2 0 世纪中叶以来随着电子计算机技术的发展而产生、发展、不断壮大成熟 起来的一个新兴的技术领域，它在理论上和实际应用上都取得了无法比拟的巨大 成就。我们研究数字图像处理的主要目的在于通过对原始视频图像的再加工，使 之具备更好的视觉效果，或者能满足我们特定的需求。数字图像在处理过程中主 要包括图像的采集、编码、存储、传输、合成、增强、变换与复原等诸多内容。 当前已经广泛应用于工业、农业、医学、遥感、航空航天及国防等许多重要领域， 而且多年来一直得到各个科技发达国家的广泛关注。 基于视频图像的运动目标检测主要应用于以下几个领域【4 l ： ( 1 ) 视频监控 视频监控系统的应用非常广泛，最常见的是对居民宅、停车场、公共场合、银 行、军事基地【5 6 1 等的监控。目前监控摄像机在商业应用中已普遍存在，但往往仅 仅是应用，并没有充分发挥其实时主动监督的作用，因为大多数的做法是将摄像 机的输出结果记录下来，当发生异常情况后，保安人员才调用记录，通过记录的 结果观察已经发生的事实，但这时往往已经造成了严重的后果。而我们需要的视 频监控系统应能够每天且连续一整日的实时监视，更重要的是自动分析摄像机捕 捉到的视频图像的数据，当盗窃发生或发现具有异常行为的可疑人时，系统能自 动向保卫人员较为准确及时地发出警报信息，从而避免犯罪的发生，同时也减少 雇佣大批监视人员所需的人力、物力、财力的投入【7 ，8 】；此外，视频监控在有人运 动的分析商店、公共场所人流量统计、公共交通系统、a t m 机等方面也有着相应 的应用1 9 】。 ( 2 ) 人机交互 在人机交互中，跟踪与人体运动分析和行为理解紧密相连，如姿势识别、人体 和人脸姿态估计、人脸表情分析和识别等。人机交互就可以利用人们的动作来操 江苏大学硕士学位论文 作各种设备。例如，当你挥手时，电视机自己改变频道；计算机观察你在白板上 写下的内容，并且在需要时将内容记录下来等。 ( 3 ) 虚拟现实 目前许多电脑游戏中的人的形体、运动和行为交互的设计逼真性实际得益于物 理空间中的运动分析，包括人体模型和关节运动机制的获取及姿势的恢复等；基 于互联网交互式空间开发的刚起步，如虚拟聊天室，它在通过文本交流的同时可 以通过二维图标来导航用户，如果增加手势、头的姿势、面部表情等线索，将会 给参与者们提供更加丰富的交互形式；另外，人的运动分析在视频会议【1 0 l 、人物 动画、虚拟工作室等其他虚拟现实场合也有着相当广泛的应用。 h ) 图像压缩 m p e g 4 提出了一个不同于以前的视频编码的新概念一视频对象平面，以实 现基于图像内容的压缩。在压缩编码的过程中，视频中的场景被分割成若干个视频 对象平面，不同的视频对象平面根据其特点采用不同的编码策略，例如，场景中 的背景在很多情况下保持不变或者只有很少部分的变化，则可以在连续的多帧图 像中使用相同的编码或者只用很少改动的编码来表示背景，从而大大提高了压缩 效率。但这一压缩编码的技术难点在于如何在任一场景下实现对运动目标的自动 提取与分割，而这些问题也正是视频跟踪所要解决的问题。 计算机智能视频监控是计算机视觉领域一个新兴的发展方向和备受关注的前 沿课题。伴随电子计算机、网络技术和数字视频技术的的迅猛发展，监控技术正 向着网络化、智能化、高效化不断前进。监控系统的规模也日益扩大，但是依然 需要工作人员不间断地分析监视场景内的活动，工作量浩大而繁重，因此广大的 计算机视觉研究者们提出了新一代视频监控的概念，即视频监控在不需要人工参 与的情况下，利用视频监控技术对摄像机拍摄的图像序列进行自动分析，实现对 动态场景中的目标的检测、跟踪和识别，并在此基础上分析和判断出目标的行为， 从而既能完成日常管理工作，又能在异常情况发生时以最小的代价及时做出反应。 计算机视频监控系统不仅符合电子计算机信息产业的未来发展趋势，而且代表监 控行业的未来发展方向，蕴含着巨大的商机和经济效益，受到了学术界、产业界 和管理部门的高度重视。 1 2 国内外研究现状及发展趋势 视频监控系统是计算机网络、工业控制、多媒体技术和人工智能等技术综合运 用的产物，正向着音频、视频数字化、管理智能化和系统网络化方向不断发展。 从视频监控技术几十年的发展历程来看，视频监控系统在过去的二十多年里大致 经历了三代的发展。 江苏大学硕士学位论文 第一代视频监控系统是以模拟信号、图像的处理和传输为基础，通过同轴电 缆传输模拟摄像机产生的模拟信号到监控室，监控人员通过监视器来判断监视场 景的变化情况。 第二代视频监控系统主要依赖于混合模数或全数字的视频传输和处理方法， 采用多媒体数字压缩技术将视频图像完全数字化，节省了带宽资源。在视频监控 中可以利用视频分析算法实现自动报警，让监控者只关注感兴趣的事物。 第三代监控系统利用低价位高性能的移动网络、计算机网络和固定的多媒体 通信网络传输监控信号。在前端进行自动分析处理视频信号，然后将有价值的信 息通过无线或有线网络传输到监控中心，实现自动视频监控。第三代的研究热点 主要放在鲁棒性的图像传输、色彩图像的处理、基于事件的和基于模式的序列图 像的理解上，目前这些技术已经取得广泛的应用成果。 由于视频监控技术有着广泛的应用前景和潜在的经济价值，因此近年来在这 个领域的研究活动非常活跃。在运动目标检测技术研究方面，目前国内外比较有 代表性的研究是：1 9 9 7 年美国国防高级研究项目署( 姒) 设立了以卡内基梅 隆大学为首，联合美国十几家高等院校和研究机构参加的视频监控重大项目 v s a m ( v i d e os u r v e i l l a n c ea n dm o n i t o r i n g ) 1 z 】，主要研究对战场及普通民用场景 进行监控的自动视频处理技术。英国的雷丁大学( u n i v e r s i t yo fr e a d i n g ) 【1 2 】开展 了对车辆和行人的跟踪及其交互作用识别的相关研究。中科院自动化所模式识别 国家重点实验室视觉监控小组总结了英国雷丁大学v i e w s 的车辆交通监控原型系 统的研究经验，在前人理论研究的基础上，自行设计了一个拥有完全自主版权的 交通监控原型系统( v s t a rv i s u a ls u r v e i l l a n c es t a r ) ，该系统能够在一台p c 机上实 时地跟踪车辆，对光线变化、无关结构的斑马线干扰、边界遮挡具有较强的鲁棒 性。佛罗里达中央大学( u n i v e r s i t yo f c e n t r a lf l o r i d a ) 的k n i g h t 智能监控系统【1 3 1 利用计算机视觉技术能检测出监视区域目标的变化，并能标注重要事件和描述人 的行为，该系统对光线的变化有较好的鲁棒性。m m 的智能监视系统【1 4 1 不仅能够 自动监视某个现场，还能够管理监视数据，执行基于事件的检索，通过标准的网 络设施进行实时报警，而且还能在一段时间内提取出某项活动的统计模型。 以上诸多研究中都涉及到了运动目标检测这一关键性技术，运动目标检测的 实质就是从视频图像序列中实时自动识别目标，提取目标的位置信息，并能对提 取的运动目标进行一些后处理。运动目标检测技术根据视频图像中摄像机和场景 之间是否运动将物体的运动划分为四种模式： ( 1 ) 摄像机静止目标静止，这实际上就是静态场景，对其处理方法就是静 态图像中的处理方法。 ( 2 ) 摄像机静止目标运动，这是一类非常重要的动态场景，对其处理一般 江苏大学硕士学位论文 包括运动目标检测、目标特性估计等，主要用于预警、监视、目标跟踪等场合。 ( 3 ) 摄像机运动目标静止，这主要用于机器人视觉导航、电子地图的自动 生成以及三维场景理解等。 ( 4 ) 摄像机运动目标运动，这是运动物体的检测最为复杂的一种情况，但 也是最普通的情况，目前关于这方面的研究还较少，理论还不够成熟。 运动目标检测技术作为计算机视觉领域的核心技术之一，在三维重构、视频监 控、虚拟现实、机器人视觉技术中都发挥了越来越重要的作用。在视频监控技术 中，传统的视频监控技术获得的视频图像往往仅仅作为事后的证据，因而失去了 其主动实时的特点，无法在异常行为和事件发生前或者过程中，或者当有可疑人 员在监视区域中活动时，及时警示工作人员采取应急措施。利用了运动目标检测 技术的第三代全数字智能视频监控技术及其自动检测目标、发现异常行为和事件 的智能化能力，有望很好地解决此类问题。 运动目标检测技术的迅猛发展以及广泛应用已经引起了世界各国研究人员的 重视，并且在i e e e 连续多年推出了多期有关运动目标检测与跟踪的专辑；在许多 国际会议上和专业期刊中，运动目标检测、行为理解等一直都是学者们讨论的热 点问题f 1 5 阍。 国内方面，近年来中国图像图形学学会、中国科学院对运动方面的研究给予了 很大的关注，全国许多大学和科研机构也都竞相展开了对目标检测与跟踪技术的 研究。 纵观当前国内外对目标检测和跟踪技术的研究，当前的研究还集中在摄像机标 定、多摄像机融合、目标检测、刚体或非刚体目标跟踪、行为识别与描述等关键 技术方面。它们是后续的各种高级处理，如目标分类及行为分析、事件检测、行 为识别、视频图像的压缩编码和语义索引等高层次的视频处理和应用理解的基础， 同时，它们也是当前图像技术研究应用的热点和焦点【1 9 1 。 目标检测算法，至今已经提出了数千种类型的算法，而且每年都有上百篇相关 的研究论文或报告发表。尽管人们在目标检测或图像分割等方面做了许多研究， 现已提出的分割算法大都是针对具体问题的，并没有一种适合于所有情况的通用 算法。目前，比较经典的运动目标检测算法有：双帧差分法、三帧差分法( 对称 差分法) 、背景差法、光流法等方法，这些方法之间并不是完全独立，而是可以相 互交融的 2 0 - 2 3 1 。 目前采用的运动目标检测算法在检测运动目标的同时，由于运动阴影像素与 运动区域像素一样，二者和背景有较显著的差异，因而在目标分割和提取的过程 中阴影会被当作运动目标一同被提取出来，这样会导致目标形状的扭曲和目标的 合并等，所以阴影检测对于目标跟踪、分类和识别等后期处理都是一个关键性问 江苏大学硕士学位论文 题。 阴影的检测和消除是比较困难的，许多文献都对此做了研究，比如文献【刎中， 利用色度的畸变来判别阴影与前景，但是当像素点的亮度值或饱和度较低时其色 度会出现不稳定的波动。文献陋l 是对所有疑似阴影用混合高斯模型进行聚类学习 来进一步完成阴影抑制，该方法依然要依靠先验知识建立学习模型，而且如果训 练样本不充分，不能得到有效学习。 目前阴影检测的方法很多，如蓝波段信息阴影检测算法 2 0 1 、h s v 色彩信息阴 影检测算法【明、归一化互相关函数阴影检测算法【捌、色度畸变阴影检测算法【2 9 】， 还有利用小波变换结合光谱特性分析【刈等算法进行阴影检测，或者两种及以上的 方法融合来检测和去除阴影。 在智能化视频监控系统中的发展和应用中，依然还存在着很大的挑战，也是 该领域中的难点。 ( 1 ) 视频监控系统的应用环境相当复杂，不但包括室内的应用环境还包括室外 的应用环境，例如：光照变化引起的背景改变( 如户外的环境光、室内光等) ，高 噪声的背景区域( 风吹树的反复运动、水面等) ，运动物体状态的改变( 如车辆停 止、背景物体被挪移等) ，前景物体阴影的去除等问题，都是研究中必须要考虑的 问题。而且视频监控中的运动目标是多样性的，运动对象的活动也是复杂的。这 给计算机视觉技术的应用提出了更高的要求。 ( 2 ) 如何对视频监控系统中大量的数据流及视频流数据进行有效的使用，以提 高视频监控系统的实时性，这就需要优化视频处理的分析算法。 ( 3 ) 鲁棒性。在视频监控系统中，要将实验室的技术研究成果应用到商业领域， 需要做大量的深层次的工作使系统具有很强的鲁棒性。智能监视系统主要是以动 态图像处理技术为基础，由于是户外场景，云朵的移动、下雨、下雪、刮风以及 光照条件的不同都会导致图像发生变化从而产生各种各样的噪声，还有影子的影 响以及运动物体部分被遮挡等因素，在室内环境中由于门窗及电灯的开关、光线 的遮挡和反射以及亮光引起的饱和效应等因素。这些因素都极大的影响了监控系 统的可靠性，因此在实际应用中要求不断地提高系统的自适应性，尽可能不受这 些因素的影响。所以，智能化监控还有很长的路要走。 ( 4 ) 运动目标的有效特征难以提取。在智能视频监控系统图像处理中，颜色、 纹理、形状都可以作为图像的特征参数，图像不同，识别方法也不同。对于有明 显纹理的图像，可以采用纹理信息进行图像识别；对于颜色丰富的图像，可以采 用颜色信息作为图像的特征；对于形状特征比较明显的物体，则可以采用形状特 征进行目标识别。但迄今为止，还没有一种方法能应用于所有类型的图像。如果 将颜色、纹理和形状等信息综合应用则会导致计算复杂，实时效果差。 江苏大学硕士学位论文 1 3 主要的研究内容和组织结构 针对智能视频监控系统的目前发展状况和存在的问题，本文在前人研究的基 础上，对智能视频监视系统中的运动目标检测技术和阴影去除技术进行了研究。 本文重点分析研究了混合高斯模型背景建模的方法。由于传统方法的初始帧 获取不准确，导致模型识别时收敛较慢，本文提出了一种结合中值法和众值法的 方法，从而提高了获取初始帧的准确性。本文还引入了一个反应当前帧与模型匹 配的有效像素点的参数，来改进背景模型的更新算法，从而防止运动缓慢的物体 渐渐融入背景。除此之外，针对传统的方法运算量较大，时空开销较高的问题， 为了提高建模效率，本文在传统的混合高斯背景建模的基础上，引入了一种新的 混合高斯模型高斯成分个数自适应选择策略，新的方法能够快速准确建立背景模 型，以达到分割前景目标的良好效果。 由于光照条件的影响，大多数图像都存在阴影，阴影的存在干扰了目标的检 测。在阴影去除方面，本文根据阴影在h s v 向量空间的特点，提出了一种新的无 阈值的阴影消除方法，检测出带阴影的运动目标。和传统的阴影消除的方法相比， 本文的方法可以在不需要设置阈值的情况下，很好地消除运动目标的阴影，有很 好的鲁棒性和实用性。 本文分为五章，组织结构如下： 第一章绪论 介绍课题的研究背景和研究意义、目前国内外的研究现状、研究中存在的困难 和发展趋势；对该课题的发展趋势与方向进行了介绍；最后概述本文的主要研究 工作。 第二章运动目标检测的理论基础 对用于运动目标检测的几种颜色空间进行了简单的介绍，并比较了各个颜色 空间的特点以及本文中所使用的颜色空间。介绍了视频序列的概念，并对图像预 处理和形态学处理中常用的方法都做了简单的介绍。最后详细讨论了运动目标检 测的几种常用方法：帧间差分法、背景减除法、光流法。 第三章基于混合高斯背景建模算法的研究 对于复杂多变的变化场景，不容易获得一个稳定的背景图像，因此，在目标分 割中背景建模的方法就显得尤为重要。本章主要介绍了背景建模的方法，其中包 括了单高斯背景模型和混合高斯背景模型。接着本文对混合高斯背景模型在时间 和空间上提出了几点改进，有效地弥补了传统高斯背景建模的一些缺陷，为我们 后面对运动目标的阴影消除打下基础。 江苏大学硕士学位论文 第四章运动目标阴影消除算法的研究 对于分割后的运动目标，通常会包括阴影，这对我们准确判断运动目标会造 成一定的影响。因此，本章首先从物体阴影产生的光学特性入手，讨论了阴影产 生的机理，阴影区域与目标区域在不同像素空间中所具有的特点。涉及到r g b 色 彩空间和h s v 色彩空间常用的检测算法，分析了两种色彩空间中阴影消除算法的 优缺点。同时本文根据图像阴影像素在h s v 色彩空间的h s v 分量的特点，引入了 一种新的无阈值的h s v 色彩空间的阴影消除算法。与传统的阴影消除算法相比， 本算法不需要许多预设的经验阈值，对人工的干预要求不高。 第五章软件设计与实现 在软件的设计与实现上，本章主要介绍了以m f c 为开发平台，并结合o p e n c v 库设计的一个简单的目标检测与阴影消除系统。本章首先对o p e n c v 做了一个简 单的概述，在设计系统框架后，采用o p e n c v 提供的开源函数库来实现运动目标 的检测与阴影消除。最后通过实验来验证本文给出的检测算法。 第六章总结与展望 对全文进行总结，同时对今后的工作进行展望。 江苏大学硕士学位论文 2 1 图像颜色空间 第2 章视频图像处理基础 颜色是人类视觉系统对光谱中可见光部分的感知结果，是人类认知世界的最重 要特征之一。与灰度图像相比较而言，颜色所反映的信息量更丰富。而颜色空间 正是我们为了更准确的描述颜色，并且认识颜色而引入的一个非常重要的概念。 它通过数学的形式，用坐标空间来表述颜色集合，并进一步量化出各种颜色的特 征量。通过颜色空间，我们可以根据需要，把图像中的某一种颜色分量或某一颜 色特征分离出来进行辨别、处理，得到更直观，更精确的有用信息。 颜色特征是物体表面的本质特征之一，因此，在视觉系统的基础研究中，关于 颜色认知的研究是重要的部分。但由于实际应用千差万别，使得我们认识颜色的 角度也有所不同，所提取颜色的特征属性同样是各式各样的。这样一来，我们用 来认知、表达颜色从而建立相应的颜色模型便不一而足了。实践证明，仅仅依靠 一种颜色模型所描述的颜色空间去得到所有颜色，并适用于各种应用是不现实的， 因为所有这些模型表示的颜色空间都分别具有各自的特性、优缺点及适用领域。 2 1 1r g b 颜色空间 由于每一种颜色都可以由红纽) 、绿( g ) 、蓝国) 三种色光按不同的比例相加 混色来得到，如果将尺、g 、曰看成三个变量，就形成r g b 三维色彩空间。r g b 颜色空间是计算机显示设备中最常用的颜色表示模式，然而r g b 颜色模式中的色 彩与人的视觉感知并不一致，即r g b 颜色空间中颜色的距离不能表示颜色的相似 性。但是，由于r g b 颜色模式能够完整地表示颜色，且其他颜色空间也是通过r g b 颜色空间线性或非线性转换得到的，所以r g b 颜色模式在各种颜色的表示模式中 是最基础的。 多数的图像采集设备是以c c d 技术为核心，直接感知色彩的r 、g ，丑三个 颜色分量，这也使得三基色模型成为图像成像、显示、打印等设备的基础，具有 十分重要的作用。 如图2 1 所示，r g b 色彩模型是用红、绿、蓝为坐标轴定义的立方体【1 3 】。坐 标轴上的立方体的顶点表示原始色，而其余顶点表示原始色的互补色。这个色彩 模式是一个添加模式，增加原始色的强度即可产生其他的颜色。在立方体范围内 的每个色彩点，都可以用三个参数恹，g 丑) 表示，这里r ，g 、曰的值都可指定在 ( 0 2 5 5 ) 的范围内。以这个r g b 立方体来记忆和处理颜色都十分简单，颜色的转换 也相对容易，因为其他颜色的生成只是三种原色的组成比重不同而已，这种简单 江苏大学硕士学位论文 的结构可以表示千万种不同的颜色。 r g ，0 ) 图2 1r g b 颜色空间 r g b 颜色空间对于人体区域颜色特征没有良好的聚类特性。在不同光照条件 下，其尺、g 、曰值分布在一个较广的范围内，因此，无法直接利用r g b 颜色空间 来建立区域颜色特征模型，但是其变换后的颜色空间在颜色特征检测中得到了广 泛的应用。 2 1 2 归一化r g b 颜色空间 在r g b 颜色空间，三维矢量陋，g ，b 】不仅表示颜色，也包含了亮度信息。如 果两个像素点 r ，g 1 ，b 1 】和 恐，g 2 ，岛】在r g b 颜色空间的值是成比例的，即 鲁=鱼g=鼠，那么这两点具有相同的颜色，不同的亮度。对于表达颜色特征，2 b 1 r g b 三个分量不是必须的。颜色是一种具有恒常性的特征，所谓颜色恒常性，就 是当光照条件发生变化时，人所感知的物体的颜色在一定程度上却保持不变，这 是因为人的视觉特性能适应不同的亮度和变化的光源的影响。 我们可以在颜色空间中去除亮度分量，保持“纯”颜色分量，即色度空间( r , g ，b ) 可以完全表示色彩，由此得到归一化的r g b 颜色空间。 归一化的r g b 空间定义公式如下。 r2 尺 g 2 r b = r g g g b g +b +b +b ( 2 1 ) 因为r + g + 6 = 1 ，当给出其中两个分量的时候，第三个分量也就决定了，通 江苏大学硕士学位论文 常我们只使用其中的两个分量f 3 l 】。一 标准化颜色模型减少了分布对颜色变化的敏感性，对强度的变化也相对稳定。 但是标准化色彩模型的一个明显缺点是：如果标准化色彩模型在低强度区，噪声 就比较大。这是由于r g b 颜色空间也是由r g b 颜色空间线性变化得到的。 2 1 3h s v 颜色空间及与r g b 颜色空间的转换 h s v 颜色空间是孟塞尔颜色空间的简化形式，它从人的视觉系统出发，用色 度( h u e ) 、饱和度( s a t u r a t i o n ) 和亮度( v a l u e ) 来描述颜色。h s v 颜色空间同人对颜 色的感知相一致，是适合人眼视觉特性的颜色空间，不同于r g b 是面向机器的颜 色空间，h s v 是面向用户的颜色空间。在对颜色信息的利用中，这种格式的优点 在于它将亮度值( 们与反映颜色本质特性的两个参数色度和饱和度 ) 分 离。该颜色模型是一个三维的圆锥体，锥体的圆形底面相当色轮，饱和度则从圆 心向边缘增加，亮度则从锥顶向底面递增。色度日由绕轴的旋转角给定，红色对 应角度o 度，绿色对应角度1 2 0 度，蓝色对应角度2 4 0 度。在圆锥的顶点处，v - - 0 ， 日和s 无定义，代表黑色；圆锥顶面中心处s = 0 ，v = i ，h 无定义，代表白色。 绿f l 刎) 图2 2 h s v 颜色空间 h s v 颜色空间大大简化图像分析和处理的时间及工作量。由于h s v 颜色空间 更接近人们对颜色的认识和理解，因此采用h s v 方式能够减少色彩图像处理的复 杂度，提高处理速度。在图像处理中常用的算术操作或算法，例如边缘检测或边 缘增强等，只要对h s v 颜色空间中的亮度值进行操作就可获得良好的效果，而在 r g b 颜色空间要做上述处理就很不方便，在图像处理和计算机视觉中大量算法都 可在h s v 颜色空间中方便地使用，它们可以分开处理而且是相互独立的。因此， 用h s v 颜色空间可以大大简化图像分析和处理的工作量。 h s v 颜色空间和r g b 颜色空间只是同一物理量的不同表示方法，因此它们之 间存在着转换关系。已知( r , g ，b ) 为归一化的r g b 颜色空间，设三个分量最大值为 m a x ，最小值为m i n ，则转化公式如下。 江苏大学硕士学位论文 h = 6 0 。， 6 0 。 6 0 。 矿 r = m a x 矿g = m a x( 2 2 ) 毽 b = m a x s ：m a x - m n ( 2 3 ) i 一一 ，1 刚u0 臻4 3 9 7 要3 0 4 6 8 嗣0 0 7 1 i + g 圈1 2 8 1 4 8 2 9 104 3 91 2 8 ， li = 1 一0 一 1 木ii + ii但5 l iyll _ 0 一0 ii 口iii 、j、i，、1、 而一一而一一而一一 g一 g一 g一 江苏大学硕士学位论文 y i - o 2 9 9 0 5 8 7 o 1 1 4 i - r - i l ，i = 10 5 9 6 0 2 7 5 一o 3 2 1 gl ( 2 6 ) lqi1 0 2 1 2- 0 5 2 3- 0 3 1 1l ibi y c b c r 颜色空间是从h 色彩空间派生的一种颜色空间，主要用于数字电视 系统，是数字视频信号的世界标准。在y c 6 c r 颜色空间中，y 分量代表亮度，g 和c ，分量代表色度。r g b 空间与y c b c r 空间的转换见式( 2 7 ) 。 y 0 2 9 8 9 0 5 8 6 6 o 1 1 4 5 h ic 6i = l - 0 1 6 8 8 一o 3 3 1 2一o 5 0 0 0hg i ( 2 7 ) kjl 0 5 0 0 0 0 4 1 8 3 0 0 8 1 7 jl bj 2 1 5 颜色空间选择 图像处理中最基础、最常用的是r g b 颜色空间，因为现有的图像采集设备最 初采集到的颜色信息是r g b 值。但是r g b 颜色空间除了不均匀和不正交缺点外， 不直观也是一大缺点，即从r g b 距离值中无法正确表达人们实际感知到这两种颜 色之间的真实差异。而h s v 颜色空间的特点是色度分量和亮度分量是分开的，色 调和饱和度分量与人感受颜色的方式紧密相关，其中色调尤其影响人类的视觉判 断，故h s v 模型非常适合以人类色彩感知特性为依据的图像处理算法。本文也是 采用的h s v 颜色空间来进行图像处理的。 2 2 视频序列 ( 1 ) 视频序列的概念 运动目标检测的对象通常是视频序列，又称为图像序列。所谓视频序列就是 图像传感器( 如摄像头) 采集的一组随时间变化的图像帧，它们具有给定的或假 设的相对顺序。每一帧图像由水平和垂直离散化的阵列输出值组成。图像序列一 般可表示为： f ( x ，y ，t o ) ，f ( x ，y ，t 1 ) ，f ( x ，y t n - 1 ) ，) 或 f 伍，y ) ，k = l n( 2 8 ) 其中，x 和y 表示水平和垂直的空间维，t 表示时间维，k 为帧序，n 为图像序 列的总帧数。t i ，i = 0 ，1 ，n _ 1 指获取该帧图像的时刻，相邻两图像帧获取的 时间间隔一般情况下是相等的。 与静态灰度图像相比，动态图像的基本特征就是灰度的变化。具体来说，在 对某一场景拍摄到的图像序列中，相邻两帧图像间至少有一部分像素的灰度发生 了变化，这个图像序列就称之为动态图像序列。造成图像发生变化的原因是多种 多样的，主要有以下几类： 景物本身发生了变化：物体发生了变形( 变小或者变大) 或者运动( 移动或者 江苏大学硕士学位论文 转动) ； 摄像头与景物之间发生了相对运动：摄像头的移动、旋转使图像内容发生了 变化； 光照度变化：照射景物的光源发生变化导致物体亮度改变； 以上几种情况的组合。 ( 2 ) 视频序列处理中的图像差分 运动目标检测算法中的一个基本依据就是图像强度的变化，可以用图像序列 中相邻时间的一对图像的差值来表示强度的相对变化，图像差运算定义为： 毛q ，t l ，t 2 ) = 如，t 2 ) - f ( p ，t 1 ) ( 2 9 ) 式中毛是差分图像，p = ( x ，y ) 。式中运算只涉及对应像素强度的相减运算。差 分图像反应了前后两帧强度的变化，并且能简单的估计运动的方向。但是差分图 像也存在如下的局限性：首先，前后两帧的差分图像只能反映两帧图像中的运动 物体的相对位置变化；其次，它也忽略了缓慢运动的目标和运动着的小物体。 2 3 图像预处理 在实际应用中，摄像机所捕获的原始图像通常不是完美的，质量不是很高，造 成的原因有噪声、光照等。所以在我们使用视频图像之前必须对视频图像进行相 关的预处理，预处理不但能有效地消除噪声，改善图像质量，使图像清晰化，改 善图像的视觉效果，还对后续处理工作的准确性、正确性提供了一定的保证。我 们这里所指的预处理主要包括颜色空间转换、图像噪声消除、图像灰度处理等。 图像的预处理既可以在空间域实现，也可以在频域内实现。空域算法是指在空 间域内直接对数字图像进行处理。通常来说，空间域处理算法的结构不是太复杂， 处理速度也算是比较快的。变换域处理方法主要是通过傅里叶变换、离散余弦定 理、沃尔什变化或者小波变换等变换算法。由于变换域的作用空间比较特殊，不 同于以往空域处理方法，因此可以实现许多在空间域中无法完成或是很难实现的 处理，从而广泛应用于滤波、压缩编码等方面。 2 3 1 颜色空间转换 由于r g b 颜色空间对于人体区域颜色特征没有良好的聚类特性，同时考虑到 系统对实时性的要求，因此通常不采用r g b 色彩空间模型，而采用灰度图像处理， 以减少图像处理时间与内存空间的要求。但现在大多数的视频采集设备都是基于 r g b 颜色模型的，所以需要进行颜色空间的转换。例如将视频图像序列从r g b 颜 色空间转换到h s v 颜色空间。 由于天气的变化、光照的变化、传感器的类型选择、行人行走时造成的运动 江苏大学硕士学位论文 模糊等因素，在采集的图像中必然夹杂着各种类型的噪声，图像降质是不可避免 的，这些噪声的存在，使得运动目标的检测成为一项具有一定难度的工作，因此 在处理和分析图像之前，有必要对图像进行预处理。图像预处理主要用于消除图 像的基本噪声、增强图像对比度等，以改善图像质量，使图像变得较为清晰，便 于后续的处理和分析，如目标检测、分割等。因此图像的预处理结果直接影响到 整个图像的分析过程。目前图像预处理方面的算法比较成熟，如采用平滑或空间 低通滤波滤除噪声、采用直方图均衡化来增强图像对比度等等。在对实际场景下 的运动人体图像作预处理时，需要考虑实际图像特点，主要是消除图像的基本噪 声和增强图像的对比度。 图像滤波是去除图像噪声最常用的方法，主要可分为空域滤波和频域滤波方 法。为了消除噪声或突出图像的某些特征，常需要对图像进行平滑或锐化，根据 其特点和功能可分为线性平滑滤波器、非线性平滑滤波器、线性锐化滤波器和非 线性锐化滤波器。常用的方法有邻域均