（控制科学与工程专业论文）基于yuv颜色空间和图论切割的阴影去除算法.pdf

武汉理工大学硕士学位论文 摘要 随着科学技术的发展和用户需求的多样化，智能视频监控系统也愈发体现 出了其在安防领域中的重要作用。实现智能视频监控的第一步就是从指定的监 控场景中检测并提取出运动物体( 比如运动的人和车辆等) 。而这些运动区域的 准确提取是后续的目标跟踪、识别、分类等算法顺利进行的关键前提。然而， 在实际的智能视频监控系统中，由于各种光线的存在，场景中的运动物体往往 会携带有或大或小的阴影，并且阴影与产生阴影的运动物体具有相同的运动特 征，这就使得阴影常与目标对象一并被检测出来，影响了后续的图像处理和理 解。由此，阴影检测去除成为了智能视频监控领域中个技术上的热点和难点。 本文首先回顾和介绍了视频监控技术的发展历史和研究现状，并对智能视 频监控技术中目前已有的常用的运动目标检测提取方法进行了分析比对，重点 分析了帧差法、光流法以及背景减除法的基本原理、各自的优缺点及适用场合。 从而确定了采用基于混合高斯模型( g m m ) 的背景减除法来获取运动前景区域。 实验证明g m m 能够对场景中光线的变化、树叶或是旗帜的反复运动具有较好的 鲁棒性。但g m m 属于运动分割，提取的前景运动区域中常包含有大片的阴影区 域，所以需要在此基础上进行阴影的检测与去除。 针对运动物体所携带的阴影影响了目标提取的准确性问题，本文分析总结 了几种现有的阴影检测去除算法之后，提出了一种基于y u v 颜色空间与图论算 法相结合去阴影的新方法。该方法的具体实现步骤主要是两步：首先在由g m m 获取的前景运动区域中综合考虑y u v 颜色空间的亮度( y ) 和色度信息( u ，v ) 来检测阴影区域并结合形态学滤波等操作得到确定的阴影和目标种子点集；然 后将所获取的种子点集映射成网络图，利用图切割算法进一步获得运动目标和 阴影的优化分割，从而得到相对精确，干净，平滑的目标信息。该方法在一定 程度上弱化了y u v 空间阴影检测阈值不便设定的问题，既降低了阴影检测过程 中的难度，又提高了检测精度。 最后，本文在v c + + 6 0 环境下，借助o i p 锄c i v 开源计算机视觉库编程完成了 本文提出的算法。通过室内室外环境的多次实验证明，本文算法可以有效地检 测并去除视频监控场景中运动物体所携带的阴影，达到了预期的效果。 关键词：视频监控，前景分割，阴影去除，颜色空间，图切割 武汉理t 大学硕十学位论文 a b s t r a c t a st h ed e v e l o p m e n to ft e c h n o l o g ya n dav a r i e t yo fu s e r s n e e d s ，t h ep o s i t i o no f i n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m si sg e t t i n gm o r ea n dm o r ei m p o r t a n ti nt h e s e c u r i t yf i e l d 1 1 1 ef i r s ts t e po fi n t e l l i g e n tv i d e os u r v e i l l a n c ei st od e t e c ta n de x t r a c t t h em o v i n go b j e c t ( e gp e o p l e , v e h i c l e s ，e t c ) f r o mt h es p e c i f i e dm o n i t o rs c e n e o n l y t h e s er e g i o n se x t r a c t a c c u r a t e l yc a nm a k et h ef o l l o w i n ga l g o r i t h m s ，s u c h a s o b j e c t - t r a c k i n g ，0 b j e c t - i d e n t i f i c a t i o na n dc l a s s i f i c a t i o n e t c ，r u ns m o o t h l y h o w e v e r , i nt h ea c t u a li n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m s ，w ec a nn o ti g n o r et h ei n f l u e n c e o ft h el i g h t ，m o v i n go b je c ta l w a y st e n dt oc a r r ys o m eu n c e r t a i n t ys h a d o w s ，a n dt h e m o v i n ge a s ts h a d o w sa r eo f t e nm i s j u d g e da st h eo b j e c tb e c a u s eo f i t so w np r o p e r t i e s ， w h i c ha f f e c tt h es u b s e q u e n ti m a g ep r o c e s s i n ga n du n d e r s t a n d i n g t h u s ，t h ed e t e c t i n g a n de l i m i n a t i o no fs h a d o w sh a sb e c o m eap r o b l e mw o r t h yt os t u d yf u l t h e r f i r s t l y , t h i st h e s i sr e v i e w sa n di n t r o d u c e st h ed e v e l o p m e n th i s t o r ya n dr e s e a r c h s t a t u so fv i d e os u r v e i l l a n c e t e c h n o l o g y , t h e na n a l y z e s a n ds u m m a r i z e st h e c o m m o n l yu s e dm e t h o df o ro b j e c td e t e c t i o na n de x t r a c t i o n ，f o c u s i n go na n a l y s e so f t h ef r a m ed i f f e r e n c em e t h o d ，o p t i c a lf l o wm e t h o da n dt h eb a c k g r o u n ds u b t r a c t i o n ， m a i n l yi n t r o d u c i n gt h e i rb a s i cp r i n c i p l e s ，a d v a n t a g e sa n dd i s a d v a n t a g e s ，a p p l i c a b l e s i t u a t i o n f i n a l l y , w ed e t e r m i n et oa d o p tg a u s s i a nm i x t u r em o d e l ( g m m ) m e t h o dt o o b t a i nt h em o v i n gf o r e g r o u n dr e g i o n g m mc a nb ep r o v e dt oh a v eb e t t e rr o b u s t n e s s i nt h el i g h to fc h a n g e si nt h es c e n e , t h ef l a gl e a fo rr e p e a t e dm o v e m e n t h o w e v e r , g m mi st h es e g m e n t a t i o nf o rm o v i n gr e g i o n sa n di ta l w a y se x t r a c tt h er e g i o n sw h i c h c o n t a i nn o to n l yr e a lo b j e c tb u ta l s oc a s ts h a d o wa r e a , s oi tn e e d st od e t e c ta n d r e m o v a ls h a d o w sf r o mt h er e s u l t c o n s i d e r i n gt h ea c c u r a c yo fo b j e c te x t r a c t i o ni sa f f e c t e db yt h ec a s ts h a d o w s ， t h i st h e s i sa n a l y z e sa n ds u m m a r i z e st h e s e v e r a l e x i s t i n ga l g o r i t h mf o rs h a d o w e l i m i n a t i o n a n dt h e n , ay u vc o l o rs p a c e b a s e da n dg r a p h - t h e o r y - b a s e ds h a d o w d e t e c t i o nm e t h o di sp r o p o s e dt oi m p r o v et h eq u a l i t yo fd e t e c t i o n 弧es p e c i f i c i m p l e m e n t a t i o ns t e p sa sf o l l o w s ：f i r s t l y , t h ep r e c i s es e e d so ff o r e g r o u n da n ds h a d o w a l eo b t a i n e db yt h e c o l o rs p a c eb a s e do nt h ec o m p r e h e n s i v ec o n s i d e r a t i o n l u m i n a n c e ( y ) a n dc h r o m i n a n c ei n f o r m a t i o n ( u ，v ) a n dm o r p h o l o g i c a lf i l t e r i n gi nt h e f o r e g r o u n dr e g i o ne x t r a c t e db yt h eg m m a n dt h e n , m a p p i n gt h es e e dp o i n tt oa g r a p h ，u s i n gt h eg r a p hc u ta l g o r i t h mt oo b t a i nt h ef u r t h e ro p t i m i z e ds e g m e n t a t i o no f 武汉理工大学硕士学位论文 t h em o v i n gt a r g e ta n ds h a d o w t i l i sm e t h o dw e a k e n st h ei n c o n v e n i e n c eo ft h e d e t e c t i o nt h r e s h o l df o ry u v s p a c e ，a n di m p r o v i n gt h ed e t e c t i o na c c u r a c y f i n a l l y , t h ee x p e r i m e n t a lv e r i f i c a t i o no fo u rm e t h o dh a sb e e nd o n ei nv c 抖6 o e n v i r o n m e n t ，w i t ht h eo p e ns o u r c ec o m p u t e rv i s i o n ( o p e n c v ) l i b r a r y w ec h o o s e v a r i e t yo fv i d e os u r v e i l l a n c es c e n et oc a r r yo u to u rm e t h o d ，i n c l u d i n gi n d o o ra n d o u t d o o re n v i r o n m e n t ，a n de x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e dm e t h o dc a l l d e t e c ta n de l i m i n a t et h ec a s ts h a d o we f f e c t i v e l y k e yw o r d s ：v i d e os u r v e i l l a n c e ，f o r e g r o u n ds e g m e n t a t i o n ，s h a d o we l i m i n a t i o n ， c o l o rs p a c e ，g r a p h - t h e o r y i 独创性声明 本人声明，所呈交的论文是我个人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 研究生( 签名) ：垒查豳日 关于论文使用授权的说明 期：9 oj 护噬 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或 部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) ：盔查豳导师( 签名) ：日期塑! 翌：旦堇 武汉理工大学硕士学位论文 第1 章绪论 本章主要阐述了本课题研究工作的背景及意义，回顾并介绍了智能视频监 控技术领域中阴影检测去除算法的国内外研究现状，最后给出了本文研究的主 要内容以及整个论文的结构安排。 1 1 课题研究的背景及意义 传统的视频监控系统主要是以安全防范为目标，且在实际安全防范应用上 更多以“监看、查证 为主要实施手段。但近年来，随着监控系统的应用环境 和用户需求的日益复杂化以及模式识别、计算机网络等学科的快速发展，视频 监控系统的应用已逐步从单纯的“监”走向“监”、“控”、“管 并重的模式， 也就是所谓的视频监控系统智能化。 智能视频监控系统不同于传统普通视频监控系统，它是在预先设定好的监 控视场范围内利用计算机视觉和视频分析算法对摄像机所摄取的场景视频图像 序列进行智能分析，从而实现对该指定场景中目标物体的定位、识别以及跟踪， 并在此基础上进一步分析和判断所有目标对象的行为，给出整个场景内容的分 析和理解等相关信息。所有的这些操作都是在不需要人为干预的情况下自动完 成的，在保证监控质量的同时极大程度地减轻了监控人员的工作量。表格1 - 1 给 出了传统视频监控系统与智能视频监控系统的区别对应表。 根据表格可以看出智能视频监控系统的优越性及其良好的发展前景。目前， 不同智能程度的视频监控技术已被广泛应用到各种安全防范领域，但所有的智 能视频监控技术的实现几乎都涵盖了由底层至高层的所有计算机视觉研究热 点，包括：目标分割，目标跟踪，目标识别，场景内容理解与描述等等。通过 这些技术的实现，就可以实现无人工介入的智能视频监控，比如，对于场景中 警戒线的监控，当出现人员或是车辆跨越预设警戒线的时候，智能视频监控系 统会自动根据视频图像序列中的内容分析，并及时给出相关报警信息，工作人 员只需要根据该报警信息采取相关的行动即可，避免了因工作人员的个人疏忽 而产生的漏报警，提高了监控的质量和效率。 武汉理工大学硕士学位论文 表1 1 传统视频监控系统与智能视频监控系统的区别对应表 需工作人员长时间紧盯屏幕，易导致眼睛疲劳，注意力下降； 传统 视频 人眼观察范围有限，视觉敏锐视角仅为1 0 。，往往会遗漏重要信息。 监控 人眼视觉灵敏度有限，在监控距离遥远、目标较小的情况下，人眼无法 系统 察觉监控屏幕上的细微变化 多数情况只能用于事后取证，无法起到预防、预警的作用。 无需工作人员紧盯屏幕，只需在系统报警并切换画面时进行确认即可； 智能 设备代替人脑，自动对所有图像进行智能分析，有效解决海量数据资源 视频 监控 的监控，不会遗漏任何重要信息 可以识别出人眼无法分辨的细微变化，有效提高监控效果； 系统 实时分析、实时报警，可帮助相关人员随时掌握现场情况，便于及时采 取预防和控制措旌，具有预警功能，提高安全防范效果。 由于前景提取部分是智能视频监控技术的最基层部分，是保证整个智能视 频监控系统能够准确运行的基础，其提取的目标的准确性以及实时性都影响着 视频监控系统的各项监控指标。但在实际应用中，倘若仅仅考虑基于运动的分 割来检测图像中像素的变化并提取运动目标，得到的结果往往会含有很大的噪 声，这些噪声主要来源于视频监控场景中光线的变化、风吹动场景中的树叶或 是旗帜，以及运动物体所携带的阴影等等，所有的这些都极大程度的影响了运 动目标提取的实时性和准确性。所以，本文也主要以前景目标提取为研究对象， 以提高运动目标分割的准确性。 目前大多数智能视频监控在实际应用中前景提取部分都是基于运动分割算 法实现的，在实现运动分割时必须考虑由于光线自身变化或是其在运动物体上 所产生的投影问题，尤其是针对室外环境下智能监控，场景中光线的变化会直 接引起的场景中目标物体和背景信息的变化。由于太阳光线或是照明灯光的存 在都会使得场景中的运动物体携带上或大或小的阴影，而阴影的两个主要特性 ( 一是阴影和运动目标与背景之间都有很大的灰度差值；二是阴影与产生阴影 的目标具有相同的运动特征) 使其在运用运动分割算法时也会常被错误地检测 成前景目标。 这样就会产生一系列与运动物体携带的阴影有关的问题，如随目标物体移 动的阴影会造成运动目标自身形状的变化、多个运动目标的粘连( 阴影使得两 个单独目标物体合并) 、甚至较小目标丢失( 较小运动目标落在另一个较大运动 2 武汉理工大学硕士学位论文 目标的阴影里) ，所有的这些问题的都将直接影响着后续工作( 目标检测、分类、 跟踪等) 的完成精度，也就不能很好的跟踪目标并对目标的行为进行正确的理 解和描述。所以，为了获取更好的目标分割结果，必须检测并去除运动物体所 携带的阴影区域，这也使得阴影检测成为了近年来智能视频监控技术领域中的 一个研究热点。 另外，在实际应用中，由于光线或场景的变化或摄像机自身问题，还会导 致摄像机的光圈、焦距等发生突然的明显调整，之后又回调至与先前相近似的 状态，从而导致视频图像的整个画面内容瞬间发生较大变化随后又很快恢复的 情况，也就是所谓的光圈抖动问题。当发生这种情况时，g m m 的前景几乎全变， 分割结果几乎已经不再可靠。如何检测并有效减少这种光圈突变引起的问题也 是本课题研究的一个内容。 1 2 阴影检测的国内外研究现状 目前，国内外很多专家学者对视频中的阴影去除问题进行了比较深入的研 究，提出了很多有效的算法嘲，归纳来讲，阴影去除的主要方法可以分为两大 类别：基于模型的方法矧和基于阴影特征的方法删。 基于模型的方法需要根据目标的形状、场景信息以及光照条件等先验知识 建立相应的模型，然后通过统计分析来判断每一个像素点是否属于阴影区域。 比如，y o n e y a m a 等人设计了关于2 d 车辆阴影联合模型的6 种模式，通过跟踪车辆 的运动轨迹来判断消失点，进而确定用哪类模型对图像平面得到的运动前景进 行匹配口1 ；c o l l a d o 等人定义了车辆的几何模型，并利用该模型的能量函数在图 像中搜索匹配的车辆h 1 ；n a d i m i 等用光源照明和表面反射的物理模型，将目标和 阴影分割开璐1 。从这些文献中可以看出，基于模型的方法虽然在模型建立准确的 前提下可以取得相对较好的检测效果，但一般情况下，一个好的模型往往需要 一些关于场景信息和运动物体的先验知识，且计算量相对较大，尤其是在监控 场景背景比较复杂，光照条件比较差的场合下，该方法建立模型的复杂度和计 算时间都会迅速地增加，所以，一般只在一些特定的场景中采用该方法进行阴 影的检测与去除。 基于特征的方法则是先利用运动分割( 如g m m 算法) 提取出包含有阴影区 域的前景运动区域，然后通过阴影和目标物体与背景之间的特征关系来检测并 消除阴影区域，最终将阴影和目标物体区分开来。对于实际场景的监控，鉴于 3 武汉理工大学硕七学位论文 基于模型方法的复杂性，该类方法得到了比较广泛的应用。应用该类方法的一 个重要前提就是需要认识并区别阴影与目标物体的各种特征类型。比较常用的 有灰度信息和各种颜色信息、频率特征、纹理特征、梯度特征等等。比如，在 颜色方面，c u c c h i a r a 等人采用h s v 颜色空间只对运动区域进行阴影检测与去 除，但由于h s v 颜色空间无法准确鉴别黑色车辆及其阴影，实验中对于黑色车 辆及小型目标会发生丢失现象，需要通过合理设置阈值来改善检测效果阻，； h o r p r a s e r t 等人在r g b 颜色空间，利用归一化的亮度变化和色度偏移来识别阴影 盯1 。运用基于颜色的方法对监控场景中的光照变化较为敏感，如果物体的部分像 素和阴影具有相同或是相似的颜色特征，那么该方法极有可能会将这些物体的 部分像素误判为阴影。在梯度方面，c h i e n 等人假设场景中的阴影区域的亮度是 缓慢变化的，利用梯度滤波器将输入图像中的阴影去除随1 。该方法在背景单一、 阴影较弱的室内场景监控中可以取得较好的监控效果，但它对阴影边缘的去除 效果并不是很好。在纹理方面，l e o n e 等人用基于纹理的方法进行阴影检测睁1 ，首 先利用阴影比其覆盖的背景灰度值小的特性，得到候选的阴影像素；然后采用 优化的g a b o r 核函数提取候选点附近和相应背景点附近的g a b o r 特征值，如果这 两个特征值相近，则认为纹理相似，判定为阴影像素。应用该方法时，如果选 取的核函数越多，那么检测性能也就会越好，但计算也会更加复杂，该方法主 要适用于运动物体和背景纹理差别比较大的监控场合。 近年来，许多学者也提出了基于两类方法融合来实现阴影检测的方法，如， b oq i n 等人在背景差分法快速获取移动区域基础上根据基于模型的方法建立阴 影的粗模型，快速确定阴影的粗略区域n 。阴影检测时只对该粗略区域内的图 像采用基于h s v 颜色空间的方法进行分析处理，在一定程度上解决了仅基于模 型检测阴影的效率问题。另外，基于机器学习与模式分类的阴影检测的相关方 法也受到了学者们的认可，如，a j j o s h i 等n 别利用c o t r a i n g 的方法进行阴影检测 与移除，也取到了较好的效果。 考虑到对于一般的监控环境，采用基于模型的检测算法的复杂度和耗时性 都是相当大的，所以本文重点研究了基于阴影属性的检测算法，并在此基础上 提出了一种新的阴影检测算法，其原理和实验效果将在本文的第四章节中给出 详细的说明。 4 武汉理工大学硕士学位论文 1 3 本论文课题来源、研究内容和主要贡献 本课题来源于与企业合作开发项目：智能视频服务器一s ( i n t e l l i g e n tv i d e o s e r v e r s ) 的研发。基于i v s 项目的硬件平台及g m m 分割算法，并结合现有的 阴影检测去除算法的原理，提出了基于颜色特征和图论算法相结合的方法来检 测阴影，并通过实验对其进行了验证和分析。本文主要研究内容有： ( 1 ) 运动区域提取： 通过研究分析各类运动目标检测方法的原理以及优缺点，并着重学习研究 了g m m 分割技术。主要实现步骤为：首先在一段时间内训练指定数目的连续 帧，并建立图像的背景模型( 包括均值，方差和权重) ，然后通过模型匹配确定 当前输入帧中每一像素点是为前景还是背景点，并根据预设条件对已有的多个 高斯模型的均值，方差和权重进行更新，以便实时地反映场景信息的变化，保 证运动区域提取的准确性。 ( 2 ) 现有阴影检测算法的研究 通过分析比对现有的阴影检测算法的优缺点及适用场合，重点研究了基于 阴影属性的检测算法，并给出了基于颜色和基于纹理特征进行阴影检测去除的 原理及相关实验验证，最后确定了利用基于y u v 颜色空间进行阴影初步检测的 方案。 ( 3 ) 图论理论的学习及其应用于阴影分割的研究 通过学习图论相关理论及其在图像分割领域中的应用，重点学习了最大流 最小切割算法，并提出了将其与基于颜色空间的阴影检测算法相融合法来进行 阴影检测的新方法。主要思路是在y u v 颜色空间的基础上综合考虑亮度( y ) 和色度信息( u ，v ) 以及形态学滤波等操作检测出精确属于目标和阴影的种子 点集，然后将其映射成网络图，从而利用图论中最大流最小切割算法进行图像 的优化分割，得到干净、平滑的分割效果，这样也就达到了去除阴影的目的。 论文各章内容安排如下： 第l 章为绪论部分，阐述了本文研究工作的背景及意义，回顾介绍了智能 视频监控系统中阴影检测去除算法的国内外研究现状，提出了本文研究的主要 内容及论文的结构安排。 第2 章为基础知识部分，介绍了与本课题有关的颜色空间模型，形态学操 作，图论理论等知识要点。 第3 章为运动区域提取部分，主要对各种运动目标检测方法进行了分析比 5 武汉理t 大学硕十学位论文 对，从而确定一种效果相对较好的前景提取方法。同时，本部分也简单介绍了 光圈抖动现象产生的原因以及如何抑制其影响的方法。 第4 章为阴影检测算法部分，也就是本文核心部分，主要介绍了本文所提 出的阴影检测去除方法。 第5 章为总结与展望部分，对本文工作进行了总结分析，并给出下一步研 究方向。 6 武汉理工大学硕士学位论文 第2 章基础知识 在实际监控系统应用中，场景中的天气变化、光线的变化以及各种随机噪 声等因素都会直接影响着场景视频图像序列的采集质量，进而影响了后续的图 像序列分析工作。对于运动目标检测来说，运动目标所携带的阴影就是其中一 个不可忽略的重要影响因素，这主要是由于阴影自身的属性使得阴影区域常常 会被错误的检成前景运动区域，所以为了提高运动目标提取的准确性，必须对 提取出的运动区域进行阴影区域的检测并去除。下面将主要介绍课题中所涉及 到的颜色空间模型，数学形态学操作，图论理论等知识要点。 2 1 颜色空间模型 颜色空间指的是某个三维颜色空间中的一个可见光子集，它包含某个颜色 域的所有颜色，可用于表示色彩之间的相互关系，所以颜色空间的用途就是在 某个颜色域内方便地指定颜色【l 引。在不同的行业领域中，颜色空间指代的意义 也是各不相同的，但在计算机技术领域尤其是机器视觉和模式识别中运用最为 广泛。在计算机图像学中，最常用到的就是r g b 颜色空间了，这主要是因为较 多的数字图像都是基于该颜色空间进行色彩表达的原因。但使用r g b 颜色空间 时，需要给其分配足够大的空间来进行各个分量的数据量存储，并且计算量也 比较大，所以在视频处理系统中，一般会考虑采用其他颜色空间，如，h s v 颜 色空间、颜色空间、h s i 颜色空间和l a b 颜色空问等。根据本文所涉及的 内容，本节中会给出r g b 颜色空间和y u v 颜色空间的相关介绍。 2 1 1r g b 颜色空间模型 r g b ( r e d ，g r e e n ，b l u e ) 颜色模型主要应用于显示器系统，通过红、绿、 蓝三种基色相加混合产生各种其他颜色。也就是在图像显示的时候，通过控制 图像中每一个像素中的r e d ，g r e e n ，b l u e 三分量的取值来确定该像素的最终颜 色。从色彩理论上讲，上述三种基色( 取值均为0 - 2 5 5 ) 以不同比例大小加以混 合就可以得到任何一种我们所需要的颜色( 总共可以有1 6 7 7 7 2 1 6 种颜色值) 。 公式表示为：c ( 色彩) = r ( 红色值) + g ( 绿色值) + 召( 蓝色值) 。为了便于描述， 7 武汉理工大学硕士学位论文 假设所有的颜色取值都归一化到 o ，1 范围内，则r g b 彩色模型可由图2 一l 所示 的单位立方体来表剥1 3 1 ，在该模型中，( 足g ，b ) = 【o ，0 ，o 】处，也即坐标原点，代 表的颜色值为黑色；( r ，g ，b ) = 【1 ，1 ，l 】处表示的是白色；灰度等级即沿着这两个点 的连线分布。对于该颜色空间的其他不同的颜色都可以在该单位立方体上或者 其内部找到相对应的位置，并可以用从原点分布的向量来定义表示。 b g 图2 1r g b 颜色空间模型 虽然大多数的视频采集显示设备都是基于r g b 颜色空间的，但确切地说， r g b 颜色空间属于色彩显示空间，它并不符合人眼对色彩的视觉特性，且应用 r g b 颜色空间描述目标对象的颜色模式也较为复杂，三分量( r ，g ，b ) 之间 具有很高的相关性，冗余信息多，计算量大，直接利用这些分量通常不能得到 所期望的检测效果。所以，在视频监控图像处理的众多算法中，更多的是考虑 将其转换到其他颜色空间再进行视频算法的处理，如y u v 颜色空间和h s v 颜 色空间等。 2 1 2y u v 颜色空间模型 w ( 亦称y c 曲) 颜色空间主要用于优化彩色视频信号的传输，其中y 分量表示明亮度( l u m i n a n c eo rl i g h t n e s so ri n t e n s i t y ) ，即灰阶值，主要用来表 示光线照射的强弱程度，将r g b 信号的特定部分按一定的比例叠加即可得到该 分量值；而u 和v 分量通常会被并称为色度( c h r o m i n a n e e ) ，用于表示图像的 色调和饱和度，色调信息主要是反映颜色的类别，它决定了颜色的基本特征； 8 武汉理工大学硕士学位论文 而饱和度反映的是某一种颜色的纯度，通俗来讲就是颜色的深浅程度。u 和v 分量的取值可以由b 一】，( r g b 输入信号蓝色部分与亮度值之差) 和r y ( r g b 输入信号红色部分与亮度值之差) 按不同的比例压缩而得。 一般的视频采集显示设备都是基于r g b 颜色空间，所以，需进行r g b 空 间到y u v 空间的转换，一般转换公式如下【1 4 1 ： y = 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 口 u = - 0 1 4 7 r 一0 2 8 9 g + 0 4 3 7 b( 2 1 ) 矿= 0 6 1 5 r 一0 5 1 5 g o 1 0 0 口 由上面的公式也可以看出，在已知r g b 各分量取值的情况下求解y u v 颜 色空间的各个分量的过程是一个线性处理的过程，通过近似变换可得： y = 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 b u = 0 5 6 5 ( b n ( 2 - 2 ) v = 0 7 1 3 ( r 一均 通过上述两个方程组的比较可以看出，公式2 2 在计算速度上明显优于公式 2 1 ( 每一次转换都少了4 次乘法，2 次加法) 。此外，如果在某些对转换计算速 率有特殊要求的场合，还可以考虑选择文献 1 5 1 中提到的查表法，利用查表的方 法进行两个空间分量值的转换且不需要任何的乘法运算，相较于公式2 1 来说， 在转换效率上有了更大的改善。 颜色空间最大的优点就是，亮度信号( y ) 和色度信号( u ，v ) 是相 互独立的。如果在输出的幅图像中只含有y 信号分量而没有u ，v 信号分量， 那么，这样的图像我们就可以称为黑白灰度图。彩色电视系统就是利用了该颜 色空间的这一优点来解决了彩色电视和黑白电视显示的兼容性问题；另外，图 像亮度信号( y ) 和色度信号( u ，v ) 相互独立的优势还使得该空间多用于图 像的压缩处理中，利用该优点可以实现在保证不影响图像质量的基础上对各个 分量( y ，u ，v ) 采用互不相同的分辨率来压缩存储，也就进一步减少了存储 整幅图像的相关数据和存储空间，有效地提高了图像处理系统的运算速度。同 时，从r g b 空间到y u v 空间转换的线性特性也可以在一定程度上保证图像分 析仪中算法处理的实时性。所以，通过综合分析，本文在g m m 前景区域提取 的基础上采用基于y u v 颜色空间来完成目标和阴影的初次分割工作。 2 2 数学形态学运算 数学形态学( m a t h e m a t i c a lm o r p h o l o g y ) 以图像的形态特征为研究对象，描 9 武汉理t 大学硕士学位论文 述的是图像的基本特征和基本结构，即图像中元素与元素、部分与部分之间的 关系。其主要用途就是通过获取物体的拓扑和结构信息，利用物体与结构元素 相互作用的某些运算，得到更为接近物体本质的形态【l 引。数学形态学的基本思 想是使用具有某种形态的结构元素( 或称为“探针) 去度量并提取图像中的对 于表达和描述目标对象区域形状特征有用的特定部分( 比如，边界和骨架等) ， 并由此统计图像中各个部分之间的相互关系，从而达到正确分析和识别图像的 目的。它使用的数学基础和语言是集合论，在数学形态学中，图像的内容可以 由集合中的元素来表示。合理巧妙地应用数学形态学可以大大简化图像数据， 并在保证图像基本形状特性不变的同时滤除掉与目标物体不相关的结构部分。 另外，在进行图像处理算法的时候还可以同时运用数学形态学操作，也就是所 谓的并行运行结构特性，进而保证了图像分析和处理的速度。目前，数学形态 学方法已成为图像处理领域中工程技术人员的强而有力的工具之一。 数学形态学是由一组形态学的代数运算子组成的，其最基本的运算子主要 是腐蚀和膨胀操作，基于这两类基本运算还可推导和组合出其他多种数学形态 学的实用算法，继而可进行图像中物体形状和结构的分析处理等操作i l 副。 数学形态学的应用主要体现在以下几个方面： ( 1 ) 图像的预处理( 如，图像去噪，物体形状简化等) ； ( 2 ) 图像增强( 如，物体边界或骨架特征的提取，图像细化等) ； ( 3 ) 图像分割( 从图像背景中分割出运动目标物体) ； ( 4 ) 物体的量化描述( 如，面积，投影，周长等特征) 。 2 2 1 腐蚀 腐蚀( e r o s i o n ) 是数学形态学中两类最基本的运算之一，其作用是消除目 标物体的边界点，使得物体的边界向内部收缩，并去除小于结构元素的物体【1 5 1 。 因此，原则上，选择不同大小尺寸的结构元素，就可以去除不同大小的物体( 主 要是噪音) 。同时，如果两个目标物体之间有着微小的连通性，那么也可以通过 腐蚀操作将其分开。 腐蚀最简单也是最普遍的用途就是根据结构元素的大小从二值图像中滤除 与目标物体不相关的细节或是噪声部分，其运算符为o ，对z 中的集合彳和口， 使用b 对彳进行腐蚀，用a o b 来表示，并定义为： a o b = zi ( b ) ：sa ( 2 3 ) 用曰对彳进行腐蚀的过程可以描述如下： 1 0 武汉理j 人学硕士学位论文 ( 1 ) 根据图像的内容及用户要求定义一个具一定形状、尺寸大小的结构 元素( 内部元素取值为o 或1 ) ： ( 2 ) 用该结构元素扫描待处理的图像中的每一个像素： ( 3 ) 当且仅当该结构元素与其覆盖的二值图像完全相同( 均为1 ) 时，就 在输出结果图巾保留( 置位) 与该结构元素中心点对应的像素点。 图2 2 给出了运用结构元素b ( 图( b ) ) 对目标图像a ( 图( a ) ) 进行腐蚀 操作的示意图。 匡 拜 a ) 待腐蚀图像( b ) 结构元素( c ) 腐蚀结祟图像 图2 2 腐蚀操作示意图 图2 2 中，图( a ) 为给定的待腐蚀图像，目标和背景部分分别由灰色和白色 单元表示：图( b ) 为定义好的结构元素，黑色代表该结构元素的中心点，白色 部分代表其邻域；图( c ) 为腐蚀结果图，腐蚀后得到的目标用黑色部分表示， 被腐蚀掉的目标像素则用灰色部分表示，同样，背景部分依然用白色部分来表 示。由该组示意图可以看出腐蚀操作就是在保证不改变目标图像内部结构的 基础上，去掉日标图像的外边界，使图像达到一种边界内缩的效果。 2 22 膨胀 膨胀( d i l a t i o n ) 是数学形态学中与腐蚀并存的另一基本运算操作，其作用 刚好与腐蚀操作相反，它的主要用途是使图像中目标物体的所有边界向物体外 部按一定的尺寸扩张【l q 。通常，膨胀多用于填充图像分割后目标物体中微小的 空洞或者狭窄的缝隙。但也需要说明一点，如果图像中两个独立的日标物体距 离很近，则运用膨胀操作很有可能将两个目标连通。 膨胀的运算符为o ，对z 中的集合a 和b ，使用矗对a 进行腐蚀用a 0 占 来表示，并定义为： a o 占= ( 口) ：a ( 2 - 4 ) 武汉理1 = 大学硕士学位论文 类似于腐蚀操作，用嚣对且进行膨胀的过程可以描述如下： ( 1 ) 根据图像信息及用户要求定义一个具有一定尺寸大小的结构元素： ( 2 ) 用该结构元素按其中心点扫描待处理图像中的每一个像素； ( 3 ) 只要该结构元索与其覆盖的二值图像有一个像素同为1 时，则在输出 结果图中保留( 置位) 该像素点。 图2 3 给出了用结构元素b ( 图( b ) ) 对原始目标图像a ( 图( a ) ) 进行膨 胀操作的示意图。 ( a ) 待膨胀图像( b ) 结构元素( c ) 膨胀结果图像 图2 - 3 膨胀操作示意图 图2 3 中，图( a ) 为给定的待膨胀的图像，目标和背景部分分别用灰色和白 色单元来表示；图( b ) 为设定的膨胀结构元素，黑色代表该结构元素的中心点， 白色部分代表其邻域；图( c ) 为膨胀后的结果图，此时，目标图像包含了经膨 胀扩张出来的部分和原有目标部分，其中，经膨胀扩张的部分用黑色表示，原 有的目标部分用灰色表示，图像的背景依旧用白色单元表示。由该膨胀示意图 可以看出，膨胀操作就是将图像向外扩张同时保留图像的内部结构使图像达到 边界外扩的效果。 2 23 开运算 在前面介绍的两类基本的形态学运算看上去是一对互逆的运算，但实际上 并非如此，也正是由于他们的不可逆性而衍生出了另外两种较为常用的形态学 操作：开运算和闭运算。开运算( 0 p 廿l i n g ) “1 是先对给定的图像进行腐蚀操作 然后再进行膨胀操作的一种运算过程，其主要的用途就是滤掉小的孤立点、细 的毛刺或是微小的连通桥、平滑主要目标物体的轮廓( 不至于明显改变其面积 武汉理工人学硕l 一学位论文 信息) 等。 开运算操作的运算符为。，假设a 为一幅给定的欲进行开运算处理的图像， b 为已定义好的具有一定尺寸大小的结构元素，那么用b 对“进行开运算操作 可以用a 。b 来表示，对应的数学表达式为： a 。b = ( a o b ) 0 b ( 2 - 5 ) 图2 - 4 给出的是一个开运算( 先腐蚀后膨胀) 的应用实例，给定一幅图像a ( 图 ( a ) ) ，先用结构元素b 对其进行腐蚀操作得到图( b ) ，然后，对图( b ) 再用结 构元素b 进行膨胀操作得到最终的开操作结果。 ( a ) 原始图像( b ) 时( a ) 腐蚀后图像( c ) 对( b ) 膨胀后图像 图2 - 4 开运算实例 由凌实例图中也可以看出腐蚀运算与膨胀运算具有不可逆性，换句话说就 是，对于一副给定的目标图像即使采用同一个固定大小尺寸的结构元素对其 进行开操作运算，得到的结果也并非原始给定的图像，而是比原始图像更为简 单的一种结果。 224 闭运算 闭运算( c l o s i n g ) 类似于开运算，只不过操作过程刚好相反它是对削像 先进行膨胀运算而后再进行腐蚀运算。它的主要用途是填充目标对象内部微小 的空洞、弥补狭窄的细缝，平滑目标物体的轮廓( 同开运算一样，也不会明显 改变目标对象的面积) 等 1 4 1 。 闭运算的运算符为，设a 为给定的待处理的原始图像，b 为已定义好的具 有一定尺寸大小的结构元素，则使用b 对a 进行开运算操作用a b 来表示， 相应的数学表达为： 一b = ( a 0 占) 0 占 ( 2 - 6 ) 图2 5 给出了对应的闭运算实例： 武汉理t 人学硕士学位论文 ( a ) 原始图像( b ) 对( a ) 膨胀后图像( c ) 对( b ) 腐蚀后图像 图2 5 闭运算实例 在实际应用中，上述几种运算或是其组合衍生的其他形态学运算都涉及到 了一个问题，就是结构元素的选取。结构元素选取的过大或是过小都会影响到 检测结果的台理性，比如对于膨胀操作来说，结构元素选取的过大会将更多的 噪音点融入到检测结果中：选取的过小，又无法充分体现运动物体的信息。但 这并不会影响数学形态学在图像处理领域中的重要地位，尤其是在视频系统的 预处理咀及后处理中，通过合理选用结构元素和上述各类基本运算操作及其组 合衍生运算操作，可以有效地提高图像处理的速度与效率，使图像中的检测结 果更接近于实际目标，从而也就更加方便分析和处理。 23 图论理论 图论( g r a p h t h e o r y ) 最早是由伟大的数学家欧拉( l e u l c r ) 在解决著名的 哥尼斯堡“七桥问题”时而提出的一种研究方法【i q ，可以说图论是数学的一个 分支，部分属于拓扑学( t o p o l o g y