（通信与信息系统专业论文）智能视频监控系统中关键技术的研究.pdf

江苏大学硕士学位论文 摘要 智能视频监控是计算机视觉领域的一个新兴的应用方向和备受 关注的前沿课题，相对于传统的视频监控系统，智能视频监控系统具 有监控能力强、安全隐患少，节省人力物力资源的优点。它在交通、 银行、宾馆、商场等重要场所的监控中有广泛的应用前景。 本文旨在设计摄像头静止情况下的智能视频监控系统，在分析现 有成果的基础上，对运动目标的检测和识别的相关技术进行了改进和 实现。主要内容如下： ( 1 ) 本文采用基于背景模型的运动目标检测方法，对传统混合高斯 模型进行改进。第一，简化背景模型建立和初始化过程，扩展运动目 标检测方法的应用范围。第二，建立s 和v 分量混合模型，增加目 标检测的精确度。第三，借鉴帧间差分法的思想，通过设置循环计数 器和动态设置学习率的方法对变化的背景区域进行重建，解决背景突 变的问题。 ( 2 ) 针对初步提取的运动目标中存在的影响目标特征提取的噪声 问题，本文中采用中值滤波和形态学滤波结合的办法去掉背景噪声。 对于前景中存在的阴影，本文在r g b 色彩模型的基础上提出一种阴 影检测算法来检测阴影区域。 ( 3 ) 为了应对场景中存在多目标情况，本文采用8 连通域检测，对 目标像素做分组标记，同时去掉非目标噪声区域。针对目标区域描述 的问题，本文提出了一种套接多边形边界的算法来代替传统的套接矩 形和圆形的算法，该算法能够更准确的描述运动目标区域，提高提取 目标特征的精确度。 ( 4 ) 在运动目标识别的过程中，本文提出采用目标边缘的不变矩特 征构建特征向量，并通过目标特征向量之间的欧氏距离来进行识别。 江苏大学硕士学位论文 这样，在保留不变矩作为识别特征的优良特性的基础上，又在很大程 度上减少了计算量，提高了系统识别的实时性。 相关试验的结果证明了本文中的算法的有效性，可应用在复杂场 景条件下快速提取背景模型，检测运动目标并识别目标类型。 关键词：智能视频监控，运动目标检测，目标识别，混合高斯模型， 阴影去除 江苏大学硕士学位论文 a b s t r a c t i n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e mi so n eo fn e wa r i s i n gh i g h t e c h a p p l i c a t i o nf i e l d s c o m p a r e dt ot r a d i t i o n a lv i d e os u r v e i l l a n c es y s t e m ，i t h a sa d v a n t a g e so fh i g h e rq u a l i t ya n dl e s sn e e do fi n v e s t m e n t i th a s c h e e r f u lp r o s p e c ti nt h ea p p l i c a t i o n so fs u r v e i l l a n c ef o rt r a f f i c ，b a n k ， h o t e l ，s h o p p i n g ，e t c t h ed i s s e r t a t i o na i m st od e s i g ni n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e m w i t hs t a t i cc a m e r a s b a s e do ns t u d y i n gt h ec u r r e n tc o n c l u s i o n ，t h e d i s s e r t a t i o ni m p r o v e da n dr e a l i z e dt h ek e yt e c h n o l o g i e sw h i c hr e l a t et o d e t e c t i o na n dr e c o g n i t i o no fm o v i n go b j e c t t h em a j o rc o n t e n t so ft h i s d i s s e r t a t i o nc a nb es u m m a r i z e da sf o l l o w i n g s ： ( d i nt h ed i s s e r t a t i o n ，t h em e t h o db a s e do nb a c k g r o u n dm o d e li s a d o p t e dt od e t e c tm o v i n go b je c t ，a n dt h ea l g o r i t h mi si m p r o v e db a s e do n t h et r a d i t i o n a lg a u s s i a nm i x t u r em o d e l f i r s t l y , t h ep r o c e s so fb u i l d i n g a n d i n i t i a l i z i n gb a c k g r o u n dm o d e li ss i m p l i f i e d ，w h i c hm a k et h e a p p l i c a t i o no ft h ea l g o r i t h mw i d e r s e c o n d l y , t h em o d e l so fsa n dv a r e b u i l tt oi n c r e a s et h e a c c u r a c y o f o b j e c td e t e c t i o n t h i r d l y , u s i n g a d j a c e n t - f r a m ed i f f e r e n c ef o rr e f e r e n c e ，t h ep r o b l e m so fb a c k g r o u n d c h a n g e sa r es o l v e db ym o d e lr e b u i l d i n gw h i c hi sr e a l i z e dw i t ht h eh e l po f c y c l ec o u n t e ra n dd y n a m i cl e a r n i n ge f f i c i e n c y ( 2 ) t os o l v et h ep r o b l e mt h a tt h en o i s ew h i c hc o u l di m p a c to b je c t f e a t u r ee x t r a c t i o ne x i s t i n gi nt h er e s u l to fi n i t i a lm o v i n go b j e c td e t e c t i o n ， m e d i a nf i l t e ra n dm o r p h o l o g i c a lf i l t e ra r ea d o p t e dt or e m o v eb a c k g r o u n d n o i s e t or e m o v et h es h a d o wa r e ai nf o r e g r o u n d ，a l la l g o r i t h mo fs h a d o w d e t e c t i o nw h i c hi sb a s e do nt h er g bc o l o rm o d e li s p r o p o s e di nt h e d i s s e r t a t i o n ( 3 ) 1 1 0d e a lw i t ht h es i t u a t i o nt h a tt h e r ec o u l db em a n yo b j e c t si na 江苏大学硕士学位论文 s c e n e ，t h ed e t e c t i o no f8 - c o n n e c t e dr e g i o n si sa d o p t e dt om a r ka n dg r o u p t h ep i x e l so fo b j e c t sa n dr e m o v en o i s ea r e aa tt h es a m et i m e t od e s c r i b e o b j e c ta r e a ，a na l g o r i t h mw a sp r o p o s e di nt h ed i s s e r t a t i o n ，w h i c ha d o p t s c i r c u m s c r i b e dp o l y g o ni n s t e a do ft h et r a d i t i o n a lc i r c u m s c r i b e dr e c t a n g l e a n dc i r c u m s c r i b e dc i r c l e i tc a nd e s c r i b et h em o v i n go b j e c ta r e am o r e a c c u r a t e l y f o rt h i sr e a s o n ，t h ea c c u r a c yo fo b j e c tf e a t u r ee x t r a c t i o ni s i m p r o v e d ( 4 ) i nt h ep r o c e s so fo b je c tr e c o g n i t i o n ，t h ed i s s e r t a t i o np r o p o s e dt h a t t h er e s u l to fo b je c tr e c o g n i t i o ni sd e c i d e db yt h ee u c l i d e a nd i s t a n c e b e t w e e nf e a t u r ev e c t o r so fd i f f e r e n to b j e c t s ，w h i c ha r ec o m p o s e db y i n v a r i a n tm o m e n t so fo b j e c te d g ei n f o r m a t i o n i nt h i sw a y , t h eo b j e c t r e c o g n i t i o ns y s t e m i sn o to n l ya d v a n t a g e db yi n v a r i a n tm o m e n t sb u ta l s o m a d em o r ee f f i c i e n tb ya g r e a td e c r e a s eo nt h em o u n t o fc a l c u l a t i o n t h er e s u l t so ft e s t ss h o wt h a tt h ea l g o r i t h m si nt h i sd i s s e r t a t i o na r e e f f e c t i v e ，w h i c hc a nb ea d o p t e di nt h ec o n d i t i o no fc o m p l e xs c e n e st o a t t a i nb a c k g r o u n dm o d e lr a p i d l y , d e t e c ta n dr e c o g n i z em o v i n go b j e c t k e yw o r d s ：i n t e l l i g e n tv i d e os u r v e i l l a n c e ，m o v i n go b j e c td e t e c t i o n ， o b j e c tr e c o g n a i o n ，g a u s s i a nm i x t u r em o d e l ，s h a d o wr e m o v a l i v 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅。本人授权江苏大学可以将本学位论文的全部内容或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本 学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密 指导教师签名：夕乙l 孤 一9 年m 7 吒 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已注明引用的内容以外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 蚴峰 日期：少谚口翟年f 卢月q 日 江苏大学硕士学位论文 第一章绪论 1 1引言 计算机视觉是计算机科学与人工智能的一个重要分支，在近三十年有了突飞 猛进的进展，并且这种发展势头还将保持一个相当长的时期。这是因为，图像( 视 频) 信息是人们由客观世界获得信息的主要来源之一，占据人们依靠五官获得的 外界信息的7 9 以上。此外，由于图像具有独特的空间特性和结构特性，因此图 像所表达的信息不是语言和文字描述所能替代吲1 1 。 计算机视频监控是计算机视觉领域一个新兴的应用方向和备受关注的前沿 课题。随着科技的发展，社会的进步，人民生活水平的提高，团体和个人的安防 意识不断地增强，视频监控系统也就得到了越来越广泛的应用。例如在生活中的 小区安全监控系统，在电讯行业中应用的基站监控系统，在林业管理中应用的火 情监控，在银行系统中应用的柜员机监控系统，在交通管理中应用的违章、流量 监控等等【2 】【3 】。 智能视频监视就是实时地观测被监视场景的运动目标，并且分析描述他们的 行为，在一定条件下给予报警。智能视频监控系统不仅符合信息产业的未来发展 趋势，而且代表了监控行业的未来发展方向，蕴藏着巨大的商机和经济效益，受 到学术界、产业界和管理部门的高度重视。目前在美国、欧洲及r 本开展了大量 的智能视频监视方面的研究工作，并且视频监控也己成为最近一些国际会议和工 作组的研讨主题4 】【5 】。 1 2 智能视频监控的主要任务 视频监控是指通过摄像机来监视特定场所中发生的事件。因其能给人最直接 的视觉、听觉感受，以及对监控对象的可视性、实时性及客观性的记录，因而已 成为目前安全防范领域的主要手段。 ， 传统的视频监控是采用模拟信号作为传输和存储手段的，存在传输过程不稳 定、易受到干扰、存储不方便等缺陷。近年来监控领域发生了一系列较大的变化， 主要是以数字化的传输和存储手段代替了原来的图像的传输和存储。这使得远程 江苏大学硕士学位论文 监控、多功能自动报警、多媒体数据检索、多画面高清晰度显示等以数字化图像 为背景的应用需求成为现实，大大地推广了其应用范围，而成本也随着制造工艺 的改进和需求的增加在不断地降低。 目前监控摄像机在商业应用中已经普遍存在，但并没有充分发挥其实时主动 的监督作用，因为它们通常是将摄像机的输出结果记录下来，当异常情况( 如停 车场中的车辆被盗) 发生后，保安人员才通过记录的结果观察发生的事实。但是， 随着摄像头数量增加，达到数百个、数千个，我们根本无法看到所有的监控区域 发生了什么。另外，由于自身生理上的限制，人类并不是可以完全信赖的观察者。 有研究表明：一个人盯着屏幕看3 个小时后，注意力将降低7 0 。尤其是晚上， 人很容易瞌睡，如果有小偷进入银行作案，保安也有可能不能及时发现，从而导 致漏报现象发生【6 】。这样，实时监控的视频信息就失去了实时预警、报警的作用， 只能作为事后证据了。因此计算机视觉和应用研究学者适时提出新一代监控 智能视频监控的概念【。智能监控系统的需求主要来自那些对安全要求敏感的场 合，如银行、商店、停车场等以及人力监控费用昂贵、非常危险或者人力无法实 现等场合下的监控如森林防火、战争中对战场的实时监控、对偏远地区的重要设 施的监控等。智能视频监控在不需要人为干预情况下，利用计算机视觉和视频分 析的方法对摄像机拍录的图像序列进行自动分析，实现对动态场景中目标的定 位、识别和跟踪，并在此基础上分析和判断目标的行为，从而既能完成r 常管理 又能在异常情况发生时及时做出反应。智能视频监控系统可以使工作人员摆脱繁 重的劳动，并且排除了由于人体疲劳造成遗漏部分重要信息的可能，从而提高了 监控系统的准确度和可靠性。 这种智能视频监控系统以普通的网络视频监控为基础，除了具备普通监控系 统的功能外，最大的优势是能自动地全天候进行实时分析报警，彻底改变了以往 完全由安保人员对监控画面进行监视和分析的模式。智能监控系统能够实现每天 2 4 小时的不间断实时监视，自动分析摄像机捕捉的图像数据。当盗窃发生或发 现到具有异常行为的可疑的人时，智能监控系统能向保卫人员准确及时地发出警 报甚至直接控制相关设备采取紧急措施，从而避免犯罪的发生，同时也减少雇佣 大批监视人员的投入；在访问控制( a c c e s sc o n t r 0 1 ) 场合，智能监控系统可以 利用人脸或者步态的跟踪识别技术以便确定来人是否有进入该安全领域的权利； 此外，智能监控技术在自动售货机、a t m 机、森林防火、交通管理、公共场所行 人的拥挤状态分析及商店中消费者流量统计等监控场合都能发挥巨大作用。 2 江苏大学硕士学位论文 智能视频监控技术是计算机视觉领域一个新兴的应用方向。智能视频监控系 统与传统意义上的监控系统的区别在于其智能性，因此，其研究内容与一般监控 系统的研究内容有所不同。智能视频监控技术的研究内容主要包括以下方面 8 - 1 0 】： 1 快速准确的运动检测。即从摄像机所捕捉的序列图像中检测是否有运动物 体存在。 2 具有实时性、鲁棒性的运动目标的定位、识别和跟踪算法。 3 基于移动摄像机的视觉监视技术。即将现有参数固定的静态摄像机改进为 参数可自动调节的动态摄像机。 4 多摄像机的协作监视。单个摄像机的视野有限，要监视大范围的动态场景 就需要多个摄像机，此外，多个摄像机也有利于解决遮挡问题。多摄像机的标定 与数据融合是两个关键问题。 5 事件的机器学习方法。拟通过对序列图像进行自组织、自学习的方法建立 事件的分布模式，从而达到事件识别的目的。 6 异常现象的检测、报警与目标的行为预测。视频监视系统的最终目的是为 了解释监视场景中所发生的事件，根据要求对异常事件进行报警，并能根据当前 目标所处的状态对将要发生的事件进行预测。 7 研究对目标运动情况做出语义上的解释的方法，并将简单的行为识别与语 义理解推广到对场景的自然语言描述。 1 3 智能视频监控的研究现状 目前，对计算机视频监控的研究与应用方兴未艾。计算机视频监控是利用计 算机视觉和图像处理的方法对图像序列进行运动检测、运动目标分类、运动目标 跟踪以及对监视场景中目标行为的理解与描述。其中，运动检测、目标分类、目 标跟踪属于视觉中的低级和中级处理部分，而行为理解和描述则属于高级处理。 运动检测、运动目标分类与跟踪是视频监控中研究较多的三个问题：而行为理解 与描述则是近年来被广泛关注的研究热点，它是指对目标的运动模式进行分析和 识别，并用自然语言等加以描述。 在1 9 9 6 年至1 9 9 9 年间，在美国国防高级研究计划局( ( d a r p a ) 资助下，卡 内基梅隆大学、戴维s a r n o f f 研究中心等几家著名研究机构合作，联合研制了 3 江苏大学硕士学位论文 视频监视与监控系统v s a m 1 1 】【1 2 1 。v s a m 的目标是为未来城市和战场监控应用 开发的一种自动视频理解技术，用于实现未来战争中人力监控费用昂贵、非常危 险或者人力无法实现等场合下的监控。该系统目前仍处于试用阶段，其主要功能 有：( 1 ) 具有先进的视频分析处理器，不但能检测和识别异常对象的类型，还能 分析与预测人的活动，根据运动对象行为的危害性进行自动提示和报警。( 2 ) 使 用地理信息和三维建模技术提供可视化图形操作界面。当视频分析处理器报告了 运动对象、对象类别及位置之后，操作员不仅可以使用虚拟的对象( 人、汽车、 坦克等) 在地理信息界面上进行标记，而且还能在辅助窗口观察对象的真实活动 情况。( 3 ) 机载航空摄像机不需要经常性的人工操纵就能自动对准地面监视目标， 实现对重要目标的长时间监视；自动协调多个图像传感器无缝接入，实现整个战 场场景的监视。因此，v s a m 不但能进行一般性的军事安全监控，如军事基地、 军械弹药库和边海防线的监控；而且能够进行局部战争战场的实时监控，如敌方 军力部署及调动情况等。 英国的雷丁大学【1 3 ( u n i v e r s i t yo fr e a d i n g ) 已开展了对车辆和行人的跟踪及 其交互作用识别的相关研究；m m 与m i c r o s o f t 等公司也正逐步将基于视觉的手 势识别接口应用于商业领域中【1 4 】【15 1 。m a r y l a n d 大学的实时视觉监控系统w 4 1 6 1 不仅能够定位人和分割出人的身体部分，而且通过建立外观模型来实现多人的跟 踪，可以检测和跟踪室外环境中的人并对他们之间简单的交互进行监控。国外的 研究还有多传感器监控，使用多个传感器对某一地区协同监控；以及飞行器监控， 如对从热气球上拍摄的视频图像进行分析和处理。 i e e e 协会从1 9 9 8 年起资助国际视觉监控系列会议，至今己经分别在印度、 美国、爱尔兰召开三届。国际权威期刊i n t e r n a t i o n a lj o u r n a lo fc o m p u t e rv i s i o n 和 i e e et r a n s o np a r e ma n a l y s i sa n dm a c h i n ei n t e l l i g e n c e 都出版了有关视频监控 的专题。国内也于2 0 0 2 年5 月召开了第一届全国智能视觉监控学术会议，对图 像序列分析、目标定位、识别和跟踪、高层语义理解、系统构建与集成、网络环 境下的视频监控等内容进行了多方面探讨。 目i j 在国内的研究机构中，中国科学院北京自动化研究所下属的模式识别国 家重点实验室视觉监控研究组处于领先地位。他们对交通场景的视觉监控f 基于 三维线性模型定位、基于扩展卡尔曼滤波器的车辆跟踪算法) 、人的运动视觉监 控( 基于步态的远距离身份识别) 和行为模式。 1 3 i ，e 出了对目标运动轨迹和行为 特征的学习的模糊自组织神经学习算法1 进行了深入研究，取得了一定的成果 4 江苏大学硕士学位论文 1 7 - 2 3 】。除此之外，国内还有一些高校也进行了这方面的研究，如上海交通大学、 北京航空航天大学、北京理工大学等。 智能视频监控系统在很多场合中发挥重要的作用，不断朝着更加智能化的方 向发展。然而，在努力发展其智能性的同时，兼顾系统的实时性和可靠性也是不 容忽视的问题。只有实时可靠的视频监控系统，才能够做到及时准确地发现危险 情况并采取措施。 1 4 论文的主要研究内容及结构 智能监控系统从图像获取开始，到对场景中发生的变化做出智能判断结束， 其中包括多种处理技术，各个处理模块相互配合才能达到良好的智能监控效果。 对于智能监控的相关技术，本文的主要研究内容如下： ( 1 ) 研究智能监控系统中的运动目标检测技术，分析运动目标检测中常用的一 些实现方法，并根据实际情况采用其中的_ 种或多种技术并对其进行改进。 ( 2 ) 去除目标检测中存在的噪声，主要包括背景噪声和阴影。 ( 3 ) 描述去除噪声后的目标区域，能够识别出目标的个数，每个目标所在区域。 ( 4 ) 根据目标区域提取目标有效特征，并依据特征识别目标类型。 全文共分六章，各章内容安排如下： 第一章，绪论。简单介绍智能视频监控的概念、主要任务和国内外研究现状， 并大致介绍本文研究内容。 第二章，智能监控系统总体设计。介绍智能监控系统的实现流程，将整个系 统分为相互联系的模块，为每个模块设计其需要实现的功能。 第三章，运动目标检测。研究常用的目标检测算法，设计适合智能视频监控 系统的目标检测算法，测试目标检测算法并分析结果。 第四章，噪声去除及目标区域分割。去除目标检测结果中所包含的背景噪声， 设计算法检测前景中阴影的区域，标记不同目标并准确分割每个目标的区域。 第五章，运动目标识别。根据目标所在区域快速提取关键特征，依据提取的 目标特征对目标进行分类识别。 第六章，总结与展望。总结本文所作的工作和研究成果，指出了仍需要改进 的地方，并对今后的工作进行展望。 5 江苏大学硕士学位论文 2 1 引言 第二章智能监控系统总体设计 本文中设计的智能监控系统的目标是对场景中的动目标进行检测和识别。其 主要任务就是检测监控场景中是否存在运动物体，若有运动物体出现则判断该运 动物体是否是属于感兴趣的物体类别，例如车辆、人、人群等。当判断出存在某 类感兴趣的目标后，监控系统就可以通知相关的控制设备执行相关的任务，例如 拍照录像、开启或关闭大门、开启或关闭某种感应器等等。该系统旨在应用于对 门口、公路、室内等监控场景中。 2 2 系统结构设计 本文中设计的智能视频监控系统主要包括三个模块：运动目标检测模块、目 标区域提取模块、目标识别模块。各个模块的主要功能描述如下： ( 1 ) 运动目标检测模块： 根据监控视频建立背景模型，通过背景模型与当前帧的比较获取初步的运动 目标检测结果，将检测结果二值图像作为目标区域提取模块的输入信息；此外， 依据目标区域提取模块反馈的背景区域信息对现有的背景模型进行更新，使背景 模型能够随着场景的变化而变化。 ( 2 ) 目标区域提取模块： 对运动目标检测模块检测出的初步结果二值图像进行去噪声处理，以去除其 背景噪声，并反馈给运动目标检测模块背景区域信息；根据视频信息和去噪之后 目标区域检测出前景中阴影的部分，从f ； 景区域中排除掉阴影区域之后得到目标 区域；计算连通目标区域的个数，标记不同记号，并以此为依据分割目标区域， 将目标区域图像作为目标识别模块的输入信息。 ( 3 ) 目标识别模块： 根据目标区域提取模块提取的目标图像信息提取特征向量；将目标特征向量 与目标识别特征库中的信息比较，得出最终的识别结果。 各模块之间的关系如图2 1 所示。 6 江苏大学硕士学位论文 2 3 技术难点 图2 1 智能监控系统模块结构 检 测 结 果 根据监控系统应用的实际情况，各个模块需要重点解决的问题总结如下： ( 1 ) 运动目标检测模块： 在摄像头静止的监控场合中，采用背景模型检测方法大多需要大量准确的背 景图片库，这就限制了该方法的应用范围，解决模型初始化的问题将是建模时需 要考虑的问题；此外，由于彩色摄像头越来越多的运用到监控系统中，如何有效 的运用彩色视频图像进行实时目标检测也是一个要考虑的问题；还有，监控场景 总是在不断变化的，特别是在某些情况下背景和前景之间还会相互转换乜4 l ，因此， 使背景模型能够随着场景的变化而变化，时刻准确描述场景的状态，将是决定运 动目标检测效果的最关键问题。 ( 2 ) 目标区域提取模块： 由于背景描述不确切或者视频采集设备的问题，在初步运动目标检测结果中 难免会存在一些背景噪声，此外阴影也会对后续的识别工作造成很大的干扰。因 此需要对初步检测结果进行处理，主要是要保留前景区域的同时去掉噪声和阴影 区域。其次，对目标数量的判断以及目标区域的分割描述也是要考虑的问题。 ( 3 ) 目标识别模块： 目标识别中主要的问题就是对目标特征的选择和提取。选择能够恰当描述一 类物体，又能够从图像中快速的提取的特征是决定识别分类效果好坏的关键因 7 江苏大学硕士学位论文 素。此外，根据特征设计识别方法也将影响到最终识别的准确性。 2 4 小结 本章对将智能监控系统划分为三个模块：运动目标检测模块、目标区域提取 模块、目标识别模块，并简述了各模块的功能和技术难点。在后面的第三、四、 五章中，将分别详细阐述这三个模块的实现方法并对其性能做相关的测试分析。 8 江苏大学硕士学位论文 3 1引言 第三章运动目标检测 运动目标检测是智能视频监控技术中极其重要的问题，它旨在通过对视频序 列的分析将序列图像中变化区域从背景中分割出来，是图像跟踪、目标分类等技 术的基础。运动目标检测技术在视频监控、运动图像编码、计算机视觉、精确制 导等研究领域都有广泛的应用前景。在视频监控应用中，对运动目标检测的要求 是能够快速准确的提取运动目标，防止漏检误检。但是由于天气和光照的变化、 背景混乱运动的干扰、运动目标的影子以及摄像机的运动等原因的存在，给运动 目标的正确检测带来极大挑战。考虑到目前在摄像头固定的情况下各种视频监控 方法的主要优缺点，本文以混合高斯高斯混合背景模型为基础，结合相邻帧差法 和背景减法提出了一种在摄像头静止状态下的彩色监控系统运动目标检测算法， 取得了很好的检测效果。 3 2 运动目标检测方法 在摄像头静止的监控场合下，视频序列图像中的背景图像可以被认为是相对 静止的。这时的运动目标检测的任务，就是当场景中有新的目标进入或者场景中 有目标移动时，通过运动目标检测算法实时地检测出运动目标出现，再利用图像 分割的方法把场景中的运动目标的区域从背景图像中分离出来。 目前，应用较多的运动目标检测方法主要有三种【2 5 1 1 2 6 ：光流场法、帧间差 分法和背景减法。 3 2 1 光流场法 光流场2 7 1 是空间运动物体被观测面上的像素点运动产生的瞬时速度场，包 含了物体表面结构和动态行为的重要信息。一般情况下，光流由相机运动、场景 中目标运动，或两者的共同运动产生。光流场法的理论基础是光流约束方程。光 流约束方程如下： 9 江苏大学硕士学位论文 i x u + ，1 ，+ = 0 ( 3 1 ) 式( 3 1 ) 中l 、i y 和分别为图像对x 方向，y 方向和时间，的求导，可直 接从图像中计算出来， ，d 为该点的光流场。 光流场法是基于运动目标随时间变化的光流特性来检测运动目标。光流场法 的优点能够有效地检测出独立运动的对象，不需要预先知道场景的任何信息，特 别当摄像机运动时也能检测出独立的运动目标。然而，光流场法的缺点也很明显： 由于噪声、多光源、阴影、透明性和遮挡性等原因，使得计算出的光流场分布不 是十分可靠和精确；光流场法十分复杂，计算量惊人，因此耗时较多，在没有特 殊硬件支持的情况下很难实现实时检测【2 8 】【2 9 1 。 日本大阪大学的g y o z oo k a d a ，s h i n y ay a m a m o t o 等人对此方法作了深入的 研究，并已研制出了比较成熟的系统【3 0 】【3 1 1 。借助于多个数字信号处理器( d i g i t a l s i g n a lp r o c e s s o r ) ，这些系统都实现了实时目标检测与跟踪，处理速度可以达到 1 5 帧s 。 3 2 2 帧问差分法 这种方法是在运动目标检测中使用得较多的一类算法【3 2 1 。基本原理就是对 视频中相邻两帧图像对应像素的值作差分运算，如果对应像素值相差很小，便认 为此处景物是静止的；如果图像区域某处的像素值变化很大，便认为这是由于图 像中运动物体引起的，将这些区域标记下来，利用这些标记的像素区域，就可以 求出运动目标在图像中的位置。图3 1 给出了帧间差分法的功能示意图。 1 0 江苏大学硕士学位论文 图3 1 帧间差分法的示意图 从图3 1 中可以看出，帧间差分法的基本原理就是通过计算第k 帧与第k 一1 帧图像之间的差值，得到差值图像；然后对差值图像进行二值化。当差值图像中 的像素值大于给定的阈值z 时，则认为该像素为目标像素，反之认为是背景像素。 之后对差值图像进行二值化得n - - 值图像所进行的后处理主要是利用形态学滤 波和噪声去除等方法来消除微小区域噪声。由于目标大小、背景亮度的差别，因 此对差分后得到图像的分割方法也不尽相同；另外，当阴影干扰较为严重时还需 要对视频进一步处理来抑制阴影的干扰。 求差分图像的方法有很多，最基本的一阶瞬时全差分法的基本过程如公式 ( 3 2 ) 和( 3 3 ) 所示： 饥( x ，y ) = l i ( x ，y ，k ) - l ( x ，y ，k - 1 ) l ( 3 2 ) f 1 r k ( x , y ) 2 t o 眈( 石，y ) z ( 3 3 ) 俄o ，y ) z 其中i ( x , y ，七) 表示第k 帧图像，b 为差值图像，r 为对差值图像进行二值 化得n - - 值图像，z 为图像二值化时设定的阈值，该阈值可以根据实际情况预先 设定为某经验值或者自适应设定阈值。 为了提高相邻帧差法的性能，有人在此基础上提出了对称图像差分法【3 3 】， 这种对称差分法是通过对连续三帧序列图像作差分相与来达到运动目标检测的 目的。由公式( 3 2 ) 和( 3 3 ) 可以看出，一阶瞬时全差分法通过图像差分和二 1 1 江苏大学硕士学位论文 值化之后得n - 值图像风。而对称图像差分法相对于一阶瞬时全差分法的主要 改进之处在于：在得到二值图像冠后，在每一个像素位置，对两个相邻的二值 图像r 和r 一。进行相与，得到对称差分结果二值图像b ，并以反作为第k 帧图 像中运动目标从背景中分离的初步结果。因为风是二值数组，因此相与计算的 过程等价于两数组点乘的过程，如公式( 3 4 ) 所示： b 似) ，) = r ( x ，) ，) r 一。x ，y ) ( 3 4 ) 吼是对称差分结果二值图像。然后，对鼠做后处理之后得到最终的检测结 果。 对称差分法可以较好地检测出中间帧运动目标的形状轮廓，在提高检测概率 的同时降低虚报概率。 以上两种帧间差分的方法都是以图像背景固定不变为前提的，在图像背景运 动的情况下，特别是由于摄像头运动而产生的背景变化，这两种方法就无能为力 了。针对这种情况，可采用基于补偿差分的运动目标检测方法，即先对由摄像头 运动引起的背景移动进行补偿，然后再进行差分运算。用来消除背景相对运动影 响的方法主要有两种：一种是通过闭环系统的自反馈对得到的镜头运动参数进行 补偿；另一种是对背景中特征较明显的区域进行匹配，在得到背景的偏移量后再 进行补偿。相比较而言，第二种方法完全不依赖于跟踪系统的回路参数，而且当 背景中有明显结构特征时可以取得更好的背景补偿效果，配准精度较高。 基于帧间差分进行运动目标检测的主要优点在于：对于简单背景下的运动目 标检测较为有效，基本能够检测出运动目标的位置；算法原理简单，程序设计时 间及空间复杂度比较低，易于编程实现；由于算法中主要涉及到加减运算，因此 处理速度比较快，实时性好；由于采用邻近帧图像进行差分，而一般相邻帧的时 间间隔很短，因此帧间差方法对场景光线的变化一般不太敏感，因此具有较强的 自适应性，鲁棒性较好。 但是该方法检测和分割精度较低，当目标灰度均匀时有可能无法准确检测出 全部目标，在运动实体内部容易产生空洞现象，运动目标的完整性要求不能很好 的体现，难以获取运动目标所在区域的精确描述。另外该方法的检测效果依赖于 物体的运动速度，如果运动速度较快，且选取的时间间隔过大，就会造成两帧之 江苏大学硕士学位论文 间无覆盖区域，从而无法分割出运动物体；而如果运动速度过慢，且选取的时间 间隔过小，则会造成过度覆盖，最坏的情况是物体两帧之间几乎完全重叠，根本 检测不到物体。 3 2 3 背景减法 在视频运动目标检测系统中，一般采用固定摄像机来进行室内或室外场景的 监视【3 4 1 。在摄像机固定的情况下，运动目标的检测就可以通过对每一幅输入的 图像帧与一幅参考背景模型之间进行比较来获得，这就是背景减法的基本思想 1 3 5 1 。也就是说，将待观察图像和不包含感兴趣物体的背景图像进行比较，通过 判定灰度等特征的变化判断二者的图像平面中存在明显差异的区域，一般就认定 该区域为包含运动物体信息的区域。背景减法的过程如图3 2 所示。 图3 2 背景减法的功能示意图 假定运动目标检测中的场景是静止的，也就是说摄像头拍到的背景是不随图 像帧数而变化。定义图像背景为b ( x ，y ) ，采集的图像序列为t ( x ，y ，k ) ，其中 ，y ) 为图像位置坐标，k 为图像帧数，则通过输入图像与背景比较得到差分图像的过 程如公式( 3 5 ) 所示： b ( x ，j ，) = i i ( x ，y ，后) 一b ( x ，y ) i ( 3 5 ) 玻 ，y ) 是差分图像，然后设定阈值丁，根据公式( 3 3 ) ，即可得到一个二 值化图像。 江苏大学硕士学位论文 因为背景是静止的，所以通过以上过程就可以去掉输入图像中的背景信息， 将目标所在的区域标示出来。可以看出，该方法在目标运动缓慢，甚至暂时静止 时仍然有效，克服了帧间差分法对于运动速度要求较高的缺陷。 但是上述理想情况在实际应用中是不存在的。静止是相对的，而运动是绝对 的。在实际中，由于光线变化、背景扰动等客观条件的影响，检测场景是随着时 间而变化的，采用固定的背景模型不能准确的描述检测场景，为此背景模型要根 据场景的变化而随时更新或重建。背景模型更新与重建方法是背景减法的关键， 背景模型对检测场景描述的准确度将直接决定检测结果。一个有效的背景模型应 能解决以下几种在实际应用中常常存在的问题1 3 6 】： ( 1 ) 背景模型的提取：背景图像的获取最简单的方法是在场景没有运动目标的情况 下进行，但在某些应用场合无法满足这种要求。 ( 2 ) 背景的扰动：背景中可以含有轻微扰动的对象，如树枝、树叶的摇动，扰动 部分不应该被看作是前景运动目标。 ( 3 ) 外界光线的变化：一天中不同时间段光线、天气等的变化以及室内开灯、关 灯等都会对检测结果产生影响。 ( 4 ) 背景的更新：由于光照或其他条件的变化会使背景图像发生变化，需要及时 对背景模型进行更新，以适应这种变化。 ( 5 ) 阴影的影响：通常f j 景目标的阴影也被检测为运动目标的一部分，这样将影 响对运动目标的进一步处理和分析。 背景模型的实现方法很多，最简单的背景模型是时间平均图像，即对输入图 像帧之前若干图像帧计算平均得到背景图像。目前，大多数研究人员都致力于开 发不同的背景模型，以期减少动态场景变化对于运动分割的影响。一般来说，为 了获取比较好的运动目标检测结果，各种背景减法的工作原理如图3 3 所示。 1 4 江苏大学硕士学位论文 广输入帧图像 上 预处理 初始化 1r 背景模型 _ 1 差分图像 jl 反 馈二值化 ， 背景1 一 后处理 1 l 目标 图3 3 改进的背景减法的示意图 对比图3 2 与图3 3 可以看出，改进后的背景减法的流程中加入了对背景模 型的初始化过程，以及在从图像中分理出目标后将背景信息反馈给背景模型，对 其进行更新过程。这样的流程基本能够解决上述问题中的前四个问题。第五个关 于阴影去除的问题将在后面的章节再具体讨论。 3 3 背景建模的方法 3 3 1 背景描述模型 简单的背景减法采用一幅图像作为背景，并根据场景变化更新该背景图像。 这种方法在场景不变或变化缓慢时是有效的。但是，在复杂背景情况下，当场景 中有个别部分做无规则运动，例如树枝晃动、水面波纹、光线变化、雨滴雪花等， 此时背景便不是静止的，要得到正确的背景图像从而分割运动目标就不容易了。 为了解决这个问题，人们提出了用背景描述模型来描述背景图像【3 7 】。背景描述 模型也称为背景模型。 基于背景描述模型的方法原理是，对于目标监测场景，通过分析场景图像背 景像素值的变化特点，建立场景图像背景的描述模型，用数学模型来模拟背景图 像。目标检测时，用待检图像帧中的每一个像素值与背景描述模型进行匹配，匹 江苏大学硕士学位论文 配的像素标记为背景，不匹配的像素标记为目标；对目标像素和背景像素进行标 注之后，根据标注信息进行二值化处理和区域连通处理，从而在图像帧中分割出 目标和背景。这种方法，从本质上讲，是属于基于背景差分的方法的一种，但是 背景不是简单的背景图像，而是用建立的背景模型来模拟的。背景模型的工作原 理如图3 4 所示。 图3 4 背景模型的工作原理示意图 背景模型有单模态和多模态两种，前者在每个背景点上的颜色分布比较集 中，可以用单个概率分布模型来描述，后者的分布则比较分散，需要多个分布模 型来共同描述。自然界中的许多景物和很多人造目标，如水面的波纹、摇摆的树 枝、飘扬的旗帜等都呈现出多模态的特性。目前，较常用的描述背景点颜色分布 的概率模型是高斯分布( 正态分布) ，高斯背景模型也可以分为单模态和多模态， 也有文献中将二者称之为单高斯背景模型和混合高斯背景模型。 3 3 2 单高斯背景模型算法 单高斯背景模型3 8 1 属于单模态背景模型，适合用于背景颜色或灰度分布比 较集中，背景中扰动较少的场景。单高斯背景模型用一个高斯概率分布 刁( z in ，朋) 来描述背景像素点的颜色分布。其中，分布密度函数 1 6 江苏大学硕士学位论文 7 7 ( z l “瓦刀) 中下标f 表示时间，砂是像素点在图像中的位置坐标， 刀表示 像素点在，时刻高斯分布的均值向量，为高斯分布的协方差矩阵。设i ，为 当前的颜色向量。则在判断该时刻像素点属于前景还是背景时，计算差值向量 d f ，叫= i f 一n ，砂 ( 3 6 ) d 铆为差值向量。如果d 乙高d ，刀的值大于一定的阈值，则该像素点就被认 为是前景点，否则认为是符合背景点的高斯分布，属于背景点。该算法的实现主 要有两个组成部分，一个部分是高斯