（计算机应用技术专业论文）视频监控中的运动对象分割技术研究.pdf

视频监控中的运动对象分割技术研究 中文摘要 视频监控中的运动对象分割技术研究 中文摘要 视频监控技术是计算机视觉领域一个新兴的应用方向和备受关注的前沿课题，是 计算机科学、机器视觉、图像工程、模式识别和人工智能等多种学科的结晶，广泛应 用于城市道路交通监控，安防监控等各方面。 运动对象分割是视频监控中的一项关键技术，分割的准确性直接影响后续任务的 有效性，因此具有十分重要的意义。目前，对视频对象的分割有很多优秀的算法，但 这些算法都是针对特定的应用提出来的，而适合任何场景的全自动视频分割算法仍然 是一个有待解决的经典难题。本文基于l k 光流法和混合高斯模型的视频对象分割算 法进行了深入研究和大量实验，得到了一系列有价值的结论和研究成果。本文主要工 作可总结为以下几个方面： 1 分析现有光流法的性能及优缺点，提出了一种改进的算法。本文运用g a u s s i a n 金字塔降低运动对象的速度，使用结合g a u s s i a n 分布的l k 光流法进行分割，得到运 动对象。该算法提高了实时性，能获得更加精确的运动对象。 2 考虑到初始背景帧的提取好坏直接影响到背景建模的性能，在现有的初始背 景帧的提取方法基础上，提出了一种m e a m o 方法来产生初始的背景帧，减少了初 始误差，有利于后续任务的完成。 3 由于阴影对运动对象的分割会产生严重的影响，提出了一种基于混合高斯模 型的自适应阴影检测算法。该算法选择在c i el u v 颜色空间，利用亮度分量l 对背 景建模，再利用高斯分布对前景和背景中的l 分量比值进行自适应阴影检测。该算法 实现了自适应的阴影检测，具有较强的鲁棒性和较高的分割精度。 总之，本文对视频监控中的分割算法做了进一步的研究，通过实验证明，取得了 满意的实验结果。 关键词：视频监控，视频分割，l k 光流法，混合高斯模型，自适应阴影检测 作者：夏侯玉娇 指导老师：龚声蓉教授 中文摘要 视频监控中的运动对象分割技术研究 本文的研究工作受国家自然科学基金项目( 编号：6 0 6 7 3 0 9 2 ) 、教育部科研重点 项目( 编号：2 0 5 0 5 9 ) 和江苏省高技术研究计划项目( 编号：b g 2 0 0 5 0 1 9 ) 的资助。 i i r e s e a r c ho f m o v e m e n to b j e c t ss e g m e n t a t i o nt e c h n o l o g yi nv i d e os u r v e i l l a n c ea b s t r a c t r e s e a r c ho fm o v e m e n to b je c t ss e g m e n t a t i o n t e c h n o l o g yi nv i d e os u r v e i l l a n c e a b s t r a c t v i d e os u r v e i l l a n c et e c h n o l o g yi st h en e w - e m e r g i n ga p p l i c a t i o nd i r e c t i o ni nt h ef i l e d o fc o m p u t e rv i s i o na n di sa t t r a c t i n gm o r ea n dm o r ea t t e n t i o n i ts p a n sm a n ys u b j e c t s i n c l u d i n gc o m p u t e rs c i e n c e ，m a c h i n ev i s i o n ，i m a g ee n g i n e e r i n g ，p a t t e r nr e c o g n i t i o n , a r t i f i c i a li n t e l l i g e n c ea n ds oo n i tw i d e l ya p p l i e si nc i t yr o a dt r a f f i cs u r v e i l l a n c ea n d s e c u r i t ys u r v e i l l a n c e t h em o v e m e n to b j e c t ss e g m e n t a t i o ni st h ek e yt e c h n o l o g yi nv i d e os u r v e i l l a n c e t h e v e r a c i t yo fs e g m e n t a t i o nd i r e c t l ya f f e c t st h ee f f e c t i v e n e s so fl a t t e rt a s k s s oi th a sv e r y i m p o r t a n tm e a n i n g a tp r e s e n t ，t h e r eh a v em a n ye x c e l l e n ts e g m e n t a t i o na l g o r i t h m sf o r v i d e oo b j e c t s ，b u tt h e s ea l g o r i t h m sa l ep r o p o s e di ns p e c i a la p p l i c a t i o ne n v i r o n m e n t t h e a u t o m a t i cv i d e os e g m e n t a t i o na l g o r i t h mt h a tc a nu s ei na n ys c e n ei ss t i l lac l a s s i c a l d i f f i c u l t yn e e dt ob es o l v e d t h ev i d e oo b j e c t ss e g m e n t a t i o na l g o r i t h m sa l ed e e p l ys t u d i e d b a s e do nl ko p t i c a lf l o wa n dm i x t u r eg a u s s i a nm o d e li nt h i st h e s i s t h r o u g hag r e a td e a l o f e x p e r i m e n t s ，t h et h e s i sa c q u i r e das e r i e so fv a l u a b l er e s u l t sw h i c hc a nb es u m m a r i z e di n t h ef o l l o w i n ga s p e c t s ： 1 o nt h eb a s i so fa n a l y z i n gt h ep e r f o r m a n c eo fe x i s t i n go p t i c a lf l o wm e t h o d s ，a n i m p r o v e da l g o r i t h mi sp r e s e n t e d t h i st h e s i su s e sg a u s s i a np y r a m i dr e d u c et h es p e e do f m o v e m e n to b j e c t s ，a n dt h e ns e g m e n t sp i c t u r e su s eg a u s s i a nd i s t r i b u t i o nc o m b i n e 、) ，i 廿l l ko p t i c a lf l o w t h ea l g o r i t h mi m p r o v e st h er e a l - t i m ec a p a b i l i t ya n dc a l lg e tm o r e a c c u r a t em o v e m e n to b j e c t s 2 c o n s i d e r i n gt h ee x t r a c t i o ne f f e c t so fi n i t i a lb a c k g r o u n df r a m ed i r e c t l yi m p a c tt h e p e r f o r m a n c eo fb a c k g r o u n dm o d e l i n g ，a nm e a m oa l g o r i t h mo fp r o d u c i n gi n i t i a l b a c k g r o u n df r a m ei sp r o p o s e db a s e do ne x i s t i n gm e t h o d s t h ea l g o r i t h mc a nd e c r e a s e t h ei n i t i a le r r o ra n di ti sh e l p f u lt oa c h i e v et h el a t t e rt a s k s i i i a b s t r a c tr e s e a r c ho fm o v e m e n to b j e c t ss e g m e n t a t i o nt e c h n o l o g yi nv i d e os u r v e i l l a n c e 3 f o rt h es h a d o w sp r o d u c es e r i o u si m p a c t st om o v e m e n to b j e c t ss e g m e n t a t i o n , a l l a d a p t i v es h a d o w sd e t e c t i o na l g o r i t h mb a s e do nm i x t u r eg a u s s i a nm o d e li sp r e s e n t e d c h o o s i n gc i el u v c o l o rs p a c e ，t h ep a p e ru s e sl w e i g h td ob a c k g r o u n dm o d e l i n g ，a n d t h e nu s e sg a u s s i a nd i s t r i b u t i o nd oa d a p t i v es h a d o w sd e t e c t i o nf o rt h er a t i oo f f o r e g r o u n d slw e i g h ta n db a c k g r o u n d slw e i g h t t h ea l g o r i t h ma c h i e v e sa d a p t i v e s h a d o w sd e t e c t i o n i th a ss t r o n gr o b u s t n e s sa n dh i g ha c c u r a c y i nc o n c l u s i o n ，t h i st h e s i sm a k e sf a r t h e rr e s e a r c hf o rt h es e g m e n t a t i o na l g o r i t h m si n v i d e os u r v e i l l a n c e t h ee x p e r i m e n t a lr e s u l t so fe a c hr e s e a r c h e da l g o r i t h ma r ei n t e n d i n g a n d g o o d k e y w o r d s ：v i d e os u r v e i l l a n c e ，v i d e os e g m e n t a t i o n ，l ko p t i c a lf l o w , m i x t u r eg a u s s i a n m o d e l ，a d a p t i v es h a d o w s d e t e c t i o n w r i t t e nb yx i a h o uy u j i a o s u p e r v i s e db yg o n gs h e n g r o n g t h em s e a r c ho ft h i st h e s i sh a ss p o n s o r e db yt h en a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o n o fc h i n au n d e rg r a n t6 0 6 7 3 0 9 2 ，t h em i n i s t r yo fe d u c a t i o nk e ys c i e n c er e s e a r c hp r o j e c t u n d e rg r a n t2 0 5 0 5 9 ，a n dt h eh i g ht e c h n o l o g yr e s e a r c hp l a no fj i a n g s up r o v i n c eu n d e r g r a n tb g 2 0 0 5 019 i v 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立 进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文 不含其他个人或集体已经发表或撰写过的研究成果，也不含为获得苏 州大学或其它教育机构的学位证书而使用过的材料。对本文的研究作 出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本 声明的法律责任。 研究生签名：蛐日 期： 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论 文合作部、中国社科院文献信息情报中心有权保留本人所送交学位论 文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论 文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的 保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的 全部或部分内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名：毒嘲日 期： 导师签名缘日期： 视频监控中的运动对象分割技术研究 第一章绪论 1 1 研究背景和意义 第一章绪论 视频监控系统是用于对指定场景区域进行监视，并把场景内的视频信息传递给监 控者，使其能根据相应的情况采取适当措施的系统。视频监控系统是多媒体技术、计 算机网络、工业控制和人工智能等技术的综合运用，它正朝着视频、音频的数字化， 系统的网络化和管理的智能化方向不断发展。视频监控以其强大的功能、灵活的使用 方式、广大的应用前景及巨大的潜在经济价值，受到了学术界、产业界和管理部门的 高度重视，从而得到推广和应用i l j 。 在日常生活中，视频监控技术有着非常广泛的应用前景，它在国防、能源、交通 领域以及人们的日常生活和工作中发挥着日益重要的作用。比如说，随着经济建设的 蓬勃发展，我国机动车辆拥有量在正急剧增加，这在给人们出行带来方便的同时，也 因交通事故频繁发生在一定程度上阻碍和制约着社会经济建设的和谐发展。据统计， 2 0 0 7 年，我国共发生道路交通事故3 2 7 2 0 9 起，造成8 1 6 4 9 人死亡，3 8 0 4 4 2 人受伤， 直接财产损失达到1 2 亿元。其中，最主要的原因是酒后驾车、违章超车、随意穿插 变道、甚至闯红灯等不规范和不文明的驾驶行为引起的。国务院发展研究中心产业经 济部部长冯飞在一份报告中指出：与国际上发达国家相比，我国的交通事故死亡在绝 对值上是日本的1 3 4 倍，德国的1 8 4 倍；在相对数值的车辆死亡人数上是德国的9 5 倍，日本的1 2 2 倍。提高国民素质可以降低交通事故，但规范驾驶行为同样也很重 要【2 】。目前，规范驾驭行为采用的主要措施之一是安排交警现场指挥，但往往因警力 有限只能满足部分路段的需求，这就急需智能视频交通系统来缓解该问题。 在数字视频监控系统中，图像序列的运动检测及报警不仅可以自行替代监视人员 的部分工作，提高监视系统的自动化水平，而且也可以提高监控存储的效率。数字视 频监控系统对图像序列自动进行运动检测，一旦发现运动物体( 绝大多数是以人为目 标) 的大小和速度满足一定条件，就发出报警信号来通知监视人员进行及时有效的处 理，这在很大程度上减轻监视人员的视觉负担。数字监控系统绝大多数都有存储模块， 可对监控场景图像数据进行连续存储。然而，由于数字监控系统的工作时间长，数据 第一章绪论视频监控中的运动对象分割技术研究 存储相当庞大，给存储容量提出了很高的要求。存储监控图像的目的几乎都是记录监 控场景中的动作，如果长时间记录无运动图像，不仅耗费巨大的存储量，而且存储的 信息量也极少，这就失去了存储的意义。这就需要一个有效的运动检测算法判断监控 图像的全部或部分有无运动的发生、控制存储模块的动作，有效地节省存储空间和提 高执行效率。 在现实生活中，大量有意义的视觉信息都包括在运动物体之中。尽管人类的视觉 既能看见运动又能看到静止的物体，但在许多场合，比如重要场所的保安监控、汽车 的自动驾驭和辅助驾驭、交通流量的控制，人们往往只对运动物体感兴趣。m p e g - 4 和m p e g 7 就是基于上述思想制定出来的基于内容的新一代多媒体压缩标准和接口 标准。该标准的提出需要对视频或图像中对象的获取方法进行研究，即视频( 或图像) 分割技术。 1 2 国内外研究现状 视频监控系统从最初的模拟闭路电视监控开始，经历了数字化、网络化的发展， 正在向分布式、智能化的方向迈进。视频压缩技术的发展促进了视频监控系统的数字 化，节约了大量的存储空间。计算机网络的普及和带宽的增加使得城域网视频监控成 为现实。而经过科研人员4 0 多年的不懈努力，计算机视觉已经进入突破式发展阶段。 得益于计算机视觉的研究成果，智能视频监控系统开始得到产业化应用。 从上世纪9 0 年代中期开始，以卡耐基梅隆大学( c m u ) 和麻省理工学院( m i t ) 为代 表的，多家美国高校所参与的，由美国国防高级研究项目署设立的视觉监控重大项目 v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) ，以及其它科研机构的研究成果，使得智能 视觉分析取得了快速发展。2 0 0 1 年美国“9 1 1 事件”以及后来的西班牙马德里列车连 环爆炸和英国伦敦地铁大爆炸等恐怖袭击后，全世界范围内对视频监控系统，包括智 能视频分析系统的需求空前高涨【3 】。在全英国范围内已经安装摄像机4 2 0 多万个，平 均每1 4 人一个，一个人一天之中可能出现在多达3 0 0 个摄像机前( 英国 t h ed a i l y m a i l ) ) ) 。国内，到2 0 0 7 年底广州市安装了2 5 万个治安摄像机，北京在2 6 3 万个摄 像机的基础上，又在所有重点单位、人员聚集的公共场所、重要的交通枢纽、城市重 要基础设施及法律法规规定的重点区域安装公共图像信息系统并且全部与警方监控 2 视频监控中的运动对象分割技术研究第一章绪论 网联网。上海2 0 1 0 年前将在马路上安装2 0 多万个监控摄像机，全面建立“社会防控 体系 。海量的监控图像需要视频监控系统智能地选择压缩、存储和检索内容。当前， 除了c m u 和m i t ，奥地利g r a z 理工大学的嵌入式智能摄像机研究组，i b m 的s 3 ( s m a r t s u r v e i l l a n c es y s t e m ) 项目组，i n t e l 的i r i s n e t ( i n t e m e t s c a l e ，r e s o u r c e i n t e n s i v es e n s o r n e t w o r ks e r v i c e s ) 项目组等，分别在分布式智能监控系统的不同领域处于领先地位。 目前，在国内的研究机构中，中国科学院北京自动化研究所模式识别国家重点实验室 的视觉监控研究组处于领先地位。他们针对目前交通管制中需要大量的人力和财力问 题，提出了一种基于三维模型的交通监控系统。国内还有其它一些高校也进行了这方 面的研究，如上海交通大学、复旦大学、国防科大、北京航空航天大学、北京理工大 学等。 视频监控系统在很多场合中发挥重要的作用，不断朝着更加智能化的方向发展。 然而，在努力发展其智能性的同时，还应兼顾系统的实时性和可靠性。只有实时可靠 的视频监控系统，才能够及时准确地发现危险情况并采取有效措施。目前，多数视频 监控系统都是针对特定环境下开发的，而开发出适合任何场景的视频监控系统仍然是 一个急需解决的难题。 1 3 视频监控的主要应用 视频监控在应用方面主要分为安全相关类应用和非安全相关类应用。安全相关类 应用是目前市场上存在的主要视频监控应用，特别是在“9 1 1 恐怖袭击、马德里爆 炸以及伦敦爆炸案发生之后，市场上对于此类的需求不断增长。这些应用的主要作用 是协助政府或其他机构的安全部门提高室内外公共环境的安全防护，包括：( 1 ) 高级 视频移动侦测，在复杂的天气环境中( 例如雨雪、大雾、大风等) 精确地侦测和识别单 个物体或多个物体的运动情况；( 2 ) 入侵探测，可以感知设定区域内突然出现和入侵 的物体并及时报警，比如在戒备森严的军事重地或银行等重要场所出现的可疑人物 等；( 3 ) 车辆识别，识别车辆的形状、颜色、车牌号码等特征，并反馈给监控者，此 类应用可以用在被盗车辆追踪等场景中；( 4 ) 二l l z 法滞留( o b j e e tp e r s i s t e n c e ) ，当一个物 体( 如箱子、包裹、车辆、人物等) 在敏感区域停留的时间过长，或超过了预定义的时 间长度就产生报警，典型应用场景包括机场、火车站、地铁站等。 3 第一章绪论视频监控中的运动对象分割技术研究 除了安全相关类应用之外，视频监控还可以应用到一些非安全相关类的应用当 中。这些应用主要面向零售、服务等行业，可以被看作管理和服务的辅助工具，用以 提高服务水平和营业额。此类应用主要包括：( 1 ) 人数统计，统计穿越入口或指定区 域的人或物体的数量，例如为业主计算某天光顾其店铺的顾客数量；( 2 ) 人群控制， 识别人群的整体运动特征，包括速度、方向等，以避免形成拥塞，或者及时发现异常 情况，典型的应用场景包括超级市场、火车站等人员聚集的地方；( 3 ) 人物面部识别， 识别人物的面部特征，并通过这些信息来判定人物的身份；( 4 ) 交通流量控制，用于 在高速公路或环线公路上监视交通情况，例如统计通过的车数、平均车速、是否有非 法停靠、是否有故障车辆等等。 智能视频监控可以全天候提供可靠监控，彻底改变以往完全由安全工作人员对监 控画面进行监视和分析的模式，通过嵌入网络摄像机和视频服务器中的智能视频模块 对所监控的画面进行不问断分析，大大提高报警的精度，网络摄像机和视频服务器集 成了强大的图像处理能力，并运行高级智能算法，使用户可以更加精确地定义安全威 胁的特征，有效地降低误报和漏报现象，减少无用数据量。 1 4 视频对象分割的概念 视频是指具有一定长度的若干活动的图片序列，比如电影、电视，它通常在时 域上具有内容的连贯性。为了记录现实世界中的活动场景，必须在时域上进行采样。 考虑到人眼的视觉暂留效应，一般每秒采样2 4 帧以上就可以在人眼中得到连续的重 现效果。比如，p a l 制电视2 5 帧秒，n t s c 制电视采用3 0 帧秒。 对象是指在一个场景中能够访问和操纵的实体，对象的划分可根据其独特的纹 理、运动、形状、模型和高层语义为依据。而视频对象是指一个具有一定生存周期的、 在时间轴上连续的对象，属于包含时间在内的三维空间上的概念。一个视频对象对应 于视频场景中的一个特定的物体，比如，最简单的情况下就是矩形框，或者它也表示 为对应场景中的背景或者某个任意形状的物体。在m p e g 4 中，视频序列的每一帧图 像都被分解成若干个任意形状的有意义的对象，视频对象在某一个时刻( 某一帧中) 的 表象称为视频对象平面( v i d e oo b j e c tp l a n e ，v o p ) 。 视频对象分割是把视频序列中人们感兴趣的或者具有某种特性的一个和多个物 4 视额监控中的运动对墓分割技术研究 第一章绪论 体( 称为视频对象，v i d e o o b j e c t , v o ) 从视频场景中提取出来，这些对象往往在某些方 面具有一致性属性，比如亮度、色彩、形状及运动等。视频场景中可访问和操纵的实 体就是视频对象，也就是说，视频对象是具有一定高层“语义”的区域，是更符合现 实生活中人们视觉上对事物认知的抽象表达。 如图1 1 所示，它把视频片段分解为背景和运动对象，然后以场景的概念来组织 这些对象，完成某项操作。图中显示的是h a l lm o n i t o r 序列中的第7 0 帧的运动对象 提取过程。在这图像序列中，主要是提取出运动对象的信息，然后分析运动对象的行 为。在实际的视频监控中，如果发生异常行为或违规行为，需要采取有效措掩来制止， 避免产生严重的后果。 图1 - 1 对象示意图 第一章绪论视频监控中的运动对象分割技术研究 1 5 本文主要内容及创新点 本文的主要内容是视频监控中的运动分割技术研究，针对视频监控中运动对象的 提取过程易受光照、阴影等的影响以及它对实时性要求比较高的问题，对视频监控中 常用的l k 光流法和混合高斯模型两类运动对象检测方法进行研究，提出相应的解决 方案。研究过程中，作者进行了大量的实验，对运动对象提取结果进行了分析，得到 了一系列有价值的结论。具体研究内容及成果包括： 1 针对现有光流法对噪声敏感，存在遮挡、孔径等问题，提出了一种结合 g a u s s i a n 分布和l k 光流法的分割算法。该算法采用g a u s s i a n 金字塔降低运动速度， 并利用结合g a u s s i a n 分布的l k 光流法进行分割，提高了分割的实时性并且获得了较 好的分割效果。相关内容已录用在微电子学与计算机上。 2 考虑到初始背景帧的提取效果直接影响到后续的检测过程，在分析现有算法 的基础上，提出了基于混合高斯模型的m e a m o 初始背景帧的获取算法。实验表明， 相比其它几种方法，m e a m o 方法产生的误差最小。 3 现有的混合高斯背景建模算法能够很好地表征缓慢变化的背景和处理规律变 化的动态背景，但是对阴影问题解决不足，本文提出一种自适应的阴影检测算法。在 c i el u v 颜色空间中，利用l 分量进行混合高斯背景模型，再采用高斯分布对前景 和背景中的l 分量比值进行自适应的阴影检测。该算法实现了阴影检测的自适应，并 获得了较高的精确度。相关内容已经发表在i s i s e 2 0 0 8 国际会议上，并被e i 、i s t p 检索。 全文内容如下安排： 第一章介绍了视频监控的研究背景、现状、主要应用及视频分割的概念，指出了 对视频监控中的运动对象分割进行研究的重要意义。 第二章对常用的视频对象分割算法进行了分析，总结了各种算法的优缺点，并给 出了算法评价标准。 第三章提出了结合g a u s s i a n 分布和l k 光流法的视频对象分割算法，并给出了实 验分析结果。 第四章分析了现有初始背景帧提取方法，提出了一种m e a m o 初始背景帧的提 取方法，并给出了实验分析结果。 6 视频监控中的运动对象分割技术研究第一章绪论 第五章基于混合高斯模型，提出了一种自适应阴影检测算法，并对实验结果进行 了客观评价。 望。 第六章对本文完成的主要研究工作进行了总结，并对进一步的研究工作进行了展 第二章视频监控中的运动对象分割技术概述视频监控中的运动对象分割技术研究 第二章视频监控中的运动对象分割技术概述 视频序列可以分为静止背景和变化背景两种情况。前一种通常发生在摄像机相对 静止的状态，后一种通常发生在摄像机也在做相对运动的状态。目前，针对这两种情 况提出了很多算法，一般将视频对象分割算法分为基于时空的视频对象分割、基于运 动的视频对象分割和交互式视频对象分割。本章对以上几类分割算法作了详细阐述， 以便进一步深入研究视频监控中的分割技术。 2 1 基于时空的视频对象分割算法 随着m p e g 4 和m p e g 7 的发展，要求分割出来的对象在语义上是有意义的。 同一物体的各部分往往具有一致的属性。总体说来包括两个方面，即空间属性与时间 属性，它们是所有视频分割算法的物理依据。 空间属性主要是亮度、颜色、纹理或其他变换的或统计的特征，比如梯度图像、 直方图等。一般有两种不同的考虑角度：一是区域，它着眼于空间属性的一致性；二 是边缘，着眼于空间属性的差异。时间属性主要表现为帧差、光流场或者运动矢量， 据此可以检测出帧间变化、运动的区域及运动的方向和大小。 但是单纯使用空间分割技术，即利用亮度、色度或者纹理等方面的空间域特性 对视频序列中具有某种相似性的区域进行聚集，这些区域可能只是物体的一部分，单 独的一部分往往是没有什么语义的，经常不符合语义上的对象。针对这一问题，对于 视频序列，还可以利用对象的运动信息。在一个自然场景中，对象的运动基本上是平 稳的；相邻帧之间的对象具有某种相似性，同一对象各个部分的运动基本相同。因此， 如果相邻帧运动相同，就认为它们属于同一对象，从而分割出运动对象。这样的分割 方法主要就是同时利用空间和时域上的特性进行分割。 2 1 1 时域分割法 时域分割法属于帧间分割技术，它主要是利用视频图像相邻帧之间时域上的连续 性和相关性进行分割。 8 祝颧监控中的运动对象分割技术研究 第二章税频控中的自对象分割拄术概连 在时域分割法中，差分法用得比较广泛。差分法一般分为两种情况：一种是通过 当前帧和背景帧相减来获得差分图像，另外一种是利用两帧或多帧之间的差来获得差 分图像。 1 背景差分法 背景差分法是常用的运动目标检测方法之一。它的基本思想是输入图像与背景 模型进行比较，通过判定灰度等特征的变化，或用直方图等统计信息的变化来判断异 常情况的发生和分割运动目标。简单常用的方式为：直接抽取视频序列中的某一幅图 像，或计算多幅图像的平均值作为背景。它一般能够提供最完全的特征数据，但对于 动态场景的变化，如光照和外来无关事件的干扰等特别敏感，所以需要建立背景模型。 最简单的背景模型是时间平均图像，大多数研究人员e l 前都致力于开发不同的背景模 型，以减少动态场景变化对运动分割的影响。例如，h a r l t a o g l u 等利用最小、最大强 度值和最大时间差分值为场景中每个像素进行统计建模i 4 l ，并且进行周期性的背景更 新；m c k e n n a 等利用像素色彩和梯度信息相结合的自适应背景模型口1 来解决影子和不 可靠色彩线索对于分割的影响；s t a u f f e r 与g r i m s o n 利用自适应的混合高斯背景模型 【“，并利用在线估计来更新模型，从而可靠地处理了光照变化、背景混乱运动的干扰 等影响。徐东彬等提出了一种基于概率统计的自适应背景运动检测方法【”，通过对像 素的概率直方图进行分析，提出了自适应前景、背景阈值的双闽值选择方法，利用像 素聚类统计和基于概率相结合的背景更新模型。 圈2 - l ( a ) 与图2 - 1 ( b ) 是h a l lm o n i t o r 序列中两幅大小为1 7 6 1 4 4 的图像，其中， 图2 - 1 ( a ) 是h a l lm o m m r 序列中一幅没有运动对象的图像，作为背景图像，图2 - 1 嘞 是序列中的第5 3 帧，作为输入图像，图2 - l ( c ) 是图2 - 1 ( b ) 和图2 - l ( a ) 作背景差分运算 得到的结果。 趣戆一 ( a ) 背景图像0 ) 输入图像( c ) 背景差分法结果 图2 - 1 h a l l _ m o n i t o r 序列分割结果 第= 章视颏监控中的运动对象分割技术概述 m 频监挡中的运动对象分割技术研究 2 帧日j 差分法 这种方法是在运动目标检测中使用较多的一类算法。基本原理就是将前后两帧图 像对应像素值相减。在环境亮度变化不大的情况下，如果对应像素值相差很小，可以 认为此处景物是静止的，如果图像区域某处的像素值变化很大，可以认为这是由于图 像中运动物体引起的，将这些区域标记下来，利用这些标记的像素区域，就可以求出 运动目标在图像中的位置。由于目标大小、背景亮度的差异，对差分图像的分割方法 也不相同：另外，当日标有阴影干扰时也要进行特殊处理j 。 为了提高帧间差分法的性能，有人在此基础上提出了累积图像差分法0 1 和对称图 像差分法【1 ”。这两种方法都可在提高检测概率的同时降低虚报概率，效果相差不大。 帧间差分法是以图像背景固定不变为前提的( 也就是摄像机固定) ，如果背景运动，这 种方法就不舍适。针对这种情况，有人提出了基于补偿差分的运动目标检测方法，先 对由摄像机运动引起的背景移动进行补偿，然后再进行差分运算。有两种方法可以用 来消除背景相对运动造成的影响：一种是通过闭环系统的自反馈对得到的镜头运动参 数进行补偿；另一种是对背景中特女e 较明显的区域进行匹配，在得到背景的偏移量后 再进行补偿。相比较而言，第二种方法完全不依赖于跟踪系统的回路参数，而且当背 景中有明显结构特征时可以取得更好的背景补偿效果，配准精度较高。 帧问差分法对于动态环境具有较强的自适应性，能够适应各种动态环境，但一般 不能完全提取出所有相关的特征像素点，这样在运动实体内部容易产生显露现象。如 图2 2 所示。 ( 砷第k 帧( b ) 第肼i 帧 ( c ) 运动变化区域 图2 - 2 帧间差分法产生的显露现象 视频监控中的运动对象分割技术研究第二章视频监控中的运动对象分割技术概述 2 1 2 空域分割法 空域分割法可以从图像中得到物体的精确边缘，但往往存在着较大的盲目性，因 为背景中的静止物体也被分割出来，而最后还要合并到一起。实际上，为了达到更好 的效果，该类方法在使用过程中一般结合其它的方法一起使用。 常用的空域分割法主要包括以下类别：边缘检测法、阈值分割法、区域跟踪法和 分水岭算法。 1 边缘检测法 边缘检测法是通过检测出不同区域边界来进行分割的。边缘广泛存在于物体与背 景之间、物体与物体之间【l l 】。边缘总是以强度突变的形式出现，可以定义为图像局部 特征的不连续性，如灰度的突度、纹理结构的突变等。边缘常常意味着一个区域的终 止和另一个区域的开始。图像的边缘包含了物体形状的重要信息。它不仅大幅度减少 了要处理的图像信息，而且还保护了目标的边界结构。因此，边缘检测可以看作是处 理许多复杂问题的关键。 对边缘的检测常常借助于空域微分算子进行，通过将其模板与图像卷积完成。目 前主要有s o b e l 算子、r o b e r t 算子、p r e w i t t 算子、k i t s c h 算子、l o g 算子以及c a n n y 算子等。这些边缘检测方法对边缘灰度值过渡比较尖锐且噪声较小等不太复杂的图 像，大多数算法可以取得较好的效果。但对于边缘复杂、采光不均匀的图像来说，则 效果不太理想。主要表现在边缘模糊、弱边缘丢失和整体边缘不连续等方面。如图 2 - 3 显示是h i g h w a y _ w a y 序列第2 4 4 帧的边缘检测结果。图2 - 3 ( a ) 是第2 4 4 帧原图像， 图2 - 3 ( b ) 是r o b e r t 算子检测结果，图2 - 3 ( c ) 是s o b e l 算子检测结果，图2 - 3 0 ) 是p r e w i t t 算子检测结果。 2 阈值分割法 阈值分割法是灰度图像分割普遍采用方法，这种方法先确定一个处于图像灰度取 值范围之中的灰度阈值，然后将图像中各个像素的灰度值都与这个阈值相比较，并根 据比较结果将对应的像素划分为两类：像素的灰度值大于阈值的为一类，小于等于阈 值的为另一类，这两类像素一般分别属于图像中的两类区域( 也称为前景和背景) ，所 以对像素根据阈值分类达到了区域分割的目的。 比较常用的方法有全局阈值法、局部阈值法、基本自适应阈值方法、动态阈值方 第二章领监控中的运动对象分割拄术概述w 颤监拄中的运动对象分割技术研究 法和基于熵的二值化方法。全局闽值法是指在闽值化过程中只使用一个阈值。在图像 处理中应用比较多，它在整幅图像内采用固定的阑值分割图像。局部阐值法将原始图 ( a 1 第2 4 4 帧( b ) r o b e r t 算子检测结果 ( c ) s o b c l 算子检测结果 h ) p r e w i t t 算子检测结果 图2 - 3 h i g h w a y l l r a w 序列边缘检测示意幽 像划分成较小的图像，并对每个子图像选取相应的阈值。动态阈值或者自适应阈值是 指阐值的选取除了取决于图像灰度值和该点邻域的某种局部特性之外，所得到的闽值 还与坐标有关。闽值分割的关键在于闽值选取，常用的闽值选取方法有：极小值点闽 值选取方法、最佳闽值搜寻方法和迭代闽值选取方法3 种。 闽值分割的方法很多，每一种方法几乎都有其独特的优点和实际应用的背景。闽 值分割适用于特征空间峰谷差异明显，目标和背景的灰度分布接近正态分布，细节较 少，分割目的为提取特定目标的简单图像。它的优点是抗噪声能力较强，缺点是对于 大多数目标和背景的灰度分布束知、峰与峰之问重叠、彼此遮掩以至于难以分辨的图 像，它们的分割闽值难以确定；通常仅利用了像素值信息，对内容复杂，细节多的图 像效果较差。实际应用中，闽值分割需要和其它方法相互结合使用，才能获得最佳或 视频监控中的运动对象分割技术研究第二章视频监控中的运动对象分割技术概述 满意的分割结果。 3 区域跟踪法 区域跟踪法是寻找具有相似性的像素群，它们对应某种实体世界的平面或物体， 它的方法是从某一像素出发按照属性一致性( 这个一致性可以是灰度级、彩色、梯度 或其他特性) 原则逐步地增加像素，即区域增长。对由这些像素组成的区域使用某种 均匀测度函数测试其均匀性，若为真，则继续扩大区域，直到均匀测度为假。常用的 方法有区域生长法和区域分裂合并法。 区域生长法是从满足检测准则的点开始，从各个方向开始“生长物体。因为物 体同一区域中像素点的灰度级或色彩值相差很小，可假设k 为一个已满足检测准则 的一小块物体，那么开始检查它所有邻近点的灰度值或色彩值，如果满足检测准则， 即将该邻近点并入上述小块中，当邻近点被接受点“生长”成新的k ，再用得到的新 的k 重复上面的过程，直到没有可接受的邻近点为止。 区域分裂合并方法是首先将图像分割为初始区域，然后分裂合并这些区域，逐步 改善区域分割的性能，直到最后将图像分割为最少的均匀区域为止，因此能得到满意 的效果。其缺点在于初始种子的位置和数量对结果的影响比较大，容易受噪声等其他 因素的影响而得到不规则的边界和小洞，计算量比较大。 2 1 3 时空域分割法 空域视频分割方法具有分割精度高的优点和视频对象内部以及背景区域分割过 细的缺点，而时域分割算法具有分割速度快的优点和视频对象边界分割精度低的缺 点，所以为了得到一种有效的视频对象分割算法，综合时域和空域分割的结果。目前， 大多数视频对象分割都是采用时空联合分割方法来提取视频对象。该类方法的基本过 程是通过时域分割定位图像中的运动区域，空域分割将图像分割为具有准确边界的语 义区域，最后结合空域分割和时域分割的结果产生鲁棒性较好的分割结果，获得边缘 定位精确的分割结果。如田宏阳等人提出了根据参数模型进行全局运动估计和利用图 像金字塔对当前模板内图像区域进行空间分割的时空联合方法【l3 1 ，能从动态场景中提 取出运动对象。杨文明提出了在双尺度邻域上建立马尔可夫随机场模型与帧差图像的 高斯混合分布模型相结合的时空运动检测模型i l4 1 ，获得较好的运动区域。现在比较新 第二章视频监控中的运动对象分割技术概述 视频监控中的运动对象分割技术研究 颖的时空域分割技术充分利用序y u l e 的时域、空域信息，由于同时兼顾运动信息与空 域信息，所以容易克服单纯的基于运动分割中的过度分割、噪声敏感性以及不够精确 等问题。基于时空信息的分割方法通常也被划归为运动分割，因为这种方法仍然利用 运动估计技术。但是，时空分割算法却与运动分割不同，这种算法利用空域信息修正 和改善时域分割结果。 2 2 基于运动的视频对象分割 2 2 1 基于光流法的分割 基于光流法的分割主要是基于光流场的运动参数估计，求出符合运动模型的像素 区域，进而合并区域构成运动对象进行视频分割。光流法是一个估计运动参数的普遍 方法，但是由于存在孔径问题和遮挡问题，用光流法估计的二维运动场往往是不确定 的。对于光流场估计方法，比较典型的方法有：h o r n 和s c h u n c k 使用光流在整个图 像上光滑变化的假设来求解光流；l u c a s 和k a n a d e 假设在一个小的空间邻域上运动 矢量保持恒定，然后使用加权最小二乘法估计光流；n a g e l 使用二阶导数来估计光流 【”】。但是光流场的估计方法都是建立在运动物体表面上，每一点的亮度至少在一个较 小的时间范围内是保持不变的假设基础之上。 近年来，人们利用统计学的原理，提出了一些鲁棒的光流场估计方法。为了消除 噪声的影响，o n g 采用了二乘方中值最小法的非线性方法f 1 6 】。这些方法都属于超定方 程组的求解方法，在处理运动突变区域方面能取得较好的效果，但还是没有解决光流 场估计中的一些基本问题，如在图像纹理信息不丰富时，用这些方法也无法得到好的 结果。 2 2