（生物医学工程专业论文）智能视频监控系统关键技术研究.pdf

2a b s t r a c t a b s t r a c t a sd e t e c t i n ga n dt r a c k i n go fm o v i n go b j e c t sa r et w ok e y t e c h n i q u e so fi n t e l l i g e n t v i d e os u r v e i l l a n c es y s t e m s ，t h i sd i s s e r t a t i o nw a sf o c u s e do nt h e m r e g a r d i n gm o v i n g o b j e c td e t e c t i n g ( m o d ) a ni m p r o v e df l a m e s u b t r a c t i o na l g o r i t h mw a sp r o p o s e d w h i c hu t i l i z e sg r a d si n f o r m a t i o n m o r e o v e r , t h em i x e dg a u s s i a nm o d e lw a sa n a l y z e d t h e o r e t i c a l l ya n di m p l e m e n t e dp r a c t i c a l l yf o rt h es a k eo fm o d f i n a l l y , t os o l v et h e p r o b l e mt h a ts h a d o w su s u a l l ya f f e c tt h em o dm e t h o d sb a s e do nt h em i x e dg a u s s i a n m o d e l ，t h ea p p r o a c h e st or c j e c t i o no fs h a d o ww e r ei n v e s t i g a t e da n dan o v e la l g o r i t h m w a sp r o p o s e da n dv a l i d a t e db yt h ee x p e r i m e n t s r e g a r d i n gm o v i n go b j e c tt r a c k i n g ( m o t ) ，t h ee x i s t i n ga l g o r i t h m sw e r er e v i e w e df i r s t l yw i t haf o c u so nt h ek a l m a n t r a c k i n ga l g o r i t h ma n dt h em e a ns h i f ta l g o r i t h m c o n s i d e r i n gt h ec o m p l e x i l i t ya n d c h a r a c t e r i s t i c so fv i d e oo b j e c tt r a c k i n g ，a l li m p r o v e dm o t a l g o r i t h mw a gp r o p o s e db y c o m b i n i n gt h ek a l m a nt r a c k i n ga l g o r i t h mw i t ht h em e a ns h i f ta l g o r i t h m t h e s i m u l a t i o nr e s u l t ss h o wt h a tt h ea l g o r i t h mi sr a t h e rr o b u s t f i n a l l y , af r a m e w o r ko fv i d e os u r v e i l l a n c es y s t e mh a sb e e nd e v e l o p e db yu s i n g t h eo p e n c v ( o p e ns o u r c ec o m p u t e rv i s i o nl i b r a r y ) t h a n k st ot h ed i r e c t s h o w t e c h n o l o g ya p p l i e dt o t h ef r a m e w o r k , m u c hh i g h e rp e r f o r m a n c ew a so b t a i n e di n c a p t u r e ，p r o c e s s i n ga n dd i s p l a yo ft h ev i d e os e q u e n c e s o nt h e s eb a s e s ，ap r o t o t y p eo f v i d e os u r v e i l l a n c es y s t e mh a sa l s ob e e nd e v e l o p e d ，w h i c hw a su s e dt od e m o n s t r a t et h e f e a s i b i l i t ya n da p p l i c a b i l i t yo f t h ea l g o r i t h m sp r o p o s e di nt h i sd i s s e r t a t i o n k e y w o r d s ：i n t e l l i g e n tv i d e os u r v e i l l a c e m i x e do a u s s i a nm o d e l t r a c k i n g s y s t e mm o v i n g0 b j e c td e t e c t i o n s h a d o wd e t e c t i o n m o v i n g0 b j e c t 独创性( 或创新性) 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名； 鑫i 璧日期塑1 2 ：z ! z ! 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的沦文 在解密后遵守此规定) 本人签名； 导师签名： 日期兰丝z ! ，0 日期一兰! 1 2 ： ： o 第一章绪论 第一章绪论 1 1 引言 视频、图象是对客观事物形象、生动的描述，是直观而具体的信息表达形式， 对人类而言是最重要的信息载体。特别是在今天的信息社会里，随着网络、通信 和微电子技术的快速发展和人民物质生活水平的提高，视频以其直观、方便和内 容丰富等特点，日益受到人们的青睐。然而在很多应用领域，人们通过视觉获得 信息的同时也要付出艰辛的劳动，我们需要有一种技术可以代替人的这种劳动， 把人从繁重的视觉劳动中解放出来。因此用计算机模拟人眼进行各种繁杂的视觉 活动就成为一种迫切的需要。在这种条件下，有关计算和视觉的各种研究和应用 如雨后春笋般发展起来。 智能视频监控是计算机视觉领域一个新兴的应用方向和备受关注的前沿课 题。伴随网络技术和数字视频技术的飞速发展，监控技术正向着数字化、智能化、 网络化方向不断前进。智能视频监控系统的需求主要来自于那些对安全要求敏感 的场合，如军队、银行、商店、停车场等。当盗窃发生或发现异常时，该类系统 能够向保卫人员准确及时地发出警报，从而避免犯罪的发生，同时也减少了雇佣 大批监视人员所需要的人力、物力和财力的投入。智能监控技术包括了运动目标 的检测、跟踪、目标分类和行为理解等方面，涉及到计算机视觉、模式识别和人 工智能等领域的许多核心课题，是一个具有挑战性的困难问题。 与传统的传统视频监控相比，能够进行目标智能检测与跟踪的数字视频监控 具有许多优点： 第一，2 4 x7 全天可靠监控。智能视频监控系统将彻底改变以往完全由监控 人员对画面进行监视和分析的模式。该类系统通过嵌入在前端设备中的智能视频 模块对监控的画面进行自动分析，一旦发现异常的事件立即向监控中心报警。 第二，提高报警精确度。智能视频监控系统能够有效提高报警精确度，大大 降低误报和漏报现象的发生。系统的前端设备中集成了功能强大的图像处理和智 能处理模块，使用户可以更加精确的定义威胁安全事件的特征，有效降低误报和 漏报现象，减少无用数据量。 第三，提高响应速度。智能视频监控系统拥有比传统视频监控系统更强大的 智能处理能力，它能够检测、识别视频场景中的可疑活动，因此在威胁安全的事 件发生前就能够提示监控人员关注监控画面，使相关人员提前做好准备工作。 正是由于智能视频监控具有传统监控无法比拟的优点，而且符合当前监控系 统智能化、数字化和网络化的发展趋势，所以智能视频监控正在逐步取代传统视 频监控，被广泛应用于各行各业。具有一定智能处理能力的视频监控系统，不仅 符合信息产业的未来发展趋势，而且代表着监控行业的未来发展方向，蕴藏着巨 大的商机和经济效益，受到了学术界、产业界和管理部门的高度重视。 1 2 视频监控系统概述 1 2 1 视频监控系统的发展和现状 视频监控系统的发展大致经历了三个发展阶段： ( 1 ) 在2 0 世纪9 0 年代初及其以前，主要是以模拟设备为主的闭路系统，称 为第一代视频监控系统，即模拟视频监控系统。图象信息通过视频电缆，以模拟 方式传输，一般传输距离不能太远，主要应用于小范围内的监控，监控图象一般 只能在控制中心查看。这种系统具有很多局限性，如有线模拟视频信号的传输对 距离十分敏感；无法联网，只能以点对点的方式监控现场，布线工程量大；图象 数据存储消耗大量的存储介质( 如录像带) ，检索内容时十分繁琐。 ( 2 ) 2 0 世纪9 0 年代中期，随着多媒体技术、视频编码压缩技术的飞速发展， 以数字技术为核心的视频监控系统迅速崛起。利用计算机的高速数据处理能力进 行视频的采集和处理，大大提高了图象质量，增强了视频监控的功能。 该类系统一般在远端有若干个摄像机、各种检测和报警探头与数据设备，获 取图象信息通过各自的传输线路汇接到多媒体监控终端上，然后再通过通信网络 将这些信息传到一个或多个监控终端。具体组网如图1 1 所示。 图1 1 典型的数字视频监控系统 ( 3 ) 进入二十一世纪后，随着网络带宽增加、计算机处理能力的迅速提高和 存储容量的增大，以及各种实用视频信息处理技术的出现，视频监控进入了全数 第一章绪论 字化的网络时代伴随大量的摄像头被应用到监控系统中，被监控的地理区域也 不断的拓宽。人们已日益要求视频监控系统的功能不仅是对监控环境的简单记录 和简单的报警。而智能视频监控系统将会使监控人员从枯燥重复性的劳动中解放 出来。借助计算机强大的计算能力，可以帮助监控人员实时的鉴别场景中异常， 实现自动报警。智能视频监控系统一般处理框架如图1 2 所示，其实现涉及运动 目标检测，运动目标跟踪，目标识别和行为理解等关键技术，并且与机器视觉、 模式识别、人工智能、数据融合等领域密切相关。 图1 2 智能视频监控系统的一般处理框架 1 2 2 研究现状 智能视频监控是多学科交叉的前沿研究领域，也是当前国际性的研究热点。 如何对国家重要安全部门和敏感的公共场合进行全天候的、自动、实时监控，是 世界各国都高度重视的问题，而智能视觉监控系统正是解决该问题最为有效的手 段。由于智能视频监控技术具有广泛的应用前景和重要的经济价值，激发了世界 上( 尤其是欧、美发达国家的) 广大科研工作者、研究机构和企业的浓厚兴趣， 现已做了大量的工作并取得了很多成果。例如，美国国防高级研究项目署设立了 视觉重大监控项目v s a m l l l ，以卡内基梅隆大学为首，麻省理工学院等高校参与， 主要研究战场和普通民用场景监控的自动视频理解技术；欧盟赞助研究的 p r i s m a t i c a 系统f 2 l = 该系统融合了多种智能检测设备( 智能摄像头、非接触智 能卡、无线视频传输等) ，用于地铁站的安全监控；国外一些公司近年来相继推 出了具备一定智能功能的视频监控系统，如：挪威的d e t e ca c 公司提供的d e t e e 3 系统( 3 j ；美国o b j e c t v i d e o 公司提供的o b j e c t v i d e ov e w 、o b j e c t v i d e of o r e n s i c s l 4 j 。 它们实现了在用户定义规则下对监控场景进行监测、跟踪、分类、统计的软件系 统，可在诸如有人闯入、盗窃、提包遗失或者未经许可在限制区域闲逛等违反自 定义规则的情况下报警。另外还有：o b j e c tv i d e o o nb o a r d 构建在d s p 处理 器上的嵌入式视频监控系统；瑞典a x i s 公司推出的基于坤的网络视频监控系统 【5 】，等等。国内也已有一些具备智能功能的视频监控产品上市，如：北京黄金眼 科技的黄金眼【6 】，北京行者科技的行者猫= e i t _ j 等产品。 但是，目前国内使用中的视频监控系统大部分均侧重于视频数据的压缩、传 输和存储；其报警功能大都利用红外，烟雾等外接传感器实现；视频数据到达终 端以后还是需要由人来实时观测分析，或者是存储起来以备事后查阅。这种系统 仍需耗费大量的人力物力，却只能实现部分的预期功能，远远无法满足日益增长 的对监控系统智能化的需求。 i e e e 协会从1 9 9 8 年起资助了国际视觉监控系列会议，至今己经分别在印度、 美国、爱尔兰等地召开多届。国际权威期刊i n t e m a t i o n a lj o u r n a l o f c o m p u t e r v i s i o n 和i e e et r a n s o np a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e 等都出版了有关视频监 控的专题。国内也于2 0 0 2 年和2 0 0 3 年召开了第一、第二届全国智能视觉监控学 术会议，对图象序列分析、目标定位、识别和跟踪、高层语义理解、系统构建与 集成、网络环境下的视频监控等内容进行了多方面探讨。 目前，对智能视频监控的研究与应用方兴未艾。智能视频监控是利用计算机 视觉和图象处理的方法对图象序列进行运动检测、运动目标分类、运动目标跟踪 以及对监视场景中目标行为的理解与描述。其中，运动检测、目标分类、目标跟 踪属于视觉中的低级和中级处理部分，而行为理解和描述则属于高级处理。运动 检测、运动目标分类与跟踪是智能视频监控中研究较多的三个问题；而行为理解 与描述则是近年来被广泛关注的研究热点，它是指对目标的运动模式进行分析和 识别，并用自然语言等加以描述。其研究难度较大。本文着重研究了视频监控中 运动目标检测和跟踪的问题。 1 3 本文主要工作及内容安排 本文研究的对象是摄像头固定情况下的视频场景。研究的内容主要有两个方 面，第一是视频场景中运动目标的检测，第二是视频场景中目标的跟踪。本文研 究了相邻帧间差分法的运动区域检测方法和基于多高斯分布背景估计的运动区域 检测方法。相邻帧间差分法的算法较简单，速度较快；基于多高斯分布背景估计 的方法计算量较大，但是提取的目标更完整。本文深入的研究和分析了这两种方 法，并完成了相关的算法，成功提取了运动目标。在已有算法的基础上提出了改 第一章绪论 进算法，经实验验证其具有良好的性能。在视频目标跟踪方面，跟踪过程被分成 区域跟踪和匹配搜索两个问题分别进行研究。提出了使用卡尔曼滤波跟踪和m e a n s h i f t 方法联合跟踪的新方法，完成了目标的跟踪定位任务。 本文的研究工作和结果主要包括： ( 1 ) 介绍了图象结构分析的基本原理，并用理论分析和实验的结果逐步建立了 帧差图象的噪声模型，得到了帧差图象结构。提出了一种帧差图象噪声阈值自动 估计的方法，并将该方法应用于实际的视频图象，经过后续的优化处理，最终形 成基于梯度信息的三帧差分法的运动区域检测和提取的方法。 ( 2 ) 通过背景分析，阐明了用高斯模型对背景建模的基本原理，近似算法的优 缺点；分析了各种近似算法对性能的不同影响，针对阴影对高斯模型的检测结果 有不良的影响，提出了新的阴影抑制算法。通过本文的研究，使基于多高斯背景 建模技术的运动区域检测的方法更趋于理论化和系统化。 ( 3 ) 通过分析卡尔曼跟踪的基本原理和m e a ns h i f t 基本原理，并结合视频监控 的实际特点和要求，提出了一种综合使用卡尔曼估计和m e a ns h i f t 方法进行视频 副示跟踪的新方法。通过实验表明该方法具有良好的跟踪性能。 本文各章的内容的安排如下。 第一章论述了课题开展的背景和研究意义，对视频监控技术研究的发展、现 状做了简要的介绍，同时对论文的结构进行了介绍。 第二章深入研究了运动目标检测的技术。首先研究相邻帧间差分的基本原理， 分析了帧差图象的噪声状况和帧差图象的结构，并据此提出了一种基于图像梯度 信息的三帧差分检测运动目标的算法。其次研究了在静态场景下的背景估计方法 和运动目标的提取方法：在分析和介绍有关原理的基础上，分析了背景的特性并 建立背景模型，最终完成了背景估计和运动区域检测提取算法的设计。针对阴影 对高斯模型的检测结果的不良影响，提出了新的阴影抑制算法。 第三章中讨论了静态场景下视频目标跟踪技术。重点研究了卡尔曼跟踪和 m e a ns h i f t 这两种跟踪方法，并提出了一种将两者结合的目标跟踪方法：利用卡 尔曼跟踪进行简单跟踪定位，利用m e a ns h i f t 在卡尔曼跟踪基础上进行目标的匹 配搜索和精确跟踪。 第四章中介绍了与视频监控软件开发相关的设计工具和软件技术。主要介绍 了o p e n c v 的基本组成和特点，及其在图象视频处理中的应用。为了解决在 w i n d o w s 系统中采集和显示视频序列的问题，引入d i r c c t s h o w 技术，并讨论了在 实际应用中它和o p c n c v 的关系。 第五章分析了监控系统软件系统的构成、处理流程，提出了一个在w i n d o w s 平台下的视频监控系统软件框架，给出了软件系统原型的调试和实验结果，讨论 了存在的问题及可能的解决方法和思路。 5 第二章视频运动目标检测技术研究 2 1 引言 运动目标检测( m o v i n g - o b j e c t i v e s d e c t e c t i n g ，m o d ) 是指将序列图象中变化 区域从背景中分割出来。m o d 的基本任务是从图象序列中检测出运动信息，得 到所需的运动矢量，从而能够识别与跟踪物体。m o d 是智能视频监控中最重要 的实现步骤和组成部分之一，是计算机视觉、目标识别与跟踪、模式识别、运动 图象编码、基于内容的检索、安全监控等研究领域的重点与难点，在交通、国防 和工业等领域有着广泛的应用前景。然而，由于天气和光照的变化、背景混乱运 动的干扰、运动目标的影子以及摄像机的运动等原因的存在，给运动目标的正确 检测带来了极大挑战。由于对运动目标的检测与分割影响着运动目标能否被正确 跟踪与分类，使m o d 成为视频监控系统研究中最重要的课题。 2 2 视频运动目标检测技术概述 现有的视频运动目标检测方法主要分为三类，且各有优缺点，下面将分别进 行概要性的说明。 2 2 1 帧差法 帧差法嗍的基本思想：如果一幅图象的某一位置物体发生变化，那么对应位 置的灰度也将发生变化；而物体没有发生变化的部分，其灰度则不发生变化或变 化很小。因此该方法只需比较序列图象中相邻两幅图象的对应象素灰度的差别。 其算法略述如下： d f ( i ，f ) - i i ( i ，j ，t ) 一，( f ，j ，t 一1 ) l ( 2 1 ) 脚沪 ： d f ( i ，f ) t h d f ( i ，) t h ( 2 2 ) 其中：f ，j 表示象素位置坐标，t 为时间，砌表示阈值，d f ( i ，t ) 表示相邻 帧的帧差图象，( f ，t ) 表示当前帧图象，m ( i ，j ，f ) 表示检测出的运动图象。 使用基于时间序列图象上的差分图象检测运动目标，能够较好地适应环境变 化较大的情况；但因其难以有效地检测出图象序列中与运动目标相对应但变化相 第二章视频运动目标检测技术研究 对不够明显的象素点，一般难以获得运动目标的完整轮廓；同时它很难检测出缓 慢变化的目标。 利用图象序列累积信息，j a i n 提出了累积差分的方法( a d p ) 1 9 1 。累积差分图 的生成方法可概括为：将第一帧图像作为参考图，然后将每一帧图象与参考图比 较，如果结果超出一定阈值则将累积差分图的对应点加1 。因此累积差分图a o p , 是第k 帧图象与a d p o 比较的结果。 雠- a o e , j + d p i k( 2 3 ) 嚣删 ( 2 4 ) 这里d p t t 是第k 帧图象与第一帧图象的差分；t h 代表阈值。 这种算法既充分利用了时间序列图象的历史累积信息，又能适应低对比度含 噪声的时间序列图象，因此可以判断复杂情况下目标运动的多种状态。此算法不 仅能用来可靠地检测微小运动或缓慢运动的物体，也可用于估计物体移动的大小 和方向以及物体尺度的大小【枷。但是这一算法的判断行为多，硬件实现复杂。而 且参考图的选取对检测结果的影响很大。 文献 “ 中提出了一种新的累积差分的方法，即不用每一帧图象与参考图做 比较，而是通过对所有相邻两帧图象作绝对值差分运算，然后再将绝对值差分结果 进行累加，从而得到累积绝对差图象。累积绝对差图象法不需要像累积差分图象那 样，每一次进行差分运算后就需要判断阈值，故运算过程大大简化。同时累积绝对 差图象也保留了序列图象的历史累积信息，可以检测出位移变化较小的运动目标。 但是由于这种算法使用相邻帧的绝对值差分来得到累积绝对差图象，从而将相邻 帧帧间的噪声也得到了累积，使得累积绝对差图象中存在大量的噪声，加大了处 理噪声的难度。 2 2 2 光流法 光流【1 2 ( o p t i c a lf l o w ) 是空间运动物体在被观测表面上的象素点运动的瞬时 速度场。光流场是通过二维图象来表示物体点的三维运动的速度场。由h o r n 和 s c h u n k 在8 0 年代早期建立的“光流分析法”，是数字视频处理领域中二维运动 估算的重要方法。其研究的对象是二维运动( 或称投影运动) ，即为真实世界中的 三维运动以透视或正交的投影方式在图象平面上形成的“视在运动”，这一运动 对应着图象中不同目标的相对位置改变，也就对应着图象前后帧相应位置灰度的 改变，h o m 与s c h u n k 将图象平面特定坐标点上的灰度瞬时变化率定义为“光流 矢量”。这样就导致了光流法的一些根本性的缺陷：在某些情形下，图象中视频 7 仃m d - 峄 目标的运动不能反映为灰度的变化，如单色圆球绕其直径自转；另外，图象中光 源的运动而不是视频目标的运动也会导致灰度的变化，而这些都不是光流分析法 所能隔离或屏蔽的但就大多数现实世界的投影运动而言，光流分析是有效的估 算方法。而且，运动估算研究的是“视在运动”而非真实运动，所以可以对任何 与图象亮度变化无关的运动不予考虑。因此，光流场是一个二维矢量场，它包含 的信息即是各象素点的瞬时运动速度矢量信息。 h o r n 的光流计算基于如下两个假设：( 1 ) 图象的上任一点在t 时刻所观测到 的亮度在时闭间隔出内是恒定不变的；( 2 ) 图象上任一点不是独立的，光流在整 个图象范围内平滑变化 对某个图象序列，设( , o y , o 表示t 时刻坐标似) 口处的灰度值，如果将运动图象 序列表示为关于位置和时间的函数，使用泰勒公式展开为： ， + d x ，) ，4 - 咖，t + 出) 一f ，y ，f ) + 正血+ 丘方+ 正疵+ d ( a 2 )( 2 5 ) 其中：丘、l 、正分别表示，的偏导数。假设象素在时间间隔d t 内移动d x 、 方距离，根据假设( 1 ) 再忽略高阶项则有： l , 妞d t + 厂，方a r t + 正- 0 ( 2 6 ) 设估计的速度为c ：c 一( d x d t ，砂d o - ( “，v )( 2 7 ) 这里“- d x l d t ，v - 方i d t 代表善和y 方向上的光流。对任一点x o ，y ) 可将 式( 2 - 6 ) 表示为： v ，吆+ 五一0 ( 2 - 8 ) 其中v f 一( 无， ) 是图象在点x ，y ) 的梯度，圪o ，v ) 是点z 的光流。式( 2 8 ) 又被称为光流约束方程。这里还引入了光流的孔径问题：式( 2 8 ) 包含u 和v 两个 未知量，显然由该式不能确定h 和y 。根据假设( 2 ) 引入全局平滑量来约束速度场 可得： e 2 ，_ ) ，) 一( l u + y + 工) 2 + a ：+ “；+ + v ；) ( 2 9 ) 其中，( l u + v + 正) 2 代表光流误差；o ：+ “；+ v ；+ v ；) 代表光流的平滑度； a 是权重量，当图象噪声比较大时a 应该取较大的值；反之a 取较小的值。 估计的速度为： h 一瓦一f 。p f d ， v 一哥一f 。p d ，三：爱鬈f 仁 由上述速度估计公式( 2 - 1 0 ) 可知，其估计过程是一个并行的迭代过程，需迭 第二章视频运动目标检测技术研究 代多次后才能达到收敛，故相当耗时难以满足实时性的要求；同时，高阶项在多 数情况下并非完全可忽略，因而忽略它将导致估计误差；另外，噪声、多光源、 阴影、透明性和遮挡性等原因会使得计算出的光流场分布不是十分可靠和精确。 因此，在没有硬件的支持下采用光流方法进行运动检测，实时性和实用性会较差。 2 2 3 背景差法 背景差法【1 3 】是目前视频运动分割中尤其是视频监控中最常用的一种方法，它 的基本思想是将输入图象与背景模型进行比较，通过判定灰度特征的变化，或用 直方图等统计信息的变化来判断异常情况的发生和分割运动目标。传统的背景差 法算法包括三大步骤：首先，为背景中每个象素进行统计建模；然后，将当前图象 和背景模型进行比较，找出在一定阈值限制下当前图象中出现的偏离背景模型值 较大的那些象素，据此，再对图象进行二值化处理，从而得到前景象素集合( 运动 对象) ；此外，模型还要进行周期性的背景更新以适应动态场景变化。背景差法可 表述为： d ( i ，f ) - 4t ( i ，f ) 一b ( i ，f ) i ( 2 - 1 0 盹加) 一器d m ( i , j 如, t ) ) t 劢h 、 ( 2 1 2 ) 其中：d o ，f ) 表示差值图象，j ( f ，f ) 表示当前捕获的视频图象，口o ，f ) 表 示背景图象，d ( i ，f ) 表示目标运动图象，刀i 是二值化时的阈值。通过将图象序 列和参考背景模型相减来检测运动目标，能检测出和运动目标相关的所有象素点， 但对于外界环境的变化( 如光照、外来事件等) 非常敏感，其具体原理将在下面 做详细介绍。 由此可见，背景差法的难点在于如何建立背景模型和维持背景，以适应实际 环境中的变化( 光线的变化，场景中物体的移入移出问题，树枝摆动等) 。常用 的背景估计的方法有如下几种。 一基于自适应的方法： 即通过使用自适应方程，对图象序列加权平均，生成一个近似背景。这种方 法通常在目标移动比较迅速的场景中十分有效。但是当场景中存在移动缓慢的物 体时，检测效果较差。同时它不能检测双峰背景。当背景中有物体移入、移出时， 背景恢复十分缓慢。常有的该类方法包括： 1 均值背景法，将最近捕获的帧视频图象的平均值作为当前背景。这种 方法在监控场景不是很复杂，且场景中存在的变化较少时检测效果较好。 2 中值背景法，即记录最近个象素值，用这个值的中值作为背景【1 4 】； 9 3 自适应变化检测生成背景的方法：文献 1 5 1 中首先使用帧差法检测场景中 的变化区域，在确定变换区域后通过自适应算法更新背景；在v s a m 系统中l ， 通过对图象序列中的当前背景和当前帧加权平均，自适应地生成背景。 4 基于k a z a n 滤波器理论的背景生成方法：文献【1 6 】中提出了一种基于 k a l m a n 滤波理论的渐消记忆递归最小二乘的背景重建算法，它适用于背景变化较 慢的视频场景。它将运动目标视为对背景的随机扰动，应用k a l m a n 滤波器在零 均值的退化公式，即渐消记忆递归最小二乘法来更新和重建背景。文献 1 7 q b 贝l j 利用基于k a l m a n 滤波理论的时域递归低通滤波算法获取背景。 二基于分布模型的方法： 1 参数模型：即根据数据找到一个与之匹配的已知概率模型。具体过程就是 根据已知的一系列数据和参数为口的分布，7 p ) ，找到参数口的最优估计旁，这样 就能得到估计概率密度函数，。这种方法的优点是，可以只用几个参数就能描述 出整个概率分布，将大量数据压缩成几个简单的参数，用参数代替概率密度函数。 但是参数概率估计依赖于模型形式，必须事先知道这一组数据服从何种概率模型， 即必须知道这组数据的潜在概率模型的先验知识。如果概率模型假设不正确的话， 概率估计将产生偏差【1 8 1 。 由于视频监控场景在大多数情况下服从高斯分布，所以常用基于高斯模型的 方法。这种方法基于这样的假设：场景中任一点在某一段时间内的观测值都服从 正态分布，故可使用该点的均值肛和协方差矩阵y 来描述这个点的统计特性。 如果x 点在t 时刻的分布模型是，7 “，胁，) ，若叩“，以，蔓，) t r ( r 为阈值概 率) ，则该点可被判定为前景点；否则判定为背景点，同时可称z ，和叩 ，肛，罗，) 匹配。 模型的更新是在每一帧新图象捕获后，通过一定方法自适应的更新模型参数 实现的。通常的更新公式是： 以- a 一口) 以4 - ( 2 1 3 ) 彳- q 一口) 露+ 口( ，一t ) 2 ( 2 1 4 ) 其中口是更新速率。口是0 到1 之间的常数，其取值的大小体现了模型对背 景适应的快慢。 2 非参数模型：这种方法不需要假设先验的概率密度函数，也不需要设置参 数，而是从数据点中直接得到概率密度的估计函数，( ) 。所以这种方法是依据数 据本身的结构来得到概率密度函数。 非参数的方法不像参数的方法那样依赖于模型的选择和参数估计，它更加适 用于概率分布未知的一般情况下的问题。常用的方法有直方图法【1 9 l ，核估计法【冽， 第二章视频运动目标检测技术研究 具体就是基于核估计的统计模型法【2 1 】。 基于核估计的非参数概率密度估计更适合概率模型未知的情况，核估计的具 体做法是：假设一个概率密度函数p o ) ，s 一缸； 。是来自其分布的一个样本， 在工点估计b ( x ) ，计算公式如下： 1 卫 p 0 ) 一吉k h 一) ( 2 1 5 ) v 筒 这里k 是核函数，其中k h o ) 一1 h k ( t h ) 。核函数k 必须满足k ( f 卜0 和 f r , ( o a t 一1 以及其它的矩特性。所以它也是个密度函数。h 称为宽度或带宽，它 的大小决定了估计p ( x ) 时各个数据点的参与程度，实际上h 体现了变量x 的方差。 可以将式( 2 1 5 ) 看成是以数据点为中心的一系列函数的平均来估计出概率密度函 数，也就是说，核估计就是以被估计点为中心开窗，对窗口内的点进行加权平均， 而k ( ) 就是加权平均中的权函数。 核足( ) 的形式可以多种多样，参考文献【1 8 】中介绍了多种不同的核函数，一 般而言，核函数具有对称、单峰、离开中心后能迅速滑向零等特点，核函数应该 是有区域性质，不受窗口以外点的影响，而窗口的尺寸取决于带宽h 。如果用均 匀分布密度函数作为核函数，如公式( 2 - 1 6 ) ，则只有 一x a h 的绝对值小于1 才 能用来估计p ( x ) 的值，估计值仅由窗口中的点数占总点数的比率来决定。 足( 二x - - = _ x z ) 。妻( i 兰三兰离1 ) ( 2 1 6 ) n 二月 尽管高斯函数的值域为整个实轴，不满足有限区域的特性，但由于其连续可 微及优良的概率特性而成为广泛使用的核函数1 2 1 1 。但要注意，此处的高斯核与基 于高斯模型的概率密度估计是不同的。高斯核在此只是作为对数据点加权的局部 函数( 高斯核只在加权时起作用) ，不同于混合高斯模型的参数匹配，核估计是一 种不用事先假设概率模型的更加一般的方法。同时由于高斯函数计算复杂，而且 核估计方法本身计算量就大，使用高斯核函数方法时如果不加以处理将很难满足 视频处理实时性的要求。通常利用查找表技术【2 1 l 或使用三角函数代替高斯函数来 减低运算量吲。 2 3 4 其他方法 除了上述常用的运动检测算法以外，近几年还有一些新的方法被提出。 基于人工神经网络的方法：在文献【2 3 】中a n a s t a s i o s 等人利用自适应神经网络 来实现非监督式的视频目标分割。他们通过效率和效率代价权系数的更新来完成 网络的自适应。 基于小波的方法i 刎：通过综合使用g a b o r 和m a l l a t 小波变换的信息来完成运 动目标分割，同时克服了孔径问题和对应问题。使用该算法可以分割织孔状物体 的表面。 使用b a y e 分类准则对前景，背景进行分类瞄j ：在这一准则下，通过合适的 特征向量区分前景和背景。使用颜色特征来描述静止背景。使用颜色相关系数作 为特征来描述运动背景。得到静止和运动背景后，既可得到前景。为了适应背景 环境中缓慢和突然变化，使用了自适应的学习策略。该方法可以适应缓慢和突然 的环境变化。 以上方法虽然在一定环境下具有出色的目标检测能力，但是都存在运行效率 低，很难满足实时性要求的问题。 2 3 基于帧间差分的运动目标检测技术 2 3 1 差分图象的分析 假设所研究的视频序列为p ，) ，七) q 为帧序列，为视频序列的总帧数) ， 记为： ，o ，) ，k ) 一b k j - l ，) ，) + 历 ，_ ) ，) + ，) ，) + n i ，y )( 2 1 7 ) l ( x ，y ，k 1 ) - 玩c - - i o ，) ，) + r a + 缸，y + 分) + v k - 1 0 ，y ) + n k - 1 ，) ，) ( 2 1 8 ) 其中b t 。 ，) ，) 表示第k 帧与第_ 卜1 帧之间的共同背景区，历o ，y ) 、 m ( x + a x ，) ，+ a y ) 分别对应第k 、卜1 帧中的运动目标区域，( 缸，缈) 表示运动目标 从第k 帧到缸j 帧的位移矢量，以 ，) ，) 、叱。似y ) 分别表示运动目标在第k 、k - 1 帧中遮挡区和恢复区的背景区域，疗。o ，y ) 、 k - 1 0 ，y ) 分别表示第k 、弘1 帧中的 噪声。 相邻帧之差可以表示为： d 慨忌) 。? + 煞+ 竺一 y ) t 一飞( 2 - 1 9 ) + l k - 1 ，) ，) 一n t o ，) ，) 如果将令m ( x ，y ，七) 一m + 缸，y + a y ) - m ( x ，y ) + h - l o ，y ) 一o ，y ) 表示运动 运动变化区域；0 ，y ，k ) 一n k ，) ，) 一万。o ，y ) 相邻帧之间的相对噪声。 则式( 2 1 9 ) 可以表示为： d ，y ，七) 一m 0 ，y ，七) + ，y ，| | )( 2 2 0 ) 由式( 2 2 0 ) 可知：差分图象中包括运动目标引起的运动变化区域和噪声两 第二章视频运动目标检测技术研究 1 3 部分，其中运动变化区域又包括真正的运动目标区域、被覆盖和显露的背景区域 三部分。如图2 1 所示： i k - i )i ( k ) ( k ) - i ( k - 1 ) l 图2 1 差分图象原理图 如果y ) 点没有发生变化，根据a n e r i l 2 6 的理论，其对应的差分点d o ，y ，七) ) 服从均值为0 ，方差为仃2 的高斯分布( o 盯2 ) ，即可表示为： p ( d t1 日。) 一1 4 - 历e x p t - d ；拍2 】( 2 2 1 ) 其中日。表示象素点没有发生变化的假设；可以看出p ( d 。i h 。) 只取决于 似t a ) 2 。 2 3 2 帧间差分基本原理 帧差法是通过比较相邻两帧对应象素点变化，然后通过阙值检测来提取序列 图象中运动目标区域的方法，如图2 2 所示。第k 帧图象，0 ，y ，七) 和第如1 帧图 象j ，y ，k 一1 ) 之间的变化可用一个二值差分图象d _ ) ，k ) 表示： 弛朋叫：能i ( x , y 蚶, k ) h - l ( x , y , k - _ d | 1 ) 1 式中r 为差分图象二值化的闽值。二值图象中为“0 ”的象素对应在前后两 帧图象间没有发生( 由于运动而产生的) 变化的地方，为“i ”的象素对应两帧图象 间发生变化的地方，这常是由目标运动而产生的。 但是仅使用两帧序列图象间的改变来检测运动目标存在着许多缺剧z 7 1 。为了 改进连续图象的帧间差分法的效果，本文利用连续三帧图象检测运动目标，这时 判断一个象素点是否属于运动目标的原则如下： d ( 硼炉口f l ( x , ，y ) ，, ，k 炉) - l 地( x , y 卅, k - - d 1 1 ) 1 1 ( x , y , ，k 炉) - l 如( x , y y , ，k 七+ + 1 1 ) ) l 忙t r ( 2 - 功 ( a ) 左图是第一帧图象，右图是第二帧图象 左图是两帧图象的差分图象，右图是差分图象阈值化后的二值图象 图2 2 帧差法原理图 2 3 3 参数估计与运动检测 根据式( 2 2 0 ) 对差分图象的讨论可以知，帧间差分方法的关键在于如何快 速、有效的在噪声中分离出运动目标。常用的视频差分图象分割方法主要有； 一阈值分割法 这种方法首先需要确定分割阈值，然后将差分图象每个象素点的值都与阈值 相比较，并根据比较结果将象素点划分为运动目标或噪声。故可以使用阈值分割 的方法达到分离运动目标的目的。从上面的步骤可知，确定合适的阙值是分割的 关键。 图象二值化的阈值选取方法很多，主要分为三类： ( 1 ) 全局阈值法：是指在二值化的过程中只使用一个全局闽值z 的方法。它 将图象中每个象素的灰度值与r 进行比较，若大于z ，则取为前景色( 白色) ；否 则，取为背景色( 黑色) 。 ( 2 ) 局部阐值法：由当前象素灰度值与该象素周围点局部灰度特征来确定象素 的闽值。例如可以将原图象划分为一些不相交的子块，将各子块图象的灰度均值 作为该子块图象的阈值，在子块上采用上面的全局阈值法。 第二章视频运动目标检测技术研究 ( 3 ) 动态阈值法：也称自适应阈值法。它的阈值选择不仅取决于该象素及周围 象素的局部特征，而且还与该象素的坐标位置有关。例如可以在局部上统计该区 域灰度值分布特征，根据统计结果来确定不同的局部阈值。 一般来说，全局阈值法在图象的直方图是双峰的情况下比较有效，而局部阙 值法能适应较为复杂的情况。但它们往往忽略了图象的边缘特征，使得原图象中 的一些不同区域在二值化后连成一片。在图象序列的运动目标检测研究中，为了 取得好的预处理效果，现在一般都采用动态阈值的方法。 具体的求取动态阈值的方法有最优阈值分割法【2 s 】，最大熵阈值分割法1 2 9 1 ，最 大类间方差阈值分割法1 3 0 l 等。 二基于统计模型的分割方法 通过上面对差分图象结构的分析，我们知道差分图象中只包括运动目标和噪 声。如果我们能对差分图象中的噪声统计特性有准确的了解，那么就可以实现运 动目标区域和噪声区域的分离。 如果假设差分图象中的噪声服从均值为0 ，方差为盯2 的高斯分布( 0 ，o r 2 ) ， 在每帧图象里通过对参数盯的在线估计，应用概率统计学假设验证的“3 0 r ”法则 就可实现运动目标的分离。其中对参数盯在线估计的方法有很多种，一般可根据 具体场景设定一个经验值，刘征宇等1 3 l 】通过分析差分图象光滑度一方差曲线，根 据光滑度最小时对应的盯2 最准确的特性，从中提出自动确定图象噪声方差的算 法也可以从固定背景区域中估计，如图象的四个角 2 7 1 。 如果假设噪声在整幅图象范围内都有一致的统计特性，使用块聚合和技术对 差分图象象素分类。具体来说，就是将具有相同统计特性的象素点归并到相应的 簇( d u s t e r ) 中，以簇的均值和方差作为该丛的质心坐标，那么具有最大质心的 簇代表了噪声【3 2 1 。 2 3 4 二值图象的