（计算机应用技术专业论文）基于快速背景建模和svm的人物越界检测系统设计与实现.pdf

基于快速背景建模和s v m 的人物越界检测系统设计与实现 摘要 论文题目： 专业： 硕士生： 指导教师： 基于快速背景建模和s v m 的人物越界检测系统设计与实现 计算机应用技术 高鲁鑫 朝红阳教授 摘要 视频监控中的人物越界检测技术对于小区安保，商场安全以及厂房管理具有 很重要的意义。不仅能为小区，单位，企业节约人力成本，更能在全天2 4 小时 不间断的实时监控中实现预警功能。然而，当前市场上出现的智能监控产品造价 昂贵，常常使中等收入的居民小区乃至许多的中小企业或单位都难以承担。本课 题即来源于本实验室与广州市宏视电子科技有限责任公司的智能人物越界检测 合作项目，目的是为中等收入的居民小区，单位，企业等提供廉价可靠的人物越界 检测系统。 本文采用背景差即首先建立背景模型，然后用当前帧减去背景图像的方法实 现运动检测。在利用连通区域检测得到图像中的运动区域之后，采用跟踪与分类 交互工作的方法达到人物检测的目的。跟踪我们使用的是均值漂移( m e a ns h i f t ) 算法，分类使用的是方向梯度直方图( h i s t o g r a mo f o r i e n t e dg r a d i e n t ) 加支持向 量机( s u p p o r tv e c t o rm a c h i n e ) 的方法。这两种方法被认为是当前人物跟踪和分 类方面最好的方法。 在系统设计与构建过程中，我们通过实验分析了i n t e l 的开源计算机视觉库 o p e n c v 的两种背景建模方法：混合高斯背景建模和基于贝叶斯理论的背景建 模。实验结果表明，当场景中的像素值在时间轴上不服从高斯分布时，混合高斯 模型的建模效果会很差，而基于贝叶斯理论的背景建模常常将运动较为缓慢的物 体加入到背景中，造成漏检。 本文在对物体的运动和由于光照变化引起的运动进行相关的统计后发现，对 于光照变化所引起的运动要慢于多数物体的运动。依据这一统计结果，本文从聚 类模型中引申出较好应对光照变化的背景模型，而这种模型不要求场景中的像素 值在时间轴上要服从高斯分布。实验表明，在各类不同场景下，我们的建模方法 比o p e n c v 中的两种方法具有更好的适应能力。对于场景中的光照变化，树叶 剧烈摆动等问题，本文中的建模方法也有较好的处理结果。 系统的开发设计严格遵照软件工程设计规范，从需求分析、概要设计、详细 设计、实现和测试几个方面对人物越界检测系统进行了详细的介绍。首先采用数 据流图分析了系统中数据的流动情况：然后采用结构化的设计方法描述了系统的 总体设计和模块接口，并对主要模块采用程序流程图进行了详细设计：最后我们 对系统进行用例测试，并展示了系统的主要输入输出界面以及实际应用效果。实 验结果表明，本系统在普通条件下具有很好的人物越界检测能力；在光照变化强 烈、阴雨等恶劣天气情况下，系统仍能达到较好的人物越界检测预警效果。 关键字人物越界检测，背景建模，h o g ，s v m l l 基十快速背景建模和s v m 的人物越界检测系统设计与实现 a b s t r a ( 丁 t i t l e ： m a j o r ： n a m e ： s u p e r v i s o r ： p e o p l ec r o s s b o r d e rd e t e c t i o ns y s t e md e s i g na n di m p l e m e n t a t i o nb a s e do n r a p i db a c k g r o u n dm o d e l i n ga n ds v m c o m p u t e ra p p l i c a t i o nt e c h n o l o g y l u x i ng a o p r o f e s s o rh o n g y a n gc h a o a b s t r a c t p e o p l ec r o s s b o r d e rd e t e c t i o ni nv i d e os u r v e i l l a n c ei si m p o r t a n tt ot h es e c u r i t yo f u r b a nh o u s e s ，m a r k e t s ，f a c t o r i e s ，a n ds oo n i tn o to n l yh e l p st or e d u c et h ec o s t ，b u t a l s op r o v i d e2 4 一h o u r sr e a lt i m ee a r l y w a r n i n g n o w a d a y s ，m o s to ft h ep r o d u c t so f s m a r ts u r v e i l l a n c ea r et o oe x p e n s i v ef o rm a n ym i n o re n t e r p r i s e st oa f f o r d s ow e c o r p o r a t ew i t ht h em a c r o - v i d e ot e c h n o l o g i e sc o ，l t da n dd e v e l o pas m a r tp e o p l e c r o s s b o r d e rd e t e c t i o ns y s t e m t h ep u r p o s eo ft h i ss y s t e mi sp r o v i d i n gac h e a pa n d r e l i a b l ep e o p l ec r o s s b o r d e rd e t e c t i o ns y s t e mf o rd i g i t a lh o u s e s ，d i s t r i c t s ，f a c t o r i e s ， a n ds oo n i nt h i sp a p e r , w ea c h i e v em o t i o nd e t e c t i o nu s i n gb a c k g r o u n ds u b t r a c t i o nm e t h o d ， i nw h i c hw ef i r s tc o n s t r u c tt h eb a c k g r o u n dm o d e l ，a n dt h e ns u b t r a c tt h eb a c k g r o u n d i m a g ef r o mc u r r e n tf r a m e o n c ew eg e tt h em o t i o na r e a ，m o t i o nt r a c k i n gc a nb e a c h i e v e db ym e a ns h i f t h o gd e s c r i p t o r sa n ds v mm e t h o da r et h e nu s e dt oa c c o m p l i s hm o t i o nc l a s s i f i c a t i o n b yt h ec o m b i n a t i o no fm o t i o nt r a c k i n ga n dc l a s s i f i c a t i o n s a t i s f i e st h er e q u i r e m e n t so f p e o p l ec r o s s b o r d e rd e t e c t i o ni nv i d e os u r v e i l l a n c e t h ep e o p l ec r o s s b o r d e rd e t e c t i o ns y s t e m sd e v e l o p m e n tf o l l o w st h ed e s i g nr u l e o fs o f t w a r ee n g i n e e r i n gs t r i c t l y f i r s t , t h ed a t af l o wd i a g r a mi si n t r o d u c e dt oi n d i c a r et h ed a t af l o wi nt h es y s t e mm o d u l e s t h e n ，w ea d o p ts t r u c t u r e dm e t h o dt od e - s c r i b et h es y s t e m sh i g h - l e v e ld e s i g na n di n t e r f a c e so fs y s t e mm o d u l e s a f t e rt h a t ， w ed e t a i ld e s i g nm a i nm o d u l e su s i n gp r o g r a mf l o wc h a t a tl a s t , w et e s tt h es y s t e m a n ds h o wt h em a j o ri n p u t o u t p u ti n t e r f a c e s t h er e s u l to fo u rt e s ts h o w st h a to u r i i i 基于快速背景建模和s v m 的人物越界检测系统设计与实现 目录 s y s t e mc a nw o r kw e l lu n d e rn o r m a lc o n d i t i o n ，e v e nu n d e rs o m eb a dc o n d i t i o ns u c h a sr a p i di l l u m i n a t i o n ，n i g h t ，r a i n i n g ，t h es y s t e mc a ns t i l lr e a c h e st h eg o a lo fe a r l y w a r n i n g k e y w o r d s ：p e o p l ec r o s s - b o r d e rd e t e c t i o n ，b a c k g r o u n dm o d e l i n g ，h o g , s v m i v 论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得 的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写 过的作品成果。对本文的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者张南骖 e t i 蓼i ：lo 年o 只d 占e t 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学校有权保留学位论文并 向国家主管部门或其指定机构送交论文的电子版和纸质版，有权将学位论文用于非赢利目的 的少量复制并允许论文进入学校图书馆、院系资科室被查阅，有权将学位论文的内容编入有 关数据库进行检索，可以采用复印、缩印或其他方法保存学位论文。 学位论文作糍：高鹱 新躲翻川缈 日期：o l o 年b6 月 。了e te t 期：w 。年帕月o 日 基于快速背景建模和s v m 的人物越界检测系统设计与实现 第1 章绪论 第1 章绪论 本章结合视频监控中人物越界检测的一些背景资料，首先阐述本课题的研究 背景，说明为什么要开发本系统。然后介绍了当前国内外研究现状，由此引出本 课题的研究内容及其意义。最后，概要的给出了各章的组织结构。 1 1 课题研究背景 随着社会经济的发展，流动人口的增多，安保问题成为备受政府，企业，社 会关注的问题。人物的入侵检测问题，对于小区安保，企业重点监管区域，库房 管理等具有非常重要的意义。 本世纪以来，视频监控系统无论在功能上，还是在性能上都得到了极大的提 高，而且产品造价也越来越低廉，已经逐渐走进寻常百姓的生活中。在银行、商 场和住宅小区，我们随处可见安装在墙壁上、电梯里、走廊中的摄像头。自2 0 0 4 年公安部在全国范围内确定了2 2 个城市作为首批科技强警示范城市，至2 0 0 8 年科技强警示范城市达到1 8 0 个。“平安城市”的建设促进了视频监控市场的迅 速增长，新增的报警监控设施规模不断扩大，数量超过了前十几年的总和。截至 2 0 0 8 年，全国约有2 0 0 万个监控摄像机用于城市监控与报警系统。建立起了1 0 0 多万个各类风险等级的安防系统，每年新建和改建的各类安防系统超过了2 0 万 个。全国现拥有2 0 0 0 多家报警运营服务企业，入网总用户已达1 0 0 多万户【1 】。 如此之多的监控装置，导致监控人员无法全天候关注每一个监控区域正在进 行的事态发展。这主要是因为：由于人自身的生理上的弱点，人不是一个可以 完全信赖的观察者，特别是夜间，人容易磕睡，常常造成异常事件的漏检。随 着终端摄像头的不断增加，很多的监控系统不可能为每一个监控摄像头配置显示 器，这就造成在同一时刻，并非所有的摄像头画面都在监控人员的视野之内。 此外，在事后分析报警事件时，监控人员只能通过打开视频文件逐一进行查 看，提取需要的信息。监控系统缺乏对视频的有效标注，视频与事件之间未建立 描述关系，视频数据无法被有效地快速检索。 解决传统视频监控系统种种问题的一个有效方法是对监控视频进行智能分 基于快速背景建模和s v m 的人物越界检测系统设计与实现 第1 章绪论 析，在语义层上将事件与视频内容相关联。在监控场景中出现可疑事件( 如闯入 禁区等) 时，系统能够及时将视频内容与事件相匹配，实现实时报警及自动标注 功能，便于用户对异常事件的及时处理和事后通过某些标注信息( 如越界告警事 件、警戒区域告警事件等) 对视频进行有效检索。 从技术需求角度，智能视频分析监控源自计算机视觉技术。计算机视觉技术 是人工智能研究的分支之一，它能够在图像及图像描述之间建立映射关系，从而 使计算机能够通过数字图像处理和分析来理解视频画面中的内容。而视频监控中 所提到的智能视频技术的核心功能是：自动的分析和抽取视频源中的关键信息。 因此，视频图像分析技术的蓬勃发展为智能视频监控打好了技术基础。 本世纪以来，随着视频图像分析技术的发展，作为智能视频监控的子问题一 人物的入侵检测问题也涌现出越来越好的解决方案。但由于人物检测本身特有的 复杂性，使得检测的速度和准确度方面仍面临很大的挑战。这主要是因为：第一， 场景的复杂性。监控场景中的光照变化，树枝、树叶摆动，水波等背景运动的干 扰有可能造成虚警。第二，人物形状的复杂性。人物外形轮廓变化复杂，人物运 动的多变性，如行走、奔跑、双人并行、多人聚集、骑自行车等，以及背景的遮 挡，人物之间的相互遮挡等因素也给检测的准确度造成很大的困难。 1 2 国内外研究现状分析 视频监控系统2 0 多年来已经经历了三代发展过程，如图1 - 1 所示：第一代模 拟视频监控系统( v c r ) ，以模拟信号闭路电视系统为技术特征，在其工程实施中 需要大量的连接电缆以及视频矩阵切换等辅助设备；第二代数字视频监控系统 ( d v r n v r ) ，以数字视频压缩和网络传输为技术特征，使用多媒体编码技术将监 控图像进行压缩，利用网络技术将压缩视频数据传输至监控中心为其基本形态； 第三代智能视频监控技术( i v s ) ，将智能视频分析技术应用到传统的数字视频监 控系统中，试图解决因安保人员长期监视屏幕预防突发事件所带来的一系列局限 性 1 。 2 摹于快速背景建模和s v m 的人物越界检测系统设计与实现 第l 章绪论 模拟信号 数 字 信 号 网 络 化 至2 0 世纪9 0 年代初 始于2 0 世纪9 0 年代中期 始于2 0 世纪9 0 年代末期 图1 - 1 视频监控系统发展( 来源于 1 ) 近十几年来，智能视频监控即基于视频内容的自动监控分析技术呈现出蓬勃 发展的趋势。国外的一些研究所或机构在这方面进行了研究工作，像卡耐基梅隆 大学( c m u ) ，麻省理工学院( m i t ) ，奥地利o r a z 理工大学的嵌入式智能摄像 机研究组【2 】，i b m 的s 3 ( s m a r ts u r v e i l l a n c es y s t e m ) 项目组【3 ，4 】，i n t e l 的i r i s n e t ( i n t e m e t s c a l e ，r e s o u r c e i n t e n s i v es e n s o rn e t w o r ks e r v i c e s ) 项目组f 5 】，美国国 防高级研究项目署( f d a r r ) 设立的视觉监控重大项目v s a m ( v i s u a ls u r v e i l l a n c e a n dm o n i t o r i n g ) 6 等。欧美国家如美国的v i d i e n t 、v e r i n t 、o b j e c t v i d e o ，以色列 的m a t e 、i o i m a g e ，日本的n i c e 等形成了相对成熟的产品并成功应用于安防工 程系统【7 】。从全球角度来看，目前大部分智能视频监控系统的核心算法技术仍 掌握在美国及欧洲等国家，在国际市场上占据很大优势。总的来看，经过长期的 发展和积累，在政府和军队的支持下，国外的智能视频应用市场正在从“概念验 证”阶段向“规模应用”阶段转化，智能视频已经慢慢开始形成一个产业。 为了促进我国视觉监控的研究和发展，中国科学院自动化研究所的模式识别 国家重点实验室在2 0 0 2 年成功举办了“第一届全国智能视觉监控会议 。2 0 0 3 年底还将举办第二届全国智能视觉监控会议。自动化学报在2 0 0 3 年5 月出版 了一期动态场景的视觉监控专刊。全国许多大学和科研结构也都竞相展开对视觉 监控的研究 8 。中科院自动化所，清华大学电子工程系和自动化系等处于研究 基于快速背景建模和s v m 的人物越界检测系统设计与实现 第l 章绪论 的前列。一批安防等级要求高、有报警需求的领域正逐步使用智能视频监控，包 括铁路、智能交通、机场、军队应用等。青藏铁路是国内第一条全线进行智能视 频监控的高原铁路。采用世界最先进的视频监控及智能行为分析技术，可随时观 察和掌握千里之外的铁路沿线情况 7 】。 人物检测是智能视频监控的一个子问题，当前国际上在这方面的研究也在逐 步深入1 0 1 8 ，人物检测的准确度及效率都有了很大提高。同时，为了测试系统 性能所引入的人物数据库也越来越大，越来越复杂【9 1 3 】。国内的中科院自动化 所也在人物检测方面也做了相关的研究【1 4 】，并建立了人物的步态数据库【1 5 】。 智能视频监控系统的巨大应用需求推动和加速了智能视频监控技术的相关 研究 1 。其研究广度、深度得到了不断地扩展和加强，所需要解决的问题和难 点也越来越多。目前主要的趋势和方向是研究更快速更精确的底层智能视觉分析 算法、设计更高效的智能视频摄像机系统以及研究更有效的视频存储和检索方 法。比较国内外智能视频监控方面的研究及应用情况，我们发现国内当前的研究 及应用远远落后于国际水平，但同时又呈现出奋起直追的态势。 1 3 本课题的主要工作及成果 本课题的主要工作分为两个部分：第一，基于聚类思想，本文提出了一种新的 背景建模方法，相比较o p e n c v 现有的开源算法，本方法对场景的限制更少，更 具有通用性。在处理光照方面，本方法具有更快的反应能力，在一定程度上减少 了由于光照造成的漏检。第二，基于当前安防需求及市场推动，从工程角度，设 计与实现了一套人物越界检测原型系统。系统将实现监控视频中人物运动检测的 自动化，完成从软件界面设计到监控录像人物检测分析的全过程，实现监控视频 中自动的人物越界检测报警功能。 本文工作的意义总结为两个方面：第一，社会经济的进步使得视频监控市场 向更加智能化发展，而相对于国际及国内公司对于智能视频监控技术的垄断，高 额的价格使得中等收入的居民小区乃至许多的中小企业或单位难以承担。本文的 研究目的就是要为之提供廉价可靠的智能人物越界检测系统。第二，基于当前视 频监控市场的兴起，本课题所服务的宏视电子科技公司未来将在这一方面做更多 的研究。因此，本课题搭建的视频监控服务平台及良好的二次开发接口，将便于 4 基于快速背景建模和s v m 的人物越界检测系统设计与实现 第1 章绪论 其后续研发工作的快速进行，这也是本文工作的一个重要意义所在。 本课题所开发的原型系统已经得到宏视电子公司的关注，并提供实时录像视 频供我们测试。通过公司实际场景测试我们发现：系统达到一定的实时人物检测 效果。在人物进入监控场景，到离开场景前能够被有效检测到并向用户报警，基 本达到了实际场景中的用户需求，一些不完善的地方将在后续工作中继续进行改 进。 1 4 论文组织安排 本文阐述了视频监控中人物越界检测的主要技术和实现过程，总结了人物越 界检测系统的优点和不足，并提出后期开发所继续的工作。全文安排如下： 第1 章，绪论：首先简述了本课题研究的社会背景，接着分析了目前国际上 在此课题上的研究现状，然后总结了本课题的研究内容和意义，由此指出本课题 研究的必要性，说明为什么需要开发自己的人物越界检测监控系统。在本章的最 后，扼要的介绍了本文的主要内容和组织安排。 第2 章，人物越界检测的相关理论与技术：分析了本课题目前的相关技术发 展，如背景建模，运动跟踪以及人物检测( 运动分类) 。并扼要分析其优缺点， 为论文所构建的系统提供相对可靠的相关技术。 第3 章，人物越界检测的需求分析：本章将提取出视频监控中人物越界检测 的功能性需求和性能需求，采用数据流图捕捉用户需求。 第4 章，人物越界检测的概要设计：根据第三章的功能需求，设计软件架构， 详细设计软件流程和模块划分。 第5 章，人物越界检测的详细设计：详细介绍系统核心算法的类结构图、阐 述各类内的主要函数及其功能。采用程序流程图或伪码方式描述主要算法。 第6 章，系统实现及测试分析：首先介绍系统所使用的开发工具、运行环境 和开发包，然后展示系统的测试结果并分析系统检测的准确度和速度，最后对系 统的检测效果进行了评价。 第7 章，总结和展望：总结了本文的主要工作，系统的优缺点并展望系统下 一步将要进行的工作。 基于快速背景建模和s v m 的人物越界检测系统设计与实现第2 章人物越界检测的相关理论与技术 第2 章人物越界检测的相关理论与技术 在以往的文献资料中，对人物检测的理论研究多是在图片中进行。但应用在 图片中的人物检测方法也可以扩展到视频中，这主要是因为监控视频是由一帧帧 的图像组成，应用于图像方面的技术也自然能够成功的解决视频中的问题。同时， 由于监控视频的一个很大特点是视频中连续两帧之间的相关性，这一相关性使得 我们在采用图像中的处理技术时可以先做某种预处理工作，使得后期能够更有效 的采用图像处理技术来解决我们的问题。本课题的目的是构建一个原型系统，这 个系统要能够找出监控视频中运动的人。因此，如果我们能先去除掉监控画面中 静止的背景，然后对前景图像进行分析，判断是不是人，这样的检测时间就会大 大的缩短。 在得到物体的运动区域后，我们将对物体进行跟踪，目的有三个方面：其一， 通过跟踪可以去除掉很多由于噪声引起的干扰；其二，通过对跟踪后的运动轨迹 进行分析，可以知道物体的某些行为，如是否越界，是否进入了警戒区域等。其 三，由于对物体进行跟踪的复杂度要小于对物体进行分类的复杂度，对于识别出 来的人和非人，我们继续进行跟踪，对是人的运动物体打上“人”的标记，只要 跟踪不失败，就不需要再对它进行分类。 基于上面的分析，我们先对监控视频进行背景建模，然后用当前帧图像减去 背景图像，得到运动的前景，然后对前景进行交互的跟踪和分类，直至物体离开 监控区域止。典型任务流程如图2 - i 所示： 6 摹于快建背景建模和s v m 曲八物越界检测系统* 实现第2 章 物越界幢测的柏美论拄术 瀚 初始化模型，更新 轨迹生成 l 1 j 妊捌b 图2 - 1 人物越界检测系统处理流程 目标分类 人人非人 雪盈l 由上面的分析，我们将分三个部分来介绍视频监控中的人物越界检测技术。 第一部分是智能视频监控中的背景建模技术：第二部分是对人物进行运动跟踪的 技术：第三部分是对人物进行运动检测的相关技术。 21 视频监控中的背景建模技术 背景建模是进行视频监控中人物越界检测的第一步也是非常重要的一个步 骤。背景模型的好坏直接影响到后续工作的开展。由于视频监控中的场景。特别 是室外场景的复杂性，如光照的变化，阴雨天气，风吹叶动等外界随机因素的影 响，使得在实际应用中构造一个好的背景模型仍具有一定的难度。本系统比较了 三种建模方法，分别是混合高斯背景模型，基于贝叶斯分类的背景建模方法和本 ；剧啊麓运j i 基于快速背景建模和s v m 的人物越界检测系统设计与实现第2 章人物越界检测的相关理论与技术 文所采用的建模方式。其中的混合高斯背景建模和基于贝叶斯分类的建模方式在 i n t e l 开源计算机视觉库中已经有算法实现。通过实验比较我们发现，如果场景 中的背景像素值在时间轴上不服从高斯分布，则经典的混合高斯背景建模的效果 很差；而基于贝叶斯理论建立起的背景模型在物体运动速度缓慢的情况下常常将 运动物体所在的像素区域更新到背景中去，造成大量漏检现象。本文在对物体的 运动和由于光照变化引起的运动进行相关的统计后发现，对于光照变化所引起的 运动要慢于多数物体的运动。依据这一统计结果，本文从聚类模型中引申出较好 的应对光照变化的背景模型，这种模型不要求场景中的像素值在时间轴上要服从 高斯分布，从而对场景的限制更少。下面我们将简单的介绍单高斯背景建模，混 合高斯背景建模和基于贝叶斯理论的背景建模，这三种背景建模的原理，然后阐 述本文提出来的基于聚类思想的快速动态背景建模技术。 2 1 1 单高斯背景模型 单高斯背景模型基于这样的假设( 这一假设也是很贴近实际场景的) ：视频 流中各个像素点的灰度值相互独立，并且在时间轴上像素值服从高斯分布。通过 统计每一个像素点在连续n 帧内的像素值分布，计算均值和方差，为每一个像素 点建立单高斯背景分布模型 1 6 。单高斯背景模型的一个应用例子就是由w r e n 等人开发的p f i n d e r 系统，实现了室内环境下对单人的跟踪。下面将简述单高斯 背景模型的基本原理： 首先，初始化背景图像：计算一段时间内视频序列图像f ( x ，y ) 中每一像素 点的平均灰度值鳓和方差西，由心和爵组成具有高斯分布的初始背景图像玩， 如公式( 2 - 1 ) 所示。 岛= 【鳓，爵】 公式( 2 1 ) 其中： 公式( 2 - 2 ) 公式( 2 - 3 ) 鳓 吣 嗍 万 力 n d 瑚 ” 爪 | i 、， ) ，-一i 疹 n 泛 剐 ，一r 、 = 小 炉 基于快速背景建模和s v m 的人物越界检测系统设计与实现第2 章人物越界检测的相关理论与技术 这里7 表示时间，( x , y ) 表示像素点。 然后，更新背景图像： 尽( x ，y ) = ( 1 一p ) 牛e 一。( x ，y ) + p z ，y ) 公式( 2 4 ) 其中e ( x ，y ) 表示f 时刻的实时图像，e 一。( x ，j ，) 表示第f l 时刻的背景图像， 背景更新率p 是一个常数( 本文实验中设置为0 0 0 1 ) ，反映出背景对于场景变 化时的响应速度。 对于室内场景条件下，上述算法在一定程度上能够满足实际需求，但当场景 中物体由运动变成静止或者由静止开始运动时，算法不能及时的更新背景模型， 造成漏检或误判。同时，对于室外复杂场景条件下，单高斯模型无法处理有风吹 叶动，水面波纹等运动区域的背景实时更新问题。这是因为在这样的区域下的像 素点，像素值呈现出非单峰分布的特点。由此问题，也引申出了混合高斯模型。 混合高斯模型借鉴单高斯模型的思想，假设场景中的像素值在时间轴上的分布呈 现出多个相互独立的高斯模型，利用多个单高斯模型来模拟场景中像素值的变化 情况。 2 1 2 混合高斯背景模型 混合高斯模型的原型多高斯模型，多高斯模型最初由f r i e d m a n 与r u s s e l l 1 7 】 提出。他们将动态的环境看作是离散过程，且均服从高斯分布。在文中研究的交 通场景下，作者将所有的像素分为三类( 路面、车辆和阴影) 。通过记录一个像 素点( 1 6 0 ，1 7 0 ) 在历时1 0 0 0 帧的时间内的灰度值分布，作者发现此像素点在 1 0 0 0 帧内的灰度值分布可以用3 个单高斯模型进行拟合。如图2 2 所示： 9 罄f 快速背景建模和s v m 的 物越畀检测矗境设计实现 第2 章 物越界检测的相关g 论技术 图2 - 2 场景中像素值的多高斯模型模拟( 来源于【1 7 ) 在上图中，像素值最暗的一个分量是阴影部分，剩下的两个中方差较大的一 个是车辆，另一个是路面。但s t a f f e r 和g r i m s o n 1 8 1 9 发现，简单的把图像 中的所有像素点孤立的分成三个单高斯模型是不够的，如图2 3 ： c 1 f 1 1 图2 3 ( a ) 原始图像，( b ) f r i e d m a n 提出的算法中阴影的像素部分，( c ) 将认为是阴影的像素用相应的路面像素代替后的图像，( d ) f r i e d m a n 提出的算 法中最终认为车辆的像素( 来源于 1 9 ) 从图2 3 中可以看到，车辆中较黑的像素点也被当作了阴影处理，因此用这 种方法描述像素是不够的。在文献1 1 8 ，1 9 1 中，s t a f f e r 和g - l 缸l s o l l 提出了用混合高 斯模型来进行建模。由于混合高斯模型要对每一个像素都建立起多高斯模型，计 算时间太，存储的参数多。另外，虽然混合高斯模型在处理光照变化和树枝摆动 的时候，比单高斯模型要好一些，但也不能很好的解决这一问题。 在文献 2 0 1 中，k a e w t r a k u l p o n g 提到了混合高斯模型的两个问题：第一 当摄像头启动时如果背景中含有较多的运动物体时背景更新较慢，需要较长时 间才能得到真实的背景图像。第二如果混合高斯分布的参数p 值太小，会使得 基于快速背景建摸和s v m 的人物越界检测系统设计与实现第2 章人物越界检测的相关理论与技术 在后续的跟踪中导致失败。 高斯模型是研究中较长使用的一种方法，在室内场景或者室外背景不太复杂 的情况下，高斯模型具有很好的建模效果。但其在处理突然变化的光照，如室外 阳光的快速变化，或者室内灯光的突然打开、关闭，高斯模型常常不能达到尽快 的反应。对此，l i y u a nl i ，w e i m i nh u a n g 2 1 提出了一种基于贝叶斯理论的背景 建模方法。 2 1 3 基于贝叶斯理论的背景建模 在文献 2 1 q b ，l i y u a nl i ，w e i m i nh u a n g 首先对所要解决的问题进行了精确 的说明：他们将背景定义为没有生命的物体，这类背景包括静态的背景和动态的 背景。静态的背景诸如室内的墙壁，家具，门窗等：或者是室外的建筑物，植被， 地面等；动态的背景包括树枝，喷泉，水纹，电梯等。另外，场景中常常出现两 类变化，一类是由于阳光引起的缓慢变化，一种是由于室内灯光的开关引起的快 速变化。他们认为，在一个复杂的环境中，背景中不同的部分应当采用不同的特 征表示。在他们的文中，提出来了一种整合了多类特征的贝叶斯框架，以用于前 景和背景的分类。 分类原则： 假设v 表示时刻，在一副图像中的像素点s = ( x ，y ) 的特征向量值，基于贝 叶斯决策原则，在背景b 或者前景厂下v 的后验概率如下： p ( civ ，s ) = ! 堑上铲，c = 6 。r 厂 公式( 2 5 ) 根据贝叶斯决策原则，如果特征向量满足下式，那么像素点s 将被判为背景，否 则判为前景。 p ( bv ，j ) p ( f lv f ，s ) 公式( 2 6 ) 注意到像素点s 所对应的特征向量或者属于背景，或者属于前景。由全概率公式 得到： 尸( 一i8 ) = 尸( _ 1 6 ，s ) 宰p ( b ij ) + 尸( _ i f ，s ) 枣p ( f i s ) 公式( 2 7 ) 将公式( 2 - 5 ) 和公式( 2 - 7 ) 带入公式( 2 6 ) ，得到： 基于快速背景建模和s v m 的人物越界检测系统设计与实现 第2 章人物越界检测的相关理论与技术 2 p ( v , 1 6 ，s ) p ( b l s ) 尸( v ，is ) 公式( 2 8 ) 这表明，通过学习先验概率e ( b is ) ，p ( vl s ) 和条件概率尸( v1 6 ，s ) ，我们就能将 一个像素点的特征值v 分为前景或者背景。 算法描述： 基于贝叶斯决策理论，包含复杂背景的实时监控视频中前景和背景的分类算 法描述如下： 第一步，变化检测：图像流中静止不动的像素点用简单的时间差分背景模型 去除。根据帧间差分的结果，图像中的像素点被分到静止背景和运动区域上。 第二步，变化分类：被分到静止和运动区域的像素点依据由贝叶斯决策原则 学习出来的颜色统计模型被进一步的处理。 第三步，前景物体分割：通过联合静态区域和运动部分的分类结果分割出前 景物体。 第四步，更新背景模型。 算法框图如图2 4 所示： 图2 4 基于贝叶斯理论背景建模的算法框图( 3 涨- t 1 2 1 ) 1 2 垂球， 基于快速背景建模和s v m 的人物越界检测系统设计与实现第2 章人物越界检测的相关理论与技术 框图中从左到右的白色框图部分是算法的前三步，灰色部分是第四步背景模 型更新部分。 l i y u a nl i 等人提出的这中算法对于场景中快速变化的运动物体的检测效果 非常好，能够很好的去除背景中很多的树叶摆动等其他噪声的影响，对于光照的 变化也不明显，能够得到一副非常“干净”的前景图像。但是，我们通过实现发 现，在处理运动较为缓慢的物体运动时，很多的物体被加入到了背景中去，造成 漏检。 针对混合高斯背景模型和贝叶斯分类模型的缺点，我们提出了一种基于聚类 思想的建模方法。通过实际场景测试，我们发现，这种建模方法比较前面两种建 模方法对场景的限制更少，从而更具有通用性。 2 1 4 本文提出的背景建模方式 在文献 2 2 中，q l i ，d 提出一种基于聚类思想的背景建模方法。这种建模 方法认为在实际的场景中，像素值的分布并不是都符合高斯分布的某种形式，因 而高斯分布不能完全的表征实际场景中像素值的变动情况。而用聚类的思想则不 用考虑实际的像素值是不是符合高斯形式，从而可以描述更一般的场景像素值分 布情况。算法描述如下：当像素值与聚类某个子类的中心值较接近的时候就认为 该像素属于这个子类，在经过一段时间之后，出现频率较大的几个子类被认为是 背景像素值，而出现频数较小的子类被认为是运动目标或者是噪声。 这种聚类思想的可取之处在于它抛开了高斯模型繁杂的计算过程，直观的反 映出实际像素值的变化模型，在一定程度上，比如说室内场景或者室外比较简单 的场景下，建模效果是比较好的。但是，当涉及到快速的光照变化，树叶摆动， 阴影的影响时，这种方法常常很难较快的做出反应，及时的更新背景。究其原因， 在于文章中像素值的更新机制上： m ， ，= ( 1 一口) m ，乒j l + a x f ， 公式( 2 9 ) 这里，m ，肚，表示第七个聚类在时刻，的子类中心值，五表示f 时刻时的当前像 素值，口表示更新率。通过实验分析我们看到，对于场景中的每一个像素值都采 用这样的更新机制是不够的。因为当有强烈的光照变化时，由于m ，i 。，值未能及 基于快速背景建模和s v m 的人物越界检测系统设计与实现第2 章人物越界检测的十目关理论与技术 时更新到当前的变化后的像素值，使得场景中大面积的光照变化区域被检测成前 景。 同样的，基于聚类的思想，我们设计了一套自己的背景更新方法。这种方法 的直观思想是“光照所引起的变化的速度总比不上物体运动的速度”。这一思想 也通过实验得到了证实。 我们的算法的优点可以归结如下： 1 ) 算法可以自动的识别快速变化的光照，在几帧时间内尽快的将背景更新 到光照变化后的像素值，而对于运动的物体影响很小。 2 ) 对于树叶的摆动，水波等，算法也有较好的更新策略，使得系统可以滤 掉轻微的摆动，而对于大幅度的摆动则能够减小运动区域的面积。 上述两点系统是通过以下两点实现的： 1 ) 快速背景更新机制，当某像素点的像素值在几帧内保持不变时，像素值 迅速更新到当前稳定的像素值。 2 ) 动态阈值。我们对每一个像素值都设定了一个阈值。对于当前像素值和 子类中心点之间的阈值计算，我们也有随着场景中的不同区域，不同时间时，阂 值动态调整的策略。 通过实验，我们发现：在处理光照变化时，本文方法虽然不如l i y u a nl i 2 1 】 处理的“干净”，但我们的方法能够尽可能准确的检测出实际的物体区域，不至 于造成大量的漏检。 具体的算法我们将在5 2 节“运动检测模块详细设计”中的子模块“背景建 模”中详细阐述。 2 2 人物跟踪技术 人物跟踪技术是指对视频中的人物目标进行检测、提取、识别和跟踪，获得 人物的某些运动参数：位置，速度，方向，加速度以及运动轨迹等信息，从而进 行进一步的处理与分析，以便于完成更高一级的任务。如在本文中，我们提取出 物体的运动位置以及轨迹信息，借此判断物体是否进入了警戒区域，或者越过了 警戒线。在文献 1 q h ，作者对视频中的跟踪算法做了比较详细的概括，将当前 1 4 基于快速背景建模和s v m 的人物越界检测系统设计与实现 第2 章人物越界检测的相关理论与技术 跟踪算法分为四类：包括基于区域的跟踪，基于模型的跟踪，基于活动轮廓的跟 踪和基于特征的跟踪。其中基于特征的跟踪方法主要通过目标区域的全局特征 ( 比如面积、周长等) 或局部特征( 比如点、线特征等) 进行跟踪，该方法能处理部 分遮挡下的跟踪问题。近年来广泛应用在非刚性物体的跟踪上的均值漂移算法也 是基于特征跟踪的一个例子。 均值漂移( m e a ns h i f t ) 这个概念最早是由f u k u n a g a 等人【2 3 】于1 9 7 5 年在一 篇关于概率密度梯度函数的估计中提出来的。2 0 0 0 年，c o m a n i c i u 等人在 2 4 q b 使用m e a ns h i f t 算法对非刚体运动物体如人体进行实时的跟踪，达到了较好的效 果。实验表明，m e a ns h i f t 算法对于部分遮挡，背景扰乱，旋转以及相机位置的 移动具有较好的鲁棒性。2 0 0 2 年，c o m a n i c i u 等人【2 5 】把m e a ns h i f t 运用在了特 征空间的分析中，在图像平滑和图像分割中得到了很好的应用。2 0 0 3 年， c o l l i n s 2 6 禾1 用m e a ns h i f t 实现了对场景中物体大小随时间变化较大的目标的实 时跟踪。m e a ns h i f t 应用在跟踪方面的主要算法过程可表述如下： 首先对目标模型进行描述，即在初始帧的目标区域中计算目标特征空间中每 个特征值的概率，接着在以后的每帧图像中可能存在目标的候选区域计算特征空 间中每个特征值的概率，称为对候选模型的描述，然后用相似性函数去度量两个 模型的相似性，求相似性函数的最大值得到关于目标的m e a ns h i f t 向量，这个向 量就是目标从初始位置到正确位置转移的向量。该算法是收敛的，所以不断迭代 计算后的目标会收敛到一个静止点，即它的真实位置，这样就可以达到跟踪的目 的【2 4 】。 近几年，对m e a ns h i f t 算法的研究及应用成为一个新的热点 2 7 3 1 】。基于以 往m e a ns h i f t 算法对人体较好的跟踪效果，本文中我们也采用了m e a ns h i f t 跟踪 算法来完成对人体的实时跟踪。 2 3 人物检测的相关技术 2 3 1 人物检测技术概述 人物越界检测技术的研究具有很长的历史 3 2 ，3 3 ，c o n s t a n t i n ep a p a g e o r g i o u 通过分析在局部小区域灰度值的差异检测来运动物体的存在。利用h a a r 小波变 基于快速背景建模和s v m 的人物越界检测系统设计与实现 第2 章人物越界检测的相关理论与技术 换，在一副包含人的6 4 1 2 8 大小的图像中，计算h a a r 小波在大小3 2 x 3 2 和 1 6 1 6 两种不同尺度下，在水平、垂直和对角线方向的小波系数，利用支持向 量机s v m ( 支持向量机) 作为训练分类模型选取2 9 个小波系数作为人的特征。 最后，他们将这一技术应用到实时的驾驶辅助系统中。文献 3 4 中，v i o l a 利用 了运动信息和外观信息来检测行人的存在。文章中，v i o l a 首先定义了自己的矩 形滤波器，再计算相邻两帧由滤波器得到的外观表示图在静止不动、向上、向下、 向左以及向右平移后相减得到的差值图，通过计算熵值得知物体的运动方向。利 用a d a b o o s t 训练由外观特征和运动特征结合的特征集得到一组级联分类器用于 实时的人物越界检测系统，处理速度达到每秒4 帧。在 3 5 ，3 6 中，d a l a l 使用 h o g 描述符来表示外观，使用s v m 训练得到分类器进行人物越界检测。 1 4 中， l u nz h a n g 采用m s - l b p 特征和a d a b o o s t 将监控视频中的运动