（控制理论与控制工程专业论文）监控视频中的人体异常行为检测研究.pdf

浙江人学颂f j 学位论文摘要 摘要 本文以智能监控视频分析为主要研究内容，并以人体异常行为检测为目标， 对智能视频监控系统的研究现状和发展进行了详细的阐述，详细介绍了计算机视 觉和人工智能技术在国内外的研究情况以及在智能视频分析中的应用。接着与对 常用的公共视频数据库以及视频图像去噪技术进行了讨论与分析，为后续的处理 打下了坚实的基础。 然后提出一种改进的基于混合高斯分布的背景模型的前景提取方法，该方法 能够快速初始化混合高斯模型以适应于背景的快速变化，然后根据不同高斯分布 在时间窗1 2 内的发生频率更新相应高斯分布的权值。利用该方法对不同的视频序 列进行了测试，结果证明该方法能够在室内外的不同环境下提取出较为完整的运 动前景。 接下来对已提取出的前景掩码进行了区域标记，并采用l u c a s k a n a d e 方法计 算出运动区域内的光流信息，采用基于幅值的加权方向直方图描述人体行为的激 烈程度，并计算运动区域内的熵来判断行为的异常。不同行为数据库下的测试结 果验证了本方法的有效性。 最后，利用w x w i d g e t s 和o p e n c v 两个开源项目的代码库，搭建了一个的智 能监控视频分析软件平台，把m a t l a b 平台下的部分视频图像处理算法移植到 该平台下，并采用模块化处理，实现了视频的实时分析和处理。 关键词视频分析前景提取区域光流异常检测 浙江人学硕 ：学位论文a b s t r a c t a b s t r a c t t h i sp a p e ri sm a i n l yf o c u s e do nt h er e s e a r c ho fi n t e l l i g e n ts u r v e i l l a n c ev i d e o a n a l y s i sa n da i m e do nd e t e c t i n gh u m a na b n o r m a lb e h a v i o r s f i r s t l y , t h er e s e a r c ha n d d e v e l o p m e n to fi n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e ma sw e l la st h ea p p l i c a t i o n so f c o m p u t e rv i s i o na n da r t i f i c i a li n t e l l i g e n c et e c h n i q u e si nv i d e oa n a l y s i sa th o m ea n d a b r o a da r ei n t r o d u c e di nd e t a i l t h e nt h ea u t h o rh a sd i s c u s s e da n da n a l y z e dw i t ht h e u s u a lp u b l i cv i d e od a t a s e t sa n dt h ed e n o i s i n gt e c h n i q u e sf o rv i d e oa n d i m a g e p r o c e s s i n g ，w h i c hh a sl a i da s o l i df o u n d a t i o nf o rt h en e x ts t e p s e c o n d l ga ni m p r o v e db a c k g r o u n dm o d e lo fm i x t u r eo fg a u s s i a n si sp r o p o s e d t h i sm e t h o df o rf o r e g r o u n de x t r a c t i o ni sa b l et oi n i t i a l i z et h eg a u s s i a nm i x t u r em o d e l q u i c k l ya n da d a p tt or a p i dc h a n g e si nt h eb a c k g r o u n d ，a n dt h e nt h ew e i g h t so fd i f f e r e n t g a u s s i a nm o d e l sa r eu p d a t e db yt h eo c c u r r e df r e q u e n c yw i t h i nt h et i m ew i n d o w e x p e r i m e n t a lr e s u l t so nd i f f e r e n tv i d e os e q u e n c e ss h o wt h a tt h em e t h o di sc a p a b l et o o b t m nm o s to ft h ef o r e g r o u n db o t hi ni n d o o ra n do u t d o o re n v i r o n m e n t s t h i r d l y , t h ef o r e g r o u n dm a s ki sl a b e l e da ss e v e r a lr e g i o n so fi n t e r e s t ，a n dt h e o p t i c a lf l o wf e a t u r e si ne a c hl a b e l e dr e g i o ni sc a l c u l a t e du s i n gt h el u c a s - k a n a d e a l g o r i t h m t h ea u t h o rd e f i n e st h ea m p l i t u d e b a s e dw e i g h t e do r i e n t a t i o nh i s t o g r a mt o m e a s u r et h ea n o m a l yo fh u m a na c t i v i t ya n dt oc o m p u t et h ee n t r o p yo fe a c hl a b e l e d r e g i o nt or e c o g n i z ea b n o r m a le v e n t s t h et e s tr e s u l t su n d e rd i f f e r e n tb e h a v i o r sd a t a s e t d e m o n s t r a t et h ee f f e c t i v e n e s so ft h i sm e t h o d f i n a l l y , a ni n t e l l i g e n ts u r v e i l l a n c ev i d e oa n a l y s i ss o f t w a r ep l a t f o r mi se s t a b l i s h e d u s i n gt h el i b r a r i e so ft w oo p e n - s o u r c ep r o j e c t s ，w x w i d g e t sa n do p e n c v t h e np a n so f t h ei m a g ep r o c e s s i n ga l g o r i t h m si nm a t l a ba r et r a n s p l a n t e dt ot h en e wp l a t f o r ma n d t r e a t e di nm o d u l e s t h en e wp l a t f o r mc a nb eu s e di nr e a l - t i m ev i d e oa n a l y s i sa n d p r o c e s s i n g k e y w o r d s ：v i d e oa n a l y s i s ，f o r e g r o u n de x t r a c t i o n ，r e g i o n b a s e do p t i c a lf l o w , a n o m a l yd e t e c t i o n 浙江人学硕i ：学位论文 图日录 图目录 图1 - 1 智能视频分析技术相关的领域2 图1 - 2 智能监控视频分析系统结构图6 图2 - 1 测试视频数据库1 1 图2 2r g b 色彩空间示意图1 2 图3 - 1 背景剔除法的系统框图1 8 图3 - 2 基于阈值法的前景提取( t = 4 5 人工选取) 2 0 图3 - 3 双峰直方图的阈值选取原理示意图2 0 图3 - 4 基于0 st u 阈值法的前景提取结果分析2 2 图3 - 5 混合高斯分布模型2 4 图3 - 6 中值法初始化背景模型示意图2 5 图3 - 7 像素点在时间上的变化曲线2 6 图3 - 8 前景提取方法比较结果2 8 图4 - 1 运动区域标记3 1 图4 - 2 光流约束方程示意图3 2 图4 - 3 区域光流特征的计算结果3 6 图4 - 4 异常行为的特征描述3 7 图4 - 5c a s i a 数据库行为检测示例4 0 图4 - 6c a v i a r 数据库行为检测示例。4 1 图4 - 7b e h a v e 数据库行为检测示例4 2 图4 - 8 熵的变化曲线及异常检测结果4 4 图5 - 1c o d e ：b i o c k s 环境下w x w i d g e t s 应用程序的开发4 8 图5 - 2 系统平台架构图4 9 图5 - 3 软件平台基本界面5 0 图5 - 4 视频分析结果5 2 v i 浙江人学顾i ：学位论文表h 录 表目录 表2 - 1 常用的监控视频分析数据库 - - 10 表4 - 1 异常检测结果 - - 4 4 v l l 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得逝姿盘堂或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示谢意。 学位论文作者签名：签字同期：年月同 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘鲎有权保留并向国家有关部门或机构 送交本论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝鎏盘鲎可 以将学位论文的全部或部分内容编入有关数据库进行检索和传播，可以采用影 印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：导师签名： 签字日期：年 月同 签字同期： 年月 日 浙江人学硕i ：学位论义致谢 致谢 在毕业论文即将完成之际，首先要向我的导师许力教授致以衷心的谢意和崇 高的敬意。感谢许老师在攻读硕士学位期间对我学习、科研以及生活上的细心指 导和照顾。许老师学识渊博，治学态度严谨、工作扎实勤勉、为人睿智豁达，无 论是做人还是做事方面都将是我学习的榜样。 感谢已毕业的俞声伟师兄、程会文师兄、张蕾师姐和林峰师姐，感谢你们带 着我适应实验室的生活，并在人生规划方面给了我许多启迪。 感谢我的实验室的同门李忠远、叶芳芳、顾宏杰、周武啸、林剑、冯东、竺 鹏东、张惠源、陈文翔，平时和大家在一起的讨论及交流使我受益匪浅，同时在 日常生活中，实验室这个小集体带给我许多的欢乐与温暖。 感谢我的室友胡雄、金得宝和易锋以及同专业的兄弟姐妹们，与你们相识是 我人生一笔宝贵的财富，感谢你们陪我走过这段难忘的美好时光。 感谢在百忙中抽出时间审阅本文并提出宝贵意见的专家和教授。 最后要特别感谢我的父母这二十多年来对我的辛勤培养以及物质上和精神 上的大力支持，在我遭受挫折的时候及时给予鼓励和安慰，感谢你们一直以来给 予我的理解和信任，你们永远是我最坚实的后盾。 杜鉴豪 2 0 1 0 年1 月于求是园 浙江人学顶 ：学位论文l 绪论 1 绪论 1 1 引言 视觉信息是人类从客观世界获取信息的主要来源之一，包含了对客观事物直 观、具体的描述。而计算机视觉i l 】是以处理视觉信息为研究对象的综合性交叉学 科，也是人工智能和模式识别领域的一个重要分支，随着计算机处理能力的大幅 度提高，在近三十年里有了突飞猛进的发展。计算机视觉的研究内容主要是利用 计算机代替人分析和处理视频图像或多维数据，包括各种图片和视频序列等，并 从中提取有用的信息，最终目的是使计算机和人一样具有通过视觉观察世界以及 理解世界的能力。 人体行为分析和理解【2 】【3 】【4 】是计算机视觉领域研究的重点和难点之一，并受到 许多研究学者的广泛关注，其关键任务是从视频中提取出相关的信息，在此基础 上检测出人体及目标区域，采用各种视频图像处理技术提取出能够描述人体各种 行为的特征并对其进行分析，最终实现行为识别，包括姿态识别f 5 1 ，手语识别【引， 表情辨识【7 1 ，交互及群体行为分析1 8 1 等等，它是计算机视觉的高级处理阶段，涉 及到图像处理，模式识别，机器学 - - j 等领域的许多核心课题，有着非常高的理论 和应用价值，特别是在视频监控方面有着广泛的应用需求。 近年来，随着监控设备如摄像头，视频采集卡等的价格逐渐下降，视频监控 系统开始广泛地运用到各种场合，如地铁、银行、宾馆、超市、社区、停车场、 校园等，在社会公共安全领域发挥着越来越重要的作用。但是，目前国内大多数 的视频监控系统还处于传统模式，即“只记录不判断”，因此只能通过事后的视频 回放来调查异常情况及取证，存在着无法实时判断及报警的缺点，并且需要工作 人员不间断地监视场景内的活动，日夜值守，工作量繁重，易受到人体感官疲劳 的影响，从而出现漏检和误检的情况，失去了监控系统进行现场实时监控的意义。 另一方面，随着监控系统规模的不断扩大，视频数据海量增大，从中获取有用的 信息或者情报越来越困难，查找效率低，并且难以满足监控系统的需求。 浙江人学硕i j 学位论义 i 绪论 智能监控视频分析是在不需要人为干预情况下，利用计算机视觉理论和视频 分析的方法对摄像头等监控设备记录的视频序列进行分析，实现对动态场景中目 标的定位、识别和跟踪，并在此基础上分析和判断目标的行为，得出对图像内容 含义的理解以及对客观场景的解释，并从而指导和规划行动。智能视频分析技术 是人工智能、计算机视觉和生物信息学技术在视频分析与监控领域的应用，如图 1 1 所示，包括了视频图像的预处理，运动前景的提取、运动目标分类和行为理 解等方面。因此，将智能视频分析技术应用于视频监控系统，不仅能够大大地增 强监控系统的能力、降低不安全隐患，同时节省人力物力资源，节约投资，蕴藏 着巨大的商机和经济效益。 、 、“。，。，” 图1 1 智能视频分析技术相关的领域 1 2 智能视频监控系统的研究现状与发展 随着多媒体技术的更新、网络通讯技术的发展以及视频压缩编码技术的改 革，新兴的数字视频监控系统已经逐渐代替了传统的模拟视频监控系统，成为视 频监控领域的主流，并朝着智能化的方向飞速发展着，可以说智能化是视频监控 的必然趋势。 智能视频分析与监控是多学科交叉的前沿研究领域，也是当前国际上最被关 注的研究热点。目前，在世界范围内已经开展了大量关于智能视频监控的研究项 目，特别是自2 0 0 1 年9 1 1 恐怖袭击事件以后，世界各国政府已经将智能化视频 监控技术的研究提升到了战略高度，投入了大量资金以推动智能监控技术的发 2 浙江人学硕i j 学位论文l 绪论 展。早在1 9 9 7 年，美国国防高级研究项目署( d a r p a ) 就设立了视觉监控项目 v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) t 9 1 ，主要目标是把自动视频理解技术应 用于实际，并用多种摄像头和传感器建立一个通用的系统用于在杂乱的环境中自 动监控人和车辆，如城市，战场等。而美国的许多大学也相继展开了对智能监控 系统的开发和研究，如美国西北大学( n o r t h w e s t e r nu n i v e r s i t y ) 的i v p l 实验室 1 0 l ( t h ei m a g ea n dv i d e op r o c e s s i n gl a b o r a t o r y ) 从数字视频流中提取出有用的语义 信。电, ( s e m a n t i c s ) 并把它应用到智能和远程监控系统中去；明尼苏达；k ( u n i v e r s i t y o fm i n n e s o t a ) 的a i r v l 实验室l 1 1 1 ( a r t i f i c i a li n t e l l i g e n c e ，r o b o t i c s ，a n dv i s i o n l a b o r a t o r y ) 针对人的行为识别与理解做了相关的研究，包括事件检测，实时跟踪， 行为模式学习等；宾夕法尼亚州立大学( p e n n s y l v a n i as t a t eu n i v e r s i t y ) l 钓l p a c 实 验室【1 2 ( l a b o r a t o r yf o rp e r c e p t i o n ，a c t i o na n dc o g n i t i o n ) 在视频场景理解，目标跟 踪、分割和检测方面做了不少研究；中央佛罗里达大学( u n i v e r s i t yo fc e n t r a l f l o r i d a )计算机视觉实验室1 1 3 1 做了大量关于智能监控的研究，他们开发出的 k n i g h t h l 系统已经成功地应用于当地警察局的电子巡逻系统。 另外在欧洲，英国的雷丁大学( u n i v e r s i t yo fr e a d i n g ) 计算视觉小组 ( c o m p u t a t i o n a lv i s i o ng r o u p ) 1 5 1 以基于视觉的安全与威胁评估为目标，做了大量的 研究工作，先后开展了i s c a p s ( i n t e g r a t e ds u r v e i l l a n c eo fc r o w d e da r e a sf o rp u b l i c s e c u r i t y ) 以及r e a s o n ( r o b u s tm e t h o d sf o rm o n i t o r i n ga n du n d e r s t a n d i n gp e o p l ei n p u b l i cs p a c e s ) 等项目用于人群和个人的行为识别和场景理解等。欧洲e u r e k a 组织赞助的c a n t a t a ( c o n t e n ta w a r en e t w o r k e ds y s t e m st o w a r d sa d v a n c e da n d t a i l o r e d a s s i s t a n c e ) 项副1 6 】致力于开发一个视频内容分析的框架，把基于视觉的内 容分析技术的研究成果应用在工业界的产品中，包括监控设备，医疗器械以及电 子消费品，并且有超过7 个以上的国家参与到这个项目中来。 与国外相比，国内在智能视频监控领域的研究起步较晚，但也有许多大学和 研究机构已经开始着力于这方面的研究，如中国科学院自动化所、微软亚洲研究 院等，其中中国科学院自动化所的生物识别与安全技术研究中心c b s r 1 7 1 在智能 化监控技术方面做了不少成果，包括目标异常行为的识别与报警，人和车辆的多 浙江人学硕i j 学位论文i 绪论 目标检测、跟踪和分类，异常的物体滞留或丢失检测，人群流量评估及拥堵报警 等，并结合国家8 6 3 项目开发了智能监控系统平台，已经成功应用于2 0 0 8 年北 京奥运会的安保工作；而微软亚洲研究院则在人脸检测，人脸识别，人脸3 d 模 型重建，体育视频事件监测等方面取得了一定成果，并将相关技术融入到商业产 品的开发中。 另外，国际顶级会议和权威期刊都出了关于视频监控的专题，将其作为主要 研究内容之一，如i c c v ( i e e ei n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e rv i s i o n ) ， i c p r ( i e e ec o n f e r e n c e o n c o m p u t e rv i s i o n a n dp a a e m r e c o g n i t i o n ) ， e c c v ( e u r o p e a nc o n f e r e n c eo nc o m p u t e rv i s i o n ) ，i j c v ( i n t e r n a t i o n a l3 0 u m a lo f c o m p u t e rv i s i o n ) 釉p a m i ( i e e et r a n s a c t i o n so np a t t e r na n a l y s i sa n dm a c h i n e i n t e l l i g e n c e ) f 。此外，i e e ei n t e r n a t i o n a lw o r k s h o pp e r f o r m a n c ee v a l u a t i o no f t r a c k i n ga n ds u r v e i l l a n c e 每年还提供p e t s 数据库用来评估智能监控系统的性能。 国内也召开了不少会议来探讨图像与视频序列分析、目标识别和跟踪、场景理解、 视频监控等方面内容，如智能视觉监控学术会议、模式识别会议等。 1 3 计算机视觉和人工智能技术在监控视频分析中的应用 计算机视觉和人工智能技术在视频监控中的应用主要集中在以下两个方面， 一是目标或人体的运动检测，它属于视觉的低层次处理，包括图像预处理、运动 前景分割、目标检测与跟踪等；二是行为或事件的模式识别，它属于视觉的高层 次处理，包括目标识别与分类、人体行为理解、表情识别、异常事件的语义理解 与描述分析等。其中很多数学和计算机方面的理论已成功应用在相应的各个阶段 中。 在运动检测与跟踪方面，由于环境的多样性和复杂性，目前还没有一种目标 检测技术能够完全地适应各种不同的环境，但也开始取得一些进展。s t r i n g a l l 8 】在 远程监控系统中加入形态学处理算法用于运动前景的检测；z h o u 等人【1 9 】采用马 尔可夫随机场( m a r k o vr a n d o mf i e l d ) 描述前景和背景的变化，并通过最大后验概 率( m a x i m u map o s t e r i o r ) 准则去求解它，实现了前景分割；b r e n d e l 等人【2 0 1 将动态 浙江人学颂i j 学位论文i 绪论 时间规：；去( d y n a m i ct i m ew a r p i n g ) 用于运动物体和静止物体的非监督学习，取得 了很好的分类效果j 此外，卡尔曼滤波器2 n ，均值漂移算： 去【2 2 1 、蒙特卡洛过程【2 3 】 以及粒子滤波【2 4 】等方法应用于目标跟踪，不仅能够持续地预测和跟踪目标，而且 大大增加了目标检测的鲁棒性。 在行为识别与理解方面，早期的研究工作集中于采用一些简单的几何模型来 描述人体，如基于节点的骨架模型2 5 1 、二维轮廓模型【2 6 1 、三维圆柱体模型1 2 7 1 等， 其中较为著名的是f u j i y o s h i 等人提出的s t a r - m o d e l l 2 8 1 ，它提取目标轮廓最明显的 5 个拐点做为人体模型进行行为判断，此模型已经成功已用在各个方面【2 9 3 0 1 ；然 后人们开始尝试通过提取能够描述人体运动特性的特征，如运动方向、轨迹、位 置、速度、形状、角度等特征来区分不同的行为，并采用子空间分析方法如p c a 、 i c a 等对特征进行降维和筛选，在此基础上进行行为的识别，并提出了一些特征 提取的方法，如角点的提取( h a r r i sc o m e rd e t e c t o r ) 1 3 1 、梯度直方匿i ( h i s t o g r a mo f o r i e n t e dg r a d i e n t ) 3 2 】等，这些特征对于人体行为的描述较为全面，效果也很好， 已有很多入应用在行为识别方面【3 3 1 【3 4 1 1 3 5 】【3 6 1 ；而基于时变数据匹配的状态空间方法 也开始应用到行为识别中，状态空间方法把不同的静态行为定义为不同的状态， 任何运动序列可以看成是这些不同状态之间的一次遍历过程，并在遍历过程中计 算联合概率并将最大值作为行为分类的标准，其中最具有代表性的是隐马尔可夫 模型( h i d d e nm a r k o vm o d e l ) t 3 7 1 ，采用h m m 模型来识别各种不同行为的方法已经 大量地应用到了各种不同的场合【3 8 】【3 9 1 1 4 0 1 。 另外一些比较热门的技术如三维建模与跟踪1 4 1 1 、视频检索与数据挖掘4 2 1 、多 元信息融合【4 3 1 等也已经开始应用到视频监控领域。 当然，目前在智能监控视频分析领域还有很多有待解决的问题和面临的挑 战。首先就是如何在在环境复杂变化，物体相互遮挡等情况下准确地将前景与背 景分离开来；还有就是如何提取有效、鲁棒的特征来描述人体的行为；最后，当 前大多数的研究都是集中在对单个人的简单行为如走、跑、跳等的识别，无法处 理大部分异常行为的检测，包括多人交互的异常行为( 如打架，抢劫等) 以及群体 的异常( 如火灾逃生，慌乱逃跑等) ，这些异常行为往往具有不可预知、突发性大， 浙江人学倾l j 学位论文i 绪论 持续时间短、无周期性等特点，恰恰又是监控视频分析的重点和目标；此外，大 部分的识别方法都是通过现有埘训练库或模型库进行预先学习来进行识别，局限 性很大，对于非常规的动作适用性不高。 1 4 论文研究内容和结构安排 1 4 1 论文的研究内容 本文的研究内容是不同场景下基于监控视频的人体异常行为识别的方法及 其实现，主要是智能视频分析技术在异常行为分析中的应用。基于发生行为区域 内的光流特征，本文提出一种异常行为的检测的系统框架，系统的流程图如图l 。2 所示。 ! t 一-i 视频序列 ， 厂 t 一一一 t 1 ；背景模型：- 前景提取 一 区域光流计算0 - 一j i 特征选择： + 一 异常识别 i t 、 ：识别结果： 图i - 2 智能监控视频分析系统结构图 首先对视频提取和预处理技术进行了分析；然后，对常用的前景提取方法进 行了分析，并提出一种采用改进的混合高斯模型构建背景模型的前景提取方法从 视频序列中提取出运动前景，并且与其他前景提取技术如全局阈值法等进行了比 较，该方法能够可靠稳定地在不同场景下提取运动目标与前景，为进一步的处理 6 浙江人学硕l ? 学位论义i 绪论 做好了准备；接下来对已提取的前景进行了区域标记，并采用l u c a s k a n a d e 方法 计算出运动区域内的光流信息，与一般的光流计算相比，受噪声影响小，计算速 度快；最后，采用基于幅值的加权方向直方图描述行为，并计算运动区域内的熵 来判断行为的异常。对不同的视频数据库进行了测试，结果验证了本方法的有效 性。 1 4 2 论文的章节安排 论文共分为五章，其内容架构如下所述： 第一章是绪论，对视频监控领域的技术现状以及发展进行了描述，接着着重 介绍了计算机视觉和人工智能技术在国内外的研究情况以及在智能监控视频分 析中的应用，并且提出了智能视频监控系统所遇到的有待解决的问题和面临的挑 战，最后对本文的主要研究内容、章节安排进行了概述。 第二章是视频及图像预处理，本章介绍了与智能监控视频分析相关的常用公 共监控视频数据库以及常用到的彩色空间转换，然后简要分析了视频图像预处理 去噪声所用到的相关技术，为后续的处理打下了良好的基础。 第三章是运动区域检测与前景提取，本章对前景提取的常用方法作了分析和 总结，并提出一种改进的基于混合高斯分布的背景模型的前景提取方法，最后采 用该方法对不同场景下的视频序列进行了测试，结果证明该方法能够在室内外不 同的环境下提取出较为完整的运动前景。 第四章是区域光流特征与异常行为检测，首先采用近邻法对提取出的运动前 景掩码进行区域标记，然后在此基础上提出一种基于区域光流特征的异常行为检 测方法，该方法通过计算区域内光流特征的熵来描述进行异常检测。经过不同行 为数据库的实验证明，该特征能够反映人体异常行为的发生。 第五章是智能视频分析平台的开发。本章提出了一种快速搭建智能视频分析 软件平台的思路，然后结合两个免费的开源项目w x w i d g e t s 和o p e n c v 中的代码 库，开发了一个基于c + + 的智能视频分析软件平台框架，并将前几章在m a t l a b 中应用的算法移植到这个平台，实现了模块化管理以及视频序列的实时分析和处 浙江人学硕i ：学位论义 l 绪论 理。 第六章为总结与展望，先对本文的研究工作进行了系统总结，然后讨论了以 后需解决的问题。 1 5 本章小结 本章针对智能视频监控系统的研究现状和发展进行了详细的阐述，接着详细 介绍了计算机视觉和人工智能技术在国内外的研究情况以及在智能监控视频分 析中的应用，并且介绍了智能视频监控系统所遇到的有待解决的问题和面临的挑 战以及未来的发展趋势。最后对本文的主要研究内容、章节安排进行了概述。 浙江人学颀i ：学位论义2 视频及图像颅处理 2 视频及图像预处理 2 1 引言 智能监控视频分析的第一步是从视频摄像头等视频采集设备以及现有的视频 数据库中获取相关的视频序列图像，是视频处理中最为基础的操作步骤。首先， 由于制式以及视频采集卡的类型不同，获得的视频图像格式和编码格式也是不同 的，需要针对不同的视频存储格式进行格式转换以便下一步的处理；另外，颜色 空间的选择也对后续的处理有着非常大的影响。其次，在很多情况下，获取的原 始视频不是很完美的，会受到很多因素的干扰，如摄像头的抖动偏差、镜头的噪 点、内部a d 转换电路的干扰等，视频图像往往不是非常清晰，存在许多的噪声 干扰如高斯噪声、阶跃噪声等，因此，在进行视频分析与处理之前，必须先对视 频图像序列进行一定的预处理降低噪声的干扰，获得比较干净的视频序列图像。 2 2 视频获取与格式转换 2 2 1 视频获取 视频获取的主要渠道有两个，一是通过视频摄像头和视频采集卡自行拍摄获 得；二是从常用的公共视频数据库中获得。 在电脑上通过视频采集卡可以接收来自视频输入端如视频摄像头的模拟视 频信号，对该信号进行采集、量化成数字信号，然后压缩编码成数字视频。一般 的p c 视频采集卡采用不同的压缩编码算法把数字化的视频存储成a v i 文件，高 档一些的视频采集卡还能直接把采集到的数字视频数据实时压缩成m p e g 或 w m v 格式的文件。通过视频摄像头和视频采集卡自行拍摄获取视频的优点是可 以自行设置视频的内容和场景，但是由于受到硬件条件的制约，往往得不到很好 的视频图像，这对后续的处理很不利。 而随着智能视频分析相关研究的不断发展和深入，人们开始逐步建立公共视 频数据库用于相关算法的研究与开发和性能测试比较，近些年来，特别是关于智 浙江入学顾l ：学位论义2 视频及图像颅处理 能视频分析与监控方面的公共视频数据库开始大量出现，并为相关视频分析处理 算法的性能评估提供了客观的依据和测试平台。表2 1 列出了一些常用的用于视 频监控分析的监控视频分析数据库以及其相应的网络连接和简要介绍。相比于自 行拍摄的视频，公共视频数据库具有系统的管理和分类，不仅可以比较不同算法 的优劣性能，而且通过不同数据库可以验证算法的鲁棒性和适应性，有着不可比 拟的优势。 表2 - 1 常用的监控视频分析数据库 因此，本文采用了三个公共视频数据库c a s i a 、c a v i a r 以及b e h a v e 来 作为监控视频分析技术的测试对象，部分视频图像如图2 1 所示。简要介绍如下： 1 ) c a s i a 行为数据库】，中科研自动化所c a s i a 行为分析数据库共有1 4 4 6 个视频序列，是由室外环境下分布在三个不同视角的未标定的摄像机拍摄而成， 为行为分析提供实验数据。视频分辨率为3 2 0 x 2 4 0 ，帧率为2 5 f p s ，采用h u f f y u v 编码压缩。数据库分为单人行为和多人交互行为，单人行为包括走、跑、弯腰走、 跳、下蹲、晕倒、徘徊、砸车等；多人交互行为有抢劫、打斗、尾随、赶上、碰 j = 人学坝1 学位论i 2m 捌i q 惮m n w 头、会合、超越等。 2 ) c a v i a r 场景检测数据库i ”i ，共有2 7 个视频片段序列，是由室内环境下 采用一个固定在门厅上的广角摄像机拍摄而成的。视频分辨率为3 8 4 2 8 8 ，帧率 为2 5 f p s ，采用m p e g 2 压缩。数据库记录了不同场景下的一些行为，如单人步行、 多人会面打絮追逐、遗漏东西、短暂滞留等。 3 ) b e h a v e 交互行为检测数据库4 6 1 ，共有2 个长视频片段，共7 6 8 0 0 帧，是 由两个不同位置的摄像机拍摄而成的。视频分辨率为6 4 0 x 4 8 0 ，帻率为2 5 f p s ，a v i 格式。数据库记录7 不同场景下的一些交互行为，包括多人聊天，多人行走、打 架、追遥、跟踪等。 ”颦焉嘲 k j + 鹣谥 ( b ) c a v i a r 场景检测数据库 c ) b e h a v e 交互行为检测数据库 田2 - i 测试视频数据库 鞲一 浙江人学烦l ：学位论文2 视频及幽像预处理 2 2 2 色彩空间的转换 色彩空间是指对不同颜色进行编码，使用一组特定的值表示不同颜色的抽象 数学模型。从视频序列中提取出来的图像一般都是彩色的，而根据计算机色彩理 论，每一种颜色在计算机中表达方式是不同的，这样就形成了各种不同的色彩空 间。每一种色彩空间都有其各自的产生背景以及应用领域，特别是在视频图像处 理中，实际上最常用的色彩空间是r g b 模型、y u v 模型以及灰度模型，并且这 几种模型经常用于存储视频和图像。 r g b 模型是使用最多的色彩空间之一，也是最常用的存储格式之一。r g b 颜色空间由红( r e d ) ，绿( g r e e n ) 、蓝( b l u e ) 三种基本颜色组成，并且通过这三种基 色可以混合得到大多数的颜色。r g b 颜色空间采用的是笛卡儿坐标系，如图2 2 所示，图中红( r e d ) 、绿( g r e e n ) 、蓝( b l u e ) 位于3 个顶点上，青( c y a n ) 、黄( y e l l o w ) 和紫红( m a g e n t a ) 位于另外三个顶点上，黑色( b l a c k ) 在原点处，白色( w h i t e ) 位于离 原点最远的顶点上。在该模型中，灰度等级沿着主对角线从原点的黑色( b l a c k ) 至0 对角的顶点的白色( w h i t e ) 逐渐线性变化。 g r e e n b l u e 图2 - 2r g b 色彩空间示意图 1 2 r e d 浙江人学硕i ：学位论文2 视频及图像颅处理 r g b 色彩空间最常用的存储方法是基于2 4 b i t 的，也就是每个像素点用2 4 b i t 来表示，其中红( r e d ) 、绿( g r e e n ) 、蓝( b l u e ) 每个通道各占用8 b i t ，取值范围为0 - 2 5 5 ， 各分量的存储排列顺序为：b g r ，b g r 。基于这样的2 4 位r g b 模型的色彩 空间可以表现2 5 6 2 5 6 2 5 6 种颜色。 另外一种常用的用于存储的色彩空间是y u v 模型，也称为y c r c b 模型，它 最早是欧洲电视系统所采用的一种颜色编码方法，属于p a l 制式。其中y 表示 亮度( l u m i n a n c e ) ，描述图像的灰度信息；而u 和v 表示的则是色度( c h r o m i n a n c e ) ， 作用是描述影像色彩及饱和度，用于指定像素的颜色，u 和v 分别反映了信号的 红色分量和蓝色分量与信号亮度值之间的差异。y u v 模型的特点是将亮度和色度 分离开，从而适合于视频图像处理领域。它与r g b 模型的相互转换公式为： 0 5 8 7 0 11 4l | 月i - 0 3 3 2 o 5 0 0 l igl ( 2 1 ) - 0 4 1 9 1 0 8 1i lbl j lj g 尺 = 1 110。0。0。-。0j!：3。9。5-10蔓548。0ub 10 0 020 3 200 0 0 v y c 2 2 ， ll = i | ll( 2 2 1 ) lii i ll 最常用的y u v 格式存储方法是4 ：2 ：2 的u y v y 格式，也就是每4 个像素 点有4 个亮度分量，4 个色度分量，每个像素占1 2 b i t ，相比与r g b 模型的存储 方式，y u v 模型的存储方式更节省空间。 此外，还有一个常用的颜色模型是灰度模型。其实严格意义上说，灰度模型 只是y u v 模型的一部分，因为y u v 模型中的y 分量就是灰度模型。其转换公 式为： j ，= 0 2 9 9 r + 0 5 8 7 g + 0 t 11 4 b ( 2 3 ) 一般用8 b i t 来存储一个像素的灰度值，因此，灰度化以后的图像比r g b 图 像和y u v 图像的存储空间要少的多，图像处理起来也更加地简便，但是少了不 少信息。在很多需要实时处理的情况下，将视频图像转化为灰度模型不失为一个 吩旧2 5c ；c ； 。l l i 1j y u 矿 浙江人学倾i ：学位论文2 视频及幽像颅处理 很好的选择。 2 3 图像去噪技术 2 3 1 滤波处理 在视频图像处理中，在进行如前景检测、特征提取等进一步处理之前，通常 需要首先进行一定程度的降噪，因为在很多情况下视频图像会受到很多不同种类 的噪声干扰。各种噪声对图像信号幅度和相位的影响是不一样的。有的噪声和图 像信号相互独立，而有的噪声与图像信息是相关的。一般来说，图像的能量主要 集中在它的低频部分，而噪声所在的频段主要在高频部分，因此，适当采用一些 滤波处理的方法可以去掉噪声而又能尽量保持原来图像的质量。 在视频图像处理中常用的噪声滤波方法【4 7 1 有中值滤波( m e d i a nf i l t e r ) 和高斯 滤波( g a u s s i a nf i l t e r ) 。 中值滤波是一种非线性数字信号处理技术，经常用于去除图像或者其它信号 中的噪声。它的主要作用是将与周围邻域像素值差别比较大的像素点的值而改为 与周围邻域像素点最接近的值，取从而消除孤立的噪声点。它的基本原理是把视 频图像序列中某点的像素值用该点的周围邻域中各像素点的中值代替，设i ( x ，y ) 为视频图像某个像素点的值，滤波窗口为职则二维图像的中值滤波过程可以写 为：m ( x ，y ) = m e d i a n l ( i ，川 ( 2 4 ) f ，j e l l 滤波窗口w 通常含有奇数个象素点，一般选3 x 3 、5 x 5 、7 x 7 等。中值滤波对于 斑点噪声和椒盐噪声的抑制具有很好的效果，能很好地去除噪声且保持图像的边 界信息，这在运动检测中非常有利于物体的分割。 而高斯滤波是一种基于空间的根据高斯核函数的形状来选择权值的线性平 滑滤波方法。对图像处理来说，常用二维均值离散高斯函数作平滑滤波器，其表 1 达式为：g ( “，1 ，) = 击口矿 2 ) 八2 一 ( 2 5 ) 厶氕g 其中方差仃决定了高斯滤波器的宽度，盯越大平滑程度越好，计算量也较大。 浙江人学硕i ：学位论文 2 视频及图像颅处理 在实际应用中，在计算高斯函数的离散近似时，在大概3 盯距离之外的像素都可 以看作不起作用，这些像素的计算也就可以忽略，从而可以直接对视频图像中的 像素执行滤波处理，即分布不为零的像素组成的卷积矩阵与原始图像做变换，也 称为滤波窗口或滤波掩模。每个像素的值都是周围相邻像素值的加权平均。原始 像素的值有最大的高斯分布值，所以有最大的权重，相邻像素随着距离原始像素 越来越远，其权重也越来越小。因此，高斯平滑滤波器对去除服从正态分布的噪 声是很有效的。 2 3 2 形态学操作 形态 学( m o r p h o