（计算机科学与技术专业论文）智能视频监控技术关键技术研究.pdf

中文摘要 中文摘要 摘要：智能视频监控技术是计算机视觉领域近年来新兴的一个研究方向。它主要 的研究目标是利用计算机视觉技术、图像视频处理技术和人工智能技术对监控视 频的内容进行高层语义分析，并且根据分析的结果对视频监控系统进行控制，从 而使视频监控系统具有较高的智能化水平。因此，智能视频监控技术在公共安防、 智能交通等领域有广阔的应用前景，成为国内外专家学者研究的热点。 实际视频监控系统中的场景往往是错综复杂、变化无常的，而准确地对运动 目标检测和跟踪是进行行为理解等后续处理的基础。本文的研究目标是针对固定 摄像机下的复杂监控场景，研究相应环境下人的检测和跟踪的相关模型及算法。 本文针对三种常用的运动目标检测算法和不同背景模型的研究和分析，提出 了融入阴影检测和混合高斯模型的目标检测算法，并对目标检测结果进行建模， 为后续跟踪提供了准确有效的输入。通过m a t l a b 对该算法进行仿真，实验结果表 明，该算法能够有效的处理多模态背景并对运动阴影有很好的抑制作用。 针对现有粒子滤波算法多采用手动选取待跟踪目标的缺点，本文提出了自动 建模的粒子滤波跟踪算法。通过对上述章节中的检测目标进行自动建模，为基于 颜色的粒子滤波跟踪算法提供有效的模型输入，实现了运动目标的自动建模和跟 踪。通过m a t l a b 进行算法仿真，采用p e t s 2 0 0 6 通用测试视频进行实验，实验验 证了自动目标建模的有效性，跟踪结果显示粒子滤波算法对于非刚体的人的跟踪 有很好的鲁棒性。 针对基于颜色的单一视觉信息在复杂监控场景下描述目标不充分及缺乏稳定 性的缺点，本文提出了一种基于粒子滤波框架的自适应多信息融合的跟踪算法， 其中利用颜色和纹理双重信息描述目标，通过自适应权值更新将两种信息融合在 一起，使跟踪算法能够根据当前跟踪形势自适应调整两种信息的权重，实现了目 标的鲁棒性跟踪。 关键词：智能视频监控；目标检测；粒子滤波；目标跟踪；自适应信息融合 分类号：t p 3 9 1 4 1 北京交通人学硕士论文 a bs t r a c t a b s t r a c t ：i n t e l l i g e n tv i d e os u r v e i l l a n c et e c h n o l o g yi s a n e m e r g i n gr e s e a r c h o r i e n t a t i o ni nt h ef i e l do fc o m p u t e rv i s i o n t h em a i ng o a li st or e a l i z et h eh i g h - l e v e l s e m a n t i ca n a l y s i so ft h es u r v e i l l a n c ev i d e ob yi n t e g r a t i n gc o m p u t e rv i s i o nt e c h n o l o g y , i m a g e v i d e op r o c e s s i n gt e c h n o l o g ya n da r t i f i c i a li n t e l l i g e n c et e c h n o l o g y t h ea n a l y s i s r e s u l t sc a nb eu s e dt oc o n t r o lt h ev i d e os u r v e i l l a n c es y s t e mi t s e l f t h u s ，i n t e l l i g e n t v i d e os u r v e i l l a n c et e c h n o l o g yh a sab r o a dp r o s p e c t si np u b l i cs e c u r i t y , i n t e l l i g e n t t r a n s p o r t a t i o na n do t h e ra r e a so fa p p l i c a t i o n ，w h i c hm a d et h et e c h n o l o g yb e c o m e sah o t r e s e a r c hb yd o m e s t i ca n df o r e i g ne x p e r t sa n ds c h o l a r s v i d e os u r v e i l l a n c es y s t e mi nt h ea c t u a ls c e n e sa r eo f t e nv e r yc o m p l e xa n dv o l a t i l e ， a n dt h eb a s i co ft h ed e s c r i p t i o n ，u n d e r s t a n d i n ga n df o l l o w u pt od e a lw i t hi nt h e i n t e l l i g e n tv i d e os u r v e i l l a n c es y s t e mi sa c c u r a t e l yd e t e c t i n ga n dt r a c k i n gt h em o v i n g t a r g e t s t h i sp a p e ri sc o m m i t t e dt ot h er e l e v a n tm o d e l sa n da l g o r i t h m so fh u m a n d e t e c t i o na n dt r a c k i n gu n d e rt h es p e c i f i cs u r v e i l l a n c es c e n e s a f t e rr e s e a r c h i n gt h r e ec l a s s i ca l g o r i t h m sf o rm o v i n go b j e c t sd e t e c t i o n ，a n dg i v i n g t h ea n a l y s i so fd i f f e r e n tb a c k g r o u n dm o d e l s ，at a r g e td e t e c t i o na l g o r i t h mb a s e do n s h a d o wd e t e c t i o na n dg a u s s i a nm i x t u r em o d e li sp r o p o s e d w h a t sm o r e ，t h ep a p e rh a s e s t a b l i s h e do b j e c t sm o d e lb a s e do nt h er e s u l to fd e t e c t i o no fm o v i n gt a r g e t s ，w h i c hc a n p r o v i d et h ea c c u r a t ea n de f f e c t i v ei n p u to ft h ef o l l o w u pt r a c k i n g t h ea l g o r i t h mh a s b e e ns i m u l a t e do nt h em a t l a bs o f t w a r ep l a t f o r m e x p e r i m e n t ss h o wt h ea l g o r i t h mi n d e a l i n gw i t hm u l t i m o d a lb a c k g r o u n di se f f e c t i v ea n dc a ns u p p r e s st h es h a d o wo ft h e m o v e m e n tp e r f e c t l y t oc o n q u e rt h ed r a w b a c ko fs e l e c t i n gt h et a r g e tm a n u a l l yi nt h ee x i s t i n gp a r t i c l e f i l t e ra l g o r i t h m ，a na u t o m a t i cm o d e l i n go ft h ep a r t i c l ef i l t e ra l g o r i t h mi sp r o p o s e d t o a u t o m a t i cm o d e lt h et a r g e td e t e c t e di nt h ea b o v e - m e n t i o n e ds e c t i o n s ，w h i c hp r o v i d e s t h ei n p u tm o d e lo ft h ep a r t i c l ef i l t e ra l g o r i t h mb a s e do nc o l o lr e a l i z e st h ea u t o m a t i c m o d e l i n ga n dt a r g e tt r a c k i n g t h ep a p e rh a ss i m u l a t e dt h ep a r t i c l ef i l t e rt r a c k i n g a l g o r i t h mo nt h em a t l a bs o f t w a r ep l a t f o r m ，w h i c hu s et h ep e t s 2 0 0 6 ( p e r f o r m a n c e e v a l u a t i o no ft r a c k i n ga n ds u r v e i l l a n c e ) c o m m o nv i d e od a t a b a s ea st h ei n p u td a t a e x p e r i m e n t ss h o wt h et r a c k i n ga l g o r i t h mi na u t o m a t i cm o d e l i n gt a r g e ti se f f e c t i v ea n d h a sg o o dr o b u s t n e s so nt r a c k i n gn o n r i g i dt a r g e t ，s u c ha sh u m a n t oo v e r c o m et h es h o r t c o m i n go fs i n g l ev i s u a lc u ei nc o m p l e xe n v i r o n m e n t s ，a a b s t ra c t t r a c k i n ga l g o r i t h mb a s e do na d a p t i v ec u ef u s i o nm e c h a n i s mi sp r o p o s e d t h ec o l o rc u e a n dt e x t u r ec u ea r eu t i l i z e dt or e p r e s e n tt h et a r g e ta n dd e m o c r a t i ci n t e g r a t i o ni sa p p l i e d t of u s i o nt h e s et w oc u e s ，t h u sr e a l i z i n gt h et r a c k i n ga l g o r i t h mo n - l i n ea d j u s t i n gt h e w e i g h to f t w oc u e sa n dr e a l i z i n gt h er o b u s tt r a c k i n g k e y w o r d s ：i n t e l l i g e n t v i d e os u r v e i l l a n c e ；o b j e c td e t e c t i o n ；p a r t i c l ef i l t e r , o b j e c t t r a c k i n g ；a d a p t i v ec u e f u s i o n c 1 a s s n o ：t p 3 9 1 4 1 北京交通人学硕+ 论文 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名：锑碳j # 签字嗍加。尹年月如 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 以，芸t b 签字闩期：w 。7 年多月，同 致谢 转眼间两年的硕士学习生活即将结束，在论文结束之际，心中感慨良多。回 想紧张、短暂的研究生生活，有过学习课程时的安逸，有过实验室作项目时的充 实，也有过准备论文和实验时的紧张。此时，我要感谢读硕士期间所有帮助和关 心过我的人。 首先，要感谢我的导师张宁教授，他兢兢业业、踏实严谨的工作作风，给我 留下了受益终生的财富。在论文的各个阶段，导师给予我悉心指导，使论文研究 工作能顺利进行。在此谨向导师表示最诚挚的敬意。 另外，要特别感谢张宏勋老师和张宝鹏老师，他们对本论文的i l i o n 完成给予 了很大帮助。他们对科研的严谨态度、博大精深的学术造诣和对学生的热心关怀， 都将成为我今后学习的榜样。 感谢实验室宋晓虹老师和侯亚欣老师，感谢他们在学习、生活上给予的帮助 和在实验室项目中的指导。同时感谢实验室的同门和师弟、师妹们：马亮、李峰、 于水晶、王文明、王举、王飞、姚丽娟等，他们都给予我学习和生活上的帮助。 项目中的相互讨论和生活中的互帮互助，让我的实验室生活充实而值得留恋。在 此感谢他们陪我度过了人生这段难忘的日子。 最后，感谢我的家人，在求学路上父母给了我无限的帮助和指导。生活中的 劝慰和人生路上的指引，让我能顺利完成学业，在此对他们表示最深深的敬意。 引言 1 引言 1 1 研究背景及意义 随着人们安防意识的不断增强，视频监控以其直观、方便、信息丰富的特点 得到了广泛的应用。加之近年来视频监控系统所需硬件设备( 如摄像机、云台、 网络传输设备等) 成本日益降低，视频监控在我国逐步进入普及阶段。越来越多 的摄像机被部署在诸如交通路口、机场、商场、停车场和商业大楼等公共场所， 这些摄像机被用于观察被监控场景中的人和车辆等目标的活动。但是目前监控系 统的功能往往比较单一，常常需要监控人员持续的监视屏幕，通过人为解释获得 视频信息，然后做出相应的决策。但让监控人员长期盯着众多的电视监视器是一 项繁重而乏味的工作，特别是当监控点较多时，监控人员几乎无法做到全面完整 的监控。同时，大多数监控场景出现异常情况的数量较少并且比较随机，这样人 工监控不仅造成巨大的人力浪费，而且很容易使得监控人员思想松懈从而导致漏 报。鉴于此，目前国内外学术界及工业部门开始着眼于研究新一代具有智能化视 频监控功能的监控系统，这类系统的核心问题是对进入监控场景的运动目标( 诸 如人、汽车等) 进行实时的检测、跟踪和理解，并由此做出相应的判断和处理n 。一1 。 智能视频监控系统作为近年来计算机视觉领域兴起的一个新的应用方向，是 利用计算机视觉技术对视频信号进行处理、分析和理解，并对视频监控系统进行 控制，从而使视频监控系统具有像人一样的智能。因此，计算机视觉技术是智能 视频监控系统中的核心技术。 智能视频监控系统在民用和军事中有着广泛的应用h 5 6 ，7 1 ，此外，智能视频监 控也可用于银行、机场、政府重要机构等公共场所的无人值守呻引，这些系统的显 著特点是减少对人工的依赖。在1 9 9 6 年至1 9 9 9 年间，在美国国防高级研究计划 局d a r p a ( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 资助下，卡内基梅隆大学、 戴维s a r n o f f 研究中心等几家著名机构合作，联合研制了视频监视与监控系统 v s a m m 川( v i d e os u r v e i l l a n c ea n dm o n i t o r i n g ) 。该项目的目标是拟发展一种自动 的视频解译技术，实现对复杂区域如战场或其它的一些重要场合内的人员行动的 监视。智能监控技术在交通中同样有着重要的应用和发展，如美国的喷气动力实 验室( j e tp r o p u l s i o nl a b o r a t o r y ) 就资助了五个关于大范围交通检测技术的研究项 目：a u t o s c o p c ，c m sm o b i l i z e r ，m a s t o rt r a f f i cv i s i o n ，a u t o c o l o r 和r o a d w a t c h ，其 中前三个项目成果业已应用于商业系统中。这些系统大部分都是利用区域的块特 北京交通人学硕十论文 征或颜色特征来实现目标的跟踪。美国的a r d a 机构( a d v a n c e d r e s e a r c h & d e v e l o p m e n ta c t i v i t y , a r d a ) 在2 0 0 3 年秋开始主持一项高级研究计划 v a c e ( v i d e o a n a l y s i sa n dc o n t e n te x t r a c t i o n ) ，旨在通过目标的检测、识别和跟踪 达到检测、识别和理解目标的行为。由欧洲f a m e w o r kv 负责的一个视觉监控核心 项目a d v i s o r d e n g 也是为了研究和开发类似的智能监控系统。英国雷丁大学 ( u n i v e r s i t yo f r e a d i n g ) 已开展了对车辆和行人的跟踪及其交互作用识别的相关研 究比1 。p f i n d e r n 2 1 系统可恢复单个人体的3 d 描述，并在复杂场景中跟踪。为了扩大 监控范围，解决单摄像机监控中多运动目标在相互遮挡时难以得到准确的目标信 息等问题，复杂背景中多运动目标跟踪系统丌始采用多摄像机协同工作的方式。 c m u 开发了适用于大范围场景的多摄像机监控系统引，能在复杂场景中检测、跟 踪人和车辆。i b m 与m i c r o s o f t 等公司也在逐步将基于视觉的手势识别接口应用于 商业领域中n 屯1 5 ，。在我国，中国科学院自动化研究所模式识别国家重点实验室对智 能视频监控也做了大量研究，他们在人体运动分析、交通行为事件分析、交通场 景视频监控和智能轮椅视觉导航等领域取得了许多科研成果n 铲捌。 由于智能视频监控具有传统视频监控无法比拟的优点，而且符合当前信息社 会化、数字化、网络化和智能化的发展趋势，因此成为研究的热点。智能视频监 控系统自动完成对感兴趣目标的分析与描述，而对目标的实时检测和跟踪是其中 的主要环节，是基于视频的运动分析、行为理解等后续工作的基础，所以对于智 能视频监控的目标检测和跟踪算法的研究具有极其重要的意义。 1 2 研究现状 目前，国内外专家、学者对智能视频监控技术进行了深入的研究。其中，主 要研究方向分为基于内容的研究和基于应用的研究。 1 2 1 基于内容的研究 智能视频监控主要是对实时采集的视频序列进行分析处理，基于内容的研究 是对视频帧中的运动目标进行检测、跟踪，并对检测和跟踪的结果、特征等进行 分析，实现对视频序列中运动目标的高层语义理解。研究的重点集中在视频序列 中以汽车为代表的刚体和以人为代表的非刚体上。现阶段由于人体视觉行为分析 具有重要的应用价值和巨大挑战，成为国内外研究的重点和难点。 人体运动的视觉分析主要是针对包含入的运动图像序列进行分析处理，它通 常涉及到运动检测、目标分类、人的跟踪及行为理解与描述。其中，运动检测、 2 引言 目标分类、人的跟踪属于视觉中的低级和中级处理部分；行为理解和描述属于高 级处理瞳，具体框架如图卜1 所示，并分别做具体阐述。 l 、运动检测 运动检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区 域的有效分割对于目标分类、跟踪和行为理解等后续的处理是非常重要的。然而， 由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动 检测成为一项相当困难的工作。 运动检测最常用的方法有：帧间差分n 3 瑚吨铂、光流法哺删和背景减除啪侧。 时间差分法对动态环境具有较强的自适应性，但一般不能完全取出所有相关 的特征像素点，在运动实体内部容易产生空洞现象。光流法在摄像机运动的情况 下也能检测出独立的运动目标，但是它的计算方法相当复杂，且抗噪性能差，因 此不能应用于实时处理的系统中心。背景减除一般能够提供最完全的特征数据， 但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。 厂1 订介贪俞 图1 - 1 智能视频监控系统框架 f i gl - 1t h ef r a m e w o r ko f t h ev i d e os u r v e i l l a n c es y s t e m 针对以上方法各自的优缺点，国内外专家学者对不同场景下的运动检测算法 做了进一步的改进。s t a u f f e r 与g r i m s o n 。蜘利用自适应的混合高斯背景模型( 即对 每个像素点利用混合高斯分伟建模) ，利用在线估计来更新模型，从而可靠地处理 3 北京交通人学硕十论文 了光照变化、背景混乱运动的干扰等影响。但是该方法开始的背景学习过程缓慢， 尤其是在复杂背景情况下，不能高效的进行运动检测。此外，该方法不能有效区 分运动的物体和运动阴影。在此基础上k a e w t r a k u l p o n g 和b o w d e n 口羽提出了一种 改进的自适应混合背景复合模型，通过重新定义背景更新方程( u p d a t ef u n c t i o n ) ， 能够高效、准确的应对复杂背景变化下的自适应背景更新。通过对背景模型进行 颜色空间的计算，实现了阴影探测，有效解决了运动目标的阴影检测。a t s u s h i s h i m a d a 和d a i s a k ua r i t a 口提出了动态控制自适应混合高斯背景模型，为每个像素 点建立一个动态的高斯混合模型，当发生光照变化、物体运动时，增加相应像素 点的高斯分布个数，从而在解决背景变化的同时降低了计算时间。 2 、目标分类 目标分类的目的是从检测到的运动区域中将对应于人的运动区域提取出来。 针对不同的应用场景，该步骤可以进行取舍。例如已知场景中仅仅存在人的运动， 该步骤将省略；又如交通道路上的监控，视频序列中可能出现飞鸟、流云、摇动 的树枝等运动物体，因此进行目标分类对后续的跟踪有重要的意义。 目标分类大体可分为基于形状信息的分类和基于运动特性的分类。基于形 状信息的分类是利用检测出的运动区域的形状特征进行目标分类的方法。例如 v s a m 1 采用区域分散度、面积、高宽比等作为特征，利用三层神经网络方法将运 动目标划分为人、人群、车和背景干扰；k u n o 与w a t a n a b e 1 使用简单的人体轮廓 模式的形状参数从图像中检测运动的人。基于运动特性的分类是利用人体运动的 周期性进行目标分类的方法口5 蚓，例如c u t l e r 与d a v i s 5 1 通过跟踪感兴趣的运动目 标，计算出目标随着时间变化的自相关性，而人的周期性运动使得其自相关也是 周期性的，因此通过时频化方法分析目标是否存在周期性的运动特性而将人识别 出来。 3 、人的跟踪 跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有 关特征的对应匹配问题乜。在视频跟踪方法中，跟踪问题可以看成是在线的贝叶 斯估计问题口7 1 ，即从所有的历史观测数据中推理出下一时刻的状态值，也就是最 优贝叶斯估计。而状态变量中可以包含目标在图像中的位置、大小及运动速度。 在实际中，必须利用一些数学工具来近似求解最优贝叶斯估计。常用的数学工具 有卡尔曼滤波m 1 ( k a l m a nf i l t e r i n g ) 、c o n d e n s a t i o n 算法。州、粒子滤波( p a r t i c l e f i l t e r ) 算法0 。4 2 1 及m e a ns h i f t 算法h 3 1 等。其中k a l m a n 滤波是基于高斯分布的状态 预测方法，不能有效地处理多峰模式的分和情况；c o n d e n s a t i o n 算法是以因子抽样 4 引言 为基础的条件密度传播方法，结合可以学习的动态模型，可完成鲁棒的运动跟踪。 粒子滤波对于系统模型没有特殊的要求，而且能够保持状态的多模态分布，不易 受杂波的影响，在跟踪领域得到了很大的发展。但常规粒子滤波跟踪算法存在计 算量大、采样效率低等问题，而且由于实际跟踪场景的复杂性，给常规粒子滤波 跟踪算法提出了很大的挑战。m e a ns h i f t 算法以其无需参数、快速模式匹配的特征 被广泛应用到目标跟踪领域，并且它在非刚性物体跟踪中有很好的实时性。但是 它缺乏必要的模板更新，在跟踪过程中由于窗口宽度大小保持不变，当目标尺度 有变化时，跟踪就会失败。 4 、行为理解与描述 人的行为理解与描述，是指对人的运动模式进行分析和识别，并用自然语言 等加以描述。行为理解可以简单地被认为是时变数据的分类问题，即将测试序列 与预先标定的代表典型行为的参考序列进行匹配。因此，行为理解的关键问题是 如何从学习样本中获取参考行为序列，并且学习和匹配的行为序列必须能够处理 在相似的运动模式类别中空间和时间尺度上的轻微特征变化口。 匹配时变数据的技术通常有：动态时间规整h4 1 ( d y n a m i ct i m ew a r p i n g ，d t w ) 、 隐马尔可夫模型h 5 1 ( h i d d e nm a r k o vm o d e l s ，h m m s ) 、神经网络“引( n e u r a ln e t w o r k ， n n ) 、基于概率约束的p e t r i 网络刀( ac o n s t r a i n e dp r o b a b i l i s t i cp e t r in e t ) 等。d t w 具有概念简单、算法鲁棒的特点。即使测试序列模型与参考序列模型的时间尺度 不能完全一致，只要时间次序约束存在，它仍能较好的完成测试序列和参考序列 之间的模式匹配。h m m s 的使用涉及至u o i i 练和分类两个阶段，训练阶段包括指定 一个隐马尔可夫模型的隐藏状态数，并且优化相应的状态转换和输出概率以便产 生的输出符号与特定的运动类别之间所观察到的图像特征相匹配。匹配阶段涉及 到一个特定的h m m 可能产生相应于所观察图像特征的测试符号序列的概率计算。 n n 同样也是目前比较感兴趣的匹配时变数据的方法，可以分析人的运动模型，或 者使用径向基函数网络从运动中识别人的行为。m a s s i m i l i a n oa l b a n e s e 与r a m a c h e l l a p p a 等人h 7 1 提出了基于p e t r i 网络的计算框架，用来识别人体的行为。该框架 是对概率p e t r i 网络( p r o b a b i l i s t i cp e t r in e t p p n ) 的扩展，可以很好的处理复杂多 目标的交互情况，对不确定的低水平处理有很好的鲁棒性，此外对不确定的潜在 行为也有很好的理解。 1 2 2 基于应用的研究 由于智能视频监控的研究有重要的理论价值和应用价值，目前已成为国际性 5 j 匕京交通人学硕十论文 的研究热点。针对具体的应用的研究，主要涉及到特定场景下的异常行为检测、 密度检测和人数统计、人脸识别等。下面介绍主要的两种研究热点，异常行为检 测、密度检测和人数统计。 1 、异常行为检测 现有的视频监控系统，大都缺乏主动监控的能力，因此在发生异常事件时， 只能成为查找证据的依据。而智能视频监控的异常行为检测功能，可以自动分析 监控场景中的视频序列，对异常行为进行检测报警，可以起到主动监控的功能， 因此成为研究的热点之一。 j a s p e rs n o c k 等人h 踟通过分析楼梯台阶的监控场景，提出了自动检测人的异常 行为的方法。从视频帧中提取人脚的位置和速度特征，并计算前景域中的平均光 流参数特征。通过上述两个特征来建立隐马尔可夫模型( h m m ) ，利用正常视频 序列训练单个h m m ，最终通过视频序列中的阈值概率实现异常行为的探测。t a o x i a n g 等人h 们提出了一套渐进自适应模型，用来学习视频监控场景中的在线异常检 测。首先使用引导数据集进行模型初始化，使用似然比检测( l r t ) 实现在线的异 常检测，最后使用基于渐进最大期望( e m ) 学习和模型自适应方法实现模型的在 线更新。从而使该方法可以实现完全无监督的学习、鲁棒性的异常检测、实时在 线监控、适应复杂背景的变化等功能。t h iv d u o n g 等人嘞1 提出了转换隐半马尔可 夫模型( s w i t c h i n gh i d d e ns e m i m a r k o vm o d e l ，s h s m m ) ，用来实现行为的识别和 异常探测。s h s m m 是一个两层的扩展h s m m ，用来实现建模任务。 2 、密度检测和人数统计 在视频监控中，准确的估计监控场景中的人员密度具有很高的实用价值和应 用空间。在交通控制领域，准确的行人密度检测，可以提高交通的安全性和吞吐 量。监控场景中的人数统计，也有广阔的应用空间。例如，对学校或公共场所进 行人员密度和人数统计，可以帮助职权部门标定非安全区或规范同常交通。通过 长时间的人数统计，可以应用到环境的规划，地铁、人行道的设计等领域嗡。 h r a h m a l a n 等人瞄2 5 3 3 利用灰度级依赖矩阵( g r e yl e v e ld e p e n d e n c ym a t r i x ) 、 m i n k o w s k i 分形维度( m i n k o w s k if r a c t a ld i m e n s i o n ) 和平移不变式正交切比雪夫 矩( t r a n s l a t i o ni n v a r i a n to r t h o n o r m a lc h e b y s h e vm o m e n t s ) 来完成图像的特征抽取， 对得到的特征值利用自组织图( s e l fo r g a n i z i n gm a p ) 进行密度分类。p r a h l a d k i l a m b i 等人h 刚开发了一套能够对人行道监控环境中个人和人群进行跟踪和人数统 计的系统，利用几何预测( g e o m e t r i cp r o j e c t i o n s ) ，正常行人问会保持一定距离的 先验知识，融入摄像头标定，最终实现了鲁棒的行人跟踪和人数统计。 6 引言 1 3 本文的主要工作和内容安排 复杂监控场景下准确的运动目标检测和鲁棒性的目标跟踪，是整个智能视频 监控系统的关键，也是实现更高层行为理解与描述的基础。本文研究的对象是复 杂环境下固定摄像头的监控场景，研究内容主要有复杂场景中的运动目标检测和 目标的跟踪。通过分析各运动目标检测算法，结合各算法的优缺点和实际应用环 境的需求，本文研究了背景减除的运动区域检测方法和基于多高斯分布背景估计 的运动区域检测方法。在目标跟踪方面，主要研究内容包括粒子滤波理论及其实 现方法，利用粒子滤波理论来解决目标跟踪问题，构建基于粒子滤波的跟踪框架。 并提出了基于颜色和纹理双重信息融合的目标跟踪算法，完成了目标的鲁棒性跟 踪。 本文各章的内容的安排如下： 第一章引言论述了课题开展的背景和研究意义，对智能视频监控技术研究的 发展、现状及主要研究做了简要的阐述，同时对论文的结构进行介绍。 第二章深入研究了运动目标检测的技术。首先分析了当前目标检测技术中的 相关算法，并对各自的优缺点进行了分析和比较。文中提出了融入阴影检测和混 合高斯模型的目标检测算法，对目标检测结果进行建模，为后续跟踪提供了准确 有效的输入。通过实验验证了混合高斯模型在处理多模态背景时的有效性。 第三章深入研究了粒子滤波算法理论，并介绍了粒子滤波理论在目标跟踪领 域的应用。针对现有粒子滤波算法多采用手动选取待跟踪目标的缺点，本文提出 了自动建模的粒子滤波跟踪算法。通过m a t l a b 进行算法仿真，采用p e t s 2 0 0 6 通 用测试视频进行试验，跟踪结果显示粒子滤波算法对于非刚体的人的跟踪有很好 的鲁棒性。 第四章提出了基于颜色和纹理双重信息融合的目标跟踪算法。算法中融合了 颜色和纹理双重信息，既保证了颜色对非刚性目标的鲁棒性，又增加了纹理对运 动目标的平移、旋转、放缩等变换的鲁棒性。此外纹理对亮度变化不敏感，也使 该算法更能适应复杂的监控场景变化。通过m a t l a b 进行算法仿真，实验显示双重 信息融合的跟踪算法，对颜色变化有很好的鲁棒性。 第五章对本文研究内容进行了总结，并对下一步工作进行了展望。 7 北京交通人学硕+ 论文 2 复杂环境下运动目标检测技术研究 本章首先对帧间差分、背景减除和光流法三种运动检测算法进行研究，讨论 各方法的原理，分析、比较了各自的优缺点，并对背景模型的建立进行深入的分 析。文中提出了复杂环境下基于混合高斯背景模型的运动目标检测算法，并在算 法中融入了阴影检测以消除运动阴影给后续跟踪带来的影响，最后介绍了运动目 标位置确定的相关算法，为后续章节跟踪算法提供了有效的输入模型。文中通过 实验验证了混合高斯模型在处理多模态背景时的有效性，并对实验结果进行了总 结和分析。 2 1运动目标检测技术概述 运动目标检测( m o v i n g - o b j e c t i v e sd e t e c t i n g ，m o d ) 是指将序列图像中变化区 域从背景中分割出来。m o d 的基本任务是从图像序列中检测出运动信息，得到所 需的运动矢量，从而为后继的跟踪建立模型，完成跟踪和识别的最初处理。m o d 是智能视频监控中最重要的实现步骤和组成部分之一，是计算机视觉、目标识别 与跟踪、模式识别、运动图象编码、基于内容的检索、安全监控等领域的重点与 难点，在交通、国防和工业等领域有着广泛的应用前景。然而，由于监控场景的 多样性，给复杂场景下的运动目标检测带来了极大挑战。这些影响因素包括：天 气和光照的变化、背景混乱运动的干扰、运动目标的影子及摄像机的运动等。由 于对运动目标的检测与分割影响着运动目标能否被正确跟踪与分类，因此准确的 m o d 算法研究仍是智能视频监控系统研究的重要课题之一。 现有的视频运动目标检测方法主要分为三类，且各有优缺点，下面分别进行 概要性说明。 2 1 1帧间差分 在图像序列中，通过逐像素比较可直接求取前后两帧图像或相邻几帧图像之 间的差别。帧间差分【2 3 。2 5 】就是利用图像序列中连续两帧或几帧图像的差异来进行 运动检测的，即对图像序列中时间上相邻的两幅图像求绝对差，然后用一个阈值 判断变化的区域。 假设k 帧和k 1 帧图像分别为f i c ( i j ) 和f i c 1 ( i ，j ) ，则他们的差分图像为： d 。( i ，j ) - - i y k ( i ，) 一以一。g ，j 】 ( 2 1 ) 复杂环境下运动目标检测技术研究 式中( i ，) 表示离散图像坐标。 对上述得到的差分图像，通过一个阈值t 来判断图像中的各个像素点是前景 像素( 运动目标) 还是背景，从而提取运动区域的图像m 。( f ，j ) 。 m k ) = 蝴三； ( 2 - 2 ) 为处理方便，常常将差分的结果二值化，这种二值图象称作掩膜( m a s k ) ，并 对掩膜图像进行连通性分析和数学形态滤波。当连通的区域面积大于某一给定的 阈值，则检测到目标，并认为该区域就为目标所占的区域。 基于帧间差分法的运动目标检测的主要优点是： 算法实现简单； 程序设计复杂度低； 易于实现实时监控； 由于相邻帧的时间间隔较短，因此该方法对场景光线变化不敏感，受目标 阴影的影响也不大。因此，帧间差分法对动态环境有较好的适应性。 然而，在实际的复杂监控场景应用中，目标检测的结果往往不令人满意，其 主要问题是：当目标表面存在大的灰度均匀的区域时，帧间差分法将在目标的上 述区域产生“空洞 而使目标被分割成多个区域，即只能检测出运动目标的一部 分；另外由于目标的运动，前一帧被遮挡的一部分背景在当前帧中将显露出来， 从而使这部分背景也被分割进目标区域；同时这种方法所检测到的运动区域的大 小是与目标的运动速度有关的，目标运动速度越大，检测出的区域就比实际的区 域越大，而当目标运动很缓慢时，往往检测到的区域很小，甚至无法检测到目标 的运动( 相邻两帧之间几乎无变化) 。在实际的智能视频监控系统中，希望提取的 目标尽量接近目标的真实形状，或者说，提取的目标应该是完整的，同时应该尽 量少的包括背景图像。 2 1 2光流法 光流法检测运动目标的基本原理是：给图像中的每一个像素点赋予一个速度 矢量，这就形成了一个图像运动场，在运动的一个特定时刻，图像上的点与三维 物体上的点一一对应，这种对应关系可由投影关系得到，根据各个像素点的速度 矢量特征，可以对图像进行运动动态分析【2 6 2 7 】。如果图像中没有运动目标，则光 流矢量在整个图像区域是连续变化的，当物体和图像背景存在相对运动时，运动 物体所形成的速度矢量必然和邻域背景速度矢量不同，从而检测出运动物体的位 9 北京交通人学硕士论文 置。当物体运动时，图像上对应物体的亮度模式也在运动，则光流是指图像亮度 模式的表观运动。使用“表观运动 的主要原因是光流无法由运动图像的局部信 息唯一确定。例如，亮度比较均匀的区域或亮度等值线上的点都无法唯一的确定 其点的运动对应性，但是运动时可以观察到。这说明了光流与运动场不一定是唯 一对应的，即有光流不一定就是物体运动产生的，反之物体发生了运动也不一定 会产生光流。但一般情况下，可以忽略表观运动和物体真实运动之间的差异，用 光流场来代替运动场，分析图像中的运动目标及其运动参数。 基于光流法的运动目标检测方法，可以很精确的计算出运动目标的速度，并 且在摄像机存在运动的情况下也能检测出运动目标。但是这种方法采用迭代方式 来求解，需要很长的计算时间，因此无法满足实际监控条件下的实时性要求。此 外，该方法受噪声的影响较大，因而它多适用于图像噪声比较小，目标运动速度 不大的情况。 2 1 3背景减除 背景减除法是目前视频运动分割中尤其是视频监控中最常用的一种方法，它 的基本思想是将输入图像与背景模型进行比较，通过判定狄度特征的变化，或用 直方图等统计信息的变化来判断异常情况的发生和分割运动目标。传统的背景减 除法包括三个步骤：首先，为背景中每个像素点进行统计建模：然后，将当前图 像和背景模型进行比较，找出在一定阈值限定下当前图像中出现的偏离背景模型 值较大的那些像素点，据此，再对图像进行二值化处理，从而得到前景像素集合 ( 运动对象) ；此外，模型还要进行周期性的背景更新以适应动态场景变化。背景 减除可用如下公式表述： d g ，f ) = i ，o ，f ) 一b ( f ，歹，t ) l 毗f ) - 怯 d ( f ，j ，f ) 刀l d ( f ，j ，f ) 刀1 ( 2 - 3 ) ( 2 4 ) 其中：d ( f ，歹，f ) 表示差值图像，1 ( ，j ，f ) 表示当前捕获的视频图像，b g ，j ，f ) 表示 背景图象，d ( i ，f ) 表示目标运动图像，t h 是二值化时的阈值。通过将图像序列和 参考背景模型相减束检测运动目标，能检测出和运动目标相关的所有像素点，但 对于外界环境的变化( 如光照、外来事件等) 非常敏感，因此背景减除法的难点 在于如何建立背景模型和维持背景，以适应实际环境中的变化( 光线的变化，场 景中物体的移入移出问题，树枝摆动等) 。 研究人员也提出了一些解决办法，如采用隔一段时间更换一幅背景图象，以 1 0 复杂环境下运动目标检测技术研究 增加系统的自适应性。例如h a r i t a o g l u 1 】等利用最小、最大轻度值和最大时间差分 值为场景中每个像素进行统计建模，并且进行周期性地背景更新；k a r m a n n 与 b r a n d t 2 引、k i l g e r 2 9 】采用基于卡尔曼滤波( k a l m a nf i l t e r i n g ) 的自适应背景模型以 适应天气和光照的时间变化；s t a u f f e r 与g r i m s o n 3 0 】利用自适应的混合高斯背景模 型( 即对每个像素利用混合高斯分布建模) ，并且利用在线估计来更新模型，从而 可靠地处理了光照变化、背景混乱运动的干扰影响。但是该方法开始的背景学习 过程