（控制科学与工程专业论文）基于异常行为辨识的智能监控技术研究.pdf

基于异常行为辨识的智能监控技术研究 摘要 随着上世纪末开始的信息技术高速发展，并受本世纪初西方国家的一系列恐怖 袭击事件的影响，视频监控技术得到了迅速发展。在重要的公共场所，如火车站、 广场、机场等，安装了越来越多的摄像头以加强安全防范和市政管理。据路透社报 道，在英国约有4 2 0 万个摄像头被安装在建筑物、商店、街道和火车站等地方，而且 数量在不断增长。在我国，随着奥运会、世博会等大型活动的举行和“平安城市 等大型城市信息化工程的推进，摄像头数量也呈指数增长。 传统监控系统有两大限制：第一，传统监控系统严重依赖人工的分析和决策。 而人能有效监控摄像头的数量和时间都是有限的，传统监控系统的稳定性和可靠性 存在问题。第二，传统监控系统的实时性有限，很多情况下只能用于事后取证，不 能实现实时报警。因此，如何提高监控系统的智能性和实时性，是科研人员亟待解 决的问题。 本文从传统视频图像处理方法和人工智能方法出发，以监控场景中行人的异常 行为辨识为核心任务，研究智能监控技术的关键算法和系统实现。本文的主要贡献 在以下三个方面：第一，提出了实现不同情况下异常行为辨识的多种方法，并用这 些方法解决了监控技术中几类常见异常行为的辨识问题。第二，将机器学习方法( 主 要是监督学习中的支持向量机方法) 应用于智能监控系统，提高了系统的智能性和 实时性。第三，设计并实现了以音频信号和多种传感器信号辅助视频信号的多模态 智能视频监控系统。实验和演示系统验证了本文方法的有效性。 关键词：异常行为辨识；视频监控；机器学习 本论文得到了香港特别行政区政府香港研究资助局重点科研项目“用于监控的人类行为建模与分 析”( c u h k4 1 6 3 0 3 e ) ，中国科技部国际科技合作计划的课题“智能家庭服务监控机器人”( n o 2 0 0 6 d f b 7 3 3 6 0 ) 和国家重点基础研究发展计划( 9 7 3 计划) 的课题“基于视觉信息的环境感知与目 标识别关键技术”( n o 2 0 0 7 c b 3110 0 5 ) 的资助。 i n t e l l i g e n ts u r v e i l l a n c eb a s e do nh u m a n a b n o r m a lb e h a v i o ri d e n t i f i c a t i o n a bs t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g ys i n c el a t el a s tc e n t u r ya n d p r o m p t e db yas e r i e so ft e r r o r i s ta t t a c k so ns o m ew e s t e r nc o u n t r i e se a r l yt h i sc e n t u r y ， v i d e os u r v e i l l a n c et e c h n o l o g yh a sw i t n e s s e daf a s tg r o w t h i ns o m ei m p o r t a n tp u b l i c p l a c e ss u c ha ss u b w a y s ，r a i l w a ys t a t i o n s ，s q u a r e s ，a i r p o r t s ，b a n k se t c m o r ea n dm o r e s u r v e i l l a n c ec a m e r a sh a v eb e e ni n s t a l l e dt oe n h a n c es e c u r i t ya n dm u n i c i p a lm a n a g e m e n t i t i sr e p o r t e dt h a ti ne n g l a n da l o n e ，m o r et h a n4 2m i l l i o ns u c hc a m e r a sh a v eb e e n i n s t a l l e di nb u i l d i n g s ，s t o r e s ，s t r e e t sa n ds t a t i o n s ，s t i l lm o r ei n s t a l l a t i o n sa r eu n d e rw a y i n o u rc o u n t r y ，w i t ht h ea p p r o a c h i n go fs u c hg r e a te v e n t sa s t h eb e i ji n go l y m p i c sa n d s h a n g h a iw o r l de x p oa n dw i t hs u c hs e c u r i t yp r o je c t sa s ”t h es a f ec i t y ”g o i n go n ，t h e n u m b e ro fs u r v e i l l a n c ec a m e r a si nc i t i e si sg r o w i n ge x p o n e n t i a l l y t r a d i t i o n a ls u r v e i l l a n c es y s t e m sh a v et w ol i m i t a t i o n s o n ei st h e i rh e a v yd e p e n d e n c e o nt h eh u m a n sf o ra n a l y s i sa n dd e c i s i o nm a k i n g l i m i t e db yh u m a np h y s i o l o g i c a l c o n d i t i o n s ，p e o p l ec a no n l yw a t c ho v e ral i m i t e dn u m b e ro fs u r v e i l l a n c es c r e e n sf o ra l i m i t e dp e d o do ft i m e t h eo t h e rl i m i t a t i o ni st h e i ri n s u f f i c i e n c yo fr e a l t i m e n e s s i nm a n y c a s e s ，t h ev i d e of o o t a g ec a nb ea n a l y z e dr e t r o s p e c t i v e l yi np l a y b a c ko n l yf o re v i d e n t i a l p u r p o s er a t h e rt h a nf o rr e a lt i m ea l e r t t h e r e f o r e ，ac r u c i a lp r o b l e m t ob es o l v e di sh o wt o e n h a n c et h es m a r t n e s sa n dr e a l t i m e n e s so ft h es u r v e i l l a n c es y s t e m s t a r t i n gf r o mt h et r a d i t i o n a lv i d e oi m a g ep r o c e s s i n ga p p r o a c h e sa n dc e n t e r e do nt h e d e t e c t i o no fp e d e s t f i a n sa b n o r m a l i t i e si nt h em o n i t o r e ds c e n e ，t h ep a p e rr e s e a r c h e si n t o t h ek e ya l g o r i t h m sf o rs m a r ts u r v e i l l a n c et e c h n o l o g ya sw e l la ss y s t e mr e a l i z a t i o n t m s p a p e r c o n t r i b u t e sm a i n l yi nt h ef o l l o w i n gt h r e ea s p e c t s ：1 ) p r o p o s i n gt h r e ew a y st or e a l i z e d e t e c t i o no fa b n o r m a lb e h a v i o ru n d e rv a r i o u sc i r c u m s t a n c e sa n du s i n gt h e mt os o l v e s e v e r a lc o m m o n l ys e e ns u r v e i l l a n c ep r o b l e m si nt e r m so fa b n o r m a lb e h a v i o rd e t e c t i o n ；2 ) a p p l y i n gt h em a c h i n el e a r n i n gm e t h o d t ot h es m a r ts u r v e i l l a n c es y s t e m ，t h u se n h a n c i n g i t ss m a r t n e s sa n dr e a l t i m e n e s s ；3 ) d e s i g n i n ga n dr e a l i z i n gam u l t i - m o d es m a r tv i d e o s u r v e i l l a n c es y s t e mu s i n ga u d i os i g n a l sa n dm u l t i p l es e n s o rs i g n a la u x i l i a r yv i d e o s t h e d e m o n s t r a t i o na n ds y s t e mf o r m u l a t i o np r e s e n tt h ev a l i d i t yo ft h ea p p r o a c h e si nt h i sp a p e r k e y w o r d s ：a b n o r m a lh u m a nb e h a v i o ri d e n t i f i c a t i o n ；v i d e os u r v e i l l a n c e ； m a c h i n el e a r n i n g t h i sd i s s e r t a t i o ni ss u p p o r t e db yt h eg r a n t sf r o mt h er e s e a r c hg r a n t sc o u n c i lo f t h eh o n g k o n g s p e c i a la d m i n i s t r a t i o nr e g i o n ( m o d e l i n ga n da n a l y s i so fh u m a n a c t i o n sf o rs u r v e i l l a n c e ，p r o j e c t n o c u h k4 16 3 0 3 e ) ，i n t e r n a t i o n a ls & tc o o p e r a t i o np r o j e c t s ，m i n i s t r yo f s c i e n c ea n dt e c h n o l o g y , t h ep e o p l e sr e p u b l i co fc h i n a ( i n t e l l i g e n th o m es e r v i c ea n ds u r v e i l l a n c er o b o t , p r o j e c tn o 2 0 0 6 d f b 7 3 3 6 0 ) ，a n dn a t i o n a lb a s i cr e s e a r c hp r o g r a mo fc h i n a ( 9 7 3p l a n ) ( k e yt e c h n o l o g i e si n v i s i o n b a s e dc i r c u m s t a n c ep e r c e p t i o na n d0 b j e c tr e c o g n i t i o n ”p r o j e c tn o 2 0 0 7 c b 3l 10 0 5 ) i i i 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权上海交通大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在一年解密后适用本授权书。 本学位论文属于 i 不保密叫 ( 请在以上方框内打“”) 学位论文作者签名： 日期：扩叶年p 月。g 日 指导教师签名 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工 作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集 体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已 在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期溯年阳月口猡日 1 i 引言 第一章绪论 随着闺内外社会经济的不断发展和城市化进程的1 i 断推进，城市的治安、消防和 交通等成为市政管理和建设的t 要任务，而视频监控系统( 后文简称监控系统) 在 这个过程中发挥了越来越大的作用。尤其是在“9 1 1 事件和“伦敦地铁爆炸帮似后， “反恐”成为争球共同关注的问题，视频监控系统作为重要的防范工具，已经被广泛 应用到公共安仝、交通、银行等重要部川1 。i 。时信息技术的高速发展如通信、 计算机、人工智能和传感器技术等，也为监控技术的快速进步提供了保证1 。正如同 论文1 4 叫所描述的一样现代社会逐渐成为了一个“监控无所不在( s u r v e i l l a n c e e v e r y w h e r e ) ”的社会。 m tl 监控无所不住的社会( 以上图片由作者自互联网上收集) 第一帝绪论 现有的监控系统依靠专人职i h 对视频显示器进行人工监视。据报道， 个工 作人员能同时有效监视的视频路数不超过1 6 个，若需要监控的范围较大，当摄像头 数以千计时，很难靠增加 工柬有效监控和提高教率：而且，长时间监控会引起监 控者视觉疲劳和注意力下降，易造成报警不准确、不及时甚至错报、漏报等问题( 详 见茭阿“旧家地理杂志”电视台关于视频监控技术的专题节目“s c i e n c eo f s u r v e i l l a n c e ”) 。人工监控方式的种种弊端，是传统监控系统进步发展的主要限制。 图12 传统监控系统的人= 监视方式( 以上图片米自a x i s 公司网站) 除了人工监视之外，传统监控系统主要功能是用于对视频记录。这使得传统视频 监控系统只能在事故发生之后用于取证、调查和研究，而无法在事发时预警。事实 上，后期在大量的视频资料中甄选可以用于证据的工作也是极为耗时的。这无法满 足公安、银行、交通等安全敏感的部门对视频监控提出的安防要求。 本文研究的智能监控技术，就是为了解决上述人工监控系统的弊端和提高现有传 统监控系统的效率而提出的。基于人工智能技术所建立的智能监控系统，借助计算 机强大的信息处理功能，对监控视频进行分析，实时辨别监控场景中行人的异常行 为，以实时可靠的方式为监控者提供有用的关键信息，并最大限度降低误报和漏报 现苏。 第一章绪论 1 2 本文研究背景 如上所述，本文主要研究以行人为目标的智能监控技术。这是计算机视觉和人 工智能交叉的一个新研究方向。在过去的几十年，监控技术的研究工作主要集中在 视频流分析方面 4 , 7 9 1 。最近，行为辨识逐渐成为计算机视觉领域的重要研究方向【1 0 1 2 】。 从算法上来分，视频领域的行为辨识方法主要可分为基于图像特征的方法和基于模 型匹配的方法。 1 2 1 基于图像特征的方法 这一类方法主要是从传统的图像处理领域发展而来。在现有的研究中，主要用 到的图像特征是纹理和光流。 处于公共安全需要，监控系统需要对拥挤环境中的群体行为进行监控。到目前 为止，这方面的研究主要是基于纹理分析进行的。y m 【1 6 5 j 和他的同事在世界上较早 开始用图像处理方法广泛研究人群监控的研究团队。在他们的研究中考虑了很多问 题，例如人群计数，用纹理分析方法来进行人群建模和人群当中的行为建模。也有 一些文献专门从纹理分析的角度来解决人群建模的问题【1 6 6 1 ，这是由于当人数增加的 时候，人群的纹理的模式会发生变化。m a r a n a 在 1 8 1 9 】中讨论了用纹理进行群体密 度估计的方法，他在文章中也介绍了分形的方法但是没有足够的实验数据来支撑他 的观点。他们只是考虑了静态的纹理信息而没有考虑和尺度无关的条件。w u 开发了 一个与尺度无关的人群监控系统，但是系统的处理速度没有达到实时的要求【1 6 7 1 。有 些文章用了一些动态纹理分析的方法来判定一些异常的纹理模式。s o a t t o 介绍了一个 混合动态纹理的处理方法，他用了系列的动态纹理的序列来对视频序列进行建模 【1 6 8 1 。一个基于神经网络的群体行为预测系统使用灰度信息和纹理信息作为训练的 特征。因为透视图的扭曲使得像素密度的相关性表现出非线性，这些方法不能保证 高精确性。 光流( o p t i c a lf l o w ) 被广泛的用于计算机视觉任务中，如人脸识别、步态建模、 第一章绪论 物体跟踪等 1 0 6 - 1 0 8 】。目前所用的两种主要光流算法是h o r n s c h u n c k 算法和 l u c a s k a n a d e 算法【1 0 9 1 。h o m - s c h u n c k 算法有更光滑的光流、全局信息和精确的时间 微分，但是相对较慢而且有不光滑的边界轮廓。l u c a s k a n a d e 算法的边界错误较多， 但算法较简单可以快速计算。a n d r a d e 采用了光流的方法来检测复杂环境里的人的异 常行为，用光流结合隐含马尔科夫模型来直接对动态序列进行分类1 6 9 】。但是，他们 没有对光流做一些预处理和后处理的工作，这在人群建模当中是很重要的。而且他 们用的数据库也不是标准的数据库。 基于图像特征的方法的优点是计算速度较快，在一般场景中可以保证实时性。 该方法的不足之处在于，它无法处理较复杂的场景，很难用来提高监控系统的智能 性。 1 2 2 基于模型匹配的方法 在大多数相关报告中，行为辨识主要围绕着行人的单一行为进行，例如对行为 类型的辨识和路径跟踪【1 3 】。其它方法包括用隐马尔科夫模型( h i d d e nm a r k o vm o d e l s ， h m m ) 来做行为分类1 4 1 ，用一系列的姿态和速度矢量来表示单人行为15 1 ，学习动作 和肢体语割16 1 ，用贝叶斯网络进行监控【1 7 1 等，这些研究中已经涉及到一些人工智能 方法。 在【2 】中，头顶的轮廓信息被用来检测互相重叠的像素块中的人数以及分割像素 块。l i n 用了人头相似的轮廓来复杂环境里面人的个数【1 7 0 1 。作者假设场景里入的个数 等同与检测到人头的个数。这也是基于在一般的场景人头不容易被遮挡，因而很容 易检测。 g i s n l u c a 用了一个不同的方法来处理人群建模的问题【1 7 1 1 。他们认为先验知识在 人群建模中是很重要的，可以增加人群建模的稳定性和灵活性。他们引入了针对路 人行为的离散选择模型，可以在很复杂的环境下提高行人建模的稳定性。还有研究 者从计算机图形学入手，采用仿真方法来模拟大量行人的群体行为【2 4 1 1 7 2 。他们采用 了人的特定的运动模型来对特定场景下的人群的运动进行仿真。这项动作对用视觉 4 第一章绪论 方法来处理人群建模也有很大的借鉴意义。b e n j a m i n 介绍了一个可以根据行人和车 辆的运动模型同时检测人群和车辆的系统1 7 3 1 。 基于模型匹配方法的不足之处在于，这类方法需要大量的先验知识来构建模型， 而构建出来的模型在场景适应性和实时性上都存在缺陷，这在分析群体异常行为时 尤为突出。 1 2 3 其它研究工作 c h o 用了像素点计数和人工神经网络的方法来对人群的规模进行估计【1 7 4 】。也有 一些文章利用了水流的特征来处理人流，特别是当人数特别多的环境。c o r p e t t i 介绍 了一种用图像处理的方法估计水流深度的方法，认为在图像序列里面估计水流深度 是一个很复杂的问题，传统的计算机视觉的方法可能会产生很多问题【1 7 5 1 。 目前已经有一些视频监控系统可以检测和跟踪行人，比较著名的系统如 4 】中的 w 4 、【2 中的t i 系统和 6 】中的跟踪系统等。w 4 的系统是一个实时的智能视频监控系 统，可以在室外的环境里检测和跟踪多个人的活动。这个系统用了使用的是红外摄 像机，以灰度图像作为系统输入。w 4 系统结合了形状分析与跟踪来定位人的位置以 及人的其他部位的位置，例如头，手，脚和胳臂。而且在这个系统里面采用了人的 表面纹理的模型，这样他们就可以在被遮挡的时候也可以被跟踪到。这类系统的跟 踪精度严重依赖图像分割的准确性，遮挡问题是这类系统的主要障碍。 除此之外，还有一些工作针对具体应用问题进行研究。例如，自动对进入特定 区域的人数进行统计【2 5 。2 6 】。在 2 7 】中讨论了停车场的监控问题。另外，还有一些公司 在进行智能监控系统方面的研发，如以色列的i o i m a g e 公司开发了以色列军方的以阿 边境安全监控系统，美国的o b j e c t v i d e o 公司和德州仪器公司共同推出了多路视频监 控的专用芯片，它们的研究重点在稳定性和可靠性方面，所涉及的智能监控算法和 新技术并不多。 第章绪论 1 3 本文研究目标 本文主要有以下三个研究目标： 第一，深入研究异常行为辨识和监控问题。异常行为辨识是智能监控系统的主 要任务。异常行为的定义和描述是个难点，本文将从实际应用出发，解决几类常见 的重要的异常行为辨识问题。 第二，将机器学习等人工智能技术用于监控系统。这是提高传统监控系统智能 性的主要途径。本文基于学习的方法，训练智能监控系统辨识行人的各种行为，使 其初步具备识别异常行为的能力，以减少监控系统对人工的依赖，提高监控系统的 鲁棒性和实时性。 第三，针对智能监控系统的需求，对传统方法进行改进，或者提出几项新方法。 传统的视频监控系统是将监控视频简单看成帧图像的组合。这忽视了视频不同于图 像组的丰富的上下文信息。另外，智能监控系统希望减少甚至消除人工参与，这把 许多原来人眼可以实现的功能留给了智能监控系统，如背景的自适应处理，标定问 题等，这些也是本文的研究目标。 1 4 本文层次结构 本论文的主要内容和结构安排如下： 第二章提出适用于智能监控系统的快速标定算法和鲁棒背景建模算法。这两个 算法是本文后面章节中异常行为辨识方法和智能监控系统实现的前提和准备。 第三章介绍基于跟踪的异常行为辨识方法。在这一章中，作者提出了用于鲁棒 跟踪的混合跟踪算法。在跟踪基础上，作者解决了出入口的人数统计与异常行为辨 识问题和多人行为辨识问题。 第四章介绍基于学习的异常行为辨识方法。其中，为了解决拥挤环境下的异常 行为监控问题，作者在光流特征的基础上提出了运动约束，并通过对行人人体像素 6 第章绪论 块的学习，实现了拥挤的大型公共场所中的人数估计。 第五章提出基于能量的群体异常行为辨识方法。其中介绍了两种不同能量描述 方式的定义、能量计算公式推导以及算法验证实验。在分析能量曲线时，作者引入 了小波分析的方法。 第六章设计并实现了多模态智能监控系统。通过在实验室搭建的2 4 d 时自助银 行仿真环境，作者还应用和验证了本文前面章节中提出的多种异常行为辨识和监控 技术。 第七章对本文研究工作进行总结，并讨论本文的创新点和作者的研究展望。 1 5 本文项目来源 本文最初的项目来源是香港特别行政区政府香港研究资助局资助的重点科研项 目“用于监控的人类行为建模与分析”( 项目编号c u h k4 1 6 3 0 3 e ) 。之后，本文第六章 的异常声音辨识部分得到了中国科技部国际科技合作计划的课题“智能家庭服务监 控机器人”( n o 2 0 0 6 d f b 7 3 3 6 0 ) 的支持，多模态智能监控系统得到了国家重点基础研 究发展计划( 9 7 3 计划) 的课题“基于视觉信息的环境感知与目标识别关键技术”( n o 2 0 0 7 c b 3 1 1 0 0 5 ) 的支持。 7 2 1 引言 第二章快速标定与鲁棒背景建模 在使用监控视频进行异常行为监控之前，需要做的两项准备工作是标定和背景 建模。标定和背景建模也是计算机视觉领域的两个基本问题，目前已被广泛地应用 到监控系统中。而监控对象运动的复杂性( 以行人为主) 、应用场景的多变性和有限 的摄像头精度等因素，降低了传统的标定算法和背景建模算法在监控系统中的有效 性和可靠性。为此，本章对传统算法进行改进和优化，提出了快速标定算法和鲁棒 背景建模算法。下面作者将详细讨论这两种算法。 2 2 快速标定 2 2 1 标定问题描述 实现智能监控的前提，是监控系统能够正确理解二维视频帧图像与三维真实场 景之间的对应关系，这就是标定的任务【2 8 - 2 9 1 。视频帧图像中的每个像素点是通过透 射投影得到的，与真实场景中的对应点通过一条射线连接，标定就是确定这条射线 在场景绝对坐标系中的方程。 如前所述，标定是计算机视觉领域的一个传统问题，已有多种方法。按照标定 的内容，标定方法可分为外部标定( 用于刚体变换的非固有参数标定) 和内部标定 ( 摄像机自身固有参数的标定) 3 0 o 摄像机的线性模型不考虑镜头畸变，准确性欠 佳；非线性模型摄像机标定，考虑了畸变参数，引入了非线性优化，但方法较繁， 速度慢，对初值选择和噪声比较敏感，而且非线性搜索并不能保证参数收敛到全局 最优解【3 l 】。按照是否需要标定参照物来看，标定方法可分为传统的标定方法( 需要 特定的标定参照物或标定设备) 和摄像机自标定方法( 不需要标定参照物) 。常用的 标定参照物有立体参照物和平面参照物两种形式。使用立体参照物的例子，如c a o 第二章快速标定与鲁棒背景建模 在【3 2 】用到了镜面对称物体，z h a n g 在 3 3 1 0 0 提出的通过多个球体进行标定的方法。 印有棋盘格、网格或者点状物的平面模板，是最常见的平面参照物，如z h a n g 在 3 4 】 中使用有方块图的平面模板进行标定。此外，平面参照物也常采用矩形和二次曲线 ( 圆和椭圆) 的图案，如k i m 在 3 5 】中提出一种通过圆形图案进行摄像头标定的方 法。需要特制的标定设备的标定方法，如s h e n 在【3 6 】中使用一种坐标测量机 ( c o o r d i n a t em e a s u r i n gm a c h i n e ) 。自标定方法虽然不需要特制的标定参照物，但需 要比较长时间的数据分析，例如在 3 7 0 0 需要对道路的长时间观察；而l v 在 3 8 1 中 提出的根据行人的身高来进行标定的方法，也需要较长时间以提高对身高估计的精 度。此外，有些方法虽然对标定参照物或标定设备没有具体的要求，但是需要规定 被标定摄像头的拍摄方式和角度，如在 3 9 4 0 所提出的方法，要求摄像头必须围绕 拍摄目标旋转。按照摄像头所采用的计算模型，标定方法还可分为线性标定和非线 性标定。除了对单摄像头的标定，还有对多摄像头标定的方法，如c h e n 在 4 1 0 0 提 出了一种多摄像头的动态标定方法，可以在多摄像头的配合下，通过提取和跟踪画 面中的特征点实现运动后的多摄像头重新标定。 以上多种方法并不适用于本文所要研究的智能监控系统。面对大量的监控摄像 头，传统的标定方法虽精度较高，标定参照物不容易制作，且需要对标定参照物表 明的特征点进行精确捕捉，使得这类方法难以在监控系统得到广泛应用。本文希望 解决的问题是固定安装的单目摄像头，在视频帧图像清晰度有限的条件下，如何实 现快速标定，使得监控系统即装即用。事实上，大量的由于视频监控系统主要针对 有人活动的公共场所设计，这类场所中通常有较为平整的地平面，而这给标定过程 中世界坐标的建立提供了便利。作者注意到，z h a n g 在 4 2 0 0 提出了一种基于一维参 照物的方法，可以根据固定了一个端点的标尺进行摄像机标定。受以上研究的启示， 作者提出了一种适用于监控系统的快速标定方法，只需使用一根标杆( 也可以是已 知高度的短杆或者场景中的线段) ，即可实现摄像头的标定。该方法采用的标定参照 物便于获取和携带，不需要固定位置可以随意放置，使用线性模型，对视频帧的清 晰度要求不高，非常适合本文针对的智能监控系统。 9 第二章快速标定与鲁棒背景建模 2 , 2 2 三种坐标系及其关系 世界坐标系( l ，匕，乙) ：也称真实坐标系或全局坐标系，是客观世界的绝对坐 摄像头坐标系( 丘，匕，z c ) ：以摄像头的小孔成像模型的聚焦中心为原点，以摄像 i = 专力列习 ， 融三 摄像机坐标系一世界坐标系( 其中r 为旋转矩阵，为平移矩阵) ： 1 0 ( 2 2 ) t儿乙 厂_fiiiii也 第二章快速标定与鲁棒背景建模 x c y c z c l = 瞄 ( 2 3 ) 通过上述坐标变换，可以得到世界坐标系与图像像素坐标系的对应关系如下： h y 。 乙 1 ( 2 4 ) l u = u 上立一y d c o t 0 其中， 出出 ，物体的物理尺寸为( x d y d ) ，对应的像素坐标尺寸为 i 忙v o + 面y d 2 2 3 快速标定算法描述 本文提出的快速标定算法，首先要得到消失线( v a n i s h i n gl i n e ，参见 4 3 】) 。具 体操作，先通过在世界坐标中的标杆，得到图像中垂直于地面的的3 根标定线。由 于操作的误差，图像平面坐标中三根标定线的延长线两两相交，将得到3 个交点。 计算3 个交点构成的三角形的内接圆心，即可得到世界坐标中摄像头在图像像素坐 标系中的投影点a 点的估计坐标。三根标定线分别构成的三个两两相交的平面，如 图2 1 所示。 得到图像中的摄像机投影点a 之后，可以得到垂直标杆在图像像素坐标系的倾 斜角。在图2 1 中的a b c d 直线上，作者通过摄像头投影点a 点和标杆下端投影点 b 点分别做水平参照线，通过平行同位角关系，可知垂直标杆b c 的在图像中的倾角 与a 点处的角度相等，即： w w w x 少x 1 厂iiiil 足 鳓饰， 秒秒m m 煮。 统0 o _。_一 = 乙 第二章快速标定与鲁棒背景建模 p = p t ( 2 5 ) 上式也即为经过标定后的视频帧图像中的垂直物体( 这里作者把被监控的直立和行 走的行人近似看成垂直于地面) 在图像中的投影的倾角。 图2 1 快速标定算法示意图。a 表示摄像机的投影点，b 为标杆底端 所在未知。c 为标杆顶端所在未知，d 为标杆延长线与消失线的交点。 在图像像素坐标系中，直线上的无穷远点在像平面上的投影点称为该直线的消 失点( v a n i s h i n gp o i n t ，参见 4 3 - 4 4 】) 。每个相交平面中的两根标杆的低端与顶端连线 的延长线在世界坐标中是平行线，而在图像坐标中的交点即为消失点。消失线是平 面上的无穷远直线在像平面上的投影直线。世界坐标中，标杆顶端构成的平面与底 端所在的地平面是平行的，因此，两者之间存在消失线。从标杆构成的相交平面得 n 3 个消失点的最小二乘线，即为所求消失线。 得到消失线以后，就可以根据标杆高度来计算摄像机的高度。这一方法基于仿 射变换中共线点的交比不变性( c r o s sr a t i oi n v a r i a n c e ) n 理【4 5 】。交比是射影变换下的 不变量，如果把摄像机的成像过程可以看作是一个射影变换，它满足交比不变。这 1 2 第二章快速标定与鲁棒背景建模 样，如图2 2 的世界坐标系的y - z 面所示，摄像机的高度心与标杆的物理高度矾可 通过图2 2 中某一标杆图像与消失线的关系来描述。由摄像机与标杆高度的比值可由 变比不变性得到： 每础纠一器嬲dd i s c 亿6 ， 研如f b ，1 ，4 1 、7 其中，d i s * 】表示两点间的距离。所以摄像机的高度计算公式为： 心：鲁：1 - d i s 掣 c , d p x d i s 画 b , a 亿力 图2 2 世界坐标系的y - z 面。心为标杆的物理高度，为摄像机物理高度，见l 与巩2 分别为标杆底部与摄像机在地面投影点的距离和摄像机与标杆顶部连线与地 面的交点a 以为图像平面坐标中标杆的投影高度，b l 为巩l 的投影估计。在地面 上的某点处的目标，其在图像平面坐标中的高度值矾。 回到监控系统中，算法接下来需要解决的问题，是如何从图像像素坐标系中监控 目标( 行人) 的图像，获得其在世界坐标系( 监控场景) 的真实属性，如高度、位 置、水平偏移角及目标顶点在地面的投影点。对于监控场所为平整地面的视频监控 第二章快速标定与鲁棒背景建模 乐貌l 达儿于色怙绝天多致监拦砀京j ，开- 1 、而赞肼出氏u 卅l 尸削坐怀将挟圮陴，尺 需得到世界坐标中目标的真实高度h a 与图像中目标高度矾的对应关系。下面详细 介绍计算过程。 由图2 2 ，可得到有如下关系： 鲁= 矗 亿8 ， 巩+ 见： 、7 用反三角函数关系代替式( 2 8 ) 中的线段比值，有= 巩+ a r c t a n o x 见。，进而有 心一吼= a r c t a n ( a r c c o s 鲁) 见- 。将口= a r c c o s 丝h a 代入，得至( j ： h , 1 = c o s ( t a i l ( 等) ) 矾 ( 2 9 ) 另外，在由几何关系知戋2 丽d a l ，蜘： 见- 2 丽h c x d a t ( 2 1 0 ) k 伽。一m 巩 亿 定。 由上述算法的推导过程可知，该算法的可操作性强，计算简单，可以快速实现标 2 2 4 算法应用示例 图2 3 描述了快速标定算法在智能监控系统中的一个应用示例，采用本算法迅速 1 4 第口快遮标- j 冉棒背景建模 在监控场景建立一个立体的禁止进入区域( 浚应用的细节将在本文第六章给出) 田23 快速标定算法j 越用叫例图。左图所示的3 个蓝色箭头即为标定物( 1 米k 杆) 在监控视频巾的二次投影。右圈快速拆定之后智能监控系统所生成的立体禁j l 区域。( 国 h 瓿取自筇六章的多模态智能监控系统的视频，拍拦于香港巾文大学。) 2 3 鲁棒背景建模 2 3 1 背景建模问题描述 实现了快速标定以后，监控系统就能够理解监控视频中的监控对象图像与真实场 景中的监控对象之间的联系。出于监控系统监控的主要对象都是运动物体( 行人、 车辆等) ，为了实现智能监控功能，还有一项重要的准备工作一背景建模。在许多视 频应用中，如跟踪【* m i 、人脸检测i “i 、视频监控4 州和交通监控 5 0 1 等，都假设背景 是不变的或者基本上不变的，认为在视频开始阶段取得一幅背景对视频的所有帧图 像都适用。基于这种假设，就可以采用从视频帧图像“减背景”的方法从当前帧图 像中减去背景图像，以得到所需要的前景图像口“。 之前的背景模型主要采用的是单高斯模型( g a u s s i a n s ) i “l 或者多高斯混合模型 ( m i x t u r eo f g a u s s i a n s ，m o g ) t 5 0 - 5 2 5 3 l 。在【5 。) 中，假设像素点的强度值可以被看成是三 个高斯模型的最大值，分别是背景高斯模型、前景高斯模型和阴影高斯模型。【5 4 】 中展示了【5 0 】的一般化方法；像素值用背景中模型变化的k 高斯分布的最大值柬建 模。【5 5 1 9 的w a t e r f l o w e r 算法从三个层次重建背景：像素层次、区域层次和帧层次， 第二章快速标定与鲁棒背景建模 并用w i e n e r 滤波器来更新背景模型。对于场景中存在移动阴影的问题，l a r r ys d a v i s 在 5 6 1 采用了一种鲁棒的减背景操作，能够从普通背景或者移动前景物体中去除遮挡 的背景。然而，该方法不能处理背景( 或者说摄像头) 的微小移动。 在实际的监控场景中，常常会遇到下列问题：1 ) 光线明暗变化，可能由阳光会 因地面水的反射或树的摇影等( 室外) 或灯光因电压的变化等( 室内) 造成；2 ) 摄 像头画面晃动，可能由强风或安装问题等造成；3 ) 无法满足现代监控系统中越来越 高的实时性或准实时性要求。基于以上因素，使得用简单的减背景方法进行背景建 模变得十分困难【5 7 1 。现代视频监控系统要求背景模型对像素值变化、像素位置的不 确定性等保持足够的鲁棒性。为此，作者和w a n g 等在【58 】中基于像素状态统计和背 景像素状态决策，提出了一种能从光线明暗变化的、摄像头有微小颤抖的和有大型 物品搬移的监控场景中建立监控背景的鲁棒背景建模算法( 之后p a t w a r d h a n 在 5 9 】 中也提出了近似的算法，将像素点分n 层统计，而作者的方法只有背景、前景和中 间状态等三种状态) 。 作者的具体研究思路如下：首先，一种对缓慢明暗变化和物品移动现象自适应的 背景建模算法被提出来了。该算法基于像素状态计算和背景像素状态决策，不需要 进行那些完全没有移动目标的训练过程；其次，开发了一种高效的减背景算法，能 够处理背景场景中的微小移动，这是通过计算输入像素点和它在背景模型中的相邻 点的相似性得到的；最后，作者把该算法应用到智能监控系统中( 该系统的细节将 在本文的第六章给出) 。 2 3 2 像素状态的含义及计算 下面将介绍像素状态的含义和计算。通常情况下，当不同的物体通过某个像素点 时，它的强度值会改变。但在实际监控场景中，多数像素点的灰度采样值将形成一 个强度值的区间分布，在某些强度值附近表现出一定的重复性。如图2 4 所示的一段 视频连续帧中( 例如第5 帧到第1 0 帧) ，像素点强度值集中在一个值的附近变动， 这个值就是一个像素状态。连续的像素状态值就构成了该像素点的像素状态曲线， 1 6 第二章快速标定与鲁棒背景建模 对应着该像素点在背景、前景或者中间状态之间的转变。像素状态的计算由两个步 骤：像素状态聚类和和像素状态决策。下面依次介绍这两个步骤。 第一步：像素状态聚类 首先，使用式( 2 1 2 ) 定位强度稳定区间，其中b 是像素点的强度值( 一般来说，万 在1 5 至2 5 之间) ： b p f + l l n x0 4 ( 2 1 5 ) 第三步：如果在前个连续帧中无法找出初始背景，n = n + l ，回到第一步计 第四步：在找到初始背景之前，通过式( 2 1 6 ) 计算临时背景： p 2 p ji n = f e 口腮曼蜘r i ( 2 1 6 ) 在上述步骤中，是通过l o 秒视频段的帧数初始化的。如果不足以建立初始 背景，算法会自动增大。 更新背景模型参数 有了初始背景模型之后，下面将阐述背景模型的更新方法。被监控区域不会长 时间保持不变，而是会有一些明暗变化。例如，当太阳被云遮蔽住时，明暗度就会 变化。而当有物体被放置在场景中时( 如新增车辆对被监控停车场的改变) ，就会产 生物理变化。在这些事例中，本章采用两种不同的方法来更新背景。 第一种背景更新方法按式( 2 1 7 ) 计算。假设加权平均值瓦代表背景模型，下一个 像素点工为： 城- j j 哆o r e g r 哩o u n ap 嚣l x e le 皆l s e 2 5 6 他 ( 2 1 7 ) ， 其中，刊只一或l 。 第二背景更新方法，能够周期性的更替旧的背景模型以适应场景的物理变化。 如果新放置物体长时间不动，将被添加到场景中。其像素更新采用式( 2 1 8 ) 计算以适 应场景的缓慢明暗变化： 矽= 吆o + ( 1 一a ) p o 耐 ( 2 1 8 ) 其中，见，r 是背景模型像素点。第二背景更新方法是按以下规则建立起来的： 1 9 第二章快速标定与鲁棒背景建模 第一步：跟踪个连续帧，对每个像素状态计算每个前景像素点的加权平均值， 记录所有前景像素状态的最大出现概率咒承，记录背景像素状态的出现概率刀6 。 第二步：用式( 2 1 9 ) 替代旧的背景模型，之后将以，b ，刀6 的值设为0 。 一l 苏矿 & n x 0 4 p = ，。 。 ( 2 1 9 ) 绷 通过上述工作，一个可以不断更新的鲁棒背景模型就建立起来了。