智能视频监控

1、1Intelligent Video Surveillance Gao LinSichuan University, Spring 2010智能视频监控及其相关技术智能视频监控及其相关技术2Intelligent Video Surveillance主要内容主要内容l智能视频监视系统智能视频监视系统l目标检测目标检测l阴影去除阴影去除l目标跟踪目标跟踪3Intelligent Video Surveillance视频监控在银行、电力、交通、视频监控在银行、电力、交通、安检以及军事设施等领域的安全防范安检以及军事设施等领域的安全防范和现场记录报警等方面有着非常广泛和现场记录报警等方面有着非常广泛

2、的应用。的应用。4Intelligent Video Surveillance监控技术发展的三个阶段监控技术发展的三个阶段5Intelligent Video Surveillance统计数据显示，英国目前有统计数据显示，英国目前有400400多万个摄像多万个摄像机，而伦敦的居民平均每个人每天要被摄像机，而伦敦的居民平均每个人每天要被摄像机拍摄机拍摄300300次。次。公安部主导的公安部主导的“平安城市平安城市”计划，促进了视计划，促进了视频监控市场的迅速增长，全国约有频监控市场的迅速增长，全国约有200200万个监万个监控摄像机用于城市监控与报警系统控摄像机用于城市监控与报警系统。青藏铁路全

3、线青藏铁路全线13001300路通道采用视频分析，对全路通道采用视频分析，对全线铁路进行入侵保护。线铁路进行入侵保护。6Intelligent Video Surveillance1 vs 1 1 vs N 7Intelligent Video Surveillance智能视频监控系统智能视频监控系统是利用计算机视觉技术，在不需要是利用计算机视觉技术，在不需要人为干预的情况下，对视频信号进行处理、分析和理人为干预的情况下，对视频信号进行处理、分析和理解，并对视频监控系统进行控制，从而使视频监控系解，并对视频监控系统进行控制，从而使视频监控系统具有像人一样的智能。统具有像人一样的智能。8Inte

4、lligent Video Surveillance应用实例应用实例智能视频的应用大体上可以分为安全相关应用安全相关应用和非安全相关应用非安全相关应用两大类。u安全类相关的应用是目前市场上存在的主要智能视频应用，特别是在911恐怖袭击、马德里爆炸案以及伦敦爆炸案发生之后，市场上对于此类应用的需求不断增长。这些应用主要作用是协助政府或其他机构的安全部门提高室外大地域公共环境的安全防护。此类应用主要包括：高级视频移动侦测、物体追踪、人物面部识别、车辆识别和非法滞留等。 u除了安全相关类应用之外，智能视频还可以应用到一些非安全相关类的应用当中。这些应用主要面向零售、服务等行业，可以被看作管理和服务的

5、辅助工具，用以提高服务水平和营业额。此类应用主要包括：人数统计、人群控制、注意力控制和交通流量控制等。9Intelligent Video Surveillance安防安防1、 绊线检测绊线检测针对人、车通过特定运动方向绊线的监控；其应用如：警戒线、单向闸门流向、栅栏攀爬等；2、 警戒区域警戒区域针对人、车进入或离开特定管制区域的监控；其应用例：停机坪、码头车站的工作区域、营业场所后台等。3、 闲逛闲逛针对不合理滞留过久的人、车发出警示讯息，以提醒安管保全人员加以盘察注意。4、 偷窃偷窃针对特定重要资产的保全；例如：贵重的挂画或摆饰、装备器材、场站内的车辆或机具等。5、 遗留物遗留物针对可能的

6、爆裂物、易燃物、生化污染物的恶意弃置。6、 群体事件群体事件针对人群聚集10Intelligent Video Surveillance车牌识别车牌识别车速测量车速测量流量统计流量统计逆行告警逆行告警智能交通监控智能交通监控11Intelligent Video Surveillance对设定区域的移动物体（通过预先设置的大小形状来进行过滤）进行动态跟踪。可应用于监控物理周界和虚拟周界的区域，监视是否有目标进入或预进入，可用于监控边界、监狱、机场、化学基地等周界12Intelligent Video Surveillance13Intelligent Video SurveillanceIVS

7、研究现状研究现状 1997年，美国国防高级研究项目署设立了以卡内基梅隆大学牵头，麻省理工学院等高校参与的视觉监控重大项目VSAM，主要研究用于战场及普通民用场景监控的自动视频理解技术14Intelligent Video Surveillance美国康奈尔大学计算机系设计了一套航拍视频检测与持续跟踪系统，该系统能够对多运动目标实现长时间的准确跟踪，即使发生短时间内目标被遮挡或目标时静时动的情况 15Intelligent Video Surveillance2005年，美国中央佛罗里达大学计算机视觉实验室开发出了基于MATLAB的COCOA系统，用于无人机低空航拍视频图像的目标检测与跟踪处理1

8、6Intelligent Video Surveillance2003年,由欧盟发起，法国的SILOGIC公司和英国的雷丁大学等十几家机构参与研究的AVITRACK项目，该系统主要针对机场停机坪周围的环境，检测和跟踪停机坪中出现的飞机、汽车以及行人等，其目的是为机场管理者所关心的机场流量及调度形成一个强有力的决策辅助工具，以便提高机场的利用率同时对机场的安全提供一个有力的保障。 17Intelligent Video SurveillanceIEEE Conference on Computer Vision and Pattern Recognition18Intelligent Video

9、 Surveillance智能视频监视系统的基本框架智能视频监视系统的基本框架低层视觉处理低层视觉处理中层视觉处理中层视觉处理高层视觉处理高层视觉处理19Intelligent Video Surveillance目标检测目标检测将输入的视频图像中变化剧烈的图像区域从图像背景中分离出来，它处于视频监控技术的前端，是各种后续处理的基础。目前，算法主要包括背景减法、相邻帧差法和光流法等。 20Intelligent Video Surveillance目标跟踪目标跟踪依据目标及其所在的环境，选择能唯一表示目标的特征，并在后续帧中搜索与该特征最匹配的目标位置。常用的跟踪算法包括：基于特征的跟踪算法，

10、基于3D模型的跟踪，基于主动轮廓模型的跟踪以及基于运动估计的跟踪等。 21Intelligent Video Surveillance目标分类目标分类利用一些图像特征值实现目标类型（一般是人和车）的甄别。用于目标分类的特征有空间特征和时间特征两种，空间特征包括目标轮廓、目标尺寸、目标纹理等，时间特征包括目标大小的变化、运动的速度等。 22Intelligent Video Surveillance行为理解行为理解指在对序列进行低级处理的基础上，对场景中的事件进行分析和识别，用自然语言等加以描述。根据运动目标的运动轨迹进行行为分析。 23Intelligent Video Surveillanc

11、e主要内容主要内容l智能视频监视系统智能视频监视系统l目标检测目标检测l阴影去除阴影去除l目标跟踪目标跟踪24Intelligent Video Surveillancel视频运动目标检测视频运动目标检测运动目标检测的目的是从视频图像中将运动目标与背景分割出来，由于光照变化、背景物运动干扰、运动目标阴影以及摄像机运动等干扰因素的存在，为运动目标的正确检测带来了巨大挑战。 25Intelligent Video SurveillanceGoals of motion detection Identify moving objects Detection of unusual activity p

12、atterns Computing trajectories of moving objectsApplications of motion detection Indoor/outdoor security Real time crime detection Traffic monitoringMany intelligent video analysis systems are based on motion detection.26Intelligent Video Surveillance27Intelligent Video Surveillance将连续的两帧或三帧图像对应像素点的

13、灰度值相减，当环境亮度变化不大时，如果对应像素值相差很小，则认为此处是静止的，标记为背景；如果对应像素值相差较大，则认为这是由目标运动引起的，该处像素标记为运动目标。 1( )( )( )ttIxIxT x28Intelligent Video Surveillance第第n-1帧帧第第n帧帧29Intelligent Video Surveillance30Intelligent Video Surveillance优点：优点： 算法实现复杂度低； 检测速度快，易于实现实时监视； 由于相邻帧的时间间隔较短，因此该方法抗干扰能力较强，对环境有较好的适应性。缺点：缺点：该方法检测出的运动区域包含

14、了相邻两帧中所有存在变化的区域，因此提取出的运动目标往往大于实际目标，不能够准确反映运动目标的真实形状。当运动目标存在大范围的灰度相似区域时，会产生明显的“孔洞”现象，以至于运动目标提取不完整。It evidently works only in particular conditions of objects speed and frame rateVery sensitive to the threshold Th31Intelligent Video Surveillance光流法是通过计算图像的光流场实现运动目标检测的一种方法。所谓光流场是指空间运动物体被观测表面上的像素点运动产生的瞬

15、时速度场,一个二维的速度场，包含了物体表面结构和动态行为的重要信息。 32Intelligent Video Surveillance光流可以看作带有灰度的像素点在图像平面运动产生的瞬时速度场。假设E(x,y,t)为(x,y)点在时刻t的亮度，设t+dt时刻该点运动到(x+dx,y+dy)点，它的亮度为E(x+dx,y+dy,t+dt)。我们认为，由于对应同一个点在短时内它的亮度值不变亮度值不变，所以E(x,y,t) = E(x+dx,y+dy,t+dt) 光流约束方程将上式右边做泰勒展开，并令dt-0，则得到：Exu+Eyv+Et = 0其中：Ex = dE/dx Ey = dE/dy Et

16、 = dE/dt u = dx/dt v = dy/dt。上面的Ex,Ey,Et的计算都很简单，用离散的差分代替导数就可以了。光流法的主要任务就是通过求解光流约束方程求出u,v。33Intelligent Video Surveillance 上述只有一个方程，有两个未知参数，所以这是个病态问题，要求解只有加入其他的约束方程以联立求解。针对摄像机固定的这一特定情况，问题可以大大简化。 在摄像机固定的情形下，运动物体的检测其实就是分离前景和背景的问题。我们知道对于背景，理想情况下，其光流应当为0，只有前景才有光流。所以我们并不要求通过求解光流约束方程求出u,v。我么只要求出亮度梯度方向的速率就可

17、以了，即求出sqrt(u*u+v*v)而由光流约束方程可以很容易求到梯度方向的光流速率为 V = abs(Et/sqrt(Ex*Ex+Ey*Ey)这样我们设定一个阈值TV(x,y) T 则(x,y)是前景 ，反之是背景34Intelligent Video Surveillance利用建立的背景模型背景模型来生成背景图像的像素值，然后将当前帧与背景图像求差，差值较大的像素区域被认为是运动目标区域，而差值较小的像素区域被认为是背景区域。 ( )( )( )tB xIxT x35Intelligent Video Surveillance背景图像背景图像第第t帧帧差分后二值化差分后二值化36Int

18、elligent Video Surveillance First consequent problem: how to automatically obtain the image of the scenes static background?37Intelligent Video SurveillancerequirementsThe background image is not fixed but must adapt to:lIllumination changesgradualsudden (such as clouds)lMotion changescamera oscilla

19、tionshigh-frequencies background objects (such as tree branches, sea waves, and similar)lChanges in the background geometryparked cars, .38Intelligent Video Surveillance39Intelligent Video Surveillance统计背景模型：统计背景模型：单高斯模型混合高斯模型非参数模型40Intelligent Video Surveillance单高斯模型：单高斯模型：假定每个像素特征在时间域上的分 布可以由单个高斯分

20、布来描述t-1t1. . . . . .41Intelligent Video Surveillance假定每个像素点的颜色特征在时间域上的分布可以由单个高斯分布 来描述，2( ,)tttN x 其中 ， ， 分别为 时刻像素颜色值，高斯分布的均值和方差。txt2t1(1)tttaax 221(1)() ()Tttttttaaxx 其中 a为学习率，a取值范围是 0,1，可以通过取不同的a值调整背景的更新速度。42Intelligent Video Surveillance混合高斯模型混合高斯模型(GMM)：为了描述分布形式更为复 杂的背景，有必要应用到多模态的分布形式。 43Intellig

21、ent Video Surveillance44Intelligent Video Surveillance GMM模型定义 Gaussian Component Weights of each component,1Pr;,Kti tti ti tixwN X,;,ti ti tN X, i tw45Intelligent Video Surveillance Updating Weights For the matched component k, Updating Mean and Sigma Matching Indicator, within 2.5 SD,1i ti ti twwM

22、, i tM11tttX 2211TttttttXX ;,tkkN X GMM模型更新46Intelligent Video Surveillance GMM模型估计 Ordering Gaussian components by the value of The first B distributions are chose as the background model T: a measure of the minimum portion of the data that should be accounted for by the background.w1argminbbkkBwT4

23、7Intelligent Video Surveillanceu混合高斯模型由于对每个象素，都建立了多个高斯分布，因此对于象素的扰动，具有较强的适应性，能够造成较好地排除噪声的干扰，具有较好的鲁棒性u和普通的背景减除法相比，是自适应前景检测阈值。u没有普通背景减除法的拖尾现象。48Intelligent Video Surveillance非参数模型：非参数模型：不需对背景模型做任何假设，直接利用 先前获得的像素值估计当前像素为背景 的概率. 常用的非参数密度估计法有 直方图估计法，Parzen的核估计法，等等49Intelligent Video Surveillancel背景差分法存在的问

24、题背景差分法存在的问题不适应光照突变环境不适应光照突变环境 可能检测出虚假目标可能检测出虚假目标,即即“鬼影鬼影” 50Intelligent Video Surveillance光照突变的类型和特点 光照突变分为环境光照强度发生突然变化和摄像机增益系数发生改变两种，如当视场内突然经过面积过大的目标时，摄像机会改变增益，虽然环境光照可能没变，但摄像机曝光强度改变，其效果和光照突变时一样。 光照突变通常是全局的，如室内突然开灯和摄像机的自动增益调整。51Intelligent Video Surveillance光照突变时运动目标检测的依据 根据朗伯反射定律，图象亮度和入射光照强度成正比，同时由

25、于光照突变的全局性，因此当前帧图象中所有背景象素点亮度和对应高斯背景亮度之比值为一个常数。 考虑到朗伯防射定律的近似性和光照突变全局假设的局限性，当前帧所有背景象素点和对应高斯背景亮度之比分布在一个较窄范围之内。52Intelligent Video Surveillance光照突变时亮度比值的分布光照突变光照突变前前光照突变光照突变后后光照突变前后当前帧背景象素点和高斯背景亮度比值的直方图其中其中:式中，式中，c为常数为常数100( ,)( ,)( ,)tbIx yx ycIx y53Intelligent Video Surveillance光照突变判定 统计当前帧中象素点和对应高斯背景亮

26、度比值的直方图，为了减少前景象素点的干扰，对于上一帧中检测为前景目标的区域不参与统计。 计算在区间0,c)和区间(c, Max上的概率差异，如果差异过大则判定光照发生了突变 1011()2()ciiMaxii cPPPP ( 1,2)( 1,2)Max P PTMin P P其中其中54Intelligent Video Surveillance光照突变时运动目标检测 1).寻找直方图峰位n 2).分别计算峰位左右两边的方差202( )()1( )()() 1NiiNileftMiiNi NrightPNPMN55Intelligent Video Surveillance光照突变时运动目标检

27、测 3).前景象素判定准则:NrNlOR56Intelligent Video Surveillance光照突变算法效果(a) 原始视频原始视频(b) 传统混合高斯传统混合高斯模型检测的前景模型检测的前景(c) 本文方法本文方法检测的前景检测的前景57Intelligent Video Surveillance鬼影消除 鬼影是指检测出的虚假目标，通常是由于高斯背景模型建立需要一个学习过程，当原来静止不动的物体突然离开后，即会在原来所在区域留下“鬼影”。 由于帧间差分最直观地反映了物体的运动，虽然帧间差分检测的目标区域不够准确和完整，但可以作为一个运动目标检测的辅助依据。58Intelligen

28、t Video Surveillance鬼影消除算法步骤 1).计算帧间差，通过取阈值得到帧间差检测的前景象图象掩码。 2).提取混合高斯模型检测结果中的连通体，对于每个连通体，统计连通区域内对应帧差检测结果为前景象素的数目。 3). 把统计到的帧差前景象素数目和连通体面积相除，如果比值小于一定阈值，则判定为鬼影。59Intelligent Video Surveillance主要内容主要内容l智能视频监视系统智能视频监视系统l目标检测目标检测l阴影去除阴影去除l目标跟踪目标跟踪60Intelligent Video Surveillance多特征联合阴影检测多特征联合阴影检测阴影物理模型多特

29、征阴影检测实验分析61Intelligent Video Surveillance阴影物理模型阴影物理模型 阴影是由于光源被遮挡所产生的，因此，它们的亮度和颜色将会随着它们所投影的表面的改变而改变。采用信号处理理论的阴影处理系统，其阴影点的特征可以如下描述： ( , )( , )( , )kkkS i jE i ji j62Intelligent Video Surveillance阴影物理模型阴影物理模型63Intelligent Video Surveillance阴影物理模型阴影物理模型阴影检测对环境提出了三个假定： 假定3.1: 强光源。 假定3.2: 静态场景、摄像机固定。 假定3.

30、3: 阴影场景是近似平面，如路面。 64Intelligent Video Surveillance多特征联合阴影检测方法多特征联合阴影检测方法 HSV颜色空间阴影特性 阴影纹理特性 邻域光照比值不变性 融合颜色和纹理阴影检测 65Intelligent Video SurveillanceHSV颜色空间阴影特性颜色空间阴影特性 (1)目标投射阴影并不会很明显地改变背景区域的色度。 (2)实际的前景目标点(不包含阴影点)会导致相应的像素点在饱和度上发生较大的变化，而阴影则不会使背景点的饱和度有明显变化。 (3)由于阴影覆盖区域的亮度值比相应的背景区域的亮度值要低。66Intelligent V

31、ideo SurveillanceHSV颜色空间阴影特性颜色空间阴影特性 ( , )( , )( , )( , )( , )( , )fbfbsfbHV i jV i jSi jS i jTHi jHi jT67Intelligent Video Surveillance阴影阴影LBP纹理特性纹理特性 Local Binary Pattern（LBP）是基于图像空间域局部关系的图像纹理描述算子，该算子通过对像素与相邻同等间距上的邻域像素的灰度变化二值化，形成对该像素所在位置的纹理变化模式的描述。1,0()( ()()2PPP RPLBPxs IpI x10()0,0us uu，68Intell

32、igent Video Surveillance阴影阴影LBP纹理特性纹理特性LBP具如下的优点：具如下的优点：1）作为一个二值差分算子，能够可靠地描述灰度变化；2）LBP能够减弱阴影的影响，因为阴影常常只会导致亮度变化，而纹理特征仍然不变；3）LBP计算简单，速度快。但是LBP算子受噪声影响比较大，比较小的噪声就可能导致模式判定错误。为了克服噪声的影响，我们对算子进行改进：1,0( )( ( )( )2PPP RPLBPxs I pI x1()0 ,uTs uuT，69Intelligent Video Surveillance阴影阴影LBP纹理特性纹理特性 对于浅阴影区域，像素及它的邻域同

33、等程度的变暗，因此对于阴影覆盖前后它的LBP值是相同的；对于重阴影区域，像素及它的邻域像素值可以看作是相等，因此它的LBP值为0。255,( )( )( )|( )00,cbcLBPxLBPxS xLBP xotherwise70Intelligent Video Surveillance邻域光照比值不变性邻域光照比值不变性 图像中的相邻点所在的3D对应位置的光照基本相同，运动阴影区域的像素点的反射率和没有阴影时的反射率是相等的，这样，背景中的邻域亮度比值和当前帧的邻域亮度比值具有不变性的特点。71Intelligent Video Surveillance融合颜色和纹理阴影检测 通过对比当前

34、帧和背景图片中相应像素点的LBP纹理值来检测阴影点对 得到的候选阴影点根据阴影的HSV属性排除非阴影点在亮度比值空间对得到的阴影点进行区域生长72Intelligent Video Surveillance实验分析 73Intelligent Video Surveillance实验分析 74Intelligent Video Surveillance主要内容主要内容l智能视频监视系统智能视频监视系统l目标检测目标检测l阴影去除阴影去除l目标跟踪目标跟踪l基于粒子滤波的目标跟踪基于粒子滤波的目标跟踪75Intelligent Video Surveillancel视频目标跟踪视频目标跟踪视频目

35、标跟踪目的就是对图像序列中的目标进行分析，计算出运动目标的运动参数，如位置、速度、加速度以及运动轨迹等，从而进行进一步处理和分析，实现对运动目标的行为理解，以完成更高一级的视觉任务视频跟踪的难点视频跟踪的难点视频目标跟踪问题的解决思路视频目标跟踪问题的解决思路视频目标跟踪方法的分类视频目标跟踪方法的分类76Intelligent Video Surveillancen鲁棒性:1、被跟踪运动目标的姿态变化2、运动目标所处环境的光照变化3、部分遮挡引起的运动目标不规则变形和全部遮挡引起的目标暂时消失n准确性：n快速性：处理对象是包含了巨大数据量的图像，算法往往需要大量的运算时间。视频跟踪的难点视频

36、跟踪的难点77Intelligent Video Surveillance视频目标跟踪问题的解决思路视频目标跟踪问题的解决思路总体上讲有两种思路：1、自底向上(bottom-up)的处理方法;自底向上的处理方法又称为数据驱动(data-driven)的方法，这种方法不依赖于先验知识，直接从图像序列中获得目标的运动信息并进行跟踪。2、自顶向下(top-down)的处理方法。这种方法一般依赖于所构建的模型或先验知识，在图像序列中进行匹配运算或求解后验概率。 贝叶斯理论框架下，已知目标状态的先验概率，在获得新的量测后不断求解目标状态的最大后验概率的过程。78Intelligent Video Sur

37、veillance 按照不同的标准可以有不同的分类方式：按照摄像机的数目，可分为单摄像机跟踪和多摄像机跟踪；按照传感器的不同，可分为可见光目标和红外目标的跟踪;按照目标的表达方式，可分为基于区域的跟踪，基于主动 轮廓的跟踪，基于局部特征的跟踪，基于模型的跟踪。One CameraTwo Cameras视频目标跟踪方法的分类视频目标跟踪方法的分类79Intelligent Video Surveillance基于区域的跟踪基于区域的跟踪 利用图像相关匹配技术对目标进行跟踪，需要先获得一个表示目标的模板，模板可以是通过手工选定或是图像分割得到，通常是略大于目标的矩形区域或是任意形状；然后运用相关算

38、法，计算目标模板与当前图像候选区域的特征匹配度，匹配特征可以是颜色、纹理等，匹配度最大的候选区域即为目标的当前位置。(c)(b)(a)(d)80Intelligent Video Surveillance基于主动轮廓的跟踪基于主动轮廓的跟踪基于主动轮廓的方法将目标描述为可变形的边界轮廓来进行跟踪。最常用的主动轮廓模型是由Kass等提出的Snake模型。 81Intelligent Video Surveillance通过跟踪目标的某个或某些局部特征，如边缘特征、点特征等，从而实现对整个目标的跟踪。基于特征的跟踪基于特征的跟踪82Intelligent Video Surveillance利用先

39、验知识建立跟踪目标的目标模型（2D、3D模型），然后将目标模型的图像投影与图像序列进行匹配，从而确定出目标的运动参数 。在通常的跟踪对象中，非刚体的代表性目标是人，刚体的代表性目标是车辆。基于模型的跟踪基于模型的跟踪83Intelligent Video SurveillancePerson Model 2D84Intelligent Video SurveillancePerson Model 3D标定后的摄像机85Intelligent Video SurveillanceVehicle Model 2D86Intelligent Video Surveillance主要内容主要内容l智能视频监视系统智能视频监视系统l目标检测目标检测l阴影去除阴影去除l目标跟踪目标跟踪l基于粒子滤波的目标跟踪基于粒子滤波的目标跟踪87Intelligent Video Surveillancel粒子滤波粒子滤波粒子滤波通过非参数化的蒙特卡洛(Monte Carlo)模拟方法来实现递推贝叶斯滤波，适用于任何能用状态空间模型描述的非线性系统，精度可以逼近最优估计。粒子滤波器具有简单、易于实现等特点，它为分析非线性动态系统提供了一种有效的解决方法，从而引起目标