（计算机应用技术专业论文）智能监控系统中人体运动的检测和跟踪.pdf

摘要 摘要 近年来，视频监控系统在各行业得到了广泛的应用，但是这些系统的功能局 限于对场景的记录和保存。随着信息化进程的推进和人民生活水平的提高，人们 对智能监控系统的需求越来越迫切。智能监控系统的目的是让系统自动的进行物 体检测、识别、跟踪和行为理解，它在增强社会安全方面有很大的潜在价值。人 体运动检测和跟踪作为智能监控系统的主要技术，已受到国内外研究人员的广泛 关注。 本文在已有工作的基础上构建了一个智能视频监控系统，对从固定摄像机采 集的长序列图像进行分析，自动检测出人体，并进行持续的跟踪。系统包括前景 检测、物体分类和人体跟踪三个主要模块。 检测模块详细分析了基于g 删的前景检测算法，包括模型的描述、当前状态 估计、背景估计、参数估计、方法近似以及参数更新等，并对算法的缺点进行了 分析，在两个方面进行了改进，较好地解决了背景初始化和占用空问较大的问题。 另外，r g b 空间和色度空间的检测结果的结合，消除了光照剧烈变化和人体阴影 对检测的影响。 在分类模块，根据场景的先验知识，制定了基于形状特征的分类规则。从物 体二值侧影的投影直方图中提取几何信息，计算分散度、面积和宽高比等，并利 用它们将前景物体分为人、人群和车辆三个类别。 人体跟踪分单人和人群跟踪两种情况。对单人使用卡尔曼滤波器进行跟踪， 选择人体中心作为跟踪的特征点，有效防止了人体自运动对跟踪的影响，并使用 组合的方法对卡尔曼滤波器的发散进行了抑制，提高了算法的鲁棒性。当多人形 成人群时，采用基于侧影的形状分析对人群中的人进行分割并对他们进行持续跟 踪。当有人从人群分裂出来时，用基于颜色模型的方法对他进行匹配。实现了对 一个人在进入人群前、处于人群中和从人群中分裂后的持续跟踪。 通过在p e t s 数据库的测试序列上进行检验，证明本文描述的系统能够正确 地检测和跟踪人体运动，具有很强的实用性。 关键词背景模型；运动物体检测；人体识别；人体跟踪；卡尔曼滤波器 北京工业大学工学硕士学位论文 a b s t r a c t v i d e os u r v e i l l a n c es y s t e m sh a v eb e e nw i d e l yu s e di nm a n yf i e l d si nr e c e n ty e a r s ， b u tt h e i rf u n c t i o n sa r el i m i t e dt or e c o r dt h es c e n e s as m a r ts u r v e i l l a n c es y s t e mt h a t c a na u t o m a t i c a l l ya n a l y z e 也ev i d e oa n da l e r tf o rp o s s i b l ea n o m a l o u sb e h a v i o r sw o u l d b eg r e a t l ya p p r e c i a t e d as m a r ts u r v e i l l a n c es y s t e ma i r f l st oa u t o m a t eo b j e c td e t e c t i o n ， r e c o g n i t i o n ，t r a c k i n ga n da c t i 、，i t yu n d e r s t a n d i n gi nd y n a m i cs c e n e s a s t h ek e y e l e m e n t so f as m a r ts u r v e i l l a n c es y s t e m ，t h ed e t e c t i o na n dt r a c k i n go f h u m a nm o t i o n s h a v eb e e nl a r g e l ys t u d i e di nl i t e r a t u r e t 1 1 i s p a p e rp r e s e n t sas m a r tv i d e os u r v e i l l a n c es y s t e mt h a tc a l la n a l y z et h e i m a g e sg a t h e r e db yaf i x e dc a m e r a , a u t o m a t i c a l l yd e t e c ta n dk e e pt r a c k i n gh u m a n m o t i o n 1 1 1 es y s t e mc o n s i s t so fo b j e c td e t e c t i o n o b j e c tc l a s s i f i c a t i o na n dh u m a n m o t i o nt r a c k i n g t h ed e t e c t i o nm o d u l ee x p l a i n st h eg m m b a s e dd e t e c t i o na l g o r i t h ma tl e n g t h ， i n c l u d i n gt h eg m ms t a t e r n e n lc u r r e n ts t a t ee s t i m a t i o n , f o r e g r o u n ds e g m e n t a t i o n , p a r a m e t e r se s t i m a t i o n ，脚e t e r su p d a t i n ge r e w ea l s oa n a l y z et h ed i s a d v a n t a g eo f t h ea l g o r i t h ma n di m p r o v ei ti nt w oa s p e c t s 1 1 1 ei m p r o v e m e n tr e s o l v e st h e i n i t i a l i z a d o np r o b l e ma n ds a v e sm u c hm e m o r ys p a c e i na d d i t i o n , w ee l i m i n a t et h e i n f l u e n c e so ff a s ti l l u m i n a t i o nc h a n g e sa n ds h a d o wb yc o m b i n i n gt h ed e t c c t i o nr e s u l t s u s i n gt h er g bs p a c ew i t ht h o s eu s i n gc o l o rc h r o m a t i c i t ys p a c e i nt h ec l a s s i f i c a t i o nm o d u l e ，as h a p e - b a s e dc l a s s i f i c a t i o nt e c h n i q u et h a tu s e s g e o m e t r i ci n f o r m a t i o ne x t r a c t e df r o mt h ep r o j e c t i o no ft h eb i n a r ys i l h o u e t t eo ft h e m o v i n go b j e c th a sb e e na d o p t e d w ec o m p u t et h ed i s p e r s e d n e s s ，a r e aa n da s p e c tr a t i o ， a n du s et h e mt oc l a s s i f yt h ef o r e g r o u n do b j e c t sa s ：s i n g l ep e r s o n , m u l t i p l ep e o p l ea n d v e h i c l e n l ch u m a nm o t i o nt r a c k i n gm o d u l ei n v o l v e ss i n g l ep e r s o nt r a c k i n ga n dm u l t i p l e p e o p l et r a c k i n g w eu s eak a l m a nf i l t e rt ot m e kas i n g l ep e r s o na n ds e l e c th i sc e n t r o i d a st h ef e a t u r ep o i n t w ea l s od i s c u s st h eu s eo f c o m b i n e d a l g o r i t h mt op r e v e n tk a l m a n f i l e rf r o md i v e r g i n g ，w h i c hg r e a t l yi m p r o v et h er o b u s t n e s so ft h ea l g o r i t h m w h e n s e v e r a lp e o p l ef o r mg r o u p ，as i l h o u e t t e - b a s e ds h a p em o d e li su s e dt os e g m e n ti ti n t o i t sc o n s t i t u e n tp e o p l ea n dt r a c kt h e m w h e na p e r s o ns p l i t sf r o mag r o u p ，w em a t c h h i mw i t ht h ep e r s o ni nt h eg r o u pu s i n gt h em e t h o db a s e do nt h ec o l o rm o d e l w e i m p l e m e n tt r a c k i n gh u m a nb e f o r e ，d u r i n ga n da f t e rg r o u p ，a n da c h i e v es a t i s f i e d r e s u l t s t h es y s t e mh a sb e e nd e m o n s t r a t e dt h r o u g has e r i e so ft e s t so np e t si m a g e s e q u e n c e s ，s h o w i n gg r e a tr o b u s t n e s sa n dp r a c t i c a b i l i t y k e y w o r d sb a c k g r o u n dm o d e l ；m o t i o no b j e c td e t e c t i o n ；h u m a nr e c o g n i t i o n ； h u m a nm o t i o nt r a c k i n g ；k a i n l a nf i l t e r 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示了谢意。 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名。虚垒垫导师签名： 第1 章绪论 1 1 课题研究的背景 第1 章绪论 近年来，视频监控系统在各行业得到了广泛应用，生活中有小区、超市等的 安全监控，银行系统有柜台监控，交通方面有违章监控等。这些监控系统是由一 个或多个摄像机以及与之相连的一套电视监视器组成的，它们的用途主要是对场 景的记录和保存，当异常情况，比如盗窃行为发生后，保安人员才通过记录的结 果察看发生的事情，但往往为时已晚。另外，当监控区域对安全非常敏感时，如 军事禁区等地点的监控，需要人员连续监视屏幕，随着监控区域的扩大，要想对 这些场景进行2 4 小时监控就需要增多人手，并且这种工作非常枯燥，人长期监 视屏幕很容易疲劳，因而可能造成漏警。所以传统的视频监控系统不但浪费大量 的人力而且有时监控效果并不好。随着我国信息化进程的推进和人民物质生活水 平的提高，大家对视频监控系统的智能化要求越来越高。 1 1 1 智能监控系统及其应用 智能监控【1 捌就是指将自动视频分析技术应用到传统视频监控系统中。利用 计算机的快速处理能力，对视频进行分析，及时发现异常情况并进行联动报警， 使监控系统具有很高的实时性，而且节省了人力。 从应用的场合来说，智能监控系统可以应用于家庭、国防、交通等多个方面。 家庭应用 在现有的家庭微机上增加u s b 摄像头和相应的软件系统，就可实现功能强、 价格低的智能化家庭监控系统。系统自动检测在家中采集到的图像，当发现异常 时，通过i n t e r n e t 和短消息中心向用户指定的电话号码发送短消息，并将现场 图像以e m a i l 方式发送给用户。用户收到短消息后通过检查e m a i l 就可对家中 情况有清楚的了解。 国防应用 我国有上万公里的海岸线和边境线，与多个国家毗邻，建立边海防智能视频 北京工业大学工学硕士学位论文 监控系统，对关键口岸、哨所和敏感地区实旌监控，就能使我军情报部门直观、 及时地监视边海防前线的情况，提高情报获取的实时性和综合处理能力，也能有 效防止偷渡、走私等非法行为。 交通应用 交通管理是我国各大都市面临的难题。智能视频交通控制系统能及时提供各 路段的车辆流量和路况信息，记录违章车辆，以便实现准确快速的交通指挥调度， 达到充分利用现有的道路资源，提高突发交通事故的处理能力，从而为人们的出 行提供快捷舒适的交通服务。 毋庸置疑，在2 0 0 8 年的北京奥运会中，智能视频监控系统也将广泛用于体 育场馆、奥运村和交通调度，为比赛和游览提供安全的环境。 从功能上来说，智能监控系统的应用主要有实时警报和自动视频检索【3 】。 实时警报( r e a it i m ea i e r r s ) 智能监控系统识别发生在监控范围内的异常事件并及时通知用户，这样就给 用户提供一定的时间来评价当前形势，有必要的话可以采取预防行动。下面是一 些典型的应用： 运动检测：检测特定区域内所有物体的运动并发出警报。 运动特征检测：检测物体的一系列运动属性，包括运动方向，速度等。如 果超过一定范围( 物体可能运动过快) 则发出警报。 遗弃物体警报：检测被遗弃的物体。比如，飞机场内一件无人照看的行李。 物体的迁移：检测特定物体的运动，而用户并不希望这个物体运动。比如 博物馆中的一幅画。 特定类型物体的运动检测：监视飞机跑道的系统将对停机坪上人的出现或 人的运动报警而不是对飞机的出现报警。 基于对人的数量的统计或人口密度的报警【4 】。例如，银行柜台前一米线以 内的人数超过一个，大厅的拥挤程度超过可按受的范围等。 行为警报：检测停车场的可疑行为。例如，一个人停下而且试图打开多辆 汽车。 视频检索( v i d e or e l ：ri o v a i ) 当某个区域发生意外事件后，调查人员往往需要从覆盖该区域的所有监控摄 第l 章绪论 像机拍摄的长达几百个小时的视频中去筛选有用的信息。如果用手工来完成这一 任务需要花大量的人力和时间。但是采用智能监控系统，就可以极大的减小工作 量。借助自动视频分析技术，系统为拍摄的视频建立丰富的索引，典型的，这些 索引可以是物体的形状、尺寸、外表、类型和运动轨迹等信息以及其他一些特有 的物体识别信息。在更高级的系统中，索引也可以包括物体的行为信息。在建立 了索引的视频序列中查找需要的信息，就变的简单多了。例如，我们可以做这样 的查询，“3 月2 号下午3 点到4 点之间经过某街道的穿蓝色衣服的人的视频片断”。 1 1 2 智能监控系统体系结构和主要技术 图卜1 显示了一个典型的智能监控系统的体系结构，包括一个服务器，一个 存储设备和多个客户端。每个客户端由一台摄像机和台p c 组成，p c 对从摄像 机采集的序列图像进行自动分析，检测、分类和跟踪异常物体，并及时将相应的 图像序列发送给服务器，起到报警作用：服务器用于实时监视和数据处理；存储 设备存储客户端发送的信息，需要时可以查看。实际应用中，服务器放置在控制 中心，客户端可以定位在不同的地方。系统的主要特点有：一，它是一个分布式 系统，大量的计算任务被分配到各个终端计算机。二，它能够同时监视多个区域。 服务器和每个客户端之间的通信基于t c p i p 协议，服务器端和客户端的通 信套接字以不同的模式执行，每个客户端仅仅和服务器通信，而服务器和一组客 户端进行通信。服务器在全部时间监听所有的端口，获取输入的信息并进行处理。 图1 - l 智能监控系统结构 f 毽i - i1 1 1 ea r c m t e c t u r eo f aa m a as u r v e i l l a n c es y s t e m - 3 北京工业大学工学硕士学位论文 智能监控系统的主要技术包括物体检测、分类、跟踪、行为理解和描述以及 多摄像机的数据融合。其中检测、分类和跟踪由客户端来完成。后面两个主要由 服务器端完成。 1 1 3 人体运动的检测与跟踪 人是智能监控系统最主要的监控对象，因此研究人体运动检测与跟踪，对智 能监控系统来说是至关重要的。 人体运动检测与跟踪是人体运动视觉分析的重要组成部分，人体运动视觉分 析5 1 是近年来计算机视觉领域中备受关注的前沿方向，它的研究内容相当丰富， 涉及到模式识别、图像处理、计算机视觉、人工智能等学科知识。其中，人体检 测、识别和跟踪属于底层视觉，行为的理解和语义描述属于高层视觉。除了智能 监控，它在人机交互阎、运动员训练分析和视频会议等领域都有着广泛的应用。 本文工作的目的就是利用人体运动的视觉分析进行智能监控系统中运动检测、人 体识别和人体跟踪方法的研究。 1 2 国内外研究现状及分析 人体运动的检测与跟踪具体包括运动区域检测、物体分类、人体跟踪等方面。 下面从这几个方面分析一下研究现状及常用的处理方法。 1 2 1 运动检测 运动检测的目的是在图像序列中将前景运动区域从背景中提取出来。它是整 个系统的基础，该阶段处理结果的质量直接影响到后续处理的效果，所以运动检 测在人体运动分析中的作用非常重要。下面列出目前常用的几种运动检测方法。 阈值分割 阚值分割是一种基于特殊环境的假设下的处理方法，如果人体的颜色或亮度 明显不同于场景中的其余部分，则可以使用固定阈值将前景分割出来。这种方法 的缺点是对环境的假设有很强的依赖性，然而，在环境和人都易于控制的场合。 它也被广泛使用。 第1 章绪论 背景减除 背景减除 5 , 7 - 1 1 1 方法是目前最常用的一种运动检测方法，它是利用当前图像 与背景图象的差分来检测运动物体的一种技术。使用该方法是以固定摄像机为前 提条件的。它的优点是能够提供最完全的特征数据，但对于动态场景的变化，如 光照和背景中的干扰等比较敏感。因此使用背景减除方法，主要考虑的问题有： 一是如何建立一个背景模型；二是如何自动更新背景模型，以便有更好的自适应 性。由于现今大部分的视觉监控系统是利用背景模型进行前景检测的，所以目前 许多研究人员都致力于研究各种背景模型的性能，来尽量减少场景动态变化对准 确检测的影响。我们在2 1 节对常用的几种背景模型进行了比较。 时域差分 时域差分方法1 工1 3 1 利用图像序列中相邻帧之间的差分来提取图像中的前景 区域。确定一个闽值，根据闽值和差分值的大小关系确定前景和背景区域。 对于低对比度灰度图像序列，使用时域差分方法来确定前景和背景，阈值很 难确定，这是由于相邻两帧的差的范围很小。当人体某些区域灰度值变化较为平 坦时，差分方法可使二值化的图像中产生空洞现象。若运动物体的速度越大，连 续两帧的运动物体的相交部分越小( 甚至交集为空) ，对于快速运动的人体的肢 体末端可能产生上述现象，这对运动物体的精确定位产生困难。所以不能单独使 用时域差分方法来得到完整的前景信息。 光流的方法 基于光流方法1 4 】的运动检测，是利用运动物体随时间变化在图像中表现为速 度场的特性，根据一定的约束条件估算出运动所对应的光流，它的优点是在摄像 机与背景间也存在着运动的前提下也能检测出运动物体。然而，光流计算方法需 要多次盼迭代运算，所以时间消耗比较大，而且抗干扰能力比较差。所以较少采 用光流的方法进行运动检测。 1 2 2 物体分类 物体分类的目的是从检测到的运动区域中将对应于人的运动区域提取出来。 不同的运动区域可能对应于不同类物体，比如户外监控摄像机拍摄的序列中可能 包含车辆、人、动物或是摆动的树枝。为了便于进一步对人进行跟踪和行为分析， 北京工业大学工学硕士学位论文 运动目标的分类是完全必要的。下面是两种常用的目标分类方法。 基于外表信息的分类 基于外表信息的分类包括基于形状信息和基于颜色信息两种。前者是利用检 测出的运动区域的形状特征进行目标分类的方法。例如l i p t o n 1 习等利用分散度 和面积信息对二维运动区域进行分类；k u n o 与w a t a n a s e 1 习使用简单的人体轮廓 模式的形状参数从图像中检测运动的人。 基于颜色信息的分类【1 6 l 主要指对人脸或手等部位的确认，人脸部通常是裸 露的而且有着特殊的颜色，所以可以通过识别人脸的存在来确定是否有人的存 在，选取适当的颜色空间给皮肤颜色建模。在分类过程中计算像素和模型间的距 离，如果距离小于一个特定的阈值，那么该像素被分为皮肤，否则被分为非皮肤。 但这种方法对远距离监控可能会失效。 基于运动特性的分类 基于运动特性的分类是利用人体运动的周期性进行分类的方法【切。人的周期 性运动反映出不同于其它物体运动的性质。通过跟踪感兴趣的运动目标，计算出 目标随时间变化的自相关特性，而人的周期性运动使得其自相关也是周期性的， 因此通过时频化方法分析目标是否存在周期性的运动特性而将人识别出来。 1 2 3 人体运动的跟踪 人体运动的跟踪就是在连续的图像帧问创建位置、速度、形状等有关特征的 匹配。常用的数学工具有卡尔曼滤波1 1 8 1 9 、c o n d e n s a t i o n 算法口明和m e a ns h i f t 算法【2 l 】等。目前，就跟踪对象而言，有跟踪身体部分与跟踪整个人体的；就跟踪 视角而言，有单摄像机跟踪和多摄像机跟踪；就跟踪人数而言，有单人和多人跟 踪。下面根据不同的跟踪方法来加以介绍。 基于模型的跟踪方法 传统的人体的表达方法有以下三种】：线图法( s t i c kf i g u r e ) 、二维轮廓 ( 2 一dc o n t o u r ) 、体积模型( v o l u m e t r i cm o d e l s ) 。使用线图模型进行跟踪田】，把 人的运动的实质看作是人的骨骼的运动，用点代表人的关节点，用直线代表人体 的肢体和躯干。二维轮廓模型阱】用若干相互连接的纸板分别代表人体的不同部 分，每块纸板由四个角点来定义，纸板- 口a 变形、旋转，利用帧间的平滑约束和 第1 章绪论 纸板间绞接约束求解光流方程，进行运动估计完成跟踪。立体模型【2 q 利用广义锥 台、椭圆柱、球等三维模型来描述人体的结构细节，因此要求更多的计算参数和 匹配过程中更大的计算量。 基于区域的跟踪方法 基于区域的跟踪方法目前已有较多的应用。w r e n 等【5 】利用小区域特征进行单 人的跟踪，属于人体的像素被规划于不同的身体部分，通过跟踪各个小区域来完 成整个人的跟踪。m c k e n n a 9 1 等首先利用色彩和梯度信息建立自适应的背景模型， 利用背景减除方法提取运动区域，然后，跟踪过程在区域、人、人群三个级别上 执行，区域可以合并和分离，利用区域跟踪器并结合人的表面颜色模型，在遮挡 情况下也能较好的完成跟踪。 基于活动轮廓线的跟踪方法 基于活动轮廓线的跟踪方法 2 0 , 2 5 】的思想是利用封闭的曲线轮廓来表示运动 物体，并且该轮廓线随物体的移动可以自动、连续地更新。例如p a r a g i o s 与 d e r i c h e 口5 1 利用短程线的活动轮廓、结合l e v e ls e t 理论在图像序列中检测和跟 踪运动目标。轮廓表达的优点在于可以减少计算复杂度，但是缺点是轮廓的初始 化通常很困难。 基于特征的跟踪方法 基于特征的跟踪【1 叼是从图像中提取人的典型特征并在序列图像间对这些特 征进行匹配的跟踪方法。特征的选用标准是具有抗噪声、鲜明的对比性以及合适 的大小等。为了建立在帧间的准确特征对应，通常都定义明确的约束条件以减小 无用的匹配区域提高匹配效率。特征点越简单，越容易抽取但越难跟踪，而高层 次的特征点难以抽取但容易跟踪，所以在实际应用中需要根据系统的要求，在特 征点的复杂性和跟踪效率之间选取一个折衷的方案。实际应用中可以根据不同需 要选取不同的特征点加以跟踪。 1 3 本文主要研究内容 本文构建了一个简单的智能监控系统，功能和图卜1 中的客户端相似。系统 对从一台固定的c c d 摄像机采集的长序列图像进行处理与分析，检测出人体，并 进行持续的跟踪。系统包括前景检测、物体分类和人体跟踪三个模块，如图卜2 北京工业大学工学硕士学位论文 所示。 i ：镰 、 ! 入- ! 糟：嘉净g 澜辩的 h 死竺辫i ! h 燃一 一 黼瓣 !l i il ：l ： 翮魄 lb：寰l - 皤_ 誓i 矗 翁燃 i 毒 ：墨耋i l 扁霸一- 鏊誊： - 鞠k - i l l l l 渊一! 勰黢：；愀蛰 ! 。愀ji i ：i ? 。i ! 誓? 。 图卜2 系统结构 f i g1 2s y s t e ma r c h i t e c t u r e 在检测模块，使用了基于g m m 的背景减除方法来检测前景运动区域，并对该 方法进行了详细地分析，在两个方面进行了适当的改进，解决了初始化问题和占 用空间较大的问题。另外，结合r g b 空间和色度空间的检测结果，有效的解决了 光照突变和影子的影响。在分类模块，根据场景的先验知识，制定了基于形状的 分类规则。利用物体的分散度、面积和宽高比等，将前景物体分为人、人群和车 辆三个类别。跟踪模块使用了卡尔曼滤波器对单个人进行跟踪，利用人体颜色模 型和基于侧影的形状分析对多人形成人群和人群分裂两种情况进行处理，实现对 人的持续跟踪。 本论文一共分为6 章，第2 章论述基于g 贼的前景检测方法，第3 章论述光 照突变下的运动检测以及物体分类，第4 章论述人体运动的跟踪方法，第5 章论 述对多人的跟踪。论文的第6 章给出了实验结果及分析。结论部分对整个研究工 作做了总结回顾，并提出了一些对于后继工作的难点和展望。 第2 章基于g m m 的运动检测 第2 章基于g m m 的运动检测 2 1 背景模型分析 由于背景减除方法能够提供较可靠完整的物体信息，所以它是目前最常用的 运动检测方法。背景减除方法的困难不在于减除本身，而在于背景模型的维护【2 6 1 。 近来，研究人员把更多的兴趣投入到基于统计的方法上，这些方法可以建立自动 适应观察噪声及周围环境的背景模型，而不是人为的设定闽值。 背景物体可以是静止的，如墙、道路等，也可以是非静止的，如摇晃的树丛。 因此，背景图像可以看作是由静态和动态的像素组成，静态像素属于静止物体， 动态像素属于非静止物体。随着时间变化，静态背景能够转变成动态，比如将电 脑显示器打开。动态背景也可以转变成静态，比如风停了以后树丛停止摆动。背 景物体的表面经常会随时间经历多种变化，比如，由于天气变化引起的光照变化 等。为了能够描述一个全面的背景场景，一个背景模型需要能够表达上述各种情 况。 2 6 中列出了建立一个理想的背景模型，需要解决的诸多问题： ( 1 ) 可移动的背景物体：一个背景物体可能会移动。那么这些物体就不应该被 永远当作是前景的一部分。 ( 2 ) 光照随一天时间的变化：逐渐的光照变化会改变背景物体的外表。 ( 3 ) 光照突变：光照的突然变化或者其它的场景参数改变背景物体的外表。 ( 4 ) 摆动的树：背景物体摇摆不定，需要能够描述这种不连续的像素值集合 的模型。 ( 5 ) 伪装：前景物体的像素特征可能被背景模型包括。 ( 6 ) 初始场景中有前景物体：在很多环境下，用不含前景物体的初始序列进行 背景模型的训练是不可行的。 ( 7 ) 前景中的空隙：当一个具有统一颜色的物体移动时，内部像素的改变不 能被检测到。因此，整个物体有可能看上去不像前景。 ( 8 ) 睡着的人：不能区别一个从运动变为不动的前景物体和一个从运动到不 动的背景物体。 ( 9 ) 唤醒的人：当一个最初在背景中的物体开始移动时，它本身以及新露出 北京工业大学工学硕士学位论文 的部分都表现为变化的区域。 ( 1 0 ) 阴影：前景物体通常产生阴影，它不同于背景，所以也当作前景被检测出 来。 当然没有一个完美的系统可以解决所有的问题。我们的目的是建立一个可以 尽量多的解决上述问题的背景模型。 2 1 1 常用的建立背景模型方法 图像序列时序平均。逐像素随时间求平均值构成背景图像。这种方法最简 单易行，但是不能解决上述的大多数问题，而且自适应性差，只适合一些 要求较低的场合。 取中间值法【2 7 】。取前若干帧的每一个像素点的中间值构成背景图像。该方 法需要对像素值排序，所以运行速度慢，自适应性也较差，一般作为其它 方法的辅助方法，比如用来做预处理。 单高斯分布模型。假设每个像素的亮度值服从高斯分布n ( u ，盯2 ) ，噪声为 自噪声。利用初始不含前景的连续n 帧构造背景模型，然后采用i i r 滤波 器来递推的更新参数值和盯，使它能够适应缓慢的光照变化。这种背景 模型比较符合自然的情况，可以适应缓慢的背景变化，有着很强的适用性。 但它不能较好的处理上述的( 4 ) 、( 6 ) 、( 8 ) 、( 9 ) 等问题。 卡尔曼滤波器模型。每个像素用卡尔曼滤波器建模。由于卡尔曼滤波器可 以进行预测和滤波估计，所以用该方法构建的背景模型有较强的自适应 性，可以解决光照的缓慢变化问题，但是不能很好的解决移走背景物体和 引入新的背景物体等问题。 混合高斯模型【8 ，3 9 1 。每个像素的亮度值用k 个高斯分布的混合来建模，各 高斯分布分别具有不同的权值，和优先级，它们总是按照优先级从高到 低的次序排序。取定适当的背景权值部分和阈值，只有在此阈值之内的前 若干个分布才被认为是背景分布，其它则是前景分布。混合高斯模型可以 描述多模态背景，且具有很好的自适应性。 非参数模型【2 引。给定一个像素点最近的亮度值采样序列，则这个像素在t ) ) ) ) ) ) n q 第2 章基于g m m 的运动检测 时刻有亮度值置的概率密度函数的非参数估计如下： p r ( x , ) 5 专善芷( x t - - x i ) 其中k 为核估计函数。虽然在 2 8 中，作者描述了一系列加快速度的步骤， 但是这种方法仍然具有较高的计算复杂度。 ( 7 ) 基于维纳滤波器的模型。w a l l f l o w e rt r a c k e r 2 6 】借助后面的高级处理来解 决上述问题，而不是解决背景模型的不足。而且该算法要保存像素历史值， 需要占用较大空间。 还有很多其它的方法，如特征背景方法，利用p c a 方法求解一个特征背景。 另外也可以先做预处理，再求背景模型。本文使用了基于g m m ( 混合高斯模型) 的背景减除方法来检测前景区域。 2 2 基于g m m 的运动检测 像素值实际上是在传感器方向对出现在像素范围内的物体表面反射或辐射 光的测量【8 j 。如果这个表面比较稳定，则这个测量值相对稳定。假设我们在采样 过程中引入了高斯噪声，则用一个自适应的高斯分布就足以描述每个像素点值的 变化。但是在实际的监控场景中，尤其是户外场景中，情况要复杂的多。 首先，在一个特定的像素点出现的物体表面往往不止一个，比如一个场景中 有树，当树枝摆动时，原来在图像中处于树周围的像素点就会有两个或两个以上 的值交替出现。这时该像素处于多模态状况，如果用该像素原来的值作为背景， 则会将摆动的树枝检测为前景，这是我们不希望得到的结果。我们期望的情况是 系统能够将这种背景物体的重复运动也作为背景的一部分。也就是希望该像素点 的背景模型能够表示这种多模态情况。除了植物摆动外，波动的水面、闪烁的显 示器等都会产生多模态的背景。图2 - 1 就是关于多模态背景的例子，( a ) 中加号 标注的地方树枝在摆动，( b ) 为该像素点在一个时间段内红绿值的数点图。 其次，光照的变化以及背景物体的移除和添加等情况也对检测造成很大影 响。对于一个像素点，与当前时间越近的观测值越重要，对前景检测的贡献也越 大。因此必须及时地更新背景，以适应场景中的诸多变化。 为了处理户外场景中的复杂情况，我们需要引入一个能够描述多模态情况并 北京工业大学工学硕士学位论文 且能够自适应的背景模型。 ( a ) ( b ) 图2 - i 多模态背景的例子 f i g2 - i a ne x a m p l eo f m u l t i m o d e ld i s t r i b u t i o no f b a c k g r o u n d 2 2 1g m m 方法简介 g m m 就是一个能处理多模态情况而且自适应的模型。它用多个高斯分布的混 合来描述一个像素点的值的分布。多模态状况下的每一个表面由一个高斯分布来 描述，其中有描述背景表面的高斯分布，也有描述前景表面的分布。 用g m m 进行前景检测包括状态估计、背景模型估计以及参数更新等过程。状 态估计找出当前像素值所匹配的分布；背景模型估计以一定的准则来判断每一个 分布代表背景还是前景，对于当前像素值，如果它所匹配的分布是背景分布，该 像素就被认为是背景像素，否则是前景像素。之所以能够把前景和背景分开，是 基于如下两点实事的，第一，在一个长期观测的场景中，背景占大多数时间，更 多的数据是支持背景分布的。第二，就算是颜色相对一致的运动物体也会比静止 物体产生更多的变化，况且不同物体通常有不同的颜色。参数更新的目的是适应 环境的变化。 另外，之所以把前景表面也用一个高斯分布来描述并作为模型的一部分，这 样做的好处是，前景物体有机会变为背景，因此对于场景中添加新的物体或移走 原有物体的情况，经过一段时间的适应，也以一个新的背景模型替换旧的背景模 型。使用混合模型还有一个好处就是，即使像素目前被前景占据，但依然保留着 原背景模型，这样当前景离开后，可以快速地恢复原背景模型【8 l 。 第2 章基于g m m 的运动检测 2 2 2g m m 的形式化描述 我们把进入某个像素范围的每一个表面用一个状态七来表示， k 1 2 ，m ，m 是状态的个数，它是一个假定的常量。m 个状态中一部分 对应背景，其余对应前景物体。每一个状态七由一个具有参数丸= t 。，三。 的高 斯分布来表示，即； p t ( x ，l 七，戎) = i 互；j i j ：i ! i 订e 一；1 “。1 一 ( 2 一1 ) 其中，以和。分别表示均值和协方差矩阵。 对于场景活动我们是无法预知的，所以像素点的下一个值是由哪个表面产生 我们不知道，甚至在已经知道哪个表面哥出现在像素范围内的情况下，由于小的 光照变化、摄像机噪声或表面纹理的影响，像素值依然服从一定的分布。因此像 素值序列就是一些随机变量的采样，善是在r 时刻的采样值。因为生成某个 状态k 的过程是不连续的，所以z 的分布可以用m 个高斯分布的和来描述： p ( x ，l 嘞= 万l r , t p i ( 一l _ j ，幻) ( 2 2 ) 上式直观上的意义就是：在f 时刻观察到像素值工的概率，等于该值分别属 于m 个分布的概率的加权和。其中，巩。g t 时刻第k 个高斯分布的权值，它代 表了由第k 个分布产生的采样值占总采样值的比例或者说是表面孟出现在该像 素的先验概率，且巩，2 1 。西是全部参数的集合，定义为 中= 7 1 1 ， g m ，识，丸) ，所有参数需要从z 的观察值估计得到，在2 2 6 部分 描述如何采用e m 算法对参数m 进行估计。随机变量肖可能是一维的( 亮度值) 、 二维的( 归一化的颜色空间) 、三维的( 彩色空间) 或者一般意义上的r l 维向量。 村取值的大小由内存和计算能力决定，如果资源有限，可以取较小的值。 通常所作的一个假设是：x 的各维分量是独立的，因此。是对角阵，可以用 一个n 维变量蠢来表示，即。= j 。如果更进一步假设这n 个变量是一致的， 北京工业大学工学硕士学位论文 这就意味着在r g b 彩色空间，红、绿、蓝三个分量上的偏差具有相同的统计特性。 在这样一个线性彩色空间，单个标量吼就可以用来表示方差。但是在非线性彩 色空间，如色度、饱和度和值，或者由不相近的量组成的空间如亮度和范围，这 种情况下每一维有特定的分布。 2 2 3 估计当前状态 为每个像素建立混合高斯模型后，当输入当前采样值x ，时，我们必须去估计 m 个分布中哪一个最有可能导致该像素值的产生。根据贝叶斯理论，后验概率 p ( k l x ，o ) 代表了该像素值由状态产生的可能性俐。 p 枷，= 鼍鼎 浯s ， 使p ( k j ，o ) 取最大值的七是最大后验概率估计( m a p ) ： 七= a r g m a x p ( kt ，( 功= a r g m a x n t p i ( x fl j ，氟) ( 2 4 ) 从( 2 4 ) 中我们可以得出m 个分布中最有可能产生当前采样值的分布i c ， 只要我们知道该分布是代表前景还是背景物体，就可以划分当前像素是前景还是 背景像素。但是( 2 4 ) 式忽略了一个重要的事实：当前的输入有可能不是由m 个表面中的任何一个产生的。典型的情形是，一个以前未出现过的前景物体出现 在该像素的位置。因此仅用方程( 2 - 3 ) 和( 2 4 ) 还不能完全解决问题。 可以通过在m 个高斯分布的基础上再增加一个扁平的第( m + 1 ) 个分布来接 受一个以前没出现过的输入值。赋予该分布一个较小但非0 的先验概率矗k + 。值 和一个很大方差。这样做的结果是，当观察到的像素值不属于肘个分布中的任 何一个时，方程( 2 4 ) 将会选择默认的第( 肘+ 1 ) 个分布。 2 2 4 背景模型估计 在实际应用中，一般选择m 等于3 。三个分布中两个用来描述背景表面，一 个描述前景表面。实际上这是应用g m m 模型最小的选择。如果少于两个背景表面 第2 章基于g m m 的运动检测 的话，就没必要用这个算法了，用一个平均背景图像作简单的减除会更简单些。 在m = 3 的情况下，算法只用一个高斯分布表示前景就可以工作，是因为能够用 它来粗略的表示任何前景。 对于肘个分布，必须估计出其中哪些代表背景模型。在实际应用中，处理 完当前帧后，模型的参数要进行必要的更新，所以每一帧都要进行背景模型的重 新估计。一般的，我们会对有较多数据支持且方差较小的高斯分布感兴趣，因为 它们代表背景模型的可能性较大【s 1 。 考虑两种情况，一是当背景物体是持久静止的时候，这时该物体表面产生的 高斯分布代表着背景分布，那么支持这个分布的数据会持续累积，而且它的方差 也会越来越小。第二种情况，当一个新的物体遮挡了原来的背景物体时，一般会 导致两种结果：要么产生一个新的分布，要么把一个已存在的分布的方差增大。 另外，当新的物体是一个运动物体时，它一般也会比背景像素保持更大的变化直 到它停下来。从以上两种情况可以看出，影响一个分布是否背景分布的重要因素 有两个：一，该分布产生的数据所占的比例大小；二，该分布的方差大小。基于 这两个因素，我们采取如下的方法进行估计。 首先以瓤o k 的值对k 个分布进行排序，因为，7 t 。代表了第k 个分布产生的 数据所占的比例，吼是该分布的标准差，所以可以直观的看出，7 。t 7 k 的值越 大，第k 个分布是背景模型的可能性就越大。一个分布的权值增大或方差减小， 都可以使以吒的值增大。排序以后，m 个分布形成了一个有序且末端开放的 列表最有可能是背景分布的排在最前面，较小可能的短暂的分布趋向于末端。 我们将排序后的前c 个分布选为背景模型，c 满足： ，c、 c = a r g m i n i 以 r ( 2 5 ) k - i r 是一个全局的先验概率，它表示了出现在像素范围内的任何值属于背景像素的 概率。上式的含义是，在排过序的分布中，累积概率超过r 的前c 个分布被当作 背景模型，剩余的其它分布被当作前景模型。 在实际应用中，r 的值需要预先设定，如果选一个较小的r 值，背景模型就 变成单模态，这时仅仅使用了最有可能的分布作背景。如果选一个较大的丁值， 背景模型中就会包括一个以上的分布，这时就能描述多模态情况，产生一种透明 北京工业大学工学硕士学位论文 ! ! 皇! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! g ! ! ! 目| 目| ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! ! 舅e ! ! 岛