（电路与系统专业论文）静止背景下运动目标跟踪方法的研究[电路与系统专业优秀论文].pdf

摘要 运动人体的检测与跟踪是人运动视觉分析的重要内容，也是计算机视觉研究的一个 重要领域。本文对静止背景下视频序列中的运动人体检测和跟踪方法进行了研究。 首先，本文通过为静止背景建立自适应的高斯背景模型来检测前景点，为了能更好 的响应实际背景发生变化的情形，特别是针对自适应背景模型在建模期间所产生的“影 子”问题，本文提出了算法上的改进和简化，使用时变的权值更新率和参数更新率，以 增大开始若干帧对模型建立的贡献，通过实验结果的分析比较，改进后的算法明显加快 了“影子”的消除。 然后，为了从目标检测算法检测出的前景点集中，把目标完整地分割提取出来，从 而获得关于各前景目标的特征描述，本文依据目标的空间连续性，采用了数学形态学处 理和连通区域检测算法以去除噪声和填补孔洞；并结合单高斯模型获取背景估计图像的 特点，在兼顾减少噪声和保持目标完整的前提下，通过实验分析了背景消减后提取前景 点的合理阈值，从而获得理想的目标背景的二值图像。 最后，在目标检测和分割的基础上，本文依据人体目标的位置、大小和颜色特征， 利用目标的外接矩形框对场景中的人体目标进行跟踪，当出现目标对象的合并或是分离 时，则采用颜色模板匹配的办法以维护目标的身份。较好的解决了当目标对象合并、消 失、分离以及被遮挡时的跟踪问题。 关键词：运动目标检测；目标跟踪；静止背景；背景模型 a b s t r a c t d e t e c t i n ga n dt r a c k i n gm o v i n gh u m a nt a r g e ti sa ni m p o r t a n ts u b j e c ti nv i s u a la n a l y s i so f h u m a nm o t i o n ；i t sa l s oav a l u a b l ef i e l di nc o m p u t e rv i s i o n t h i sp a p e rd i s c u s s e sd e t e c t i o n a n dt r a c k i n go fm o v i n gh u m a nt a r g e tf r o ms t a t i cb a c k g r o u n di nv i d e os e q u e n c e s f i r s t l y ，w eu s ea d a p t i v eg a u s s i a nb a c k g r o u n dm o d e l i n gt os e g r e g a t ef o r e g r o u n dp i x e l s f r o ms t a t i cb a c k g r o u n d t ob em o r er e s p o n s i v et ot h ec h a n g i n gb a c k g r o u n d ，s p e c i f i c a l l yt o s o l v et h e “g h o s t ”i s s u eo fa d a p t i v e b a c k g r o u n dm o d e l i n g ，w ep r o v i d ea l g o r i t h m i c i m p r o v e m e n ta n ds i m p l i f i c a t i o n ，w h i c h ，b yu s i n gt e m p o r a ll e a r n i n gr a t eo fw e i g h ta n d p a r a m e t e r ，i n c r e a s e st h ec o n t r i b u t i o no fc e r t a i ni n i t i a lf r a m e si nt h em o d e l i n g b yc o m p a r i n g t h er e s u l t s ，t h ei m p r o v e da l g o r i t h mi sa p p a r e n t l yf a s t e ri ne l i m i n a t i n g “g h o s t ” s e c o n d l y ，b ya g g r e g a t i n gf o r e g r o u n dp i x e l s ，t h et a r g e tf o r e g r o u n do b j e c t sc a nb e s e g r e g a t e dc o m p l e t e l y ，b a s e do nw h i c hw ec a l l g a t h e rt h ec h a r a c t e r i s t i c so fe a c hf o r e g r o u n d o b j e c tr e s p e c t i v e l y b a s e d o ns p a t i a lc o n t i n u i t yo ft a r g e to b j e c t s ，w i t hm a t h e m a t i c a l m o r p h o l o g ya n db i n a r yc o n n e c t e dc o m p o n e n t sa n a l y s i s ，w ec a l lr e d u c en o i s ea n ds m o o t ho u t g a p s b ya n a l y z i n gc h a r a c t e r i s t i c so fc a p t u r i n ga p p r o x i m a t eb a c k g r o u n di m a g ew i t hs i n g l e g a u s s i a nm o d e l i n g ，w i t h o u tl o s i n gt h eo b j e c t i v eo fr e d u c i n gn o i s ea n dk e e p i n gt a r g e to b j e c t s c o m p l e t e ，t h et h r e s h o l do fs e g r e g a t i n gf o r e g r o u n dp i x e l s i sd e t e r m i n e db ya n a l y z i n gt h e r e s u l to fs u b t r a c t i n gb a c k g r o u n d ，w h i c hl e a d st od e f i n i t i v eb i n a r yi m a g eo ft a r g e to b j e c ta n d b a c k g r o u n d a sc o n c l u s i o n ，s t a r t i n gw i t hd e t e c t i n ga n ds e g r e g a t i n gt a r g e t o b j e c t s ，b a s e do n c h a r a c t e r i s t i c si ns i z e ，p o s i t i o na n dc o l o ro fh u m a nt a r g e t ，w ep r o v i d eam o v i n go b j e c t t r a c k i n ga l g o r i t h m ，i nw h i c hw eu s eo u t s i d er e c t a n g l eo fm o v i n go b j e c t st ot r a c kh u m a n t a r g e ti ns i g h t w h e nt h et a r g e t sa r em e r g i n go rp a r t i n g ，m a t c h i n gc o l o rt e m p l a t ei su s e dt o k e e pt h eo b j e c t si d e n t i t y ，w h i c hr e s u l t si nag o o ds o l u t i o nt ot h et r a c k i n gi s s u ew h e nt a r g e t o b j e c t sa r em e r g i n g ，d i s a p p e a r i n g ，p a r t i n g ，o rb e i n gs h a d o w e d k e y w o r d s ：m o t i o n d e t e c t i o n o b j e c tt r a c k i n g s t a t i cb a c k g r o u n d b a c k g r o u n dm o d e l 西北大学学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期 间论文工作的知识产权单位属于西北大学。学校有权保留并向国家有关部门或机 构送交论文的复印件和电子版。本人允许论文被查阅和借阅。学校可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等 复制手段保存和汇编本学位论文。同时，本人保证，毕业后结合学位论文研究课 题再撰写的文章一律注明作者单位为西北大学。 保密论文待解密后适用本声明。 学位论文作者签名 、鸟腾 舯教师始趱 ，蜱6 月7 日 矿年；月l 口日 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工作及取得 的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，本论文不包含 其他人已经发表或撰写过的研究成果，也不包含为获得西北大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示谢意。 学位论文作者签名：、鸟腾 1 j 。j 年6 月c ) h 西北大学硕士学位论文 ；目i i e i l l _ _ _ ii i i m l i t i i 自i i i i i i ；j i i i i i i i i i j _ # i i i 1 1 研究背景及意义 第一章绪论 人类通过感官感知外界的信息，视觉是人类获取信息的主要渠道( 视觉信息占到人 类感知信息的8 0 ) 。人类视觉对外界信息模式具有特殊的识别能力，能够自觉实现基 于模式比对的组合和联想判定，所以模式识别能力是人类智能的一个重要组成部分。计 算机的出现，使得人们试图通过数字设备获取环境图像，从而利用计算机代替大脑实现 对视觉信息处理的全过程。但是计算机对外部世界的感知能力却远不能与人类视觉相 比，这成为开拓计算机运用的瓶颈，也与其强大的运算能力形成了强烈的反差。为了使 计算机系统具有模拟人类通过视觉接受外界信息，识别和理解周围环境的感知能力，用 计算机来代替或协助人类感知模式，就诞生了计算机视觉这门崭新的学科。 计算机视觉研究的目标是使计算机具有通过图像( 和静止的图像相比，运动图像包 含了更多的信息) 认知周围环境信息的能力。这种能力不仅使计算机能感知环境中物体 的几何信息，包括它的形状、位置、姿态、运动等，而且能对它们进行描述、存储、识 别与理解。 人运动的视觉分析是近年来计算机视觉领域中备受关注的前沿方向，它从包含人 的图像序列中检测、识别、跟踪人并对其行为进行理解和描述，属于图像分析和理解的 范畴。从技术角度而言，人的运动分析的研究内容相当丰富，主要涉及到模式识别、图 像处理、计算机视觉、人工智能等学科知识；同时，动态场景中运动的快速分割、人体 的非刚性运动、人体自遮挡和目标之间互遮挡的处理等也为人的运动分析研究带来了一 定的挑战m 。由于人的运动分析在高级入机交互、安全监控、视频会议、医疗诊断及基 于内容的图像存储与检索等方面具有广泛的应用前景和潜在的经济价值，从而激发了世 界上广大科研工作者及相关商家的浓厚兴趣。当前，国际上一些权威期刊如i j c v ( i n t e r n a t i o n a lj o u r n a lo fc o m p u t e rv i s i o n ) 、c v i u ( c o m p u t e rv i s i o na n di m a g e u n d e r s t a n d i n g ) 、p a m i ( i e e et r a n s o np a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、i v c ( i m a g ea n dv i s i o nc o m p u t i n g ) 和重要的学术会议如i c c v ( i n t e r n a t i o n a lc o n f e r e n c eo i l c o m p u t e rv i s i o n ) 、c v p r ( i e e ec o m p u t e rs o c i e t yc o n f e r e n c eo nc o m p u t e rv i s i o na n d p a t t e r n r e c o g n i t i o t l ) 、e c c v ( e u r o p e a n c o n f e r e n c e o n c o m p u t e r v i s i o n ) 、i w v s ( i e e e i n t e r n a t i o n a l w o r k s h o p o n v i s u a ls u r v e i l l a n c e ) 等都将人运动的视觉分析研究作为主题内 容之一，为泼领域的研究人员提供了更多的交流机会。 基于视觉的人的运动分析最有前景的潜在应用之一是视觉监控。视觉监控系统的需 求主要来自那些对安全要求敏感的场合，如银行、商店、停车场、军事基地等”“。动 笫1 页 西北大学硕士学位论丈 态场景的视觉监控是从摄像机摄取的图像序列中检测、识别、跟踪目标并对其行为进行 理解。视觉监控广泛的应用前景引起了国际上许多著名科研机构以及研究人员的兴趣： 计算机视觉领域中的权威期刊“国际计算机视觉期刊( i j c v ，i n t e r n a t i o n a lj o u r n a lo f c o m p u t e rv i s i o n ) ”和“1 e e e 模式分析和机器智能汇刊”( p a m i ，1 e e et r a n s a c t i o no n p a t t e r n a n a l y s i sa n d m a c h i n e i n t e l l i g e n c e ) 相继在2 0 0 0 年6 月和2 0 0 0 年8 月出版了关于 视觉监控的专刊。已有多篇论著详细介绍了针对不同应用条件的视觉监视系统”1 ：其中 w r e n 等的p f i n d e r 是一个利用颜色和形状特征对大视角范围内的人进行跟踪的实时系 统；o l s o n 等介绍了一种更通用的运动物体检测和事件识别系统，它通过检测帧问图 像变化来发现运动物体，在跟踪中上使用了一阶预测和最近邻匹配技术”1 ；h a r i t a o g l u 等 的w 一是一个可以在室外对人进行实时检测和跟踪的视觉监视系统瑚，它将外形分析与 跟踪技术相结合来跟踪人体各个部分的位置并为人的外形建立模型；美国c m u 和 s a r n o f f 公司合作研究的“实时视频中动目标识别分类与跟踪系统”( m o v i n gt a r g e t c l a s s i f i c a t i o na n dt r a c k i n gf r o mr e a l t i m ev i d e o ) ，可以对视频中的目标实时监控及跟踪， 它使用多个相互协作的摄像机在复杂环境里对入和车进行连续的跟踪，并对目标类别和 行为进行分析。9 1 ；英国的雷丁大学( u n i v e r s i t yo fr e a d i n g ) “4 已开展了对车辆和行人的 跟踪及其交互作用识别的相关研究。 视觉监视不仅具有很高的科学研究价值，而且具有巨大的潜在经济价值。许多关于 视觉监视的大规模研究项目已经在美国、欧洲和日本展开，例如，1 9 9 7 年美国国防商级 研究项目署( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 设立了以卡内基梅隆大学 ( c a r n e g i e m e l l o n u n i v e r s i t y ) 为首、麻省理工学院( m a s s a c h u s e t t s i n s t i t u t e o f t e c h n o l o g y ) 等高校参与的视觉监控重大项目v s a m ( v i s u a ls u r v e i l l a n c ea n dm o n i t o r i n g ) j i l l ，主要 研究用于战场及普通民用场景进行监控的自动视频理解技术；目的是能在野外或战场等 复杂环境下应用多个摄像机对人、车等的行为进彳亍监控；e c ( e u r o p e a nc o m m i s s i o n ) 资助 的a v s p v ( a d v a n c e dv i d e o b a s e ds u r v e i l l a n c ep r e v e n t i o no fv a n d a l i s mi nm e t r os t a t i o n s 、 和丌始不久的a d v i s o r ( a n n o t a t e dd i g i t a lv i d e of o rs u r v e i l l a n c ea n do l a t i m i s e dr e t r i e v a l 、 项目，目的是对地铁站内人们的活动行为进行监控呲】：从2 0 0 0 年开始，美国国防高级研 究项目署资助的重大项目一一h i d ( h u m a ni d e n t i f i c a t i o na tad i s t a n c e ) 计划，其任务就是 开发多模式的、大范围的视觉检测技术，以实现远距离情况下人的检测、分类和识别， 增强国防、民用等场合免受恐怖袭击的自动保护能力。马里兰大学、麻省理工学院等2 6 家高校或公司参与了该项目的研究工作 2 1 。 1 2 研究进展及现状 人运动的视觉分析主要是针对包含人的运动图像序列进行分析处理，它通常涉及 到运动目标检测、人体运动跟踪以及监视场景中目标行为的理解与描述几个过程。i 。其 第2 贞 西北大学硕士学位论文 中，行为理解和描述螂属于高级处理，是近年来被广泛关注的研究热点，它是指对目标 的运动模式进行分析和识别，并用自然语言等加以描述。而运动目标检测、人体运动跟 踪属于视觉中的低级处理部分，是各种后续高级处理如行为理解等的基础，也是视觉监 控中研究较多的两介问题，当然，它们之间也可能存在交叉( 比如有时跟踪过程中运动 检测的使用) 。 1 2 1 运动目标检测 运动目标检测的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域 的有效分割对于目标跟踪和行为理解等后期处理是非常重要的，因为以后的处理过程仅 仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、 影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。下面归纳出目前几 种常用的方法。 1 ) 背景消减( b a c k g r o u n ds u b t r a c t i o n ) 背景消减【1 3 。o 方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景 图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数据，但对于 动态场景的变化，如光照和外来无关事件的于扰等特别敏感。最简单的背景模型是时间 平均图像，大部分的研究人员目前都致力于开发不同的背景模型，以期减少动态场景变 化对于运动分割的影响。例如h a r i t a o g l u 等1 b 】利用最小、最大强度值和最大时间差分值 为场景中每个像素进行统计建模，并且进行周期性地背景更新；m c k e n n a 等n 3 1 利用像素 色彩和梯度信息相结合的自适应背景模型来解决影子和不可靠色彩线索对于分割的影 响：k a r m a n n 与b r a n d t “、k i l g e r “5 1 采用基于k a l m a n 滤波的自适应背景模型以适应天气 和光照的时间变化；s t a u f f e r 与g r i m s o n 5 利用自适应的混合高斯背景模型( 即对每个像 素利用混合高斯分布建模) ，并且利用在线估计来更新模型，从而可靠地处理了光照变 化、背景混乱运动的干扰等影响。 2 ) 帧问差分( t e m p o r a ld i f f e r e n c e ) 帧问差分1 1 7 , 1 8 方法是在连续的图像序列中两个或三个相邻帧间采用基于像素的帧问 差分并且闽值化来提取出图像中的运动区域。例如l i p t o n 等利用两帧差分方法从实际 视频图像中检测出运动目标，进而用于目标的分类与跟踪；一个改进的方法是利用三帧 差分代替两帧差分，如v s a m c “1 开发了一种自适应背景减除与三帧差分相结合的混合算 法，它能够快速有效地从背景中检测出运动目标。帧间差分运动检测方法对于动态环境 具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部 容易产生空洞现象。 3 ) 光流计算( o p t i c a lf l o w ) 基于光流方法”的运动检测采用了运动目标随时间变化的光流特性，例如 第3 页 西北大学硕士学位论文 ；j i i i i i i i 盈；i ih 。f ；i i 嵩 g i a c h e t f i t ”l 使用光流计算法检测前方的车辆，使甩光漉分橱，冠样可咀检测后方的车辆， 由于被检测车辆与背景的主运动方向完全相反，b a t a v i a m l 在这种情况下，获得了更好的 检测效果。该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。然 而大多数的光流计算方法相当复杂，且抗嗓性能差，如果没有特别的硬件装置则不能 被应用于实时处理。 当然，在运动目标检测中还有一些其它的方法，如f r i e d m a n 与r u s s e l l t 2 2 1 利用扩展 的e m ( e x p e c t a t i o nm a x i m i z a t i o n ) 算法，为每个像素建立了混合高斯分类模型，该 模型可以自动更新，并能自适应地将每个像素分类为背景、影子或者运动前景，在目标 运动速度缓慢的情况下亦能较好地完成运动区域的分割，并可以有效地消除影子的影 响；另外，s t r i n g a 也提出了种新颖的基于数学形态学的场景变化检测算法肼1 ，在变化 的环境条件下获得了相对稳定的分割效果。 1 2 2 人体运动跟踪 跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征 的对应匹配问题，目前，就跟踪对象而言，有跟踪如手、脸、头、腿等身体部分f 2 5 2 6 1 与 跟踪整个人体的1 2 7 - 3 1 】；就跟踪视角而言，有对应于单摄像机的单一视角 3 2 , 3 3 】、对应于多 摄像机的多视角”4 1 和全方位视角口5 1 ；当然还可以通过跟踪空间( 二维或三维) 、跟踪环 境( 室内或户外) 、跟踪人数( 单人、多人、人群) 、摄像机状态( 运动或固定) 等方面 进行分类。下面仅依据不同的跟踪方法来如以分类介绍。 1 ) 基于模型的跟踪( m o d e l - b a s e dt r a c k i n g ) 传统的人体表达方法有如下三种m j ：线图法( s t i c kf i g u r e ) ：人运动的实质是骨 骼的运动，因此该表达方法将身体的各个部分以直线来近似，例如k a r a u l o v a t 3 ”建立了 人体运动学的分层模型，用于单目视频序列中人体的跟踪。二维轮廓( 2 一dc o n t o u r ) ： 该人体表达方法的使用直接与人体在图像中的投影有关，如n i y o g i 与a d e l s o n ”】乖4 用时 空切片方法进行人的跟踪：首先观察由人的下肢轨迹所产生的时空交织模式，然后在时 空域中定位头的运动投影，接下来识别其它关节的轨迹，最后利用这些关节轨迹勾画出 一个行人的轮廓。立体模型( v o l u m e t r i cm o d e l ) ：它是利用广义锥台、椭圆柱、球等 三维模型来描述人体的结构细节，因此要求更多的计算参数和匹配过程中更大的计算 量。例如w a c h t e r 与n a g e l 【3 9 俐用椭圆锥台建立三维人体模型，通过在连续的图像帧间 匹配三维人体模型的投影束获得入运动的定量描述实现了单目图像序列中入的跟踪。 2 ) 基于区域的跟踪( r e g i o n b a s e dt r a c k i n g ) 基于区域的跟踪方法目前已有较多的应用，例如w r e n 等“坪0 用小区域特征进行室 内单人的跟踪，文中将人体看作由头、躯干、四肢等身体部分所对应的小区域块所组成， 利用高斯分布建立人体和场景的模型，属于人体的像素被规划于不同的身体部分，通过 第4 页 西北犬学硕士学位论丈 跟踪各个小区域块来完成整个人的跟踪。基于区域跟踪的难点是处理运动目标的影子和 遮挡，这或许可利用彩色信息以及阴影区域缺乏纹理的性质来加以解决，如m c k e n n a 等【l ”首先利用色彩和梯度信息建立自适应的背景模型，并且利用背景减除方法提取运动 区域，有效地消除了影子的影响：然后，跟踪过程在区域、人、人群三个抽象级别上执 行，区域可以合并和分离，而人是由许多身体部分区域在满足几何约束的条件下组成的， 同时人群又是由单个的人组成的。因此利用区域跟踪器并结合人的表面颜色模型，在遮 挡情况下也能够较好地完成多人的跟踪。 3 1 基于活动轮廓的跟踪( a c t i v ec o n t o u rb a s e dt r a c k i n g ) 基于活动轮廓的跟踪思想是利用封闭的曲线轮廓来表达运动目标，并且该轮廓能够 自动连续地更新。例如p a r a g i o s 与d e r i c h e 【4 0 1 利用短程线的活动轮廓、结合l e v e ls e t 理 论在图像序列中检测和跟踪多个运动目标：p e t e r f r e u n d 4 1 1 采用基于k a l m a n 滤波的活动 轮廓来跟踪非刚性的运动物体；i s a r d 与b l a k e t 4 4 利用随机微分方程去描述复杂的运动模 型，并与可变形模板相结合应用于人的跟踪。相对于基于区域的跟踪方法，轮廓表达有 减少计算复杂度的优点，如果开始能够合理地分开每个运动目标并实现轮廓初始化的 话，既使在有部分遮挡存在的情况下也能连续地进行跟踪，然而初始化通常是很困难的。 4 ) 基于特征的跟踪( f e a t u r e b a s e dt r a c k i n g ) 基于特征的跟踪包括特征的提取和特征的匹配两个过程。p o l a n a 与n e l s o n 的文章【4 3 1 中将每个行人用一个矩形框封闭起来，矩形框的质心被选择作为跟踪的特征；在跟踪过 程中若两人出现相互遮挡时，只要质心的速度能被区分开来，跟踪仍能被成功地执行； 该方法的优点是实现简单，并能利用人体运动来解决遮挡问题。另外，s e g e n 与p i n g a l i 的跟踪系统使用了运动轮廓的角点作为对应特征，这些特征点采用基于位置和点的曲 率值的距离度量在连续帧间进行匹配。 1 2 3 难点与发展趋势 尽管运动目标检测、人体运动跟踪在研究上已经取得了一定的成果，但下述几个 方面仍是今后研究的难点问题l 2 ) ，迫切需要高度的关注。 1 ) 运动分割( m o t i o ns e g m e n t a t i o n ) 快速准确的运动分割是个相当重要但又是比较困难的问题。这是由于动态环境中捕 捉的图像受到多方面的影响，比如天气的变化、光照条件的变化、背景的混乱干扰、运 动目标的影子h 4 1 、物体与环境之间或者物体与物体之间的遮挡、甚至摄像机的运动等， 这些都给准确有效的运动分割带来了困难。就以运动目标的影子为例，它可能与被检测 的目标相连，也可能与目标分离。在前者情况下，影子扭曲了目标的形状，从而使得以 后基于形状的识别方法不再可靠；在后者情况下，影子有可能被误认为为场景中一个完 全错误的目标。尽管目前图像运动分割主要利用背景减除方法，但如何建立对于任何复 第5 页 西北大学硕士学位论文 ；i ；i ；墨iii i 1 i ii i i 嗣； 杂环境的动惫变化均具有自适应性的背景模型仍是相当困难的问题。 2 ) 遮挡处理( 0 c c l u s i o nh a n d l i n g ) 目前，大部分人的运动分析系统都不能很好地解决目标之间互遮挡和人体自遮挡问 题，尤其是在拥挤状态下，多人的检测和跟踪问题更是难于处理。遮挡时，人体只有部 分是可见的，而且这个过程一般是不可训练的，简单依赖于背景减除进行运动分割的技 术此时将不再可靠，为了减少遮挡或深度所带来的歧义性问题，必须开发更好的模型来 处理遮挡时特征与身体各部分之间的准确对应问题。 3 1 多摄像机的使用( u s eo fm u l t i p l ec a m e r a s ) 使用单一摄像机，身体姿势和运动在单一视角下由于遮挡或深度影响而容易产生歧 义，因此使用多摄像机进行三维姿势跟踪的优点是很明显的。同时，多摄像机的使用不 仅可以扩大监视的有效范围，而且可以提供多个不同的方向视角以用于解决遮挡问题。 1 3 本论文的主要工作和内容安排 本文针对摄像机静止的情况研究了视频序列中的运动目标跟踪，结合基于运动的和 基于色彩的方法，以人体为目标，当目标进入摄像机视野时，我们首先对他进行检测， 然后通过目标分割合并属于该目标的运动区域，同时通过维护目标的色彩信息来维护目 标的身份，确定目标位置后，我们直接利用区域特征进行跟踪。 算法的主要流程如图1 1 所示： 图1 1 运动目标检测与跟踪处理流程 具体的工作过程是： 首先，我们通过为静止背景建立模型来检测前景点。具体的背景模型以s t a u f f e r 等 提出的自适应混合高斯模型”6 为蓝本，并在此基础上作了部分改进以更好地处理实际背 景发生变化的情形，使之迅速响应实际背景的变化。 然后，将前景目标从前景点集中逐一分割出来。前景目标分割的依据通常是目标的 空间连续性和颜色一致性。由于后者很多时候并不可靠，所以我们选择了根据空阳j 连续 性来分割目标的连通区域检测算法，但是初始数据中的噪声( 离散的噪声前景点和目标 区域中的小孔洞等) 会给连通区域检测带来不良影响，因此在进行连通集划分前一般都 要先进行去噪处理，我们通过形态学运算来实现，利用腐蚀和膨胀算子分别去除孤立的 噪声前景点和填补目标区域的小孔。 目标跟踪时我们利用目标的位置、大小、和颜色等特征，通过目标外接矩形框和具 有更新特性的颜色模板实现了对人体目标合并、消失、分离以及被遮挡等几种可能情况 第6 页 西北大学硕士学位论文 的跟踪处理，取得了良好的效果。 本文的主要工作内容及章节安排如下： 第一章：介绍了运动目标检测与人体目标跟踪的背景、意义、研究进展和现状，分 析了现有技术的优缺点，总结了研究中的难点和发展趋势，阐明了本文工作的意义和主 要内容的安排。 第二章：首先将运动目标检测方法按照不同的环境进行了分类，随后重点分析了针 对静止背景下运动目标检测的自适应背景模型算法。针对自适应背景模型建模期间本来 静止的目标开始运动所产生的“影子”问题我们提出了算法上的改进和简化，明显加快 了“影子”的消除。 第三章：首先针对目标分割时差分图像二值化的闭值问题进行了讨论，并结合单高 斯模型获取背景估计图像的特点，通过实验分析了背景消减后提取前景点的合理阈值， 然后介绍了利用数学形态学处理和连通区域检测算法进行目标分割从而获得前景目标 的有关内容。 第四章：首先给出了当前常用的各种目标跟踪算法，随后采用一种基于目标外接矩 形框和颜色模板的方法实现人体目标的跟踪，即当人单独运动时使用外接矩形框定位， 当出现人体的融合或是分离时利用颜色模板进行匹配以维护目标的身份，确保目标跟踪 的准确性，该算法可以较好的解决当目标对象合并、消失、分离以及被遮挡时的跟踪问 题。 第五章：全面总结了本文的研究成果以及存在的明显不足，为后续研究工作指出了 可能的方向。 第7 页 西北大学硕士学位论文 第二章运动目标检测 目标跟踪的第步工作是确定场景中存在运动的目标，即运动目标的检测就是 检测视频序列图像中被监视的场景图像是否有所变化，如果图像有变化，则说明有新的 目标出现，反之则认为没有新目标出现。 一个理想的目标检测“，应该能适用于各种环境。通常一个好的目标检测算法应 具有以下的特征： 1 ) 在各种天气条件下应是鲁棒的； 2 ) 对环境光线的变化应是鲁棒的； 3 ) 能够适应场景中个别物体运动的干扰，如树木的摇晃，水面的波动： 4 ) 能够处理，杂乱无章的大面积区域的各种运动，以及视场内目标的叠加。 一个好的背景维持算法应陔能够避免以下几个问题d 6 a s ： 1 ) 时间性问题：系统对亮度随时问缓慢的变化应该是鲁棒的： 2 )“影子”的问题：在一个背景中从静止开始移动的目标，当其移动后，移开的 地方不应该作为前景目标的一部分，即不应该在前景中留下目标初始位置的“影子”； 3 ) 初始化问题：在一些监视场景中，没有运动目标的“纯”背景图像是不可得到； 4 ) 部分背景扰动的问题：出现如树枝晃动、水纹波动、显示屏闪烁等问题时，系 统对背景的扰动应该是鲁棒的 5 ) 遮掩问题：一个前景的像素不应被背景模型所替代； 6 ) 前景孔洞问题：当一个色彩均匀的目标运动时，其内部的像素不被检测到； 7 )目标丢失问题：一个运动目标长期停止在场景中，而成为背景图像的一部分； 8 ) 阴影问题：目标的阴影也会成为前景目标的一部分。 当然人们总是希望得到一个完美的目标检测算法，能适用于各种环境，但实际应用 中要解决这个问题是十分困难的，因为实际应用中不但要考虑到算法要尽量适应于多种 环境，而且除非有专门的硬件支持，否则研究者不得不在算法的复杂度、可靠性，以及 实时性等方面折衷考虑。目前大多数目标检测算法或多或少是针对解决某一具体问题而 提出的，这样也就带来了对视频序列中目标检测的算法的分类。 一般而言，视频序列中目标检测的算法的分类可以按照被监视场景是室内还是室外 进行分类，算法可分为室内监视算法与室外监视算法。显然，对于一个室内监视系统而 苦，环境螯件变化是较小的，因此监视算法相对易于设计，而其监视内容，主要是人以 及场景中的物品，如被遗留在场景中的物品，或者是从场景中移动走的物品等等。另一 个区分视频目标检测算法的标准是看被监视的场景与摄像头之间是否存在相对运动，当 视频监视中若背景与摄像头之间位置保持相对不变，那么背景图像的大小和位置在不同 第8 页 西北大学硕士学位论文 帧中将傈持不变。所以可以直接利用帧阉圆一位置像素的亮度或颜色的菱来进行变化检 测，并提取目标，而背景与摄像头之间存在着相对运动时，必然会引起背景图像的位置， 大小和形状在不同帧中有所改变，显然利用帧间的差异来作为检测背景变化的标准是不 合适的，其算法应与背景静止时的变化检测算法有所不同。因此在视频监视中往往根 掘摄像头与背景之间是否存在相对运动，将视频监视算法分为静止背景和运动背景的目 标检测两类。显然，综合上述两种分类方法视频监视可有室内静止背景，室外静止背景， 室内运动背景，室外运运动背景四种。本文着重介绍静止背景下视频序列中目标检测的 方法。 2 1 运动目标检测的基本方法 在视频监视中，当摄像头保持不动时，可以认为视频序列图像中的背景图像相对不 动，这时所谓目标检测，就是当场景中有新目标进入或者场景中有目标移动时，通过变 化检测算法得知有运动目标出现，再利用目标分割的方法把进入场景中的运动目标( 前 景) 从背景图像中分离出来。 目前，针对背景图像静止不动的情况所提出的检测运动目标的算法究其原理主要 可以分为三类：光流计算法、帧间差分法、背景消减法；但是每个算法多是针对某特 定的场合提出的，各有特点，并且各种算法仍有许多值得改进的地方，如有的算法在精 确地检测方面，有的算法在计算量等方面仍需要改进。 2 1 1 光流计算法 光流场的计算最初是由h o r n 和s c h u n c k 于1 9 8 1 年提出的 4 6 1 ，它是种以灰度梯度 基本不变或亮度恒定的约束假设为基础的目标检测的有效方法。 所谓光流是指图像中灰度模式运动的速度；它是景物中可见点的三维速度矢量在成 象平面上的投影，它表示了景物表面点在图像中位置的瞬时变化；一般情况下，可以认 为光流与运动场没有太大区别”，因此就可以根据图像运动来估计相对运动。基于光流 方法的运动检测采用了运动目标随时问变化的光流特性，把光流计算得到的运动量作为 一个重要的识别特征来判断运动目标。 光流计算法的优点在于光流不仅携带了运动目标的运动信息，而且还携带了有关景 物三维结构的丰富信息，它能够检测独立运动的对象，不需要预先知道场景的任何信息， 并且能够适用于静止背景和运动背景两种环境，可用于摄像机运动的情况，有较好的适 应性。 但是当目标与背景图像的对比度太小，或图像存在噪音时，单纯的从图像灰度强度 出发来探测目标的光流场方法将会导致很高的虚警率。另外，这种方法的计算复杂耗时， 除非有特殊的硬件支持，很难实现实时运动目标的检测。从而导致光流计算法的实用性 第9 页 西北大学硕士学位论文 比较差。 2 1 2 帧间差分法 帧间差分是检测相邻帧图像之间变化的最简单方法，它是直接比较了视频序列中 连续的两帧或三帧图像中对应像素点在灰度值上的差异，然后通过设定闽值来提取序列 图像中的运动区域， 帧间差分法进行目标检测的主要优点是：算法实现简单；程序设计复杂度低；易于 实现实时监视；基于相邻帧差方法，由于相邻帧的时间间隔一般较短，因此该方法对场 景光线的变化一般不太敏感。 最基本的帧间差分法可以检测到场景中的变化，并且提取出目标，但在实际应用中， 帧问差分法的结果精度不高，难以获得目标所在区域的精确描述。因为我们在实际应用 中特别是在下一步进行尽标跟踪中，我姐总希望提取的目标尽量接近目标的真实形状， 也就是说，我们提取出的目标应是完整的，同时也应该尽量少的包括背景像素点。但是 在使用过程中存在两个问题 4 8 1 ：一是两帧间目标的錾叠部分不容易被检测出来，即只检 测出目标的一部分或者出现了较大比例的空洞，这是由于我们直接用相邻的两帧相减 后，保留下来的部分是两帧中相对变化的部分，所以两帧问目标的重叠部分就很难被检 测出来：二是检测目标在两帧中变化的信息，这样会存在较多的伪目标点，检测出的目 标往往比实际的目标大一些，这是由于实际目标颜色或者灰度在一定的区域内较为均匀 所导致的。 2 13 背景消减法 背景减除法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的 差分来检测出运动区域的一种技术。 背景减除法的原理非常简单，其主要工作过程如图2 1 所示： 上一i 与一基一h 蔓鹕她h 一曩3 i 坠 背景图像l 图2 1 背景消减法基本原理流程 首先利用公式( 2 1 ) 计算背景图像b k 与当前帧图像五的差，然后依据公式( 2 2 ) 对差分图像d k 进行二值化和形态学滤波处理，并对所得结果r k 进行区域连通性分析， 当某一连通的区域的面积大于某一给定闽值。则成为检测目标，并认为该区域就是目标 的区域范围。 第1 0 页 西北大学硕士学位论文 耽( 工曲= 1 矗( 葛坊一b k 一。【焉坊1 ( 2 1 ) 其中 ( 葺们，札一。( 五坊分别为当前帧图像和背景图像；q 奶为背景减得到的差分图 像。 r k x , = 仨篙嬲盏丧翳 扭2 ， 其中t 是目标分割时设定的闽值。 背景消减法的主要特点是： 1 、适用于摄像机静止的情形； 2 ) 需要得到当前环境的背景图像或者为静止背景建立背景模型； 3 ) 与帧间差分法比较，可以获得关于目标运动区域的完整精确的描述一从而提取 出较精确的目标图像。 虽然背景消减法可以提取出完整的目标图像，但在实际应用中仍有许多问题需要解 决，实际应用中一幅标准的背景图像总是不容易得到的，一种简单的获取背景图像的方 法是当场景中无任何目标出现时而捕获背景图像，很显然随着时间的推移，外界的光线 会变化，这会引起背景图像的变化，因而这种人工的非自适应的方法获得的背景图像， 会随着时间的推移，对场景中光照条件、大面积运动和噪声比较敏感，出现许多伪运动 目标点，不利于目标的准确检测。因而，目前大多数监视算法已经放弃这种非自适应的 背景图像估计方法，大部分的研究人员目前都致力于开发不同的背景模型，进行背景的 动念更新，以期减少动态场景变化对于运动检测的影响，以适应环境的变化，即自适应 背景模型估计算法。本文提出一种基于高斯统计模型的背景图像估计算法。 2 2 基于自适应高斯背景模型的目标检测 自适应背景模型估计算法适用于摄像机静止的情形。它为静止背景建立背景模型， 通过将当前图像帧和背景模型进行比较，确定出变化较大的区域即认为是前景区域。这 种方法的计算速度很快，可以获得关于运动目标区域的完整精确的描述，但对场景中光 照条件、大面积运动和噪声比较敏感，所以在实际应用中