（信号与信息处理专业论文）运动人体检测与跟踪方法研究.pdf

摘要 摘要 运动入体的枪溯与耀踪是视频分辑的重瑟内容，也怒计算机视觉研究的。个 重要领域。本文对固定镜头视频序列中的运动人体的检擐4 和跟踪方法进考亍了磺究。 针对现有的混合高斯模型方法不能解决鬼影和运动阴影检测的问题，本文提出了 一静改进黪混合褰焱模型靛骛豢更藜算法，快速准壤建建立鸷最模型，粕嫒瓷影 的消除；同时给出了一种基于三色值系数不变性和亮度变化检测的运动阴影检测 算法。在运动磊奉暴稳深静基穑上，提懑了一耱运动磊标跟踪算法，琴j 髑目标酌外 接矩形框和颜色模板对场景中多个运动对象避行实时跟踪。最后分柝了主动形状 模型应用于目标轮廓提取的原瓒，提出了一种基于颜色信息的主动形状模型，有 效提舞了视频中运动轮廓提取的准确性。 关键溜：撬频跟踪混合高耘模型颟色搂缀主动搿获搂型 a b s t r a c t a b s t r a c t t h ed e t e c t i o na n dt r a c k i n go fm o v i n gh u m a ni sa l li m p o r t a n ta s p e c ti nt h ev i d e o a n a l y s i sa n d av a l u a b l ef i e l di nc o m p u t e rv i s i o na sw e l l ，t h i sp a p e r m a i n l y d i s c u s s e st h e d e t e c t i o na n dt r a c k i n go fm o v i n gh u m a ni nv i d e os e q u e n c e sg a t h e r e df r o maf i x e d c a n l e r a 。a st h ee x i s | i n gm i x t u r eg a n s s i a nm o d e l sc o u l dn o ts o l v et h ep r o b l e m ss u c ha s g h o s ta n dm o v i n gs h a d o wd e t e c t i o n ，a ni m p r o v e dm i x t u r em o d e lu p d a t i n gm e t h o di s p r o p o s e d ，w h i c h i n c r e a s e st h es p e e do f b a c k g r o u n dm o d e l i n ga n de l i m i n a t e st h eg h o s t q u i c k l y ；as h a d o wd e t e c t i o ns c h e m eb a s e do nb o t ht r i c o l o rc o e f f i c i e n ti n v a r i a n c ea n d l u m i n a n c ec h a n g ed e t e c t i o ni sp r o p o s e d b a s e do nm o v i n go b j e c t sd e t e c t i o n ，t h i sp a p e r p r e s e n t sam o v i n go b j e c tt r a c k i n gm e t h o d ，w h i c hu s eo u t s i d er e c t m a g u t a ro fm o v i n g o b j e c t sa n dc o l o rt e m p l a t et ot r a c ko b j e c ti nt h es c e n e a tl a s t ，t h et h e o r yh o w a c t i v e s h a p e m o d e l a p p l i e d t oc o n t o u re x t r a c t i o ni sa n a l y z e da n dt h ea c t i v es h a p em o d e lb a s e d o nc o l o ri n f o r m a t i o np r e s e n t e dw i t hag r e a ti m p r o v e m e n to ft h ea c c u r a c yo fc o n t o u r e x t r a c t i o ni nv i d e c ， x e y w 。r 蠡o v i d e o t r a c k i n g m i x t u r eg a u s s i a nm o d a lc o l o r t e m p l a t e a c t i v es h a p em o d e l 创新性声明 v 6 9 5 6 03 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取搿的j i j | = 究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中4 i 毽含其德入已经发表或撰写过的磅究戏票；电不色食兔获缛殛安电子辩技夫学或 其它教育机构的学位或证书丽使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的蜕明并表示了谢意。 申请学位论文与资料若有不实之处，本人承攫切橱关责任。 本人签名递嗍翌堕盥7 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属瑙安电子科技大学。本人保诫毕 业离校压，发表论文或健罴论文工作成采时署名擎使仍然为理发毫予科技大掌。 学校有权僚留送交论文瀚复印彳牛，允许查阅和借潮论文；学校w 以公布的全部或 部分内容，可以允许采用影印、缩印戏其它复制手段保存论文。( 保密的论文在解 密后遵守此规定) 本人签名 磊 日期： 导辉魏妊! 苎岳 - 晒、j 了 嚣簸：i 竺垒f ，- 墨 第一牵媾谂 第一章绪论 视频监视是实施安全监控的熏要技术手段。它涉及信号与视频处理、通信和 计算机视觉等多个学科的研究领域。视频通信、处理和理解是视频监测技术的三 大孩，0 技术。尽管戏像设各、援颓嚣绞、逶嫔戳及数据存赣等方瑟豹技术发震逐 速著鼠曰趋成熟，锻是视频内容的分析和理解工作目前仍然主要依靠人工完成。 视频分析技术的滞厝已严重阻碍了视频检测系统的发展与殿用，结果导致现有视 频检测系统只能完成时间的纪录为事后分析提供证据，难以实现实时的视频事件 捡鞭乳分橱帮报警。 视频序中运动人体的检测与跟踪是视频内容的分析和耀解的重要组成部分。 它包括：从图像序列中检测运动区域、对人体的运动进行跟踪，在高级阶段还包 据对入豹行走豹理瓣。该方自熬疆究残莱霹激痰瘸子智麓獠凳夔控、入撬接日、 人体运动的细节分析等领域。 1 。1 研究背景及意义 本文的研究内容为智能视频般视技术，本课题是国家自然科学基金“基于多 光谱多镜头视频信息融合的人体跟踪与识别方法研究( 6 0 4 0 2 0 3 8 ) ”的个研究子 谋透。 智能视频监视l l 】就是实时地观测被监视场景的运动目标，如人或车辆等，并且 分析描述他们的行为。这项技术研究内容主要涉及到运动目标检测与提取。运动 目标跟踪，运动露豁识裂，运动努褥与运动璎聪，视频试诞等方瑟的内容，困露 研究餐髓视频篮褫技术有着重要瀚理论意义，黼久体运动豹检测与跟踩剿是智能 视频监控中的重要组成部分。 从2 0 0 0 年开始，美国国防下褐的国防斑级研究项鞭局资助h i d ( h u m a n i d e n t i f i c a t i o n 采a d i s t a n c e ) 诗翊，其程务是并发多模式戆、大范围豹程觉稳溅菝寒， 以实现远距离情况下人的检测、分类和识别，增强国防、鼹用等场合免爨恐怖袭 击的自动保护能力。美国有多所犬学参与了这个项目的研究，包括卡耐基梅隆大 学、玛鬃兰大学、赚嚣理工大学瓮。 1 2 研究进展及其现状 运麓天薅嚣检测与鼹踪主要燎羯来楚理怠含运动人钵熬视频，本文穆冀刘分 运动 体醺测每鼹黥方法磅究 为运动人体检测、运动人体跟踪、人体轮廓提取三个方面。以下从这三方面分析 国内外的研究现状及常用的处理方法。 j 1 2 1 人体运动检测 运动检测的目的是在图像序列中将前景运动区域从背景中提取蹬来。运动梭 测是运动锈俸的分类与礞躲豹基础，该阶段处理绪巢豹质量直接影确爨班磊处溪 的效果，所以运动检测在人体运动分析中的作用非常熏要。然而，背景的动态变 化( 天气、光照、运动物体的影子等影响) 给运动检测带来了困难。下面归纳出目 蘸置耱霉雳麴运动基蠡捡溺方法。 背景模型1 背景模型方法是图像中运动分割目前最常用的一种方法，它怒利用当前图像 与背景模型鞠像樱差分并阙僮优来检测攮l 运动物体懿一静技术。锼翔背景差分方 法是戳运定凝像祝为蓊旋条件，对于鹜爨强像序列，般缓设背景服从高额分镪 背景噪声为自噪声，利用初始不含前景的连续n 帧图像构造初始的背景模型，然 后根据一定的刷新速度更新背景模型，使它能够适成缓慢的光照变化，这种背娥 摸鍪毪较挎台鑫然豹请嚣，毒鞋适应缓骥熬鹜景交繇，套着镶强戆逶强性。餐它 不能处理突然的光照变化( 如闪电) 和背祭扰动，对予物体带有影子的图像不能精 确的分割出前景物体，为以后的处理带来不便。由于现今大部分的视觉监控系统 楚剥翅背景模型送行蘸景梭测兹，敷以羰藏许多磅究炎爨部致力予疆究各秘穗聚 模型的性能，来尽量减少场景动态变俄对准确分割豹影响。 光流的方法一) j 。 基于光溅方法的运动捻溅，是利爝运动物体随时阕变化在图像中表现为速度 场的特缝，檄摇_ 定戆终条条 孛售算爨运动掰瑟应鹣毙滚，它豹谯纛是在摄像撬 与背景问也存在着运动的前提下也能检测出运动物体j 然而，光流计算方法需嚣 多次的迭代趱算所以时间消耗比较大，而且抗干扰能为比较差。所以很少采用讹 滚场方法遴 子运动检测，瓣蘸在运动捻测孛最霉爱懿方法是基于磐景模型懿鹜豢 麓分技术，域背景差分和时域差分相绪念的技术。 l ，2 2 人体运动跟踪 人体运动的跟踪就是农连续的图像帧间创建位援、速度、形状等有关特征的 对应匹配问题，常用的数学工具有卡尔照滤波【6 1 和m e a ns l l i 硝7 ，8 1 算法等。其中卡尔 爨滤波是基于裹疑分- 毒戆状态蓣溅方法，霹实对蘧遴行鼹踩疆溅。m e a ns h i f t 算法 是基予样本估计的算法，可以进行实时的跟踪。目前就跟踪对蒙丽言，可分为跟 第一章绪论 踪人体运动部分、人的运动整体，就摄像机的数量可分为单摄像机和多摄像机。 下面根据不同的跟踪方法来加以介绍。 基于区域的跟踪方法 基于区域的跟踪方法包含跟踪人的整体和跟踪人体的部分的方法。跟踪人的 整体的方法不需要考虑精确的人体模型和人体部分的细节，所以不需要对模型进 行初始化。它通过对检测到的前景区域进行面积、几何结构的约束，对跟踪区域 加框线用以跟踪。对人体的部分进行跟踪需要比跟踪总体更精确的运动前景，通 过对人体的轮廓与颜色的分析，假设象素服从高斯分布对人的不同部分( 如头、手、 身体等1 进行分类统计构造不同部分的代表物，有新区域的出现则产生新代表物， 对应区域消失则删除该区域的代表物。 基于特征的跟踪方法一1 基于特征的跟踪方法，是采用从图像中提取人体的典型特征并在序列图像间匹 配这些典型的特征跟踪方法。该方法以提取人体的特征开始，人体特征的选用标 准是具有抗噪声、鲜明的对比性以及合适的大小等特点。为了建立在帧间的准确 特征对应，通常都定义明确的约束条件以减小无用的匹配区域提高匹配效率。特 征点越简单，越容易抽取但越难跟踪，而高层次的特征点难以抽取但容易跟踪， 所以在实际应用中需要根据系统的要求，在特征点的复杂性和跟踪效率之间选取 一个折衷的方案。实际应用中可以根据不同需要选取不同的特征点加以跟踪。 1 2 3 人体轮廓提取 人体轮廓的提取是指从图像序列中检测出人体所在的区域，它是很多重要应 用的基础，如步态分析、视频监控、基于轮廓的三维重建、基于对象的视频编码 等。由于人体形状的复杂性和可变形性，许多提取的工作无法依靠计算机自动完 成，而手工提取又存在工作量大，定位不准确的难题，因此，人们提出了一些人 工和计算机自动定位相结合的方法，利用各自的优势，实现昏标轮廓的快速定位。 k a s s 提出了a c t i v ec o n t o u rm o d e l s ( s n a k e l 【1 0 】用于复杂轮廓提取，该方法成功用于 图像解释和柔性物体的跟踪中。c o o t e s 提出了一种迭代的a c t i v es h a p em o d e l “】 算法，通过建立形状模型提高了估计轮廓和实际轮廓的匹配性，随后c o o t e s 又提 出了a c t i v ea p p e a r a n c em o d e l 1 2 l 算法，在形状模型中加入了图像的全局的纹理信 息，增加了轮廓提取的精确度。 1 3 本论文的主要工作和内容安排 本文研究了视频序列中人体运动的跟踪和识别，它的主要内容包括是从固定 运动入体硷耀与鞭黥方法联究 的场景中检测运动的人体，并对人体的运动加以跟踪。本文使用多混台高斯模型 算法进行前景检测，劳在此基础上提出了改进的背景模型舞法和阴影梭测算法。 在躐跺方瑟主要戮究了稳躅吴黉瑟瑟特毪戆凝色模叛帮鹫标终接矩形嘏突溪霹莘 对象，多对象分离或融合，对象消失等情况的跟踪处理，在实际应用中取得了良 好的效果。在轮廓提取方面利用扩展的主动形状模型对视频中运动目标轮廓进行 提取。建立了色摆鼹景摸型裙始化、翦景运动凌终检测、入体运动蹑黥、人体轮 廓掇取等几个功麓模块。 本文的主要工作内容及章节安排如下： 嬲一章：介绍了运动人体梭铡与跟踪的鹜景、发展情况秘现状，分婿了现有 戆蚤耱捡浚援零戆撬缺点，阐鞠了本文工幸挈戆意义纛内容裳撵。 第二章：首先将运动人体检测技术按照不阔的环境进行了分类，随爝具体分析 了针对固定场景下运动人体检测的自适应背景模型算法。针对原自适成背景模型 中本糕予鸷景款黪舔运动彝雩产生兔影鲍翅题我鲣提出了改遴愆淹会毫酝模型，在 不同的阶段使用不阍的更新方程，加快了鬼影的消除。此外，本章在运动象素点 检测的基础上提出了一种利用阴影区域色度倍息和亮度信息自适应调骢检测参数 对运动阴影进行捻测的算法。 麓三章：羞先绘爨了当蘸鬻蠲貔各静嚣标鞭踪算法，麓厢提密了基予瓣标乡 接 矩形柢和颜色模板的跟踪方法。幽人单独运动时使用外接缀形框定位，巍出现人 体的融合或是分离时利用颜色模扳对目标进杼颇色匹配确保目。标跟踪的准确性， 该葵滚霹辇圭圈薄对多令对象熬遮漤较邃进嚣蕤踪一；戆较烂煞释决器蠢静滋凌、合 并、分离、消失时的跟踪问题。 第四章：本章酋先叙述了当前用于轮廓提取的各种技术并分析了其俄缺点，随 后介绍盎动形状模溅翔俺用于物体的轮癣检测。蠢罩对携频套运动天体豹轮廓进 行夔敬，我稍将舔巍算法中钎辩灰度空闯秘潮决准粼扩袋戮颜琶空闻；并剜瑗跟 踪提供的人体的坐标信息，提出了基于颜色傣息的主动形状模型算法。农验结果 表明该方法比原有的主动形状模测相比有效摁勰了目标轮廓提取的准确髅。 篱五章：全瑟憨络了本文磷突残莱鞋及存褒髓不跫，撩滋了翥续硬炎王佟瓮方 向以及该领域研究的发展趋势。 第二章鏊予改进漫台裹簸挨囊约运动天体梭溅 第二章基于改进混合高斯模型的运动人体检测 2 i 引言 瓣拣l 受踪鹃蓉黉 壬务是确定场景孛枣运凌鹣嚣蠡l l 矾，载是援溅程频中被夔援 的场_ 景图像是否有所变化。如采阑像有变化，剡说明有新的目标出现，反之则认 为没有新目标出现。通常一个好的视频目标检测算法应具脊以下的特征：在各种 天气祭佟下应是鲁挎的：对环境必线鲍变他成楚营捧的；能适应场景中个别物体 运动韵于挠，如掰本豹摇晃，永灏豹波动；一个好豹背景嘏持算法应该躲够避免 以下几个问题：目标运动带来的问题：在一个背景中移动的目标，当其移动后， 移开的地方不应该作为前景目标的一部分；时间性问题：系统对亮度随时问缓慢 豹变键蔻鲁薅夔；部分藿景晃动翊题，蠡挺拔、显示屡等。一个蓑景熬象索不应 被背景模型所替代；初始化问题：在一些监视场景中，没帮运动目标的“纯”背 景图像是不可得到：前景孔洞问蹶：当一个色彩均匀的目标运动时，其内部的象 素不被羧溅到；爨标丢失阕题：一个运动目孝承长麓停止在场景中，丽成灸鹜景图 豫的一部分；阴影翊题：疆标豹麓影遣会成秀翦景强标嚣部分。入铜憨希望一 个好的视频目标检测和提取算法，能适用于黼视各种环境。但实际应用中耍解决 这个问题是十分困难的，因为实际应用中不但撰考虑到算漱要尽量适应予多种环 壤，嚣基豫菲骞专门瓣疆箨支持，黉羹l 疆窕翥苓褥不在舅浚瓣复杂褒、瑟纛蕊戳 及实时健等方面折裘考虑。目前大多数视频目标检测和挺戢算法或多或少是针对 解决某一问题而提出的，这样也就带来了对视频目标检测算滋的分类。 一般瑟言，视频锺标检铡算法可以按照被黢粳场景是室痰还是室步 遴嚣分类， 算法胃分为室内蓝巍算法与室辨簸税算法。最然对于一个赛内监视系统掰言，环 境条件变化是较小，因此监视算法相对易于设计，而其监视内容主要是人以及场 景中的物品，如被遗留在场景中的物品或者是从场景中移动走的物品等等。另一 令莲分辘频嚣标捡漓秘提取夔稼雄楚看疆景与摄豫妥之润蹩器存在稳怼慈动，当 视频中背景与摄像头之间位置保持相对不变，那么背景图像的大小和使鬣在不同 帧中将保持不变，所以可以直接利用帧间同一位景象素的巍度或颜色的麓值来进 行交化捡溅劳提取翳标。露背景与摄像头之瓣蠢在羞摆对运动露，螫然会弓l 起鹜 景图豫豹位置，大小和形状在不阏帧中有所改变，显然剩用帧闻的差异来做为检 测背最变化的标准楚不合适的，熊算法应与背最静止时的变化检测算法肖所区别。 因此程视频监视中，往往根据摄像头与背景之间是否有相强运动，将视频躲视算 法分麓黪壹鹜景彝运动背景静嚣稼猃溪蟊提取两类。显然综会上述两静分类方法 运魂天体稳瓣与舔踪方浃辫究 视频监视可有室内静止背景、室外静止背景、室内运动背景j 室外运运背景四种。 本章着重介绍静止背最下襁频序歹硅中霞标检测和掇取方法。! 对于静止鸳景下的捡 ：测算法有鏊予统诗模垄瀚方法如鸯逡斑高额模垂冀法、 蠢参数纯模墅【1 41 5 等；基 于预测的方法如卡尔曼滤波器方法、w i e n e r 滤波器法等。，本文主要对自适应背景 模型算法进行了研究，并针对原有算法中存在的问题，提出了改谶和修改。 2 2 自适应背景模型算法 岛适黩背景模型l 鑫计葵法适用于摄像杌静止蛉馈形。它为静止背景建立鸷景 模登，遗逡将当兹强豫梭和背景模型避季亍魄较，确定出变纯较大的区域静试为是 前景区域。这种方法的计算速度很快，可以获得关于运动目标区域的完整精确的 描述，但对场景中光照条件、大面积避动和噪声比较敏感，在实际应用中需采用 一定豹算法送行蜚景模黧戆谚态更凝潋逶应嚣凌懿交往。按照疆楚理蘩暴兹鑫身 特性，背袋模型可分为革模态和多模态两种。前者在每个背景点上的颜色分稚比 较集中，可以用单个概率分布模型来描述( 即只有一个模态) 。聪者的分布则比较 分数，需要多个分布模凝来共同描述( 具有多个模态) 。是然赛审瓣诲多象携秘缀 多久造物体，强永嚣的波纹、摇摆的树技、飘扬豹旗帜、篮褫器荧屏等，都掇现 出多模态的特性。最常用的描述背景点颜色分布的概率分布是黼斯分布，下嬲就 单模态和多横态两种情形下的背景模烈分别加以说明和讨论。 2 2 1 单离斯分布背景模型 单赢鬏分蠢背景模爨 t 6 1 逶震予在锷爨静态虽巍照不交戆条传下，照露鸷疑点 的象索毽楚桶对恒定豹。如果我们缓设在臻豫中等| 入独立的商辩噪声，弼该蒙素 的概率密度分布可以用中心在象素点均值的单高斯分布来描述。麟高斯模型为每 个图像点的颇色分布建立丁用单个高颊分布表示的模型v ( 簟，辑，x ，) ，其中下栎f 表示薅阉，墨为强豫熹熬警兹颜色蕊，筠帮y ，表示意嫠搂鏊熬均谴饔方差。若 叩( x ，“，乏：，) l ( 这里咒为概率阈假) ，则该点被判定为前景点，否则为背景点 ( 这时又称墨与，7 ( 一，虬，乏：，) 相匹配) 。在实际应用中，可以用等价的阈值替代概 率阚僮。魏令= 置一豁，慰可鞋根攒彰 ：j 静蘩设置稳应豹蕊爨捡测阙魏。 在常觅酌一维情形中，驭拶：表示均方夔，则常根据4 珥的取值设鬟前景检测阚德； 若以盯 t ，则该点被划定为前景点，否则为背景点。 如果一个静态的场景巾发生了光照改变，或是个长时间静止的物体开贻移 动，瓣图徽上对应予该物体点未移动静位置静象素将被诀为是麓豢点，这将夜磊 期运动目标估计及跟踪中产生累积性的错误，这就鬻臻高斯模型能够跟踪这些交 第二章慕予敬避混台鑫斯壤囊熬运动夫薄检l 蒺l 换。这贱因素要求利用视频序列提供的信息来对高斯模型的参数进行更新。单高 斯分布蟹景模型的嚣新即指各象豢点高斯分布参数的更新。引入表示更耨快慢的 翥数一爱薪率a ，粼该点高斯分意参数豹更新方程如下： “= ( 1 一c o u ，+ 搿- 一 ( 2 - 1 ) 。= ( 卜窿) ，+ 搿- t 霹 ( 2 2 ) 2 2 2 雾高斯混合分布背景模型 当汤最孛舂耱零酌晃囊，拳嚣波光豹反嚣辩熬会绘营豢搂鍪菸建立豢寒嚣难。 由于树木晃动、水面波动等原因使得固定位置蒙索值显示出非单蜂分布的特点， 所以使用上文所述的单峰模型的方法去表述背景往往不能准确的模拟背景的变 化。单个模型不能琅确模掇这转镑景情况故另一个原毽，遥在于这些象索悠的变 纯是较袄的，这些象索值的交纯势不是由一个栩对稳定浆荤蜂分布渐渐酌过渡到 另外一个单峰分布，因为这样我们就可以使用单模型去估计背景。通过上述分析， 对于存在着这样变化的背景使用单模型去模拟背景是不够的，考虑到背罱象素值 在一段辩溺疼豹分奄蹩多峰豹，繇珏哥鏊氆韵予攀穰墅翁慈慧方法，氇簸怒弱瘸 多个单模型的集合来模拟一个场景中一个象素值的变化情况。下面介绍g f i m s o n ( ”】 提出的一种多模型的方法来模拟背爨图像进行目标检测。 对簿一个象索定义其分布模型，设象素值序列先 菇；，x 一x ；j 在其綦磷上定 义多个革模墅组成的集合： r = n “i = 1 k )( 2 3 ) 尹( ) = w i ，弩c 墨，鼹，) ( 2 4 ) i m 其中p 。= k ，。，】，芝w 。= 1 ，p t a 为每一个单模型，其由三个参数 j 日l 缝成：弼，隽这令单摸爨匏投蓬，箕大小俸褒了姿毒藿爰这令攘熬表示象素蕊瓣戆可 靠程度，就。为这个单模型的均值体现了每个单蜂分布的中心，。为这个单模型 的单峰分布的宽度大小，其大小体现了象素值的不稳定的程度，它的作用与前述 驰单模黧黪终用相当。k 是擎模型憨个数，k 髂瑰了象素篷多淫分布魏蜂的令数， k 酌选取依赖于象素德分布情况，嗣对也取决予系统的计算黢力，通常豹取傻为3 到5 之间。不难看出匕述定义把一个象素值的观测用多个单模型来表示。为了使 模型能不断贴近当前象素值的分布规律，需要对每一个毅到的象素值更毅这个模 型豹参数。 由于模型由多个单模型组成，因此它的修正与单模型参数修正略有不同，其 运动人体检测与跟踪方法研究 参数修正步骤如下： 1 ，鼹每一令耨黎象素簧，首先稔查它蹩否莲鬣予这个摸蝥； 2 步骤一产生两种可能的情况，针对不同的情况采用不同的修正方法； 情况一：新到象素值与象素多模型集合中的菜个或几个单模型匹配。 当这种情形发生时，需要改变单模型的参数，具体的方法如下： a 修正与新到象素值隧配的单模型的权值： 辫。；= ( 1 - 拄) 嗡+ 拉 ( 2 5 ) 使用式( 2 5 ) 修正的原因是我们定义豹模型始终是希艇宅能囊实挨羧鹜爨象素 值的最近时刻的分布情况。依照模型定义，权重体现了最近象索值出现的概率大 ，l 、，那么墨一个耘餮熬象素镶与这个分毒审菜一个或忍令莘援篷匹配辩，说明该 单模型较符合当前象素值的分布，所以我们需要适当增加其权匿。口的大小体现 了粳重的修正量，较大的群实现了较快的修正。 b 修正与新到裂素值贩配的单模型的参数： 当菜一单模挺与新到的象索值馥配时，需要修正其模型参效。这是因为当新 到的象素壤与莱个单模型匹酝鞋，擞攮壤率分布的双点，其势必会影瞧爨毙襞计 的檄率分稚。当单模型的概率分布缭定时，可以用过去的观测值以及新到的缘素 氇。下覆黻正态分毒为钢， ；乏鞠嫠燕方法： 船b = ( 1 - 幽u 瞄七醛i 砰= ( 1 - p ) c _ t + p ( 置一“。) 7 ( 爿。一u t ) p 一口叩( 一i “i ，c r y ) ( 2 - 6 ) ( 2 7 ) ( 2 8 ) c 未与薪蓟漪象索值匿鬣的萃揆鳖参数的修燕： 当新到的象索值未与某个单模型匹配时，可以认为这个新到魄象素值对这个 单模型的分布束作任何贡献，所以并不需簧改变这个单模型的参数，而只是按照 下甏公式( 2 ，9 ) 改变其投疆： w i ，= ( 1 一口) 嘶j l( 2 - 9 ) 情况二二：新到象素值未与该象素多模型集合中任意个单模型匹配。 当没蠢一个攀模型与薪笺瓣象素毽匹醚对，遮说弱瑰甏了凝鹃分奄，褥这令 分布应在多模型集合中，所以援们需要加入一个新的单模型，同时原先的模型集 合巾去豫一个单模型。其俸方法蹩去除当前多稹黧集台中权重矮小的荦模型，同 时在多模型集合中加入个新的单模挺。这个单模型的参数为： w “= 彬m ；“j f = x 。；= 。( 2 一l o ) 第二章藻于改进混合高斯模型的运动人体检测 其中彬州。为当前多模型集合中最小权重，x t 为新到的象素值，。是一个给 定豹较大豢数。 3 当完成上述修正艏，需鼗对模型中各个单模型的权墓进行归一化处理： ：? li ：1 i k ，2 寸。1 七( 2 - 1 1 ) 勘 ， 饺爱上述模型实现了对象豢僮酶建模，静对每一令薪聚斡象素篷鬻要羯颛其 是否为目标聚素或背景象索，也就是说在判别哪些单模型怒用于表示背景象素的。 一个象素模穗中悬背景象素的模型应粪有这样的特点：投踅较大，方差较小。同 时考虑这两方面因索，可以使用权重与方差之比作为评测橼准，嶷体步骡如下： 1 计算每个单模型； ； 2 。依照导对每个模型晦大到小的顺序排列； 3 认为前b 个模型是背景模型，其中b 为： b m i 瞎u t ) p 1 2 ) = n 0 u i ( 2 。 = l 这种多混合高斯模型的方法的显著优点怒能够解决当豳像中存在多模态特性 羲貉钵翔本溪熬渡绞、摇摆熬褥棱、获扬豹簇嚷，苹混合嵩螽模翟串误爨率裔豹 特点，对于某些不符合单一分布的象素点采用多高斯混合融其建模。 2 3 改进的自适应混合模型算法 + 上葛孛我们套缌了擎凑矮帮多裹辫模型翻于背景建模瓣方法，注意裂嚣耱方 法进行更新时都使用固定的权慎更新率口。如果口数值较小，会导致背景模型中 筠篷帮方差豹更瑟速菠爱，模餮豹建立嚣于阕较长。褥基在建模鬻润懿栗场景中豹 原本静止的桨一部分经过一段时间发生移动时，在其原来的位置会被误判为前景 区域称之为鬼影h 鄙，导致错误的运动区域判断。如采口数德较大，刚会降低模型 对视频中噪声的抑制作用。这琵搴枣l 擎况都会对进一步的视凝分析( 嚣标跟踪和谈别 等) 造成不利的影响。 镑怼以上淘题，本文提窭了一释麓豹模墅雯蓑方法。程鹜暴模型建立除数， 可用于模型建立的帧数不足帧，为了迅速建立背景模型，使用时变的权值更新 率球耪参数嚣薪率矽，筏褥开始鼢段投蕴更薪率和参数更耨率较高，塔大开始若 干帧对模型建立的煎献。实验中，我们分别定义g 和p 为： 运动人体捡测与跟踪方法研究 1 ( 2 - 1 3 ) 一2 轰 口 随着帧数增加，稳定的象素点( 连续多帧都能够与背景分布相匹配的象素) 的参 数更新率p 逐渐稳定，背景模型也趋于稳定。当f 。n 时，背景模型已基本建立， 令月= n ，k f 。一n + 1 利用最新的n 帧图像数据对背景模型进行更新。 我们使用固定在三脚架上的摄像机在室外摄取了若干视频序列，对本文提出 的运动目标检测进行了实验。 ( i ) ( j ) )( 1 ) 图2 1 改进背景模型算法与g r i m s o n 算法的比较 图2 1 是基于改进的自适应背景更新模型的运动目标检测算法的实验结果，其 中( a ) 一d ) 为原始视频的1 2 0 、2 0 0 、2 4 0 和2 8 0 帧。在该段视频中，实验者一开始就 出现在视频中，大约在1 8 0 帧时开始向左移动，在2 7 0 帧时走出画面。( e ) ( 1 1 ) 中， 黑色象素点表示运动象素点，白色象素点表示背景点。( e ) ( h ) 为g r i m s o n 方法的检 测结果的第1 2 0 、2 0 0 、2 4 0 和2 8 0 帧，可以看出，g r i m s o n 方法时在第1 2 0 帧时， 尚不能建立起较好的背景模型，当实验者开始移动时，实验者的初始位置产生鬼 影，直到2 8 0 帧时，鬼影仍不能完全消失。( i ) 1 ) 为本文提出的改进算法的检测结 果的第6 0 、2 0 0 、2 4 0 、2 4 5 帧，可以看出，在第6 0 帧的时候，背景模型已经基本 建立，模型建立的时间相对g r i m s o n 算法大大减小；实验者移动后，鬼影开始消 失，第2 4 0 帧鬼影中大部分已经消失，在第2 4 5 帧则完全消失。说明该更新方程 第二章基于竣进满含高辩楼嫠豹运动人体检测 能够减少模爱建立时滴，提高了鹜景与蓊景转换时静响应速度。 2 4 基于亮度和色度的阴影检测方法 阴影是由于光线被物体遮挡而产生的，可以分为静态阴影和动态阴影 1 9 , 2 0 l 。 静态戮影是静态翡俸，努建筑秘、秘本簿产生豹。动态鞠影楚运动霹标，鲡行入、 车辆等产生的。 图像序捌中弼影静检溺对子视频跟踪是非常重要的，溺为动态场景中大多数 常用的前景对象检测的技术是基予帧闻差和背景差方法，所以对象和阴影中盼点 会被一起检测出来。另外阴影点通常和对象点相连，在很多的分割技术中阴影点 毅对象被合势载弼一令区域，这撵霹以餐致场爨孛爨掭煞糍误分裁，对象的忍餐 形状发生了改变，并直接影响到对象的分类和定位。另外多个目标产生的阴影可 戳佼不霹对象谈为楚穗连熬，被梭溺秀黼一令强标。 本文研究了室夕 环境下，光源来自点光源( 太阳) 和散射光源( 天空) 的情况下的 阴影检测方法。注意到在絮矫环境下运动阴影区域的三色慎系数 2 1 咐光照强度变 化不敏感，本文提出了一耪基于骥影区域三色傻系数信息誉交牲，摄擐瓣像亮度 自适应调整检测参数运动阴影检测算法。算法步骤如下： ，( 1 ) 运凌象素点捡测；剃翔上文孛撬囊熬改避瓣溅合嵩j 舞模型瓣每蔽黼像避幸亍 分割，确定运动象豢点的位置。 ( 2 ) 计算阐像平均亮度p ： 。f ( x ，力 p ：! ! 生一 ( 2 一1 5 ) w + h 其中，、h 是图像的高度和宽度，“y ) 是象索点( x ，y ) 的搬度值。 ( 3 ) 运魂瓣影捡测：霹经意蒙素点7 ，分嗣定义其亮度“红色三色值系数r 和 绿色三色值系数g 为： 冠+ g + 丑 月g 弘f 肛r + g + b 9 2 r + g + b ( 2 1 6 ) 与真正的运动蒙素点相比，阴影点的r 、g 、b 三通道数值都比背景点低，蕊 豆酮影点的懿色和绿色三截值系数基本不变。蕤于诧，本文定义以下阴影检测准 则，如果运动象素点满足： 口s 且卜珞l y 且k g 。 芦 ( 2 - 1 7 ) 0 8 则判定，为运动阴影点。公式( 2 一1 7 ) 中，、r a 、g s 分别为该象素点背景模型中投 运动入体检测号擞踪方垃研究 值最大的高斯分布的均值对成的s 、r 、g 值：口和称为亮度参数，a 由图像平 均亮度p 决定，定义为： f 0 , 7 ，p 9 0 ， 肛p ，9 0 甜- 1 5 0 窿爱获7 毙源兹强度对鞠影静影薅。参数爹霹寒避免赛些羧缴骚臻声竣交瓣 背景点误判为阴影点的情况，实验中取为0 , 9 ，y 称为三色值系数参数。 我们截取了不同光照条件下的视频图像，对本文提出的阴影检测算法进行了 实验，绩果如图2 。2 所示： ( 穆( e )鸯 图2 2 不同光照强度下的阴影检测效果 图2 2 ( a ) ( c ) 为是在多云，早晨1 0 点日照良好，中午日照强烈的情况下拍摄的 琢贻援频图像，分澍霹应了掰影徽弱、瓣彩明显、醚澎最为强烈三秘壤嚣。墅 2 2 ( d ) 一 ) 为对成的阴影检测结果，其中红包代表阴影点，黑色代表前景点。实验 结果表明当阴影不是很强时，检测效果比较好；当阴影比较强烈时，在实验者脚 部与阴影的接触处出现了部分误判现象。憨体来说该算法能较好的遥应光照强发 稳变纯，蒋溺影酾鹜标分离开来。 2 5 运动区域标识 由于上节中视频对象检测算法是基于象素的，因此经过以上处理过程之后， 得到的二值图中的前景点不一定都是真正的运动对象点，其中一些有可能是噪声 产生的，所以有必要对以上褥到的结果进行后处理。方嚣需要将疑予视频运动 对黎的离散点逢接起来，另一方面又要去滁噪声点。戳戴本文首先使瘸数学形态 第一章 徒十改皿混台如蛳模型的运动人怍特删 学的方法刈得到的结果图进行去噪，去除存在的小噪声块，同时填补运动列琢山 q 能因为漏梭瓶出现的孑l 嗣。接黄应用连通组件杯谤l 柬找到属于同一个莳擐k 域 的所有象素点，并给予属于不周前景区域的象索点彳；同的标识，然后把断积小j ： 预i 5 阉值的前竣区域去除，最后留下来的前景区域就是我们所嬖的运动对象。找 们筲先做相关方法的介绍，最后给出一些处理的结果。 2 5 l 热学形态学分斩 如l ，氍述，经过前景点检测羼的图像中存在的噪声( 离散的噪声酣景点和开 标区域中的小孔等) 会给连通区域检测带来不怠影响，因此在进行连通集划分前 一般都要先进行击蠓处理这一“步可以通过形态学运算实现，利用髓蚀和膨胀算 了分别去除孤立的噪声1 ；i 景点和填补目标区域的小孔。为r 简化起见，我们对 值图像的膨胀茅臼腐蚀利用对称的3 3 的结构元素。膨胀和腐蚀的定义如下： 结构元素： b = r 2 一1 9 1 b 关r 原点的映射： 宣= 卜b ib e b 膨胀：a 。b = 卅c 鱿篁a 腐蚀：a o b 渺拓- a r 2 2 0 1 r 2 - 2 1 、 r 2 2 2 ) 其中a 为二值图像，( b ) ，是指结构元素b 的中心平移到x 时得到的图像。 25 2 连通组件标识 经过形态学运算后，图像中小的干扰点被去除，小的问隙被连接，小的7 l 径 被填充，随后我们采用根据空间连续眭柬分割目标的连通组件标以算法【2 ”。木义 中选瑚了4 连通的方法对前景点的集录 进行了标识。为引出4 连通的方法我们 首先给出4 乓口域的定义，对于一个坐标为( x ，y ) 象索p ，它可以自两个水平手 两个 歪苣的近邻象素。它蜘的坐标集合是： n 。( p ) = ( x + l i y ) ( x 一1 ，) ，( ，y 1 ) ，( x j ，+ 1 ) ( 2 - 2 3 ) 称为象豢p 的4 乓g 域，从对4 一邻域的定义，我们可鞋摊出4 - 连通的定义：两个琢 运动人体榆测1 趴踪方法母宄 索p 和q 它们的象素德桐同。如果q 是在n 。( p ) 中的一个象索点，则它们是4 连通的。 经过连通组件分析后会产牛若 二个连通的区域。除了会产生一些真正的目 标区域外，还会产生一些小块的连通医域，他们不是真f 的月标区域而是噪声 点的连崦集合。我艉遗过对产生孝勺所有区域进行计算萁象素傻的大小，如聚超过 了某一阂值爿判断其为目标区域，借咀消除这些噪声区域的描响。 水文利用数学形态学方法和连通组件分析对经过习标柃测的图像进行分割， 其效果如图23 所示： ( a )( b ) 图2 3 图像看处理被果圈 图2 3 中( a ) 是原图，( b ) 是处理后的敬粜图。从中可以看到采用了形态学分桥 和连通组件分析后，视频中的不i 司连通目标j j 不同的颜色进行表示，黼时剥用上 面提出的利用闽值消除噪声区域的方法，对真实的目标采用矩形框进行确认，可 魁三个矩形梃分别对应三个运动目标。在这里同射我们也注意到在绿色目标的右 腿部分出现断层现象。这魁因为该部分的颜色与背祭颜色非常接近，在背景建模 蝴矧误判为背景点，导致在后续处理中的进一步丈误，因此个好的背景模型对 丁视频序列中运动目标的分析是至关重要的。 2 。6 小结 本章主要介绸静止背摄下运动捻测和目标分割的方法。沧述了基于背景模型 的方法；利用背景闰像象崇值模态分布的统计规律，完成对象索的划分。根据模 态的个数分为盟幌台高斯模犁和多混合高斯模型。注意到在建模期蚓，场景中的 ，泵本静i t 的某一部分经过+ 段晴矧发生移动时，列用原有湿高斯模型在其原柬 的位茸会产生鬼影。针对该问题提出了改进的混合高斯模型和阴影检测算法，使 i j 叠事变l ；l f j 权值更耨率帮参数更薪率，使得开始阶段权值的更赫率帮参数雯新率较 高，增大丌始若干中贞对模型建立的贡献，背景模型已基本建立厢。利用最新的n 帧 潮像数撤对曹景模型进行斑新。此外，本文针对混台离斯模型不能区分阴影烈和 第二章基于竣进满含高辩楼嫠豹运动人体检测 15 目标点的郝题，提出了一种在运动象素点检测的基磷上，基于阴影区域色度信息 不变憔，根据图像亮度自适瘟调整检测参数运动阴影检测算法。在目标分割中， 嗣用常常形态学去处了目拣检测履遗留的部分冁声点，隧后嗣用连通缀件分毒厅算 法将连通区域霜不霸麴颜色进行标识，并刹嗣溺值的方法消除嗓声连通区域的对 囊实目标连通区域豹彩晌。 运动 体检测与鞭踪方法研究 第三章基于摸板遐配战运动人体跟踪 3 1 号 言 序翔图像中进行目标躐踩是计算机视觉、黼像处疆和模式识掰颁域攀非常活 跃的课题。所谓运动眉标跟踪，就是在一段序列图像中的每幅图像中找到感兴趣 的运动目标所处的位嚣。在视频监视中运动目标跟踪的作用非常重耍，因为它不 艇哥鞋提供被鉴视基标的运动孰遗，也为送牙场景中遨动嚣标豹运貔分毒莲葶爨场豢 分析提供了可靠的数据来源，同时运动目标的跟踪信息也反过来为运动目标的正 确检测以及运韵磊标豹浚别提供了帮韵。 目前已经提出了许多目标跟踪的算法。其中有的怒针对刚性目标的跟踪 2 3 , 2 4 ， 有的是针对非刚体运动目标的跟黥 2 5 , 2 6 。有的针对提高跟踪旺配的准确性而提出 鲍f 2 7 j ，这类算法主要的特点是通过选取好的跟踪特征柬提裹强标蛉搜索匹配速度 和匹配的正确程度：有的算法【2 鄙是针对缩小目标搜索范围提出的，这类算法主要 特点是懑过菜葶孛方法鞭测譬标下一对刻可麓整瑗静位嚣，逶避缩小嚣标靛攘索范 围来缩短目标搜索时间。 对予嗣俸滔标静跟踪来说，在跟踪嚣寸可以粕雨它们形状的先验知识检测物体 特有的特征如物体的角、边。如文献【2 9 l 中跟踪这些特征从一蠛图像刘另一蟠图像， 这种方法通常适应于几何形状较简单的物体如汽车等目标。第二类方法如文献 3 0 1 撬出戆方法，邋过诗舞二维运动区域与运动基搽模型黢对应关系送行基掾鼹踩。 如通过计算二维运动区域的中心位置和运动方向，然后在二维运动的区域中计算 与三维摸型中线段的对应关系，崮瑟亲翔澍运动区域燕否与毯标模鼙稻适配。 当国标是非刚体的物体例如行人等，由于没有固定的形状，所以利用物体形 状信怠的方法就不能在使用了，取而代之的是运动目标的动态模板，这些模板需 要在整个跟踪避程中不断修正、更毅。邋豢有爨转动态模型颤以使用。第一秘模 型就是用检测到的目标的运动区域图像作为模板。在文献f 3 1 】中，作前使用运动区 域象素鹣彩色焱方图，在嗣瞻刻完残了对足令运凄爨熬鼹踩。第二耪类覆戆摸 扳是由运动区域的特征组成。如文献口2 】中，模扳元素由在运动区域上检测到的边 酌集合季句成，定义了两个边集合之间酌躐离，利用这个距离即使当行人的部分身 体被遮掩时，也能够跟踪他们的运动。 本文将视频编码中模板匹配的技术应用到芊见频跟踪中，使用运动对象的外接 艇形挺巍其颜魏模扳，蠖用入落豹颜色售息特缎寒鳃次天体之阕懿嚣配目题，避 免了单纯使用人体运幼状态进行匹酉己的缺陷，在实验中能够提高算法的鲁棒性， 薷三章基于模扳匹配的运动人体跟踪 正确地跟踪人体。 3 2 运动对象的跟踪 目标跟踪，简单的说就是在下一幅图像中找到目标的确切位最。一种简荤的 跟踪方法首先提取耍被躐踪目标的图像建立一个模板：然后在下一幅图像中全圈 匹配搜索目标图像找到最佳匹醚的位爨。这举巾全图旺配搜索方法1 3 3 1 有时可以德到 较为满意的跟踪结果，但在实际使用中这种念图匹配搜索：疗法主要存在着下颟两 方瑟豹阕题：豫饕煮专门戆硬 孛支持，覆剽这秘金强匹配援素办法是菲鬻费时豹， 不能满足实时性的要求；由于目标在下一幅图像中可能存在旋转、光线及运动等 魇因，蟊称静图豫会有矫形交。对这个问题入稻提出了各稀各样的建立目标静匹 配模板以及匹配距离计算的方法，以此来提赢模板匹配速度和精确度。本文掇出 的方法是依据物体的大小、位鬻和颜色关系，用当前帧中出现的运动对象与已经 记录下寒的对象超匹配，根据匹配结果进萼亍跟踪。蹦3 。1 是跟踪浚攫图，其中骞模 块的功能如下： 运动对象检 狲结果 鞭踪结粜 、 已越泶篱对蒙 图3 1 跟踪流程图 1 运动对象的初始化：对输入的运动对象检测结果进行韧始化，记录每个运动 对象懿中心继置秘区域大小售意，对毅检测裂匏曩栋提取黪薤建立强标嚣配模援。 2 对象瓯配：对象匹配是运动对象跟踪过程中最关键的步骤，其思想是根据一 定静嚣配策培，褥警蓊顿中检测弱的瓣象与穗经记录下来鼢运动对象稻阮较，如 果比较结果在某个域值范围之内则认为匹配成功，警在预测范国内未找到目榕时 需迸行特殊处理。 3 运动瓣象参数款更凝：如果能找到与当翦蛱孛运动对象相篷配蛇对象，粼利 用匹配到的目标图像重新修正被跟踪目标的模板数据。如此反复就可以跟踪到这 个嚣标豹运幼辘透。 3 。2 1 运动对象参数初始化 对于目标跟踪的开始阶段，确立关于对象的一些参数如对象中心，所在区域 趋大小对蜃期跟踪愿言蔗糖当璧耍数。经过耀混合褰簸模型对对象遘行检测挝敬 运动