（通信与信息系统专业论文）人体行为视觉识别中分割方法的研究.pdf

人体行为视觉识别中分割方法的研究 摘要 人体行为视觉识别是近年来计算机视觉领域中倍受关注的前沿方向，而人体 目标分割技术在人体行为视觉分析研究中，又是首要的问题。目标分割结果对目 标的识别和行为理解起着至关重要的作用。对于人体目标分割的研究不仅可以使 人体行为识别研究工作突破其使用环境的“瓶颈”，其研究成果还可以应用到如视 频检索、视频压缩等其它需要进行人体运动目标分割的领域。 基于视觉的人体行为识别是从单个或多个视频序列中检测、跟踪人体，获取 人体运动数据，重建人体的三维运动或描述和理解人体运动。视觉人体行为分析 在视频监控、体育运动分析、动画、游戏、虚拟现实和人机交互、辅助临床医疗 诊断等领域均有着广阔的应用前景。 目前关于此方面的研究已经实现了在演播室或简单环境下的3 d 重建和行为 理解。而对于在复杂环境中应用则多借助于特殊的成像手段检测和跟踪多个人及 他们的四肢，并处理一些遮挡情况。目前多数人体行为识别研究中，由于缺乏对 复杂环境下人体目标分割的有效手段和方法，大多对分割问题进行了回避。 另外，由于当前的运动人体目标分割算法多数是依据特定环境、具体任务而 设计的，当人体目标在位置或姿态或环境发生变化时，算法不能够做到自适应处 理。 本论文的目的是对复杂环境中人体目标分割相关技术进行研究。所谓复杂环 境包括：( 1 ) 背景变化的复杂，如天气变化、光照变化、背景的变化等等；( 2 ) 多人体目标和运动目标相互遮挡；( 3 ) 人体自身投射阴影干扰等。本文并不涉及 人体识别问题的研究。基于上述目的，本论文主要完成了如下工作： 基于场景变化分析的自适应背景更新方法：提出了衍生背景的概念，将背景 划分成原始背景和衍生背景，有效地解决了背景中由于运动目标停止而演变为背 景及从静止状态重新变为运动目标情况下的背景更新问题。本文提出了场景分析 的方法，可针对背景变化产生的不同原因采用不同的更新策略，并提出了一种更 新率自适应调整的滑动平均背景更新算法。针对进行帧差运动目标检测中经常遇 到的区域内含有空洞的问题提出了一种基于背景的扫描式种子填充算法，可快速 摘要 有效地解决区域填充问题。 基于方向信息测度和区域一致性测度的阴影去除算法：提出了基于人体目标 几何特征的阴影区域估计算法，对于阴影去除提出了基于方向信息测度的全影去 除方法。利用区域一致性测度进行边缘宽度的度量，针对目标边缘宽度与阴影区 半影宽度不一致的特点进行半影去除。该方法具有抗噪性强、实时性好等特点。 基于势函数聚类的多人体目标分割方法：根据人体目标单峰且对称的特征， 提出了基于势函数聚类对多人体区域的垂直投影图进行分割的方法。很好地解决 了对多人目标进行有效地分割的问题。与以往基于轮廓特征分析方法相比，该方 法具有实时性好、分割准确等特点。 基于双目立体视觉及彩色信息的重叠人体目标分割方法：提出了基于双目立 体视觉及头部区域匹配进行重叠人体目标分割的方法。在具体实现时算法采用了 自适应的策略，在不影响分害效果的同时，优化了分割算法的复杂度。 基于自适应人体目标特征选取的分割方法：将计算机视觉高级阶段为识别所 要求的特征选取引入目标分割。提出了自适应特征选择方法，使人体目标分割可 自适应地在不同姿态及不同环境光照条件下进行更准确的分割。该方法与传统方 法相比由于在分割过程中便引入了”知识”，因此提高了分割的准确率。 基于人类视觉系统的自适应纹理分割方法；提出了一种模拟人类视觉系统的 自适应纹理分割方法和利用纹理信息配合人体目标分割的方法。算法能够自适应 地选择g a b o r 滤波器参数，并通过调整g a b o r 滤波器簇的数量及参数模拟h v s 的 直觉阶段对纹理图像进行租分割，及专注阶段对纹理图像进行细分割。基于纹理 图像傅挈叶变换特征本文提出了评价纹理的三项指标，即纹理的周期性、重复性 及规则性。实现了利用纹理进行重叠区域人体目标分割问题。提高了目标分割的 抗噪性能。 综上所述，本论文在复杂环境下的人体目标分割方面提出了新的思路和方法， 理论分析和实验证明了这些算法的有效性。 关键词：复杂环境；人体目标分割；阴影去除；遮挡 a b s t r a c t v i s u a lh u m a na c t i v i t yr e c o g n i t i o ni sal e a d i n gt e c h n o l o g yi nt h ef i e l do f c o m p u t e r v i s i o ni nr e c e n ty e a r s ，a n dh u m a nb o d yo b j e c ts e g m e n t a t i o ni sac r i t i c a lp r o b l e mi nt h e r e s e a r c h t h er e s u l t so fs e g m e n t a t i o np l a yi m p o r t a n tr o l e si no b j e c tr e c o g n i t i o na n d b e h a v i o ru n d e r s t a n d i n g t h er e s e a r c ho nh u m a ns e g m e n t a t i o nc a nn o to n l ym a k et h e a p p l i c a t i o n o fh u m a n a c t i v i t yr e c o g n i t i o n b r e a k t h r o u g h t h e u s i n g s i t u a t i o n s b o t t l e n e c k ”，b u ta l s ot h er e s e a r c hr e s u l t sc a nb eu s e di nv i d e or e t r i e v a l ，v i d e o c o m p r e s s i o n a n do t h e rf i e l d st h et e c h n i q u ei sn e e d e di n t h ev i s u a lh u m a na c t i v i t yr e c o g n i t i o ni n v o l v e sc a p t u r i n gs i n g l eo rm u l t i p l ev i d e o s e q u e n c e s ，t r a c k i n gh u m a nb o d y , d e r i v i n gh u m a nm o t i o nd a t a , r e c o v e r i n gh u m a n3 d m o t i o no rd e s c r i b i n ga n du n d e r s t a n d i n gh u m a na c t i v i t i e s i th a saw i d es p e c t r u mo f p r o m i s i n ga p p l i c a t i o n si nv i s u a ls u r v e i l l a n c e ，s p o r tm o t i o na n a l y s i s ，3 dc a r t o o n s ，g a m e s ， v i r t u a lr e a l i t y , u s e r - i n t e r f a c ea n dc l i n i c a ls t u d i e s t h e3 dr e c o v e r ya n db e h a v i o ru n d e r s t a n d i n gi ns t u d i oo rs i m p l es i t u a t i o nh a v e b e e nr e a l i z e d b u ti nc o m p l e xs i t u a t i o n s ，d e t e c t i n ga n dt r a c k i n gm u l t i p l ep e o p l eo rt h e i r b o d yp a r t sa r eu s u a l l yi m p l e m e n t e db ym e a l l so fs p e c i a li m a g i n gd e v i c e s t h i sa p p r o a c h e a r lt a c k l eo c c l u s i o n ，d e t e r m i n ew h e t h e rap e r s o ni sc a r r y i n ga l lo b j e c t b u ti nt h e s e r e s e a r c h e s ，s e g m e n t a t i o np r o b l e mi sc o m m o n l ya v o i d e d ，b e c a u s eo fl a c k i n gt h ee f f i c i e n t h u m a n b o d ys e g m e n t a t i o nm e t h o d si nc o m p l e xs i t u a t i o n s t h ec u r r e n tm o v i n gh u m a nb o d ys e g m e n t a t i o na l g o r i t h m sa r eo f t e nd e s i g n e df o r f l xs i t u a t i o n so rg i v e nt a s k s ，a n dc a nn o tw o r ka d a p t i v e l yw h e nh u m a np o s i t i o n , a t t i t u d e a n de n v i r o n m e n tc h a n g e t i l i st h e s i sf o c u s e so nt h ep r o b l e m so fh u m a ns e g m e n t a t i o ni nv i s u a lh u m a n a c t i v i t yr e c o g n i t i o n a t t e m p t st or e s e a i c ht h ea p p r o a c h e st os e g m e mh u m a no b j e c t si n c o m p l e xs i t u a t i o n s t h ec o m p l e xs i t u a t i o n i n c l u d e sa n yc o n d i t i o no fw e a t h e ro r i l l u m i n a t i o n ，t h ed i s t u r b a n c eo fs h a d o wa n do c c l u s i o n t h eh u m a nb o d yf e a t u r e d e s c r i p t i o n ，t h ea d a p t i v ef e a t u r es e l e c t i o na n ds e g m e n t a t i o na l g o r i t h m sb a s e d o n f e a t u r e sa r ea l s os t u d i e d t h ea i mo ft h i st h e s i si st os t u d yt h eh u m a nb o d ys e g m e n t a t i o nt e c h n i q u ei n c o m p l e xs i t u a t i o n s ，g i v et h ea p p r o a c h e st od e a l 、i t l lc o m p l e xb a c k g r o u n dc h a n g i n g ， 1 1 1 a b s t r a c t m o v i n go b j e c t sm u t u a lo c c l u s i o na n dt h ec a s ts h a d o wd i s t u r b a n c e ，a n ds o l v et h e p r o b l e mo fs e g m e n t i n gh u m a no b j e c t si nc o m p l e xs i t u a t i o n s o nt h eb a s i so fa b o v e a i m s ，t h et h e s i sm a d et h ef o l l o w i n gc o n t r i b u t i o n s ： an o v e la p p r o a c ht ou p d a t eb a c k g r o u n dm o d e la d a p t i v e l yb a s e do na n a l y s i s o fs c e n ec h a n g e ：at e m p o r a lb a c k g r o u n dc o n c e p ti sp r e s e n t e d a n da l lb a c k g r o u n d c o n t e n t sa r ed i v i d e di n t ot h eo r i g i n a lb a c k g r o u n da n dt h et e m p o r a lb a c k g r o u n d i tc a n s o l v et h eb a c k g r o u n dm o d e lu p d a t i n ge f f e c t i v e l yw h e nf o r e g r o u n do b j e c t sc h a n g et o b a c k g r o u n dc o n t e n to rr e v e r s e l y a na l g o r i t h mi sp r o p o s e df o ra n a l y z i n gt h es c e n ea n d u p d a t i n gb a c k g r o u n du s i n gar u n n i n ga v e r a g em o d e lb a s e do nt h ea d a p t i v el e a r n i n gr a t e o fe v e r yp i x e l af a s ts c a nl i n es e e df i l l i n ga l g o r i t h mf o rf i l l i n gt h eh o l e sr e s u l t e df r o m t h et e m p o r a ld i f f e r e n c ef o rm o v i n go b j e c td e t e c t i o ni sd e s i g n e d i tc a l lf i l lt h eh o l e sf a s t a n de f f i c i e n t l y a na p p r o a c ho ns h a d o we l i m i n a t i o nb a s e do no r i e n t a t i o ni n f o r m a t i o n m e a s u r ea n dr e g i o nh o m o g e n e i t ym e a s u r e ：a l g o r i t h m sf o re s t i m a t i n gt h es h a d o w r e g i o nb a s e do nh u m a no b j e c tg e o m e t r i c a lf e a t u r e sa n de l i m i n a t i n gu m b r ab a s e do n o r i e n t a t i o ni n f o r m a t i o nm e a s u r ea r ep r o p o s e d t h ee d g ew i d t hi sm e a s u r e db yt h e r e g i o nh o m o g e n e i t ym e a s u r e ，a n dt h ep e n u m b r ac a nb ed e t e c t e da n de l i m i n a t e db y m a k i n gb s eo ft h ef a c tt h a tt h eo b j e c te d g ew i d t ha n dt h ep e n u m b r ae d g ew i d t ha r e d i f f e r e n t t h e s em e t h o d sh a v es 订o n ga n t i - n o i s ec a p a b i l i t ya n dg o o dr e a lt i m e p e r f o r m a n c e an e wm e t h o df o r s e g m e n t i n gt h em u l t i p l ep e o p l e b a s e do np o t e n t i a l f u n c t i o n ：a na l g o r i t h mf o rs e g m e n t i n gt h ev e r t i c a lp r o j e c t i o nr e g i o no f m u l t i p l ep e o p l e b yp o t e n t i a lf u n c t i o ni sp r o p o s e d i tc a l lt a c h et h ep r o b l e mo ft h er e g i o no fm u l t i p l e p e o p l ee f f i c i e n t l ya n dh a s b e t t e rr e a lt i m ep e r f o r m a n c ea n ds e g m e n t a t i o nv a l i d i t yt h a n t h ec o n v e n t i o n a lm e t h o do f f e a t u r ea n a l y s i sb a s e do nc o n t o u r a na p p r o a c ht os e g m e n th u m a no b j e c t su n d e ro c c l u s i o nb a s e do nb i n o c u l a r s t e r e oa n dc o l o ri n f o r m a t i o n ：a na l g o r i t h mf o rs e g m e n t i n gh u m a no b j e c t su n d e r o c c l u s i o nb a s e do nm a t c h i n gt h eh e a dr e g i o n si nb i n o c u l a rs t e r e os e q u e n c e si sp r o p o s e d i tc a na d a p t i v e l ys e l e c tp r o c e s s i n gs t r a t e 百e s t h es e g m e n t a t i o na l g o r i t h mc o m p l e x i t yi s o p t i m a lu n d e rt h es a m es e g m e n t a t i o ne f f e c t a na p p r o a c ht os e g m e n tt h eh u m a no b j e c t sb a s e do hf e a t u r e sa d a p t i v e l y - i v - s e l e c t e d ：af e a t u r ea d a p t i v es e l e c t i o nr u l ei s p r o p o s e d ，b a s e d o nt h e o b j e c t r e p r e s e n t a t i o nu n d e rd i f f e r e n ti l l u m i n a t i o nc o n d i t i o n sa n dd i f f e r e n th u m a no b j e c ts i z e s i nt h ei m a g e am e t h o do fu s i n gf e a t u r e si ns e g m e n t a t i o np r o c e s si sp r o p o s e d t h i s m e t h o dr a i s e st h es e g m e n t a t i o nc o r r e c t n e s so ft h et r a d i t i o n a lm e t h o db e c a u s eo fa d d i n g k n o w l e d g e ”i nt h es e g m e n t a t i o np r o c e s s a na p p r o a c ht oa d a p t i v et e x t l l l s e g m e n t a t i o nb a s e do nh u m a nv i s u a ls y s t e m ( h v s ) ：a na l g o r i t h mf o rs e g m e n t i n gt e x t u r eb ym i m i c k i n gh v si sp r o p o s e d i tc a n a d a p t i v e l ys e l e c tt h eg a b o rf i l t e rb a n kp a r a m e t e r s ，m i m i c k i n gh v si np r e a t t e n t i v es t a g e t os e g m e n tt h et e x t u r ei m a g ec o a r s e l y , a n ds e g m e n tf i n e l yi nf o c l l s e da t t e n t i o ns t a g e t h r e et e x t u r em e 删e m e n ba r ed e f i n e db a s e do nt h ef f tf e a t u r eo ft h et e x t u r e ，t h e y a r e t h er e p e a t a b i l i t y , t h ed i r e c t i o n a l i 够a n dt h er e g u l a r i t y i ns u m m a r y , s o m en o v e la p p r o a c h e sa n da l g o d t h m sf o rs e g m e n t i n gh u m a no b j e c t s i nc o m p l e xs i t u a t i o n sa r ep r e s e n t e d t h ev a l i d i t yo ft h e s ea l g o r i t h m sh a v eb e e np r o v e d t h r o u g ht h e o r e t i c a la n a l y s i sa n de x p e r i m e n t a lr e s u l t s k e yw o r d s ：c o m p l e xs i t u a t i o n ；h u m a nb o d ys e g m e n t a t i o n ；s h a d o we l i m i n a t i o n ； 0 e e l u s i o n v 大连海事大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：本论文是在导师的指导下，独立进行研究工作所取得的成果， 撰写成博士硕士学位论文 ：厶签堑左拯堂迟剔虫佥割友造的盟塞：。除论文中 已经注明引用的内容外，对论文的研究做出重要贡献的个人和集体，均已在文中 以明确方式标明。本论文中不包含任何未加明确注明的其他个人或集体已经公开 发表或未公开发表的成果。 本声明的法律责任由本人承担。 论文作者签名： 学位论文版权使用授权书 节洲日 本学位论文作者及指导教师完全了解“大连海事大学研究生学位论文提交、 版权使用管理办法”，同意大连海事大学保留并向国家有关部门或机构送交学位 论文的复印件和电子版，允许论文被查阅和借阅。本人授权大连海事大学可以将 本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或 扫描等复制手段保存和汇编学位论文。 僦糍镯甏孵 创新点摘要 创新点摘要 本文针对复杂背景下的人体目标分割研究，对分割中出现的背景更新、阴影 去除、遮挡情况处理等几方面提出了如下创新点： l 提出了一种基于更新率自适应的背景更新方法。根据对场景变化分析的结 果，针对背景不同变化原因，对每个像素自适应地建立更新率参数。克服了滑动 平均背影更新算法更新率不能自动调整的问题，解决了光线整体或部分突变、前 景目标与背景内容相互转变时背景模型的快速更新问题。 2 提出了一种基于方向信息测度和区域一致性测度的阴影去除算法。首先根 据人体目标几何特征对是否存在阴影区域进行判断及阴影区域粗分割，对于阴影 去除提出了基于方向信息测度的全影去除方法及基于区域一致性测度边缘宽度检 测的半影去除方法。解决了阴影区域的快速粗分割问题，全面实现了阴影中全影 和半影的有效检测及去除。 3 提出了遮挡人体目标的分割方法。对于多人并行情况，根据人体目标单峰 且对称的特征，提出了基于势函数聚类对多人体区域的垂直投影图进行分割的方 法。对于目标前后遮挡情况，提出了基于双目立体视觉及头部区域匹配进行重叠 人体目标分割的方法。实现了人体目标遮挡状况的快速判断及有效分割。 4 提出了基于人体目标特征自适应选取的分割方法。给出了人体目标特征在 图像中不同表现及不同环境光照条件下自适应选取人体目标特征的原则。在目标 分割过程中，按照目标位置参数、运动参数及光照环境自适应选择人体目标特征 并将其应用于人体目标分割过程。提高了复杂环境下人体目标分割的准确率和分 割算法的效率。 5 提出了基于人类视觉系统的自适应纹理分割方法和纹理配合人体目标分 割的方法。算法能够自适应地选择g a b o r 滤波器参数，并通过调整g a b o r 滤波器 簇的数量及参数模拟人类视觉系统的直觉阶段对纹理图像进行粗分割，及专注阶 段对纹理图像进行细分割。定义了基于纹理图像傅里叶变换的评价纹理的三项指 标，即纹理的周期性、重复性及规则性。实现了利用纹理进行重叠区域的分割， 提高了重叠目标分割的抗干扰能力。 人体行为视觉识别中分割方法的研究 第1 章绪论 1 1引言 人体行为视觉分析作为计算机视觉的一个重要研究内容，目前越来越引起人 们的注意，经过二十多年的发展，取得了令人瞩目的成绩。特别是“9 1 1 ”事件发 生以后，各国都加大了反恐的力度，人们对公共场所人的行为识别方面的需求日 益加强，更促进了人体行为视觉分析研究的发展。同时这些成果在一些商场、机 场等公共场所的客流统计方面也有广泛的应用。 早在上世纪八十年代初，计算机视觉领域就开始了基于视频的人体行为视觉 研究，经过几十年的发展，目前关于人体行为视觉分析研究已经取得了令人瞩目 的成果，最常见的是对于民用住宅、停车场、公共场所、银行的监视，以防止偷 盗及故意破坏和恐怖行为的发生，保障社会的安全。另外客流量统计作为商业运 作和管理中的重要信息，以准确的数据为基础进行分析和经营策略调整已成为发 展趋势。基于视频的客流量统计因其具有直观、准确、方便等特点，在商场，交 通站点、办公楼等场合都具有广泛的应用价值。相关管理人员可以根据统计的客 流量数据合理调度人力、物力，合理配置资源，从而获得最佳的运营效果。 人体行为视觉分析具体应用领域主要包括以下几个方面： ( 1 )智能监控：包括监控报警；停车场；超市；办公楼；自动售货机；a t m 机：交通管理等场合。 ( 2 )先进的用户界面：包括符号语言翻译；势态控制；高噪声环境的动作 信息传递等。 ( 3 ) 运动分析：包括运动视频录像基于内容的检索；体育运动专业化训练； 舞蹈动作设计；整形外科临床研究等。 ( 4 )基于模型的编码：极低码率的视频压缩。 ( 5 )虚拟现实：交互式的虚拟世界；游戏；虚拟工作室，特征模拟；远程 电视会议等。 由于人体行为识别具有广泛的应用前景和潜在的经济价值，激发了国内外广 第1 章绪论 大科研工作者及相关企业的浓厚兴趣，尤其在美国、英国等国家开展了大量的相 关研究。同时也引起了学术界的高度重视，如每年i e e e 都举办视频监控方面专题 研讨会，i e e e 模式识别与人工智能汇刊也出版了多期关于有关视频监控方面的专 刊b3 1 ，目前已经成为计算机视觉研究领域的一个研究热点。 r o u r k e 最早采用视觉方法对合成视频中的人体运动进行了分析 4 1 ，h o g g 的系 统针对视频中自由度为一的人体行走模型进行了研究5 1 ，早期的这些研究工作开创 了利用计算机进行人体研究的先河，此后越来越多的学者致力于基于视频的人体 运动分析的研究。近年来，陆续有学者对这方面的工作进行了一些总结，发表了 一些综述文章【1 1 6 - 9 1 。 人体行为视觉分析研究内容主要包括运动目标检测、目标分类、人的跟踪及 行为理解和描述，属于图像分析和理解的范畴。从技术角度而言，人体运动分析 的研究内容相当丰富，主要涉及到模式识别、图像处理、计算机视觉、人工智能 等学科知识。 在处理流程这方面的研究主要可以分为以下几个步骤【1 0 】： ( 1 ) 初始化； ( 2 ) 运动目标分割： ( 3 ) 运动目标分类； ( 4 ) 运动人体跟踪； ( 5 ) 人体姿态分析； ( 6 ) 人体行为理解与描述； 各步骤之间可能存在交叉，比如有时跟踪过程中包含了运动检测的使用。 依照人体运动分析的应用场合不同，需要获取的运动参数的精确程度及功能 的侧重点也不同。在虚拟工作室、舞蹈动作设计、3 d 游戏制作等应用方面，重点 是进行三维重建 1 1 - 1 9 】。对于人体目标分割工作则由于场景可以控制，则分割工作 相对简单。 而在智能视频监控、人数统计等应用场合，分析人体运动的目的是从复杂场 景中检测出人体目标，并且只需跟踪人的整体运动轨迹1 2 0 - 2 4 1 。但由于此时的环境 人体行为视觉识别中分割方法的研究 不易控制且复杂多变，因此人体目标分割工作则显得更加重要。本文则重点关注 这方面的应用。 从处理流程上可以看出，在各种应用中，对人体目标的有效分割对于后期处 理都非常重要，分割结果的好坏将直接影响整个系统的技术指标。其实，在计算 机视觉的研究中，分割一直是一个“经典”课题。9 0 年代初j a i n 及b i n f o r d 二位 学者曾对计算机视觉的发展方向提出了尖锐批评1 2 5 1 ，特别指出了分割在视觉中的 重要地位和存在的问题。他们认为分割是计算机视觉研究中的最重要的课题之一， 但由于多年对于分割方面研究的收效甚微，人们则将研究的重点转向重建等高级 处理的研究。文章发表后，引起了计算机视觉理论界的广泛讨论。大家对于二位 学者的观点评论不一，但对于分割技术发展的现状及困难均表达了共识。如文献【2 6 ， 2 7 】也指出：尽管计算机视觉的研究者都认识到分割的重要性，由于分割问题过于 困难，很多研究人员则回避了分割问题。文献【2 8 ，2 9 1 则从加强应用研究的角度指出 了未来分割技术的研究方向应该是强调先验知识在分割中的重要性。近些年来， 尽管在分割算法上有了很大发展，但至今并未形成理论和方法体系。研究者仍是 “各自为战”地针对具体问题具体解决。 在人体行为分析中，分割同样占据极重要的位置，而且并未得到很好解决。 特别是在实际应用中由于背景的动态变化，如光照、阴影及混乱干扰等的影响， 另外由于人体目标本身又是一个复杂的变形体，四肢关节自由度多，运动范围大， 使得人体目标分割成为一个相当困难的问题。在复杂环境下完全自动地从视频序 列中准确分割人体目标还相当困难。目前有许多研究人员专门致力于视频图像中 的人体目标分割研究口0 4 们，也取得了一些研究成果。但由于分割的复杂性，目前 绝大部分人体运动视觉分析研究中对于目标跟踪和获取研究都简化或忽略这一步 骤，往往假设视频中包含人体并已检测到 4 h 。 基于视频的人体目标分割目前所采用的方法主要分两个步骤进行，首先是从 视频序列中检测出运动目标，然后再从提取出的运动目标中提取人体目标。 运动目标分割方法有很多种，m e i e r 4 2 1 将分割方法分为4 类：3 d 分割，基于 运动信息的分割，基于时空的分割及基于关节点运动估计和分割。t o i t 4 3 】将运动耳 第1 章绪论 标检测分为：基于静态摄像机的方法、基于图像投影运动性质的方法、基于已知 摄像机运动的方法和基于图像在世界坐标系中欧氏运动的约束条件的方法。 t e k a l p i 删按运动估计进行分类，直接的方法( 变化检测) ，光流场分割法及实时估 计与分割的方法。 另外从系统是否需要实时在线运行，最终系统的目的要求等因素考虑，具体 的算法还应考虑其它一些指标。文献【4 5 1 对一个特定的视频分割方法应该考虑应用 场合的要求进行了总结： ( 1 ) 实时性：如果分割必须是实时完成的，则必须使用简单的，全自动的方 法。如不需要实时完成，如离线的视频检索，视频编码等，则可以采用半自动的， 交互式的算法。 ( 2 ) 分割的精度：如果分割是用来提高压缩的效率或速度控制，则可以不考 虑分割结果与目标边界的不一致。如果分割结果是用来进行视频编辑或形状相似 性的匹配时，则必须考虑分割的精度。 ( 3 ) 场景的复杂性：视频内容的复杂性用场景内各物体的运动、彩色和纹理 一致性来描述。物体间的对比度。物体运动的平滑程度，进入和离开场景的物体 在时间轴上物体形状的规则性等，显然，越复杂的场景需要越先进的算法。 由于视觉监控及客流量统计等应用要求系统要求是实时在线运行的，因此在 使用环境及精度要求上应该是系统的分割算法应该满足实时性要求，更多地考虑 场景的复杂性，对于分割精度方面应该是分割结果不影响后续的识别及跟踪要求。 1 2运动人体目标分割相关问题 人体行为视觉分析系统的一般的处理流程如图1 1 所示，其中运动人体目标 分割工作主要涉及到运动检测及目标分类几部分，以下分别进行介绍。 1 2 1运动检测 几乎所有的人体行为视觉分析系统首先都要进行运动检测，运动检测的主要 目的是从图像序列中分割出与运动目标相对应的区域。后续的客流统计、目标跟 踪及行为识别都是以它为基础的。在运动目标检测过程中，所采用的方法主要是 基于时间差分法( t e m p o r a ld i f f e r e n c e ) 、背景减除法( b a c k g r o u n ds u b t r a c t i o n ) 及光 人体行为视觉识别中分割方法的研究 流场法( o p t i c a lf l o w ) 。光流计算方法需要多次的迭代运算，时间开销很大，而且算 法抗噪声等干扰能力较差，因此在实际应用时很少采用。而时间差分法则由于检 测出的运动物体的位置不精确，其外接矩形在运动方向上被拉伸并且受物体本身 的运动速度及相邻图像之间的时间间隔影响。故一般不能完全提取出所有相关的 特征像素点，另外在运动实体内部容易产生空洞现象。目前广泛采用的是背景减 除法，它是利用当前图像与只含有当前背景的图像的差分来检测运动区域的一种 技术。这种方法一般能够提供最完全的特征数据，其核心问题是建立符合当前状 态的背景模型。 图1 1 人体行为视觉分析系统处理流程图 背景模型主要分为基于图像平面2 d 模型和基于世界坐标系的3 d 模型两种， 2 d 模型由于其简单实用而得到更广泛的应用。 背景的建立与更新是一项非常困难的工作，对于固定的摄像机，其主要的困 难是要从图像序列中自动地恢复及背景图像。但由于一些不利因素的影响，如光 照变化、阴影、树枝摇动等，会对提取及更新背景带来很多困难。目前有很多算 法着力解决背景建模问题，文献 4 6 , 4 7 采用滑动平均的方法进行背景建模，文献h 8 ，4 9 1 采用平均或中值的方法进行背景建模。这些方法对于光线及背景内容缓慢变化情 第1 章绪论 况可以取得较好的效果，但对于光线及背景内容突变情况则不能很好地适应。文 献【5 0 1 采用混合高斯模型的方法对背景进行建模，通常采用3 5 个模态的高斯模型。 可以处理如树枝摇动等情况，但计算量大、实时性差。文酬”】采用内核密度估计 法将最近的l 帧视频中的同像素点的亮度值，利用高斯内核( o a u s s i a nk e m e l ) 非参 数化地对该位置像素的概率密度进行估计来判断当前像素是前景还是背景像素。 该方法对于背景突变时的适应速度快，但占用系统内存大，计算速度慢。文献5 5 2 j 采用本征的方法，运用特征向量分解对连续的l 帧视频进行主成分分析，以减少 空间维数，并计算背景的本征矩阵。该方法比高斯混合模型效率更高，且速度更 快。但由于该方法需要利用最初的几十帧视频来初始化背景，因此资源消耗大， 自适应能力差。文献【5 3 1 采用基于均值替换的背景估计法( m e a n - s h mb a s e de s t i m a t i o n ) 来区分前景和背景像素。这种方法同样占用内存量较大且计算复杂。 1 2 2 目标分类 目标分类的目的是从检测到的运动区域中将对应于人的运动区域提取出来。 不同的运动区域可能对应于不同的运动目标，比如交通道路上监控摄像机所捕捉 的序列图像中可能包含行人、车辆及其它诸如飞鸟、飘动的云彩、摇动的树枝等 运动物体，为了便于进一步对行人进行跟踪和行为分析，运动目标的正确分类是 完全必要的。但这个步骤在一些情况下可能是不必要的( 如已经知道场景中仅仅存 在人的运动时) 。目前通常通常采用的有两类目标分类方法。 ( 1 ) 基于形状信息的分类( s h a p e - - b a s e dc l a s s i f i c a t i o n ) 基于形状信息的分类是利用检测出的运动区域的形状特征进行目标分类的方 法。例如文献b o 采用区域的分散度、面积、宽高比等作为特征，利用三层神经网络 方法将运动目标划分为人、人群、车和背景干扰。l i p t o n 5 4 】等利用分散度和面积 信息对二维运动区域进行分类，主要是区分人、车及混乱扰动，时间一致性约束使 其分类更加准确，k u n o 与w 黥m a b e 【5 5 1 使用简单的人体轮廓模式的形状参数从图像 中检测运动的人。 ( 2 ) 基于运动特性的分类( m o t i o n - - b a s e dc l a s s i f i c a t i o n ) 基于运动特性的分类是利用人体运动的周期性进行目标分类的方法1 5 6 - 5 s 】。例 人体行为视觉识别中分割方法的研究 如文献【5 6 】通过跟踪感兴趣的运动目标，计算出目标随着时间变化的自相关特性， 而人的周期性运动使得其自相关也是周期性的，因此通过时频化的方法分析目标 是否存在周期性的运动特性而将人识别出来。l i p t o n 等人【5 7 j 通过计算运动区域的 残余光流( r e s i d u a lf l o w ) 来分析运动实体的刚性和周期性，非刚性的人的运动相 对于刚性的车辆运动而言具有较高的平均残余光流，同时它也呈现了周期性的运 动特征，据此可以将人区分出来。 上述两种常用的目标分类方法有时可以结合起来使用，甚至可以考虑运动物 体色彩或速度等特征，可得到更加准确的分类结果。另外，s t a u f f e r 5 川提出了利用时 间共生矩阵进行分层分类的方法，该方法不仅可以用来区分物体，还可以用来区 分行为。 以上所介绍方法对于分割精确的人体目标可以较准确地进行分类，但当环境 变化复杂、尤其是在目标分割过程中受遮挡或阴影干扰的情况下导致了目标形状 特征发生变化或运动特征受到遮挡而不能表现出来的时候可能导致分类错误。因 此在进行目标分类前通常要进行阴影去除及重叠人体目标的分割。 1 2 3 阴影去除 提取出的运动区域经常含有目标及其投射阴影( m o v i n gc a s ts h a d o w ) ，这种阴 影如不去除将为后续的目标分类带来很大的困难。为了避免将阴影分割为运动目 标或运动目标的一部分，在进行目标分类前要进行阴影去除。 在运动目标提取过程中，自身阴影对目标提取和识别的影响不大，可不考虑。 但由于运动目标投射阴影是运动目标本身对光线的遮挡而在背景上形成的，它与 运动物体同时运动。因此使用运动检测或变化检测都不能区分运动目标及其自身 的投射阴影。 在人体目标分割过程中检测人体的阴影同样是一个重要的问题，人体的投影 阴影可以对人体目标分割产生严重的影响