（计算机应用技术专业论文）人体步态识别系统的研究与实现.pdf

摘要 步态识别是唯一可远距离感知的生物特征，近年来在计算机视觉领域中备受关 注。本文主要针对视频图像序列中的人体运动分析进行研究，探讨了步态特征提取 以及分类识别等相关问题，完成了以下三方面的工作 第一，研究了彩色图片序歹f j 中人体步态的检测方法。改迸了背景差分方法，在 r g b 彩色空间中。提出了使用红，绿，蓝三种颜色的敏感加权值，结合直方图双阈 值分割和数学形态学的算法，应用人体区域标记快速算法从彩色图像序列中获得运 动人体轮廓。 第二，研究了步态表征及识别方法通过步态运动分析，根据人体的宽度变化 提取出人行走周期的四个关键姿态帧，对在关键姿态帧中检测出的人体提取出精确 轮廓线，应用改进的傅立叶描述子运算，提取出可供分辨的特征数据，选用n n 和 e n n 两种分类器对n l p r 步态数据库进行鉴别分类试验，并对分类识别结果进行了分 析和讨论。 第三，给出了步态识别系统的总体设计方案，并在w m d o w s 平台上应用 m i c r o s o f tv i s u a ld 斗6 0 开发了简单的步态识别系统。 关键词：步态识别人体检测彩色图像轮廓提取傅立叶描述子 a b s t r a d g a i tr e c o g n i t i o nh a sr e c e i v e d g r o w i n gi n t e r e s t w i t h i nt h ec o m p u t e rv i s i o n c o m m u n i t yr e c e n t l yf o ri ti st h eo n l yo n eo fb i o m e t r i cr e c o g n i t i o nw h i c hc a l la p p e r c e i v e d w i t hl o n gd i s t a n c e f o c u s i n go ng a i tr e c o g n i t i o n , t h i sp a p e rd e s c r i b e sm e t h o do fh u m a n i d e n t i f i c a t i o na n df e a t u r ee x t r a c t i o n ，a n dt h ew o r ki nt h ef o l l o w i n ga s p e c t so ft h er e s e a r c h f i e l di sp e r f o r m e d f l r s t l y , t h i sp a p e rd e s c r i b e s t h em e t h o do fe x t r a c t i n gg a i tf e a t u r e ，i m p r o v e d b a c k g r o u n ds u b t r a c t i o na r i t h m e t i cw h i c hb r i n gf o r w a r du s i n gt h er g b - s e n s i t i v e - w e i g h t s i nr g bc o l o rs p a c e ，g e tt h em o v i n gh u m a ns i l h o u e t t e si nc o l o ri m a g es e q u e n c eb yu s i n g a l la l g o r i t h m , i n t e g r a t e dt h ea l g o r i t h m so fh i s t o 伊a mt w ot h r e s h o l ds e g m e n t a t i o na n d m o r p h o l o g i c a lo p e m t o m s e c o n d l y , t h i sp a p e rs t u d yt h em e t h o do fg a i tt o k e na n dg a i tr e c o g n i t i o n w ee x u a c t t h ef o u rk e yf r a m eo fg a i tb yt h ew i d t ho fs i l h o u e t t e sb ya n a l y z i n gt h ec y c l i cg a i t , t h e n u s ef o u r i e rd e s c r i p t u r s ( f d ) t op r o c e s sb o d yc o n t o u re x t r a c t i n gf r o mt h ek e yf r a m e s , a n d e x t r a c tt h ec h a r a c t e r i s t i cd a t aw h i c h 伽p r o v i d e df o rr e c o g n i t i o n a tl a s t , w ec h o o s et w o d i f f e r e n tc l a s s i f i e r ( 1 c l a s s i f i e ra n de n nc l a s s i f i e r ) e x p e r i m e n t so nn l p rg a i t - d a m b a s e , t h e n , d i s c u s s e st h er e s u l to f r e c o g n i t i o m t h i r d l y , w eh a v ed e s i g n e das y s t e mo fg a i tr e c o g n i t i o n , a n dd e v e l o p e das i m p l yg a i t r e c o g n i t i o ns y s t e mw i t hm i c r o s o f tv i s u a lc + + 6 0 o nw i n d o w ss y s t e m k e y w o r d a ：g a i tr e c o g n i t i o nb o d yd e t e c t c o l o ri m a g e f o u r i e rd e s c r i p t o r 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：枣望日期丝量：兰：绣 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在- 年解密后适用本授权书。 本人签名： 导师签名： 日期竺：! ：! ：堡 e t 期玉厶，圭：兰厶 第章绪论 第一章绪论 1 1 引言 步态识别是生物识别技术中的一个新兴领域，它旨在根据人们走路的姿势进行身 份识别。随着机场、银行、军事基地等安全敏感场合对大范围视觉监控系统的迫切需 求，远距离的身份识别研究近来引起了计算机视觉研究者们的浓厚兴趣。在计算机 视觉领域中，基于步态特征的身份识别研究不但有极其重要的实践意义，而且还有重 要的理论研究意义 步态是指人们行走时的方式，它是利用人体的行走姿势( 即走路的样子) 来判定 或确认人的身份。这是一种复杂的行为特征，它提供了充足的信息来识别人的身份 尽管步态分析在医学、心理学等诸多领域有着长期的研究，但使用步态作为生物特征 用于身份识别则是近年来计算机视觉领域中新兴的研究课题与基于指纹和虹膜等其 它生物特征的身份识别技术相比，步态识别具有非侵犯性、非接触性、难于隐藏和伪 装、易于采集等优点，而且目前它也是远距离情况下唯一可感知的生物特征【1 】o 因此， 在美国国防部高级研究项目署( d a r p a ) 发起的远距离身份别h i d ( h u m a n i d e n t i f i c a t i o na tad i s t a n c e ) 计划中，步态识别被列为实现远距离身份识别的重 要技术。 基于步态特征的身份识别研究目前还停留在算法研究阶段，距离实用还有较大的 差距。作为研究的一个阶段，有必要研制出基于步态的身份识别原型系统，为算法测 试提供平台；l 司时，通过原型系统可以发现和改进存在的问题，以便使基于步态的身 份识别系统在实际场景中尽早得到应用本论文正是在此背景下，探讨了复杂背景下 的人体检测、步态特征提取以及身份识别等相关问题。尝试在应用的广度方面做些 有意义的工作并实现一个身份识别的原型系统。 1 2 步态识别简介 1 2 1 生物特征识别 近几年，随着网络与通信技术的飞速发展，现代社会对人类自身身份识别的准确 性、安全性与实用性提出了更高的要求，传统的身份识别方法已远远不能满足这种需 求，生物特征识别技术的发展，则提供了一种更为安全可靠、使用方便的身份识别新 2人体步态识别系统的研究与实现 途径。 人体生物特征识别( b i o m e t r i c s ) 技术是依靠人体的生物特征或行为特征来进行 人的身份验证的一种高科技识别技术。生理特征与生俱来( 指纹、虹膜、脸相、d n a 等) ，多为先天性的；行为特征则是习惯使然( 笔迹、步态等) ，多为后天性的，我们 将生理和行为特征统称为生物特征。 鉴别人的身份是一个非常困难的问题，传统的身份鉴别方法把这个问题转化为鉴 别一些标识个人身份的事物，这包括两个方面：( 1 ) 身份标识物品，比如钥匙、证件、 a t m 卡等；( 2 ) 身份标识知识，比如用户名和密码。在一些安全性要求严格的系统中， 可以将这两者结合起来，比如a t m 机要求用户同时提供a t m 卡和密码。这些传统的身 份鉴别方法存在明显的缺点：个人拥有的物品容易丢失或被伪造，个人的密码容易遗 忘或记错。更为严重的是这些系统无法区分真正的拥有者和取得身份标识物的冒充 者，一旦他人获得了这些身份标识事物，就可以拥有相同的权力。 与传统的身份鉴定手段相比，基于生物特征识别的身份鉴定技术具有以下优点： ( 1 ) 不易遗忘或丢失； ( 2 ) 防伪性能好，不易伪造或被盗； ( 3 ) ”随身携带”，随时随地可用。 随着我们逐渐迈入数字时代，生物特征的身份鉴定技术愈加显示出它的价值。以 美国为例，基于这项技术的产业规模已经达到数十亿美元。在美国，每年约有上亿美 元的福利款被人以假冒的身份领取；据m a s t e r c a r d 公司估计，每年约有价值四亿五千 万美元的信用卡诈骗案发生，其中就包括利用丢失和被盗的信用卡的犯罪，如果销售 场所可以准确地鉴别持卡人的身份就会大大减少这种诈骗案的发生；由于使用盗窃来 的身份识别码( p n q ) ，造成移动电话通讯的损失高达十亿美元；据估计，利用可靠的方 法鉴别a t m 持卡人的身份可以使全美国每年a t m 诈骗案造成的损失减少3 亿美元。 目前，国外许多高技术公司正在试图用眼睛虹膜、指纹、面貌特征等取代人们手 中的信用卡或密码，并且已经开始在机场、银行和各种电子器具上进行了实际应用。 在中国，由于技术不成熟，2 0 0 2 年整体市场中，指纹识别的市场占有超过9 8 的份 额。其他识别技术的市场基本没有启动，这说明中国市场是一个潜力更大、具有更高 增长可能性的市场。同时，中国1 3 亿人口的国家规模也决定了中国是未来全球最大 的生物特征认证技术市场 第一章绪论 1 2 2 基于步态的身份识别 步态识别是生物特征识别技术中的一个新兴领域，其通过根据每个人行走时的姿 势对每个人的身份进行确认。其识别技术不同于人脸、指纹等生物特征识别技术。在 人脸和指纹识别中，通常要求近距离或接触性的感知( 如指纹需要接触指纹扫插仪 等) ，但是它们在远距离情况下将不可能被使用。而步态却在远距离下仍是可感知的， 并且区分步态也不需要其他限制条件，所以该技术引起了研究者的浓厚兴趣 步态是指人们行走时的方式，它是利用人体的行走姿势( 即走路的样子) 来判定 或确认人的身份这是一种复杂的行为特征，它提供了充足的信息来识别人的身份。 尽管步态分析在医学、心理学等诸多领域有着长期的研究，但使用步态作为生物特征 用于身份识别则是近年来计算机视觉领域中新兴的研究课题。与基于指纹和虹膜等其 它生物特征的身份识别技术相比，步态识别具有非侵犯性、非接触性、难于隐藏和伪 装、易于采集等优点，而且目前它也是远距离情况下唯一可感知的生物特征 1 。因 此，在美国国防部高级研究项目署( d a r p a ) 发起的远距离身份别h i d ( h u 呦 i d e n t i f i c a t i o na tad i s t a n c e ) 计划中，步态识别被列为实现远距离身份识别的重 要技术。 ( 1 ) 非侵犯性、非接触性人行走的步态信息是被被动提取的，即用户并不知 道他或她正在被观察和分析在信息收集阶段，步态不像指纹和虹膜识别那样需要用 户的密切协作，主动接触指纹仪、注视虹膜捕捉器等。 ( 2 ) 难于隐藏和伪装例如银行抢劫犯通常会戴上头盔、面罩、眼镜和手套， 此对人脸和指纹等其他生物特征不再发挥作用。然而，人必须行走，因此人的步态通 常是可见的。同时，人一般不会放意伪装自己的行走行为如果设法这样做的话，他 或她的奇怪行为在视觉监控中将表现得更加可疑。 ( 3 ) 易于采集一步态识别不要求所捕捉的图像必须有非常高的质量，然而其他 生物特征识别技术通常在分辨率低或图像模糊时无法进行识别。 ( 4 ) 远距离识别指纹和脸像等生物特征通常需要近距离或者接触性的感知， 而步态完全可以远距离地进行捕捉，因此它提供了在远距离情况下识别人的可能性。 当然，步态也有其自身的缺点，它易受心情、衣着、身体变化( 如骨折) 等的影 响。而其它生物特征也有相应的缺点，如容易被伪装和更改等，特别是当个体设法摆 脱识别而不给予合作的时候，几乎无法进行识别。而且步态识别研究目前仍处于起步 阶段，所提出的一些步态识别方法仍然是初步的。 4人体步态识别系统的研究与实现 1 3 本文研究内容和章节安排 第一章绪论。简要介绍了生物识别，引出了步态识别的特点和相关概念、步态识 别技术的应用前景和研究动态，以及本文的主要研究内容与论文的结构。 第二章分析了步态识别的可行性，介绍了步态识别的研究内容，它是由步态检测、 步态表征以及步态鉴别所构成的。 第三章介绍了彩色图片序列中人体目标分割的方法。运用改进的背景差分方法， 结合直方图双阈值分割和数学形态学的算法，在彩色图像序列中获得运动 人体。实验结果表明上述算法对噪声抑制和人体图像断裂处填充都是有效 的，能够实时从彩色图像序列中分割出运动人体。 第四章从图像序列中提取出运动人体轮廓线，利用人体行走过程中的宽度变化提 取出关键帧，然后对轮廓进行傅立叶算子描述，提取出可供分辨的特征数 据，通过使用标准的模式分类技术实现最终的身份识别。试验表明该算法 具有较高的识别率。 第五章介绍了步态识别原型系统，给出了步态识别原型系统的总体结构和设计流 程。该系统应用基于傅立叶描述子的算法进行步态识别，最后，讨论了实 验结果 最后在结论部分对全文进行了总结，并展望了未来的研究工作。 第二章步态识别综述 第二章步态识别综述 2 i 研究步态识别的可行性 5 人类自身很善于进行步态识别，我们都有经验能在一定距离之外能够根据人的 步态辨别出熟悉的人。根据早期的医学研究，人的步态有2 4 个不同的分量，在考虑 所有的步态运动分量的情况下，步态是唯一的。精神物理学中的研究结果显示即使通 过受损的步态信息人们也能够识别出身份，这表明在步态信号中存在身份信息。 行走是人体日常生活中重复最多的一种整体性运动。直立行走的这种整体运动 是人类长期进化的结果。现代测量技术的发展使我们有可能对人类行走时身体各部 分，特别是下肢的运动和受力情况进行动态的数量化分析，从生物力学的观点看， 各体行走的时候包含了身体几百块肌肉和关节的同步运动。尽管这些运动都遵从着 人类最基本的两足模式，它们在每一个个体身上表现的细节还是不一样的，比如相 对时间和幅度，即步态的运动。步态因为是由肌肉一骨架的结构所决定的，因而被 认为是个体的独特特征，简单的说，这个特征就是个体的与众不同的特殊的行走方 式，这就是为什么研究步态识别是可行的 2 2 研究步态识别的现状 基于步态特征的身份识别技术具有广泛的应用前景，可以应有于军事场景监控、 国家重要安全部门( 如军事基地、银行等) 监控、敏感的公共场合( 如天安门广场、 火车站等) 监控和高级社区保安监控等等，对于这些敏感场合，出于管理和安全的 需要，人们必须知道该区域内发生的事件，于是采用某种特定方法来监视该场景。 特别是场景中的人，有时需要在远距离的情况下对人的身份进行识别。由于在远距 离的情况下，人脸、指纹和虹膜等生物特征识别不再适用，而此时步态作为有效的 特征能够用于远距离身份识别。因此，基于步态特征的身份识别成为实现远距离身 份识别的重要技术手段。 特别是美国9 1 1 恐怖袭击事件以后，各国都高度重视这样一个问题，即如何对 国家重要安全部门和敏感的公共场合进行全天候、自动的、实时的远距离监控和身 份识别，而基于步态特征的身份识别技术就是解决这一问题的有效手段之一美国 高级研究项目署d a r p a 在2 0 0 0 年资助的重大项目一一h i d 计划( h u m a n i d e n t i f i c a t i o na tad i s t a n c e ) ，它的任务就是开发多模式的监控技术以实现远距 6 人体步态识别系统的研究与实现 离情况下人的检测、分类和识别，从而增强国防、民用等场合免受恐怖袭击的保护 能力。 目前，国外基于计算机视觉的步态识别技术研究尚处于起步阶段；国内在这方 面的研究工作几乎空白。此课题研究既要有基于视觉的人体运动分析的背景知识， 又要有步态的生物力学分析、生物特征识别等研究领域的背景知识，需要多个学科 领域的理论知识，知识综合性较强。与人脸识别、指纹识别等二维图像的识别不同， 步态序列是二维图像序列，数据量大，步态状态变化的数学建模，特征压缩与提取、 分类识别难度比较大，因此基于步态的身份识别是一个具有挑战性的课题。 尽管步态识别是一个新的研究领域，近年来已涌现出一些尝试性的工作。马 里兰大学( u 地) 、南安普顿大学( s o t o n ) 、麻省理工学院( m i t ) 等著名大学和科研 机构相继开始进行基于计算机视觉的步态识别方法研究。马里兰( u 帆) 大学的 c b e n a b d e l k a d e r 2 1 等用步态序列自相似图( s s p ) 来提取步态特征，南安普顿大 学的j p f o s t e r 3 1 等提出采用区域测量的方法来解决识别步态的问题，麻省理工学 院的l l e e 等1 4 】用轮廓各部分的矩特征来分析步态，而c 删的r o b e r t t c o l l i n s i s l 等 则利用身体轮廓的高度和宽度变化信息识别步态。c u n a d o 6 等将大腿建模为链接的 钟摆，并从其倾斜角度信号的频率分量中获取步态特征。l i t t l e 与b o y d | 7 l 从光流图 像中获取频率和相位特征来识别个人。m u r a s e 与s a k a i l s l 提出了一种时空相关匹配 的方法用于区别不同的步态，h u a n g 掣9 j 通过增加正则分析扩展了他们的工作。 s h u t l e r 等【1 0 】提出了一种基于时间矩的统计步态识别算法；j o h n s o n 与b o b i c k l l l j 在 步态识别中使用了静态身体参数；y a m 等【1 2 l 尝试利用跑步行为进行人的识别。但仍 需强调的是，步态识别研究目前仍处于起步阶段，所提出的一些步态识别方法仍然 是初步的。 2 3 步态识别的研究内容 计算机步态识别的研究内容大概包括一下几个方面： ( 1 ) 步态检测( g a i td e t e c t i o n ) ，就是在视频序列中将人体步态轮廓区域从背景图像 中提取出来。这方面的研究包括背景建模、前景检测和形态学后处理等。步态轮廓 的有效分割对于特征提取、目标分类等后期处理是非常重要的，因为以后的处理过 程仅仅考虑图像中对应于轮廓区域的像素。然而，由于背景图像的动态变化，如天 气、光照、影子及其他十扰等的影响，使得步态检测成为一项相当困难的工作。 ( 2 ) 步态表征( g a i tr e p r e s e n t a t i o n ) ，就是采取某种表示方法表示检测出的步态和数 据库中的己知步态，又称为步态特征提取。其主要可分为两大类：基于形状信息的表 第二章步态识别综述 7 征( 如面积、宽高比等) 和基于运动特性的表征( 关节角度的变化、步行速度、加速度 等1 ( 3 ) 步态识别佑a i ti d e n t i f i c a t i o n ) ，就是将待识别的步态与数据库中的相关信息进行 匹配，通过一定的判别依据决定它所属的类别。这个过程要选择适当的步态表征方 式与匹配策略整个识别系统的构造与步态的表征方式密切相关。 步态检测，步态表征，步态识别是我们通常意义上建立步态自动识别系统三个 方面，也是本文的主要内容。步态识别系统包括两个主要的技术环节，首先是步态 的检测，即从输入图像序列中建立背景模型，并将步态轮廓序列从背景中分割出来 ( 即步态检测) ，然后才是对提取出来的步态图像进行特征提取与识别( 即步态表征与 步态识别1 。 2 3 1 步态检测 步态检测作为步态自动识别系统的主要技术环节之一，它的研究有一定的独立 性，这是由于在一些特定的场合步态检测相对一来说要简单一些。但是最近几年随 着人们越来越关心各种复杂情况下的步态自动识别系统，步态检测得到了较多的重 视。 步态检测的基本思想是用知识或统计的方法对步态建立模型，比较所有可能的 待检测区域与步态模型的匹配度，从而得到可能存在步态的区域。步态检测由于场 景、位置、方向的变化以及步态的姿态( 正面，侧面) 、速度、光线的变化等原因， 使得步态检测的研究具有很强的挑战性。 下面归纳出目前几种常用步态检测的方法。 1 背景减除( b a c k w o o ds u b t r a c t i o n ) 背景减除方法是目前运动分割中最常用的一种方法，它是利用当前图像与背景 图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数据，但 对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。最简单的背景模 型是时间平均图像，大部分的研究人员目前都致力于开发不同的背景模型，以期减 少动态场景变化对于运动分割的影响。例如h a r i t a o g l u 等1 1 3 】利用最小、最大强度 值和最大时域差分值为场景中每个像素进行统计建模，并且进行周期性地背景更新 m c k e n n a 等【1 4 铡用像素色彩和梯度信息相结合的自适应背景模型来解决影子和不可 靠色彩线索对于分割的影响；k a r m a n n 与b r a n d t l l 5 采用基于卡尔曼滤波( k a l m a n f i l t e r i n g ) 的白适应背景模型以适应天气和光照的时间变化；s t a u f f e r 与 人体步态识别系统的研究与实现 6 r i m s o n a 6 l 利用自适应的混合高斯背景模型( 即对个像素利用混合高斯分布建模) ， 并且利用在线估计来更新模型，从而可靠地处理了光照变化、背景混乱运动的干扰 等影响。 2 时域差分( t e m p o r a ld i f f e r e n c e ) 时域差分方法是在连续的图像序列中两个或三个相邻帧间采用基于像素的时域 差分并且阙值化来提取出图像中的运动区域。时域差分法的优点是鲁棒性较好，能 够适应各种动态环境，其缺点是只能提取出边界点，而不能提取出对象的完整区城。 另外，当运动对象速度缓慢时，则可能检测不到，而运动对象速度过快时，将把部 分背景也检测为运动对象。例如l i p t o n 等1 1 7 l 利用两帧差分方法从实际视频图像中 检检测运动目标，进而用于目标的分类与跟踪；一个改进的方法是利用三帧差分代 替两帧差分，姐v s a m t 埔】开发了一种自适应背景减除与三帧差分相结合的混合算法， 它能够快速有效地从背景中检测出运动目标。时间差分运动检测方法对于动态环境 具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体 内部容易产生空洞现象。 3 光流( 0 p t i c a lf l o w ) 基于光流方法的运动检测利用运动物体随时间变化在图像中表现为速度场的特 性，根据一定的约束条件估算出运动所对应的光流。它的优点是在摄像机与背景间 也存在着运动的前提下也能检测出运动物体。m e y e r 掣”l 通过计算位移向量光流场 来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。该方法的优点是 在摄像机运动存在的前提下也能检测出独立的运动目标。然而，大多数的光流计算 方法需要多次的迭代运算。所以时间消耗比较大，且抗噪性能差，如果没有特别的硬 件装置则不能被应用于全帧视频流的实时处理。关于光流更加详细的讨论可参见 b a r t o n 等印l 的文章。 当然，在运动变化检测中还有一些其它的方法，如f r i e d m a n 与r u s s e l l l 2 1 l 利用 扩展的e m ( e x p e c t a t i o nm a x i m i z a t i o n ) 算法，为每个像素建立了混合高斯分类模型。 该模型可以自动更新，并能自适应地将每个像素分类为背景、影子或者运动前景， 在目标运动速度缓慢的情况下亦能较好地完成运动区域的分割，并可以有效地消除 影子的影响；另外，s t r i n g a 瞄】也提出了一种新颖基于数学形态学的场景变化检测算 法，在变化的环境条件下获得了相对稳定的分割效果。 本文研究的是摄像头固定的情况，通过对以上3 种方法的比较，可以看出，背 景减除方法可以直接得出运动对象的位置、大小、形状等信息，这些都是步态识别 所需要的重要信息，并且背景减除方法计算复杂度适中，所以本文采用了改进的背 第二章步态识别综述 景减除的方法。第3 章将对这种方法做详细的介绍。 2 3 2 步态表征 9 步态表征是步态自动识别中的一个核心问题，它在一定程度上决定了步态识别 的具体方法及性能。计算机对步态进行检测、识别，很重要的一点是如何合理地表 示步态。所有的己知步态必须以一定的格式存储起来，步态表征的本质与识别使用 的匹配策略相互影响。目前常见的步态表征方法可分为两大类：结构表征方法和非结 构的表征方法。 1 结构表征方法 结构表征方法指从图像中恢复人体的结构构造( 如3 d 建模) 并用它来进行运动 识别。具体实现为首先假定人体的2 d 或3 d 结构模型，通过抽取图像特征并映射到 模型的结构分量上以恢复人体的姿态；通过与模型的匹配从图中检测出人体来；一 旦在几幅图中检测到了人体，就可以通过基于时间的人体部位的运动轨迹实现运动 识别。如t a n a w o n g s u w a n 和b o b i c k z 3 用钟摆为步态建模，将髋关节变化的频域信息 作为步态特征；c u n a d o 等瞄l 将大腿建模为链接的钟摆，并从其倾斜角度信号的频率 分量中获取步态特征；b h a n u 和h a l l 瞄悃基于模型的方法跟踪步态序列获取关节的 运动数据，然后用关节角度的平均值作为特征识别人的身份。 2 非结构表征方法 非结构表征方法指直接以人体的运动模式( 如轮廓) 为特征而不考虑其背后的结 构这一方法可进一步分成两类：空间状态法和时空相关法。 ( 1 )空间状态法步态由一序列静态的身体姿态组成，通过考虑相应姿态一系列 连续变化来识别步态。如m u r a s e 与s a k a i 2 6 1 提出了一种时空相关的模板匹配方法用 于区别不同的步态，h u a n g 等【2 7 】通过增加正则分析扩展了他们的工作。王亮汹】采用 一种改进的背景减除方法用于检测行人的运动轮廓；然后，把2 d 轮廓形状被转换为 对应的l d 距离信号，同时通过特征空间变换( p c a ) 来提取低维步态特征用于步态识 别。 ( 2 ) 时空相关法由连续运动所产生的时空分布为特征来进行步态识别，即序列 图像中运动人体所产生的完整的3 d ( x y t ) 信息集合为特征。这些图像可以为灰度值 图像、光流图像、二维轮廓图像等。如l i t t l e 与b 0 y d 嗍从光流图像中获取频率和 相位特征来识射个人；近来，s h u t l e r 等啪魄出了一种基于时间矩的统计步态识别 算法；h a y f r o n - a c q u a h 3 1 】使用广义对称性算子进行步态识别；j o h n s o n 与b o b i c k 2 z l 人体步态识别系统的研究与实现 在步态识别中使用了静态身体参数；b e na b d e lk a d e r 3 3 等选择运动图像的自相关 图作为原始特征，利用特征空间变换来减少特征向量的维数进行步态识别。 本文采用第二种方法，不进行人体的重构，仅利用人体的运动模式达到步态识 别的目的。 2 3 3 步态识别 步态是人体走路的姿势，也是一种动态系统，其识别方法也都是基于动态系统 的识别方法，目前主要有基于概率统计、基于模板的方法，将在第四章进行详细的 介绍。 i 基于统计的方法 基于统计的方法是动态系统模式识别中识别效果最好的方法，主要有隐马尔可 夫模型( r i d d e nm a r k o vm o d e l ，简称h w ) 和动态贝叶斯网络( d y n a m i cb a y e s i a n n e t w o r k ，简称d b n ) 。隐马尔可夫模型是目前人体动作识别中应用最为广泛的识别 方法，动态贝叶斯网络由于模型结构复杂、参数繁多等原因，在步态识别中运用比 较少，但是动态贝叶斯网络具有隐马尔可夫模型无可比拟的优越性，是步态系统识 别方法发展的方向。 隐m a r k o v 模型的基本思想是用双重随机过程来描述一个模式，一是m a r k o v 链， 这是基本随机过程，它描述模式内部状态序列；另一随机过程描述状态和观测值之 间的关系。删是更加成熟的匹配时变数据的技术，它是随机状态机器。h 删的使用 涉及到训练和分类两个阶段，训练阶段包括指定一个隐m a r k o v 模型的隐藏状态数， 并且优化相应的状态转换和输出概率以便于产生的输出符号与在特定的步态类别之 内所观察到的图像特征相匹配。每一个步态类别对应一个删。h m m 在学习能力和 处理未分割的连续数据流方面有优越性，当前被广泛地应用于步态识别中。如k a l e 和r a j a o p a l a n 等【蚓用轮廓宽度作为特征向量训练嗍实现步态识别。 2 基于模板的方法 基于模板的方法主要有模板匹配( t e m p l a t em a t c h i n g ) 和动态时间规整 ( d y n a m i ct i m ew a r p i n g ) 。 建模时，模板匹配的算法对每一人体样本都建有一个或者多个模板，识别时将 获取的特征数据与模板匹配，计算两者之间的相似度。例如，c o l l i n s 等【3 5 佣人体 形状作为步态模板。模板匹配算法无法解决运动时间快慢的影响，这是其最主要的 缺点。 第二章步态识剐综述 1 1 动态时间规整将两个不同时间长度的运动特征模板，按照一定的时间规整曲线 进行时间规整，使得特征模板时间长度达到一致，然后再匹配。例如，l e e 等 3 6 酬对两个序列进行规整来求相似度进行步态识别。d t w 具有概念简单、算法鲁棒的 优点；对d t w 而言，即使测试序列模式与参考序列模式的时间尺度不能完全一致，只 要时间次序约柬存在，它仍能较好地完成测试序列和参考序列之间的模式匹配 第三章基于彩色图片序列的步态检测 第三章基于彩色图片序列的步态检测 1 3 从图像序列中进行步态的检测，即分割出运动的人体，是人体运动分析研究的 起始关键步骤。为了跟踪图像序列中人体的运动，首先需要把感兴趣的人体目标从 图像中提取出来，其使用的主要方法就是运动区域分割技术。运动区域的有效分割 对于目标分类、跟踪和行为理解等后期处理非常重要，因为以后的处理过程仅仅考 虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、 影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。 实际中。人们往往考虑对单色图像的分割，即从单色图像中提取出感兴趣的目 标。当灰度图像有变化灰度的背景或本身有较大灰度范围的区域时，进行视觉图像的 分割会非常困难。这是因为对于单色图像的分割来说明亮度( 1 i g h t n e s s ) 是惟一的 可用信息。故这种问题是灰度图像本身固有的。人的视觉中对明亮度的感觉一般只有 2 0 级左右，而彩色图像除了提供明亮度外，还有色调和彩色的深浅，而人眼对色调或 彩色的深浅可区分1 3 0 级左右，即人眼可区分的颜色可达到3 5 万多，所以研究对彩 色图像的处理更加有意义。 本章主要归纳出目前几种常用的运动分割方法，在使用彩色图像差图像法和基 于直方图双阈值分割算法以及数学形态学的操作实时完成跟踪系统的人体运动分 割。实验结果表明上述算法对噪声抑制和人体图像断裂处填充都是有效的，能够实 时分割完成运动人体的视频图像，分割出来的人体可以广泛的应用于医学，运动竞 技，安全检测等多种领域。 3 1 运动分割技术简介 运动分割技术主要有静态图像分割和动态图像分割：静态图像分割发展的相对 较早，主要常用的有阈值法、边缘检测、图像匹配法、图像跟踪法、纹理分割等方 法。静态分割方法仅利用了图像的空间信息，没有用到图像序列帧间关联信息，缺 乏判断目标动静关系的能力，不能进行正确的分割和提取。动态图像分割主要是利 用从图像序列中检测运动信息，识别与跟踪运动目标，并提取运动信息。本章主要 研究的是针对人体运动的动态图像分割技术。目前在图像序列中进行运动分割的方 法主要有背景减除法( b a c k g r o u n ds u b t r a c t i o n ) 、时域差分法( t e m p o r a l d i f f e r e n c e ) 和光流法( o p t i c a lf l o w ) 。这几种方法在第二章已经介绍过了，他们 的比较如( 表3 1 ) 所示： 1 4人体步态识别系统的研究与实现 表3 - l 三种方法的比较 方法背景减除法时域差分法光流分析法 所得信息运动对象位置、大 运动对象边界信息 运动对象位置、大小、 小、形状等信息形状等信息 适用范围摄像头固定摄像头固定摄像头固定、运动 复杂度中小大 本文研究的是摄像头固定的情况，通过对表3 1 三种方法的比较，可以看出差 分图像法可以直接得出运动对象的位置、大小、形状等信息，这些都是视频监控系 统所需要的重要信息，并且背景减除法计算复杂度适中，所以本文采用背景减除法 的思想，本章下面的部分将对背景减除法在存在运动对象的场景中的应用傲详细的 介绍。 3 2 视频序列中彩色背景图像的获取 在场景中没有运动对象的情况下，可以直接取得背景图像。但在许多实际应用 场合中都存在运动对象，如对高速公路上路面交通的监控。不可能中断交通来提取 背景，有运动人体所在的场合也是同样的道理，因此需要有一种背景模型能够不断 获取最新的背景图像，以实现动态场景中的背景获取与更新。本节就有运动人体所 在的视频监视中提取出彩色背景图像进行了讨论，并提出了一种新的算法，可以很 好的得到彩色背景图像 3 2 1 背景获取方法简介 为了检测场景中的运动物体，首先要建立一个有效的背景模型。大部分的研究 人员都致力于研究不同的背景模型，来减少动态场景变化对于运动分割的影响。 参考图像的最简单形式是背景图象的初始时间平均这种方法存在许多问题， 并且在初始训练的这段时间内不能有前景运动目标。如果训练时间内前景运动目标 静止不动，或者训练时间之后背景物体发生移动，都会使对应区域被永久地认作有 前景运动目标。另外，该方法不能解决场景中的光线渐变问题。这些问题说明，必 须不断地对背景进行实时估计。进年来相继提出了一些自适应背景建模方法来解决 这些问题。l 幻c r p 7 】等利用卡尔曼滤波器跟踪每个像素的背景亮度变化。类似地， 第三章基于彩色图片序列的步态检测 p 丘n d e f 【蚓使用简单的自适应滤波器递归地更新背景模型。这两种方法能处理光照变 化问题；可是，却不能很好地处理背景中移入或移出物体的问题。e l g a 姗a l p j 等利 用广义非参数核函数密度估计技术建立背景和前景的统计表示。对于每个像素点， 用核函数估计算子直接根据抽样数据估计概率密度函数，而不需要对所属分布作任 何假设。尽管作者提出加快计算速度的措施，该方法在计算实现上仍然比较复杂。 在文献【删中，三正态分布混合模型应用于交通监控应用中每个像素点的建模。像素 点的取值分布用三个正态分布的加权来混合建模：分别代表道路、阴影和车辆的分 布。一种增长e m 算法被用于学习和更新模型参数。g r i m s o n 等1 4 l l 应用自适应非参 数高斯混合模型解决这些问题。w a l l f l o w c 跟踪器1 4 2 使用高层处理来辅助低层的背景 建模，但是该方法计算非常复杂。 检测过程中面临的另一个问题是运动物体的阴影检测问题。阴影明显不同于背 景，并且会和运动物体一起移动，这样，很容易被误判为前景点。这会导致目标形 状失真和目标粘合。在文献【4 3 l 中，计算颜色模型被用于检测阴影，但是，当像素点 的亮度较低时该算法不能有效地工作。在文献 4 4 1 中，隐马尔可夫模型( 如订s ) 用于 检测阴影。像素的亮度被三状态的h m m s 建模表示，三状态分别对应于前景、背景 和阴影。通过对模型状态的判别能够区分前景、背景和阴影。但是，该技术存在稳 定性问题。 为了解决背景光照亮度渐交和背景物体移动等问题，本文使用c d m ( c h a n g e d e t e c t i o n | h s k ) 方法，根据像素建立了彩色背景模型。在室内和室外，使用下述方 案对实时视频图像序列进行处理和实验，得到的背景图像见( 图3 4 ( b ) ) 3 2 2 图像的预处理 在不同的应用场合中，存在着各种不同类型的噪声按噪声对信号的影响可分 为加性噪声和乘性噪声两大类。在计算机视觉和数字图像处理中，噪声的消除一直 是人们关注的重点。那什么是噪声呢? 噪声可以理解为妨碍人的视觉器官或系统传 感器对所接收图像源信息进行理解或分析的各种因素通常噪声的发生是随机的， 且具有离散性的特点。 噪声的消除可以在频域中进行，也可以在空域中进行频域中通常采用低通滤 波器的方法，空域中消除噪声的方法则较多，可分为线性滤波器和非线性滤波器两 大类线性滤波器的方法在信号与噪声彼此相关的条件下不能很好的工作，且在消 除噪声的同时，往往会严重模糊图像细节( 如边缘等) ，除此之外，还不能有效滤除 人体步态识别系统的研究与实现 椒盐噪声。而非线性滤波器在一定程度上克服了线性滤波器的这一缺点。由于它能 够在消除噪声的同时，最大限度地保持图像信号的高频细节，使图像清晰、逼真， 从而得到广泛应用和研究。目前已有许多非线性滤波算法，如中值滤波、白适应滤 波和基于数学形态学的滤波方法等。在此采用维纳滤波 4 5 1 来去除噪声。维纳滤波是 用来解决从噪声中提取信号问题的一种过滤方法。维纳滤波其核心思想是：由给定 的降质图像g 和对退化模型h 及噪声i l 的先验了解，寻求一个对原始图像的最优估 计，使事前确定的最优准则为最小。 一般的维纳滤波器要求了解嗓声的频谱密度，这种先验知识都是很难做到的， 因此并不适用。但可对像素所在的指定大小的区域作统计运算，利用所得方差和均 值作先验知识，对图像进行处理，具体推导如下： 设象素薯，降质后的灰度为磊， 弓，。毛。j + 嵋，j ( 3 1 】 其中嵋j 是零均值的加性随机白噪声，其方差为盯2 当给定铂和噪声统计特性 时，需要估计五。j 。 e a 式( 4 1 ) 可得均值；和方差q 。j 分别为： j ，j 三e k ，1 e t z , ，小动( 3 - 2 ) 妨j ：e 【瓴，j 一磊，) ：1 。，j 一- 1 j ) 2 卜口：( 3 - 3 ) 又可以利用式( 3 1 ) 和式( 3 2 ) 在环绕毛，的m x n ( m 、n 可自行指定，般取7 x 7 的 大小最好) 邻域内求得矗和q 。j ，并把它们作为而，的先验均值i ，和方差q ，使用 一般维纳估计式为： ，- w g + 6 ( 3 - 4 ) 由此可设葺，f 的估计值鞠1 为： 柏，畅i + 6 ( 3 5 ) 利用均方误差最小的最优准则： ，i ) f f ie l ( x , 广毛。j ) 2 】 ( 3 - 6 ) 应使( 4 6 ) 最小。 将式( 3 1 ) ，( 3 5 ) 代入( 3 6 ) ，将，) 分别对a b 求偏导数，并使结果为零， 可得到方程组： 第三章基于彩色图片序列的步态检测 oez,n-w,s-(az,j+b)20 a 4 丝匦二兰：二丝：堕