（电路与系统专业论文）步态识别中关键技术的研究与实现.pdf

中文摘要 摘要：步态识别是生物特征识别中的一个新兴领域，目的是根据人的走路姿态实 现对个体进行身份识别，具有广泛的应用前景，成为近年来计算机视觉中备受关 注的前沿方向。步态识别主要针对含有人体步行的运动视频序列进行分析，其关 键在于寻找有效的步态特征及分类方法，融合了视频序列处理、模式识别及计算 机视觉等多种技术。本文从同时考虑理论和实际应用，对视频输入的步态识别算 法进行了一些探索和改进。本文的主要工作如下： 1 1 研究了步态识别中的预处理过程，处理流程如下：首先利用中值法建立背 景模型，使用背景差分法提取出人体运动目标轮廓，利用横向和纵向的投影获取 人体区域并将其归一化，将一个步态周期内的二进制轮廓图像叠加获得步态能量 图用于后续的特征提取。 2 ) 提出了使用分块二维双向主成分分析方法对步态能量图进行分块后提取 特征，从而有效降低了维数，减少了运算量，在美国南佛罗里达大学u s f 步态数 据库上用最近邻分类法进行分类和识别，获得了较好的识别率，在衣着和背包等 变化的情况下表现出较好的鲁棒性。 3 ) 研究了不变矩在步态识别中的应用，分别实现了具有旋转、平移、缩放不 变性的z e n l i k e 矩和小波矩，并提出将两者结合起来形成混合矩作为步态特征输入 支持向量机进行识别，在加州大学圣地亚哥分校u c s d 的小型数据库上进行了验 证和比较，证实了可以获得更高的识别率。 关键词：生物识别；步态识别；步态特征提取：分块双向二维主成分分析；小波 矩； 分类号： 1 n a b s t r a c t a b s t r a c t ：r e c o 鲥t i o nb yg a i ti sa 玳啊6 e l di nb i o m e t r i ci i l e n t i f i c a t i o n g a i tr e f e 瑙 t om ew a l ks t y l e a so n eo fm em o s ta t 嗽l c t i v er e s e a r c ha r e ai l lc 0 m p l l t e r 访s i o i l ，g a i t r e c o 班t i o ni sg e t t i n gaw i d er 趾g eo fa p p l i c a t i o n s g a i tr e c o 嘶t i o nb 嬲e do ni n o t i o n v i s i o ni su s e dt 0i d e i n i 矽l ei i l d i v i d l i a l si nt l l ev i d c 0s e q u c i l c e ，i ti n t e 孕a t e st e c i l l l o l o 舀销 嬲讥d e 0s e q u e i l c ep r o c e s s i n g ，p a 仕e n lr e c 0 鲥t i o na n dc o m p u t c rv i s i o ne t c t h ek e y t e c 知1 0 l o 西e si i lg a i tr e c o g 面t i o na r ep a t t e n le x 的c t i n g 锄dc l 嬲s i f i c a t i o nm e t h o d s t t l i s m e s i sp r o b e si n t og a i tr e c o 鲥t i o n 丽mn l e 访d e o s 舔i n p u ti i lb o 也m e o r e t i c a la n d 删i c a lp e r s p e “v e 1 1 1 em a i nc o n 伍b u t i o 必o f l i s l 销i sa r el i s 锄弱f o l l o w s ： 1 ) s t u m e d 也ep r e p r o c e s sm e t h o d so fg a i tr e c 0 鲥t i o n ，l ef o l l o w i n gs t e p s 躺 p r e c e d e d ：f i r 吼o fa l l ，e s t a b l i s h l eb a c k g r o u n dm o d e l 璐i i l gm e d i 距v a l u em e 川，g e t m es i l h o 嗽t eb y 毗仃a c t i n gn l es e l q u 锄c c 嘶mt l l em o d e l g e tt l l er e 西o no fh m 觚 b o d ya c c o r d i i l g t 0t h eh o r i z o m a la l l dv 酬c a l 州e 嘶o n 锄dl 剧ei t 舯m a l i z e d a v e f a g e 血cb i n 町c o n t o 粥t 00 b t 咖恤g e i ( g a i te n 吲i i i l a g e ) f o rf i m e ru s ei i lm ef e a t u r e e x 缸a c t i o n 2 )p r o p o s e dm ea p p r o a c h 伽叩l o ) ，i n gt t l em 0 d i l l 小( 2 d 广p c at 0e x 慨tt l 坞 f e 嘲l 他蠡wd 鹊s i 6 c a t i o na n du s i n gn n ( n e 锄喊n e i g h b o r ) m e m o d 佑rr e c o g n i t i o n ，a n d a p p l i e di tt 0u s fg a i td 乱a b 嬲e e x p i e r 蛆肌t a lr e s u l t sd 翎璐t r a t e 也a tn l ep r o p o s 。d a l g o r i t l l mp e r f o n n sa ne n 伽i u r a g i l l gr e c 0 班t i o nr a t ea r l dr o b 髑缸l 懿sa g a i l l s tc h 觚g i i l go f d o m 懿a n dc a r r ) r i i l gb a g s ，觚d1 a 玛e l y 劬c c dm ec o m p u o nd i m e n s i o 船 3 ) r e s e 砌e d o nt l l ea p p l i c a t i o no fi n v a r i 趾tm o m e n ti ng a i t 托c o g i l i t i o 玛f e a l i z e d z 锄i k e 如【v a r ia n _ t 瑾i o me n _ t 觚dw a v e l e tm o n l e n t w h ic _ hh a v ef c a t 眦so f 仃甜峪l a 垃o i l s c a l e 觚dr o t a t i o n 缅i v a r i a n c e t h 钮d e v e l o p o dah y b d dm o m e n tt 0d e s c r i p t 蟛g a i t c h a r a e f i s t i c s s v m ( s u p p o r t v e c t o r m a c h i n e ) i s p e r f o m e d i n r 。c o 鲥t i o n e x p 耐m e n t s0 nu c s d 鲥t d a t a b 勰ea 出e v e d9 0 0 dr e 蚰l t sa n dp r 0 v e di t se 毹c t i v 雌e s s k e y w o r d s ：b i o m e t r i ci d e 血j 6 i c a t i o n ； g a i tr e c o 鲥t i o n ；f e a _ t i l 坞 e x n 鳅i o n ； m o d u l 孙( 2 d y p c a ；w a v e l e ti n v 撕锄tm o m e n t ； c i a s s n o ： 致谢 本论文的工作是在我的导师陈后金教授的悉心指导下完成的，陈后金教授严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢三年来 陈后金老师对我的关心和指导。 郝晓丽教授悉心指导我们完成了实验室的科研工作，在学习上和生活上都给 予了我很大的关心和帮助，在此向郝晓丽老师表示衷心的谢意。 刘颖教授对于我的科研工作和论文都提出了许多的宝贵意见，在此表示衷心 的感谢。 在实验室工作及撰写论文期间，陈新、谭川等同学对我论文的选题研究工作 给予了热情帮助，在此向他们表达我的感激之情。 另外也感谢我的父母和姐姐，他们的理解和支持使我能够在学校专心完成我 的学业。 序 作为硕士研究生学位论文，这篇论文应该是我的学生阶段最后的一篇论文了。 研究生的两年半转瞬即逝，我的学生时代也快结束了。 从论文的选题到即将完稿，忙了一个多学期的时间，然而却感觉还是只学会 了皮毛，没有更深入的研究，尤其是理论方面仍然欠缺，不管怎样，总算是有些 成果可以拿出来讲讲。 最后祝我自己答辩顺利，早日找到一个好工作，事业和生活越来越光明吧! 1 引言 本章概述了生物识别技术的发展现状及传统方法的缺陷，阐述了步态识别技 术的研究背景和应用意义，最后总结了本文的研究思路及论文结构的安排。 1 1研究背景 随着科技的进步，信息化时代一方面给人们的生活带来了便捷，提高了生活 质量，另一方面也显示出了很多安全漏洞，使得隐私数据更容易被窃取，蒙受精 神和物质损失。出于保护个人、公司、军队和政府的敏感信息和商业机密的考虑， 目前身份认证技术备受关注，也得到了快速的发展和广泛的研究和使用。其中生 物特征认证以其快捷简单方便安全等优点更是得到了多数研究部门的青睐。 步态识别是一种新兴的生物特征识别技术，是一种根据人的行走姿态方式来 达到识别人的身份的生物识别技术。行为心理学的研究揭示了人有从甚至很模糊 的步态中识别他人的能力f l 】，这证明了步态中包含认证信息。早期的医学研究中显 示步态中包括2 4 种不同的特征【2 1 ，如果考虑到所有的步态运动，没有任何两个人 的步态是相同的。相对于传统的生物识别技术，如声音、指纹、掌纹、虹膜、人 脸、签名、d n a 等，步态是人的外在的、动态的表现、且和时空密切联系。同时， 与基于静态特征的其他生物认证技术相比，步态识别做大的特点是可以远距离进 行，能在不需要被识别者的刻意配合的情况下有效地进行识别。 步态识别的主要优点如下： 1 ) 非接触性、非侵犯性 2 ) 不易隐藏和模仿 3 ) 不易察觉 4 ) 对视频质量要求相对较低 5 ) 可以远程进行 具体而言，传统生物认证方法如人脸、声音，指纹和虹膜目前技术都已经相 当成熟且获得了普遍的应用，但这些方法在使用上往往有诸多限制，通常需要被 测试者近距离接触，如指纹需要接触指纹扫描仪、人脸需要近距离的拍摄捕捉以 提供足够的分辨率等。通常使用的远距离监控录像中，在难以获取足够辨认人脸 或虹膜等的清晰图像的情况下，这些传统的生物特征将很难继续使用【3 】，而步态作 为新的生物特征基本没有以上这些限制。在远距离其它生物特征都无法感知的情 况下，步态识别依然有效，且能在低分辨率监控下使用。其次，步态识别可在不 被被观察者发现的情况下进行，步态的检测不需要被观测者的配合，从而非接触 性地感知和度量，在被观察者不知情的情况下获取步态信息【4 j ，有较好的隐蔽性和 非侵犯性。第三，传统生物认证如人脸识别可以通过戴面具口罩等把脸遮住从而 隐藏起来，指纹识别可以使用“指纹膜 等欺骗系统，而人一般不会故意伪装自 己的行走行为，因为如果刻意改变自己的步态反而会使自己显得更加异常和奇怪， 而步态又难以模仿，因而步态是很难隐藏和伪造的，配合红外技术能更大发挥步 态识别的作用。 作为唯一可以远距离实现的生物特征识别，步态识别以其在远程智能监控领 域中的明显优势而备受关注，具有广泛的应用前景和商业实用价值，成为近年来 计算机视觉和模式识别方向研究的热点。例如，美国国防高级研究计划署d 眦 于2 0 0 0 年资助了大规模的远距离身份识别h i d 计划，其目的在于实现将多种身份 认证技术如人脸、指纹、虹膜、掌纹和步态等融合起来网，实现远距离视频监控下 的人体检测和识别，最终应用在国家边境和公共场所等的反恐和保障安全。乔治 亚理工学院、马里兰大学、卡内基梅隆大学、南佛罗里达州大学、南安普敦大学 和麻省理工学院等2 6 家高校或公司参与了该项目的研究工作【6 】，其研究焦点在于 脸像、步态或者特定行为的识别。美国五角大楼也正在拟定采用步态识别技术进 行反恐。自从9 1 1 袭击事件，各国都已将反恐提高到一个新的高度，对国家机密 的保护和机场等场所的监控成为包卫国家安全的重要组成部分。而基于步态特征 的身份识别技术正是解决这一问题的最有效手段之一。据美国移民局统计，如果 在美国和墨西哥边境采用快速准确的远距离身份识别系统，每天可查出数千件非 法入境案件【7 】。中科院自动化研究所于前些年开始了“人的步态分析与识别”的项 目研究。在2 0 0 8 年的北京奥运会上，首次将虹膜、指纹、步态等多种生物识别技 术综合运用到奥运场馆的门票和门禁系绀8 1 ，从而实现了实名检测，确保了整个盛 世的安全举行。 步态作为一种远距离身份识别的生物特征，虽然它具有其他的生物特征所不 具有的一些优点，却也具有明显的缺点。首先步态识别的精度没有人脸识别或虹 膜识别等的精度高，而且目前提出的步态识别算法一般仅在小规模数据库上能取 得较高的识别效果，要想应用于实际需要巨大的数据库，此时算法一般存在较大 的误判率，仅仅使用步态很难做出正确的识别，但是此时起码可以将步态作为辅 助方法缩小范围【9 j 。 2 1 2研究现状 步态识别作为一个还处于探索性理论研究阶段的新兴研究领域，得到了广泛 关注，除美国外，加拿大、日本等国家的高校或科研机构也开始了这方面的探索， 中国也于近年开展了这方面的研究。近年来步态识别领域取得了一系列优秀的研 究成果。下面做一些简单的总结。 c u n a d o 【1 0 】提出建立一个钟摆模型，从大腿的水平垂直位移和倾斜角度提取步 态特征。 l e e 【1 l 】用椭圆模型近似人体外观轮廓，将椭圆的质心等参数作为步态特征用以 识别。 h 趾等【1 2 】提出了用步态能量图表征步态特征。 蹦e 等提出了提取人体轮廓的宽度作为步态特征。 h 啪g 等【1 4 】先用光流法提取一个步态周期的运动序列，之后用主成分分析提 取本征步态。 步态识别取得了一系列令人鼓舞的研究成果，然而目前步态识别仍处于实验 阶段。从文献报道来看，目前的步态识别的研究一般是在以下几个假设条件下进行 的【1 5 1 ： 1 ) 摄像头固定，背景固定 2 ) 行走方向与摄像头垂直 3 ) 没有较统一的数据库 4 ) 没有考虑多人匹配的问题 步态识别有广泛的应用前景和商业价值，同时也有更多的研究需要进行。相 信随着半导体工艺的提高、计算机硬件的不断更新换代，计算机速度的提高、大 容量存储设备成本的降低和计算机视觉技术的不断深入研究等，步态识别终将成 为一种切实可行的新一代认证安全应用技术【1 6 】。 1 3步态识别的总体框架 直观上看，步态识别在很大程度上依赖于人体轮廓形状的时间变化，而相对 于基于模型的方法，基于轮廓的识别更简单有效，因而大部分的研究都是基于轮 廓的方法。然而进行关键帧的定位会有一定的误差，且外界的干扰会较大影响最 终匹配结果【1 6 1 ，所以本文中利用了能有效表征静态和动态特征的步态能量图，具 体的流程如下：首先读入视频序列，通过运动目标检测出视频序列中的人体轮廓 3 信息并分割出来，然后从这些轮廓中得到步态特征图，之后将分块二维主成分分 析方法或小波不变矩方法用于步态特征参数提取，最后进行分类和识别。由于采 用步态能量图，所得到的训练样本数目有限，一些常用的分类算法不能应用，因 此分类器的选择也是步态识别中的关键环节。由于支持向量机在小样本情况下有 着很好的识别效果【1 7 1 ，因此本文使用支持向量机作为分类器。一个完整的步态分 析系统如图1 1 所示。 1 4论文内容组织 图1 1 步态分析系统 f i g u r e1 1g a i ta n a l y s i ss y s t 锄 第一章( 本章) 引言简要介绍了步态识别的基本概念及特点、本文的工作背 景和步态识别发展现状，在结尾阐明了本文的工作安排和主要研究内容。 第二章介绍了步态识别的基本理论与方法，研究了步态识别的预处理、步态 4 特征提取、处理和分类识别过程。 第三章着重实现了从视频序列中提取轮廓和后期处理，最后合成了步态能量 图供特征提取使用。 第四章和第五章分别实现了两种特征提取和识别的方法。第四章介绍基于主 成分分析的步态识别，以及为增强识别结果的鲁棒性及改善运算速度提取的改进 方法，然后分析分类识别的结果。第五章介绍了基于矩的特征提取方法，并提出 了混合z e n l i k e 矩和小波矩并使用支持向量机识别的方法。 第六章，实现了一个步态识别系统的示例，验证了其实际可行性。 第七章也就是论文的最后一章，对本文中的工作做出了全面的总结，并对步 态识别的发展前景进行了展望。 5 2 步态识别的理论与方法 基于步态识别的远距离身份认证系统所涉及到的几项关键技术包括：视频 处理、图像处理、模式识别。 2 1 步态序列运动目标分割 视频序列中的运动目标提取和分割是传统计算机视觉处理中的重要步骤。轮 廓提取和后处理的结果是下一步工作的基础。 运动检测的目标是从原始的视频序列中确定存在的运动目标。检测的结果应 满足以下要求： 1 ) 能检测出目标的运动 2 ) 能够去除目标阴影的影响 3 ) 检测结果应能用于后续处理 4 ) 能抵抗背景一定的扰动 5 ) 对光线的缓慢变化不敏感 2 1 1帧间差分法 帧间差分法是最简单方法。由于实际环境中总是存在一定的噪声和干扰，所 以应当在两帧的差值设置一个阈值，差值超过阈值才认为是变化的。 帧间差分法流程图如图2 1 所示。 图2 1 帧间差分法 f i g i 】2 1f i 锄m 伍玳m 帧间差分法非常直观和简单，用它进行目标检测和分割时，算法复杂度低， 只有简单的帧间的减法运算，因此可以满足系统的实时要求【1 9 1 。由于视频帧问的 采样时间间隔一般较短( 如对于3 0 币s 的视频间隔为1 3 0 s ) ，因此帧间差分法对场 6 景光线的慢变化一般不敏感，具有较强的稳定性。 帧间差分多数情况下得到的是运动目标的轮廓，之后要对轮廓进行一些处理 比如形态学腐蚀膨胀，或者注水法等，最后得到检测结果。 2 1 2背景差分法 在视频监视领域，大多数情况下摄像头都是固定不变的，在这种情况下背景 差分简单易实现，也是实际工程应用中最基本和普遍应用的方法。关于前景与背 景的区分在不同场合定义不同，取决于观察者感兴趣的目标。通常情况下背景定 义为观察区域内长时间保持静止或受小幅扰动或有规律的运动的物体。 背景差分法( 也称背景相减法) 能够相对完整的提取目标特征点( 而不是轮 廓) ，但对场景的动态变化如光照或外部条件引起的场景变化等较为敏感【2 0 】。如果 参考背景选取适当，背景差分法可以准确地分割出完整的运动物体。 引起序列中背景变化的原因主要有以下几点【2 l 】： 1 ) 光照变化：室内环境下灯光的突然变化，如关灯开灯等；室外环境下日光 的变化，如太阳角度变化引起的亮度慢变化，乌云等遮挡引起的亮度突然 变化等。 2 ) 背景扰动：背景中一些规律变化的物体，比如墙上背景的钟摆等；背景中 树枝随风摇动，树叶摆动等造成图像的像素点的细微变化；由于人为原因 造成的干扰，如摄像机抖动引起的突然变化等。 3 1 阴影问题：前景或背景的阴影的变化，如太阳西下引起的影子方向变化， 前景目标的运动引起在背景投下的影子的变化，以及背景遮挡运动目标造 成的变化等。 背景差分法流程图如图2 2 。 图2 2 背景差分法 f i g u r e2 1b a c k g 删跚洲傩 可以看出背景差分法与帧间差分法步骤相似，因此也具有帧间差分法运算简 单等优点，不同的是背景差分法需要额外的空间来存储和更新背景图像，因此速 7 度相对帧间差分法慢，且因为要缓冲序列帧更新背景不能满足实时性要求。 背景差分法实现的关键在于背景建模，本节的内容是介绍常用的经典背景模 型算法并比较其优缺点，常用的背景模型有以下几种： 1 1 均值法 均值法如式2 1 所描述，可以看出背景图像实际上是连续n 帧图像序列叠加 后的平均值。 反= 寺( 五+ 五+ 。+ + 五+ 一。) ( 2 1 ) 为保持背景图像的准确性，每处理完一帧后要更新背景。均值法算法相对容 易理解且易于实现，时间开销小。然而由于需要保存n 帧图像的数据信息以计算 背景图像，空间开销比较大。 2 ) 中值法 中值法与均值法相近。一般有运动目标的视频序列中，目标在监视区域从起 点向终点运动，可能是直线，也可能是椭圆等，但一般不会长时间停留在某一点。 中值法如公式2 2 所示： 毋( 而y ) = m b 加以( ( 而y ) ，+ 工一( x ，y ) ) ( 2 2 ) 与均值法类似，中值法算法简单易实现，同样需要较大的空间来做缓存，但 是中值法仅对帧中各像素进行排序和比较，因此运算量相对均值法较小。 3 ) 混合高斯模型法 混合高斯模型法是一种相对复杂的方法。 对视频序列上的某一像素点，理想情况下该点的值应该就是背景图像的值。 然而由于自然和人为等原因会导致一定的偏差，此时该点应服从高斯分布。可以 想到，由于针对某像素点，由于其大部分时间都是保持不变的，只有小幅度的扰 动，故背景图像在高斯分布的中心，而运动目标由于出现概率较小，分布在远离 中心的位置上。 由此得到背景图像玩的高斯分布如式2 3 所示。 ( 工，j ，) ( 风，辞) 心( 训2 玄荟五( 训) ( 2 3 ) ，材一l 2 菇( x ，j ，) = 吉 厶( x ，y ) 一风( 工，y ) j ht = 0 其中硒为像素点的平均值，菇为方差。 考虑实际的背景一般由多物体组成，因此需要对各物体分别建模，称为混合 8 高斯模型( g m m ，g a u s s i 锄m i x t u r em o d e l ) 。假设用k 个高斯分布来描述每个点像 素值的分布，分别记为，7 ( 工，“，以，瓯) ，f = l ，2 ，七，则有式2 4 。 _ i i ， 厂( 厶= “) = 哆，刀( 工，“，肛，4 j ) ( 2 4 ) f = l 其中7 7 ( 五“，肛f ，4 ，) 表示t 时刻第i 个高斯模型，戌，是其均值，4 ，是其标准差， 哆。为各个高斯分布的权值，且其满足式2 5 。 = l ( 2 5 ) ，拳l 之后根据当前帧对高斯分布的参数进行更新： 对当前帧的某像素点值，将满足i 一肛卜1 2 4 ，- 的高斯分布的参数按公式2 6 进行更新： q j = ( 1 一口) 哆，一l + 口 肛，。= ( 1 一p ) 以h + 以 ( 2 6 ) 磅= ( 1 一p ) 既_ + 夕( 一以，) z 对于不满足条件的高斯分布模型，如式2 7 所示降低权重。 哆。，= ( 1 一口) q f - l ( 2 7 ) 如果所有高斯分布模型都不满足条件，则将权重最小的高斯分布替换。新的 高斯模型的内核密度均值l ，偏差为最大初始偏差，权重为最小初始权重。 混合高斯法能在背景较复杂的情况下依然取得较好的效果，但混合高斯法的 缺点是计算复杂，计算复杂度和高斯模型的个数成正比( 高斯模型个数一般取3 到5 ) 。 背景差分法的使用建立在这样一种假设下，即图像中所有像素点是相互独立 的，如果考虑这些因素建立复杂背景模型将消耗较大的内存，因此背景差分法在 建立背景模型时默认这种假设成立，由此可能造成一些错误的检测结果，通常是 一些孤立的像素点和空洞等，这些可以通过形态学处理或注水法进行消除。 2 2 步态特征提取 步态识别主要是针对含有人的运动图像序列进行分析处理，算法通常分为运动 分割，步态轮廓提取、步态特征的提取与描述，分类和识别对象几个过程。其中 如何从步态序列中提取有效步态特征是整个算法中的重点和难点，特征的选取直 接决定最终的分类识别效果。目前的算法主要分为基于模型( m o d e lb 嬲e d ) 和基于统 9 计( m o d e l6 e e ) 的算法这两类。 2 2 1基于模型的方法 基于模型的算法先对对象建立二维或三维模型，然后提取角度速度等特征， 这种算法对视角的变化的适应性较好，但为准确定位关节点等对步态轮廓图质量 要求较高，计算量较大。基于统计的算法直接从人体轮廓中提取步态特征，通常 计算速度快，且适用于低质量的步态序列，目前多数研究都属于此类。基于模型 的方法利用人体结构等先验知识，常用的步态模型如图2 3 【2 2 】分别为椭圆模型、棍 棒模型和缎带模型，图2 4 【2 列为三维的骨骼模型。 基于背景的方法可以较好的解决遮挡现象。遮挡现象在实际生活中非常常见， 步行中携带诸如提包、雨伞、背包等将改变人的步态外形，而且步态识别中还存 在着自遮挡的现象，因而对于实际应用，解决遮挡问题是至关重要的。基于模型 的步态分析方法因为基于人的模型，能较准确的分别人体，且能对过去和将来的 运动进行估计，因而在这方面具有先天的优势。然而在噪声存在的情况下，这些 模型参数的估计可能会不可靠。 图2 3 常用的二维步态模型 f i g u r e2 3c o m m o n l y 髑e d “r o 司i m 伽喀i o n a lg a i tm a d e i 图2 4 三维步态 f i g u r e2 4n r e e d i m s i o n a lg a i t 1 0 2 2 2基于统计的方法 基于统计的步态特征量可以分为轮廓代数特征、形状视觉特征、轮廓几何结 构特征、幅频变换特征和统计特征等【2 4 1 。基于统计的步态识别的一个优点在于这 种方法并不局限在特定的观察对象上，因此用于人类的步态识别可以稍加修改就 很容易的用到动物的步态识别中去。由于基于统计的步态识别实现起来相对简单 和有效，目前大多数的研究都是这种方法，也做出了很多优秀的研究成果。 2 3步态模式分类和识别 模式识别是步态识别的最后阶段，就是通过比较测试样本和训练样本之间的 匹配程度达到正确识别的目的。其目的就是将对象进行分类，因此所谓识别就是 模式分类器的选择问题。 模式识别分为两种，第一种假设有一个可用的训练数据集，并通过挖掘先验 已知信息来设计分类器，这种为有监督模式识别( s u p e i s c dp a l t e n lr e c 0 嘶t i o n ) ， 另一种没有已知类型标签的训练数据可用，此时通过给定一组特征向量来揭示潜 在的相似性，并将相似的特征向量分为一组，叫做无监督模式识别( 岬e r v i s c d p a t t 锄r e c 0 鲥t i o n ) 或聚类( c 1 1 娼t e r i i l g ) 【2 5 1 。常用的模式识别方法有k 近邻法、隐 马尔可夫链、b p 神经网络和支持向量机等。下面详细介绍本文中用到的两种方法。 2 3 1近邻规则 k 近邻法( 心n ) 是典型的非参数法，是非线性分类器的一种变化形式，虽然 结果是次最优的，却是在实践中比较流行的方法【2 5 1 。 设x r - ，将训练样本 五，e l 划分为n 个子类，对任一测试样本工r 9 计算其与训练样本置的距离。此处可以使用不同的距离度量方法，包括欧几里得 距离和m a j l a l a n o b i s 距离。这里以欧式距离为例，欧式距离定义为l = ( x k ) ”2 ，故 度量得到的距离如式2 8 。 毋= i i x 一置o = ( ( x 一k ) ( x 一五) ) l 陀 ( 2 8 ) 对所得的距离b 按值的大小进行排序，得到o b 。) d ( ：) d ( 。) 。其中b 。) 称为k 近邻。之后找到与测试样本的k 个最邻近点，即q 。) 到d ( ”，统计各类别中 所占的点数，决策为点数最多的类。 由上面的描述可以看出k 近邻法类似于投票表决，因此为了避免出现票数相 同而难以决策的情况，k 一般取为奇数。特别的，当k 为l 时，直接将测试样本判 为距离最近的类，这种方法称为最近邻法。 近邻法原理简单，方法实现也很方便，缺点是需要存储全部训练样本并计算 距离，计算量大，存储量大。 2 3 2支持向量机 支持向量机是一种相对比较新的学习算法，由c o r t e s 和、却1 1 i k 于1 9 9 5 年提 出，它在解决小样本、非线性及高维模式识别中表现出许多优势，并能推广到其 他机器学习问题中【1 7 1 。 支持向量机是一种源于用于分类和回归的统计学习理论，是一种有监督的机 器学习方法。支持向量机是一个全局分类模型，最终产生一个不重叠的分区。支 持向量机的基本原理是最大间距的线性判决，基于概率但假设各标签之间是独立 的。 关于支持向量机的原理比较直观的理解如图2 5 所示。其中使两类之间的距离 最大的分类方法构成最优分界面，即图中红色标出的分类方法。 图2 5 支持向量机图解 f i g i 聆2 5s u 删v e c 缸m 地ed i a 雩即m 1 ) 两类问题 首先考虑二类问题，分类规则如式2 9 所示。 1 2 f 形r 置+ 6 1 矿m = l 【形r 五+ 6 l 矿乃= 一1 合并为式2 1 0 。 y f 【形r 置一6 】1 ，f = 1 ，2 ， 要最大化两类距离即是要取式2 1 1 的最大值： 缈( 形) = 三( 形r 形) 求2 1 1 的极值如式2 1 2 所示。 删，6 ，咖三( 矿矽) 一缸渺r 置山执- 1 ) 通过以上计算即得到了分类的最优平面。 2 ) 多类问题 将两类问题推广到多类，实际上就是通过将标签分类， 多个两类问题，级联多个两元分类器来解决多类问题。 2 4常用的步态数据库 ( 2 9 ) ( 2 1 0 ) ( 2 1 1 ) ( 2 1 2 ) 从而将多类问题降为 目前有以下几种流行数据库，如表2 1 【2 6 1 所示，我们可以看到各种数据库的大 小、拍摄特点、数据变化性等。 表2 1 步态数据库 t a b l e2 1g a i td a t a b a s e 1 3 表2 1 续 t i b l e2 1c o n t i i l l l e d 下面着重介绍u c s d 和u s f 两种数据库。因为在我们实验中主要采用了这两 个数据库。 2 4 1u c s d 数据库 u c s d 1 1 i 懈s i 母o fc a l i f o n l i a s 锄d i e 9 0 ) 数据库是一个六人小型数据库，链 接地址为h t t p ：肌啪啊i i l i t l 玳s s n l i t e d 谢萌。硼l s m d 蹦湘0 l a m c l e s l i m e - b o y d 鲥t e 邳惯i n l e n t 抽m ，由l i t t l eb o y d 于1 9 9 8 年采集。 u c s d 步态数据库的采集环境如图2 6 所示，采集的样例如图2 7 所示。其中 摄像机固定，行人绕摄像机行走，经过摄像机前时在与摄像机垂直的方向水平从 右向左以常速走过，每次视野内只有一个人，背景为无反射的墙面，墙上有水平 的条纹。数据库一共采集了6 人每人7 个步态序列大概行走1 5 分钟。采集到原始 分辨率为6 4 0 x 4 8 0 像素2 4 b i t 的彩色视频序列，经过采样为3 2 0 1 6 0 的灰度视频。 1 4 。一护伞 图2 6u c s d 采集环境 f i g u r c2 6u c s da c q i l i s i t i o ne n 啊r o n m e i l t 2 4 2u s f 数据库 图2 7u c s d 样例 f i g i l 鹏2 7u c s ds 锄p l e u s f 的步态数据库当前最大的步态数据库，2 0 0 1 年5 月2 0 、2 1 日和1 1 月1 5 、 1 6 日采集于南佛罗里达大掣2 7 1 。大概有3 3 人两个时间段都参加了采集，采集环境 如图数据库可从h t t p ：m a r a t h o n c s e e u s e d “g a i t b a s e l i n e 获得。 数据库的采集环境如图2 8 所示，行人在两台摄像机前沿着椭圆形的轨迹行 走，每人至少行走5 圈，将最后一圈采集入数据库。原始采集的视频序列的分辨 率为7 2 0 x 4 8 0 。对每个人，采集包括了5 种情况： 1 1 两种鞋子( a 和b ) 2 ) 两种持物状态( 有无公文包) 3 ) 两种地面( 草地和水泥地) 4 ) 两个视角( 左或右) 5 ) 不同时间( 部分) 综上，每个人有3 2 种可能情况下的步态，然而不是所有人都采集了3 2 种步 态，因此要对数据库进行分组，如图2 9 所示。蓝色方块为2 0 0 1 年5 月采集的无 公文包数据。整个数据库包括1 2 2 人1 8 7 0 个序列，解压后总大小大概1 2 t ，压缩 后7 5 0 g 。 其中( g ，a ，r ，n b ，t i ) 为g a l l e f y 组，即训练组，其他为训练组，分组情况 如表2 2 所示。 表2 2u s f 数据库 t a b l e2 2u s f ( h t a b 淞e 图2 8u s f 数据库采集环境 f i g u r e2 8u s fa c q i i i s i 6 0 ne n v i n 姗e n t 1 6 2 5小结 s h o a 叠 b m y 2 0 0 1 n ob n k a s b n 刊c - s c l a l ，g ，a 。l 。c ，a 。l ，g ，a 。l 。 n bn bb fb f c ，b ，kg ，b 。lc ，8 。l 。g 。b ，l 。 n bn 色b f b f c 。a 。r ，g ，a r c ，a ，rg a r ， n b n b b f b f c ，b ，r 。g ，b ，r ic ，b 。r g ，b ，r 。 n 8 n bb fb f n a v2 0 0 n ob r i o f c a b r i t c 叠s c 。a 。l o 。a 。l -c a 。l g ，a ，k ， n bn bb fb f c b ，l g 。b ，lc ，b ，l ， g 。b l n bn bb fb f c ，a 。麓g a 。r ，c ，a r ，g ，a ，r ， n bn bb fb f c 。b 。r g ，b 。r ，c ，b ，r ，g ，b ，r ， n bn bb fb f 图2 9u s f 数据库分组 f i g u 2 9u s fd a t a b 勰e 蓼o u p s 本章简单介绍了步态识别中的一些基本方法，着重分析了图像预处理方法和 模式识别方法，对于特征选择方法由于方法多而复杂，本章中只是做了简单介绍， 最后详细介绍了当前常用的步态数据库。 1 7 ljol卫叠ioi 3 视频序列的预处理 步态处理中一般摄像机静止固定，可用中值法提取出序列的背景图像。图像 中人体轮廓检测和预处理分为背景减除及二值化、形态学处理、轮廓提取几步。 3 1背景减除及二值化 用背景差分法提取出序列的背景图像，从序列中差分减除背景，将所获得的 图像进行阈值二值化。图3 1 ，图3 2 ，图3 3 分别展示了用均值、中值和混合高斯 三种方法提取的背景模型和人体轮廓。 图3 1 均值法 f i 目3 1m e 弛v a l 眦 图3 2 中值法 f i g l l 】陀3 2m e d i 缸v a l 仳 3 2后处理 图3 3 混合高斯法 f i g u 托3 3g m m 中值法提取人体轮廓相对简单而准确，接下来对其进行形态学处理，以消除 噪声和填补空洞。 o0o0loooo 0oliiil 0o 0 ll 1llilo oillllllo lllll illl olllllilo 0llllll lo o olillloo o0ooloooo e i e m e n tle l 啪e n t z 图3 4 形态学结构元素 f i g u r e3 4m o r p h o l o g i c a ls t m c t t l r ee l 锄e n t 分别使用图3 4 中的e l 啪e n t l 和e l e m e n t 2 进行形态学处理。其中e l 啪e n t l 为 列矩阵，闭运算后可以去除由于背景造成的横向的条纹，e l e m e n t 2 闭运算可以去除 噪声并将轮廓联通。处理结果如图3 5 所示。 图3 5 形态学处理 f i g u r e3 5m o 刮h o l o 百c a lp m c c s s i i l g 最后需要将图像分割，提取出最大连通区域作为人体轮廓。 图像分割是图像分析中的一个关键步骤，具体是指将一个场景分成组成它的 几个部分。几种图像分割技术如下： 1 1 幅度阈值化 2 1 成分标注 3 1 基于边界的方法 4 ) 基于区域的方法和聚类 5 ) 模板匹配 6 ) 纹理分割 本文中采用基于幅度阈值化的方法，首先将图像做水平和垂直投影，设定阈 值和分析连通性即可获得人体轮廓，结果如图3 6 所示。 1 9 醴 辎 砌 椭 图3 6 水平和垂直投影 f i g u r e3 6h o z o n t a la n dv e n i c a lp r o j e c t i o n 预处理的最后一步是归一化处理，将所得人体轮廓归一化到统一尺寸以便后 续使用，这里将轮廓归一化到8 8 x 1 2 8 像素。 3 3步态能量图 3 3 1步态周期检测 正常人的步态具有明显的周期性，通过分析步态序列垂直方向的投影，可以 根据宽度变化提取出一个步态周期的序列，如图3 7 所示，其中a 点到b 点即为 一个步态周期。图3 8 为步态的宽度变化，可以据此提取出一个步态周期的序列。 3 3 2步态能量图 步态能量图( g e i ) 由h a n 等1 2 1 提出，如下定义：设b 。，b ，e 为一个步态序列， 2 0 共n 帧，其中e ，垦，e 为已化为向量的图片，则步态能量图为 肘：三yb ( 3 1 ) ，z 蒿。 由式3 1 中可以看出步态能量图实际为一个周期步态轮廓叠加的均值。步态能 量图能反映轮廓的主要形状特性和变化，且能有效减小单个帧中噪声点的影响。 能有效的表述步态的静态和动态特征 囊a 支i 3 4小结 图3 7 步态周期及步态能量图 f i g u r e3 7g a i tc y c l ea n dg a i te n e r g yi m a g e 图3 8 步态序列宽度变化 f i g u 3 8w i d t l lc h a n g eo fg a i ts e q u e n c e 目标检测在很多领域都有着广泛的应用，本章讨论了常用的运动目标检测方 法，背景差分法是实际中较多用到的方法，本章中分别介绍了均值、中值及混合 高斯模型方法和他们的提取效果。步态识别中一般都假设摄像机固定不变，即背 景不变，在这种假设下中值法简单直观且易于实现，运算量较小，且分割出的人 体轮廓较为准确，此后的章节中都使用中值法分割出的轮廓。进行了形态学变化 等后处理后将图片以质点为中心归一化到一个固定的大小( 8 8 x 1 2 8 像素) 以消除 摄像机距离运动目标的远近或者摄像机抖动等造成的误差，为后续处理提供一个 标准的图像规格。 最后为了便于后面章节的特征提取，合成了步态能量图。 4 基于p c a 的步态识别 主成分分析( p c a ) 可以将复杂数据降维，由于它简单且无参数限制，在计算 机图形学中得到广泛应用。本文提出结合步态能量图和分块双向二维主成分分析 的步态识别算法，使用步态能量图能有效的保留步态特征，且将个周期序列压 缩到一张二维图像上，从而减少了运算量，使用分块双向二维主成分分析提取步 态特征，可以减小包和衣服变化等的影响，提高识别率，且进一步提高了运算速 度。 4 1 ( 2 d ) 2 p c a 简介 ( 2 d ) 2 p c a 2 9 1 是2 d p c a 算法的推广，其最大的优点是加快了提取特征的速度， 因此更加有效。 4 1 1行方向2 d p c a 设x 表不n 维线性歹u 向量。2 d p c a 的思想是将m 刀的图像矩阵彳通过 y = 魃的线性变换直接投影到x 上，得到m 维投影列向量y ，称为图像彳在j 方 向上的投影特征向量。 为了确定一个号的投影轴石，引入投影特征向量】r 的总体散布或协方差矩阵， 通过求其迹的最大值确定最优投影轴。其准则如式4 1 。 ，( x ) = 加砷 ( y 捌) ( 】，哪) r ) = 加 e ( 魃一e ( 似) ) ( 从一e ( 从) ) 丁 = 抛陋 ( 么一舡舡舡) h 。， 定义图像协方差矩阵： g = e l ( 4 一尉) r ( 么一剧) i ( 4 2 ) 式4 2 是一个万刀维非负定矩阵，利