（计算机软件与理论专业论文）步态识别研究.pdf

硕士学位论文 摘要 随着现代社会对安全需求的提高，生物识别技术作为实现安全的手段得到大力的研 究和发展。步态识别是生物识别技术研究中的新领域。医学研究证明，人的步态具有唯 一性，根据人的步态可以识别其身份。步态识别研究内容包括运动分割、特征提取、模 式分类和步态数据库等。本文主要研究前三方面内容。 运动分割方面，使用自适应背景提取算法提取步态序列的背景，运用背景差方法进 行运动步态分割，利用二值化和形态学方法消除步态图像的噪声，然后提出一种基于模 型的人影消除新方法，提高了分割人体步态的精度。 步态特征提取方面，首先提出基于h u 不变矩的步态特征提取算法，然后在此基础 上进行改进，提出基于z 眦i k e 矩的步态特征提取算法。所有步态的z e m i k 矩特征组成 步态的特征空间，针对z e r n i k e 矩特征空间维度较高的问题，使用主分量分析( p c a ， p 血c i p l ec 伽1 p o n e n t a n a l y s i s ) 方法对步态序列的z e m 呔e 矩特征进行压缩，计算出新的 包含时间信息的步态特征空间。单个步态的z e m i l ( e 矩影射到新的特征空间得出维度较 低的矢量，一个步态周期中所有步态的z e n l i k e 矩影射得出的矢量可以组成新的步态特 征矩阵，计算特征矩阵的行方差矢量作为步态周期的识别特征矢量。 模式分类方面，提出规格化步态周期的概念，把规格化步态周期作为步态分类识别 的基本单元，并给出确定规格化步态周期的方法。使用b p 神经网络对步态特征进行识 别分类。 最后编程实现上述各种方法，并设计开发了一个完整的步态识别系统，为步态识别 新方法的研究和测试提供了平台。使用l i t t l e b o y d 步态数据库进行实验，其识剐率达 到l o o 。 关键词；步态识别；运动分割；步态特征提取；模式分类；h u 不变距；z e r n j k e 矩；主 分量分析；b p 神经网络 a b s t r a c t a se 1 1 1 1 1 a n c eo ft l l e c l l r i t yr e q l l i i e m e n t i nm e m o d e m s o c i e 协 b i o m e t r i c s r e c o 鲥垃o n ，硒a n 印p m hf o rs o c i e t ys e c u r i t y ，h a sb e e i lg r e a t l yr e s e 砌e d 趾dd w d o p c d e a r l yp s y c h o l o g i c a ls h l d i e si m og a i ts u g g e s t e dm a tg a i t 、糯au n i q u cp e r s o n a lc l l a 】t e r i s t i c p e o p l ec 锄i d e m i 母p e r s o n sb yo b n r i n g 血e i rw “i k i n g g a i tr e c o g i l i t i o nr e s e a r c hi n v o l v e si n f o l l o 谢n ga r e 髂：m o v e m e n ts e 毋n e n t a t i o n ，f e a t i l r ee x t r a c t i o 乌p a 拍锄c l 嬲s i f i c a t i o n 姐dg a i t 出l 怕【b a 蛐ds oo n i nt h i sp a p e tt h ef o 他t h r a r c a sa r em a i l l l yr e a r c h e d o nt b em o v e m e n ts e g m e i 删o n ，姐a d a p t i v eb a c k g r o u n ds 出瞳m c t i o na l g o r i l mi su dt o s l l b 昀c tg a i ts e q u e n c e sb a c k g m l m d t h e n 吐忙g a i ti n l a g e 酬【b 1 哦圮t st l 佗b a c k g r o u n di m a g et o e x 协诎b o d ya 胤b i n a r i z a 廿o na n dm o m h o l o 舀ca l g o r i m ma r eu s e dt 0r 啪o v ei m a g e i s a na p 唧d a c hb 硒e do nh l m a nb o d ym o d e lh 船b e e np r o p o s c dt or e m o v eb o d ys h a d o w s t i l i s a p p m 卸hg a i n sp c i s 王o nr e s u no f t l l eg a i t 0 n 廿l ef e a t i h ee x 心删o n ，a na p p r o a c hb a s e do nh ui n v a r i a mm o m e m st oe 】( t 瑚c tg a i t f e a n l r e si sp r o p o d t h e ni ti sm o d i f i e dt ot 量l eo 也e r 印p m a c hb e do nz e r n i k em o m e n t st o e x 蛔c tg a i tf e a t i l r e s a uo f g a i tz e n l i k em o i n e n t sc o m p o m eg a i tf e a t l l r es p a c e b e c a u s em e s p 踮eh 丛h i g hd i m s i o n ，p c aa l g ( 埔曲mi s 潞e dt oc o n l p r c s sz e m i k em o m e n t s 髓dan e w f e a t u r cs p a c ec o n t a i l l i i l g g a i tt 豇n p o r a lf e a t u r e sc a i lb eg e n e r a t e d t h e nz e n l i k em o m e n t s g a i l l e d 丘d mg a “i i n a g ea r cp m j e c t e dt ot h en e w f c a t u r cs p a c e 趾dan e wv e c t o rc a nb eg a i n e d m lo fv e 咖临g a i df o mag a i tc y c l ec o m p o s ea 颤m 聆m 砌x f i n a l l y 也er o wv a d 壮c e v e c t o r sc o 璐i d e r e d 嬲c l 骶s i f i c a t i o nf e a t u r c sa r ec o m p u t e d 矗o mt l l em a t r i x e s 0 nt l 玲p a t t e mc l 嬲s i f i c a t i o n ，w eb r i l l go u tan e w c o n c e p tc a l l e dn o m l a l i z e dg a i tc y c l e w bc o n s i d e ri t 嬲b a s e dc e ni l lg a i tc l 髂s i f i c a t i o n 锄df i n d 协ea p p r o a c ht oc 伽叩u t ci t b p n e i l m ln e 咖r ki su s e dt oc l 硒s i 匆t h eg a i tf e a n s f i l l a l l y ，a l lk i n d so ft 1 1 ea p p 帅a c h e sa r er e a l i z e db yp r o 鲜曲m i n g w jp 他s e n tag a i t r e c o g n i t i o ns y s t e md e v e l o p e db yo u r s e l v e s ni sap 1 觚r n lf o rn e wa l g 谢t l l mf e s e a r c ha i l d t c s t w 1 l c l lw el l s el i t c l e & b o y dg a i td a 乜b 够et ot e s to l l rs y s t c ma n d 印p m a c h e s ，1 0 0 r e c o g n i t i o nr a t ei sr e a c h e d k e yw o r d s ：g a 主tr e c o 朗i t i o n ；m o v e m e n ts e g m e n t a t i o n ；g a i tf b 咖r ce x 订a c t i o n ；p a t t 哪 c l a s s i f i c a t i o n ；h ui r a r i a n tm o m e n t s ；z e m i k em o m e n t s ；p r i c i p l ec o i i l p o n e n t 锄a l y s i s ；b p n e u i mn e “o r k 插图索引 图2 1l e g 模型8 图2 2 最优分类线1 3 图3 1 步态场景和背景图像1 6 图3 2 腐蚀操作1 7 图3 3 膨胀操作一18 图3 4 噪声图像和去噪图像1 9 图3 5 人影消除效果图2 0 图4 1 步态轮廓a b 2 5 图4 2 两个步态h u 不变矩比较2 6 图4 3 步态序列h u 不变矩2 6 图5 1 径向多项式3 2 图5 2 步态毛b 3 3 图5 3 两个步态z e r n i k e 矩比较3 4 图5 4 特征值3 6 图6 1b p 神经网络结构3 9 图7 1g r s 界面4 5 图7 2p c a 系统界面一4 6 图7 3b p 神经网络系统界面4 6 图7 4 步态系统流程4 8 图7 5h u 矩k 近邻识别部分实验数据4 9 图7 6z e m 搬e 矩k 近邻识别部分实验数据5 0 图7 7b p 神经网络识别部分实验数据( a ) 5 2 图7 8b p 神经网络识别部分实验数据( b ) 5 2 l i l 附表索引 表4 1 步态轮廓咄的不变矩 表5 1 步态a 的z m i k e 矩 表5 2 步态b 的z 口i k e 矩 表7 1h u 矩k 近邻识别部分实验数据 表7 2z e i i k e 矩k 近邻识别部分实验数据 表7 3b p 神经网络识别部分实验数据 2 5 3 3 3 4 4 9 5 0 5 1 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体己经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本入承担。 作者签名： 绰雷鬯 日期：归口缉 学位论文版权使用授权书 9 月刃日 f 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密日。 ( 请在以上相应方框内打“”) 作者签名： 导师签名： 殍雷呜 椰芝 日日 哆7 月月甲每年年 p 、卜0 伊炒期期日日 硕士学位论文 1 1 生物特征识别技术 第l 章引言 现代社会对安全的要求越来越高，政府提出建立安全和谐社会的目标。监控 和识别技术是建立安全社会的技术基础，它可以发现潜在的威胁，确保社会安全。 目前监控技术分为几类：基于标识知识( k o w n l e g eb a s e d 如密码) ；基于身份标 识物( 如身份证) ；生物特征识别。前两种方法主要借助体外物，一旦证明身份 的标识物品和标识知识被盗或遗忘，其身份就容易被他人冒充或取代。生物特征 识别技术比传统的身份鉴定方法更具安全、保密和方便性。生物特征识别技术具 有不易遗忘、防伪性能好、不易伪造或被盗、随身“携带”和随时随地可用等优点。 生物可识别特征指可以识别和验证人的身份的生理或行为特征( “a 雠y s i o l o g i c a lo rb e h a v i o u r a lc h 盯a c t e r i s t i c ，w h i c hc a nb eu s e dt oi d e n t i f ya n dv e r i f y t h ei d e n t i t vo f a ni n d i v i d u a l 【l 】) 。从定义看出它分为两类： 1 生理特征：直接通过测量人体的某个部分得到，包括指纹、脸部和虹膜等。 目前针对生理特征的识别系统己应用到各种场合，已经有公司采用指纹识 别技术进行考勤和身份验证；美国某银行使用虹膜识别系统验证客户；美 国9 1 1 事件后，美国维萨格公司的脸象识别技术被应用到机场，在人群中 找出嫌疑犯。 2 行为特征：人体行动时表现出的特征，不能被宣接测量到，需要时间域特 征。包括击键、笔迹、语音和步态等。 生物特征识别各有其特点，有不同的应用场合。衡量生物特征识别的特性包 括成熟度( m a t u r i t y ) 、准确度( a c c u r a c y ) 、可测量性( s c a l a b i l i t y ) 、代价( c o s t ) 、 侵犯性( 0 b t r u s i v e n e s s ) 、传感器规模( s e n s o rs i z e ) 等。目前没有一种生物识别 技术可以达到1 0 0 的准确性，如有些指纹无法提取特征，患白内障的人虹膜会发 生变化导致无法识别。因此生物识别领域出现把多种生物特征结合起来进行识别 的趋势，如脸部和唇【2 1 ，脸部和步态1 3 l 等。 1 2 步态识别 相比其他生物特征识别，步态识别有其自身的特点和优势。步态是人的行走 方式，早期的医学研究证明步态具有唯一性，j o h a n s s o n 【4 1 通过实验发现人类可以 步态识别研究 根据步态识别出人的身份。近几年，随着计算机视觉研究的进步，利用计算机视 觉技术来分析和识别人的步态成为可能【5 】。同时人们对社会安全的要求越来越 高，需要一种方法方便快速地识别人的身份，步态识别作为一种新的安全保卫手 段得到重视。作为识别特征，步态具有如下优点：非接触性、难于隐藏和伪装、 易于采集，可远距离感知等【6 】【7 】。 非侵犯性、非接触性一一人的行走的步态能被秘密提取，而用户并不知道正 在被观察和分析。在信息收集阶段，步态不像指纹和虹膜识别那样需要用户的密 切协作，接触指纹仪、注视虹膜捕捉器等。 难于隐藏和伪装一一如银行抢劫犯通常会带上头盔、面罩、眼镜和手套，此 时人脸和指纹等其它生物特征不再发挥作用。然而，人必须行走，因此人的步态 通常是可见的。同时，人一般不会故意伪装自己的行走行为。如果这样做的话， 那么他奇怪行为在视觉监控中将表现的更加可疑。 易于采集一一步态识别不要求所捕捉的图像必需要有非常高的质量，相比之 下其它生物特征识别技术通常在分辨率低或图像模糊时无法进行识别。 远距离识别一一指纹和脸像等生物特征通常需要近距离或接触性的感知，而 步态完全可以远距离地进行捕捉，因此它提供了在远距离情况下识别人的可能。 当然，步态识别也有其自身的缺点，它易受心情、衣着、身体变化( 如骨折) 的影响。而其它生物特征也有着相应的缺点，如容易被伪装和更改等，特别是当 个体想摆脱识别而不给予合作的时候，几乎无法进行识别。 1 3 步态识别应用 步态识别研究是近年计算机视觉和模式识别领域的热门研究课题，有很大的 理论意义和应用前景。最主要的应用包括智能监控应用和人体行为的计算机分析 两个方面。 1 3 1 智能监控应用 智能监控系统应用于那些对安全要求敏感的场合，如银行、商店、停车场等。 目前监控系统发挥了实时监控的作用，但智能化程度很低，只能起到记录现场的 作用。智能监控可以自动分析摄像机捕捉的图像，及早发现异常活动，从而避免 犯罪的发生，同时也减少雇佣大批监视人员所需要的人力、物力和财力的投入； 在访问控制( a c c e s sc o n t r 0 1 ) 场合，也可以利用步态的跟踪识别技术以便确定来 人是否有进入该安全领域的权利。人的运动分析在自动售货机、a t m 机、交通管 理、公共场所行人的拥挤状态及商店中消费者流量统计等监控方面也有着相应的 应用。 目前芬兰科学家发明了一种使用步态识别技术的笔记本防盗装置。这种防盗 碗士学位论文 装置配有可以准确识别使用者步态特征的传感器。当装置第一次被使用时，它把 所获得的步态特征存放到数据库里。一旦发现使用者的步态与原来的不同，防盗 装置将会要求使用者输入密码，若密码再发生错误，机器将自动关闭。 1 3 2 计算机人体行为分析 分割图像中的人体部分并在图像序列中跟踪分析感兴趣的关节运动，对于建 立人体的几何模型、解释人体的运动行为机制从而提高它的运动性能有着积极的 推动作用，这可以应用于体育运动、舞蹈等训练中。某国已经开发出跳舞机器人， 主要使用的就是计算机步态分析技术。通过分析体育运动训练图像，可以帮助运 动员找到最佳的姿势提高竞技成绩。 传统的步态分析是肌电图学、关节动力学的研究范畴，而目前的医学步态分 析是一个旨在提供诊断和治疗支持的研究领域，它可以提供人体正常步态建模的 线索，有助于开发生物反馈系统来分析病人的步态，判断其腿步受伤情况或者畸 形程度，从而做出积极的整形补偿或有效的治疗。 1 4 步态识别研究内容 步态识别研究内容涉及运动分割、步态特征提取、模式分类和步态数据库等 内容，是计算机视觉的高级应用。 1 4 1 运动分割 步态识别中的运动分割是把人体区域从背景图像中提取出来。人体运动区域 的有效分割对于人体跟踪、步态特征提取等后期处理非常重要，是后续处理的数 据基础。人体运动背景比较复杂，受天气、光照、影子及混乱干扰等影响，使得 人体运动分割成为比较复杂的工作。运动分割主要有背景差、时间差分和光流等 方法。 1 4 2 特征提取 根据运动分割获取的数据提取步态的特征。步态特征提取方法分为两类：基 于模型的和非模型化的。基于模型的方法是按照生理学的知识把步态模型化。主 要方法有：c u n a d o 等【8 j 将大腿建模为链接的钟摆，并从其倾斜角度信号的频率分 量中获取步态特征；j a n g - h e e 【9 】对人体模型做了更细致的分析，它根据人体特 征，计算人体关节点的位景，提取关节点之间的倾斜角和角速度作为识别特征。 非模型化方法是用数学方式描述步态，使用数学描述子作为识别特征。主要方法 有：s t u a f td m o w b r a y 等【1 0 】使用时空傅立叶描述子表示步态的时空特征；“t t l e 与b o y d 【1 1 】从光流图像中获取频率和相位特征表示步态特征；h a y f r o n a c q u a l l 【1 2 】 使用广义对称性算子进行步态识别。 步态识别研究 1 4 3 模式分类 对步态特征数据进行模式识别和分类，采用的方法包括k 近邻法、隐马尔科 夫链13 1 、支持向量机14 1 、贝叶斯网络【1 5 1 和b p 神经网络【1 6 】等。 1 4 4 步态数据库 步态数据库为研究人员提供实验数据，支持新算法的研究和评价。目前主要 的步态数据库有：l i t t l e b o y d 的步态数据库【】，它包含7 个对象，每个对象5 个 步态序列；u m 监控数据f 1 3 】；n i s t u s f s 户外步态数据【1 7 】包括7 4 个对象的4 5 2 个图像序列，有多角度、不同装束情况下的步态序列；g a t e c h 数据库【1 8 1 的步态 图像带有掩膜，便于研究；c m u 多形态步态数据库1 9 】，包含2 5 个对象，每个对 象四种步态序列：慢速、快速、视角倾斜和携带一个球体，图像规格6 4 0 x4 8 0 ； s o u t h 锄口t o n 数据库2 0 】包括室内和室外数据，考虑到多种因素对步态的影响，对 于研究不同对象之间的差异和同一对象在不同条件下的差异有很大作用。 1 4 5 本文研究内容和组织结构 本文主要研究内容： 1 研究步态运动分割的全过程，提出一种基于人体模型的消除人影的方法， 此方法适用于复杂的应用场景，能精确提取步态区域。 2 首先提出使用h u 不变矩提取步态特征的方法，在此基础上提出使用 z e m i k e 矩提取步态特征的方法，后者是前者的改进和发展。 3 使用p c a 方法压缩步态序列的z e m i k e 矩特征，降低特征空间的维度，同 时提取步态序列的时间特征。 4 提出规格化步态周期的概念，把规格化步态周期作为步态识别的基本单 位，并提出一种确定步态周期的新方法。 5 把b p 神经网络应用于步态分类，研究其对步态特征的分类能力，取得令 人满意的效果。 本文组织结构： 第2 章：步态识别研究，论述步态识别领域的最新进展。 第3 章：步态运动分割及图像预处理，论述对步态图像数据进行背景提取、 噪声去除、影子消除、轮廓提取等工作。提出一种基于人体运动模型的影子消除 方法，有效地去除影予影响，提高人体运动区域的提取的准确性。 第4 章：基于h u 矩的步态识别，论述h u 不变矩的理论及其在提取步态特征中 的应用，提出规格化步态周期概念和计算规格化步态周期的方法，并使用k 近邻 方法对步态分类识别。 第5 章：基于z e r n i k e 矩特征提取和p c a 特征数据压缩，论述z e r n i k e 矩理论， 4 硕士学位论文 使用z e r n i k e 矩提取步态空间特征，简要论述p c a 理论，使用其压缩z e r n i k e 矩特 征数据并提取步态时间上的特征，最后使用k 近邻法进行分类识别。 第6 章：b p 丰申经网络步态识别，论述b p 神经网路基本理论、结构及其学习过 程，使用b p 神经网络方法进行步态识别分类。 第7 章：步态识别系统实现及实验结果分析，步态识别系统g r s 的实现，介绍 步态识别系统的功能模块和流程，比较各种方法识别效果，分析它们的性能。 最后是结论。 步态识别研究 2 1 运动分割 第2 章步态识别方法研究 ( 1 ) 背景差 背景差方法是目前运动分割中晟常用的一种方法，它实现简单，不需要特别 的设备。背景差假设摄像设备固定，提取一帧不包含感兴趣对象的图像作为背景。 当前帧减去背景帧，差值大于某个阙值的像素点就是感兴趣的，不同场景阈值不 同，需要研究者根据经验确定。 背景差对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。最 简单的背景模型是时间平均图像，大部分研究人员目前都致力于开发不同的背景 模型，以期减少动态场景变化对于运动分割的影响。为处理背景缓慢变化的情况， 雎1 + ” 提出一种周期性更新背景的方法。背景帧每t 帧更新一次，像素点的b 的值 由罔像同一像素点的值和系数 量+ l = q + ( 1 一口) e( 2 1 ) 还有许多更复杂的方法去除噪声和处理多变的背景，例如，h a r i t a o g l u 等 2 3 1 利用最小、最大强度值和最大时间差分值为场景中每个像素进行统计建模，并且 进行周期性的背景更新；m c k e n n a 等【2 4 】利用像素色彩和梯度信息相结合的白适应 背景模型来解决影子和不可靠色彩线索对于分割的影响；文献 2 5 提出自适应背 景提取算法处理光照突变。该算法利用像素点采样值的亮度分量，采用统计的方 法给场景每个像素点的亮度值建模，通过时间滤波器保持其序列均值和偏差：根 据光照的变化对像素点亮度值的影响的分布情况，实现光照突变检测和像素点的 白适应更新：采用将视频图像分块的方法，实现了对运动对象的快速抽取和跟踪 该算法具有较低的时间、空间复杂度和可调的误检率。 ( 2 ) 时间差分 ， 文献 2 6 2 7 提出时间差分方法是在连续的图像序列中两个或三个相邻帧 之间采用基于像素的时间差分并用闽值化来提取图像中的运动区域。l i d t o n 等【2 8 利用两帧差分方法从实际视频图像中检测运动目标，进而用于目标的分类与跟踪 一个改进的方法是利用三帧差分代替两帧差分，文献 2 7 中v s a m 开发了一种自适 应背景减除与三帧差分相结合的掘合算法，它能够快速有效地从背景中检测出运 动目标。时间差分运动检测方法对于动态环境具有较强的自适应性，但一般不能 完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象。 完全提取出所有相关的特征像素点，在运动实体内部容易产生空洞现象。 ( 3 ) 光流 光流分割首先要进行光流估算，从视频图像序列的时空亮度特性估算出光流 场；然后，利用参数模型将一个真实物体产生的光流模型化，假设有k 个相互独 立的运动物体，每一个流量矢量对应于单个不透明的三维刚体运动的投影，则， 每一个不同的运动可以通过一系列映射参数被正确描述，这样，对应于同样的表 面和三维运动的流量矢量将具有映射参数的相同集合，通过把具有同样映射参数 的流量矢量分配为同一类的方法，就能够完成光流分割。这种分割法的基本原理 就是：假设有k 组参数矢量，每一个组定义成在每一个像素上的一个对应或一个 流量矢量( 由映射参数定义的流量矢量称为基于模型的或合成的流量矢量) ，由 此，得到每一个像素的k 个合成的流量矢量；接着，分割过程指定合成矢量标记， 这些合成矢量在每一个位置最接近估算的流量矢量。原理相对简单，但这里存在 一个问题：类别个数k 和每一类的映射参数并不事先知道。假设k 的大小以及和各 个类有关的估算的光流矢量是己知的，那么，可以在最小二次方判定中计算出每 一类的映射参数。即需要知道映射参数来找到分割标记，而寻找映射参数又需要 分割标记，这意味着一个递归循环过程，和k 一均值聚类抽样算法相似：分割标记 和类平均值都是未知的。为解决这类问题，已经提出了许多的改进算法，如改进 的哈夫曼变换法【2 9 1 、改进的k 一均值法f 3 们、m a p 法3 1 1 等。光流分割的成功分割与 否与被估算的光流场的正确性紧密相关，反之依然。因此，为了得到最佳结果不 得不同时给出光流场的估算和分割。t e k a l p 在他的论著中给出了一个同时进行光 流场的估算和分割的算法【3 2 】：提出基于运动场表达式的一个联合贝叶斯法作为 参数场和余量场之和，在最大后验概率( m a p ) 形式下，光流和分割场的相互依 赖性可通过g i b b s 分布表示，利用最高置信度优先和迭代条件模式算法求解最后 的优化问题，即找到一个密集系列的运动矢量，一系列分割标记和一系列映射参 数的估算值。 2 2 特征提取 步态特征提取方法大致可分为两类，基于模型的和非模型化方法( 整体法) 。 基于模型的方法依据人体和步态的生理特征把人体区域分割成若干部分，从中提 取步态特征。非模型化方法从整体考虑，采用数学上方法描述步态特征。 2 2 1 基于模型的方法 早期的模型化方法由文献【3 3 】提出，它使用证据聚集的方法提取步态特征。 腿部的倾斜角变化被模型化为正弦函数，使用v h t ( v e l o c i t yh o u 曲t r a n s f e r ) 计算模型的参数，最后对正弦函数执行傅立叶变换得到步态特征。v h t 算法要穷 举参数空间的所有可能值，计算量非常大，文献【3 3 】实现时采用遗传算法减少计 算时间，但得到的结果不一定是最优的。此方法识别效果很好。 c u n a d o 等【8 】的研究得出图2 1 的模型，模型上半部分从盆腔到膝盖，下半部 分从膝盖到脚踝。此模型认为步态运动是周期性的，行为表现为钟摆的方式，因 此步态可以作为周期性信号处理。用二阶傅立叶序列建模。运动的参数有盆腔的 起始位置( x ，y ) 、( x ，y ) 位移的速度以及股的转动。利用速度h o u g h 变换获得股转 动的傅立叶序列参数。通过傅立叶序列参数计算作为识别特征的股转动的幅度和 相位，最后用k 近邻和最近邻方法分类。 图2 1l e g 模型 j 锄g - h e e j 对人体模型做了更细致的分析。首先提取人体运动轮廓，根据 人体特征确定骨盆、膝羲和脚踝的大致垂直位置。膝盖的位置在提取步态特征时 非常重要，因此需要精确定位。精确定位膝盖位置的方法是，在膝盖垂直位置上 下扫描，依据( 1 ) 在x 轴上，膝盖距离人体前进方向最近，或者距离前进的相反 方向最远；( 2 ) 另外后面膝盖的垂直位置应该等于或大于前面的垂直位置，确定 其位置。确定膝盖位置后，步态上半部分数据可以从骨盆和膝盖之间提取，下半 部分数据从膝盖到脚踝之间提取。所使用的特征数据是骨盆和膝关节分别连接的 两部分之间的角度。分类识别阶段采用后向神经网络。 基于模型的方法有人体生理理论基础，可供识别的步态特征非常多。研究表 明考虑全部的步态特征每个人的步态是唯一的【3 4 1 。基于模型的方法在某种程度 上能处理遮挡和噪声。模型化不足之处是提取特征方法比较复杂；对人体区域分 割要求比较高；有些特征很难提取。 2 ，2 2 非模型化方法 非模型化方法首先从序列图像中提取出人的轮廓，然后寻找可以区别对象 的描述方法。最早的非模型化方法是根据步态的时空相关特性得到步态信号3 5 1 。 在x t ( t r a n s l a t i o na n d t i m e ) 空间，头部和腿步有不同的运动模式。依据这些模 式提取人体运动的轮廓边界，使用有5 个部分的人体模型进行匹配，得到步态模 型。对模型进行速度上的归一化处理得到步态信号，再使用线性插值方法计算归 一化的步态矢量。计算各个对象步态矢量的平均值作为聚类中心。识别时，使用 欧氏距离测量待识别对象和各样本聚类中心之间的距离，把待识别对象和距离最 硕士学位论文 小的归为一类。这种方法在5 个人2 6 个序列的数据库上测试，使用不同权值的 欧氏距离测量法，正确分类率在6 0 8 0 之间。 l i t t l e 和b o y d 【1 1 】使用光流法提取步态信号，它是一种统计的方法。光流方 法描述瞬时运动形状，包括运动物体的形状( 空间) 和运动的形状( 时间) ，可 以从运动形状的周期性差异区别不同的步态。首先从n + l 幅图像计算出n 幅光 流图像。使用尺度无关的矩描述光流图中的空间形状分布，得到图像的m 个矢 量，对于序列图像可以求出一个特征矢量。不同对象的矢量有基本相同的周期特 征和不同的相位特征，相位特征差别很大，足够表现出不同个体步态之间的差异。 训练时计算各样本特征矢量的平均值作为聚类中心，识别时计算待识别序列矢量 和每个聚类中心的距离，采用最近邻法则，把序列归类到距离最近的类中。在小 数据库上，本方法达到9 0 的识别率。 文献【3 5 】提出了p c a 方法，此方法也是利用运动步态图像的时空相关特性， 但是采用参数空间的方法降低计算量，增强了健壮性。首先提取步态轮廓，用轮 廓点位置矢量表示步态空间特征。对步态序列的矢量组进行主分量分析( p c a ) 得到步态特征的压缩表示，然后把它映射到参数空间。识别时计算待识别序列的 特征值和样本序列特征值之间的距离，选择距离最小的归为一类。在7 人数据库 上，1 6 个特征矢量识别率达到l o o ，8 个矢量识别率为8 8 。p c a 对噪声健壮。 但它没有统一的模型，如果训练时发生错误，就很容易造成错误的识别。这种方 法在文献【3 7 】中得到发展，使用c a ( 规范化分析) 提高识别能力。 文献【1 3 】中使用轮廓边缘的宽度表示人体的空间特征。只使用轮廓数据，因 此首先对人体运动区域进行边缘跟踪提取轮廓数据。宽度是同一水平线上两个轮 廓点之间的距离，依次扫描人体区域，计算得出宽度矢量，用宽度矢量表示步态 的空间特征。时间特征使用隐马尔科夫模型( h m m ) 描述。隐m a r k o v 模型m i d d e n m a r k o vm o d e l s ) 的基本思想是用双重随机过程来描述一个模式，一是m a r k o v 链， 这是基本随机过程，它描述模式内部状态序列：另一随机过程描述状态和观测值 之间的关系。一个h m m 可以记为九= ( a ，b ，霄) ，式中n 为起始状态概率分布矢量， a 为状态转移概率矩阵，b 为观测值概率矩阵。根据其输出观测值的不同，h m m 可分为离散h m m ，半连续h m m 和连续h m m ；考虑到步态的连续性，文献 1 3 1 使用连续h m m 。从步态序列中选择关键，计算每个步态的宽度矢量和关键帧的 宽度矢量的欧氏距离，得到一组低维观察向量，用于训练h m m 待识别步态序列 的观察向量输入h m m ，输出概率最大的既是其所属的类。 文献【3 8 】中对图像归一化处理，采用模板匹配方法提取人的高度、宽度及各 部分比例等特征。对于待识别步态周期，选择若干关键帧，然后计算和样本集中 关键帧的相关性来决定分类。 h a y f r o n - a c q u a h 等l “j 使用广义对称性( s y m m e t r y ) 算子分析人体运动的时空 对称性。这种方法的根据来源于心理学家的观点，即步态是对称性的运动模式。 对称性算子不依赖于形状，而是通过它们的对称特性来定位特征。原有对称性算 子只能计算空问的对称性，文献【1 2 】对其进行扩展，加入步态的时间对称性信息 ( 周期性) 。广义对称性表示步态的时空特征对于噪声和丢帧相对不敏感，具有 一定程度上处理遮挡的能力，对于低分辨率的图像也能很好得处理，因此识别率 比前期的为高。 文献【1 0 】采用时空傅立叶描述子( f o u r i e rd e s c r i p t o r s ) 提取步态特征。傅立 叶描述子广泛用于描述二维对象的边界形状，它优点在于可以在傅立叶域描述形 状特征。可以从它的频率域得到形状信息，低频描述了宏观特征，高频描述微观 特征。如果形状边界形成闭合曲线，那么曲线可以被认为是周期性的： c ( ，+ 上) = c u ) r 2 2 1 l 是啮线的总长度。曲线周期性的存在恰好可以使用傅立叶序列描述，系数a 。 6 矗、口请和6 讳： l 墨ii 生i c ( f ) = 粤+ 窆 c 。s ( 竽) + ks i n ( 盟芋) ) + ，( 型 c o s ( 墨净+ s 蛔( 丝芋) ) ) tz l “ 。11 。 佗3 ) 此公式描述步态的空间特征。步态在时间轴上也是周期性的运动，为了描述时间 上的特征，使用； j o ，) 。“r + 丁，) r 2 4 1 t 是完整步态的周期。序列图像中的步态时空特征使用离散傅立叶表示： i ! f l 生l m + f ) ：型型跗，v ) 。胁( 争s ( f + 驴s ( 刚) e 口双了+ ”o ( 2 5 ) 对于步态序列使用边界跟踪算法计算所有边界点的坐标值，然后使用线性插值算 法选择其中的2 5 6 个点。根据公式2 3 至2 5 ，利用傅立叶变换的知识计算出傅立叶 描述予系数。描述子数量很大，但步态特征的主要信息包含在低阶描述予中，所 以要对描述子进行压缩。最后使用公式2 6 度量两个步态序列的距离： t 。：b 。一m 。| - ：! ：。：j 立 一1 k 。一。】r l z j ( 2 6 ) 分类识别使用k 近邻法。此方法获得很好的识别性能，而且拥有相对较低的计算 代价。 文献 3 9 】提出一种基于时空轮廓分析的步态识别方法，它把二维轮廓形状变 化转换为一维的距离信号来近似表达步态运动的时空变化模式。 1 ) 质心计算：人的运动区域获取以后，基于连通性的边界跟踪算法用于获取它 1 0 的轮廓，同时使用公式2 7 可计算它的质心。 t2 击善虬2 玄挚 。7 ) 其中，g 。，虬) 是质心坐标，m 是边界像素总数，“，弘) 。 2 ) 边界展开：选定头顶边缘点作为参考起点，沿逆时针方向将像素点到质心的 距离组成一维的信号，距离使用公式2 8 计算。 吐2 ( t t ) 2 + ( m 一儿) 2 ( 2 8 ) 3 ) 归一化：为了消除图像尺度、信号长度的不同，使用- 泛数和等间隔重采样 方法对该信号进行了幅度和长度上的归一化。 最后得出的步态序列距离信号维度很高，所以使用p c a 方法对距离信号特征 空间进行压缩生成新的特征空间，步态的距离信号映射为新特征空间的一个点， 那么步态序列在特征空间上映射为一个矢量。对步态特征信号分类方法是计算待 识别步态序列矢量和特征空间中样本矢量之间的距离，把它分类到距离最近的类 中。 由以上的论述，总结出非模型化方的主要特点： 1 理论基础，大都采用在模式式别领域成熟数学方法，如傅立叶描述子、 删m 和主元分析( p c a ) 等。 2 局性，不同于模型化方法把人体分割几部分，非模型化方法考虑人提 步态轮廓的整体特征。 3 时空相关思想，使用数学方法表示步态的空间特征和步态序列所表现 出的时间特征本文提出的方法也是采用时空相关思想，采用不变矩 表示步态空间特征，使用和文献 8 类似的方法表示时间特征 文献【4 0 】提出一种结合非模型化方法和基于模型方法的方法，它基于面积度 量的步态掩码( g a i tm a s k ) 。通过变换人体轮廓来获得相关于个体步态的信息。 使用掩码把步态轮廓分割成很多区域，通过度量掩码区域内的面积变化获取步态 特征。 多角度步态识别方法在文献【1 8 】中做了初步研究，以前的研究使用的人体运 动图像都是正侧面的，文献【1 8 】的图像序列分别从不同的角度获取。它以一个参 考对象做研究对象，得出把不同角度图像转换的同一角度图像的方法，提取在各 种角度下都不改变的静态特征作为识别特征。还提出“期望混淆”的概念来表示 识别中表现的不确定性，期望混淆的值越小识别性能越好。文献 3 8 】中对多角度 识别进行研究，而且还考虑到携带物体( 试验者携带一个球) 时的情形。文献【3 9 】考 虑到人体相对摄像平面倾斜4 5 度时情形。 文献【4 l 】试图提出一种基准算法测试步态识别中基本的问题以及各种算法 步态识别研究 的性能，此方法对今后的研究者有参考意义。 文献【4 2 】提出步态和脸部相结合识别个人的方法，使用多个摄像头构建人体 的三维图像，提取步态特征和脸部特征用于识别。 步态特征提取目前已取得不少成果，但还有很多问题存在，根据大量研究总 结出步态特征提取目前存在的一些问题和研究方向： 1 速度对步态的影响：跑动和正常步态有很大的差异，怎样寻找它们之 间的共同点是一个问题，目前这方面做的工作还很少。 2 经常携带物品：实际应用中，人经常会携带物品，所以要研究这种情 况下对步态的影响。 3 多角度观察步态识别：人体运动不可能总是和摄像平面平行，实际得 到的人体图像是多角度的，而且角度一直在变化，研究不同角度下步 态的共同特征是很重要的。 4 和其他生物特征的融合：主要是和其它识别技术特别是脸部识别技术 进行融合，提高识别率。 5 提出新的更好的方法分析步态。 2 3 模式分类 k 近邻分类法是最常用也是最简单的分类法，计算待分类步态序列特征和样 本步态特征之间的距离，把它分类到距离最近的类中。 除文献【1 3 】中使用h m m 外，文献【4 3 】也使用h m m 进行分类识别。其步态 特征采用傅立叶描述子表示，识别思想和文献 1 3 】中一致：首先计算步态序列中 各帧的傅立叶描述子特征值，然后计算每帧步态图像的特征值和关键帧特征值之 间的距离，其代表步态特征在时间上的分布规律，使用得到的样本矢量训练 h m m ，然后再进行分类识别。 文献 1 4 】和 4 3 】采用支持向量机识别方法，支持向量机( s u p p o r tv e c t o r m a