（模式识别与智能系统专业论文）基于图像序列和压力的步态识别研究.pdf

摘要 摘要 近十几年来，公共场所的安全形势越来越严峻。随着人们安全意识逐步提高， 步态识别受到了生物特征领域研究者的广泛关注并取得了重要进展，具有重要的 研究意义和应用价值。相比于其他生物特征，步态特征具有无需配合、可远距离 获取、难于隐藏等优势，使得其能够有效地应用在安全敏感场所，比如飞机场、 银行、停车场等。 目前，根据所采用步态特征的不同，可以将步态识别分为两种：基于步态视 觉的识别技术和基于步态触觉的识别技术。基于步态视觉的识别技术研究比较 早，也提出过很多算法，但是步态是一种行为过程，基于视觉的步态特征容易受 到自身和外界的影响，以目前的技术很难达到很好的识别性能并应用在实际场合 中。相比于步态视觉，步态触觉特征具有不容易受到外界因素的影响，能够准确、 有效测量步态的结构参数等优点。基于步态触觉的识别技术处于刚刚起步阶段， 仍然有许多工作需要深入和细化。 本文工作主要集中于基于图像序列的步态识别算法研究和步态视觉信息与 步态触觉信息融合算法研究。 我们建立了一个多模态的步态数据库。我们开发了一套采集系统，同步采集 了步态压力数据和步态图像序列，并对采集的数据进行了初步处理，为下一步工 作奠定了基础。 文章中提出一种基于h o u g h 变换的步态识别方法。该方法是在h o u g h 的参数 空间中构建步态模板，使得步态模板中体现更多步态行走过程中四肢等部位展现 出来的线段信息。 本文提出用级联的方法来融合步态的多模态信息，融合了步态压力信息和步 态图像序列信息。其中，使用动态时间规划来度量步态压力波形之间的相似度。 关键词：步态识别步态触觉特征h o u g h 变换动态时间规整级联分类器 a b s t r a c t a b s t r a c t o v e rt h ep a s td e c a d et h es e c u r i t ys i t u a t i o n h a sb e c o m ee v e rm o r ec o m p l i c a t e d w i t ht h ee n h a n c e m e n to fs a f e t yp r o t e c t i o nc o n s c i o u s n e s si nm i n d ，g a i tr e c o g n i t i o ni s b e i n gt a k e ni n t oc o n s i d e r a t i o nb yt h er e s e a r c h e r sa n di m p o r t a n tp r o g r e s sh a sb e e n m a d ei nt h ef i e l d g a i tr e c o g n i t i o nh a si m p o r t a n ts i g n i f i c a n c ei nt h e o r ya n dp r a c t i c e f o rt h ea d v a n t a g e so fb e i n gn o n - c o o p e r a t e ，e a s i l yg a i n e da tad i s t a n c ea n dd i f f i c u l tt o c o n c e a l ，g a i tr e c o g n i t i o n c a nb e e f f e c t i v e l y u s e di n m a n ys e c u r i t y - s e n s i t i v e e n v i r o n m e n t s ，s u c ha sa i r p o r t s ，b a n k s ，c a rp a r k sa n ds oo n a c c o r d i n gt ot h ef e a t u r e sw h i c ha r eu s e df o rr e c o g n i t i o n ，g a i tr e c o g n i t i o nc a nb e r o u g h l yd i v i d e di n t ot w oc a t e g o r i e s ：v i s i o n - b a s e dg a i ta p p r o a c h e sa n dt a c t i l i t y - b a s e d g a i ta p p r o a c h e s t h es t u d i e so nt h ev i s i o n b a s e dg a i ta p p r o a c h e sw e r ec a r r i e do u t e a r l y , a n dm a n ya p p r o a c h e sh a v eb e e np r o p o s e d v i s i o n b a s e dg a i tf e a t u r e sa r e e a s i l ya f f e c t e db yt h ep e d e s t r i a na n dt h ee n v i r o n m e n tb e c a u s eg a i ti sac o u r s eo f a c t i o n ，s oi ti sh a r dt og a i nh i g hp e r f o r m a n c ei nr e a l w o r l d c o m p a r e dw i t h v i s i o n b a s e dg a i tf e a t u r e s ，t a c t i l i t y - b a s e dg a i tf e a t u r e sa r ei n s u s c e p t i b l et oi n f l u e n c e s o fe x t e m a lf a c t o r s w ec a ng a i nt h es t r u c t u r a lp a r a m e t e r se f f e c t i v e l y t h es t u d yo f t a c t i l i t y - b a s e dg a i ta p p r o a c h e si si ni t sb e g i n n i n gs t a g e ，t h e r ea r em a n yp r o b l e m sn e e d t 0b ef u r t h e rs t u d i e d t h er e s e a r c ho ft h i sa r t i c l em a i n l yf o c u s e so nt h er e c o g n i t i o na l g o r i t h mb a s e do n g a i ti m a g es e q u e n c e sa n dt h ef u s i o nm e t h o dt oc o n s i d e rt h ev i s i o n b a s e di n f o r m a t i o n a n dt a c t i l i t y - b a s e di n f o r m a t i o n w ed e s i g na n dd e v e l o pag a i td a t aa c q u i s i t i o ns y s t e mf o rc o l l e c t i n gf o o tp r e s s u r e a n dg a i ti m a g es e q u e n c e s w ee s t a b l i s han e wb i m o d a lg a i td a t a b a s ew h i c hl a y st h e f o u n d a t i o nf o rn e x tw o r k i nt h i sa r t i c l e ，an e w g a i tr e c o g n i t i o nb a s e do nh o u g ht r a n s f o r mi sp r o p o s e d w e c o n s t r u c tt h eg a i tt e m p l a t e si na c c u m u l a t o rs p a c ew h i c ht a k ea c c o u n to fm o r es t r a i g h t l i n e si n f o r m a t i o ni nt h eg a i ti n t e n s i t yi m a g e ac a s c a d eo fc l a s s i f i e r sw a su s e df o rg a i tr e c o g n i t i o nt of u s et h eg a i tp r e s s u r e i n f o r m a t i o na n dt h e g a i ti m a g es e q u e n c e si n f o r m a t i o n w ea d o p td y n a m i ct i m e w a r p i n g t om e a s u r es i m i l a r i t yb e t w e e ng a i tp r e s s u r ec u r v e s 。 k e yw o r d s ：g a i tr e c o g n i t i o n ，t a c t i l i t y b a s e dg a i tf e a t u r e ，h o u g ht r a n s f o r m ， i i i a b s t r a c t d y n a m i ct i m ew a r p i n g c a s c a d eo fc l a s s i f i e r s i v 目录 图表目录 图1 1 常见的生物特征。 图1 2l i l d s 图像序列 图1 3 步态识别流程示意图 图1 4 耦合的钟摆模型 图1 5 携带式传感器位置及恢复出来的关节位置7 图1 6l e e 的椭圆模型。8 图1 7 跟踪人体的1 4 部分模型 图1 83 d 步态模型 图1 9 静态身体参数。9 图1 1 0 轮廓投影 图1 11 轮廓解卷及距离向量1 0 图1 1 2 角度特征 图1 1 3 步态能量图( g e i ) 图1 1 4 关键帧提取。 图1 1 5 步态轮廓对称图 图1 1 6u s c d 步态数据库拍摄环境示意图1 4 图1 17c m um o b o 数据库采集环境及数据库例图( 于仕琪，2 0 0 7 ) 1 5 图1 1 8u s f 数据库拍摄示意图。 图1 1 93 2 种状态组合 图1 2 0u s f 数据库例图 图1 2 1c a s i a 数据库( 数据集a ) 例图。 图1 2 2c a s i a 数据库( 数据集b ) 例图 图1 2 3c a s i a 数据库( 数据集c ) 例图。 图2 1 多模态数据库采集系统示意图 图2 2 步态图像序列采集系统界面。 图2 3j p x x ) d 【系列测力平台外观示意 图2 4 步态压力采集系统界面 2 6 2 6 2 7 2 8 图2 5 多模态数据库采集现场 图2 6 多模态数据库中步态图像例图及步态压力波形例图 图2 7 步态检测结果示例 图2 8 归一化示意图 图2 9 步态周期 图2 1 0 步态压力周期波形 图2 1 1 从步态压力波形中计算步态周期。 图3 1h o u g h 变换 图3 2h o u g h 变换示意。 图3 3 最大宽度矢量及其自相关系数。 图3 4 步态轮廓边缘的h o u g h 变换 2 9 ：i ：i 3 3 3 9 图3 5 基于h o u g h 变换的步态模板计算示意图。4 0 图3 6 几个人的h o u g h 步态模板 v i i 目录 图3 7 三个视角下的累积匹配分值图 图3 89 0 。视角在不同状态下的累积匹配分值图4 5 图4 1 路径搜索网格 图4 2 典型的连续性约束条件 图4 3 全局约束条件。 5 0 图4 4 在两种连续性约束条件下可能的搜索路径5 0 图4 5 级联示意图 图4 6 步态压力波形 图4 7 基于步态压力波形的识别结果 表1 1 常见的步态数据库列表 表1 2u s f 数据库1 2 个测试集1 7 表2 1 真实步态周期同计算值之间的对比3 4 表3 1 在c a s i a a 数据库上的正确分类率对比4 2 表3 2 在c a s i a - a 数据库上o o 视角下t o p 值 表3 3 在c a s i a a 数据库上的正确分类率4 4 表3 4 在c a s i a - a 数据库上0 9 下的t o p 值。 表3 5 在c a s i a - a 数据库上4 5 。下的t o p 值 表3 6 在c a s i a - a 数据库上9 0 。下的t o p 值 表4 1 步态压力识别 表4 2 级联分类器获得的实验结果 4 4 4 4 v i i i 。5 3 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名： 签字日期：丛l 上牛_ 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入中国学 位论文全文数据库等有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 刮叁开口保密( 年) 作者签名： 签字日期： 导师签名： 签扣期：逊丛殳 第l 章绪论 1 1 选题背景及研究意义 第1 章绪论 随着社会的发展进步，对智能监控和身份鉴别技术的要求越来越高。传统的 身份鉴别技术主要有两种：一种是基于物件的方式；另一种是基于知识的方式。 基于物件方式的方式是通过鉴别菜一特定的物件来确定该物件持有人的身份，比 如人们常见的钥匙、身份证、i c 卡、印章以及驾驶证等。基于知识的方式是通 过验证来访者是否拥有正确的特定知识而达到验证身份的目的，比如信用卡密 码，门禁系统的密码保险箱密码等。这些传统方式存在诸多弊端，如用于验证 身份的物件容易被盗取、伪造并且需要随身携带等；而密码容易遗忘并且多个密 码容易混淆。根据调查，资深i t 用户平均每人需要记住2 1 个密码，有的高达 7 0 个。他们中4 9 的人将这些密码写在某个文件中，6 7 的人未曾更改过密码 ( g a f u r o v ，2 0 0 7 ) 。这些传统方式越来越难于面对当前严峻的安全形势，越来越难 于满足当前社会对安全技术的需求。随着数字时代的到来，生物特征识别技术获 得了政府和人们的广泛青睐。相比于传统的身份鉴别方式，生物特征具有不易遗 忘，难于伪造，并且不需要随身“携带”等特点，具有更高安全可靠性能，符合 现代社会对安全的需求，人们给予它很高的期望。 具体来说，生物特征识别技术就是利用图像处理，模式识别等方法，分析人 体本身固有的生理特征或者行为特征，来达到自动鉴定或者识别身份的技术。生 理特征是通过直接测量人肢体某部分获得的，包括虹膜，人脸，指纹，掌纹，d n a 等：而行为特征是通过分析人行动的时候表现出来的特征，不能直接通过测量得 到，包括声音，手势步态，笔迹等。图1 1 是几种常见的生物特征。 国， 、奢矗a ，口钾 蝴一等基絮 ，穗白骨 ： 人监虹膜 拍纹掌纹语音字连步态 圈l 1 常见的生物特征 步态识别是近十几年来新兴起来的一种生物识别技术，其旨在通过对人行走 姿态的分析来达到鉴定或者识别该对象身份的目的。广义上的“步态”，既包含 懋 第l 章绪论 静态信息，如肩宽、身高、腿长等，又包含动态的行走信息，如双脚交替频率， 双手摆动幅度，足底压力强度及分布等。广义上讲，目前采集的步态数据可以大 体分类两类：视觉数据和触觉数据。视觉数据最典型的是基于摄像头采集的步 态数据：而触觉数据包括鞋底携带式传感器和测力板所采集的数据( 徐苏等， 2 0 0 8 ) 1 ”。 早在上世纪六七十年代就在医学和生物学领域掀起研究步态的热潮( m u r r a y e ta l ，1 9 6 4 a ：m u r r a ye ta l ，1 9 6 7 b ：k o z l o w s k ia n dc u t t l n g ，1 9 7 7 ) 。早期 的生理学和医学研究表明步态含有2 4 个不同的成分，如果能够充分考虑这2 4 个 成分的信息，那么步态对于每个人来说是唯一的( m u r r a ye ta l ，1 9 6 7 ；k a l ee ta l ， 2 0 0 4 ) ，步态识别是可行的。j o h a n s s o n ( 1 9 7 3 ) 通过将小灯泡固定在行人的关节处， 并在黑暗处拍摄图像序列( 见图l2 ) ，然后让观察者通过动态观察灯泡的运动轨 迹( m o v i n gl i g h t sd i s p l a y s ，m id ) 的图像序列来判断该行人的身份。m l d 实验表 明人们可以通过观察动态的步态来判断一个人的步态模式。后来的研究者证明了 通过m l d 观察者可以判断出人的性别，并可以识别出观察者所熟悉的朋友 ( k o z l o w s k ia n dc u t t i n g ，1 9 7 7 ) 。从生物力学的角度来看，即使人类的步态模式大 致上是双足模式，但是由于每个人的肌肉骨骼结构并不相同，步态是足、踝、膝、 髋、躯干、颈、肩、臂各部分的协调动作，是由它们的角速度，加速度等参数来 决定的，因此每个人的步态具有唯一性删u r r a ye ta l ，1 9 6 4 ) 。 = ：i = 工= 图1 2 n d s 图像序列 同目前常见的一些生物特征识别技术相比，基于计算机视觉的步态识别技术 具有以下几点突出优势： ( 1 ) 无需配合。很多生物特征的采集需要用户的配合，比如人脸图像采集 系统需要用户将人脸正面位于摄像头的前端，并有可能要求用户摘下 眼镜、帽子等穿戴品；指纹采集系统可能采集的是用户特定的手指， 并可能需要用户在采集指纹的时候保持手指指纹干净。由于无需任何 用户的交互性配合，步态的采集可以做到非常的隐蔽。对于智能监控 系统，这一点的意义非常重大。 第1 章绪论 ( 2 ) 远距离获取。很多生物特征的采集需要用户近距离甚至是接触采集设 备，比如人脸和虹膜的采集要求用户在摄像头前端一定距离内以保证 采集的图像分辨率足够，倘若用户离摄像头太远，那么可能由于分辨 率过低而导致识别错误。而步态识别系统能够用普通的摄像头来采集 在几十米甚至上百米远的距离远处步态的图像序列，它并不需要摄像 头具有很高的分辨率，也不需要要求用户在近距离采集步态信息。这 是其他生物特征很难比拟的优势。 ( 3 ) 难于伪装。目前的医学研究表明，步态是人的各个部分协调动作，决 定于人体各个关节的运动参数，每个人的步态都具有其自身的特点， 在一定时间内很难改变，难于被人伪造和模仿。相反，如果一个人想 通过刻意改变自己的步态( 当然腿部残疾者例外) 来隐藏其自身的步 态特征，那他的行为反而变得更容易引起注意。尤其是使用红外步态 识别技术，其能够克服光线因素影响，发挥更大作用。 自从9 l l 恐怖袭击以后，越来越多的人意识到公共场所安全的严峻形势。 目前，大量的监控摄像头已经用于军事基地、政府部门、银行、机场、学校、停 车站、社区等重要的场所。对于国家重要安全部门和重要的公共场所，期望监控 系统能够判断检测是否有人，能够判断出人的位置和识别出这个人是谁，并根据 这个人的身份授予不同的安全等级。但是，现在的监控系统一般只是记录场所中 所发生的事情，以供事后查阅，很难起到报警作用，更不能智能地检测和预防威 胁因素，因此并不能被称之为智能监控系统。智能的监控系统不仅仅能够收集监 控现场的数据，而且能够自动分析和理解数据，对异常的行为能及时发出预警， 从而控制威胁因素，或者和保安人员进行交互，从而使保安人员能够在第一时间 内赶到现场，避免危险的发生。人脸、虹膜、指纹、掌纹等第一代生物特征识别 系统往往要求近距离甚至是以接触方式配合来采集生物特征，在应用中存在诸多 限制。由于步态识别可以在毫无察觉的情况下从远距离获取，为智能监控系统提 供了独特的手段；另外，随着计算机处理和储存能力的提升，监控摄像头成本的 下降以及相关算法的深入研究，都使得步态识别有望成为一种新的可行的生物特 征识别技术，并应用于实际场合中。 虽然已经有部分生物特征识别技术在实际生活中得到应用，像虹膜，指纹等， 但是它们并不是完美的，仍然需要不断地深入研究。步态识别技术是一种新兴的 生物特征识别技术，目前还处于探索研究阶段，同样在实际场合中还未得到完美 的应用。步态是一种行为特征，计算机视觉的识别系统对步态的感知容易受到其 他因素的影响，比如： ( 1 ) 视角。摄像机拍摄的角度不同，所采集到的图像中步态形状差别特别 第l 章绪论 大。由于要保有其无需配合的特点，步态识别系统并不能要求识别对 象在摄像头前面行走时保持固定的角度。目前大部分的算法大部分的 步态识别算法并不能很好地处理视角变化带来的影响。在实际应用中 可以采用限定拍摄场景，比如通道，来减小视角带来的影响。 ( 2 ) 着装。衣着的不同，可能对识别对象的外形带来变化；穿高跟鞋和穿 运动鞋可能对对象的行走方式带来影响。单纯基于图像序列的步态识 别系统容易受到着装的影响。 ( 3 ) 携带品。由于行人的携带品各式各样，比如背包、提包、足球、行李 箱等，携带品的模式千变万化。目前的计算机视觉技术还没有很好的 办法可以将携带品从步态图像上剥离。而且，携带物体也会对人们的 步态产生影响。 ( 4 ) 地形。人们在上坡、下坡、楼梯等路面的行走方式和在平面上的行走 方式会有很大的差别。在水泥平面和在绿地平面上行走也影响步态识 别算法性能。 ( 5 ) 自身的变化。比如伤病、疲劳、受孕、情绪变化等自身的因素也会对 步态产生影响。 ( 6 ) 背景和光照。目前的步态识别技术首先要将人从背景中分离出来。复 杂背景下步态的分割是个富有挑战的课题。光照对步态分割会产生影 响的同时，也可能会留下步态的影子，给准确分割步态带来更大的难 度。 人体在行走过程中展现出来的步态触觉特征受到人体的骨骼架构，行走习惯 及行走环境的影响，特别是人体脚部的骨骼结构。步态触觉特征能够体现人体的 生理特征和行为特征，具有特定性和稳定性( 兰绍江，1 9 s 2 ) 。步态的触觉特征仍然 具有无需配合，难于隐藏等其他生物特征并不具备的优势。相比于基于计算机视 觉的步态识别系统，步态触觉数据的采集更不容易受到外界因素，比如光照，遮 挡，阴影，视角等等影响，而且通过步态触觉能够有效、准确地分析步态的步长、 步频等结构参数，这是基于计算机视觉的识别算法无法比拟的。同样，步态触觉 也是人体动态行走过程中展现出来的一种特征，仍然容易受到一些因素的影响， 比如鞋型，行走速度，地面倾斜度，负重等等。 因此，步态识别主要有三个发展趋势：( 1 ) 从计算机视觉、模式识别方面出 发，针对目前步态识别研究中出现的难题，提出考虑更多步态的静态和动态信息， 性能更高的算法。采集更大规模、更复杂背景、更接近真实场景的步态数据库来 验证步态识别算法性能；( 2 ) 从步态触觉角度出发，提出更加鲁棒、更加实用的 步态识别方法。目前利用步态触觉信息来进行识别的研究仅仅出于起步阶段。( 3 ) 4 第1 章绪论 采用数据融合方式，比如步态中动态信息和静态信息的融合，人脸和步态的融合 等方式，提高身份识别的准确率。 基于以上的情况，本文提出融合步态图像序列和步态压力两方面信息的步态 识别系统。采用中科院合肥智能所运动与健康中心研发的三维测力平台来采集步 态压力信息。测力平台采集的是微观的地面受力状态，不易受外界环境影响，测 试简单，能够提供完整的步态触觉特征( 徐苏等，2 0 0 8 ) 。广义上来讲，利用步态 压力来识别身份也是步态识别的一个分支，同样具有传统步态识别的优势，而且 利用步态压力方面信息可以便捷、准确地获取步态的周期，能够非常有效地减小 步态预处理带来的误差。倘若加上步态压力分布信息，那么就可以方便地知道当 前摄像机拍摄到得行人数目，准确计算出行人行走方向和摄像机所成的角度，为 克服视角对步态识别算法所带来影响提供了必要信息。本项目提出的技术主要是 针对于重要的公共场所、金融部门、军事部门、政府部门的安全监控，具有一定 的技术垄断性，能产生较好的经济价值，并产生良好的社会影响。 1 2 步态识别的研究现状 在上世纪六十年代就出现医学领域的研究者对步态进行分析研究( m u r r a ye t a 1 ，1 9 6 4 ) 。从生物特征的角度对步态进行分析最早出现在上个世纪九十年代。 n i y o g i 和a d e l s o n ( 1 9 9 4 ) 首先提出了一种步态识别的算法，并在一个小的步态数 据库进行了验证。步态研究在最近这十几年时间里受到了生物特征识别领域里研 究者的广泛关注，很多会议开辟了关于步态分析领域的专栏，发表的文章也越来 越多。由美国国防部高级研究局( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t i o na g e n c y ， d a r p a ) ( s a r k a re ta 1 ，2 0 0 5 ) 赞助的远距离识别身份计划( h u m a ni d e m i f i c a t i o na ta d i s t a n c e ，h i d ) 对步态识别方面的探索研究起了很大的促进作用。在这一计划的 驱动下，南佛罗里达大学( u n i v e r s i t yo fs o u t hf l o r i d a ，u s f ) 、南安普敦大学 ( u n i v e r s i t yo fs o u t h a m p t o n ，s o t o n ) 、马里兰大学( u n i v e r s i t yo fm a r y l a n d ，u m d ) 、 卡内基一梅隆大学( c a r n e g i em e l l o nu n i v e r s i t y , c m u ) 、麻省理工学院 ( m a s s a c h u s e t t si n s t i t u t eo f t e c h n o l o g y , m i t ) 等国际上著名的研究机构均于2 0 0 0 年 后开始了步态识别方面的研究。国内的一些高校和研究机构也紧跟国际步伐，开 始了相关方面的研究。目前中科院自动化所已经采集了一定规模的用于研究的步 态图像序列数据库，并独创性提出了一系列算法，获得了较高的识别率。连续隐 马尔科夫模型被国内研究者广泛采用，并取得较好的识别性能。 从信息科学角度的意义上讲，步态识别问题是属于传统模式识别的范畴，其 一般的识别流程如图1 3 。基于步态视觉的整个流程大致可以分为数据采集、步 第1 章绪论 态检测、特征提取、分类识别等阶段。其中步态检测是从图像序列中判断出行人 并从背景中分割出人体的轮廓区域，主要工作包括背景建模，步态分割，形态学 后处理以及步态周期计算等。帧间差分方法、背景减除法和光流法是最常见的三 种步态分割方法。帧间差分算法简单，但是当两帧中的运行对象的位移量较小时 候，不能完整提取运动对象的轮廓，容易产生缺失现象；光流算法虽然对于步态 检测效果不错，但是计算过程复杂，计算量大，实时性能比较差。目前常用的算 法是背景减除法，它通过当前图像和背景图像的差分来获得运动区域。由于本文 的研究重点不在于步态检测，所以在后面对采集的步态图像序列进行分隔时也是 采用这种方法。步态触觉方面的研究更多的是集中于数据的采集、分析及在特殊 场合中的应用。利用步态触觉的生物特征识别的研究处于刚刚起步阶段，基于步 态触觉的身份识别算法相对比较少。 圄咽 图1 3 步态识别流程示意图 由于本文的工作重心主要集中于基于图像序列的步态识别算法及相关融合 算法分析，下面对基于计算机视觉的步态识别及基于步态触觉的研究进行一个简 要的介绍。对于基于计算机视觉的步态识别算法目前有非常多的归类方法。下面 粗略地将目前基于计算机视觉的步态识别方法分为基于模型的方法和基于非模 型的方法。 1 2 1 基于模型的步态识别 基于模型的方法旨在根据先验知识准确地建立行人的身体或者运动模型。通 常的做法是将步态图像序列中的每一帧图像均和模型相匹配，然后计算相应的参 数，比如说双脚的张开角度等。这些方法一边比较容易理解，而且对于解决步态 识别中遮挡问题很有优势，并能够有效地处理噪声；但是如果模型过于简单，提 取步态的固有特征较少，可能导致识别性能降低；如果模型复杂，需要更高的计 算能力，分辨率更高的步态图像序列。 6 叵 今 囫圈 呵哆 第1 章绪论 c u n a d o ( 1 9 9 7 ) 等分析步态时只考虑腿的运动信息，将大腿建模钟摆模型。通 过分析其倾斜角度的频率分量来提取步态表征。y a m ( 2 0 0 4 ) 等将大腿和小腿建模 为耦合的钟摆模型，如图1 4 。行人在行走状态时，大腿和小腿在做简单的耦合 的钟摆运动。通过分析大腿和垂直线的角度、小腿和大腿延长线之间的角度的频 率信息来对步态进行识别。t a n a w o n g s u w a n ( 2 0 0 1 ) 等通过放置传感器到人的身体 上，然后采集传感器位置和方向信息，恢复出关节运动轨迹来进行步态分析，如 图1 5 。y o o ( 2 0 0 3 ) 等采用2 d 的线状模型来对行人的步态进行建模。 图1 4 耦合的钟摆模型 图1 5 携带式传感器位置及恢复出来的关节位置 l e e 和g r i m s o n ( 2 0 0 2 ) 将步态轮廓分划分为7 个区域，每个区域用一个椭圆 来逼近，如图1 6 ，最后计算各个椭圆的参数当作步态特征用于步态分析。王亮 ( 2 0 0 4 ) 等使用1 4 个锥或者球来对人体进行建模，包括头、颈、躯干上下部分、 手臂上下部分、大腿、小腿、脚，如图1 7 。通过恢复提取下肢关节的运动轨迹， 对步态的动态信息进行分析。 第】章绪论 图1 6l e e 的椭蹦模刑 图i7 跟踪人体的1 4 部分模型 由于2 d 模型容易受到遮挡及角度的影响，u r t a s u n 和f u a ( 2 0 0 4 ) 将c u n a d o 等人的方法改进为3 d 块模型。d o c k s t a d e “2 0 0 3 ) 等提出分层模型来分析步态。该 分层模型中h j 一系列相连的线段来表示人体结构，如图18 。 圈183 d 步态模帮 凳 奔 第l 章绪论 有些基于模型的方法虽然没有对整个人体进行建模，而是直接从步态图像序 列中提取结构参数作为步态的表达特征。j o h n s o n ( 2 0 0 1 ) 等通过提取步态图像中的 4 个静态参数( 图1 9 ) ：步态轮廓最大包围框的高度甜，图像中头到盆骨的距离 以，图像中盆骨到两脚之间的最大距离邪，图像中两脚之间的距离出，并以这 四个参数组成的向量作为步态的特征表达。这四个参数虽然称之为静态参数，但 是这些参数并不是身体静态参数，它们随着的步态的动态变化而发生变化，反映 了步态的静态和动态信息。b e n a b d e l k a d e r ( 2 0 0 2 ) 等认为步态的步伐和节奏由人的 升高，体重，性别等各方面的因素共同影响的。他们直接从校准后的摄像头拍摄 的步态图像序列中提取步伐长度信息。并分析其频率特征。 f 圈1 9 静态身体参数 22 基于非模型的步态识别 基于非模型的方法不需要人体模型先验信息。通常非模型的步态识别方法 是从步态的外观出发，紧凑地表征步态，而不是考虑步态的内在结构。这种方法 对图像分辨率要求不高处理速度快，但是容易受到噪声影响，不容易处理角度 和遮挡问题。 时空相关方法在时间方向上考虑步态运动的分布信息，通常做法是对步态序 列图片，如灰度图像、光流图像、二值图像等，在时间轴上进行排序，然后在 3 d 空间( x y t ) q h 直接提取步态特征。人体在行走的时候，头和腿的运动模式具 有很大区别，n i y o g i 和a d e l s o n ( 1 9 9 4 ) 通过分析x t 空间中的运动模式，采用s n a k e 获得头和腿的边界轮廓，然后对人体进行建模，并求取参数进行步态识别。 b e n a b d e l k a d e r ( 2 0 0 2 ) 等将步态图像自相似作为步态的特征表达，该方法在处理分 割误差及衣着背景等方面具有较好的鲁棒性能。l i r d e 和b o y d ( 2 0 0 6 ) 计算步态图 像序列的光流，使用光流中的频率和相位信息来识别行人身份。 e k i n c i ( 2 0 0 6 ) 从上、下、左、右四个个方向对步态轮廓进行投影映射，分别 计算距离边界最近的轮廓线到距离，利用p c a 进行降维。计算步态相似度时， 第1 章绪地 分别计算各个方向上经过p c a 降维后的投影向量之间的距离，然后进行融台。 类似的，t a n ( 2 0 0 7 ) 等采用如图l _ 1 0 的投影方式，通过实验得到，水平投影比垂 直投影更具有区分能力。 圆 图1 1 0 轮廓投影 王亮( 2 0 0 2 ) 等提出另外一种基于p r o c r u s t e s 形状分析的统计方法。在复空间 中，步态轮廓上的点展开后能够表示为一复向量，他们通过p r o c r o s t e s 形状分析， 提取步态特征。王亮( 2 0 0 3 ) 等采用轮廓解卷绕方法来表征步态如图11 1 ，逆时 针计算每个轮廓上的点到质心之间的距离，组成向量，然后使用主元分析方法训 练这些模板特征，作为步态特征进行识别。后来，王亮( 2 0 0 4 ) 等提出将p r o c r u s t e s 形状分析出来的静态特征和动态特征融合的步态识别算法。 置 曼 士 吣轮赢解巷绕示意i眦蜷点的归一化距膏变化 圈1 1 1 轮廓解卷及距离向量 b o u l g o m i s ( 2 0 0 4 a ；2 0 0 4 b ；2 0 0 6 ) 等提出了角度特征来描述步态侧影。如图 l1 2 ，先计算步态轮廓的质心，将质心当作原点建立坐标系，然后按逆时针方向 匀速旋转图中的角，计算角内的像素点到质心的平均距离，组成向量后，当作一 帧步态图像的特征向量。 第1 章绪论 叭 l n 制 ， i 圈1 1 2 角度特征 参考b o b i c k 和d a v i s 的论文( 2 0 0 1 ) 中用于行为识别的方法，h a r t ( 2 0 0 4 ；2 0 0 6 ) 提出了步态能量图( g 萄te n e r g yi m a g e ，g e i ) 方法获得非常不错的识别效果。步 态能量图一般是步态序列图像在时间方向上的平均，如图l1 3 。步态能量图上每 个位爱的值表示若步态在该位置出现的概率，步态能量图不但体现了整个步态序 列中的静态信息，也包含了步态的动态信息。 圈1 1 3 步态能量圈( g e i 注：将周期内步态轮廓图( 如图左边所示) 相加求平均，得到步态能量图( 最右边那幅酗) c o l l i l l s ( 2 0 0 2 ) 等人提取关键帧来表征步态，如图11 4 。对每个步态周期提取 4 帧步态典型状态图像，当作步态的关键帧模扳，两个步态周期之间匹配的时候 融合步态周期中4 个关键帧的相似度。该方法简单，且具有一定的抗噪性。 圈11 4 关键帧提取 t l n 1 jn - 夫燃 ， 第t 章绪论 h a y f r o n a c q u a h ( 2 0 0 2 ；2 0 0 3 ) 等通过提取步态的对称性信息来识别步态。他们 使用s o b e l 算子提取步态轮廓边缘，然后采用广义对称性并子得到步态的对称图， 如图11 5 。通过求取一个步态序列的平均步态对称罔作为步态特征，获得比较好 的识别结果。椿入分析可以得到，这种方法能够对噪声小敏感，并且能够一定程 度上处理遮挡和丢帧问题。 图11 5 步态轮廓对称崮 k a l e ( 2 0 0 4 ) ，c h e n ( 2 0 0 9 ) 等将隐马尔科夫模型( h m m ) 用于步态识别，步态之 蒯的变换被看作状态的转移。他们首先从每个步态周期图像序刘中提取5 个模 板，然后计算每帧图像到5 个步态模板之间的距离( f r a m et oe x e m p l a rd i s t a n c e ， f e d ) ，最后将f e d 输入到隐j 尔科夫模型中进行训练。这种方法具有较强的鲁 棒性，表现出了较高的时序模式分类能力，得到了比较好的识别结果。 23 基于步态触觉的步态识别 近几年国内外的研究学者对步态的触觉信息进行了一些分析。雕0 更多的 一l 。作集中于步态触觉信息的采集以及信息的初步处理及分析，并逐步在实际场合 中得到具体的应用。对于利用步态触觉来进行身份识别的研究璺是寥寥无几。 l e m a i r e ( 2 0 0 6 ) 等利用步态触觉的微观信息对步态稳定性进行了有效的验证。 g u m e y ( 2 0 0 8 ) 等采用组间相关系数和变异系数证明了步态的足底压力分布信息 具有很好的熏复性。b e g g ( 2 0 0 6 ) 等研究了从两个不完整的步忐触觉数据中重建完 整的步态。钱竞光( 2 0 0 6 ) 等对步行动作的牛物力学原理及步态分析的一般方法进 行归纳总结。k o n g ( 2 0 0 8 ) 等开发了足底压力测量走道，a t 用于连续测量多个剧期 的步态，并检测出异常的步态。 步态触觉信息逐渐在实际中展现其应用价值。m a c k e y ( 2 0 0 6 ) 等人提出了一种 方法，该方法通过测量步态中的剪应力和乖直压力束测量糖尿病人的步态； l e i ( 2 0 0 6 ) 等通过对足底的垂直作用力来分析举蓖运动员的状态，并更具分析结果 第1 章绪论 对运动员的训练进行调整。合肥智能所的运动与健康中心在最近几年在步态触觉 领域做了相当多的工作，走在该领域世界的前列。他们研制了数字跑道，数字跑 鞋等相关产品，将这些产品应用于运动员平常的训练中，取得不错的效果。徐苏 ( 2 0 0 8 ) 等将步态触觉信息应用于足疾分析中，可自动鉴定扁平足和高弓足、拇指 外翻、过度足外旋和过度足内旋等。 目前，基于步态触觉的生物特征识别的研究处于刚刚起步阶段，基于步态触 觉的身份识别算法相对比较少。雷航( 2 0 0 8 ) 等根据平面赤足的足迹特征进行身份 识别，虽然达到不错的识别效果，但是该算法必须在赤脚状态下采集平面墨拓足 迹，大大削弱步态识别的优势，而且平面墨拓采集的触觉信息过少，容易受到影 响。m o u s t a k i d i s 等在文章( 2 0 0 8 ) 详细说明了他们在该领域所取得的进展。合肥智 能所的运动与健康中心也在这方面进行了研究，并实现了一套基于步态触觉的身 份识别系统。 1 3 常用的步态数据库 表1 1 常见的步态数据库列表 数据库人数序列数场景创建实践变化囚素 u c s d 数据库 64 2 室外1 9 9 8 焦无 m i t a i 数据库 2 41 9 4 室内 2 0 0 1 年 视角，时间 g e o r g i at e c h 数据库 2 01 8 8 室外，室内2 0 0 1 年视角，时间，距离 c m um o b o 数据库2 56 0 0 室内跑步机 2 0 0 1 年3 视角，速度，携带 月物 h i d u m d 数据库( 数 2 51 0 0 室外2 0 0 1 年视角 据集1 12 5 月 h i d - u m d 数据库( 数 5 52 2 0室外2 0 0 1 年7 视角 据集2 ) 月 s o t o n 小数据库 1 2 绿色背景，室衣着，携带物，鞋 内子，视角 s o t o n 大数据库 1 1 52 1 2 8绿色背景，室2 0 0 1 年夏视角，场景 内跑步机 季 g a i tc h a l