步态识别综述_钟兴志.pdf

160软件 2013 年第 34 卷 第 4 期国际 IT 传媒品牌0 引言步态是指人们走路的姿势，是一种可在远距离感知的生物行为特征。用步态特征进行身份认证是近年来计算机视觉和生物特征识别领域的一个研究热点。和其他生物特征识别技术 ( 如指纹、人脸、虹膜等 ) 相比，步态识别的优势在于非接触性、非侵犯性、易于感知、难于隐藏和难于伪装。基于这些优点，步态识别在门禁系统、安全监控、人机交互、医疗诊断等领域具有广泛的应用前景和经济价值。步态分析最早是医学1、心理学方面的课题2。研究认为如果考虑步态运动的所有信息，那么每个人的步态都是唯一的。随着计算机运算能力的增强和生物特征识别技术的兴起，步态分析在计算机视觉领域的发展逐渐引起了关注。1994 年，Niyogi和 Adelson3最早利用步态特征进行生物特征身份认证。之后该研究方向得到快速发展，取得了一系列探索性的研究成果。并涌现出大量的步态识别算法，其中不乏相关的综述文章。例如，文献4对步态特征提取的方法进行了综述，但是缺乏难点分析和性能评价。文献5重点分析了影响步态的各种因素，并对步态处理的各个阶段进行了简要总结，但未涉及步态识别算法的性能评价。2009 年，文献6又进一步从步态特征提取和特征处理方面对步态识别研究进行了总结。但难点分析和未来研究方向指导都过于简略，同样没有涉及性能评价方面的内容。为了弥补上述不足，有必要对现阶段的步态识别研究情况进行分析和总结， 尤其是最新的进展， 期望能更好地指导未来的研究工作。1 步态识别概述步态识别就是要对包含人体运动的图像序列进行分析处理。通常包括步态检测、步态特征提取和步态识别 3 个过程，其一般处理框架如图 l 所示。2 运动分割与分类步态识别综述钟兴志，王晨升，刘丰，郭世龙（北京邮电大学 自动化学院，北京 100876）摘 要：步态识别作为一种新的生物认证技术，通过人的行走方式识别个体的身份。本文首先分析了步态识别的特点及其研究背景 ； 其次， 对目前步态识别中涉及到的几项关键技术所采用的方法进行了简单的描述及分类， 并分析各种技术的主要优缺点， 最后，提出了目前步态识别问题研究中的几个薄弱点，指出进一步研究发展空间。关键词：步态识别；特征提取；运动分割中图分类号：TP391 文献标识码：A DOI：10.3969/j.issn.1003-6970.2013.04.054本文著录格式：1 钟兴志，王晨升，刘丰 , 等 . 步态识别综述 J. 软件，2013，34(4)：160-164A Survey of Gait RecognitionZHONG Xing- zhi,WANG Chen- sheng,LIU Feng,GUO Shi- long(Beijing University of Posts and Telecommunications, Beijing 100876, China)【Abstract】As a newly emerged biometric identifi cation technology,gait recognition rears to automatic identifi cation of an individual based on his or her style of walking.This paper attempts to review the feature and background in gait recognition research?Several recognition methods have also being analyzed and categorized.Moreover,some research problems and future directions in gait recognition are discussed.【Key works】Gait Recognition ; Feature Extraction ; Motion Segment 1612.1 运动分割运动分割的目的是从序列图像中将变化区域从背景图像中提取出来。运动区域的有效分割对于目标分类、特征提取、特征表达与最后的识别等后期处理是非常重要的 因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化 如天气 、光照、影子及混乱干扰等的影响，使得运动分割成为一项相当困难的工作，运动分割可以分为在静止和运动背景下运动目标的检测和提取。现有的运动分割算法大体可分为如下三类：2.1.1 帧间差分 差分法7-10是最为常用的运动目标检测和分割方法之一。此方法的特点是速度快，适用于实时性要求较高的应用环境。不足在于算法对环境噪声较为敏感，并且基于差分法的运动目标分割精度没有保证。2.1.2 背景估计图像与当前图象帧差 除差分法外，背景估计是解决静止或缓变背景下运动目标检测和分割的另一条思路。这类方法的优点在于对复杂背景情况效果较好，它一般能够提供最完全的特征数据，但对于动态场景的变化。如光照和外来无关事件的干扰等特别敏感。2.1.3 基于运动场估计的方法 文献7通过视频序列的时空相关性分析估计运动场，建立相邻帧对应关系，进而利用目标与背景表观运动模式不同进行运动目标的检测与分割。视频序列运动场估计方法主要有光流法 (Optical Flow Equation,OFE)，块匹配 (Block Match Algorithm,BMA) 以及基于贝叶斯最大后验概率 (Maximum A Posteriori Probability,MAP) 模型的统计方法。与差分法相比，运动场分析能够较好地处理背景运动的情况，适用范围更广，但计算的时空复杂度均远高于前者。2.2 目标分类在步态识别中，运动目标分类的目的是为了从分割出的运动区域中将对应与人的运动区域提取出来。在真实的环境当中利用运动分割所分割出来的运动物体可能包含人、汽车、摇动的树枝等。为了后续的处理，必须进行运动目标的正确分类。在这里简单地进行叙述，给出两种常用的方法：(1) 基于形状信息的分类 文献 11 就是采用运动区域的分散度、面积、宽高比等作为特征，利用三层神经网络方法将运动目标划分为人、人群、车和背景干扰。(2) 基于人的运动特性的分类 Davis12通过计算运动区域的自相关特性，而人的步态的周期性运动，使得其自相关也是周期性的，通过视频化分析方法可以将人分割出来。3 步态特征提取与表达步态特征提取与表达是步态识别的关键，可以分为基于模型的方法和基于特征的方法。基于模型的方法是将人用合适的模型表达，跟踪分析模型的参数，进行步态的识别。基于特征的方法是直接从人体图像当中提取出步态的特征数据用于步态的识别。特征提取直接影响最终的识别性能。3.1 基于身体参数的方法通过预处理将得到人运动的轮廓图像，系统就能根据轮廓来进行特征抽取和识别，在基于模型的方法中，把人脚看成是一个两根刚体连接起来的钟摆，然后从这两根刚体问的角度等变化抽取特征，对这些变化的特征做离散傅里叶变换从而进一步提取步态特征，该方法的缺点是脚的准确定位很困难，通常会有很大偏差，而且计算量很大。3.2 基于模型的方法基于模型的方法对人体结构或人体运动建模后，将二维图像序列数据与模型数据进行相关匹配来获取特征或模型相关参数。遮挡现象在实际应用中随时都可能出现，人的步行存在着携带诸如提包、雨伞、背包等足以改变外形、掩盖部分人体的现象。在很多运动场合，还存在着人的身体自我遮挡的现象。对步态识别而言，解决遮挡问题是至关重要的。而基于模型的步态分析有这方面的优势，原因在于模型是依赖于序列图像中人的移动模式而建立，能够反映当前的变化，还能对过去和将来的变化进行估算。基于模型的步态识别方法预先建立模型，通过模型和二维图像序列的匹配获得模型参数。目前所使用的主要模型有：Lee13等建的椭圆模型：首先对人体侧面投影所构成轮廓图像进行二值化处理。依据质心比例关系将人体分成 7 个部分，用椭圆对每一部分建模，以椭圆的质心、离心率等参数作为反映人体步态的特征参数。Cunad14等人建立的钟摆模型：将大腿建模为链接的钟摆，并从其倾斜角度信号的频率分量中获取步态特征。三维模型：为克服二维模型中遮挡、运动方向变化带来的问题，Urtasun15等人将 Cunado 等人的方法扩展到三维空间，提出了基于主元分析 (PCA) 的三维人体运动模型。3.3 非模型的方法非模型的方法是通过对位置、速度、形状、色彩等相关特征的预测或估计来建立相邻帧间的关系，其中很多方法是基于人体形状的。Murase 与 Sakai19提出了一种时空相关匹配的方法来分析步态，Huang 等人20进一步扩展了他们的工作，通过采用 PCA 与 LDA( 线性判决分析 ) 的特征空间变换方法将高维特征映射到低维特征空间；Little 和 Boyd21利用步态序列图像钟兴志 等：步态识别综述 162的光流频率和相位作为特征；Hayfron-Acquah 等人22通过分析人体运动的对称性，采用广义对称性算子对人体的轮廓图像和图像序列的光流信息分别进行对称映射从而获取步态特征；Foster 等人27采用区域度量的方法将各种掩模图像与人体形状信息进行叠加产生用于识别的特征；BenAbdelkader 等人心副利用步态序列的自相似图来提取步态特征，但是自相似图易受光照和噪声因素的影响；Kale 等人12提取人体轮廓图像的宽度向量作为识别的特征；Shutler等人23引人速度矩(VMs)作为特征；Johnson 和 Bobick24采用 4 维静态身体参数作为特征实现了多视角的步态识别；Lee 和 Elgammal10采用双线形模型将步态模式与步态内容分离，通过学习将个体的步态模式作为识别依据；Sarkar 等人9直接利用提取的二元人体轮廓区域的相似性度量作为特征；Collins 等人11使用关键帧分析对序列进行匹配；Shakhnarovich 等人25利用 VH(visual hull) 实现了虚拟的垂直或侧面视角下的人体影像的重建，并以此作为识别特征；Wang等人则提取轮廓点到人体质心的距离向量16和 Procrustes 统计形状信息26作为特征。4 步态分类识别算法在提取了步态特征之后，就要将待测序列的特征与样本特征进行比对完成最终的识别任务。当前步态识别研究中采用的两个主要方法是模板匹配和统计方法。4.1 模板匹配法模板匹配方法广泛应用于模式识别领域，是一种基本的特征匹配方法。它将图像序列转换为一组静态形状模式，然后在识别过程中和预先存储的行为标本相比较。把相似度作为分类的标准，常采用最近邻算法进行识别。模板匹配技术的优点是计算复杂度低、实现简单，然而它对于噪声和运动时间间隔的变化是敏感的。如文献16中归一化欧氏距离度量体现的正是模板匹配的思想。模板匹配中另一类有效的方法是动态时间规整(DTW)。动态时间规整具有概念简单、算法鲁棒的优点。早期被广泛的应用于语音识别领域。利用 DTW 可以在测试序列与参考序列的时间尺度不一致的情况下较好地完成测试序列与参考序列之间的模式匹配。在步态识别中，测试序列与样本序列的时间尺度一般不同，而动态时间规整可较好地完成这种情况下的匹配，且具有简单易懂、算法鲁棒的优点。Kale17等人以人体轮廓的宽度向量作为特征，采用 DTW 匹配待测序列与样本序列。4.2 统计方法模板匹配实际是一种基于距离度量的方法，在步态识别中使用这种方法就忽略了隐含在步态序列中的姿态之间的联接关系，而隐马尔可夫模型 (HMM) 可以很好地融合这些信息。HMM 的使用涉及到训练和分类两个阶段，训练阶段包括指定一个隐马尔可夫模型的隐藏状态数，并且优化相应的状态转换和输出概率；分类阶段涉及到一个特定的 HMM 可能产生相应于所观察图像特征的测试符号序列的概率的计算。步态周期可以看作一个双重随机过程，其中隐过程用姿态之间的转移来描述，而显过程则用特定姿态下的图像特征刻画。在基于隐马尔可夫模型的步态识别中，步态序列被看作是人体行走姿态在给定约束下的一种遍历关系。通过对样本库中每个目标调整模型参数， 使得同一目标的测试序列的达到最大。文献14中使用半个步态周期的 5 个关键姿态的宽度向量作为特征，通过计算给定图像与样本姿态的距离产生低维观测向量，并以此训练 HMM 的参数进行步态识别。此外，还有神经网络法、支持向量机 (SVM) 方法。其中，SVM 是近年来在模式识别与机器学习领域中出现的新工具，它以统计学习理论为基础，有效地避免经典学习方法中过学习、维数灾难、局部极小等传统分类存在的问题。在小样本条件下仍然具有良好的范化能力，因此受到了广泛的关注，而且成功应用到了人脸识别、文本分类、基因分析、手写体识别、语音识别等多种领域。在步态识别中也成功运用了 SVM 方法。5 研究难点和发展趋势目前对于步态识别的研究还只是处于初级阶段，步态识别的研究是在以下几个假设条件下进行的：(1) 假设摄像机静止，并且摄像机的视角范围内只有一个人的运动。(2) 人的行走方向固定。(3) 算法有效性检验时所使用的数据库比较小。这就造成了步态识别问题的研究与实际问题相违背的情况，主要体现在：1) 现有的算法只适用于假设人体按照固定不变的方向行走无遮挡的情况下，而在现实环境中，人体的行走方向随时会发生变化且会发生遮挡现象，这对特征的提取及识别算法都是一个很大的挑战。2) 现有步态识别算法多是假定图像中只有单个人行走，或背景不太复杂的情况，而实际监控场景可能比较复杂，有多个运动物体，因此研究图像噪声对识别的影响较为重要。3) 在运动分割阶段，由于动态环境中捕捉的图像受到多方面的影响，比如天气的变化，光照条件的变化，运动目标的影子，甚至摄像机的运动等，这些都给准确有效的运动分割带来了困难。4) 步态识别算法在大规模数据库上的识别效果的研究还不太多。6 结论钟兴志 等：步态识别综述 163步态识别作为一个新兴的研究领域，具有重要的理论研究意义和实用价值。目前有关步态识别的研究尚处于理论探索阶段，远远没有达到实用阶段。从文献报道来看，目前的步态识别的研究是在以下几个假设条件下进行的：(1) 人的行走方向与摄像机的镜头主轴的方向垂直，是利用人的侧面图像进行识别；(2) 算法有效性检验时所使用的数据库比较小；(3) 假设摄像机静止，并且摄像机的视角范围内只有一个人的运动。因此，研究步态识别中各种因素对于识别结果的影响，尽量减少约束条件，提高识别的效率和达到使用具有重要的意义目前的算法大部分采用一台摄像机，利用二维的方法进行识别，可以研究多台摄像机和三维方法的应用。充分研究各个不同的视角下面的步态识别的影响因素以及在不同的天气条件下步态识别的有效方法，对于开发实时稳定的基于步态识别的远距离身份认证系统具有重要的理论和实际意义。参考文献1 Chien-Wen Cho a.A Vision-Based Analysis System for Gait Recognitionin Patients with Parkinsons DiseaseJ Expert Systems with Applications，2009，36(3):7033-7039.2 Steveuage S. V.，Nixon M. S.，Vince K.Visual Analysis of Gait as a Cue to IdentityJApplied Cognitive Psychology，1999，13：513-526.3 Niyogi S. A. et a1Analyzing gait with spatiotemporal surfacesC Proeof IEEE Workshop on Non-Rigid Motion1994：24-29.4 Li Yi-bo，Jiang Tian-xiaoGeneral Methods and DevelopmentActuality of Gait RecognitionC Temational Conference On Wavelet Analysis and Pattern RecognitionBeijing，China，Nov，200711333-1340.5 科俊，侯本博步态识别综述 J中国图像图形学报，2007，12(7)：1152-1160.KE JUN,HOU BEN BO. A Survey of Gait Recognition.Journal of Image and Graphics,2007,12(7):1152-1160.6 Liu Ling-feng，Jia Wei，Zhu Yi-haiSurvey of gait recognitioncLNM 5755.2009：662-659.7 A Murat Tekalp. Digital Video Processing M.Prentice-Hall Press 1996 .8 Lipton A，Fuiyoshi H，Patil R. Moving Target Classification and Tracking From Real-time Video C . NJ Proc. IEEE Workshop on Applications of Computer Vision. Princet on 1998 ：8-14 .9 Anderson C，et al，Change Detecti on and Tracking Using Pyramids Transformation TechniquesC . Cambridge， MA：Proc. SPIE Conferenon Intelligent Robots and Computer Vision 1985 ：72- 78 .10 Foresti G L. Object Recognition and Tracking for Remote Video SurveillanceJ. I EEE Transactions on Circuits and Systems for Video Technology 1999，9，7 ：1045-1062.11 Collins R，et al . A System for Video Surveillance and Monitoring VSAM Final Report R. Carnegie Mell on Universit yTechnical Report CMU-RI-TR-00-12 2000 .12 Cutler R，Davis L.Robust Real-time Periodic Motion Detection Analysis and Applications J. IEEE Trans . Pattern Analysis and Machine Intelligence.2000，22，8：781- 796 .13 lee L，Grimson WELGait analysis for recognition and classificationAIn：Proceedings of the Fifth IEEE International Conference on Automatic Face Gesture RecognitionC，Washington DC，USA，2002：155-16214 Cunado D，Nixon MS，Carter JUsing gait as a biometric，via phase-weighted magnitude spectraAIn：Proceedings of International Conference on Audio and Video-based Biometrie Person AuthenticationC，Cram-Montana， Switzcrland，1997，95-100.15 Urtasun R，Fua P3 D Tracking for gait characterization and recognitionAIn：Proceedings of the Sixth IEEE International Conference on Automatic Face and Gesture RecognitionC，Seoal，Korea，2004：17-2216 Wang Liang，Tan Tieniu，Ning Huazhong，et a1Silhouette analysis based gait recognition for human identificationJIEEE Transactions on Paaern Analysis and Machine InteHigence，2003，25(12)：1505-151817 Kale A，Cuntoor N，Yegnanarayana B，et a1Gait analysis for human identificationAIn：Proceedings of the 3rd International Conference on Audio and Video-Based Biometric Person AuthenticationC，Guildford，UK，2003：706-71418 Kale A，Rajagopalan A，Cuntoor N，et a1Gait based recognition of humans using continuous hmmsA.In：Proceedings of IEEE International Conference on Automatic Face and Gesture RecognitionCWashington，DC，USA，2002，336-34119 Murase H，Sakai RMoving ohject recognition in eigenspace representation：gait analysis and lip readingJPattern RecognitionLetters，1996，17(2)：155-16220 Huang P S，Harris C J，Nixon M SRecognizing humans by gait via parametric canonical spaceJArtificial Intelligence in Engineering，1999，13(4)：359-36621 Little J. J.，Boyd J. E.Recognizing people by their gait：the shape ofmotionJJournal of Computer Vision Research，Videre，1998，1(2)：1-3322 HayfronAcquah J B，Nixon M S，Cater J NAutomatic gait recognition by symmetry analysisJ钟兴志 等：步态识别综述 164Pattern Recognition Letters，2003，24(13)：2175-218323 Shutler J.，Nixon M S，Harris CStatistical gait recognition via velocity momentsAIn：Proceedings of IEE Colloquium on Visual BiometricsC，London，UK，2000，10：1-524 Johnson A. Y.，Bobick A. FA multi-view method for gait recognition using static body parametersA.In：Proceedings of the 3rd International Conference on Audioand VideoBased Biometric Person AuthenticationC，Halmstad，Sweden，2001：301-31125 Shakhnarevich G，Lee L，Darrell TIntegrated face and gait recognition from multiple viewsAIn：Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern RecognitionC，Kauai，HI，USA，2001，1：439-44626 Wang Liang，Tan Tieniu，Hu Weiming，et a1Automatic gait recognition based on statistical shape analysisJIEEE Transactions on Image Processing，2003，12(9)：1120-113127 Foster J F，Nixon M S，Pruge