（信号与信息处理专业论文）基于轮廓的步态识别.pdf

摘要 摘要 随着信息技术的发展，近几年来生物识别技术作为保证信息安全的有效技 术手段得到了广泛的研究和应用。步态识别是生物识别领域中一种新兴的技术。 很多研究表明，可以根据步态的唯一性来进行人的身份识别。步态识别的主要 研究内容包括步态提取、步态描述、步态识别和步态数据库等。本文主要研究 前三方面内容。 步态提取方面，首先采用一种中值滤波模型，实现了场景中的背景获取； 接着使用背景差分图像法获取步态区域，然后结合直方图自动阈值分割和数学 形态学算法消除噪声干扰，最后使用邻域边界跟踪算法提取了运动人体的轮廓 坐标。 步态描述方面，利用运动人体的宽高比的周期性变化来提取关键帧，并对 关键帧的步态轮廓进行提取和计算。针对目前描述步态轮廓的特征不完善，不 直观的情况，本文提出了一种基于边界中心距离的小波轮廓描述符作为步态轮 廓的特征。该特征对图像的平移，缩放，旋转皆具有不变性；对轮廓的描述非 常直观，与人的感觉很相似；支持在不同分辨率下的特征提取。因此，该特征 可以很好地描述步态对象的特征，为后续的步态识别工作打下了坚实的基础。 步态识别方面，本文提出了一种基于小波轮廓描述符和支持向量机( s v i ) 的步态识别方法。该方法中用来描述步态轮廓的特征就是小波轮廓描述符。基 于该特征本文在两类s v m 识别基础上重新构造了一套多类训练和识别方案，从 而实现了对步态对象的实时高效识别。 最后编程实现上述各种方法，并设计开发了一个完整的步态识别系统，为 步态识别新方法的研究和测试提供了平台。 关键词：步态识别形状特征小波变换支持向量机 a b s t r a c t a sa 由1 铷eo ft h es e c u r i 锣r e q u i r e m e n ti nt h em o d e ms o c i e t y , b i o m e t r i c s r e c o g n i t i o n , a sa na p p r 0 敞hf o rs o c i e t ys c c u r i 够, h a sb e e ng r e a t l ym s e a r c h e da n d d e v e l o p e d e a r l yp s y c h o l o g i c a ls t u d i e si n t og a i ts u g g e s t e dt h a tg a i tw a sau n i q u e p e r s o n a lc h a r a c t e r i s t i c p e o p l ec 趾i d e n t i f yp e r s o n sb yo b s e r v i n gt h e i rw a l k i n g g a i t r e c o g n i t i o n r e s e a r c h i n v o l v e si n f o l l o w i n ga r e 雒：g a i td e t e c t i o n , g a i t r e p r e s e n t a t i o n , 鲥tr e c o g n i t i o na n dg a i td a t a b a s e i nt h i sp a p e r , t h ef o mt h r e ea 笛 a 他m a i n l yr e s e a r c h e d o nt h eg a i te x t r a c t i o n , am e d i a nf i l t e rm o d e li su s e dt os u b u a c tt h eb a c k g r o u n do f t h es c e n e ；t h e nu s et h eb a c k g r o u n ds u b t r a c t i o nm e t h o dt oo b t a i ng a i tb o d ya r e a , c o m b i n e dw i t ha u t o m a t i ch i s t o g r a mt h r e s h o l ds e g m e n t a t i o na n dm o 印h 0 i o 西c “ a l g o r i t h mt oe l i m i n a t en o i s ei n t e r f e r e n c e f i n a l l y ，n e i g h b o r h o o db o u n d a r i e st r a c k i n g a l g o r i t h mi su s e dt oc o m p u t et h ec o o r d i n a t e so f t h eb o d yc o n t o u r s o nt h eg a i td e s c r i p t i o n , f o re a c hi m a g es e q u e n c e ，c y c l i cw i d t ho f g a i ta n a l y s i si s p e r f o r m e dt oe x t r a c tk e yf r a m e s ，t h e ne x t r a c ta n dc o m p u t et h eg a i tc o n t o u rt om a k e t h ee i g e n v e c t o raw a v e l e tb o u n d a r yd e s c r i p t o rb a s e do nb o u n d a r y - c e n l r o i dd i s t a n c e i sp m p o s e dt o i m p r o v et h ee f f i c i e n c yo fe x c i t i n gm e t h o d s t h i sd e s c r i p t o ri s i n v a r i a n tt os h a p ew a n s l a t i o ns c a l i n ga n dr o t a t i o n f u r t h e r m o r e ，i tc a nr e p r e s e n t s h a p ev e r yi n t u i t i v e l y ，s i m i l a rt op e o p l e sf e e l i n g i na d d i t i o n , i tc a nb eu s e dt o e x t r a c tf e a t u r eu n d e rm u l t i - r e s o l u t i o n t h e r e f o r e ，t h ef e a t u r ec a nd e s c r i b eg a i tv e r y w e l lf o rt h er e a l i z a t i o no fg a i tr e c o g n i t i o n o nt h eg a i tr e c o g n i t i o n , an e wr e c o g n i t i o nm e t h o db a s e do nw a v e l e tb o u n d a r y d e s c r i p t o ra n ds u p p o r tv e c t o rm a c h i n e ( s v m ) i sp r e s e n t e d t h ef e a t u r eu s e dh e r et o m p m s e n ts h a p ei st h ew a v e l e tb o u n d a r yd e s c r i p t o rm e n t i o n e da b o v e w i t ht h i s d e s c r i p t o r , an e wr e c o g n i t i o nf r a m e w o r kb a s e do ns v mi sc o n s u u c t e dt or e a l i z e r e a l - t i m eo b j e c t - e f f i c i e n tg 面tr e x o g n i t i o n f i n a l l y , a l lk i n d so ft h ea p p r o a c h e s 锄弓r e a l i z e db yp r o g r a m m i n g w ep r e s e n ta g a i tr e c o g n i t i o ns y s t e md e v e l o p e db yo u r s e l v e s i t i sap l a t f o r mf o rn e w a l g o r i t h mr e s e a r c ha n d t e ：s t k e o r d s ：g a i tr e c o g n i t i o n ；s h a p ef e a t u r e ； m a c h i n e 目录 目录 摘要i a b s t r a c t i i 第一章引言l 1 1 课题的研究意义1 1 2 步态识别的研究依据2 l3 步态识别的研究现状3 1 4 本文的研究内容和章节安排6 第二章 步态识别的基本理论9 2 1 步态识别相关理论9 2 1 1 步态的基本定义9 2 1 2 步态识别的特点。9 2 1 3 步态识别的原理：1 0 2 2 步态识别过程1 2 2 2 1 步态检测和预处理1 2 2 2 2 步态特征提取1 3 2 2 3 步态对象识别。1 4 2 3 步态数据库15 2 4 本章小结1 7 第三章步态检测和预处理1 9 3 1 背景建模1 9 3 2 差分及二值化2 0 3 3 后处理2 l 3 3 1 腐蚀 3 3 2 膨胀2 2 3 3 3 开运算和闭运算2 3 3 3 4 图像连通处理2 4 3 3 5 轮廓提取及跟踪。 。2 5 3 4 本章小结2 7 目录 第四章步态特征提取和描述 4 1 运动关键帧提取 4 2 定向距离矢量抽取3 0 4 2 1 质心计算 4 2 2 边界展开3 0 4 2 3 幅度归一化 3 0 4 2 4 距离矢量重构3l 4 2 5 轮廓描述符构造3 1 4 2 6 小波变换压缩特征数据。 4 3 本章小结 第五章步态对象识别3 7 5 1 支持向量机3 8 5 1 1 支持向量机的基本思想3 8 5 1 2 支持向量机的基本原理3 8 5 1 3 支持向量机用于识别两类对象的步骤 5 - 2 基于支持向量机的步态识别4 1 5 3 本章小结4 2 第六章 人体步态识别系统的实现4 3 6 1 步态识别系统的设计4 3 6 2 步态识别系统的建立 6 3 实验仿真与分析 6 4 本章小结。 总结及展望。 4 7 5 1 1 本文工作简介 5 3 2 未来工作的展望5 5 参考文献5 7 攻读硕士学位期间发表的论文 致谢。 第一章引言 第一章引言 1 1 课题的研究意义 随着当今计算机和网络通信技术的飞速发展，信息安全问题也日益突出。 在机场，银行，军事基地等一些对安全要求敏感的场合，任何非法冒用，窃取 或篡改信息的行为都有可能带来重大的危害，传统的身份识别方法，如密码口 令、智能卡、个人身份证等，虽然已经被广泛地使用，但也产生了很多安全问 题，如丢失，转让，伪造，遗忘等，可靠性越来越低，随着现代科技的发展和 社会的进步，传统的身份识别已经不能满足某些安全需求，并且越来越多的场 合需要自动监控，要求自动确定或者验证人的身份。人们希望能实现凭借自身 的唯一特点来标识自己的身份，不用携带一堆身份识别卡片之类的，也不用再 去费脑筋记住那些密码口令。因此，基于生物特征的识别技术的研发和应用的 要求变得日益迫切。生物特征识别技术能够克服那些传统身份认证方法所存在 的问题，它是利用一些高科技检测技术，根据人体所固有的生理特征或者行为 特征来对个人身份进行鉴定1 1 1 。关于“生物特征”，最普遍的定义为1 2 1 a p h y s i o l o g i c a lo rb e h a v i o r a lc h a r a c t e r i s t i c ，w h i c hc a nb eu s e dt oi d e n t i f ya n dv e r i f y t h ei d e n t i t yo f a ni n d i v i d u a l ( 能被用于识别和验证人的身份的生理或行为特征) 。 现在许多生物特征已经被用来对人的身份进行验证。生物特征一般包括生理特 征和行为特征两类，生理特征通常所指那些与生俱来的特征，多为先天性的， 如指纹，虹膜，手形，脸相、掌纹等这些特征；而行为特征则是指从人所执行 的运动中提取出来的特征，实质上行为特征中往往也暗含着某些生理特征的信 息，是对生理特征的一个间接度量。行为特征包括声纹，击键，签名，步态等。 二十世纪7 0 年代中期，现代生物特征识别技术才真正开始被研究，数十年 来，发展都没有什么大的突破，近几年才出现了跳跃式发展，被产、学、研、 管各方面广泛关注。甚至还有专家预测，未来1 0 1 5 年，生物认证技术的综合影 响力将会不亚于互联网【3 】。 因为每个人的生物特征具有唯一性和在某个时期内不变的稳定性，不易被 雨京信恳工程大学硕士学位论文 假冒和伪造，所以利用生物特征来进行身份认定，具有安全、可靠、准确等优 点【4 】。 可是到现在为止，没有发现有哪一种生物特征识别技术是无可挑剔而完美 的。使用相对广泛的第一代生物识别技术如指纹识别、虹膜识别、人脸识别及 掌形识别等，大多都需要被识别对象的配合，有时甚至需要被识别对象完成某 些必要的动作才能完成识别工作。这些通常在世界应用中不能被用户接受，识 别过程烦琐，速度也不能达到理想的程度，使用实际性不是很好。随着科技发 展和犯罪手段的不断智能化、科技化，如隐形眼镜，整容手术等，使得第一代 身份识别技术面临被模仿和伪造的风险。 步态识别( g a i tr e c o g n i d o n ) 是一种比较新颖的生物特征识别技术，它是根据 人们走路时候的姿势来对个人身份的进行识别，或者根据此对个人生理、病理 及心理特征的进行检测。步态识别和其他生物认证技术有点不同，它是基于行 为特征的生物识别技术，具有一些独特的优势：如能在远距离，非接触的情况 下进行识别，甚至在视频质量低下情况也能识别对象【习，而且步态一般是难以 模仿伪造的，并且不易隐藏的。甚至在黑夜中能借用红外步态识别技术来进行 身份识别。步态识别可以克服前面提到的传统的第一代生物特征识别技术的一 些缺陷，可以在远距离、非接触的状态下进行检测和识别，不需要被识别人的 参与互动，所以近年来步态识别引起了国内外各种学术科研机构的重视。 步态识别具有重要的理论研究意义和实用价值。尽管当前有关步态识别的 研究仍然处于理论探索阶段，尚未进入实用，但是对步态识别中各种因素对于 识别结果的影响的研究，提高识别的效率和建立原型系统都是十分有意义的， 能促使其到达实用效果。 1 2 步态识别的研究依据 步态可以作为一种身份识别的生物特征，可以利用人的走路方式( 即步态) 对人进行身份识别。这是有大量的自然科学的证据支撑的，有来自于生物力学、 医学、心理学等的依据， 利用步态进行认证在生物力学中存在相关的依据。文献 6 】中提到：“一个人 2 第一苹引言 的行走模式是重复且具有丰富特征的，它的唯一性能够使其应用在远距离下对 这个人进行步态识别。” 医学中一开始是为了对病人的病理治疗，而进行了对步态的研究。前期的 医学研究证明：每个人的步态是一个独特的个性化特征，具有周期性，拥有韵 律。m u r r a y 等人网还为健康的人建立了一些标准的运动模式，一共有2 0 种不同 的步态元素，然后与病人的步态进行比较，但是有一些仅仅从人头项的方向才 能观察到。m 硼哟诬发现“每个人的骨瓮和胸腔的旋转是不同的，可是这种不同 却很难获得，所以不能够应用到实际当中。”所以，实际应用中通常需要在人体 上标记连接点来对步态分析进行研究。 在心理学的研究领域中，也表明可以通过人的视觉感知各种步态，对不同 人的步态进行唯一的识别。早期的j o h a n s s o n 的心理学研究川将一些发光的点捆 绑在人体主要的身体部位，然后记录其行走过程，通过这些光点的移动情况来 观察人的运动模式。可是若当这些光点都静止不动时，往往不能识别出这是一 个人。而当这些光点开始运动时，就很快被感知到是代表了人的运动。它的研 究表明：观察者从运动光显示( m o v i n gl i g h td i s p l a y ，m l d ) q b 的确可以识别出 人的一些运动特征，例如跑、跳、舞蹈等等。 随着图像和视频技术的发展，以及对步态识别越来越多的研究表明，可以 通过完整的视频图像更好的进行步态识别。 1 3 步态识别的研究现状 由于步态识别是结合了人的运动特征与人的生物特征来进行识别的，其还 具有在远距离情况下进行识别的特点，所以近年来备受关注。步态识别得到比 较大的发展是和近几年存储器和处理器速度的提高相关的，因为它们的发展使 得计算机能够对视频图像数据进行快速高效的处理。但是虽然生物力学中对步 态已经进行了大量的研究工作，近几年基于步态的身份识别才得到一些发展， 到目前为止还没有商业化的步态身份识别系统。 人的步态可以用作识别的生物特性相对比较多，通常可分为两类：静态特 征和动态特征。静态特征一般指人体的几何特性，如个子的高低和体形的胖瘦： 南京信思工程大学硕士学位论文 而动态特征一般指的是行走时的连接关节的变化。因此直观上步态识别主要依 据的是静态特征随时间变化的结果。目前大多关于步态识别的工作主要是基于 人体的静态特征信息( 如轮廓等) ，而尽管这些关节角度、生理结构等动态特征信 息更能反映步态模式的本质，却很少有人使用。 利用步态进行身份识别时，要先对视频图像数据进行分析和处理，获取图 片中包含的识别对象目标的行走特征。通常是根据人的侧影图像( s i l h o u e t t e ) 来进 行识别，从目前的文献研究情况来看，步态识别通常是在以下几个假设条件下 进行研究的： ( 1 ) 利用人的侧影图像进行识别，将摄影机与人行走时的方向垂直，来获取 人的侧面运动图像。 ( 2 ) 大多检验识别算法有效性时候所使用的数据库比较小。 ( 3 ) 摄像机相对静止，并且在摄像机的视角范围内只有一个人的运动。 近几年，国外很多计算机视觉领域的研究人员非常关注步态识别研究 7 - 1 0 1 。 其中最先引起人们注意的就是d a r p a 远距离人的身份识别计划f f i u m a n l da ta d i s t a n c ep r o g r a m ) ，d a r p a 在2 0 0 0 年资助的重大科研项h u m a ni d 计划。为了 对步态识别技术进行了大量研究和探索，该计划联合了卡耐基梅隆大学、麻省 理工学院、南安普顿大学等很多国外著名高校。 卡耐基梅隆大学主要研究如何从视频图像序列中获得人的生物特征，以及 怎样通过其实施人的身份识别；t o l l i v e r 提出【1 1 】利用k - m e a n s 聚类方法，分别计 算训练样本图和测试样本图的中心的相似度来进行聚类分析；t a n a w o n g s u w a n 等【1 2 。1 4 】结合了步幅和步频这两个步态参数的特点，并提出要考虑这两个反映时 间间隔的参数，也就是行走速度对步态识别的影响；还借用线段来表示人体关 节部分，并将每个关节点处的线段和垂直方向所成的角度当做步态特征数据进 行步态身份识别；马里兰大学提出一种新的结合人脸特征和步态特征的识别方 法，还对各种外界影响因素对识别效果的影响作了评估；a m i t 研究了【1 孓1 阳如何 将人在二值图像中侧面外轮廓宽度矢量作为步态特征表现来进行步态识别研 究；n c u n t o o r 等 1 9 1 研究了如何融合人的高矮、手部和腿关节等的运动来进行 4 第一苹引言 步态识别，还有使用简单的加、乘等融合策略融合人正面与侧面视角步态图像 以获得比较好的识别结果；麻省理工学院则从视角方面来研究步态识别和人脸 与步态相互融合的身份识别技术；其中l l e e 泌冽采用七个椭圆来代表人的身 体的各个部分，利用一共2 9 个特征参数来表达整个步态特征，使用模板匹配方 法来步态识别；g s h a k h n a r o v i c h 2 3 也研究了融合人脸特征和步态特征，并利 用从多个视角获取的信息进行身份识别；j l i t t l e 与j b o y d v 研究如何结合步 态图像光流的频率和相位信息来进行步态特征识别：南安普顿大学的d c t m a d o 等 2 4 - 2 8 1 对大腿与小腿在行走过程中的角度比建立成链接的钟摆的模型，从其与 垂直方向之间的角度信心中获取相关的步态特征；f o s t e r 等ne 2 9 j 提出了一种基于 矩描述子的方法；南佛罗里达大学还研发了对利用不同生物特征进行身份识别 结果的合理分析和对比的平台。 与此同时，很多与识别技术相关的重要的国际会议上，设置了步态识别专 栏，例如i c p 、c v p r 、f g 0 2 、a v b p a 0 1 等，经常能收集到来自世界各地的研 究者得成果和比较新颖的思想。 国内，中国科学院自动化研究所从2 0 0 1 年开始了步态识别的相关研究，作 了大量的研究工作，获得了许多研究成果，建立了c a s i a 步态数据库。其中包 含有三个数据集：小规模库，多视角库和红外库。在步态识别方面，中国科学 院自动化研究所在国内外期刊上发表了大量研究成果的论文，其中王亮等做了 大量的工作 3 0 - 3 2 1 ，为推动国内步态识别技术的发展做了大量有意义的工作。 在国内，除中国科学院自动化研究所外，包括哈尔滨工程大学、西安电了 科技大学、西北工业大学、北京工业大学等知名院校和其他研究机构也对步态 识别作了大量研究。哈尔滨工程大学的洪文【3 3 】等和西北工业大学的田见光等踟 都在基于连续隐马尔可夫模型的步态识别方法上进行了研究。西安电子科技大 学的张建荣等【3 5 】提出一种利用逆运动学提取步态特征的运动分析方法。该方法 能很好的提取到步态特征数据。北京工业大学的刘玉栋等嗍提出一种基于人体 骨骼化模型的步态识别方法，此方法降低了数据处理的时间复杂度，并且可以 获得比较高的识别效率。 5 南京信息工程大学硕士学位论文 国内外近几年对步态识别的研究工作是日新月异，大批学者致力于步态识 别的各个方面的研究，并且出了很多研究成果。 第一荤引言 分割及后处理。本文首先采用一种中值滤波法从序列图像中恢复背景图像；接 着根据背景差分图像法，结合二值化处理从含有运动对象的场景中检测出人体 运动区域；然后对人体运动图像进行形态学后处理，消除噪声等，以得到较理 想的步态轮廓。 第四章步态特征提取描述。本章主要讨论了如何进行步态特征的提取与描 述。首先根据运动人体运动图像的周期性变化，提取关键帧，然后对关键帧的 步态轮廓进行提取和计算，构建特征矢量；再通过小波变换进行特征维数约简。 得到小波轮廓描述子，作为后续步态识别的依据。 第五章步态对象识别。主要介绍如何将小波变换提取的步态特征采用支持 向量机学习得到步态识别结果。 第六章人体步态识别系统的实现。介绍了步态识别原型系统，给出了步态 识别原型系统的设计和建立。为了验证本文基于支持向量机的识别算法的实际 分类性能，本文还将其应用到了原型系统中，对其进行仿真实验测试，经试验 表明，该系统具有良好的分类识别效果，为以后的识别算法测试提供了一个比 较好的平台。 7 南京信息工程大学硕士学位论文 8 第二章步态识别的基本理论 第二章步态识别的基本理论 基于轮廓的步态识别是一门融合视频图像处理与模式识别的技术。步态识 别主要是对视频图像序列中人行走姿势的分析和处理，通常由步态检测和预处 理，步态特征提取和描述，步态对象识别等几个部分组成。 2 1 步态识别相关理论 2 1 1 步态的基本定义 步态是一种复杂的行为特征，指人们行走时的一系列行为方式。步态被定 义为由人体下肢发挥主要作用，全身其它各个部位协调作用的有规律的重复运 动模式。人可以用鞋尖走路，也可以瘸着腿走路，甚至可以是傲慢地昂首挺胸 走路，但无论如何，人在行走时，为了保持自己身体的平衡，必须要时刻保证 全身所受到的外部作用力的合力作用线通过当前与地面接触的起支撑作用的那 只脚。即使在奔跑中双脚腾空时，同样要保证后续的落地步伐满足这一条件。 因此，人在行走过程中总是表现出在双腿交替迈步的过程中，支撑点在双足间 轮流交换，上部身体左右摇摆的姿态。所有正常人都遵从上述基本的双足模式， 但是每个人都有着各不相同的走路姿势。每个人双脚动作和身体其他部位的姿 势在走路时是独一无二的。而且这种动作姿势是经过长期自然养成的，这种姿 势具有相对稳定性，在某个时间范围内和相同的环境下不容易改变，人们可以 根据行人的步态来进行身份识别。 2 1 2 步态识别的特点 步态识别作为一种新兴研究的生物识别技术，具有其它生物识别技术所不 具备的一些优点： ( 1 ) 非侵犯性、非接触性 的步态能够在被识别对象并不知道的情况 下获取。也就说在信息收集阶段，步态识别是不需要用户的被动配合的，不像 指纹识别需要用户去接触指纹仪这种被动协作。 ( 2 ) 难于隐藏和伪装一人一般不会刻意去模仿别人或者改变自己的行走 9 雨泵佰思工程大学坝士学位论文 姿势的。如果刻意那样做，他或她的行为在将表现得更加可疑。但是指纹识别 和虹膜识别在现在科技的发展冲击下，有的时候会被隐藏和伪造，并且当识别 对象戴上帽子、口罩、眼镜和手套时，这些传统的生物特征识别将变得没什么 用处。 ( 3 ) 易于采集步态识别对所要识别的对象的图像没有很高的质量要 求，在低分辨率甚至图像模糊的情况下都可以进行识别，但是其他生物特征识 别往往不能做到。 ( 4 ) 远距离识别步态识别可以在远距离情况下进行识别。而指纹和脸 像等这些传统生物特征识别技术往往需要近距离甚至接触性的感知。 当然步态识别也有一些缺点，它易受心理状态、衣着情况、身体病变等的 影响：如人的步态特征会受到心情好坏的影响；同一个人穿上宽松的衣服和紧 身衣服时检测到的步态会不同；若人的腿部骨折或者受到严重伤害会导致步态 特征发生显著变化：药物和酒精的作用也会影响一个人的正常的走路姿势。 虽然步态特征也会受以上一些不利因素的影响，总体识别精度不是很高， 并且数据量比较大。但是其可以克服伪装，隐藏和近距离接触的风险，相对传 统的生物特征识别仍然有它的优势在。与第一代生物特征识别技术( 指纹，虹 膜等) 相比，步态识别的识别率还不高，但是步态识别所独有的优点也是其他 生物特征识别技术所无法比拟的。而步态识别的缺点也恰恰表明了对于步态识 别的研究还有很长一段路要走，还有更大的潜力亟待发掘。 2 1 3 步态识别的原理 步态识别是通过每个人独特的行走姿势识别出人的身份。一般的步态识别 过程首先使用摄像机拍摄行人的步态视频图像，然后从步态视频图像中提取出 特征，最后通过与特征数据库中的特征进行比较来进行识别，其识别过程如图1 所示。 l o 第二章步态识别的基本理论 - j 图1 步态识别的原理 从图1 步态识别的原理可知，步态识别的关键是如何将人体从场景中恰到好 处地分割出来，寻找合适的步态特征及有效的分类方法。由于人的步态是时变， 与衣服、背景、速度有关，所以传统的方法无法很好的提取这种特殊动态特征， 而小波分解可以同进识别全局和局部特征，非常适合步态特征的提取。目前有 关步态识别方法最为流行的是神经网络方法，但是神经网络是基于大样本的， 在小样本数据下有过拟合、局部最优。而步态数据是一种典型的小样本数据， 所以神经网络有时识别的正确率不高。支持向量机是一种专门针对小样本统计 估计和预测学习方法，相于传统的模式识别方法，其具有推广能力强、能保证 全局最优等优点，所以本文采用支持向量机进行步态识别。 由此，计算机步态识别的研究内容大概包括以下几个方面： ( 1 ) 在视频图像序列中，从背景图像中将人体步态轮廓区域提取出来，即 步态检测和预处理。 ( 2 ) 采取某种表示方法描述检测出的步态以及那些步态数据库中的己知步 态特征，即步态特征的提取和描述。 ( 3 ) 将待识别对象的步态特征与步态数据库中的已知步态特征进行相关匹 配，依据一定的分类标准判断其所属的类别，即步态识别。 步态检测，步态特征提取和步态识别是建立步态识别系统三个非常重要方 面，也是本文要研究的主要内容。 南京信息工程大学硕士学位论文 2 2 步态识别过程 2 2 1 步态检测和预处理 步态检测和预处理就是在场景图像的视频序列中，从背景图像中将人体步 态轮廓区域提取出来，同时进行一些预处理。一般包括背景建模、前景检测、 形态学处理等。步态检测是整个步态识别工作的基础，有效的步态轮廓检测对 于后期的步态特征提取和步态识别等工作是非常有意义的。但是，由于现实中 背景图像往往会有一些其它干扰因素的影响，如光照、天气、影子等，使得步 态检测变得比较困难。 以下介绍几种目前常用的步态检测方法。 1 ) 背景减除法 背景减除法是利用当前图像与背景图像的差分来提取步态运动区域的一种 方法。背景减除法一般适用于摄像机静止的情况，需要预先获取当前场景的背 景图像，可以完整精确的获得人体运动轮廓区域的描述，从而可以比较精准的 提取目标图像。 2 ) 光流计算法 所谓光流是指图像序列中灰度模式运动的速度。它是现实景或物中可见点 的三维速度矢量在成像平面上的投影，描绘了景或物表面点在图像中位置的瞬 时变化情况。通常都认为光流与运动场之间的区别不大，所以就能根据图像运 动来估计相对运动。基于光流的运动检测把光流计算得到的运动量作为一个重 要的识别特征，利用运动目标随时间变化的光流特性来识别其身份 3 r l 。 因为光流不仅包含了大量的运动信息，而且还包含了有关景或物的三维结 构信息，光流计算法不需要预先知道场景的任何信息，在静止背景和运动背景 下都能够检测到独立运动的对象，并且在摄像机移动的前提下也能检测出独立 的运动目标。不足之处是由于当前景图像与背景图像的对比度比较小，图像一 般存在噪音干扰，如果直接从图像灰度强度出发来检测运动目标的光流场通常 会导致很高的误判率。因此光流计算法需要多次的迭代运算，相当复杂，时间 消耗比较大，几乎不能实现实时目标检测，实用性较差。 墨三兰生查望型塑茎奎墨丝 3 ) 帧间差分法 帧间差分是最简单的检测相邻帧图像之间变化的方法，首先通过对比视频 图像序列中连续两到三帧图像中对应像素点在灰度值上的差异，然后根据设定 的相关阀值来提取序列图像中的运动区域。 在进行对象提取时，帧间差分法的主要优点有算法容易实现，实时性比较 好。帧间差分法还对场景光线的变化不太敏感，因为一般相邻帧的时间间隔较 短。可是在实际应用当中，帧间差分法的检测结果精度较低，获得目标区域的 描述精确度不高。 综上所述，光流计算法和帧间差分法对于动态环境的适应能力较强，都适 用于摄像机移动的情形，但帧间差分法的检测精度不是很高，获得目标所在区 域的描述不是很精确；而光流计算法的计算时间复杂度相当高，在没有高性能 的硬件条件下，很难实现实时分析检测的要求。背景减除法只适用于摄像机静 止的情况，对于动态场景的变化，如光照，影子等的干扰等比较敏感。但是其 是通过将当前帧图像与背景帧图像进行比较，确定出差异比较大的区域作为运 动人体区域，准确度相对较高。在本课题中需要为后续描述和识别工作提取出 较为准确的步态区域。所以本文采用了背景减除法来提取步态对象。 2 2 2 步态特征提取 步态特征的提取和描述是步态识别的关键，步态特征提取是指采用某种方 法以特征数据的形式将步态对象特征提取并描述出来。步态特征提取和描述一 直是很多研究者的重要研究对象，其描述的效率和准确性对于识别性能的影响 也是极其重要的。步态特征提取的方法一般可以分成基于非模型的方法和基于 模型的方法两类。基于非模型的方法是直接从人体图像当中提取出要识别对象 运动所产生的变化的时空模式的各种统计值，当做步态特征。这类方法的优点 是计算量较小，实时性较好，但是识别能力容易受到干扰因素的影响。而基于 模型的方法是依据人行走时候的生物特征将人体区域分割成若干部分，并对这 些部分建模，通过匹配模型与二维图像序列的参数来获取步态特征。基于模型 的方法的优点在于能够处理遮挡问题，能够反映当前的变化，并且能估算过去 1 3 甫泵信思工程大学颂士学位论艾 和将来的变化。不足之处是计算方法相对复杂，时间复杂度高，并且对人体区 域的分割要求比较高，并且很多特征不容易被提取到。用来对步态对象进行描 述的特征通常比较多，一帮可以分为基于颜色的特征，基于文理的特征和基于 形状的特征等等。 1 ，基于颜色的特征 基于颜色特征的对象描述首先将颜色空间划分为若干个固定的子空间，然 后统计每个对象属于各个子空间的像素数目，最后用直方图来度量对象之间的 相似度。该方法基于颜色特征，具有与生俱来的平移，尺度，旋转不变性。但 不足之处是：颜色量化误差的影响比较大，以致差别细微的颜色可能会得出无 差别或者差别很大的两种颜色直方图。 2 ，基于纹理特征的方法 图像在局部区域内呈现不规则性而在整体上表现出某种规律性的特性称为 纹理。它描述了图像区域所对应的景物的表面性质：包括表面结构组织及其周 围环境关系的许多重要信息【翊。为了进行识别，需要对纹理特征进行量化处理。 第一种方法是对图像相关的属性进行统计分析，第二种方法首先找出纹理基元， 再分析结构组成上的规律。 3 ，基于形状特征的方法 对对象的形状描述主要分为两类：一类是基于边界轮廓的，另一类是基于 整体区域的。基于外边界的描述最成功的方法是傅里叶描述子，该特征具有良 好的平移，旋转，缩放不变性，十分适合描述形状的边界。基于整体区域描述 最成功的方法是不变矩，该方法首先由h u 提出，后来许多研究人员提出各种新 的不变矩及其构造方法。 2 2 3 步态对象识别 步态对象识别即采用适当的方法将要识别人体的步态特征与步态数据库中 保存的步态特征进行匹配，根据某种的分类标准判断它所属的类别。由于步态 具有运动特征，需要采用基于动态系统的识别方法对其进行分类识别，目前主 要的识别方法可以分为两类：基于概率统计和基于模板的。基于统计的方法主 1 4 第二苹步态识别的基本理论 要有隐马尔可夫模型和贝叶斯网络等，此类方法识别效果相对来说较好。基于 模板的方法主要有模板匹配和动态时间规整等。 最近几年，最近邻法、b p 神经网络、支持向量机等也受到很多研究者得青 睐，成为比较常用的分类方法。 以下简单介绍最近邻分类法，贝叶斯分类器，和神经网络分类器。 l ，最近邻法 最近邻法计算待分类步态序列特征和样本库中步态特征之间的相似度，也 就是距离，距离最近说明就可以归到同一个类中。该方法的主要优点是方法简 单，当待识别对象类别较少时计算速度较快，可靠性强，可以达到实时处理的 要求。但是这种方法有一个非常致命的不足，随着需要识别的对象的增多，该 方法的计算速度，准确率等各项识别性能都会急剧下降。 2 ，贝叶斯分类器 贝叶斯分类器是根据最小风险贝叶斯决策理论设计的，理论上来说，使用 贝叶斯分类器所带来的分类错误率应该在所有可能的分类器中是最小的。但它 一般要求已知待分类类别的数目，各个类别的先验概率和类条件概率，通常情 况下，这些条件是不具备的。但是贝叶斯分类仍然是一种有效地分类器，并且 也经常被使用。 3 ，神经网络分类器 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k ，简称a n ，又称并行处理模型或 连接机制模型，是基于模仿人类大脑的结构和功能而构成的一种信息处理系统 或计算机系统，具有很多与人类智能相类似的特点，通过训练学习而具备适应 外部环境的能力、模糊识别能力和综合推理能力【3 9 】。b p 神经网络是用的比较广 泛的，b p 网络就是利用b p 算法的多层神经网络。 在实际应用过程中，使用哪种分类识别方法通常取决于哪种分类器对于使 用者来说最为熟悉，或者使用者恰好能够得到哪种分类器。 2 3 步态数据库 步态数据库是对步态识别算法进行性能评估的一个重要依据。步态数据库 1 5 南京信息工程大学硕士学位论文 的大小和数据质量将决定识别算法的性能，一个好的数据库能体现算法的唯一 性和有效性。假设我们要来来测试一个识别算法的有效行，步态数据库中的数 据就可以直接通过在实验室内部的环境下获取；但是若想证明可以通过计算机 视觉实现步态识别，那么获得实验数据则需要通过在室外环境下录制实验者的 行走过程。我们往往期望步态数据库能够包含足够多的被测对象和实验样本， 其中的数据可以充分体现个体之间的差异以及个体内部样本之间的差异。可是 当前所建立的步态数据库比其它生物特征识别( 例如虹膜，指纹) 所使用的特征数 据库规模要小很多。 当前常用的步念数据库如下： ( 1 ) u m d ( t h eu n i v e r s i t i e so fm a r y l a n d ) 数据库，数据来源于室外拍摄，仿真 了一个监控环境，使用监控照相机口h i h p s g3 en v i r o d o m c ) 。有两个数据集：第 一个数据集中，共有2 5 个人的数据，实验者单人分别采用迎面走来、背面而去、 正侧面行走从左到右，从右到左这4 种角度行走，通过监控照相机来获得数据： 第二个数据集，共有5 5 个人的数据，实验者在t 形路上单人行走，数据采集是在 1 个月之内的不同时间，由两个摄像机以正交的视角同时拍摄。 ( 2 ) n i s t ( n a t i o n a li n s t i t u t eo fs t a n d a r d sa n dt e c h n o l o g y ) u s f ( s o u t h f l o d a 曩) 数据库，由来自1 2 2 人的1 8 7 0 个视频序列构成，通过两个不同角度的摄像 机拍摄获得的。这些数据采集都是在室外，实验者所穿鞋的种类和行走的地面 情况也不同，并反映了实际应用时的一些真实情况，例如，由于阳光引起的背 景、阴影的变动，和云朵的移动引起的阴影移动。n i s t u s f 数据库是当前包含 变化因素最多的步态数据库，己被广泛应用于各种识别算法的比较和评估，但 是由于其几乎不存在重复性，限制了对数据类间变化的分析。 ( 3 ) 南安普顿大学数据库( s o u t h a m p t o n ) t 4 0 ，包括了室内和室外两种环境下的 数据。实验者在3 种情形下行走：( a ) 绿色布背景，跑步机上；( b ) 绿色布背景， 室内：( c ) 不控制背景，室外采集，背景远处设置少量行人和汽车。其中小型 数据库至少包含1 0 人，大型数据库约1 0 0 人。数据库中涵括了鞋、衣服、重物以 及步行速度对识别的影响。