（计算机应用技术专业论文）基于轮廓的步态识别.pdf

摘要 摘要 步态识别是指通过人体走路的姿势来识别人的身份。近来年，步态识别作为一 种生物特征识别技术而备受关注。步态识别的三大优势：远距离识别，非侵犯性 和难于隐藏性，使得它可以广泛地应用到安全部门、身份鉴别、数字监控等领域。 步态识别主要由三部分构成：步态序列图像预处理、特征提取和分类识别。本文 采用傅立叶描述子，对基于轮廓的步态识别技术做了探索性的研究。 首先，采用一种自适应背景模型，实现了动态场景中的背景获取；其次，使 用背景差分图像法，结合直方图自动阈值分割和数学形态学算法实现了运动人体 检测：利用运动人体的宽高比的周期性变化来提取关键帧，并采用傅立叶描述子 对关键帧步态轮廓进行分析和优化，构建特征矢量：然后，对特征矢量进行特征 空间变换以获得可分类的低维步态特征：最后，在时空相关性分析的基础上，通 过使用标准的模式分类器最近邻法实现身份识别。本文采用中科院自动化所 提供的c a s i a 步态数据库，对本文中的算法进行了实验，结果表明该算法不仅获 得了令人鼓舞的识别性能，而且拥有相对较低的计算代价。 关键词：生物特征识别：步态识别：傅立叶描述子：最近邻法 a b s t r a c r a b s t r a c t h u m a n g a i tr e c o g n i t i o ni st h ep r o c e s so fi d e n t i f y i n gi n d i v i d u a l sb yt h e i rw a l k i n g m a n n e r s i nt h el a s ty e a r s ，a so n eo fb i o m e t r i c a lf e a t u r e s ，g a i tr e c o g n i t i o nh a sa t t r a c t e d m o r ea n dm o r er e s e a r c hi n t e r e s t i t sa d v a n t a g e sa r et h a ti ti sal o n gd i s t a n tr e c o g n i t i o n t e c h n o l o g y , n o n i n v a s i v ea n d d i f f i c u l tt oc o n c e a l 。t h e r e f o r e ，i tc a nb ea p p l i e dt os e c u r i t y s y s t e m ，h u m a ni dm a n a g e m e n t ，d i 【舀t a ls u r v e i l l a n c ea n ds oo n g e n e r a l l y , g a i t r e c o g n i t i o nc o n s i s t so ft h r e ep a r t s ：p r e p m c e s s i n go fg a i ts e q u e n c e ，f e a t u r ee x t r a c t i o n a n dc l a s s i f i c a t i o n t h eg o a lo ft h i st h e s i si st oe x p l o r et h eg a i tr e c o g n i t i o nt e c h n o l o g y b a s e do nb o d ys i l h o u e t t e sb yf o u r i e rd e s c r i p t o r s f i r s t l y ，a na d a p t i v eb a c k g r o u n dm o d e li sa p p l i e dt oe x t r a c t i n gb a c k g r o u n di n d y n a m i ce n v i r o n m e n t a tt h es a m et i m e t h ea l g o r i t h m so fa u t o m a t i ch i s t o g r a m t h r e s h o l d i n gs e g m e n t a t i o na n dm o r p h o l o g i c a lo p e r a t o r sa r eu s e d t o a c c o m p l i s ht h e m o v i n gp e r s o ns e g m e n t a t i o n f o re a c hi m a g es e q u e n c e ，c y c l i cw i d t ho fg a i ta n a l y s i si s p e r f o r m e dt oe x t r a c tk e yf r a m e s ，a n df o u r i e rd e s c r i p t o ri s u t i l i z e dt od e s c r i b eg a i t c o n t o u lt h e ne i g e n s p a c et r a n s f o r m a t i o nb a s e do nt h et r a d i t i o n a lp r i n c i p a lc o m p o n e n t a n a l y s i si sa p p l i e dt ot i m e - v a r y i n gd i s t a n c es i g n a l sd e r i v e df r o mas e q u e n c e o f s i l h o u e t t ei m a g e st or c d u c et h ed i m e n s i o n a l i t yo ft h ei n p u tf e a t u r es p a c e as u p e r v i s e d p a t t e r nc l a s s i f i c a t i o nt e c h n i q u ec a l l e dn e a r e s tn e j i g h b o ra l g o r i t h m i sf i n a l l yp e r f o r m e di n t h el o w e r - d i m e n s i o n a le i g e n s p a c ef o rr e c o g n i t i o n e x t e n s i v ee x p e r i m e n t a lr e s u l t so n c a s i ad a t a b a s ed e m o n s t r a t et h a tt h ep r o p o s e da l g o r i t h mh a s a n e n c o u r a g i n g r e c o g n i t i o np e r f o r m a n c ew i t hr e l a t i v e l yl o w e rc o m p u t a t i o n a l c o s t k e yw o r d s ：b i o m e t r i c s ；g a i tr e c o g n i t i o n ；f o u r i e rd e s c r i p t o r ；n e a r e s tn e i g h b o r a l g o r i t h m 声明 创新- 陛声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获褥西安电子斟披大学或 其它教商机构的学位或证书丽使用过的楗料。与我一嗣工作妁固态对本硪突艇微 的任何贡献均已在论文中做了明确魄说明并表示了谢意。 申请学使论文与资料蓉有不实之处，本人承担一切楣关责经。 本人签名：丕! ! 刍必 j 目凝：如6 。，。巧 关于论文使用授权的说明 本人宪全了解西安电子科技大学有关保留和使用学位论文的规定，期：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业 离校稻，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学 校有权保留送交论文的复印件，允许焱阅和借阅论文；学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或萁它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本人签名：圣地婪 导烬签名：二色孥牡 露期：一之吐三笪 翻期：兰兰i ! ：! 第一帮绪论 第一肇绪论 步态识别是生物特征识别技术的一个新兴予领域。生物特征识别是传统的模 式识嗣阉嚣，它是裁霞人熊垒理或章亍轰将：l 茳遗行久瓣囊傍谖羽。嚣蓊，天弱磷究 和使用的生物特征识别技术主要有：人脸识别、虹膜识别、手形识别、指纹识别、 掌纹识别、声青识别和步态识别等。脸像、指纹、虹膜等第代嫩物特征，通常 鬟塞返距离戆躐者接皴瞧鹣感翔( 翔攒纹鬟要接熬攒纹扫搓技、黢像需要近疆璃 的捕捉瞳提供足够的分辨鬻等) 。在远鼷离的情况下，这样的生物特征将无法使用。 此时，人的步态仍是可见的，且它可猩被观察者没有觉察的情况下从任意角度进 行菲接触性的感知和度量。因此，从视觉监控的观点来看，步态怒遘距离情况下 最有潜力静生物特 芷，及两葶l 起了广大骄究者 f 】豹浓厚兴趣。霹髓基于步态牵荸缀 的身份识别研究还停留在算法研究阶段，距离实际成用还有定的距离。本文对 基于轮廓的步态识别技术避幸亍了探索性的研究，首兜基于一种自髓应背景模型实 壤了凌悫场豢下霉景貔获墩，裁曩鸷最麓分法实现爹态检测，势簇予蹲立时接遮 子对步态轮廓进行特征描述，采用最近邻法进行识别。 1 “1 _ l 生物特征识别 1 。t 步态识别简介 随着诗棼橇籁瓣络投零鼢发震，僖崽安全显示戳蘸瑟未有静熏簧缝，露鸯徐 识别作为保诞信息安全的必要前提，也越来越受到黧视。生物特征识别技术 ( b i o m e t r i c s ) 是根据每个人独有的可以采样和测量的生物学特征和行为学特征而 送行隽爨识剃熬技术。巍予生魏特征不德各穆证终炎持骞耪郡襻褰易窈取，雹不 像密码、口令那么容易遗忘或破解，所以在身份识剐上体现了独特的优势，近年 来在国际上得到了广泛的研究。 入的任掰生理彝( 或) 葶亍为特征只要潢足以下均条俘，原则上帮可以终为生物 特征用于 r 掰：普遍瞧：这释特征燕镰个天都其露静：独特糕：任意两令人 的这种特征都不相同：稳定性：这种特征至少在定时间内( 相对某种匹配准 则) 是不变的：可采集性：这种特征w 以被定量测擞。除了以上条件外，在实际 袭统中还必缀考虑毪麓、霹接受牲、院款骧蛙等舞熬，毽羁一个蜜舔戆生物褥攥 识别系统必须满足特定的识别准确性、速度和资源要求，对使用者凭害且能被计划 蒸于轮廓的步悉识别 巾实施的人群接受，对各种欺诈和攻击手段有足够的鲁棒性。 一个典型豹生物特征识剐系统包据黄感器、特 正提取、耋薹鬻器和系缝数据痒 四个模块( 如图1 1 所示) ，可以在认证( v e r i f i c a t i o n ) 或鍪别( i d e n t i f i c a t i o n ) 两种模 式下二i ：作。认证即通过比较获得的生物特征数据和数据库中储存的生物特征模板 来验谈用户是否为他联声明豹垮份，它是一对的比较；蒸剃是通过题醚获得的 生物特征蠡据和数搬库中储存的生镌特征横载米确定用户静身份，它是一对多静 比较。本文将认证和鉴别统称为识别( r e c o g n i t i o n ) ，并小刻意去区分二者的区别。 翻11 生物特征讽划系统藤理框图 生物特征可分努生理特征郭行为特征人体所固有的主e 鹫特往包耩疆部特 征、指纹、手型、掌纹、虹膜、视网膜、体睐、耳廓、繁因( d n a ) 、体热辐射以 及手部i 面部静脉瓶管模式等，这些特征不随客观条件和主观意愿而改变。人体的 行为特征雹括手势、签名、语毒、步态等，这些都与螽天酃境葬残豹 亍为习缎有 关。 生物特征识别技术是基于个人独特的生理年n 行为特征进行自动身份验证的技 术，不但在学术上有极大的研究徐焦，两且有觜投广泛的愈罔领域，为信息化社会 酲益增长的保密称赞全需求援供了穰好的解决方案。近年来，其研究成果帮应用产 品的数量直线上升。随着生物特征传感器成本的不断下降和人们接受程度的不断 提高，生物特征识别技术必然取代过时的、不安全的身份认诞方法，成为保密、安 全、方镬熬鸯誊 谈j | ；| 手段。 i 1 2 步态识别 步态识别主要是通过人体蹙路的姿势采识捌人的身份。由于个体之间身体结 构和运动行为上的基本特性不同，步态运动为人的识别提供了独特的线索。步态 识别技术在近儿鼯堡褥到了广泛的关注和研究，依托于图像理解、模式识别、计 算枫褫觉窝神经嘲络等技术，步态谖羽技拳在一定应瑁范疆蠹获得了成功，并且 正在被推向更广的应用领域。我国刑事技术中，对步态特征的研究和运用已进行 了几十年，并运用步态特征分析作案人的特点以及确定作察人。美圈豳肪高级研 究项强攫构投撂步态特诬，发唾了步态识别技术，凌技术可以援据人行走时的步 态特征避行身份识别。步态识剐系统可以监视系统联机，达到资源藏事。其工 第一章绪论 3 作原理是：首先将某个人( 通常是重点控制对象) 的“步法标志”输入到数据库中， 步态识别时通过摄像头记录下被监测者的腿长及步行姿势，然后将其转换成数字 信号，再利用计算机将数字信号的数据与数据库中存贮的“步法标志”进行比较， 从而识别被监测者的身份。 人的步态是一种日益受到重视的生物测量特征。所谓步态，就是指人在行走 时的姿势，这是一种复杂的行为特征。众所周知，人们的行走动作千姿百态、各 不相同。有的人低头小步，有的人昂首阔步，有的人左摇右摆，有的人挺胸直腰。 研究表明，一个人在行走时，双脚动作和身体其他部位的姿势是独一无二的。而 且这种姿势具有相对稳定性，在一定的时间范围和相同的步行环境下不容易改变， 人们据此可揭示出行走人的身份。与其他生物识别技术，诸如指纹识别、眼虹膜 识别和声音识别相比较，步态识别具有以下几点独特的特性： 非侵犯性、非接触性 、行走的步态信息是被被动提取的，即用户并不知 道他或她正在被观察和分析。在信息收集阶段，步态不像指纹和虹膜识别那样需 要用户的密切协作，主动接触指纹仪、注视虹膜捕捉等。 难于隐藏和伪装例如银行抢劫犯通常会戴上头盔、面罩、眼镜和手套， 此时人脸和指纹等其他生物特征不再发挥作用。然而，人必须行走，因此人的步 态通常是可见的。同时，人一般不会伪装自己的行走行为。如果设法这样做的话， 他或她的奇怪行为在视觉监控中将表现得更加可疑。 易于采集步态识别不要求所捕捉的图像必须有非常高的质量，然而其他 生物特征识别技术通常在分辨率低或图像模糊时无法进行识别。 远距离识别指纹和脸像等生物特征通常需要近距离或者接触性的感知， 而步态完全可以远距离地进行捕捉，因此它提供了在远距离情况下识别人的可能 性。步态可以通过远距离的摄像机捕获，因此和其他生物测量方法相比，步态是唯 一不受距离影响的生物特征l l 】。 步态识别输入的是一段行走的视频图像序列，因此其数据采集与面像识别类 似，具有非侵犯性和可接受性。但由于序列图像的数据量较大，步态识别的计算 复杂性比较高，因此处理起来也比较困难。 步态识别分析可以划分为特征抽取、特征处理和识别分类三个阶段，如图1 2 所示。特征抽取和特征处理是本文分析的重点，而识别分类目前都采用经典统计模 式识别的常用度量和分类器。 图1 2 步态自动识别系统框图 吐 基于轮廓的步态识别 1 2 步态识别技术的应用前景和研究动态 基于步态特征的身份识别技术具有广泛的应用前景，可以应用于军事场景监 控、国家重要安全部门、敏感的公共场合监控和高级社区保安监控等等。步态识 别技术与通常依赖于人体近距离或接触性的第一代身份识别技术如指纹、虹膜、 掌形等不同，是利用人的步行姿势和习惯动作特征进行身份识别。一个人走路的 姿态最易于秘密地远距离捕获，识别过程不需要被监测人的配合，不需接触识别 设备，被监测人被进行身份识别而不自知。因此，步态识别技术被认为是目前最 先进的身份识别技术之一，非常适用于预防恐陌事件发生，可运用于机场、政府 要害部门等重要场所的安全监测。“9 11 ”事件发生后，该技术被应用在机场的 安全监测中，用来确认登机旅客的身份，发现已知恐怖分子的行踪，掌握有关嫌 疑人员的活动规律，防止恐怖事件的发生。步态识别技术的使用，将增强人们对 重要场所的安全监测能力，有助于人们防御来自恐怖分子的袭击。虽然步态识别 技术的效果在目前还不尽如人意，系统的准确率不够高，而且成本较高，但这项 技术有着美好的应用前景。 目前，利用步态作为一种生物识别特征在计算机视觉及模式识别领域中还是 一个新的研究课题。此课题研究既要有基于视觉的人体运动分析的背景知识，又 要有步态的生物力学分析、生物特征识别等研究领域的背景知识，需要多个学科 领域的理论知识，知识综合性较强。与人脸识别、指纹识别等二维图像的识别不 同，步态序列是二维图像序列，数据量大，步态状态变化的数学建模、特征压缩 与提取、分类识别难度比较大，因此基于步态的身份识别是一个具有挑战性的课 题。 尽管步态识别是一个新的研究领域，近年来已引起了各国学术科研机构的重 视，并涌现出一些尝试性的工作。美国高级研究项目署d a r p a 在2 0 0 0 年资助的重大 项目h i d 计划( h u m a ni d e n t i f i c a t i o na tad i s t a n c e ) ，它的任务就是开发多模式的 监控技术以实现远距离情况下人的检测、分类和识别。马里兰大学( u m l ) 、南安 普顿大学( s o t o n ) 、麻省理工大学( m i d 、等著名大学和科研机构相继开始进行基于 计算机视觉和步态识别方法的研究。马里兰大学的c b e n a b d e l k a d e r 等【3 9 用步态序 列自相关图( s s p ) 来提取步态特征；南安普顿大学的j p f o s t e r 等l , t o 提出采用区域测 量的方法来解决步态识别的问题：y 0 0 1 2 等人应用了人躯体结构的段状统计特性， 进行躯体的拓扑分析，提取人体的运动外轮廓，进而简化为一种2 d 的s t i c kf i g u r e l i t t l e 与b o y d l 3 】使用的步态特征称为n es h a p eo f m o t i o n ，目的是计算运动图像的光 流，从中获取频率和相位特征来识别个人；c u n a d o 等人1 4 1 不仅考虑人行走过程中双 腿的运动情况，用链接的钟摆模拟腿部的运动变化，并且从腿的摆动过程中提取 第一章绪论 5 腿部倾斜角度的频率变化特征；l e e l 5 悃多个椭圆表示躯体的不同部分，将人体模 型化，然后提取这些椭圆的质一t l , 位置、离心率等参数用于识别；s h u t l e r 等 6 1 提出了 一种基于时间矩的统计步态识别算法；王亮【7 】提取运动人体的外轮廓，计算人体质 心，然后计算运动过程中轮廓上每个点与质心的欧氏距离作为人的步态特征。 步态识别作为一个新兴的研究领域，具有重要的理论研究意义和实用价值。但 是需要强调的是，目前有关步态识别的研究尚处于理论探索阶段，远远没有达到实 用阶段。 1 3 本文的研究内容和章节安排 基于步态识别的远距离身份认证系统所涉及到的几项关键技术包括：视频处 理、图像处理、模式识别。步态识别主要是针对含有人的运动图像序列进行分析 处理，通常包括人体的步态检测，特征提取与描述，步态识别几个过程。本文针对步 态识别系统的各个组成部分，作了以下研究工作： 背景建模：已知人行走时的图像序列，从图像序列中恢复背景图像； 运动分割及二值化：利用当前图像与背景图像的差分来检测出运动区域，并 进行二值化处理； 前景检测：对检测出的人体运动区域，使用形态学算子等操作进行后处理， 滤除噪声和填补空洞，并提取步态轮廓； 基于傅立叶描述子的训练：采用傅立叶描述子表示步态数据库中的每个序列 的轮廓特征，并通过特征空间变换进行训练，得到特征向量； 识别：给定测试序列，在训练阶段抽取特征向量后，计算其与每个样本的特 征向量的距离，具有最短距离的即为识别的人。 本文的结构安排： 第一章简要介绍了步态识别的特点和相关概念、步态识别技术的应用前景和 研究动态，以及本文的研究工作。 第二章介绍了步态识别技术的理论背景：步态的定义阻及人们仅根据观察到 的步态信息识别他人身份的能力；用计算机视觉方法进行步态识别的一些关键问 题：基于步态识别的方法和研究成果。 第三章对步态图像预处理进行了讨论。预处理工作主要包括：序列图像背景 建模、人体运动分割及后处理。本文首先采用一种自适应背景模型从输入序列图 像中获取背景，并进行时刻更新；然后采用背景差分图像法，同时结合直方图自 动阈值分割从存在运动对象的场景中检测出人体运动区域；最后对运动人体i 蛩像 进行形态学后处理，以得到较理想的步态轮廓，提高识别率。 基丁轮廓的步态识别 第四章主要讨论了步态特征的提取与选择，以及如何进行分类识别。利用人 体行走过程中步态轮廓的宽高比的周期性变化提取出运动关键帧；并采用傅立叶 描述子对关键帧图像的步态轮廓进行分析，构建特征矢量：然后对特征矢量进行 特征空间变换来获得可分类的低维步态特征；最后，在时空相关性分析的基础上， 通过使用标准的模式分类器最近邻法实现身份识别。实验结果表明，该算法 具有较高的识别率。 最后在结论部分对全文进行了总结并展望了未来的研究工作。 第二章步态识别的理论和方法 第二章步态识别的理论和方法 本章首先讨论步态识别技术相关的理论和知识：步态的定义、步态与其他生 物特征相比的优点和缺点，以及人们通过步态信息进行身份认证的能力。然后， 介绍步态识别过程的体系结构、关键技术环节，以及几种典型的识别方法，并对 其进行比较。 2 1 步态 步态就是个体独特的行走方式。人体步态被定义为一种可重复的由于人体有 节奏的运动所形成的运动模式，通过这种人体下肢发挥主要作用的模式，人从一 个地方移动到了另一个地方。人每走一步，都不断地需要地面反作用力来推动人 体朝着行进的方向前进【8 i 。步态是指在运动过程中，步行者的肢体在时间和空间上 的一种协调关羲是移动着的腿的有规律的重复顺序和方式。 步态相比其他的生物特征，有以下优点：远距离识别；非侵犯性；难于隐藏性； 易于捕捉。同时，也存在以下缺点：序列图像的数据量较大，步态识别的计算复 杂性比较高；识别率不高；受环境的影响较大。步行者通过协调步态到体态的运 动实现双足行走。为了保持身体平衡，必须保证所承受的所有外力之合力的作用线 通过支撑足，并处在支撑足与地面接触的区域内。即使在奔跑中双足腾空时，同样 要保证后续步伐的支撑足在落地过程中满足这一平衡条件，否则将失去运动的稳 定性和连续性。因此，人的步态和体态总是表现出随着双腿迈步，支撑点在双足间 交替轮换，上部体态左右摇摆。与此同时，一些关键的关节和躯体部位按照跨步的 频率，周期性地进行着时间和空间上的位置变化。图2 1 表示出了人体在行走时的 步态循环。图2 1 中l r 表示身体载荷响应：m s w 表示中间姿态：t s w 表示迈步终了 姿态；p s 表示摆步前预备姿态：m s w 表示中间摆步；t s w 表示摆步终了。研究表明， 在不同的运动方式下，随着运动速度的变化，人体步态周期参数在时间和空间关系 上具有较大的差异。 0o0 回0o囝 o ( a ) 步行体形 靳曲竺+ 旦# # l c t of c 图2 1 人体运动的步态周期 ( b ) 步行步态周期 基丁：轮廓的步态识别 人体正常的行走具有周期性和重复性，步态被分解为几个周期，每个周期都 是一组在一段时间内连续发生的足部位置变换。另一方面，人体行走速度经常变 化。一个步态周期被定义为：当身体向前移动将身体的重量放在前脚的跟部的时 候为周期开始，当同一只脚的跟部再一次落地的时候为周期结束【9 1 。在整个步态周 期中，存在单一支撑阶段单足与地面接触和双支撑阶段双足与地面接触。 在双支撑阶段，双足分得最开，身体的重量由双足分担。 2 2 人对步态信息的敏感 那些善于观察的人很快就能记住人们行走时产生的不同的身份信息，但是仅 仅通过观察人们的步态我们可以识别出人们的身份么? k o z l o w s k i 和c u t t i n g 做了两 个实验，对此进行了探索。 第一个实验是考察人们是否具有仅借助于人的步态识别其性别的能力。实验 的对象是相同身高的三位女性和三位男性。在他们身上的主要关节处缚上一些点 光源，然后拍下他们沿着平行于摄像机视平面的方向行走的图像序列，经过处理 后使得图像序列中只有点光源是可见的。最后让3 0 位观察者通过观察图像序列来 识别每一组运动的点光源的产生者的性别。实验对象中有三位的性别的正确识别 率为7 2 ；另外两位的性别的正确识别率为6 7 ；最后一位女性实验对象的性别的 正确识别率只有3 2 。除了最后一位女性，所有实验对象的正确识别率都大于随机 概率5 0 ，这表明行人的性别是可以由其步态决定的。 另一个实验是探索人们仅通过步态识别他们朋友的身份的能力。与前一个实 验相似，先给关节处缚上点光源再拍摄他们行走的图像。在这项研究中，有三对 彼此认识的男女，让他们根据点光源图像来识别彼此的身份。实验结果表明总体 正确识别率为3 8 ，大于随机概率1 6 7 。当实验主体对他们的选择最有把握的时 候，其正确识别率为7 5 ；当他们最没有把握的时候，其正确识别率为2 4 。 s t e v e n a g e n i x o n 和v i n c e 对于人们仅根据步态信息识别他人身份的能力也进 行了探索。在第一个实验中，他们首先将一群人分为三组，并让这群人研究六个 主体行走的视频序列。其中让第一组人观察这些主体在模拟的白天中行走，此时 行人的轮廓和运动是很清晰的；让第二组人观察这些主体在模拟的黑暗中行走， 此时行人的轮廓和运动很难被看清：让第三组人观察行人的点光源序列图像。结 果这三组人都可以记住这六个主体的步态，并且无论从哪个角度观察都可以鉴别 出他们的身份。在第二个实验中，他们仅给另一群人两秒钟时间观察一个主体， 然后让他们在与第一个实验相同的观察条件下，从一队行人中挑选出那个主体。 结果4 8 个人中有2 4 个人可以正确识别出那个主体。 第二章步态识别的理论和方法 在c a r n e g i em e l l o n 大学的机器人研究机构研究人员，采用在健身器带上拍摄走 路或跑步的方法开始研究每个人的运动信号，拴在计算机上的模拟照相机捕捉和 储存这一运动行为。软件工具移去任何背景尺码，剩下每一物体的一系列轮廓， 然后把它作为数字形象储存起来。同一人把他的整个走路过程拍摄下来，然后根 据储存的形象，指令计算机确定这个人的身份。“这系统很好地归纳所有不同的 步伐，”机器人研究机构的研究科学家r o b e r tc o l l i n s 说， “迄今为止，我们获得 9 0 - 9 5 的正确匹配。” 这些实验表明仅凭步态信患，人就可以识别出他人的身份。尽管识别结果不 尽完美，但是这些结果显示人是具有依靠受损的步态信息识别身份的能力的。这 进一步表明步态中存在个体的身份信息，同时也证实了基于步态的性别和身份识 别的可行性。这为我们开发基于步态的自动身份识别系统提供了依据。 2 3 步态识别系统的结构和关键环节 基于步态的远距离身份识别涉及到人的步态运动分割与步态检测、步态特征提 取和步态行为识别三个主要步骤，其系统如图2 2 所示。基于步态识别的远距离身 份认证系统所涉及到的几项关键技术包括：视频处理、图像处理、模式识别。步态 识别系统主要包含步态数据库模块、运动分割和步态检测模块、特征提取与处理 模块以及分类识别模块。下面针对步态识别过程中的各个环节以及其中的方法、 算法分别进行概述。 图2 2 步态识别原理框图 蒸予轮廓翩争态谈剐 2 3 1 运动分割与步态检测 邋动分割的目的是从序列图像中将变化隰域从背景图像中提取出来。运动区 域的有效分割对于目标分类、特征提取、特征表达与最后的识别等后期处理是非 零重骤弱，嚣为班嚣躲处理过鬏仅仅考虑图豫中对应予运动嚣壤戆稼素。然蔼，虫 子背景图像的动淼嶷纯，如天气、光照、影予教混鬣干扰等静影响，使褥遥动分裁 成为项相当困难的工作。 逡动分割可以分为在静止和运动背景下邋动目标豹检测和提取。现眷的运动 努裁露法大俸可分麓翅下三类： ( 1 ) 帧间差分f 4 i 郴1 。差分法魑最为常用的i 蠢动目标检测和分割方法之一。此方 法的特点是速度快，适用于实时性要求较高的应用环境；不足在于算法对环境噪声 竣尧皱惩，- 碧虽基予差分法豹运渤巨蠢分割穗发没奏黎疆。 ( 2 ) 背景估计图像与当前圈蒙帧差l 禧蚯】。除差分法外，背景估计是解决静止或 缓变背景下运动目标检测和分割的另一条思路。这类方法的优点在于对复杂背景 情况效果较好，它一般能够提供缀完全的特 嫉数据，担对予动态场景的变化，如光 照帮终来无关事佟豹于抗等特鞠敏感。 ( 3 ) 基于运动场估计的方法【1 0 l 。此类方法通过视频序列的时空相关性分析估计 运动场，建立相邻帧对应关系，进而利用目标与背景表观遴动模式不同谶行运动目 蠢戆捡锲l 与分害l 。 2 3 2 特征抽取和特征处理 姆征擒取和特径楚理是步态识别系统的黧点环节，露鼋；= l 溺分类露蔷簪都采用经 典统计模式识别的常用度量和分类器，对此不再赘述。步态的许多特性都可以用作 识别，它们可分为两类：静态特撼和动态特征。前者通常殿映了人体的几何特性，如 骞蠢鞠体形；蠢舔爱疆静是行走辩熬关节变纯。直觉土，萝悫谖襄主要辕羧静态装 征随时间变化的结果。所以，目前关于步态识别的工作主骤集中在使用底层的静态 信息( 如轮廓) ，只有少数工作使用了高层信息( 如关节角度、生理结构) ，尽管这些 特蔹缀麓复映步态模式戆本矮。 步态特征提取与表达是步态谈掰的关键，可以分秀基予模型的方法秘免模鍪 方法。基于模型的方法是将人用合适的模型擞达，跟踪分析模型的参数，进行步态 的识劁。免模型的方法是利用髓标移动所产生的时空模式的各类统计假，直接从人 体蚕缳当中提取臻步态藤特铤数疆瘸手步态瓣识羯e 2 3 2 1 免模型方法 第二章步态识别的理论和方法 免模型方法不需要构建模型，而是先对待研究的对象提出假设，然后用图像序 列中目标移动所产生的时空模式的各类统计值，从步态中提取特征参数。这类算法 和身体的结构、步行的动态特性没有直接关系。 l i t t l e 与b o d y l 3 1 从光流图像中获取频率和相位特征来识别个人，文中采用“运 动形状”( s h a p e o f m o t i o n ) 概念来描述目标的瞬时运动，而“运动形状”取决于运 动目标的类型和运动的类型。基于这种认识，通过对运动外形周期性变化的光流分 析可以达到识别目的。m u r a s e “】提出了一种时空相关匹配的方法用于区别不同的 步态。s h u t l e r 等【1 2 魄出了一种基于时间矩的统计步态识别算法：h a y f r o n a c q u a h 1 3 】 使用广义对称性算子进行步态识别。w a n g i “j 提出了一种基于轮廓的解卷绕步态识 别方法，从轮廓组成点和重心之间连线构成特征向量集：h u a n g 坫】从步态时空信息 中抽取特征，再运用主元分析法( p r i n c i p a lc o m p o n e n t a n a l y s i s ，p c a ) 对特征数据进 行降维处理：k a l e ”j 采取的是一种以步行人的轮廓的宽度为提取特征的识别方法， 使用动态时间规戈1 ( d y n a m i ct i m ew a r p i n g ，d a v e ) 进行待测特征向量序列和样本序 列的匹配。k a l e l l 7 , 1 8 】从每一个对象的图像序列中选择、建立一组样本，使用这些样 本生成一个维数较低的样本距离框架矢量，然后对连续隐马尔可夫模型进行训练， 对各模型输入待测样本，根据输出结果即可达到识别目的。 上述兔模型的方法，其特点是计算量较小，有助于在实用环节中达到实时运算 的目的，但对背景和光照信号的变化敏感，一旦场景中出现遮挡现象识别能力将受 到较大影响。 2 3 2 2 基于模型的方法 基于模型的步态识别方法预先建立模型，通过模型和二维图像序列的匹配获 得模型参数，则参数的比较结果等价于识别结果。遮挡现象在实际应用中随时都可 能出现，人的步行存在着携带诸如提包、雨伞、背包等足以改变外形、掩盖部分人 体的现象：在很多运动场合，还存在着人的身体自我遮挡的现象。另外，同一个人身 着不同种类的鞋和衣服，也会导致身体在二维平面的投影出现变化，对于免模型方 法而言，显然会造成影响。对步态识别研究而言，成功解决遮挡问题是至关重要的， 而基于模型的步态分析就有这方面的优势，原因在于模型是依赖于序列图像中人 的移动模式而建立，能够反映当前的变化，还能对过去和将来的变化进行估算。 基于模型的步态识别方法预先建立模型，通过模型和二维图像序列的匹配获 得模型参数，则参数的比较结果等价于识别结果。 鉴于模型方法的重要性，有必要对目前所使用的主要模型作简要分析： 1 ) l e e 5 】构建的椭圆模型 l 七e 首先对人体侧面投影所构成轮廓图像进行二值化处理，依据质心比例关系 将人体分成7 个部分，用椭圆对每一部分建模，以椭圆的质心、离心率等参数作为反 映人体步态的特征参数，如图2 3 所示。 基于轮廓的出态识别 图，3i ，自e 的椭圆模型 经过质心的垂直线将轮廓图划分为两部分，再水平分割为7 个区域：h 头胸 区域：n 一酋于：n 一麝躯干：1 4 一裁大腿：马一蓐丈髓：取一前小腿和前罡： 竹一后小腿翻后足。 待提取参数包括椭圆参数( 椭圆半径比值l 、椭圆主轴夹角n 年口椭圆质一t 3 坐标 ( ( i 嚣、) 以及轮廓参数i 人体厦心高度值抽。因此，对每一峨形成告计2 9 个待定 参数。区域国最： f ( r 。) = ( 獬，y i ，b ，“t ) ；帧向量：f j = ( f ( i 1 ) ，f ( 1 2 ) ，f ( t j ) ) 。 2 ) n a s h 【”l 耄最的人字型模型 n a s h 骥鬻蛐霹2 ，4 瓢乖，赫若爵变叉患静x 鞋坐赫：磺示交叉点扮y 轴坐标：a 嵌示两条支线的夹角度量值；l 表示支缝长度：w 表示支线宽度。 x 醴24n a s h 建立的 字型攒型 3 ) c u n a d o m 建立的钟攥模型 c u n a d o 樽烈如圈2 + 5 新示，是基于穗邦特征抽取步惑时变参数的攘型。罔位移 委凝c x 0 痢c 3 , ( t ) 表示大塍抟移动，蛭角m ( n 表示大髓的旋转。c 瑚l n d o 等的自l ：据 竣榘方赣道过将臀部的旋转建模为个二级傅立时级数，对步态避扦了分析。首 先，将天艇建模为一壤穆动的线条，箕参数为骨盆超始位置的x 坐栝和y 坐拣、它 穆轴的建度以及臀部的旋转。使用速度喑爽变换( v c l o c h yh o u g h t r a n s f o r m ) 为这 掇谚魂线条静束翔参数麓建个景觏室阉，在这个空阂串包台臀部掩转静博蛊 级数参数。沿着每一帧围像序列中的太醌部位的边茹点收集所需要的证据。 lb 鹭2 5 怕n 划。建立的钟摆横型 第二章步态谖翻的理论和方法 4 ) 线图模溅【2 。如文献1 2 l l 根据解剖学的知识假设人体的高度为h ，则依据解剖 学豹数据程应黢脖颈、寝魏、罄盆、骧豢鞠脚躁的离炭分别巍0 1 8 7 渊，0 1 8 1 8 h ， 0 1 7 2 0 h ，0 1 2 8 5 h ，0 1 0 3 9 h 。利稍线段表示身体的不同部分，在图像序列中跟踪各个 部分的摆动角魔，利用摆动的角度作为特征进行步态识别。 2 3 ，3 分类蓼 = 羁 由于步态数据一般来说是时变多变量的数据，步态的识别匹配算法主要有动 态辩阉甄正( d t w ) ，戆马尔爵夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 冀法。 动态时间瀚芷具有概念篱单、算法簧棒的优点，早期被广泛的斑溺于语音识翻 领域。利用d t w f i j 以在测试序列与参考序列的时间尺度不致的情况下较好地完成 测试序列与参考序列之间的模式匹配。在菠常的步行状态下，步态璺现可重复性， 远孩子呈褒褥麓特征：舅一方嚣，瑗实步行孛存在蓑速率嶷 ：兹瑗象，帮簿一个天 步行的速率不能唯一确定，样本的采样也只能取部分速率和方向的样本序列，不可 能取得所有速率的步态样本序列。因此，样本待测序列和样本序列的匹配呈现动态 聪# 静态特性。i e 蠢e 1 1 s l 采髑渤态跨阕甄剡辫特测痔列秘撵零摩裂避行疆配怼魄，怼 步行中可能出域的速率变化进行非线性调整，并且获得了满意的缩纂。 h m m 的使用涉及到训练和分类两个阶段，训练阶段包括指定个隐马尔可夫 模型的隐藏状态数，并且优他楣应的状态转换和输出概率。分类阶段涉及到一个特 定的 6 掰可缝产生相应予蕨鼹察图像特鬣麓溺试符号露翔懿禳率的话舞。豫骂尔哥 夫模型是状态空间模型的一种方法，它定义每个静态帧( 样本) 作为个状态，这 楚状态之间通过某种概率联系起来。因此，一个步态序列可以被认为是不同静态样 本羧静各静获悫戆组合，然瑟羁瘸联台攮攀 笞受露秀麴缡熬魏羁接受l 。蔫对应予不 同状态的特征向量来描述人的结构特性，鳓时周转移矩阵模拟状态闻的转换来表 诬人体步态的幼态特性。训练是利用模篓! 为每个类别产生符号模式：模型参数的优 化邋掌粟瘸b a u m w e l c h 算法实现：识别是数给定序列鼹像下蔚匈计算媳结果两确 定的。k a l e 1 l ；f 1 s u n d a r e s a n i2 2 】采用酶舄尔可夫穰黧获褥了良努瀚谖掰结果。 2 3 4 近期研究成果 目前，在使用k 最近邻分类器的情况下，基于步态的自动身份谈捌技术在小样 本数据库( 通常不超过1 0 人) 中的识别率在7 9 到1 0 0 之间。但是i = ；| | 于无法理解特 缝向量鹣内在浚嬲2 力，程小撵本数据露上耩摄道黔淤剐能力不其餐说服力。不 过前入的这些工作为未来的研究打下了良努的基磷，覆楚在小样本数据库上酶袋 蒸于轮廓的步态识别 功经验让我们看到了步态识别用于识别身份的潜力。 2 4 本章小结 本章主要就步态识别技术研究的理论背娥( 步态的寇义、人们仅擞据观察到 静步悫信意识掰穗入身份雏栽力 彳乍了详绥瓣奔缮。对步态识臻系统瓣结搀遗嚣 了总体的概述，并就其中的关键技术环节、以及这些环节所用到的各种方法分别 进行了阐述。最尉，通过考察疹态识别的近期研究成果，证实了基于步态的自动 骞狳浚裂按拳戆哥学整及磅究藏篾。尽管基予步态豹自动囊份谈别技术是一令囊 兴的研究领域，醑前也已经涌现出许多尝试性的研究工作，他们的研究成果让我 们看到了步态识别用于识别身份的能力。 第三章步态强像的预处理 第三辈步态图像的预处理 3 1 引言 在对视频序歹u 图像分析时，首先要确定所分析的运动目标图像隰域，分割出 目标，然后提取出目标特征，再对这些特征进行匹配。因此在研究目标特征时必 须先找到运动爨橡区域。步态图豫的预处理就是将前景麓标扶背景中分割出来， 静完成裁最帮鹜袋静分离。这一工作由谣帮分缀盛：蓄巍鼠蚕像_ 旁麓中恢复背景 图像；再在获取的背景图像的基础上检测出运动人体。 在场景中没有运动对象的情况下，可以直接取得背紧对象。但程许多实际应 溺场合中蘩存东遮动薄象，窝砖蹇速公鼹上踌嚣戆夔控，甭霹戆中鼗交蘧来提取 背景。而且背景阉像会随莆场案的动态变化而不断地变化，因此需翳肖一种背景 模趔能够不断获取最新的背聚图像，以实现动态场景中的背景获取和更新。本章 最孀一种自适殿鸷景模型在动态场景孛获敬背景，并将其与以往的方法进行性能 一的比较。 从图像序列检测出运动的人体，是步态识别技术研究的起始关镳步骤。为了 跟踪图像序列中人体的运动，首先需要把感兴趣的人体鼷标从图像中提取出来， 葵搜掰戆主要方法藏是运魏嚣躐分割鼓零。运动区域豹蠢效分裁怼予嚣舞分类、 跟踪和行为理解等后期处理非常重要。因为以后的处理过程仅仅考虑图像中对应 于运动区域的像索。然而，由于背景图像的动态变化，如天气、光照、影子及混 惑干挠等豹影镳，搜褥运动撩测成为一瑗攫当困难豹工据。本章主要烟缒出强前 几种常用的运韵分害l 方法，弗将一种营逶应的背景穰蘩波翔于差分瀚像算法进行 人体运动检测；在此基础上结合直方图自动阈值分割技术和数学形态学算法提出 了运动人体的精确分割算法。实验结果表明上述算法对于存在运动对象的场景中 翁运动天体实辩分裁楚专分蠢效戆。 3 2 自适应背景模型 一段步行聚像序列，通常不会有单独的背景，那麟需要获录像侉翔中提取骛 景。在国内外对步态检测和识别的研究中，有很多背娥提取的方法。背景提取的 准确与否，直接关系到最终捡测结果的墩确性。在以谯的文献中，弑取背景的方 法主要骞蔽下死稃： 方法一：以初始帧或平均值法，最简单的方法是猩没有运动对蒙的情况下， 1 6 基于耱痛懿箩态浚剐 取第一帧做背景，成是取前几帧的平均值做背景。 方法二：孛灏餐，竣x l ，x 孙，憝秀菜个像素熹最逡n 令亮发馕，囊 m e d i a n ( x l , x 2 ，x 。 衷示该点的曹潦模型，m e d i a n 为取中僵运舞。 方法三：w 4 方法1 ，在没有前景对象的情况下，对场景i 提行一段时间的观测， 记录每个像素点数最大亮凌值m 憾y ) ，最小亮壤撞n 弘，y ) ，以及相邻两帧闼亮瘦 差弄静激丈蓬o ( x ，辩，薅这三个蠖表示鹜蒙模燮。 方法四：文献 2 4 】采用类h a u s d o r f f 距离建模方法建立初始背景。h a u s d o r f f 距 离可用涞度量两个点集最不匹配的程度，己被广泛地应用