（计算机科学与技术专业论文）基于步态的身份识别研究.pdf

浙江人学博十学位论文摘要 摘要 生物特征识别技术是基于个人的生理特征或行为特征进行身份鉴别的技术 步态识别作为一种新兴的生物特征识别技术 与其它生物特征识别技术相比 其 最大的特点在于可以在远距离进行识别 此外 它还具有非强迫性 不易隐藏或 模仿等特点 这些特点使得步态识别在近些年成为生物特征识别技术中倍受关注 的热点 目前的步态识别技术主要是基于摄像机拍摄的行走视频进行研究 一个 完整的步态识别过程通常包括从视频图像中提取步态轮廓图 从步态轮廓图中提 取特征 对步态特征进行分类这几个步骤 本文侧重远距离及复杂背景下步态识 别的研究 研究的主要内容包括步态周期估算 异常步态轮廓图校正 尤其是各 种步态特征的提取 表达及分类方法 具体而言 本文的研究成果与创新点主要包括 1 提出一个新的步态周期计算方法 定义并计算出步态序列中每幅步态轮廓图 的摆动距离来衡量人体的摆动程度 基于摆动距离呈现出的明显周期性计算 出步态周期 该周期估算方法对低质量的步态轮廓图具有很好的适应性 避 免了现有算法的一些计算误差 2 提出一个新的异常步态轮廓图检测及校正算法 定义并计算出轮廓图距离来 检测步态轮廓图出现的明显异常 轮廓图距离是每幅步态轮廓图与平均轮廓 图的距离 它弱化了步态的周期性并突出了图像的异常 对于检测出的异常 步态轮廓图 通过平均近邻图与平均轮廓图重建该图像 此算法不需手工标 记可以自动进行 校正后的步态轮廓图质量得到很大提高 并保持了步态序 列的连贯性 3 为了提高现有算法对不同拍摄条件变化的适应性 本文提出了一个基于增强 步态能量图的步态识别算法 它根据步态形状随不同拍摄条件变化的特点 由两个系列的图像模板构造增强步态能量图 并使用增强步态能量图作为表 示步态对象的特征 实验结果显示 该算法的平均识别率较其它几个典型算 浙江大学博 l 学位论文摘要 法有较大提高 尤其是对路面变化的适应性提高很多 4 为了进一步利用步态的动态特性进行识别 本文提出了一个基于主运动轮廓 线的步态识别算法 该算法从步态轮廓线提取三段代表人体主要运动的部分 基于它们到质心的横向距离构造描述步态图像序列的三个特征矩阵 然后采 用主分量分析和多元判别分析对特征矩阵进行变换和分类 实验表明 与三 个典型算法相比 该算法的平均识别率明显更高 尤其在挎包 衣着及时间 变化时识别率有大幅提高 5 为了更好地将步态的静态特性与动态特性结合在一起 本文提出了一系列利 用步态的平均与偏移特性共同进行识别的算法 此类算法首先构造出几种不 同的基准图像模板 再根据基准模板计算出步态轮廓图的偏移量 组合成步 态偏移图 接着利用步态能量图或增强步态能量图得到步态平均图像 最后 通过不同的融合方式使用步态偏移图与步态平均图像共同构成描述步态对象 的特征 实验结果表明此类算法的识别率明显高于几个典型算法 并且能够 在保持视角变化时较高识别率的同时 提高其它拍摄条件变化时的识别率 在该系列算法中最为突出的是基于瞬时能量偏移图的校正后算法 其平均识 别率远高于其它算法 关键词 生物特征 步态表示 步态识别 特征提取 模式分类 步态周期 轮廓线 浙 t 人学博士学位论文a b s t r a c t a b s t r a c t b i o m e t r i ei sap h y s i o l o g i c a lo rb e h a v i o u r a lc h a r a c t e r i s t i c w h i c hc a nb eu s e dt o i d e n t i f ya n dv e r i f yt h ei d e n t i t yo fa ni n d i v i d u a l a san e wb i o m e t r i c s g a i ti sa p p e a l i n g b e c a u s eo fi tc a i lb eo b s e r v e da tad i s t a n c e w h i l ei ti sn o tf o r c e ds p e c i a lo p e r a t i o n d i m c u l tt oc o n c e a l a n dd i f f i c u l tt oi m i t a t e g a i tr e c o g n i t i o nr e s e a r c hc u r r e n t l yh a s f o c u s e do na n a l y z i n gv i d e os e q u e n c e so fh u m a nw a l k sd i r e c t l y t h ep r o c e d u r eo fg a i t r e c o g n i t i o ni n c l u d e ss u b j e c ts e g m e n t a t i o n e x t r a c tf o r e g r o u n ds u b j e c t sf r o mv i d e o s e q u e n c e s f e a t u r ee x t r a c t i o n e x t r a c tr e l e v a n tg a i tf e a t u r e sf r o ms e g m e n t e ds i l h o u e t t e s e q u e n c e s a n dc l a s s i f i c a t i o n c l a s s i f ys u b j e c t sb a s e do ne x t r a c t e dg a i tf e a t u r e s t h i s p a p e rf o c u s e so ng a i tr e c o g n i t i o ni nc o m p l e xb a c k g r o u n da tad i s t a n c e t h em a i n r e s e a r c h e si n c l u d eg a i tp e r i o de s t i m a t i o n a b n o r m a ls i l h o u e t t e sr e s t o r a t i o n e s p e c i a l l y t h em e t h o d so fg a i tf e a t u r e e x t r a c t i o n g a i tf e a t u r ee x p r e s s i o n a n dg a i tf e a t u r e c l a s s i f i c a t i o n i nd e t a i l t h em a i nc o n t r i b u t i o n so ft h i sp a p e ra r ea sf o l l o w s 1 an e wf l g o f i t h mi sp r o p o s e dt oe s t i m a t eg a i tp e r i o d s w i n gd i s t a n c eo fe a c h s i l h o u e t t ei sc a l c u l a t e dt od e n o t et h es w i n ge x t e n to fh u m a nb o d y a n dt h e p e r i o d i c i t yo fs w i n gd i s t a n c e si su t i l i z e dt oe s t i m a t eg a i tp e r i o d t h ep r o p o s e d a l g o r i t h ms h o w sg o o da d a p t a b i l i t yt ol o wq u a l i t ys i l h o u e a ei m a g e s a n dr e d u c e s o m ep e r i o de r r o ri n d u c e db yo t h e ra l g o r i t h m s 2 an e wa l g o r i t h mi s p r o p o s e d t od e t e c ta n dr e s t o r ea b n o r m a ls i l h o u e t t e s a b n o r m a ls i l h o u e t t e sa r ed e t e c t e db ys i l h o u e t t ed i s t a n c e w h i c hi st h ed i s t a n c eo f e a c hs i l h o u e t t et oa v e r a g e ds i l h o u e t t e i te m p h a s i z e st h ea b n o r m i t yo fs i l h o u e t t e w h i l en e g l e c t sg a i tp e r i o d ad e t e c t e da b n o r m a ls i l h o u e t t ei sr e c o n s t r u c t e db y a v e r a g e da d j a c e n ti m a g ea n da v e r a g e ds i l h o u e t t e t h ea l g o r i t h md e t e c t sa n d r e s t o r e sa b n o r m a ls i l h o u e t t e sa u t o m a t i c a l l yw i t h o u tm a n u a lw o r k t h er e s t o r e d s i l h o u e t t e sa c h i e v em u c hb e r e rq u a l i t ya n dk e e pt h ec o n s i s t e n c yo fg a i ts e q u e n c e 3 i no r d e rt oi m p r o v et h ea d a p t a b i l i t yo fc u r r e n ta l g o r i t h mt od i f f e r e n tg a i t c o n d i t i o n s t h i sp a p e rp r o p o s e s an e w g a i tr e c o g n i t i o na l g o r i t h mb a s e d o n 所汀大学博士学位论义 a b s t r a c t e n h a n c e dg a i te n e r g yi m a g e a st h ef e a t u r et or e p r e s e n tg a i ts u b j e c t s e n h a n c e d g a i te n e r g yi m a g ei sc o n s t r u c t e df r o mt w os e r i e so fi m a g et e m p l a t e sa c c o r d i n gt o t h ed e f o r m a t i o no fg a i ts h a p ei nd i f f e r e n tg a i tc o n d i t i o n s e x p e r i m e n t a lr e s u l t s s h o wt h a tt h i sa l g o r i t h ma c h i e v e sah i g h e rr e c o g n i t i o nr a t et h a nt h eo t h e rt y p i c a l a l g o r i t h m s a n di ts h o wm u c hb e a e ra d a p t a b i l i t yt ot h ev a r i a t i o no fs u r f a c et y p e 4 i no r d e rt ou t i l i z em o r eg a i td y n a m i cf e a t u r e s t h i sp a p e rp r o p o s e san e wg a i t r e c o g n i t i o na l g o r i t h mb a s e do np r i m a r ym o t i o nc o n t o u r s t h r e es e g m e n t sa l e e x t r a c t e df r o ms i l h o u e t t ec o n t o u r st or e p r e s e n tp r i m a r ym o t i o n so fg a i t t h r e e f e a t u r em a t r i c e sa l ec o n s t r u c t e db a s e d0 1 1t h eh o r i z o n t a ld i s t a n c e sf r o mt h e s e g m e n t e dc u r v e st ot h es i l h o u e a ec e n t r o i d p r i n c i p a lc o m p o n e n t sa n a l y s i sa n d m u l t i p l ed i s c r i m i n a n ta n a l y s i sa l eu t i l i z e dt or e d u c er e d u n d a n td a t aa n ds e p a r a t e d i f f e r e n tc l a s s e sr e s p e c t i v e l y e x p e r i m e n t a lr e s u l t ss h o wt h a t c o m p a r e dw i t ht h r e e t y p i c a la l g o r i t h m s t h i sa l g o r i t h mh a sh i g h e rm e a nr e c o g n i t i o nr a t ea n da c h i e v e s b e r e rp e r f o r m a n c et ot h ev a r i a t i o no fc a l r y i n gc o n d i t i o n c l o t h i n ga n dt i m e 5 i no r d e rt oc o m b i n et h es t a t i ca n dd y n a m i cg a i tf e a t u r e sb e r e r t h i sp a p e rp r o p o s e s as e r i e so fg a i tr e c o g n i t i o na l g o r i t h m sb a s e do l lm e a na n dd e v i a t i o ng a i t i n f o r m a t i o n s e v e r a ld i f f e r e n tb a s i ci m a g et e m p l e t e sa l ec o n s t r u c t e da n du t i l i z e d t oc o n s t r u c tt h eg a i td e v i a t i o ni m a g ew h i c hc o m p o s e so ft h ed e v i a t i o no fe a c h s i l h o u e a e g a i te n e r g yi m a g eo re n h a n c e dg a i te n e r g yi m a g ea l eu t i l i z e da sg a i t m e a ni m a g e d i f f e r e n tf u s i o nm e t h o d sa l eu t i l i z e dt or e p r e s e n tg a i tf e a t u r e sb a s e d o ng a i td e v i a t i o ni m a g ea n dg a i tm e a ni m a g e e x p e r i m e n t a lr e s u l t ss h o wt h e s e a l g o r i t h m sh a v eh i g h e rm e a nr e c o g n i t i o nr a t et h a no t h e rt y p i c a la l g o r i t h m s a n d t h e y a c h i e v eb e t t e rp e r f o r m a n c et ov a r i a t i o no fo t h e rc o n d i t i o n sw i t h o u t p e r f o r m a t i o nr e d u c t i o nt ov i e wa n g l ev a r i a t i o n t h er e c t i f i e dm o m e n te n e g r y d e v i a t i o ni m a g eb a s e da l g o r i t h ms h o w sm o s to u t s t a n d i n gp e r f o r m a n c e i ta c h i e v e s m u c hh i g e rm e a nr e c o g n i t i o nr a t et h a no t h e ra l g o r i t h m s k e y w o r d s b i o m e t r i c s g a i te x p r e s s i o n g a i tr e c o g n i t i o n f e a t u r ee x t r a c t i o n p a t t e r n c l a s s i f i c a t i o n g a i tp e r i o d s i l h o u e r ec o n t o u r l v 浙t i 夫 博i j 学位论文翻 l 录 图目录 图2 1 步态识别的一般过程 8 图2 2 一个基于梯形的人体结构拟合方法i 惭 1 0 图2 3 一个基于椭圆的人体结构拟合方法f 1 0 7 j 图2 4 个基于椭圆的人体结构拟合方法 i 懈1 1 2 图2 5 一个基于整体的特征提取方法 1 1 8 1 3 图2 6 随步态周期变化的关键帧位置 3 剐 1 5 图2 7 多面投影模板的建立 1 2 9 1 6 图2 8 根据步态轮廓图计算步态能量图1 9 6 1 7 图2 9 异常步态检测算法中分格的建立1 1 弱j 1 9 图2 1 0c m um o b o 数据库中的步态图像 4 2 0 图2 1 1c a s i a 步态数据库d a t a s e tb 的不同采集视角 1 1 0 2 1 图2 1 2u s f 步态数据库的不同视角以及不同路面 l 删 2 2 国3 1 一个对象的几幅步态轮廓图 3 1 图3 2 几个相邻姿态的步态轮廓图 3 2 图3 3 一个步态序列生成的摆动周期 3 3 图3 4 步态周期对比 3 4 图3 5 两个步态序列的轮廓图距离 3 6 图3 6 校正前后的步态轮廓图对比 3 9 图4 1 步态序列中每幅步态轮廓图与前一幅步态轮廓图欧拉距离 4 3 图4 2 对象0 3 7 3 5 c 1 b l 的步态轮廓图与步态能量图 4 6 图4 3 拍摄条件变化下的步态能量幽 4 8 图4 4 综合步态能量图拆分 5 0 图4 5 步态能量图主区域缩放 5 1 图4 6 本章算法在u s f 步态数据库上的识别率 5 6 图5 l 一个对象的的步态轮廓图与步态轮廓线 5 9 图5 2 本章算法流程图 6 0 罔5 3 两个对象的的步态轮廓图 6 2 图5 4 三段步态轮廓线生成过程 6 3 图5 5 二维空间中主分量分析示例 一6 8 图5 6 二维空问中f i s h e r 线性判别分析示例 6 9 图s 7 加权系数变化对识别率的影响 7 4 图5 8 奉章算法在u s f 步态数据库上的识别率 7 5 图6 1 两个对象的步态轮廓图 8 1 图6 2 两个对象的平均瞬时图 8 2 图6 3 六个对象的三种步态偏移蹦 8 4 图6 4 本节算法在u s f 步态数据库上的识别率 8 5 i v 浙江大学博士学位论文 i j f l 目录 图6 5 对象0 3 7 7 9 c o a l 的瞬时能量图 9 4 图6 6 两个对象的瞬时能量图 9 5 图6 7 六个对象校正后的瞬时能量偏移图 9 7 图6 8 校正后算法在u s f 步态数据库上的识别率 9 9 v 浙汀人学博十学位论文 表口录 表目录 表2 1 训练对象组与测试对象组的状态差别 2 3 表2 2 步态识别数据库之间的对比 2 4 表4 1 帧间欧拉距离的统计数据 4 5 表4 2 本章算法在不同分类方式下的识别率 5 5 表4 3 与其它三个算法在u s f 步态数据库上的识别率对比 5 7 表5 1d 的各种取值下本章算法的识别率对比 7 3 表5 2 与其它三个算法在u s f 步态数据库上的识别率对比 7 6 表5 3 与m p s 算法在第一个版本的u s f 步态数据库上的识别率对比 7 7 表6 1 与其它三个算法在u s f 步态数据库上的识别率对比 8 6 表6 2 本节算法以及另外两个算法的识别率 9 1 表6 3 校正后算法在不同加权系数下的识别率 9 8 表6 4 校正前后的瞬时能量偏移图识别率 1 0 0 v l 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果 除了文中特别加以标注和致谢的地方外 论文中不包含其他人已经发表或撰写过的研究成 果 也不包含为获得逝姿盘堂或其他教育机构的学位或证书而使用过的材料 与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意 学位论文作者签名 马孰两 签字日期 2 0 唱年占月 日 学位论文版权使用授权书 本学位论文作者完全了解逝婆盘堂有权保留并向国家有关部门或机构送交本 论文的复印彳牛和磁盘 允许论文被查阅和借阅 本人授权逝姿盘堂可以将学位论文的 全部或部分内容编入有关数据库进行检索和传播 可以采用影印 缩印或扫描等复制手段 保存 汇编学位论文 保密的学位论文在解密后适用本授权书 学位论文作者签名 与勤角 导师签名 签字日期 抽髫年 月g 日 签字日期 硼年舌月g 日 浙江大学博i 学位论文 第1 章绪论 第1 章绪论 本章主要对步态识别的研究背景和意义 目前研究现状及面临的问题 本文 的主要研究内容及创新点分别进行介绍 最后说明论文的组织结构 1 1 研究背景和意义 生物特征识别技术是利用个人独特的生理特征或行为特征进行自动身份鉴 别的技术 1 2 1 与证件和密码相比 生物特征不容易被窃取 遗忘或破解 所以在 身份识别上体现了独特的优势 近年来生物特征识别技术被越来越多地应用到各 个领域 生物特征识别技术利用人体的特征进行身份识别 人体的特征分为生理特征 和行为特型3 4 5 l 6 1 生理特征例如人脸 指纹 手型 掌纹 耳型 d n a 虹 膜 视网膜 骨架等 行为特征例如签名的动作 击键的节奏 说话的声音 行 走的姿态等 由于人的生理特征比较稳定 所以通常基于生理特征的识别技术具有更高的 准确率 然而没有一种生物特征识别技术是完美的 不同的生物识别方案具有不 同的特点和应用领域 例如指纹识别具有高可靠性 然而指纹的采集需要实际的 物理接触 人脸和虹膜识别不需要物理接触 但是需要在正面拍摄图像 并需要 较近的拍摄距离 在生物特征识别技术里 步态识别是一种新兴的识别技术 步态就是人走路 的姿态 它由每个时刻身体各部位的相对运动组成 每个人走路都有比较独特的 姿态 比如有的入步子迈得很大 有的人走路上身很稳 有的人走路喜欢晃动等 等 步态识别就是通过每个人独特的行走姿势识别出人的身份 一般的步态识别 过程首先使用摄像机拍摄行人的步态视频图像 然后从步态视频图像中提取出特 征 最后通过与特征数据库中的特征进行比较来进行识别 与其它识别技术相比 步态识别具有一些明显的优势 步态识别可以在远距离进行 在一定的距离上虽然人脸模糊不清 指纹 l 浙江大学博十学位论文第1 章绪论 更是无法采集 但是人走路的姿态却清晰可见 此外远距离的识别技术 可以在很大程度上增加安全系统的预警时间 步态识别具有非强迫性 步态识别可以在人行进的过程中进行 不要求 被识别者停下来采集图像 步态识别具有不易隐藏和模仿的特点 比如用明胶制作的橡胶手指可以 以较高的成功率骗过指纹识别系统 而步态特征是人体各部位的协调动 作 在一定时间内很难改变 因而很难仿造或盗用他人的步态特征 步态识别具有不易被察觉的特点 步态的采集不需要被识别者特意合作 从而令被识别者不易察觉 步态识别的这些优势使它在智能监控领域具有很大的应用价值 目前计算机 速度以及存储容量在不断提高 摄像设备在很多区域被安装使用 随着世界安全 形势的日益严峻 社会安全意识的日益觉醒 步态识别的研究将会得到不断的深 入和完善 其应用将会广泛渗透到人们日常生产生活中的各个领域 1 2 研究现状分析 生物特征识别系统的工作模式可以分为两种 认i 正 v e r i f i c a t i o n 和识别 i d e n t i f i c a t i o n r e c o g n i t i o n 认证指的是验证用户是否为是某个特定的身份 识别 指的是从数据库中找到与用户最匹配的身份 3 1 目前 大多数步态分析的研究都 在识别模式下进行实验 计算出对步态数据库中对象的识别率 本文的全部实验 也都是在识别模式下完成的 目前的步态识别算法通常都是在摄像机拍摄的行走视频的基础上进行研究 的 这主要涉及到了计算机视觉 7 8 1 模式识别 0 1 图像处理 l i 1 2 1 等多个研究领 域 虽然在计算机视觉领域 对人体运动分析的研究为时已久 1 然而真正利用 步态进行身份识别的研究却是在近些年才逐渐发展起来的 对步态识别研究的一 个重要分水岭是2 0 0 0 年美国国防高级研究项目署d a r p a 重大项目h i d h u m a n i d e n t i f i c a t i o na tad i s t a n c e 计划开展的多模态视觉监控技术以实现远距离情况下 人的检测 分类和识别 该项目联合了麻省理工学院 卡耐基梅隆大学等著名研 浙江大学博一 学位论文 第i 苹绪论 究机构参与 其研究重点之一就是通过步态进行远距离身份识别 1 4 1 5 1 6 1 在9 1 l 事件之后 人们对步态识别这一新兴的生物特征识别技术更加重视 一些步态识 别方面的论文开始在c v p r i c c v i c p r 以及i e e et r a n s a c t i o n s 系列等重要国 际会议和期刊上陆续发表 这更加带动了步态识别的研究 目前对步态识别的研 究具有逐年明显递增的趋势 虽然近年对步态识别的研究非常多 但是与其它一些比较成熟的生物特征识 别技术相比 步态识别的研究目前还面临很多问题 1 4 1 7 1 8 1 首先 与其它识别技 术不同 用于步态识别的视频可能是从比较远的位置拍摄的 这样造成步态视频 图像的质量比较低 如果拍摄时的背景比较复杂 从中提取出的运动对象的质量 会进一步降低 其次 视频拍摄的人体通常会有一些变形 比如在拍摄角度变化 衣着变化 是否挎着包或有其它随身携带物品等情况下都会造成拍摄人体形状的 变化 也可能会对行人走路的姿态造成部分遮挡 最后 人走路的姿态并不是很 稳定的 比如情绪的变化 鞋子或路面的变化 年龄的变化 身体的伤病等都会 给人的走路姿态带来一定的影响 以上这些问题使得步态识别的准确性和健壮性 相比指纹识别和人脸识别等第一代生物特征识别技术还有一些差距 为了使步态识别在目前阶段能够得到应用 一种途径是结合步态识别和其它 生物识别技术共同改进识别效梨1 4 1 比如结合人脸识别和步态识别进行远距离身 份认证 1 8 1 9 2 0 2 1 2 2 2 3 2 4 2 5 2 6 1 另一种途径是限制步态识别的视频拍摄条件 减少 干扰步态识别的因素 提高步态视频样本采集的质量和可靠性 比如为了克服前 面提到的视频图像质量低的困难 可以限制视频在近距离以及简单背景下拍摄 为了克服拍摄变形 可以将摄像机位置完全固定 并且只应用在机场安检之类严 格要求被检测对象不能携带包裹的场合 为了克服人走路姿态自然的变化 可以 采用多次采集样本等方法 由此可见 在目前阶段步态识别的应用具有很多限制 条件 为了使步态识别应用到更广泛的领域 需要提高步态识别算法在各种状态 变化下的稳定性 一些研究尝试提高算法对某些状态变化的适应性 比如提高算法对视角变化 2 7 2 8 2 9 3 0 3 1 3 2 1 8 3 3 3 4 1 以及速度变化 3 5 3 6 3 7 3 8 1 的适应性 但是对于路而以及时间变 浙汀大学博十学位论义 第l 章绪论 化目前仍然没有具有较好适应性的算法 造成了在这种情况下识别率偏低 即使 在一些简单状态变化的情况下 目前算法的识别率也有待提高 此外一种状态下 识别率的提高往往会引起其它状态下识别率的降低 因而今后在如果提高综合步 态识别率上还有大量研究需要进行 1 3 本文的主要研究工作 完整的步态识别过程包括运动对象提取 特征提取与描述 特征分类三个步 骤 第一步通常采用比较成熟的算法 因而本文不做过多的研究 本文的研究重 点集中在步态特征的提取 描述以及分类几方面 本文侧重于远距离复杂背景下的步态识别研究 对于较远距离拍摄的具有复 杂背景的步态视频图像 从中提取的运动对象虽然能够比较清楚地分辨出步态的 运动 但是其图像的质量较差 对步态识别算法的稳定性要求非常高 现有算法 对这种步态数据的识别率不是很高 具有较大的改进空间 而且 为适应低质量 的步态视频图像提出的算法对于高质量的步态视频图像也有较好的适应性 因 此 本文对远距离复杂背景下的步态识别的研究具有重要意义 本文主要贡献与创新在于 1 提出了一个新的步态周期估算方法 针对从远距离复杂背景的视频中提取的 步态轮廓图 本文详细分析了其反应的步态特性 提出通过计算出摆动距离 来衡量人体的摆动程度 基于摆动距离呈现出的明显周期性计算出步态周期 该算法对低质量的步态轮廓图具有很好的适应性 避免了现有算法的一些计 算误差 实验结果表明该算法计算的步态周期达到了人工判断的精度 2 提出了一个异常步态轮廓图的检测及校正算法 该算法通过计算出轮廓图距 离来检测步态轮廓图出现的明显异常 轮廓图距离弱化了步态的周期性并突 出了图像的异常 在进行校正时通过平均近邻图与平均轮廓图重建出现异常 的步态轮廓图 该异常检测及校正算法可以不需手工标记而自动进行 校正 后的步态轮廓图质量得到很大提高 并保持了步态序列的连贯性 3 提出了一个基于增强步态能量图的步态识别算法 首先分析步态能量图对不 4 浙江大学博 学位论文 第1 章绪论 同拍摄条件的适应性 根据步态形状随不同拍摄条件的变化特点构造了增强 步态能量图 由两个系列的图像模板构成 使用增强步态能量图作为表示对 象的特征 这种特征表示方式在很大程度上避免了传统的步态能量图易受步 态形状宽度影响的缺点 实验结果显示 该算法的平均识别率较其它几个典 型算法有较大提高 尤其是对路面变化的适应性提高很多 4 提出了一个基于主运动轮廓线的步态识别算法 该算法首先从步态轮廓线提 取三段代表人体主要运动的部分 基于它们到质一t l 的横向距离构造描述步态 图像序列的三个特征矩阵 然后 采用主分量分析方法去除特征矩阵中的冗 余数据 并利用多元判别分析将特征矩阵投影到更易于分类的空间 最后 在u s f 步态数据库上计算测试对象的识别率 并与其它三个有代表性的算法 进行比较 实验结果显示 该算法的平均识别率明显更高 虽然在视角变化 时识别率略有降低 但是挎包 衣着及时间变化时识别率有大幅提高 5 提出了平均瞬时图及瞬时能量图以改进步态轮廓图的质量 均匀地指定一个 步态周期中的多个时刻为关键时刻 利用一个关键时刻的所有步态轮廓图构 成该关键时刻的平均瞬时图 再使用所有关键时刻的平均瞬时图构成当前关 键时刻的瞬时能量图 这使得瞬时能量图的图像质量相对于步态轮廓图有了 很大改善 前面提到的步态轮廓图异常校正用于校正少数发生严重异常的步 态轮廓图 而该方法尝试改进所有步态轮廓图的质量 6 提出了一系列步态偏移图支持的步态识别算法 此类算法首先构造出几种不 同的基准图像模板 根据基准模板计算出步态轮廓图的偏移量 并组合成步 态偏移图 之后可以通过步态能量图的阀值图像对步态偏移图进行校正 对 于与步态偏移图形成互补的步态平均图像 可以使用步态能量图或增强步态 能量图 最后通过不同的融合方式使用步态偏移图与步态平均图像共同对特 征进行分类 此类算法结合步态的平均特性与偏移特性共同识别 其中每一 部分又都包含了步态的静态与动态特性 从而比相关算法提取了更有效的特 征 实验结果表明此类算法的识别率明显高于现有的几个典型算法 在保持 视角变化时较高识别率的同时提高了其它拍摄条件变化时的识别率 其中最 浙江人学博士学位论文第l 章绪论 为突出的是基于瞬时能量偏移图的校正后算法 该算法实现了远高于其它算 法的识别率 1 4 论文的组织结构 第1 章为绪论 简单介绍步态识别的应用及发展背景 指出现有算法所面临 的问题 确定了本文研究的意义 并概括介绍了本文的主要研究内容以及其中创 新性的工作 第2 章主要介绍现有的步态识别算法 包括步态识别的一般过程 步态识别 算法的起源 以及现有算法的分类及特点 最后 详细介绍并比较几个典型的通 用步态数据库 第3 章对步态特征提取及表达之前的基础工作 也就是步态识别的预处理工 作进行研究 主要包含步态轮廓图提取 步态周期计算 以及异常步态轮廓图检 测及校正等几方面 第4 5 6 章分别根据拍摄条件的变化分别提出了不同的步态识别算法 其 中 第4 章提出的基于增强步态能量图的步态识别算法对路面变化的适应性提高 很多 第5 章提出的基于主运动轮廓线的步态识别算法在挎包 衣着及时间变化 时识别率有大幅提高 第6 章提出的步态偏移图支持的步态识别算法在保持视角 变化时具有较高识别率的同时提高了其它拍摄条件变化时的识别率 第7 章对本文的研究工作进行总结 并针对今后的研究方向提出了一些建议 供后续工作参考借鉴 6 浙汀人学博七学位论文 第2 章步态识别研究概述 第2 章步态识别研究概述 2 1 步态识别的可行性研究 从生物力学观点来看 一个人的步态是几百个关节和肌肉的合成运动 这种 运动是整个人体结构 包括身体重量 四肢长度 骨骼结构等等 的函数 因为人 体结构是很难复制的 所以人们相信使用步态的几百个参数 特定关节和重要标志 点的角速度及加速度等 是可以唯一地区分一个人的 3 9 4 们 然而完全确定这些参数 是难以实现的 主要原因是低质量的步态视频图像以及步态的自遮挡性 例如在一 个步态的侧面影像中一个手臂的大半部分是不可见的 等 另外步态还受各种状态 衣着 鞋 路面 行走速度 情绪 的影响 4 1 1 因而人们通常从其它角度提取步 态特征 早期人们曾经作过这样一些实验 将一些发光点 m l d s m o v i n gl i g h t d i s p l a y s 固定在人的几个关节上 使得观测者在黑暗中只能看到这些发光点而不 能看到行走者的肢体 实验发现观测者可以通过这些发光点的运动轨迹识别出行 走者的性别 4 2 1 以及行走者是否是某个朋友 4 3 这些实验最早提供了步态识别可行 性的证据 受到此类实验的影响 一些早期的步态识别研究仍然使用发光点标记人体关 节部位 例如l a k a n y 掣删对发光点形成的轨迹进行快速傅立叶变换 f a s tf o u r i e r t r a n s f o r m 简称f f t 随后利用f f t 得到的参数作为步态特征 步态特征使用 基于反向传播 b a c kp r o p a g a t i o n 简称b p 算法的多层感知器 m u l t il a y e r p e r c e p t r o n 简称m l p 神经网络进行分类 该算法在包含4 个对象的样本上的识 别率在1 0 0 附近 一般认为有文献记载的最早的自动步态识别的研究是n i y o g i 等 4 5 1 提出的算 法 1 3 1 该算法根据在x t 平面上脚部形成的特有的交织曲线检测和跟踪人体运动 将人的轮廓线平均得到骨架 s k e l e t o n 处理后得到线图模型 大腿和小腿分别形 成两条曲线 基于这两条曲线形成特征向量 并用最近邻算法进行识别 这个算 浙江大学博士学位论文第2 章步态识别研究概述 法在包含5 个对象的样本上计算出的识别率为7 9 虽然早期的这些步态识别研究使用的样本数量较少 其识别率也与近年来提 出的算法的识别率相差很大 但是它们在一定程度上证明了步态识别研究的可行 性 也为后来研究者开拓了思路 近些年 对步态识别的研究大量涌现出来 这些算法从不同角度提取步态特 征 并尝试利用各种分类算法提高算法识别率 下面将对其中一些典型算法进行 详细介绍和分析 2 2 步态识别算法分析 2 2 1 步态识别算法的一般过程 如图2 1 所示 一个完整的步态识别算法通常由三步组成 提取步态轮廓图 s i l h o u e t t e 从步态轮廓图中提取和表达特征 利用分类算法分类特征 下面分 别对这三步进行概括性介绍 原始行走序列怕i 准步态轮廓图 提取步态轮廓图 j 特征提取和表达特征分类 图2 1 步态识别的一般过程 一 提取步态轮廓图 首先使用运动检测算法从步态视频图像中提取运动对象 如果视频中不只是 8 浙江大学博十学位论义 第2 章步态识别研究概述 包含一个运动对象 则需要对运动目标进行分类 这样提取出的运动对象还需要 经过噪声过滤 并缩放为标准尺寸 从而得到步态轮廓图 二 从步态轮廓图中提取和表达特征 从前面的介绍中可知 通过提取出身体结构的几百个参数来描述步态特征是 不可行的 因而如何从视频序列的有限信息中提取出更多有效的步态特征就成了 目前研究的重点 对于特征的提取和表达方法 目前没有统一的分类标准 通常可以看到以下 分类方式 基于整体 h o l i s t i c 和基于模型 m o d e i 的方法 撕4 7 4 8 1 基于统计 s t a t i s t i c a l 和基于模型的方法 4 9 5 0 1 基于外观 a p p e a m 1 c e 和基于模型的方法f 5 l 5 2 5 3 5 4 1 基于模型和非模型 m o d e l 肺e 的方法 5 5 5 6 5 7 1 基于运动 m o t i o n 和基于模 型的方法 5 8 5 9 1 基于整体和基于特征 f e a t u r e 的方法删 基于轮廓匿 s i l h o u e t t e 和基于模型的方法 6 1 1 这些分类方法其实没有太大的差别 本文采用基于整体和 基于模型的分类方式对现有算法进行说明和分析 基于模型的算法 6 2 6 3 6 5 眠6 7 6 8 6 9 7 0 7 1 1 使用合适的模型表达人体结构 跟踪分析模型的参数 从而进行识别 基于整体的算法 7 2 7 3 7 4 7 5 7 6 7 7 7 8 7 9 8 0 8 1 8 2 8 3 直接从步态图像当中提取出步态的 特征数据用于识别 三 利用分类算法分类特征 提取出步态特征后 需要使用具体的分类算法对特征进行分类 目前已经应 用到步态识别中的典型分类算法包括k 近邻算法 8 4 8 5 8 6 8 7 k n e a r e s tn e i g h b o r 简称k n n 支持向量机 s u p p o r tv e c t o rm a c h i n e 简称s v m t 8 8 8 9 9 0 9 1 1 隐马尔 可夫模型 h i d d e nm a r k o vm o d e l s 简称h m m s t 9 2 9 3 9 4 9 5 1 多元判别分析 m u l t i p l e d i s c r i m i n a n ta n a l y s i s 简称m d a t 9 6 9 7 9 8 或线性判别分析 l i n e a rd i s c r i m i n a n t a n a l y s i s 简称l d a 9 9 1 0 0 1 0 1 1 等 此外主分量分析 p r i n c i p a lc o m p o n e n t sa n a l y s i s 简称p c a t 他 1 0 3 1 0 4 1 在步态识别中经常被用来对特征矩阵进行处理 步态识别的第一步通常采用比较成熟的算法 不是步态识别的研究重点 所 以有很多论文直接忽略这一步 直接使用提取好的步态轮廓图作为算法的输入 第三步通常也都采用比较成熟的分类算法 虽然分类算法的种类比较多 但一般 9 浙江大学博士学位论文 第2 章步态识别研究概述 只是将现有的算法应用到步态识别中 因而研究的价值也不是很大 这样 只有 第二步步态特征的提取和表达才是步态识别研究中的关键f 1 0 5 目前大多数步态识 别的论文也都是重点针对这一步的研究 本章下面将根据步态特征的提取和表达 中的两类方法对现有的步态识别算法进行详细分析说明 2 2 2 基于模型的步态识别算法 基于模型的算法将人体结构表示为某些特定的平面或立体模型 并使用这些