（计算机系统结构专业论文）基于radon变换的统计矩步态识别技术研究.pdf

摘要 步态识别作为一种新兴的生物特征识别技术，目的是通过人走路的姿势实现 对个人身份的识别和认证，它是远距离情况下最有潜力的生物特征识别技术之一， 因此已经被广泛地应用在智能监控、人机接口和人体行为分析等领域。 本文主要研究了两种基于r a d o n 变换的统计矩步态识别算法。在实现算法时， 首先采用自适应背景提取算法得到步态序列的背景，再对图像进行预处理以获取 二值人体区域，并根据轮廓宽度从每一个步态周期中提取关键帧。第一种算法采 用r a d o n 不变矩提取关键帧投影变换的平移、比例和旋转不变量作为步态识别的 特征。第二种算法使用本文新提出的r a d o n 速度矩提取步态图像帧之间的时空信 息相关性特征作为步态识别的依据。最后使用支持向量机( s v m ) 分别对这两种 特征向量进行训练和识别。 通过在两个不同的步态数据库上对两种算法的可行性进行验证，取得了较高 的识别率，说明本文采用的方法和提出的新算法都是行之有效的，具有较好的应 用前景。 关键词：步态识别r a d o n 不变矩r a d o n 速度矩s v m a b s t r a c t a sar i s i n gb i o m e t r i cr e c o g n i t i o nt e c h n o l o g y , t h ep u r p o s eo fg a i tr e c o g n i t i o ni st o a u t h e n t i c a t et h ei d e n t i t yo fp e o p l eb yt h e i rp o s t u r eo fw a l k i n g i ti so n eo ft h em o s t p o t e n t i a lb i o m e t r i cf e a t u r e s s oi th a sb e e na p p l i e di ni n t e l l i g e n ts u p e r v i s i o n ，i n t e r f a c e b e t w e e nh u m a na n dc o m p u t e r s ，a n da n a l y z i n gt h eb e h a v i o ro fh u m a n t w os t a t i s t i c a lm o m e n t sg a i tr e c o g n i t i o nm e t h o d sb a s e do nt h er a d o nt r a n s f o r m a l ed e v e l o p e di n t h i st h e s i s t h ep r o p o s e da l g o r i t h m sa r et o f i r s t l y r e s t o r et h e b a c k g r o u n do ft h eg a i ti m a g es e q u e n c e sb ya d a p t i v eb a c k g r o u n dd e t e c t i n ga l g o r i t h m t h e ni m a g e sa r ea n a l y z e dt oa t t a i nb i n a r yr e g i o no ft h ep e r s o n b a s e do nt h er e g i o n w i d t h ，k e yf r a m e sa r es e p a r a t e df r o me v e r yg a i tc y c l e s t h ef i r s tm e t h o du s i n gr a d o n i n v a r i a n tm o m e n t se x t r a c tt h ef e a t u r e so fk e yf l a m e sb ye x p r e s s i n gt h ei n v a r i a n c e p r o p e r t i e so ft h ei m a g e si n c l u d i n gt r a n s l a t i o n ，s c a l ea n dr o t a t i o nc h a n g e a n dt h e s e c o n dm e t h o du s i n gr a d o nv e l o c i t ym o m e n t sp r o p o s e da san e ws t a t i s t i c a lm o m e n t f e a t u r e se x p r e s st h es p a t i a la n dt e m p o r a lc o r r e l a t i o no fp r o je c t i o ni m a g e s f i n a l l y , t h e t w ok i n d so ff e a t u r ev e c t o r sa r et r a i n e da n dd e t e c t e db ys v m t h ef e a s i b i l i t i e so ft h et w oa l g o r i t h m sa r es u p p o r t e db ya p p l y i n gt h ea l g o r i t h m so n t w od i f f e r e n tg a i td a t a b a s e s ag r e a t e rr e c o g n i t i o nr a t i oi sa c h i e v e d ，w h i c hp r o v e st h a t t h e yc a l lb ew i d e l ya p p l i e di nt h eg a i tr e c o g n i t i o nd o m m n i nt h ef u t u r e k e y w o r d ：g a i tr e c o g n i t i o n r a d o ni n v a r i a n tm o m e n t r a d o n v e l o c i t ym o m e n t s v m 西安电子科技大学 学位论文创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导 师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注 和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果： 也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明 并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：三丛卑 日期型堕：墨：蔓 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保留 送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容， 可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合 学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 日期墨塑墨：墨：垒 日期4 础牛、 第章绪论 第一章绪论 11 引言 随着全球化的步伐加快，信息的重要性也几益凸显，凶而信息技术对安全的 需求更加强烈和紧迫。信息安全涉及到信息的保密性、完整性、可用性和可控性。 而信息只是一种编码形式，人才是信息的操作者。信息操作者的非法性以及对信 息的破坏等都会影响信息的安全，所以，为了建立操作者与信息操作之，日j 的匹配 性和一致性，逐渐出现了各种身份识别技术。生物特征识别技术是基于人的生理 特征或行为特征来进行身份验证的新兴识别技术ii ，相对于传统的身份鉴定方法更 安全、保密和方便，具有不易遗忘、防伪性能好、不易伪造或被盗、可随身“携 带”和随时随地可用等优点。 根据人体生物特征的表现形式，生物识别技术可分为两类： ( 1 ) 生理特征识别技术：指直接从人身体的某一部分提取特征来进行身份识 别。生理特征都是与生俱来的，具有唯一性，是一种非常安全可靠的身份识别手 段。这一类的技术已经比较成熟，有许多成功的应川。例如：人脸识别口l 、指纹识 别u 等，特征分别如图11 ( a ) 、( b ) 所示。 ( 2 ) 行为特征识别技术：指从人的行为动作模式中提取可用特征来进行身份 识别。行为特征几乎都是后天形成的，其最明显的特点是身体运动的各部分在叫 间和空间上的变化。通过对人的行为动作的跟踪，获取人体时空信息的统计数据， 进而可对人的行为做出解释，如果经过先前的学习和训练，则可进一步对人的身 份做出识别。像笔迹识别”】、步态识别 5 1 等即属于根据人的行为特征进行身份识别 的生物特征谚 别技术，特征分别如图1l ( c ) 、( d ) 所示。 ( a ) 人脸( b ) 指纹( c ) 笔迹( d ) 步态 嘲1 1 典犁的生物特征 没有一种生物特征是完美的，指纹识别的可靠性比较高，但是需要实际的物 理接触，容易被人为遮掩或消除：人脸与虹膜识别不需要物理接触，然而在实际 应用时却易于受到环境的限制。这几种生物特征都必须在用户感知的情况下才能 被提取，不利于自然状态下真实的特征采集和对可疑人员的预警榆测。新兴的步 2 基于r a d o n 变换的统计矩步态识别技术研究 态特征可以在远距离情况下获取，是当前最有潜力的生物特征之一，因此，近年 来步态识别引起了各国学术科研机构的重视，成为计算机视觉领域中相对新兴的 研究课题。 步态识别虽然是一种新发展起来的生物特征识别技术，但关于步态分析在生 物力学、医学、心理学等方面早已开展了大量的研究，目前关于步态识别的方法 也层出不穷。美国高级研究项目署d a r p a 于2 0 0 0 年资助的重大项目- h i d 计 划( h u m a ni d e n t i f i c a t i o na tad i s t a n c e ) 【6 1 ，它的任务就是开发多模式的监控技术以 实现远距离情况下人的检测、分类和识别。马里兰大学( u m l ) 、南安普顿大学 ( s o u t h a m p t o n ) 、麻省理工大学( m i t ) 等著名大学和科研机构也相继开始进行基 于计算机视觉的步态识别方法研究。另外，中国、日本、加拿大和瑞士等国家的 一些高校和研究机构也开始了这方面的探索。我国中科院自动化所自2 0 0 1 年开始 步态识别研究，目前已创建了一定规模的步态评估数据库，并提出了几种步态识 别算法，获得了较高的识别率。目前，他们正致力于在线人的跟踪和识别演示系 统的开发。 1 2 步态识别技术 1 2 1 步态识别技术的特点和研究内容 1 步态识别的特点 所谓步态识别，主要是指通过对人体走路姿势的分析来区分人的身份。相对 于其他的生物特征识别，步态识别有其独特性，具有如下优点1 7 j ： ( 1 ) 非侵犯性和非接触性：在步态被秘密提取的同时，用户并不知道自己正 在被观察和分析。在信息收集阶段，步态也不像指纹和虹膜识别那样需要用户的 密切协作。 ( 2 ) 难于隐藏和伪装：步态通常是可见的，而且人一般不会刻意伪装自己的 行走行为。 ( 3 ) 易于采集：步态识别技术不要求所捕捉的图像必须有非常高的质量，相 比之下，其他生物特征识别技术通常在分辨率低或图像模糊时无法进行识别。 ( 4 ) 远距离识别：指纹和脸像等生物特征通常需要近距离感知，而步态完全 可以远距离地进行捕捉，因此它提供了在远距离情况下识别人的可能。 另一方面，步态识别也存在如下缺陷： ( 1 ) 容易受生理和心理变化影响：怀孕、疾病、胖瘦的变化等都会影响一个 人的步态。情绪的波动也可能使得行走时有不同于常态的变化。 ( 2 ) 其他因素：药物或酒精等的刺激、着装的变化、光照或遮挡等都会或多 或少的影响所提取的步态信息。 第一章绪论 3 权衡优劣可以看出，步态识别最大的优势在于可以远距离非接触式地获取信 息，这是目前其他任何生物特征识别手段所替代不了的，这一优势使得步态识别 可以作为一种辅助手段，特别适合应用于安全敏感场合，以便提前、快速地检测 潜在威胁。其最主要的应用包括以下几个方面： ( 1 ) 智能视觉监控：利用步态识别技术研制的智能监控系统应用于那些对安 全要求敏感的场合，如银行、商店、停车场等。识别系统可以自动分析摄像机捕 捉的图像，及早发现异常活动，从而避免犯罪的发生。也可以利用步态跟踪识别 技术确定来人是否具有进入该安全领域的权利。 瑞典警察就曾利用步态识别成功地识别一起银行抢劫案的抢劫者1 8 】。在这起案 件中，警方将现场录像送到负责步态识别研究的技术部门进行比对，从已建立的 步态数据库中发现了与抢劫者步态特征一致的人，并确认这个人就是抢劫者。芬 兰科学家发明了一种用于收集和笔记本电脑等贵重便携式电子产品的防盗装置【9 】。 该装置能记住主人的行走姿势，一旦发现有陌生人盗用就会使机器停止工作。 ( 2 ) 智能人机接口：智能人机接口可以自动地对人的动作进行捕获和识别， 响应人的指令，可以代替传统的输入和控制设备完成人机交互。由于它通过非接 触视觉控制设备和控制接口完成人机交互，所以可用于残疾人使用的某些设备、 游戏控制或用于高噪音环境等情况。 ( 3 ) 人体运动的细节分析：步态的研究也可以应用于体育运动、舞蹈等的训 练中，通过使用计算机步态分析技术帮助运动员找到最佳的姿势以提高竞技成绩。 此外，步态识别在医学中也有非常重要的应用。医学步态分析可以提供人体 正常步态建模的线索，有助于开发生物反馈系统来分析病人的步态，判断其腿部 受伤情况或畸形程度，能够辅助医生做出快速诊断，给出行之有效的治疗方法。 综上所述，步态识别作为一个新兴的研究方向，具有重要的理论研究意义和 实用价值。 2 步态识别研究内容 基于计算机视觉的步态识别技术研究是计算机视觉领域中行为理解研究的分 支，是计算机视觉的高级应用。它的研究通常涉及到计算机视觉中图像处理、模 式识别等基本问题，如运动检测、图像分割、和分类器设计等。这些问题一直以 来就是计算机视觉研究的热点和难点。当前的步态识别研究内容主要有四个部分： 步态数据库、运动区域检测、步态特征提取、模式分类等。步态识别流程如图1 2 所示。 4 基于r a d o n 变换的统计矩步态识别技术研究 训练过程 识别过程 图1 2 步态识别流程图 ( 1 ) 步态数据库：在步态识别技术中，步态数据主要来源于摄像机的视频图 像，为研究人员提供实验数据，支持新算法的研究和评价。 ( 2 ) 运动区域检测：步态识别中的运动分割是把人体区域从背景图像中提取 出来。人体运动区域的有效分割对于人体跟踪、步态特征提取等后期处理非常重 要，是后续处理的数据基础。人体运动背景比较复杂，受天气、光照、影子及混 乱干扰等影响，使得人体运动分割成为比较复杂的工作。 ( 3 ) 步态特征提取：特征提取既是步态识别的难点也是重点，目的是根据运 动分割获取的数据提取出能够描述步态特征的数据。现有的步态特征量可以分为 轮廓代数特征、形状视觉特征、轮廓几何结构特征、幅频变换特征和统计特征等。 ( 4 ) 模式分类：根据提取的特征采用适当的分类方法将待识别的步态与特征 数据库中的步态进行匹配计算，并通过一定的判别依据来决定它所属的类别。这 个过程要选择适合于所提取的步态特征描述方式的匹配策略，即设计适当的模式 识别分类器。 1 2 2 步态识别研究难点 尽管目前已经出现了许多步态识别算法，但这些工作更多的是出于探索性的 研究目的，尚没有达到实用阶段。从早期的研究结果看，在实际场景中开发和实 现高度可靠的步态识别系统是具有挑战性的工作，还需要进一步的深入研究。目 前步态识别的研究是在以下几个假设条件下进行的： ( 1 ) 人的行走方向与摄像机镜头主轴方向垂直，主要利用人的侧面图像进行 识别。 ( 2 ) 算法有效性验证时所使用的数据库比较小。 ( 3 ) 假设摄像机静止，并且在摄像机的视野范围内只有一个运动的人体目标。 在这些给定条件下，步态识别系统的识别性能不仅依赖于场景，还取决于采 第一章绪论 5 集数据的质量、识别算法的效率、传感器性能等许多因素，目前主要有两个问题 仍然没有得到较好的解决： ( 1 ) 复杂背景下的人体检测问题。在复杂的背景下，很难建立准确的背景模 型，导致不能较好地分割出目标运动人体。因此必须提出快速、有效的自适应背 景建模算法和图像分割方法。 ( 2 ) 如何提取简单而有效的步态特征。特征是一事物异于其他事物的特点， 好的步态特征要反映特定人的行走特点，并能与其他人的步态特征区分开来。但 由于步态自身具有复杂多变的特点，同一个人的步态在不同时间不同地点用同一 种表达方式，结果都有可能不尽相同。所以，一方面，理想的步态特征应该具有 良好的类别可分性；另一方面，还应该具有一定程度的容错性，使得同一个人的 步态在不同条件下获取而引起的变化，在步态特征的表达反映上应尽可能小。因 此，在步态识别中，关键是找到合适、简洁的特征表达，勾勒出步态的时空特性， 否则不合理的特征会增加识别的难度。 1 3 1 主要研究内容 1 3 本文内容和结构 本文研究的是根据所捕获的人体行走姿势视频序列进行身份识别的问题，主 要围绕陕西省自然科学科学发展基金基于步态特征的身份识别关键技术研究 项目进行研究。 主要研究内容有： 1 采用自适应背景提取算法得到步态序列背景，并利用差分和二值图像处理 方法预处理图像，通过这个步骤能够获取完整的人体运动区域。 2 根据二值人体轮廓宽度变化曲线，从运动周期中选取关键帧作为提取特征 的对象，可以大大减少识别过程的计算量。 3 由于r a d o n 变换是一种投影变换，变换后的图像能包含原图像的有用信息， 因此使用了将图像的r a d o n 不变矩作为步态特征的识别算法，并在此基础上结合 速度向量的概念，提出了新的r a d o n 速度矩，将它作为步态特征进行步态识别。 4 将支持向量机( s v m ) 应用于步态训练和分类，并设计了适合本文步态特 征的支持向量机分类器。 5 在两个不同的步态数据库上进行两种步态识别算法的有效性验证，均取得 了令人满意的效果。 6 基于r a d o n 变换的统计矩步态识别技术研究 1 3 2 本文组织结构 按照研究内容，本文共分为六章。 第一章：绪论。概述了步态识别技术的研究背景、研究内容和目前仍然存在 的难点和问题，并对本文所做的研究工作及所取得的研究成果进行了综述。 第二章：步态识别算法研究。分别从步态识别技术主要涉及到的四个研究内 容：步态数据库、运动图像预处理、步态特征提取和分类识别，详细介绍了各部 分在国内外目前的算法研究成果和技术发展情况。 第三章：统计矩理论及应用。先介绍了统计矩的定义和不变矩的构造，接着 主要介绍了三种常用的不变矩：h u 矩、z e m i k e 矩和小波矩的概念及它们在图像识 别研究中的应用情况和识别性能。 第四章：步态图像预处理。通过自适应背景提取算法得到运动背景，进而从 原始图像中提取二值化差分图像，再利用图像处理技术去除其中的噪声，然后进 行图像序列的周期性分析并获取关键帧。 第五章：基于r a d o n 变换的统计矩特征提取算法。主要介绍了图像的r a d o n 不变矩和提出了新的r a d o n 速度矩。首先论述了r a d o n 变换的定义和性质，然后 分别描述了这两种矩矢量的定义和构造方法。 第六章：步态识别实验结果和分析。将本文的两种步态识别算法分别应用在 c a s i a 以及l i t t l e 和b o y d 步态数据库，利用支持向量机方法对特征进行训练和测 试，取得了较好的识别率，并对实验结果数据进行了分析和总结。 最后的结论部分是对本论文所做工作的总结和对今后工作的展望。 第二章步态识别算法研究 第二章步态识别算法研究 7 在计算机视觉领域，步态识别是指在视频序列中提取出表征人步行特征的视 觉线索的过程，目的是鉴别人的身份。近几年，随着计算机视觉研究的进步，利 用计算机视觉来分析和识别人的步态成为可能。对步态识别算法的探索涉及计算 机视觉领域里的许多难题，例如人体运动的动力学建模和描述、自动背景减除、 时域信号的匹配等。步态识别问题是人体运动分析领域的一个子问题，因而其研 究成果有可能扩展应用于解决计算机视觉领域里的其他问题，而相关方向的研究 成果也可以应用于步态识别，因此步态识别问题是可以吸收其他相关研究方向研 究成果的一个开放性研究技术。 基于步态的身份识别技术主要涉及步态数据库、运动图像预处理、步态特征 提取和分类识别等内容，每个部分都是必不可少的，而且其算法都建立在前一过 程得到的结果基础之上。 2 1 步态数据库 在步态识别技术的研究中，步态数据主要来源于摄像机拍摄的视频图像。受 到计算能力和存储要求的限制，早期的方法都是在较小的库下进行的。现阶段， 已经出现了一些相对较大的数据库，目前在步态识别算法研究中使用较多的数据 库主要有以下几个： ( 1 ) l i t t l e 和b o y d 数据库【l o 】：该数据库是b o y d 等用摄像机获得的6 个人各 自7 个序列的步态库，如图2 1 ( a ) 所示。 ( 2 ) c a s i a 步态数据库【l l 】：由中科院自动化所提供，在户外环境中捕获的图 像序列。里面包含2 0 个人各自1 2 个图像序列，行人相对于摄像机以侧面、正面 和倾斜三个视角行走。如图2 1 ( b ) 所示。 ( 3 ) c m u 数据库【1 2 】：从多视角拍摄的库，同步捕捉行人在跑步机踏板上行 走，共2 5 个行人，2 3 男2 女，共3 7 0 个步态序列。如图2 1 ( c ) 所示。 ( 4 ) n i s f u s f 室外数据库【1 3 】：该库包括在不同的条件下获取的步态视频数 据。共7 1 人，4 5 2 个序列。如图2 1 ( d ) 所示。 ( 5 ) s o t o n 室内数据库【1 4 】：包含7 个行人在绿色幕布前相对固定的摄像机 做侧面行走，每人4 个序列。如图2 1 ( e ) 所示。 基于r a d o n 变换的统计矩步态识别技术研究 a ) l i r l e 和b o y d 数据库 婀 ( b ) c a s i a 步态数据库 圈黑国 l 盈n 一一箧竺竺! ! 翼冒 c ) c m u 数据库 ( d ) n i s t u s f 室外数据库( e ) s o t o n 数据库 图2 1 几种常用步态数据库 22 步态图像预处理技术 对步态图像进行预处理，即是进行人体步态区域检测。其基本思想是用知识 或统计的方法建立步态模型，比较所有可能的待检测区域与步态模型的匹配度， 从而得到可能的步态区域。由于场景、位置、方向的变化以及步态的姿态( 正面 或侧面) 、速度、光线的变化等原因，使得步态检测的研究具有很强的挑战性。常 用的步态检测方法包括： 1 背景减除 背景减除方法是利用当前图像与背景图像的差分来检测运动区域的一种技 术。该方法常以固定摄像机为前提条件，一般能够提供最完全的特征数据，但对 于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。p h i l l i p s l l 5 , w a n g 【”】 等人在研究中都采用背景减除的方法来得到人体步态运动区域。 2 时域差分 时域差分方法是在连续的图像序列中两个或三个相邻帧之间采用基于像素的 时域差分并且闽值化来提取出图像中的运动区域。这种方法的优点是鲁棒性较好， 能够适应各种动态环境，其缺点是只能提取出边界点，而不能提取出对象的完整 区域。l i p t o n 等i ”铡用两帧差分方法从实际视频图像中检测出运动目标，进而用 于目标的分类与跟踪；v s a m t ”1 开发了一种自适应背景减除与三帧差分相结合的 混合算法，它能够快速有效地从背景中检测出运动目标。 3 光流 玎! 啊l 第二章步态识别算法研究 9 基于光流方法的运动检测，是利用运动物体随时间变化在图像中表现为速度 场的特性，根据一定的约束条件估计出运动对应的光流。这种方法的优点是在摄 像机和背景之间存在运动的前提下能够检测出运动物体。如l i t t l e 与b o y d 1 9 】利用 这种方法检测出人体区域。然而，光流计算方法需要多次的迭代运算，时间消耗 较大，且抗干扰能力较差。 在获取了人体运动区域后，图像中通常含有各种噪声，所以还需要应用图像 处理技术对得到的图像帧进行后处理，以获取平滑的二值人体图像。 由于步态是一种周期性的运动，步态的周期性分析对于后续的模式分类有着 重要意义。在多数方法中，基于从视频中提取步态的时间顺序划分周期，如使用 前景像素点的个数等，但是这种方法通常需要较好的预处理程序去噪。b o u l g o u d s 等人【2 0 】采用前景信号总数自矫正方法计算步态周期和最优化滤波器参数。通过观 察步态运动的正弦曲线上的峰值点，可以得出步态运动的周期。 王亮等人【2 l 】经过对运动轮廓的宽高比信号加以分析来获取步态周期。他首先 获得运动轮廓的宽高比信号，去除它的背景成分( 减去均值方差) ，并使用对称均 值滤波器进行平滑，然后计算它的自相关信号，最后计算它的一阶微分信号，通 过寻找正向过零点来发现其峰值位置。由于步态的对称性，在白相关信号每两个 主峰之间会出现一个次峰。所有两个主峰之间的距离的平均作为估计实际的步态 周期。 此外，还可以利用人体区域的面积随时间变化的曲线，分析步态的周期性， 经研究，认为当人体的下肢重叠最多且上肢也与身体重叠时，从侧面看，人体区 域的面积最小；同理当上肢和下肢分离最大时，侧面人体区域的面积最大。 2 3 特征表示方法 步态特征表示在一定程度上决定了步态识别的具体方法及性能，是步态识别 的关键。现有的步态特征表示方法主要有轮廓代数特征、形状视觉特征、轮廓几 何结构特征、幅频变换特征和统计特征五种。 ( 1 ) 轮廓代数特征 轮廓代数特征是基于轮廓的时空相关性从步态轮廓中提取的特征，它依赖于 轮廓模板匹配。 s a r k a r 等人【2 2 】利用这种特征实现了一种步态识别的基本算法，主要包括四个 部分：对于步态序列中的每一帧，在人体轮廓周围定义一个半自动的轮廓包围盒 ( b o u n d i n gb o x ) ；再从轮廓包围盒中提取出人体轮廓；通过计算步态周期来区分 步态序列之间的轮廓相关性：设一个待测轮廓序列为s p = s p ( 1 ) ，s p ( m ) ) ，而特 征库中的一个序列为s g = s g ( 1 ) ，s g ( n ) ，需要计算这两个序列中帧间的相似 1 0 基于r a d o n 变换的统计矩步态识别技术研究 性，即f r a m e s i m ( s p ( i ) ，s g0 ) ) 。通过计算这两帧轮廓之间交集和并集的像素点个数 的比率来得到它们的相似性，如式( 2 1 ) 所示： f r a m e s i m ( s p ( i s p ) ，s 棚) = 羔端 ( 2 - 1 ) ( 2 ) 形状视觉特征 形状视觉特征主要是通过提取人体步态轮廓的外在形状特征，如高度、宽度 等作为步态识别的特征依据。由于侧面轮廓能够捕获身体大部分的运动行为，因 而这种特征选取方法十分直观和容易获得。k a l ea m i t 等人瞄】使用轮廓边缘的宽度 表示人体的空间特征。首先对人体运动区域进行边缘跟踪提取轮廓数据，宽度是 统一水平线上两个轮廓点之间的距离，依次扫描人体区域，计算得出宽度矢量来 表示空间特征。而时间特征使用隐马尔科夫模型( h m m ) 描述，经过训练后，将 待识别步态序列的观察向量输入h m m ，输出概率最大的即是其所属的类。 h a y f r o n a c q u a h 等人【2 4 】利用广义对称性算子分析人体运动的时空对称性，不仅通 过人体形状，还有他们的运动来识别人。这种方法对噪声和丢帧相对不敏感，在 一定程度上有处理遮挡的能力。 ( 3 ) 轮廓几何特征 轮廓几何特征充分利用了单个轮廓随着时间的变化过程，将步态序列看作由 一组静态姿势所组成的模式，在识别过程中引入这些观察姿势随着时间的变化信 息。n i y o g i 等人【2 5 】提出了主分量分析( p c a ) 方法，此方法是利用运动步态图像 的时空相关性，首先提取步态轮廓，用轮廓点位置矢量表示步态空间特征，并对 步态序列的矢量组进行主分量分析，得到步态特征的压缩表示，然后把它映射到 参数空间。这种方法对噪声健壮，但它没有统一的模型，如果训练时发生错误， 很容易造成错误的识别。 ( 4 ) 幅频变换特征 将目标图像转换到频率域后，从中提取的特征即是幅频变换特征。文献 2 6 】 采用时空傅立叶描述子( f o u r i e rd e s c r i p t o r s ) 作为步态特征，是典型的幅频变换特 征提取算法，这种方法的优点是能将二维问题简化为一维问题，减少了计算复杂 度，而且从频率域得到的形状信息中，低频分量可以描述宏观特征，高频分量可 以描述微观特征。文献【2 7 】使用了一种视频锁相环( v i d e op h a s e l o c k e dl o o p s ) 来 同步图像序列中的人体步行摆动，并对不同的步态建立同步摆动模型进行步态识 别。 ( 5 ) 统计特征 统计特征是对人体步态轮廓图像的形状和相关联的运动特点进行的统计描 述，从检测到的目标中获取目标本身的统计信息，以便进行目标的分类和识别。 第二章步态识别算法研究 l i t t l e 和b o y d i l o l 使用光流法提取步态信号就是一种统计的方法。光流方法描述瞬 时运动形状，包括运动物体的形状( 空间) 和运动的特性( 时间) ，可以从运动形 状的周期性差异区别不同的步态。 统计识别方法通常对运动图像序列进行统计描述，因为矩算子通常用来描述 点集的形状，因此目前应用最广泛的方法是利用各种统计矩不变量作为图像特征。 利用统计矩不变量进行图像识别是模式识别中的一种重要方法。矩在统计学中用 于表征随机量的分布，在力学中用于表示物质的空间分布。统计矩是用来描述图 像区域特征统计的方法，具有平移、比例和旋转不变性。常用的矩特征包括h u 矩 【2 8 1 、z e m i k e 矩【2 9 】、旋转矩，复数矩、角度矩、标准矩、小波矩3 0 1 等。 2 4 分类器设计 分类器的选择是一个比较困难的问题，在实际应用中，分类器及其参数的选 择和分类器的融合策略在决策中是较为重要的。现有的步态识别算法一般采用标 准的模式识别方法。 k 近邻分类法是最常用也是最简单的分类法，通过计算待分类步态序列的特 征和样本步态特征之间的欧氏距离，把它分类到距离最近的类中。 文献 2 3 】和【3 1 】中均使用隐马尔科夫模型( h m m ) 方法进行分类识别，在文献 【2 3 中，采用傅立叶描述子表示步态特征，识别时首先计算步态序列中各帧的傅立 叶描述子特征值，然后计算每帧步态图像的特征值和关键帧特征值之间的距离， 代表步态特征在时间上的分布规律，使用得到的样本矢量训练h m m ，然后再进行 分类识别。 文献【3 2 和【3 3 】中使用了人工神经网络分类器。人工神经网络在图像模式识别 领域逐渐得到了广泛的应用。r u m e l h a r t 等人在多层神经网络模型的基础上，提出 了多层神经网络模型的反向传播学习算法( b p 算法) ，解决了多层前向神经网络的 学习问题，证明了多层神经网络具有很强的学习能力，可以完成许多学习任务， 解决许多实际问题。文献 3 3 】中采用b p 神经网络进行识别。步态特征使用傅立叶 描述子表示，选用低频部分的5 0 个点来表示。采用主分量分析方法，对得到的数 据进一步压缩，可抽取出1 0 维的识别特征。 文献【3 4 】采用贝叶斯分类器进行分类识别。其方法是：首先估算待识别步态属 于某个类别和不属于这个类别的先验概率，然后使用贝叶斯概率公式计算待识别 步态序列和两类训练集的最大似然值，最后确定其类别。贝叶斯分类器的最大优 点在于解决不同步态特征矢量之间的融合问题。 在文献 3 5 】和 3 1 】中，都采用了支持向量机识别方法。支持向量机( s u p p o r t v e c t o rm a c h i n e ，简称s v m ) 是在二十世纪9 0 年代以来发展起来的一种统计学习 1 2 基于r a d o n 变换的统计矩步态识别技术研究 方法，在解决小样本学习、非线性及高维模式识别问题中效果较好。s v m 算法有 扎实的统计理论基础，在图像模式识别如人脸识别、汉字识别中有广泛的应用， 并取得了较好的识别率。 2 5 小结 本章主要论述了步态识别研究目前在国内外已取得的成果和研究现状。首先 介绍了几种常用于评估算法性能的步态数据库，再概述了步态图像预处理的三种 方法和步态周期提取的方法。目前步态识别中的特征提取方法主要有五类：轮廓 代数、形状视觉、轮廓几何和统计特征。一些标准的模式识别方法都可以应用在 步态识别研究中。 第三章统计矩理论及应用 第三章统计矩理论及应用 3 1 统计矩理论 1 3 计算机系统在识别图像时，应具有的一个重要特性是当图像发生平移、旋转 及比例变换时，图像特征仍然具有不变性。为了解决这个问题，一个最直观的方 法是要求图像特征本身具有“不变性”，即尽可能寻求图像本身的“不变性”特征。 在过去的几十年中，人们已经提出了许多关于不变性的目标识别方法。经研究发 现，一幅图像的矩特征能够反映其灰度的统计分布情况，实质上反映的是该图像 空间的整体特性。若把二值图像或灰度图像看作是二维密度分布函数，就可以把 统计矩技术应用于图像分析中。近年来，由二维和三维图像所求取的矩值不变特 性已引起了视觉分析领域的重视。 m k h u 首先于1 9 6 2 年提出了连续函数矩的定义和关于矩的基本性质，证明 了有关矩的平移、比例以及旋转不变性等性质，具体给出了七个不变矩的算法， 并在计算机上采用两幅字母二值化图像进行了识别实验【2 8 j 。此后，许多学者在矩 理论研究方面做了不少工作，并提出了一些新的矩的定义和性质。 3 1 1 矩的概念 对于连续灰度函数s ( x ，y ) ，它的0 + g ) 阶二维原点矩m 朋口8 1 的定义如式 ( 3 1 ) ： m 朋= ee x ys ( x ，y 蚴p , q = o 1 2 ( 3 1 ) 假设厂g ，y ) 为分段连续的有界函数，且只在二维平面有限区域内有非零值， 则它的所有各阶矩都存在，并且厂g ，少) 唯一确定一个矩序列 聊朋) ；矩序列 m 朋) 也 唯一地确定厂g ，y ) ，即s ( x ，y ) 和矩序列存在着一一对应关系：s ( x ，y ) m 朋) 。 此外，还可以定义厂g ，y ) 的0 + g ) 阶中心矩，如式( 3 2 ) ： p 冈= e e g 一孑广( y - y ) 9 s ( x ，y ) d x d y p , q = o 12 ( 3 - 2 ) 舅：塑，可：堕( 3 3 ) 肌m o o 式中，i 和歹是厂g ，y ) 的质心坐标。 中心矩p 朋反映物体区域g 中的灰度相对于灰度质心的分布。例如，j l l ：。和。2 1 4 基于r a d o n 变换的统计矩步态识别技术研究 分别表示g 围绕通过灰度质心的垂直和水平轴线的惯性矩。若j l l ：。 j l l 。2 ，那么这 可能是一个水平方向拉长的物体。j l l ，。和j l l 。，的幅值可以度量物体对于垂直和水平 轴线的不对称性。如果物体是完全对称的，则其值为0 。 容易证明，中心矩朋是平移不变的，但对于图像的尺寸变化，中心矩并不是 不变的。 3 1 2 矩的物理意义 图像的矩特征是指利用力学中矩的概念，将图形内部的像素作为质心，像素 的坐标作为力臂，从而以各阶矩的形式来表示图形的形状特征的一种矩描述子【3 6 1 。 数字图像各阶矩的物理意义如下： 1 零阶矩 根据矩的定义，图像厂g ，y ) 的零阶矩加。的定义如式( 3 - 4 ) ： m 。= f ( x ，y ) ( 3 4 ) 可见，如果厂g ，y ) 为灰度图像，则m 。表示图像灰度值的总和，也可以看作是 物体的质量；当厂g ，y ) 为二值图像时，n 。表示图像的面积。 2 一阶矩 图像厂g ，y ) 的两个一阶矩m 。和。用来确定图像的灰度质心。 3 二阶矩 图像厂b ，y ) 的二阶矩有三个：r r 2 0 、聊0 2 和m l l ，也被称为惯性矩( m o m e n t so f i n e r t i a ) ，它们可以确定物体的几个重要的特性： ( 1 ) 主轴 二阶中心矩常用来确定目标的主轴，目标的主轴通常有一对：长轴和短轴。 分别代表最大二阶矩和最d , - - 阶矩的方向，根据统计矩理论，主轴方向角9 可以用 式( 3 5 ) 来计算： 9 ：! m l 三l( 3 5 ) 2 2 0 一0 2 式( 3 - 5 ) 中a 为主轴与坐标轴的夹角，其范围在i 一三4 ，三l 。 ( 2 ) 图像椭圆 由一阶矩、二阶矩可以确定一个与原图像惯性等价的图像椭圆。所谓图像椭 圆是一个与原图像的二阶矩及原图像的灰度总和均相等的均匀椭圆。如果图像椭 第三章统计矩理论及应用 1 5 圆由其长半轴和短半轴表示，则有： 口=坐囹，,00-j 协6 ) 椭圆的灰度为： 6 = 坐 姻 - 7 ) p r j l l o o = 一 , t a b ( 3 8 ) 4 三阶矩或三阶以上矩 对于三阶或三阶以上矩，使用图像在x 轴或y 轴上的投影比使用图像本身的描 述更方便。 ( 1 ) 三阶矩：投影扭曲 两个三阶中心矩l a 。和j l l 。，描述了图像投影的扭曲程度。扭曲是一个经典统计 量，用来衡量关于均值对称分布的偏差程度。图像投影在x ，y 轴的扭曲系数为： s k x2 惫 s 尼y = 玎f 1 0 3 ( 3 - 1 。) 扭曲系数的符号反映了图像对坐标轴的扭曲方向。 ( 2 ) 四阶矩：投影峰度 两个四阶中心矩。和p 描述了图像投影峰度。峰度是一个用来测量分布峰 度的经典统计量。图像在x ，y 轴的投影峰度系数为： 也：粤一3 ( 3 1 1 ) k y = j l l t 2 0 - - - ! 。4 3 当峰度系数为0 时，表示高斯分布；当峰度系数小于0 时， 分布；当峰度系数大于0 时，表示狭窄的多峰分布。 ( 3 1 2 ) 表示平坦的少峰 1 6 基于r a d o n 变换的统计矩步态识别技术研究 3 1 3 矩的变换 当图像发生了平移、比例或者旋转等变化时，对应的矩也会发生相应的变化。 1 平移变换 若图像厂g ，y ) 分别在x ，y 方向上平移口，b ，则平移后的新图像厂g ，y ) 为： f g ，y ) = f ( x a ，y - b ) ( 3 一1 3 ) 平移后f 7 g ，y ) 的矩定义为： 研篇= g + 口广+ 6 户f ( x ，y ) ( 3 1 4 ) 平移前后的矩所朋希1 m w i 的关系可以表示为： 聊乙= 萎p 烈q ( ，p 川x ( q x 护w 州) 脚。 1 5 ) 通常也可以通过把图像的质心平移到坐标系的原点对图像进行平移归一化处 理。归一化处理后的矩称为图像的中心矩。质心坐标g ，y ) 可以由式( 3 3 ) 得到， 因此，图像厂g ，y ) 的0 + g ) 阶中心矩为： p 朋= 丢p 缶q 叭pq s ) 一卜。所。 则平移变换前后有： p 乙= j l f 用 ( 3 - 1 7 ) 由此可知，图像的中心矩具有平移不变性。 2 比例变换 若图像函数厂g ，y ) 在x ，y 方向上分别发生口，卢倍的比例变换时，变换后的 图像厂7 g ，y ) 为： 厂训5 啦，万y j ( 3 - 1 8 ) 则变换前后的矩朋朋和聊名的关系表示为： 所二= a l + p “9 m 用 ( 3 - 1 9 ) 通过令m 。= 1 来对图像实现比例归一化处理。对于二值化图像或灰度平均值 为1 的灰度图像来说，即把图像的面积设置为1 。实现比例归一化的尺度因子为： 卢= 了二 ( 3 2 0 ) 第三章统计矩理论及应用 1 7 小。叼+ 2 历胛 协2 ， 所以，通过上述的比例归一化处理，可以得到具有比例不变性的中心矩为： 叩朋2 丽1 莓莩g 一元) p 一萝户s ( x ，y ) ( 3 - 2 2 ) 其中，：型兰。 3 旋转变换 若图像s ( x ，y ) 绕坐标原点逆时针旋转9 角度，得变换后的图像f g ，y ) 如式 ( 3 2 3 ) 所示： f g ，y ) = 厂酝c o s 0 + y s i n o ) , ( - x s i n o + y c o s 0 ) ( 3 2 3 ) 则变换后图像的矩为： 肌乙= ( x c o s 0 - y s i n 0 ) p ( x s i n 0 + y c o s 0 ) 9 s ( x ，y ) ( 3 - 2 4 ) 旋转变换前后的矩聊朋、m 乙的关系如式( 3 - 2 5 ) 所示： 刃唿：，= 笔套( 多 ( ； ( 一) 9 一。( c 。s p ) p 一，+ 5 ( s ；n a ) 9 一s + 7 6 ( g s ) 刀曙p + 。一，一，+ ，( 3 - 2 5 ) 注意，旋转变换后的原点矩是变换前的原点矩的同阶矩或低阶矩的组合。 此处，采用主轴法来实现矩的旋转归一化：对于一组唯一的分布主轴，可以 计算出它的各阶矩，并且这些矩在分布方向上具有不变性。然后可以通过旋转中 心矩的方向使卢= 0 来得到主轴矩。主轴角0 ( 与x 轴