人体步态识别研究.pdf

华中科技大学 博士学位论文 人体步态识别研究 姓名：胡荣 申请学位级别：博士 专业：电子与信息工程 指导教师：王宏远 2010-04-30 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 i 摘摘 要要 生物特征识别技术是一种利用人的生理或行为特征进行身份识别的技术。随着 机场、车站、银行等安全敏感场合对大范围视觉监控系统的需求提升，远距离的身 份识别研究近来受到了计算机视觉研究者们的大量关注。脸像、指纹和虹膜等生物 特征通常需要近距离或者接触性的感知，因此在实际应用中受到了诸多限制。步态 是远距离情况下唯一可以感知的生物特征，因此从视觉监控的观点来看，步态识别 具有广泛的应用前景。 步态识别是一个新兴的研究领域，它利用人走路期间的行为特征来进行身份识 别。围绕这个主题，本文开展了如下几个方面的研究工作： 1. 步态轮廓提取是步态识别系统的重要步骤， 它包括了背景建模和运动分割两个部 分。本文采用核高斯模型（kernel gaussian model）来对步态场景进行建模，同 时提出了一种高效的高斯核带宽估计方法。 步态图像通过背景模型被映射为背景 概率图像之后，em 算法联合运动段分析的方法将自动地分割出概率图像中的人 体运动区域。实验表明，该方法在复杂场景中的步态轮廓提取效果要明显优于传 统的步态轮廓提取方法，并且它的运算效率能够满足动态场景的实时建模要求。 2. 在步态轮廓较为清晰的情况下，本文采用模型化的方法，通过骨架模型来提取人 体的步态识别信息。 一种改进的基于距离变换的骨架算法首先被用来提取人体骨 架；然后，通过骨架的腐蚀与还原技术从骨架模型中提取人体的躯干和腿部骨架 枝；最后，躯干和腿部骨架的周期性运动特征作为步态的识别特征被用来进行个 体身份识别。实验结果表明，该方法在室内环境下有着理想的识别成功率。特别 在多视角的情况下， 该方法可以通过对骨架模型进行视角修正来极大地提高其正 确识别率。 3. 在步态轮廓不甚理想的情况下，本文采用全局的方法，通过对步态的空时数据进 行连续的特征子空间学习来提取识别信息。 第一次特征子空间学习对步态的频域 数据进行主成分分析，并将步态数据转化为周期特征矢量形式；第二次特征子空 间学习对步态的周期特征矢量形式继续进行主成分分析加线性判别分析的联合 处理，最终将步态数据转化为步态特征矢量。步态特征矢量既包含了人体的形态 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 ii 特征又包含了人体的运动特征，因此具有很强的识别能力。实验结果表明，该方 法不仅获得了令人满意的正确识别率，而且还拥有相对较低的计算与存储代价。 关键词：关键词：生物识别特征 步态识别 视觉监控 特征提取 分类与识别 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 iii abstract biometrics makes use of the physiological or behavioral charactristics of people to authenticate their identities. with the growing need for a full range of visual surveillance and monitoring system in security-sensitive envirenments such as airports, bus stops and banks, human identification at a distance has recently gained increasing interest from computer vision researchers. to operate successfully, the established biometrics such as face, fingerprints and iris usually require proximal sensing or physical contact. however they are hardly applicable at a distance. fortunately, gait is still visible and can be easily perceived unobtrusively. so, gait is a very attractive modality from the visual surveillance perspective. gait recognition is a relatively new research area. it aims to seek distinguishable variations between the same actions of walking from different people for the purpose of automatic identity verification. focusing on this topic, this dissertation mainly includes the following issues: 1. silhouette extraction is an important procedure in gait recognition, which includes two steps: background modeling and motion extraction. in this dissertation, kernel gaussian model is used to model the gait background, and an effective kernel width estimation method is proposed. after gait images are mapped into probability images by the statistical background model, foreground pixels are extracted from these probability images by the em algrithem and motion slice analysis. experiment result shows that the proposed method achieves obvious improvement than traditional methods for the complicated scenes. and at the meantime, it can satisfy the requirement for real-time background modeling. 2. gait features are extracted by the model-based method of skeletonization under the situation that silhouette quality is relatively good. first, an improved distance transform method is proposed to extract the raw skeleton; then, the main branches of human body are extracted by the skeleton erosion and restoration technique; lastly, the periodic motion charactaristcs of human main skeleton are treated as the final gait feature to identify people. experiment result shows that the skeleton feature of gait can achieve highly satisfying performance in indoor environment. especially for multipul view settings, the recognition rate can be significantly increased by fixing the view angle of skeletons. 3. a novel gait recognition method based on spatiotemporal feature extraction is 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 iv proposed under the situation of bad silhouette quality. in the first subspace learning, the periodic dynamic feature of gait is extracted by principal component analysis and sequence data is represented in the periodicity feature vector form; in the second subspace learning, principal component analysis integrated with linear discriminant analysis are applied to the periodicity feature vector representation of gait and sequence data is compressed into gait feature vector. gait feature vector contains both the shape and the dynamic information of human gait, which shows strong discriminative ability. experimental result shows that the proposed method achieves highly competitive performance and it takes less storeage and computational cost. keywords：biometrics, gait recognition, visual surveillance, feature extraction, classification and identification 独创性声明独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密，在_年解密后适用本授权书。 不保密。 （请在以上方框内打“” ） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 本论文属于 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 1 1 绪绪 论论 人体步态识别作为一种新兴的生物特征识别技术，近来受到越来越多研究者的 关注。步态特征主要反映人行走的姿势，较之人脸、指纹、虹膜等其他生物特征， 它具有在远距离接触或低质量视频的状态下进行人身份鉴别的优点。本章将对步态 识别的研究背景和意义、目前的研究现状及面临问题、本文的主要研究内容及创新 点分别进行介绍，最后将给出论文的组织结构。 1.1 研究背景和意义研究背景和意义 1.1.1 生物识别特征 在当代高度信息化的社会中，许多对安全要求敏感的场合（如银行、机场、停 车场等）有一种不断增长的监控需求，即自动确定或者验证人的身份。现有的认证 方式，如口令、钥匙、密码等有许多局限，比如丢失、遗忘和篡改等。而自动生物 特征识别技术1-3能够克服那些传统方式所存在的问题，它通过度量难以篡改的人自 身的内在特性来提供准确的身份保证。 目前已经有许多生物度量被用于获取人的身份信息，一些常用的生物特征4-11 示例如图 1.1 所示，它们分别为：(a) 脸部图像、(b) 虹膜、(c)耳朵、(d) 指纹、(e) 签 名、(f) 声纹和 (g) 步态。 科学地来讲，生物特征指能够被用来验证和识别个体身份的生理或行为特征1。 而生物特征又可以大致分为两类。1） ：生理特征(physiological characterist)。它来源 于人体部分的直接度量，常见的生理特征有: 脸部图像、指纹、耳朵、虹膜等等。因 为这一类特征来源于人体部分的直接度量, 所以它们的可理解性较强；2）行为特征 (behavioural characterist)。它基于人体所执行的有特色的行为来提取特征，是人的习 惯特性的间接度量。常见的行为特征有：签名、声纹、步态等。 生理特征识别的研究发展较早，目前脸部识别4和指纹识别8技术已经趋于成 熟， 并且在商业领域和法律领域获得了广泛的应用。耳朵特征7不会随着年龄的增长 或表情的变化而发生改变，而且耳朵特征的独特性指数要比脸部特征的独特性指数 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 2 大上一个数量级，因此耳朵识别有着不错的应用前景。不过该项研究还处于刚刚起 步的阶段，并且头发的遮挡问题是它所面临的一个难题。虹膜识别5,6的研究虽然起 步也较晚，但是由于它的高精确性与稳定性，其相关技术正在飞速地发展。可以预 计，在不久的将来虹膜识别必将获得广泛的应用。 相比大多数的生理特征而言，行为特征容易受到诸如健康状态、用户心情和时 间变化等因素的影响1,2，因此在一定程度上限制了其发展。目前使用较多的行为特 征是声纹和签字，而步态10,11还处于研究的初步阶段。不过行为特征在安全监控领 域却有着生理特征所无法取代的地位，特别是在生理特征无法获取的情况下。因此 在生理特征识别技术日趋成熟的今天，人们更多地将目光投向行为特征的识别。例 如在 2000 年美国的 darpa 项目中， 步态识别就被列为了其中的一个重要研究课题： hid（human id at a distance program13） 。 (a) (f)(e) (d) (c)(b) (g) 图 1.1 一些常用的生物识别特征4-11 1.1.2 步态特征的优势及局限性 步态特征是一种新兴的行为特征，它主要指人的习惯性走路（跑步）方式14。 与其它生物特征相比，步态特征有着如下的优势： 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 3 ? 步态特征对于每个人而言是独一无二的。走路（跑步）是一项复杂的运动，其中 涉及到人身体各部分的形状结构以及它们之间的相互协调15-17。一般来讲，步态 的特征差异主要体现在两个方面：1）体型的差异，如身体比例、身高和步长等； 2）运动的差异，如上身、下肢、手臂的摆动幅度和摆动频率等。由于每个一人 都有不同的生理结构以及走路习惯，因此很难找出两个完全相同的步态。 ? 步态是所有生物特征中唯一适合于远距离观测的特征。 指纹和虹膜的采集依赖于 直接的或者非常近距离的感知； 脸部图像由于分辨率的要求也需要比较近距离的 感知；耳朵图像由于头发遮挡的问题，除了需要近距离的感知以外还需要红外图 像设备。步态特征来源于人体的侧影轮廓，因此不需要高品质的视频图像，从而 提供了在远距离进行身份识别的可能性。 ? 步态特征的捕捉是隐蔽的、非侵犯性的。步态识别的主要应用领域是远距离大范 围的视频监控，因此目标人物无法得知自己的监控状态，从而不会刻意地改变自 己的行走方式。 在这点上， 步态特征相较于其它的生物特征有着非常明显的优势。 例如，指纹、虹膜这些生物特征的提取过程通常需要测试对象的主动配合，而人 们极有可能会拒绝这种合作或者在特征提取过程中故意地扭曲其特征以求达到 不可告人的目的。 ? 步态特征是难于隐藏的。脸可能化妆或用面具隐藏；指纹可以被模糊；耳朵容易 被头发遮盖而看不见，然而人必须行走，因此人的步态通常是可见的。另外，个 体一般不会故意伪装自己的行走行为。因此这样做的话，他（她）的奇怪行为在 视觉监控中将表现得更加可疑。 ? 步态特征是难以模仿的。从某种意义来讲，步态特征是生理特征和行为特征的一 个综合体现。它既包含了人的体型特征有包含了人的走路特征，因此想要完全地 模仿一个人的步态特征是非常困难的。 当然，步态特征也有其自身的缺陷。步态特征与其它的行为特征一样容易受到 外来因素的影响，如：心情、衣着和身体变化等24,25。例如，不同心情下人的走路 方式通常是有区别的：在趾高气昂时人会显得“步履轻盈” ，而在垂头丧气时会显得 “步伐沉重” 。人在不同衣着情况下的步态特征也是有明显差异的，因为衣着会限制 人肢体的运动。同时，外套还会严重地影响人体侧影轮廓效果。最后，身体状况的 变化，如关节受伤、怀孕或体重改变等，这些都会明显地影响步态的识别性能。 为了更加清楚直观地说明步态特征的优势以及局限性，本章分别从生物特征的 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 4 准确度、测量距离、侵犯性、可测量性、防伪能力、技术成熟度3,23这几个方面来对 步态特征的识别性能进行评估，结果见表 1.1。参考起见，我们将其它生物特征（虹 膜、指纹、耳朵、人脸、签名、声纹）在以上各方面的评估性能也同时列出。从表 1.1 可以看出，步态是所有生物特征中唯一适合于远距离观测的，它的可测量性高、 防伪能力强、并且没有侵犯性，但是其测量准确度还有待提高。 表 1.1 步态特征与其它生物特征的性能比较 生物特征 准确度 测量距离侵犯性可测量性防伪能力技术成熟度 虹膜 高 近 是 低 高 一般 指纹 高 近 是 低 一般 高 耳朵 高 一般 否 一般 一般 一般 人脸 一般 一般 否 一般 一般 高 签名 一般 一般 是 低 低 高 声纹 一般 一般 否 高 高 高 步态 一般 远 否 高 高 一般 1.1.3 步态识别的应用 步态识别的潜在应用领域之一在于安全敏感场合的视觉监控。在银行、军事装 置、机场等重要场合，有效准确地识别人、快速检测威胁并且提供不同人员不同的 权限级别是相当重要的。但是当前人的识别系统所采用的技术能力仍然有限，成功 操作通常依赖于个体近距离的感知和协作。 如前所述，步态特征有许多理想的优点，特别是它的非侵犯性，使得它在大范 围、非约束场合的视觉监控中成为非常有吸引力的一种选择，因为远距离识别犯罪 将提供操作人员充分的时间在真正的危险发生之前做出正确的响应。除了步态本质 的特点之外，处理器能力的提升、高速存储器的出现、数据存储设备以及监控设备 价格的下降、计算机视觉技术的提高等均使得步态识别成为一种可行的安全应用。 步态识别的一个典型监控应用如图 1.2 所示。 通过散布于安全敏感场合的廉价摄 像机，人的走路行为被捕捉并提交给安全中心；计算机将该人物的步态特征与罪犯 分子步态特征逐个进行匹配；在出现匹配度较高（大于安全警报阈值）的犯罪分子 实例的情况下，打印该犯罪分子的相关信息并通知安全人员提前进行防范。这种远 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 5 距离、自动化的识别方式能够极大地降低潜在的犯罪威胁。 数据传输 报警与防范 罪犯 步态 数据库 中央电脑 特征匹配 视觉监控 目标步态 采集设备 犯罪现场安全中心 图 1.2 一个典型的步态监控应用 除了在视觉监控中进行身份识别应用以外，步态识别在安全鉴定、特殊场合的 访问控制、人群中特定人物的搜索、作为法律的辅助破案工具等方面也有着重要的 作用。随着计算机视觉技术的成熟以及人们对步态识别研究投入的增加，步态特征 的成功识别率也在不断地提高。目前较为优秀的步态识别算法10,36在某些公认的大 型步态数据库上，如：usf 步态数据库24,25、cmu 步态数据库26、casia 步态数 据库27等，已经取得了超过 90%的成功率。由此可见，步态识别是一项非常具有潜 力的生物特征识别技术。 1.2 步态识别研究概述步态识别研究概述 1.2.1 步态识别的相关领域 步态分析长期以来都是一个相对活跃的研究课题，特别是在生物力学、物理医 学以及心理学等方面。近来，随着步态识别研究的不断发展，其相关领域还包括了 图像处理、计算机视觉、模式识别等多个方面。 医学步态分析15-17是一个旨在提供诊断和医疗支持的研究领域。它可以提供构 建人体正常步态的线索，有助于开发生物反馈系统来分析病人的步态模式，判断其 腿步受伤情况或畸形程度，从而做出积极有效的治疗或补偿。追溯起来，步态最早 也是被应用于医学研究领域的，人们通过研究步态结构的运动情况来治疗患者。 murray 等人首先提出了人体步态的标准模式15以及病患模式16， 他们一共发现了 20 种不同的步态成分，并且指出： “人与人之间骨盆和胸部转动的差异性是最大的” 。 不过，这些步态成分的测量相当复杂，其中有的成分只能通过俯视的角度才能够测 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 6 量，而且还需要在人体各部位绑上标记。 步态作为一种潜在生物特征的洞察是从心理学的研究28中得到的。在最早的步 态感知研究中， 参与者使用附在关节上的光点显示 （moving light display， 简称 mld） 来产生图像29。当这些光点运动的时候，它们立刻就被感知为人的运动形式。除了 运动之外，感知学的研究还涉及了性别问题。感知性别的能力可以归因于身体结构 的不同，如男人更多的肩膀摇晃，而女人更多的臀部摇摆30-32。cutting 等人33早在 70 年代就提出通过步态识别行人的方法，此项工作开发了步态作为一种识别机制的 可行性。他们指出：步态作为一种同步的、对称性的运动模式，身份能够从中加以 感知。更加近来的实验使用视频图像代替传统的 mld，其结果表明人确实能够学习 个体步态，并且通过步态来识别它们34-35。 分类问题37-40是步态分析的一个主要分支，它旨在区别人的行走步态行为。早 期的步态分类方法有 meyer 等人使用的隐马尔可夫模型41（hidden markov models， 简称：hmms）和 bissacco 等人使用的动力系统空间42（dynamic space） 。近来则涌 现出许多更加高效的步态分类算法：han 等人使用人体轮廓的周期均值图作为步态 特征，然后通过 mda43（multipul discriminant analysis）的方法来对个体进行分类； zhang 等人在 han 的基础上使用 dla44（discriminant locality allignment）的方法 来取代 mda，用来增加步态特征在扭曲的特征子空间内的类别分辨能力；tao 等人 将步态的 gabor 特征作为分类数据，然后通过广义张量分析法45,46（general tensor analysis）来进行步态分类，该方法在 usf 步态数据库上取得了惊人的识别成功率。 1.2.2 挑战与解决方案 研究者的早期观察已经证明了步态作为生物特征的可用性，然而利用标记实际 上并不能够自动有效地捕捉个体的运动特征19,20。也就是说，标记对于方便地捕捉 个体运动是个明显的障碍，约束了步态的实际应用。使用步态作为生物特征所关心 的是如何利用计算机视觉方法来获取个体运动特性，这是能够满足识别目的的唯一 有效途径21,22。幸运的是，人体建模方法的开发为自动步态分析提供了强大的工具。 骨架模型以直线模拟在关节处所连接的骨骼来表达人体22,48；立体模型利用广义锥 台、椭圆柱、球等三维模型来描述人体的结构细节49-51；wren 等人使用区域模型52 （blob model）进行人的运动跟踪。然而，所有这些结构都需要加以修改以适应不同 的应用场合。 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 7 与一些其它比较成熟的生物特征识别技术相比，步态识别的研究目前还面临很 多问题11,24。首先，步态识别与其它识别技术不同的地方是用于步态识别的视频可 能是从较远距离拍摄的，这样会导致步态视频质量的降低。如果拍摄时的背景又比 较复杂，从中提取出的运动对象质量会进一步下降。其次，视频拍摄时的人体轮廓 通常会有一定程度的变形，比如拍摄角度的变化，衣着的变化，是否挎着包裹或者 有其它的随身携带物品等都会造成拍摄人物的形状变化，甚至会对行人走路的姿态 造成部分遮挡。最后，人走路的姿态并不是稳定的，比如情绪的变化、鞋子或路面 的变化、年龄的变化、身体的伤病等都会给人的走路姿态带来一定的影响。以上这 些问题使得步态识别的准确性和健壮性相比指纹识别和人脸识别等第一代生物特征 识别技术还有一定的差距。 为了使步态识别在目前阶段能够得到应用，一种途径是结合步态识别和其它生 物识别技术共同改进识别效果53,54，如结合人脸识别和步态识别来进行远距离的身 份认证55-58。一个典型的途径是通过视点归一化的方法来解决多视点的脸像与步态 识别问题55：lee 等人从一组单目视点图像中计算出的图像可视化外壳(image-based visual hull)，他们通过观察运动人的三维结构、外观和运动来确定正则规范的视点。 对于最优的脸像识别而言，他们设定虚拟摄像机来捕捉正面脸的外观；对于步态识 别而言，他们设定虚拟摄像机来捕捉人的侧面行走序列。多个摄像机被同时实施， 并且摄像机的位置进行动态地更新。两种己有的脸像与步态识别算法未加修改而直 接加以使用。实验结果表明，集成脸像与步态的身份识别比使用单个模式的识别提 供了更好的性能。 另一种途径是限制步态识别的视频拍摄条件，减少干扰步态识别的因素，提高 步态视频样本采集的质量和可靠性。比如为了克服前面提到的视频图像质量低的困 难，可以限制视频在近距离以及简单背景下拍摄；为了克服拍摄变形，可以将摄像 机位置完全固定，并且只应用在机场安检之类严格要求被检测对象不能携带包裹的 场合；为了克服人走路姿态自然的变化，可以采用多次采集样本等方法。 由此可见，在目前阶段步态识别的应用具有很多限制条件。为了使步态识别应 用到更广泛的领域，需要提高步态识别算法在各种状态变化下的稳定性。一些研究 尝试提高算法对某些状态变化的适应性，比如提高算法对视角变化64-66、路面情况 67,73、速度及时间变化68-72的适应性。但是在某些状态变化的情况下，目前算法的 识别率仍然有待提高。此外一种状态下识别率的提高往往会引起其它状态下识别率 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 8 的降低。所以，今后在如何提高步态的综合识别率方面还有大量的研究需要进行。 1.3 本文内容及结构介绍本文内容及结构介绍 以视觉监控为背景、以人为监控对象，本文进行了基于步态的视觉分析与识别 研究。该研究主要涉及人的运动分割、步态特征提取、步态特征分类等在步态识别 领域的关键技术。论文内容及章节安排如下： 第二章详细回顾了步态识别的研究现状，包括步态识别系统的体系结构、当前 的主要研究方法、主流步态数据库的介绍等。 第三章介绍了一种快速的基于核高斯模型的背景建模方法。步态图像经过背景 模型被转化为背景概率图像，然后通过运动段分割和 em 算法对背景概率图像进行 自动的人体区域分割。实验结果表明，核高斯模型较其它的统计背景模型（高斯模 型、混合高斯模型）更能适应复杂的步态场景。该模型对 usf 室外步态数据库进行 步态轮廓提取的效果十分令人满意，并且它的计算复杂度在经历了核参数估计改进 之后能够满足动态场景的实时建模要求。 第四章介绍了一种模型化的步态方法，该方法通过人体骨架来提取步态的识别 信息。一种改进的基于距离变换的骨架算法首先被用来将步态轮廓转化为步态骨架； 然后，通过骨架的腐蚀与还原技术，从人体骨架中抽取躯干和腿部的骨架枝；最后， 使用躯干和腿部骨架点的周期性运动特征作为步态特征来进行步态识别。实验结果 表明，在室内环境下该方法有着非常不错的识别性能，特别是针对多视角的情况， 通过对骨架进行视角修正能够极大地提高其正确识别率。 第五章介绍了一种非模型化的步态识别方法，该方法采用全局的方法通过对步 态的空时数据进行连续特征子空间学习来提取步态识别信息。第一次特征子空间学 习对步态的频域数据进行 pca（主成分分析）处理，然后将步态数据转化为周期特 征矢量形式；第二次特征子空间学习对步态的周期特征矢量形式继续进行 pca （主 成分分析）与 lda（线性判别分析）的联合处理，最终将步态数据转化为步态特征 矢量来进行步态识别。实验结果表明，该方法不仅获得了令人满意的识别性能，而 且还拥有相对较低的计算与存储代价。 第六章对全文进行了总结，并展望了未来的研究工作。 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 9 2 步态识别的研究现状步态识别的研究现状 步态识别作为一种新兴的生物特征识别技术已经成为基于视觉的人运动分析领 域的研究热点。由于步态的远距离非接触式识别特点，人们对它的关注与研究投入 日益增加。现如今步态识别在其相关领域已经取得了相当可观的技术成果。本章详 细回顾了步态识别的研究现状，包括：步态识别系统的体系结构、当前的主要研究 方法（轮廓提取和步态识别）以及现今主流步态数据库的介绍。 2.1 步态识别系统的基本框架步态识别系统的基本框架 步态识别系统的工作模式可以分为两种:认证(verification)和识别 (recognition)。 认证模式指验证用户是否为是某个特定的身份，而识别模式指从数据库中找到与用 户最匹配的身份。目前，大多数步态分析的研究都在识别模式下进行实验，计算对 步态数据库中对象的识别率。本文的全部实验也都是在识别模式下完成的。 步态序列跟踪 背景 建模 步态 分割 2d或3d模型 步态特征提取 分类器 步 态 数 据 库 识别结果 图 2.1 步态识别系统的一般框架 基于视觉的步态识别系统的一般框架如图 2.1 所示： 监控摄像机用于捕捉监控领 域中的行人；结合背景的建模与自动更新，步态检测用来检测行人；该行人在二维 或三维空间中被连续跟踪；从跟踪结果中，步态模式的一些个性化特征被相应提取； 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 10 结合在步态数据库中已经储存的步态模式，分类器最后给出识别结果。我们可以发 现，一个完整的步态识别系统通常由三个部分组成：1）步态轮廓提取(sillhouette extraction)；2）步态特征提取(feature extraction)；3）步态分类(classification)。下面， 我们分别对以上三个步骤进行概括的介绍。 一、步态轮廓提取 使用运动检测算法74-95从步态视频图像中提取运动对象。如果视频中不止有一 个运动对象，则需要对运动目标进行分类96-101。这样的运动对象提取之后还需要经 过噪声过滤，并缩放为标准尺寸，从而得到步态轮廓。 二、步态特征提取 步态特征包含两类重要分量，它们分别是：结构化分量（structure component） 和动态分量 （dynamical component） 。 结构化分量捕捉了一个人的身体形状， 如身高、 肢体长度、步长等特征，而动态分量捕捉的是人体行走期间的运动特征，如胳膊、 臀部、腿部的摆动方式等。目前的步态识别方法大致可以被划分为两类：一类是基 于模型的（model-based）方法，该类方法通过建模人体结构并且提取图像特征来将 步态特征影射为模型的结构化分量，或者衍生出人体部分的运动轨迹来识别个体； 另一类是非模型的（model-free）方法，该类方法通过特征化人体的整个运动模式来 获取运动特征的紧凑表达，因此不需要考虑人体的潜在结构。 三、步态分类 步态特征提取出来以后，分类算法23对其特征进行分类与识别。目前己经应用 于步态识别领域中的分类算法有：k 邻域分类法24（knn） 、支持向量机31（svm） 、 隐马尔可夫模型41（hmm） 、多元判别分析129（mda） 、线性判别分析130（lda） 、 张量分析132等。此外，主分量分析133（pca）在步态识别中经常被用来对特征矩阵 进行预处理。 2.2 步态轮廓提取步态轮廓提取 2.2.1 运动分割 背景减除法是目前运动分割领域中常见的一类方法，它是利用当前图像与背景 图像的差分来检测出运动区域的一种技术。最简单的背景模型是时间平均图像24,25， 但是它对动态场景的变化，如光照和外来无关事件的干扰等特别敏感。目前，研究 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 11 人员都致力于开发不同的背景模型，以期减少动态场景变化对运动分割的影响。 背景模型大致可以分为两类， 预测性模型和非预测性模型： 1） 预测性的方法74-81 利用场景各点的时间序列来构建动态的预测模型，然后通过该模型预测新的输入值 大小，预测值与实际值之差则作为变更的度量。基于卡尔曼滤波器74-76的背景模型 和基于维纳滤波器77的背景模型是最典型的动态场景预测模型。人们通过将该类模 型应用于特定的子空间内来提高背景模型对前景物体的辨识能力78,79。近来出现了 更为复杂的自回归模型80,81对变化的场景进行背景建模以及运动分割；2）非预测性 的建模方法则忽略背景输入值的时间先后顺序，为场景内的各点建立独立的概率统 计模型。文章82采用高斯模型来模拟背景点的象素值统计分布；friedman 等人88 则使用三个独立高斯的混合模型来模拟道路监控中的背景，并假设了三类物体：道 路，车辆和影子。文章89将 friedman 等人的方法扩展为多高斯混合模型并提出了 一种快速的模型参数更新方法。混合高斯模型能够处理复杂的背景，如：树叶、雨 雪、波浪、自动扶梯等，因此非常流行。后来，又产生出了许多基于混合高斯模型 的相关技术对模型参数进行在线更新90-93。核高斯模型94,95是一种较新的非参数背 景模型，它可以用来处理更加复杂的背景统计分布。 其它的运动分割方法还有时间差分法83,84和光流分析法85-87：时间差分法是在 连续图像序列中的两个或三个相邻帧之间采用基于像素的时间差分并且阈值化来提 取出图像中的运动区域。例如 lipton 等84利用两帧差分方法从实际视频图像中检测 出运动目标，进而用于目标的分类与跟踪。一个改进的方法是利用三帧差分代替两 帧差分，vsam23开发了一种自适应背景减除与三帧差分相结合的混合算法，它能 够快速有效地从背景中检测出运动目标。时间差分运动检测方法对于动态环境具有 较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在运动实体内部 容易产生空洞现象。基于光流方法的运动检测采用了运动目标随时间变化的光流特 性，如 meyer 等85通过计算位移向量光流场来初始化基于轮廓的跟踪算法，从而有 效地提取和跟踪运动目标。该方法的优点是在摄像机运动存在的前提下也能检测出 独立的运动目标。然而，大多数的光流计算方法相当复杂，且抗噪性能差，如果没 有特别的硬件装置则不能被应用于视频流的实时处理。 2.2.2 运动分类 通过运动分割方法提取出场景内的运动区域之后需要对该运动区域进行分类。 总 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 12 得来说，运动区域的分类方法可以分为两类：一种是基于形状信息的分类，其方法 是利用检测出的运动区域的形状特征进行目标分类。例如可以使用区域的分散度和 面积 96,97作为特征来对二维的运动区域进行分类， 或者使用简单的人体轮廓模式的形 状参数 98从图像中检测运动的人；一种是基于运动特性的分类99,100，它是利用人体 运动的周期性进行目标分类的方法。 例如 cutler 与 davis 99通过跟踪感兴趣的运动目 标，计算出目标随着时间变化的自相关特性，而人的周期性运动使得其自相关也是 周期性的，因此通过时频化的方法分析目标是否存在周期性的运动特性而将人识别 出来。以上两种目标分类方法还可以结合起来使用 101，甚至可以考虑运动物体的色 彩或速度等特征，以期得到更加准确的分类结果。 2.3 步态识别算法步态识别算法 当前步态识别算法要么使用行人的时空模式得到步态特征；要么通过光流分布 来提取特征；要么特征化实际运动的外观；要么瞄准一般性目标结构与运动描述等。 如何有效地表达分割出的行人是非常重要的，因为它将被直接或被进一步分析来获 取用于识别的步态特征。目前在步态识别系统中使用到的不同数据表达类型如表 2.1 所示。例如，点的表达对于使用标记的系统是非常充分的，当然它最后可以形成运 动轨迹。轮廓表达因为它的简单性而非常流行，它典型地包含在分割过程中所发现 的变化的象素或区域。本文步态识别系统所使用的数据表达类型正是人体轮廓。 表 2.1 当前步态识别系统中常用的数据表达类型 数据表达类型（data representation） 典型的算法（typical publications） 点或轨迹（point and trajectory） （71，105，111，112，150，151） 轮廓（silhouette） （62，119，126，132，145，169） 区域（region） （97，101，121，123，138） 光流（optical flow） （118，126，129） 边缘（edge） （113，114，115，118，122） 外形（contour） （120，125，155，159，160） 身体参数（physical parameters） （66，67，73，106） 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 13 2.3.1 模型化方法 模型化的识别方法旨在明确地对人体和运动进行建模。一般来讲，该类方法需要 对图像序列的每一帧进行模型匹配，并找出人体模型或运动模型的参数，如关节轨 迹、关节角度、运动速度、人体肢长等。典型的模型化方法是对人体轮廓进行模型 匹配。该类方法将设计的 2d 或 3d 人体模型与 2d 的侧影轮廓进行匹配，然后再在 模型上提取人体或运动参数。常见的模型有骨架模型、区域模型和立体模型等，如 图 2.2 所示。基于模型方法的优点是从模型中所得到的参数具有很强的识别能力，但 是从行走视频中构建精确的人体模型在计算机视觉领域是十分具有挑战性的难题。 (a)(b)(c) 图 2.2 (a) 人体骨架模型；(b)人体区域模型；(c)人体立体模型。 2d/3d 区域模型102-105将人体形状定义为由矩形和椭圆所组成的集合，然后跟 2d 的人体轮廓进行匹配。 在匹配的模型基础上， 提取出步态的时间度量与空间度量。 其中时间度量指肢体的角度随时间的变化曲线，而空间度量指人的肢体摆动幅度； 最后将这些时空参数作为步态特征来对步态进行分类与识别。例如：wang 等人104 在其研究中使用基于 2d 模型的方法来提取步态的运动特征。它们将人体分成 14 个 刚性结构：上/下躯干、脖子、手臂上/下肢、大/小腿、脚和头，这些关节分别以球体 和圆锥体表示。关节的运动轨迹被提取以及时间归一化，然后作为步态的动态特征 与静态特征进行融合与识别。bhanu 等人102提出了一种基于 3d 模型的识别方法， 该方法通过一组用球连接的锥体所组成的 3d 模型与从图像序列中提取的 2d 轮廓之 间的最小平方拟合来估计三维行走参数，遗传算法用来在估计的参数中提取特征。 该方法消除了视角必须垂直于行走平面的假设，这对于实际的步态识别应用是非常 理想的。 华 中 科 技 大 学 博 士 学 位 论 文华 中 科 技 大 学 博 士 学 位 论 文 14 将身体参数作为步态特征66,67,73,106在直观上是非常容易理解的， 它们通常使用人 体的几何结构特性，即由人体几何所确定的静态身体和步长参数等，而不是运动本 身的直接特性，来表示一个人的步态模式。这些参数包括身高、韵律、步长、肢体 长度等。度量一个静态参数的优点是可以使用多个视点来恢复参数，且静态参数通 常是视点不变的，这对于识别而言是个巨大的优点。不过它容易受到来自3d空间恢 复这些参数所需要的视觉方法的影响，比如身体部分标定、摄像机标定、深度补偿 以及阴影移除等。另外，这些用于识别的参数在大规模人群中将不太有效。 bobick等67提出了一种使用行为参