（计算机系统结构专业论文）基于角度及轮廓特征的步态识别方法研究.pdf

摘要 随着现代社会对安全的迫切需求，生物特征识别作为对安全敏感 场合进行访问控制的一种身份鉴别技术，得到大力的研究和发展。人 脸、指纹等生物特征通常要求近距离或接触性的感知，在远距离的情 况下将无法使用，而步态则是此种情况下唯一可感知的生物特征，因 此，步态识别利用人行走的姿势鉴别人体身份，在视觉监控领域 具有显著的优势。 首先对步态进行预处理。通过分析和比较常用的运动检测方法， 针对文中使用的步态序列具有背景简单的特点，采用背景减除法实现 步态检测；对步态运动的周期性进行分析，并利用人体侧影的高宽信 息计算步态周期。 然后，基于“行走运动的关节角度变化包含着丰富的个体识别信 息”的观点，提出了基于下肢运动分析及d t w 的步态识别方法。对 每个步态序列，依据人体解剖学的先验知识，通过对下肢运动的分析 来定位关节点，进而提取一个步态周期的下肢角度变化轨迹作为特征 矢量；采用动态时间规整( d t w ) 算法计算不同步态序列问的相似度， 使用最近邻分类器及k 近邻分类器实现步态的分类决策。 最后，针对基于单一特征的步态识别方法一般不能得到令人满意 的识别效果，利用特征融合的思想，提出了在匹配层上融合下肢角度 及人体轮廓特征的步态识别方法。融合过程中，权重的赋予使两种步 态特征按较优的比例进行组合，以充分发挥其互补性。c a s i a 数据库 上的仿真结果表明，本方法的识别率达到9 5 ，明显高于基于单一特 征的步态识别方法。 关键词生物特征识别，步态识别，动态时间规整，特征融合， 傅立叶描述子 a bs t r a c t w i t hag r o w i n gn e e df o rs e c u r i t yi nm o d e r ns o c i e t y ，b i o m e t r i c s r e c o g n i t i o n ，a sah u m a ni d e n t i f i c a t i o na p p r o a c h f o ra c c e s sc o n t r o li n s e c u r i t y s e n s i t i v ee n v i r o n m e n t s ，h a s b e e n g r e a t l y r e s e a r c h e da n d d e v e l o p e d t oo p e r a t es u c c e s s f u l l y ，t h e e s t a b l i s h e db i o m e t r i c ss u c ha s f a c e 、f i n g e r p r i n tu s u a l l yr e q u i r ep r o x i m a ls e n s i n go rp h y s i c a lc o n t a c t h o w e v e r , g a i ti st h eo n l yo n eb i o m e t r i ct h a tc a nb ee a s i l yp e r c e i v e da ta d i s t a n c e s o ，g a i tr e c o g n i t i o n ，w h i c ha i m st oi d e n t i f yi n d i v i d u a l sb yt h e i r w a l k i n gm a n n e r s ，i sv e r ya t t r a c t i v ei nt h ef i e l do f v i s u a ls u r v e i l l a n c e a t f i r s t ，g a i ts e q u e n c e s a r e p r e p r o c e s s e d b ya n a l y z i n g a n d c o m p a r i n gk i n d so fm o t i o nd e t e c t i o nm e t h o d s ，a n dc o n s i d e r i n gt h es i m p l e b a c k g r o u n do fg a i ts e q u e n c e s ，b a c k g r o u n ds u b t r a c t i o n i su s e di ng a i t d e t e c t i o n g a i tc y c l ei sa n a l y z e d ，t h e nw i d t ha n dh e i g h to fb o d ya n a l y s i s i sp e r f o r m e dt oc o m p u t e ri t n e x t ，b a s e do nt h ei d e at h a tjo i n t a n g l et r a je c t o r i e so fb o d yp a r t si n w a l k i n gm o t i o ni n c l u d es u f f i c i e n td y n a m i ci d e n t i t yi n f o r m a t i o n ，ag a i t r e c o g n i t i o nm e t h o db a s e do nl o w e r - l i m bm o t i o na n a l y s i sa n dd y n a m i c t i m ew r a p p i n gi sp r o p o s e d f o re a c hg a i ts e q u e n c e ，a c c o r d i n gt ot h e k n o w l e d g eo fh u m a nb o d ya n a t o m y , t h ec o o r d i n a t e so f l o w e r - l i m bjo i n t s a r eo b t a i n e db ya n a l y z i n gl o w e r - l i m bm o t i o n ，a n dt h e nt h et r a j e c t o r i e so f l o w e r 1 i m ba n g l e si no n ec y c l ea r ee x t r a c t e da sf e a t u r ev e c t o r s d y n a m i c t i m ew r a p p i n gi su s e dt om e a s u r et h es i m i l a r i t yo fd i f f e r e n ts e q u e n c e s ， t h e n ，n e a r e s tn e i g h b o ra l g o r i t h ma n dk n e i g h b o ra l g o r i t h ma r ef i n a l l y p e r f o r m e dt or e a l i z eg a i tr e c o g n i t i o n a tl a s t ，i no r d e rt os o l v et h ep r o b l e mt h a tm o s tg a i tr e c o g n i t i o n m e t h o d sb a s e do ns i n g l ef e a t u r ec a nn o tg e ts a t i s f i e dr e c o g n i t i o nr e s u l t s ， a c c o r d i n gt ot h ei d e ao ff e a t u r ef u s i o n ，ag a i tr e c o g n i t i o nm e t h o du s i n g f u s i o no fl o w e r - l i m ba n g l e sa n db o d ys i l h o u e r ea ts c o r el e v e li sp r o p o s e d e a c hf e a t u r ei sa s s i g n e dt ow e i g h t s ，w h i c hc a nm a k et h e mc o m b i n ei n s u i t a b l ep r o p o r t i o n e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a tt h er e c o g n i t i o n r a t eo fp r o p o s e dm e t h o di s9 5 ，m u c hh i g h e rt h a nt h o s eb a s e do ns i n g l e f e a t u r e k e yw o r d sb i o m e t r i c sr e c o g n i t i o n ，g a i tr e c o g n i t i o n ，d y n a m i ct i m e w r a p p i n g ，f e a t u r ef u s i o n ，f o u r i e r - b a s e dd e s c r i p t o r s i i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得中南大学或其他单位的学位或证书而使用过的材料。与我共 同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：重复 日期： d i 9 f年月卫日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文并根据国家或湖南省有关部门规定送交学位论文， 允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内 容，可以采用复印、缩印或其它手段保存学位论文。同时授权中国科 学技术信息研究所将本学位论文收录到中国学位论文全文数据库， 并通过网络向社会公众提供信息服务。 作者签名：重蛊导师签名型幽日期：。窭年月五日 硕十学位论文 第一章绪论 第一章绪论 1 1 课题研究的背景和意义 1 1 1 研究背景 现代社会对安全的要求越来越高，在诸多安全防范技术中，对物理场所和信 息资料进行访问控制的身份鉴别技术是保障个人和公共安全的核心技术。传统的 身份鉴别方式主要包括基于知识( 如密码、口令) 、基于标识物( 如钥匙、i c 卡) 或 两者相结合( 如银行卡) 的方法。但这些方法的缺点是密码可能遗忘或被破解，标 识物可能丢失或伪造，这样难以保证身份确认的可靠性。因此，我们急需一种安 全、有效的身份鉴别技术保障我们的生活，这种技术就是生物特征识别技术。 生物特征是指可以识别和验证人的身份的生理特征( 如指纹、脸像和虹膜等) 或行为特征( 如笔迹、声音和步态等) 【1 】，具有“人各有异、终生不变、随身携带” 等优点i 2 1 。生物特征识别技术就是通过计算机与光学、声学、生物传感器和生物 统计学原理等高科技手段密切结合，利用这些生物特征来进行人体身份的鉴定， 比传统的身份识别方法更具安全性、保密性和方便性。目前国际上大规模应用生 物特征识别技术的趋势日渐明显。比如国际民航组织已要求1 8 8 个成员国将诸如 指纹、脸像、虹膜等生物特征嵌入旅行证件；中国香港特别行政区的新一代身份 证中已经嵌入指纹信息：英、美等多个国家的机场纷纷安装了虹膜、人脸识别系 统等；美国启动的访客系统，要求每个申请访问美国的外国人提供指纹。 虽然指纹、人脸等生物特征识别技术在某些安全领域已经得到了成功的应 用，但是这些生物特征的获取需要近距离或接触性的协作感知，而且容易伪装或 隐藏，因此其应用范围受到了限制。随着安全敏感场合( 如银行、机场、军事基 地等) 对智能视觉监控系统的要求的提高，这些传统的生物特征识别系统已经难 以满足实际应用的需要，一种新的可以进行远距离非接触式身份认证的生物特征 步态，引起了研究人员的广泛关注。 步态是人行走时的姿态，是步行运动状态的总称。步态识别根据拍摄的行走 视频，通过人体走路的方式辨别人的身份。从视觉监控的观点来看，步态是最具 有潜力的生物特型3 1 ，因为其信息可以在远距离秘密地获取并进行识别。这种远 距离识别威胁的能力，能够为操作人员提供充分的时间，使之在危险发生之前做 出响应。除了步态本身的特点，计算机处理器性能的提升，高速数据存储设备的 出现以及监控摄像机价格的下降，人体建模、运动跟踪等计算机视觉处理技术的 提高等因素使得步态识别技术成为了一种新的可行的安全应用，极具研究意义与 研究价值。 硕士学位论文 第一章绪论 美国高级研究项目署d a r p a ( d e f e n s ea d v a n c e dr e s e a r c hp r o j e c t sa g e n c y ) 在2 0 0 0 年资助的重大项目_ h i d 计戈l j ( h u m a ni d e n t i f i c a t i o na tad i s t a n c e ) ，其 任务就是开发多模态的监控技术以实现远距离情况下人体检测、分类和识别，从 而增强国防、民用等场所免受恐怖袭击的自动保护能力。近距离时一般可通过跟 踪人脸来加以身份识别；如果是远距离的监控，脸部特征可能被隐藏，或者分辨 率太低不易识别，此时进入监控领域的人体步态是可见的，这使得步态作为一种 独特的生物行为特征应用于人体身份鉴别。马里兰大学、麻省理工学院、卡耐基 梅隆大学等诸多知名院校参与了此项工作，其重点在于步态识别的研究。尤其在 美国9 1 1 事件之后，该项研究得到进一步的重视。 1 1 2 研究意义 1 重要的学术价值 由于步态识别的研究工作涉及到模式识别、数字图像处理、计算机视觉、心 理学、以及认知科学等多个领域的诸多知识，并与其他基于人体生物特征的身份 鉴别技术有密切联系；因此，步态识别研究对于开拓新兴技术领域，促进跨领域 的多学科综合发展具有重要的科学意义。 2 良好的应用前景 步态识别是唯一能够应用于远距离身份鉴别的技术，具有采样方便、测试者 没有心理负担等众多优点，加上社会发展对安全的迫切要求，因此在智能监控领 域将具有广泛的应用前景和商业价值。智能监控系统主要用于那些对安全要求敏 感的场合，如银行、商店、停车场等。如果一个人在监控摄像机前行走，而该摄 像机以前记录了此人的步态特征，监控系统将根据新捕捉的视频序列进行此人的 身份识别。若发现此人是罪犯、嫌疑人或陌生入侵者，系统将自动向保安人员发 出安全警报，及早发现异常活动，从而避免犯罪的发生；同时也减少雇佣大批监 视人员所需要的人力、物力和财力的投入。 除了在视觉监控领域进行身份识别的应用以外，步态识别在人体运动的计算 机分析、临床诊断和治疗、高级人机交互、刑侦破案等方面也有着重要的意义， 甚至可能应用于诊断抑郁症和谎话检测。 1 2 步态识别技术综述 1 2 1 步态识别技术简介 步态识别旨在根据人们的行走姿势进行身份鉴别，是生物特征识别领域的一 个新的研究方向。由于个体之间身体结构和运动行为上的基本特性不同，步态运 动为人的识别提供了独特的线索。早期的医学研究指出，人的步态中具有2 4 种 2 硕士学位论文第一章绪论 不同的成份，如果考虑人行走过程中的所有因素，步态信息对不同人是唯一的。 从生物力学的角度来看，人的步态包括身体上百种肌肉和关节的综合运动。这些 运动对所有人来说都遵从基本的双足模式，然而不同人的运动又有差异，例如相 对时序与幅度的不同，所以步态被认为是个体特有的。心理学上的研究进一步表 明，步态是人所具有的一种与生俱来的独特的生物特征，可应用于人的身份认证。 总之，医学、生物力学、心理学等领域对步态的研究是步态识别作为一种生物认 证技术的科学依据，为计算机视觉领域对步态识别的研究奠定了坚实的基础。 计算机视觉领域的一个根本性问题就是如何从底层原始视频数据得到高层 的语义理解，而基于计算机视觉的步态识别技术研究正是紧紧围绕这个基本问题 展开的。它是计算机视觉领域中运动行为理解的分支，涉及到计算机视觉、模式 识别、数字图像处理等技术的许多基本问题，如运动检测、图像分割、自遮挡处 理、特征提取与分析、分类器设计等。 n i y o g i 最早利用计算机视觉与模式识别技术进行步态识别【4 1 。随后，步态识 别技术吸引了计算机视觉领域众多学者的研究兴趣，这是因为它具有以下一些其 它生物特征所不可比拟的优点1 5 j ： ( 1 ) 非侵犯性、非接触性人行走的步态信息是在用户并未察觉的情况下 采集到的，不像指纹、虹膜识别那样需要用户的密切协作，主动接触指纹仪或注 视虹膜捕捉器。 ( 2 ) 难于隐藏和伪装例如银行抢劫犯通常会戴上面罩、眼镜和手套，此 时人脸和指纹等其他生物特征不再发挥作用。然而，人必须行走，因此人的步态 通常是可见的。同时，人一般不会伪装自己的行走行为。如果设法这样做的话， 他的奇怪行为在视觉监控中将表现得更加可疑。 ( 3 ) 易于采集步态识别不要求所捕捉的图像必须有非常高的质量，然而 其他生物特征识别技术在分辨率低或图像模糊时，通常无法进行识别。 ( 4 ) 远距离识别指纹和脸像等生物特征通常需要近距离或接触性的感 知，而步态完全可以远距离地进行捕捉，因此它提供了在远距离情况下识别人的 可能性。 每一种生物特征都有各自的优缺点，因此没有所谓的最优的生物特征。步态 作为生物特征，当然也存在着自身的缺点，那就是其稳定性不是很好。以下因素 都有可能影响或改变步态的特征【6 1 ： ( 1 ) 刺激物药品或酒精等刺激物都有可能影响人的正常行走姿势。 ( 2 ) 身体的变化腿部受伤或体重剧烈变化都将影响个体的运动特性。 ( 3 ) 心理一个人的情绪会影响他的步态特征。 ( 4 ) 服饰同一个人在穿上不同的衣服，采用自动特征提取方法获取步态 硕士学位论文第一章绪论 特征时可能存在较大的差异。 虽然步态特征容易受到以上一些不利因素的影响，并且还具有数据量大，总 体识别精度在中等的缺点，但是它能够使一些人企图通过伪装或者隐藏其它的生 物特征来掩盖真实身份的图谋破灭，这一优点正是它的魅力所在。 1 2 2 步态识别的研究内容 步态识别的过程如图1 1 所示。首先，监控摄像机捕捉到人的行走视频，并 输入至计算机：然后，通过步态检测获取人体目标；利用数字图像处理技术从运 动人体中提取一些个性化的步态特征后，与已有步态数据库中的步态模式进行匹 配；最后分类器给出识别结果。 图 - 1 步态识别的过程 结果 按照步态识别的过程，其研究内容主要包括以下几个方面： 1 步态检测 研究如何从一段视频序列中获得运动人体的二值图像。这是步态识别过程的 第一步，本质上属于运动检测，即从序列图像中将运动目标从背景图像中提取出 来。它将直接影响到后续步态特征提取、步态鉴别等工作的成败。目前，大多数 步态检测常因条件的有限被设定在一些特定的场合，在这些场合下的步态检测工 作相对而言比较容易完成。然而，真实环境下的自动步态识别系统，由于光照、 影子及背景扰动等因素造成背景的动态变化，使有效的步态检测成为一项挑战性 的工作。常用的步态检测方法有背景减除法、时间差分法和光流法三种。 2 步态表征 研究如何提取和表达步态特征，这是目前步态识别的研究重点，它直接关系 到识别的准确度。步态特征主要分为两大类：人体结构特征和运动行为特征。前 者通常反映了人体的几何特性，如身高和体形；而后者主要指行走时的肢体运动 参数的变化。直觉上，步态识别主要依赖结构特征随时间变化的结果。目前关于 步态识别的工作主要集中在使用底层的静态信息( 如轮廓) ，只有少数工作使用了 高层信息( 如关节角度) ，尽管这些特征更能反映步态模式的本质。 步态特征提取的方法分为基于模型的方法和基于非模型的方法两类。 4 硕士学位论文第一章绪论 基于模型的方法依据人体和步态的生理特征把人体区域分割成若干部分，然 后对各个部分建立模型，通过模型与二维图像序列的参数匹配获取步态特征。人 的步行存在着携带诸如提包、雨伞等足以改变外形、掩盖部分人体的现象，在很 多运动场合，还存在着人的身体自我遮挡的现象，此时的步态特征将很难提取。 基于模型的方法的最大优势就在于能够处理遮挡问题，因为模型是依赖于序列图 像中人的移动模式而建立，能够反映当前的变化，还能对过去和将来的变化进行 估算。但该方法的不足之处是提取特征方法比较复杂，计算代价高；对人体区域 分割要求比较高，有些特征很难提取。 基于非模型的方法则利用目标移动所产生的时空模式的各类统计值，直接从 人体图像当中提取出步态特征。其特点是计算量较小，便于实时运算，但是，一 旦场景中出现遮挡现象，识别能力将受到影响。 3 步态鉴别 步态鉴别即通常所说的步态的分类识别过程。采用适当的方法将待识别的步 态与步态数据库中保存的步态模式进行匹配，通过一定的判别依据决策它所属的 类别。考虑到步态的运动特性，对其分类识别也需要采用基于动态系统的识别方 法，目前主要有基于概率统计和基于模板的方法。 基于统计的方法是动态系统模式识别中识别效果最好的方法，主要有隐马尔 可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 和动态贝叶斯网络( d y n a m i cb a y e s i a n n e t w o r k ，d b n ) 。隐马尔可夫模型是目前人体动作识别中应用最为广泛的识别方 法，也能很好地应用于步态识别中。动态贝叶斯网络由于模型结构复杂、参数繁 多等原因，在步态识别中运用比较少，但是动态贝叶斯网络具有隐马尔可夫模型 无可比拟的优越性，是步态分类识别方法发展的方向。基于模板的方法主要有模 板匹配( t e m p l a t em a t c h i n g ) 和动态时间规整( d y n a m i ct i m ew a r p i n g ，d t w ) 。前 者需要对每一个样本都建立一个或者多个模板，识别时将获取的特征数据与模板 匹配，计算两者之间的相似度；它最主要的缺点是无法解决运动时间快慢的影响。 后者是将两个不同时问长度的运动特征模板，按照一定的时间规整曲线进行时间 规整，使得特征模板时间长度达到一致，然后再匹配，具有概念简单、算法鲁棒 的优点。 除了基于统计和基于模板的方法外，k 近邻法、b p 神经网络、支持向量机 也是常用的分类方法。其中，k 近邻法以其简单及良好的分类性在步态识别中得 到了较多的运用。 目前的步态识别研究侧重于从计算机视觉的角度去寻找和精确提取有效反 映步态的特征，对模式识别方法的应用还不太深入。在实际应用中，这通常基于 使用者恰好能够得到哪种分类器，或者哪种分类器对于使用者来说最为熟悉。 硕士学位论文第一章绪论 1 2 3 步态识别的研究难点 步态识别是一种远距离的身份鉴别技术，涉及到许多困难问题，如计算机视 觉领域中的运动检测问题，模式识别领域中的特征提取与模式分类问题等。主要 存在着以下一些研究难点： ( 1 ) 复杂环境下的步态检测问题。快速准确的运动检测一直就是计算机视觉 领域的一个重要而困难的问题。几乎所有的人体运动分析都是从运动检测开始， 同样，步态检测也是步态识别过程中的必需环节。现有的步态识别方法大多假定 数据采集环境为：摄像机静止，视野中只有单人行走，背景是静止的或不太复杂 的情况；而实际监控场景往往很复杂，可能存在多个运动物体，背景图像受天气、 光照等外界因素的影响变化较大。因此，实现实际场景下的步态检测仍然是一个 挑战。 ( 2 ) 步态自身的特点。一方面，步态运动本身具有复杂多变的特性，在相同 的行走条件下，同一个人在不同时间的步态，即使用同一种表达方式，结果也有 可能不尽相同；另一方面，衣服、心情、行走速度的变化，携带物品，行走路面 的改变( 如平地、山坡或草坪) 等所导致的步态变化，都会给步态识别研究带来 不小的困难。 ( 3 ) 步态识别过程的运算量较大。步态识别的处理对象是一段视频序列，而 一个步态序列中往往有几十帧( 一般大于5 0 帧) 步态图像，需要对每一帧图像进 行分析并获取相关的步态特征，这将是一个复杂的高维数信息处理过程。因此， 如何利用计算机准确处理巨大的信息量，同时保证步态识别系统的实时性要求， 也是步态识别研究的主要难点之一。 ( 4 ) 步态识别方法的性能评价问题。步态识别研究还处于起步阶段，没有建 立标准的数据库和算法评价准则。同一种步态识别方法在不同的数据库上可能有 不同的识别结果，由于步态识别技术本身具有数据量大，计算复杂的特点，所以 也不可能在所有的数据库上对每种方法进行性能测试。因此，如何客观的评估各 种步态识别方法的性能是目前步态识别的研究难点。 1 2 4 步态识别的研究现状 在美国d a r p a 的h i d 计划驱动下，包括英国的南安普敦大学以及美国的麻 省理工学院、卡内基梅隆大学等2 0 多所高校及公司在内的科研机构于2 0 0 0 年开 始进行步态识别的研究。随后，中国、日本、加拿大等国家的科研机构也开始了 这方面的探索。近年来，步态识别技术已引起了各国学术科研机构的高度重视， 涌现出了许多尝试性的工作。但是，目前对步态识别技术研究仍然处于理论探索 阶段，即着重于步态识别方法的研究，能够满足人们需求的理想步态识别系统尚 6 硕士学位论文 第一章绪论 未出现。 现有的步态识别方法主要分为两大类：基于模型的步态识别方法和基于非模 型的步态识别方法。 1 基于模型的步态识别方法 基于模型的方法首先根据先验知识建立人体模型或运动模型，然后把二维图 像序列与模型进行匹配，得到模型参数，则参数的比较等价于识别结果。该方法 的优点是模型在某种程度上能够解决人行走过程中产生的自遮挡问题，并且提供 了直接从模型参数中获取步态特征的能力。但是，基于模型的方法往往需要计算 众多的模型参数，计算代价一般很高；另外，由于在三维空间中准确跟踪和定位 人体一直以来都是计算机视觉领域的难题，因此基于模型的方法的有效性在运动 建模和参数提取方面仍是相当局限的。 早期的模型化方法由文献 7 提出。将腿部的倾斜角变化模型化为正弦函数， 使用v h t ( v e l o c i t yh o u g ht r a n s f e r ) 计算模型的参数，最后对正弦函数执行傅立叶 变换得到步态特征。 文献 8 将腿部运动设定为一个链接的钟摆运动模型。模型的上半部分从盆 骨到膝盖，下半部分从膝盖到脚踝。此模型认为步态运动是周期性的，行为表现 为钟摆的方式，因此步态可以作为周期性信号处理。用二阶傅立叶序列建模。运 动的参数有盆骨的起始位置g 、( x 位移的速度以及股的转动。利用速度h o u g h 变换获得股转动的傅立叶序列参数。通过傅立叶序列参数计算作为识别特征的股 转动的幅度和相位，最后用k 近邻和最近邻方法进行分类。 文献 9 根据质心比例关系将人体侧影投影的轮廓图像分为7 个部分，用椭圆 将每个部分进行建模，以椭圆的质心、离心率等参数作为反映人体步态的特征参 数，最后采用模板匹配法进行识别。 文献 1 0 将人体建立了一个棍图模型，即把人体的躯干及四肢用连接关节的 线段的表示。在图像序列中跟踪各个部位的摆动角度，利用摆动的角度作为步态 特征。 目前基于模型的方法都是建立二维模型，尽管二维模型在一定程度上对视角 及其他条件具有不变性，但要最终解决视角变化及遮挡问题，还必须依靠三维。 三维方法在不受限的人的运动判断、更准确的物理空间的表达、遮挡的准确预测 及处理等方面是二维方法所不能比拟的。它能提供更加有意义的与身体姿势直接 相关的可视化特征用于行为识别。 2 基于非模型的步态识别方法 该方法不需要先验模型，只要通过对步态图像序列中运动人体生成的时空模 式做统计分析，隐含定义应该观察的特征并以此对步态进行特征提取和分析。这 7 硕十学位论文第一章绪论 是目前步态识别最常用的方法。 文献 1 1 利用人体二值图像的侧面外轮廓宽度矢量作为步态特征。宽度是同 一水平线上两个轮廓点之间的距离，依次扫描人体区域，计算得出宽度矢量；然 后使用h m m ( 隐马尔可夫模型) 进行分类识别，h m m 的统计本质使步态模式表 达和识别都具有鲁棒性。 文献 1 2 提出了一种应用推广的对称算子分析人行走的对称性以达到识别 的目的。该方法使用s o b e l 算子提取行人轮廓边缘，由对称算子计算边缘上点的 对称映射，由所有的对称映射取平均得到步态信号。这种方法基于“步态是一种 对称的运动模式”的观点，其优点是能够允许空域数据的丢失、丢帧和一定程度 的噪声干扰。 文献 1 3 应用傅立叶描述子描述人步行时身体形状的变化，以此作为表征步 态的特征。傅立叶描述子常用于建立静止或非刚体物体的边界模型，m o w b r a y 和n i x o n 等人进一步发展了文献 1 3 的方法，提出一种时空傅立叶描述子【1 4 i ， 用以表达步态的周期性变形模式。时空傅立叶描述子是在时、空频率域对人体形 状序列进行分析，具有很强的形状描述和识别能力。 文献 1 5 使用光流法提取步态信号。光流能描述瞬时运动形状，包括运动物 体的形状( 空间) 和运动的形状( 时间) ，可以从运动形状的周期性差异区别不同的 步态。首先从肿1 幅图像计算出n 幅光流图像，使用尺度无关的矩描述光流图中 的空间形状分布，得到图像的m 个矢量，对于序列图像可以求出一个特征矢量。 训练时计算各样本特征矢量的平均值作为聚类中心，识别时计算待识别序列矢量 和每个聚类中心的距离，采用最近邻法则把序列归入距离最近的类别中。 文献 1 6 】通过z e m i k e 矩描绘子描述步态的形状，并利用z e r n i k e 矩对步态序 列的描述进行插值、预测和重建丢失的中间帧信息；文献 1 7 则构造了一种所谓 的z e m i k e 速度矩，并以此速度矩作为步态特征进行识别。 我国的中科院自动化所也对步态识别技术进行了较为深入的研究：王亮提取 运动人体的外轮廓，然后计算运动过程中轮廓上每个点与质心的欧氏距离作为人 的步态特征，使用经典的主成份分析法( p c a ) 对步态特征进行降维；对步态特征 信号分类方法是计算待识别步态序列矢量和特征空间中样本矢量之间的距离，把 它分类到距离最近的类中l l 引。王亮等人还提出了一种是基于p r o c r u s t e s 形状分析 的步态识别方法，主要利用统计形状分析提取步态特征向量i i9 】。 综上所述，基于模型的步态识别方法是考察人体的结构，而基于非模型的步 态识别方法则通过对位置、速度、形状等特征的估计在相邻帧之问建立对应关系， 是对人体的运动模式的紧凑的表达，不考虑在此之下的人体结构。 近年来涌现了不少新的步态识别方法。从已有的研究方法来看，研究者通常 8 硕士学位论文第一章绪论 把步态看作线性和不变的信号，而文献 2 0 则指出步态信号是一种非线性、时变 的信号，应采用非线性、时变的信号分析方法产生步态特征向量。文献 2 1 采用 了3 d 时问运动模型来同步视频序列，这种模型不仅用于跟踪，而且用于恢复运 动参数以便识别。这种方法对遮挡和运动方向的改变有鲁棒性，可克服现有方法 的局限性。k a l e 等人首次尝试了在单摄像机情况下融合人脸和步态特征数据， 进行身份鉴别，充分发挥步态识别与其他生物特征识别技术融合的识别潜力。 1 3 本文的内容组织 本文在前人的研究基础上，对步态识别技术展开了研究。研究的主要内容包 括步态检测、步态特征的提取与表达、步态模式分类，以及信息融合技术在步态 识别中的应用等方面。论文的章节安排如下： 第一章是绪论。论述了选题背景和课题的研究意义，分析了步态识别的特点、 研究内容与研究难点，介绍了国内外的研究现状，阐明了本文的主要研究内容。 第二章研究了步态的预处理过程。先分析了常用的步态检测方法；然后着重 介绍了基于背景减除法的步态检测过程，包括背景建模、图像差分、阂值分割以 及形态学后处理；最后对步态运动的周期性进行了定义，给出了周期计算的方法。 第三章提出了一种基于下肢运动分析及d t w 的步态识别方法。该方法源于 “行走运动的关节角度变化包含丰富的个体识别信息”的观点，提取一个步态周 期的下肢角度变化轨迹作为步态运动特征向量，采用动态时间规整( d t w ) 算法 及k 近邻分类器进行步态识别。重点阐述了利用人体解剖学知识，并结合下肢 运动分析确定下肢关节点位置，进而提取下肢角度的过程。在c a s i a 步态数据 库上对该方法进行了仿真实验，给出了相关的实验结果及性能分析，并在相同的 数据集上对不同步态识别方法进行比较。 一 第四章对信息融合技术在步态识别中的应用进行了探讨，提出了一种融合下 肢角度及人体轮廓特征的步态识别方法。详细介绍了在匹配层上实现两种步态特 征融合的过程，包括匹配分值的归一化、分值融合等。最后给出了该方法的实验 结果及性能分析，并与基于单一特征的步态识别方法进行了比较。 第五章是总结和展望部分，对本文的研究工作进行了总结，指出了本论文的 不足之处，以及进一步的研究方向。 9 硕士学位论文 第二章步态的预处理 第二章步态的预处理 一个模式识别系统通常由预处理、特征提取、模式分类三个部分组成。其中， 预处理是对各种实际采集的信号预先进行一系列合理的处理，以保证后期特征提 取及分类识别过程的准确性。因此，预处理是特征提取与分类识别的先决条件。 本文对步态的预处理工作包括步态检测和步态周期分析。 步态检测是预处理的主要任务，即从步态序列图像中分割出运动人体目标， 实现图像中前景与背景的分离。运动人体目标的有效分割对于步态特征提取、步 态鉴别等后期处理非常重要，因为以后的处理过程仅仅考虑步态图像中对应于运 动区域的像素。步态周期分析是对步态运动进行周期性分析，并计算步态周期； 后续的特征提取和分类识别工作一般在一个或多个步态周期中进行。 步态检测本质上属于运动检测。下面对运动检测方法进行概述。 2 1运动检测方法概述 在分析视频序列图像时，首先要确定所分析的运动目标区域，分割出运动目 标，然后才能对运动目标进行进一步的行为理解、分类识别等。分割运动目标主 要通过运动检测来实现。常用的运动检测方法包括：背景减除法【2 3 1 、时间差分 法【2 4 1 、光流法1 2 5 1 等。 2 1 1 背景减除法 背景减除法是利用当前图像与背景图像进行差分得到运动区域的一种技术 瞄】。它的实现十分简单，是目前运动检测中最常用的方法，一般包括背景建模、 当前图像与背景图像进行差分操作、二值化阈值的选择等基本步骤。该方法能够 提供最完全的特征数据，但对于因光照或外界干扰引起的场景变化十分敏感，主 要应用于静止背景或缓变背景的情况。目前研究人员正致力于背景模型的研究， 以期待减少动态场景对于准确分割的影响。 最简单的背景模型是时间平均图像，和当前静态场景的背景近似。通过观察 发现，中值算法比均值算法的鲁棒性要强很多。中值法是通过使用序列图像中像 素颜色的中值来建立背景图像，该方法可处理一些光照等变化。 大部分的研究者在建立不同的自适应背景模型以降低运动分割中动态场景 变化的影响方面做了许多工作。 例如，文献 2 7 1 提出一个适应性的背景混合模型用于实时跟踪。把每个像素 作为混合高斯来建模，使用在线近似来更新。通过计算适应性混合模型的高斯分 布确定背景处理中的像素，得到可靠实时的室外跟踪，能处理光照变化和群体检 1 0 硕士学位论文第二章步态的预处理 测。文献 2 8 通过使用三个值：像素的最大值、最小值、训练过程中观测到的相 邻帧之间最大亮度差来表示每个像素，从而建立统计模型，并对模型参数周期性 更新。这种方法本质上属于统计方法，即使用一组像素的单个像素特性来建立更 先进的背景模型，背景统计可以在处理过程中动态更新。统计方法由于对噪声、 阴影、光照变化等具有鲁棒性而越来越流行。 2 1 2 时间差分法 时间差分法是在连续的图像序列中两个或三个相邻帧问，采用基于像素的时 间差分并且阈值化来提取图像中的运动区域。其特点是速度快，适用于实时性要 求较高的应用环境。由于时间差分法不需要使用固定的背景，因此与背景减除法 相比，能够最大限度的减少背景区域像素点的灰度值的波动而引起的噪声，有效 地克服了阴影区域的影响。 设运动序列为s ，差分图像序列为d s ，则： d s ( i ) 刊s ( i + 1 ) 一s ( f ) i ( 2 - 1 ) 得到运动目标差分图像序列之后，再选择合适的阈值，对其进行二值化处理便可 以消除绝大部分噪声。第f 帧图像的二值化处理过程如下： 曰d s , ( x ，y ) ： ：) ? j “x _ r ( 2 - 2 ) l l ，o i t i c p w i s p 其中，b d s , ( x ，y ) 表示第i 帧二值图像在0 ，力处的灰度值，t 表示阈值。 最简单的时间差分法是利用相邻的两帧图像进行差分，例如文献 2 9 利用两 帧差分法从实际视频图像中检测运动目标。文献 3 0 对两帧差分法进行了改进， 利用相邻三帧图像先差分再求和，该算法计算非常快，并且能获得更好的运动分 割结果。 时间差分法非常适用于动态场景中的运动检测，但是当场景中运动目标没有 显著运动时，往往会在目标检测时留下大面积的本应属于目标而却未被检测到的 区域。另外，该方法对噪声敏感，一般不能完整地提取出所有相关特征像素点， 在运动实体内部容易产生空洞现象。 2 1 3 光流法 光流反映了序列图像的速度场，基于光流法的运动检测采用了运动目标随时 间变化的光流特性来检测图像序列中的变化区域。例如m e y e r 等人通过计算位移 向量光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标 3 1 1 。 基于光流法的运动检测首先要进行光流估算，从视频图像序列的时空亮度特 性估算出光流场；然后，利用参数模型将一个真实物体产生的光流模型化，假设 硕十学位论文 第二章步态的预处理 有k 个相互独立的运动物体，每一个流量矢量对应于单个不透明的三维刚体运 动的投影，则每一个不同的运动可以通过一系列映射参数被正确描述，这样，对 应于同样的表面和三维运动的流量矢量将具有映射参数的相同集合，通过把具有 同样映射参数的流量矢量分配为同一类的方法，就能够完成运动检测。该方法的 基本原理是：假设有k 组参数矢量，每组定义成在每一个像素上的一个对应或 一个流量矢量( 由映射参数定义的流量矢量称为基于模型的或合成的流量矢量) ， 由此，得到每一个像素的k 个合成的流量矢量：接着，分割过程指定合成矢量 标记，这些合成矢量在每一个位置最接近估算的流量矢量。 光流法能够在不需要背景区域的任何先验知识条件下实现对运动目标的检 测和跟踪，还可以应用于摄像机运动的情况。但是，大多数光流法的计算相当复 杂，并且抗噪性比较差，如果没有特殊的硬件装置则无法应用于实时监控系统中。 2 2 基于背景减除法的步态检测 本研究所要处理的步态序列图像，是在摄像机固定且视野中仅存在单个运动 人体的前提下，所得到的室内图像，不用考虑多个目标之间的遮挡问题。另外， 室内环境的背景简单且变化很小，各种影响因素都接近于理想状态，故很容易获 取序列图像的背景图像。基于上述原因，本文采用背景减除法实现人体步态的检 测，具体过程如图2 1 所示。 图2 - 1 基于背景减除法的步态检测过程 2 2 1 背景建模 背景减除法是用当前图像与背景图像相减，因此首先必须得到背景图像。获 取背景最简单的方法是，当场景中没有任何目标时采集一幅图像作为背景图像。 然而一段步态视频序列中的每帧图像通常都包含运动人体目标，不存在单独的背 景图像，故需要从视频序列中提取背景。 对于室内步态图像序列，图像采集时环境变化很小，此时的背景基本上处于 “静止”状态。在这种情况下，只需要从运动序列中估计出背景图像即可。常用 的算法有统计平均法、i i r 滤波法和时间域中值滤波法。 1 2 硕十学位论文第二章步态的预处理 统计平均法就是对图像序列中的多帧图像进行算术平均。背景计算方法如公 式( 2 3 ) 所示： 11 毋= i 三( 五+ 五一。+ + 以一+ ，) = 鼠一。+ 苦( 以一以一_ v ) ( 2 - 3 ) vv 其中无表示当前帧，反为当前帧的背景图像。参数n 的选择是统计平均法的关 键所在，若背景中的目标不频繁出现，那么选择合适的参数n ，就可以获得比较 真实的背景图像估计值。 i i r 滤波法是更为一般的一种背景图像更新方法，是一种缓慢修正背景图像 的过程。计算方法见公式( 2 4 ) ： 最= 口+ 以+ ( 1 一口) 奉反一l( 2 - 4 ) 其中五表示当前帧，忍为当前帧的背景图像，b 一。为上一帧的背景图像，口表 示权重因子，其取值根据实际情况而定。 时间域中值滤波法与统计平均法比较相似，都是从多帧图像计算出背景图像 的每一个像素值。唯一不同的是时问域中值滤波法是求取多帧图像在某一点的中 值作为该点的背景像素值，这样可以避免异常的像素对背景图像造成影响。具体 方法如下：假设图像序列有聆帧图像，取每帧图像的同一像素点( x ，y ) 的值构成 数组b 力= 断如办石g 办，肥以，z 伍朋，则背景图像可以用式( 2 5 ) 进行计算： b ( x ，y ) = m e d i a n ( f ( x ，y ) )( 2 5 ) 其中m e d i a n 0 为中值函数，b ( x ，y ) 表示背景图像相应的像素值。 对于室外步态图像序列，因为采集环境相对复杂，经常受到光照改变、树枝 摆动、目标的阴影等因素影响，背景图像容易发生变化，所以在得到背景图像之 后，还需要对背景图像进行不断的更新。近年来，人们对如何实现背景图像的自 适应更新进行了大量研究，提出了许多新的算法。例如，r i d d e r 等人对背景图像 中的每个像素进行卡尔曼滤波，使系统在光线发生变化时也能够工作【3 2 1 ： f