（信号与信息处理专业论文）三维步态识别.pdf

中文摘要( a b s t r a c t ) 中文摘要 生物特征识别是指通过自动化技术利用人体的生理特征或行为特征进行身份 鉴定。步态是指人体下肢的运动方式。作为一种生物特征，已成为研究热点。 相对于其它生物特征，步态具有独特的优点。步态的优点是：非侵犯性；可 以远距离识别；步态难以隐藏；步态具有唯一性。从生物特征的角度来说，每一 个人都有一个独特的步态，因为步态模式主要是由个体的体重、肢长和习惯姿态 等因素决定的。 本文针对整个步态系统做了研究，对于3 d 步态模型建立、3 d 步态识别提出 了新的算法，并在实验中取得了显著成果。此外，在步态的检测和2 d 步态识别部 分也做了大量的工作。 3 d 步态模型建立：本文提出了一种基于计算机图形学和机器人学的模型建立 方法，将基本的几何模型通过旋转、缩放、平移和连接，以及坐标系变换，建立 3 d 步态模型。实验结果表明，通过对程序参数的调整，可以得到该模型任意视角 的步态。此外，3 d 步态模型也可以通过3 d 建模软件得到。 3 d 步态识别：对视角无关的步态识别，提出了穷举搜索、分步搜索、多分辨 率搜索、关键帧搜索、遗传算法搜索和多视角搜索六种搜索方法，并通过各种衡 量指标的综合比较，得出了遗传算法优于其它搜索算法的结论。通过搜索使3 d 步 态模型和人体达到最佳匹配，进而得到人体的静态和动态参数，用来作为测试样 本特征。训练样本的特征通过手动测量得到。最后用序列匹配法进行识别。在c m u m o b o 步态库上用上述不同的搜索方法进行计算，得到了最高为9 0 的识别率。对 视角有关的步态识别，先从建模软件中直接读取模型的参数，作为训练样本特征。 然后用g r n n 或s v r 建立2 d 图像与其3 d 模型参数之间的一种非线性的对应关系， 用预测的方法得到测试样本的特征，最后用s v i d 来进行识别。实验中利用了p o s e r 库中的人物模型，采用g r n n 网络，用上述方法进行计算，得到了1 0 0 的识别率。 步态检测：本文提出了边缘帧差法和帧差一背景减除法，并在实验室条件下用 c c d 摄像机进行实时步态检测。实验证明这两种方法可以满足实时处理的要求， 检测结果也相对较好。 2 d 步态识别：本文提出了基于链码的步态识别、基于小波描述子的步态识别、 基于多分辨率局部矩特征的步态识别，并在c m um o b o 步态库上进行测试，均 得到了较好的识别效果。 我们利用m a t l a b 和v i s u a lc 卜 开发工具，结合上面研究出的方法和一些常规 中文摘要( a b s t r a c o 图像处理的方法，进行3 d 步态识别。3 d 步态融合图像处理、视频处理、模式识 别、机器学习和其它相关信息技术的发展于一体，具有广阔的应用前景。 关键字：3 d 步态识别，3 d 步态模型，2 d 步态识别，步态搜索，g r n n ，s w t ，s v r 中文摘要( a b s t r a c t ) i l l a b s t r a c t b i o m e t r i c sr e c o g n i t i o ni sam e t h o dt h a tc a ni d e n t i f yap e r s o nu s i n gp h y s i e a lf e a t u r e o ra c t i v i t yf e a t u r et h r o u g ha u t o m a t i o nt e c h n o l o g y g a i ti sam o v i n gn h m 懈o f p e r s o n s l o w e rl i m b a so n eo f b i o m e t r i c s , g a i th a sa r o u s e dm o 蝎a n dm o r ei n t e r e s t c o m p a r e dw i t ho t h e rb i o m e t r i c s g a i th a su n i q u ea d v a n t a g e s 1 1 1 ea d v a n t a g e so f g a i ta r e ：i ti sn o n i n v a s i v e ；i tc a l lb er e c o g n i z e da tal o n gd i s t a n c e ；i ti sn o te a s yt oh i d e ； i ti su n i q u e f r o mt h es t a n d p o i n to fb i o m e t r i c s ，e v e r y o n eh a sau n i q u eg a i tb e c a u s ei t s p a t t e r ni sd e c i d e db yi n d i v i d u a l sw e i g h t , m i n k sl e n g t h , c u s t o m a r yp o s t u r ea n ds oo n t h i sp a p e rr e s e a r c h e st h ew h o l eg a i ts y s t e m w ep r o p o s es o m en e wa l g o r i t h m si n 3 dg a i tm o d e l se s t a b l i s h m e n ta n d3 dg a i tr e c o g n i t i o n , a n do b t a i n o u t s t a n d i n g a c h i e v e m e n t s m ：0 r e 0 v e r ，w eh a v ed o n eal o to fw o r ko l lt h eg a i td e t e c t i o na n d2 d 础 r e c o g n i t i o n t h ee s t a b l i s h m e n to f 3 dg a i tm o d e l ：i nt h i sp a p e r , w ep r o p o s e da m o d e l i n gm e t h o d b a s e do nc o m p u t e rg r a p h i c sa n dr o b o t i c s f o rb a s i cg e o m e t r i cm o d e l s ，w ec h a n g et h e m b yr o t a t i n g , s c a l i n g ，t r a n s l a t i n g ，c o n n e c t i n g , a n dc o o r d i n a t es y s t e mt r a n s f o r m a t i o n , a n d t h e nt h e3 dg a i tm o d e lc a l lb eg o t t e n e x p e r i m e n tr e s u l ts h o w s , w ec a ng e t a r b i t r a r y v i s u a l sg a i to f t h e3 dm o d e l t h r o u g ha d j u s t i n gi t sp a r a m e t e r s m o r e o v e r , 3 dg a i tm o d e l c a nb eg o t t e nf r o mm o d e l i n gs o r w a r e t h er e c o g n i t i o no f3 dg a i t ：f o rt h e3 dg a i tr e c o g n i t i o nt h a ti si n d e p e n d e n to ft h e v i s u a la n g l e ，s i xs e a r c hm e t h o d s i n c l u d i n g e x h a u s t i v e s e a r c h , m u l t i s t e ps e a r c h , m u l t i r e s o l u t i o ns e a r c h , k e y - f r a m es e a r c h ，e v o l u t i o n a r ys e a r c h ，m u l t i - a n g l es e a r c ha r e p r o p o s e d t h r o u g hs y n t h e t i cc o m p a r i s o no fd i f f e r e n ti n d i c a t o r so fa l ls e a r c hm e t h o d s ， w ec a l lf i n dt h eg ai st h eb e s tw a y u s i n gs o m es e a r c h i n gm e t h o d st om a k et h e3 d g a i t m o d e lm a t c ht h es i l h o u e t t eo p t i m a l l y , w eg e tt h es t a t i cf e a t u r ea n dd y n a m i s t i cf e a t u r eo f c o r r e s p o n d i n gi m a g ea st h et e s t i n gs a m p l e sf e a t u r e a n dw ec b ng e tt h et m i n i n g s a m p l e sf e a t u r eb ym e a s u r e m e n t a tl a s t , s e q u e n c em a t c hm e t h o dw i l lb eu s e dt og a i t r e c o g n i t i o n a n dt h ee x p e r i m e n t sm a d eo nc m um o b od a t a b a s eh a v ea c h i e v e du pt o 9 0 c o r r e c t i o n 弛触a t i o nr a t e f o rt h e3 dg a i tr e c o g n i t i o nr e l a t i n gt ov i s u a la n g l e ， f a s t , w ec a ng e ta l ls t a t i cf e a t u r ea n dd y n a m i s t i cf e a t u r eo ft h e3 dm o d e lf r o m3 d s o r w a r ea st h et e s ts a m p l e sf e a t u r e t h e nan e t w o r km o d e ls h o u l db ee s t a b l i s h e du s i n g g r n no rs v rb a s e do nt h ei n f o r m a t i o no f t r a i n i n gs a m p l e s i tp r e s e n t st h en o n - l i n e a r 中文摘要( a b s t r a c t ) l a f i o nb e t w n2 di m a g ea n d3 dm o d e l s ot h en e t w o r km o d e lc a nf o r e 圮a s tt h ef e a t u r e o f t c s t i n gs a m p l e s a tl a s t , s v m w i l lb eu s e dt og a i tr e c o g n i t i o n i ne x p e r i m e n t , w eu s e t h em o d e lf i g u r e so fp o s e ra n dt h eg r n nn e t w o r k , a n dg e ta1 0 0 c o r r e c t i o n i d e n t i f i c a t i o nr a t eb ym a k i n gu o f t h em e t h o d sm e n t i o n e da b o v e t h ed e t e c t i o no fg a i t ：w ep r o p o s et w oa p p r o a c h e st h a tc a l l e de d g e - f r a m e d i f f e r e n c ea n df r a m ed i f f e r e n c e - b a c k g r o u n ds u b t r a c t i o n ，a n dd or e a l - t i m eg a i t d e t e c t i o ni no u rl a b o r a t o r yu s i n gc c dc a m e r a e x p e r i m e n tp r o v e dt h e s em e t h o d st h a t m e n t i o n e da b o v e ns a t i s f ：yt h en e e do fr e a l - t i m ep r o c e s s i n g , a n d 壕d e t e c tr e s u l t si s a l s or e l a t i v e l yg o o d t h e 僦o g n i 6 0 no f2 dg a i t ：i nt h i sp a p e r , w ep r o p o s em a n ym e t h o d so f2 dg a i t r e c o g n i 6 0 ns u c h 勰g a i tr e c o g n i t i o nb a s e do nc h a i nc o d e ，瓯tr e c o g n i t i o nb a s e d0 1 1 w a v e l e td e s c r i p t o r s ( w d s ) ，m u l t i - r e s o l u t i o nl o c a lm o m e n tf e a t u r ef o rg a i tr e c o g n i t i o n b yu t i l i z i n gt h e s ep r o p o s e da p p r o a c h e s , a n dt e s t i n go nt h ec m um o b od a t a b a s e ，w c h a v ea c h i e v e dc o m p a r a t i v e l yh i g hc o r r e c t i o ni d e n t i f i c a t i o nr a t e u s i n gm a t l a ba n dv i s u a lc + + ， w ec o m b i n et h e s en e wm e t h o d sm e n t i o n e da b o v e w i t hc o n v e n t i o n a lm e t h o d sw h i c hi su s e dt oi m a g ep r o c e s s i n g ，a n du s et h e mt o3 dg a i t r e c o g n i t i o n 3 d 鲥ti sa c o m b i n a t i o no fi n l a g ep r o c e s s i n g 。v i d e op r o c e s s i n g , c o m p u t e r v i s i o n , p a t t e r nr e c o g n i t i o n , m a c h i n el e a r n i n ga n do t h e ri n f o r m a t i o nt e c h n o l o g i e s ，a n di t h a sab r o a dp r o s p e c t k e yw o r d s ：3 dg a i tr e c o g n i t i o n , 3 dg a i tm o d e l ，2 dg a i tr e * o g n i t i o n , g a i ts e 眦l l ，g r n n ，s v m , s v r 石翠萍三维步态识别 1 1 概述 第一章绪论 1 1 1 生物特征识别技术的产生和发展 生物特征识别( b i o m e t r i c s ) 是指通过自动化技术利用人体的生理特征或行 为特征进行身份鉴定。在人类社会活动中需要验证个人身份时，传统的方法是验 证该人是否持有有效的证明文件或信物，如密码、钥匙、身份证等。从本质上来 说，这种方法验证的是该人持有的“物”，而非验证本人。只要“物”的有效性得 到确认，则持有该“物”的人的身份也就随之得到确认。显然，这种方法有很大 的漏洞。因此人们开始寻找一种“认人不认物”的直接验证的方法，即所谓的“生 物特征身份识别技术”。 与传统的身份鉴定手段相比，生物特征识别技术具有以下特点：( 1 1 生物特征 是人体所固有的特征，随身携带，不易遗忘或丢失。( 2 ) 生物特征与人体是唯一绑 定的，防伪性好，不易伪造或被盗。在很多应用场合，生物特征识别技术具有传 统身份鉴定手段无法比拟的优点。如考勤，生物特征鉴定技术可以有效防止代打 卡的情况。又如身份证，若使用指纹，则可以有效防止身份证的伪造问题。随着 数字化时代的来临，生物特征识别技术的这种性质更显的尤为珍贵。 1 1 2 生物特征识别技术的比较 生物特征包括生理特征和行为特征。目前利用生理特征进行生物特征识别的 主要方法有：指纹识别、脸相识别、虹膜识别、手形识别、掌纹识别。利用行为 特征进行生物特征识别的主要方法有：说话人识别，签名识别，步态识别等。 尽管用生物特征进行人体身份识别有很多优点，然而，没有一种生物特征是 完美的：脸相识别必须要在人脸处于“正”前方，且距离较近的时候才有较好的 识别率；掌纹、指纹和签名识别需要物理接触；虹膜识别的可靠性很高，但只有 在距离不超过5 米的情况下才有效；说话人识别易受环境噪声和距离的影响。基 于以上原因，虽然这些生物特征可以获得，但都不适用于h i d ( h u m a n i d e n t i f i c a t i o na tad i s t a n c e ) ，即远距离身份识别。步态识别作为一种新的生 物特征识别技术，由于有着其自身的优势，引起了越来越广泛的关注。 1 1 3 步态识别的研究意义 步态( g a i t ) 是指人体下肢的运动方式，是一种近似的周期性运动“1 。虽然四 2扬州大学硕士学位论文 肢健全的人走路的姿态十分相似，但是每个人的步态有很大的不同。在生物特征 识别研究领域，步态的含义已经扩展为包括人体的其它属性，例如身高、身体的 方位、上肢的运动方式、步频和步长等圆。早期的医学研究。“”表明：人的步态中 有2 4 种不同的成分，如果把这2 4 种成分都考虑到，则步态是为个体所特有的。 从生物力学。1 的角度来看，人的步态包含身体上百种肌肉和关节的运动。这些运动 对所有人来说都遵从基本的双足模式，然而不同的人其运动又有差异，例如相对 时序和幅度的不同。这些差异是整个肌肉和骨架( 身体的重量、肢体的长度、骨 骼的结构) 的函数。因为结构难以复制，所以步态被认为是个体特有的，且完全 决定于几百个运动学参数。这些运动学参数包括特定关节点的角速度、加速度以 及肢体的边界n 等。以上领域的研究是步态识别作为一种生物认证技术的科学依 据。 研究步态识别的意义在于：在一些安全敏感的环境中在一定距离内个人识别 的需求不断增长；基于摄像机的视觉监控系统被广泛使用；图象处理、视频处理、 计算机视觉、模式识别、机器学习和其它相关信息技术的发展使步态识别成为可 能；步态提供了远距离识别人的能力：相关的研究( 如医学步态分析、步态心堡 学和人类身体运动的视觉分析( 如身体建模、跟踪、运动识别和步态分类等) ) 表 明，步态可以作为一种有用的生物特征。 研究步态识别的另一个意义在于：对步态识别方法的探索涉及到计算机视觉 领域里的许多难题，例如人的运动的动力学建模和描述、自动背景减除、时域信 号的匹配等0 1 。步态识别问题是人的运动分析的一个子问题嘲，因而步态识别问题 的研究成果有可能扩展应用于解决计算机视觉领域里的其它问题，如区分不同的 运动”( 区分走路、跑步、打网球的击球动作) ，手语的解释等。 步态可以提供充足的信息来识别人的身份。相对于其它生物特征，它有着非 侵犯性、可远距离识别、唯一性，难于隐藏的特点。尤其在对图像分辨率要求不 高、且需远距离身份识别的场合，步态更是体现了独有的优势。 1 1 4 国内外研究现状 尽管步态识别已经提出了一段时问，但和其它生物特征识别相比，有关步态 的研究成果还比较少，步态识别技术仍然不完善。国际上的主要研究机构包括英 国的南安普敦大学以及美国的麻省理工学院、卡内基梅隆大学、佐治亚理工学院、 马里兰大学等2 6 家高校和公司在美国国防高级研究项目署o a r p a 的h i d ( h u m a n i d e n t i f i c a t i o na tad i s t a n c e ) 计划的驱动下，也于2 0 0 0 年开始了步态识别研 究。另外，中国、日本、加拿大、瑞士等国家的一些高校或研究机构也开始了这 石翠萍三维步态识别 3 方面的探索。尽管目前已经涌现了许多步态识别算法，但这些工作并不是完全的 系统的开发，而更多是处于探索性目的。也就是说，步态识别技术仍处于初级阶 段。 步态识别仍然处于初级阶段。一方面是因为目前主要是在简化和可控的条件 下研究的。目前步态识别的典型假设是：摄像机不移动，视野中只有一个人，无 遮挡，无携带物体，正常的步态，确定的视角，在一个平面上运动，简单背景和 环境。而实际可能的影响因素包括：衣服式样的改变，摄像机和人之间的距离， 携带物体( 如公文包或背包) ，摄像机视角的变化，不正常的步态等。另一方面 是因为目前的步态算法都是在小的和理想的数据库上测试的。 在运动检测部分，当前图像运动检测主要方法之一是背景减除法，但如何建 立对于复杂环境的动态变化均具有自适应性的背景模型仍是相当困难的问题。一 个可喜的发展是，一些研究者们正利用时空统计的方法构建自适应的背景模型， 这也许对于不受限环境中的运动检测而言是个更好的选择。其次是时域差分法， 这种方法是在连续的图像序列中两个或三个相邻帧间采用基于像素的时域差分并 且阈值化来提取出图像中的运动区域。时域差分法的优点是鲁棒性较好，能够适 应各种动态环境，其缺点是只能提取出边界点，而不能提取出对象的完整区域。 另外，当运动对象速度缓慢时，则可能检测不到，而运动对象速度过快时，将把 部分背景也检测为运动图像。时域差分运动检测方法对于动态环境具有较强的自 适应性，但一般不能完全提取出所有相关的特征像素点，易产生空洞现象。在步 态的检测中，还有一种常用方法是光流法，可以通过计算位移向量光流场来初始 化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。然而，大多数的光流 计算方法相当复杂，而且抗噪性差，如果没有特别的硬件装置则不能被应用于全 帧视频流的实时处理。 ， 在步态识别部分，目前的步态识别研究基本上是二维的，只有极少数是三维 的n 0 1 。由于人的步态从本质上来说是三维的，使用二维技术必然会丢失信息，得 不到完美的结果。特别是2 d 步态识别不能够解决目标之间互相遮挡以及自遮挡的 问题。在遮挡时，人体只有部分是可见的，而且这个过程一般是不可训练的，简 单依赖于背景减除的运动检测技术此时将不再可靠。为了减少遮挡或深度所带来 的歧义性问题，必须开发更好的模型来处理遮挡时特征和人体各部分之间的准确 对应问题。3 d 步态识别将是步态识别的最终解决方案。 在现有的三维步态识别中，尽管称为三维步态识别，三维技术也只是用于提 取步态的三维运动特征，而且需要手工配置三维人体模型的静态参数和初始的动 4 扬州大学硕士学位论文 态参数。目前三维技术主要用于三维人体运动跟踪“”和三维人体重建“。 在三维人体运动跟踪中，通常是只对特定的人进行跟踪丽不是用于身份识别 目的，所以一般都有一个手工的或半自动的初始化过程，以配置三维人体模型的 静态和初始的动态参数，作为运动跟踪的出发点。三维人体运动跟踪的技术包括： 基于单视角二维图像的方法和基于多视角二维图像的方法。其中基于单视角二维 图像的方法，是非常困难的，但是极具应用价值“；可以分为基于一般模型的和 基于区分模型的方法“。三维人体运动跟踪的所有理论和方法，都可以直接用于 提取动态的三维步态信息。 人体的三维重建可以作为三维步态识别的一种途径。三维步态识别往往不需 要进行精确的三维人体重建，通常只需要知道人体的部分三维信息，如头、躯干 和四肢的长度等。人体三维重建技术包括：计算机层析成像，根据多视角二维人 体图像重构三维人体“，根据多视角二维人体二值轮廓图像重建三维人体“。计 算机层析成像对硬件和应用环境的要求较高，通常难以运用到三维步态识别中。 后两者以精确重构三维人体表面为目标，而在三维步态识别中通常不需要如此细 致，所以一般不直接应用于三维步态识别。 全自动地获取静态和动态的三维人体信息，尤其是静态信息和初始的动态信 息，是三维步态识别的研究内容；而这一点正是目前三维步态识别和三维人体运 动跟踪的薄弱环节。 1 1 5 论文的主要内容 论文主要基于3 d 步态模型进行步态识别。总体上分为四章： 第一章序言。首先简要介绍了生物特征识别技术的基本概念、步态识别 的研究意义与国内外研究现状。然后介绍了论文主要工作和结构 安排。最后说明了论文的一些前期主要工作。 第二章介绍了3 d 步态模型的建立。首先用计算机图形学和机器人学的 基本理论，将基本的几何模型通过旋转、缩放、平移和连接，以 及坐标系变换，建立3 d 步态模型，并可通过对参数的调整，得 到该模型任意角度的步态。这是本论文的主要工作之一。然后简 单介绍了基于3 d 建模软件的3 d 步态模型，并给出了不同软件的 一些实例。 第三章介绍了3 d 步态识别。对于视角无关的3 d 步态识别，本文通过多 石翠萍三维步态识别 种搜索方法，使3 d 模型和人体达到最佳匹配，进而得到人体的 静态和动态参数，用来作为测试样本特征。训练样本的特征通过 手动测量得到。最后在c | i um o b o 步态库上，用序列匹配法进行 识别。对于视角有关的3 d 步态识别，先从建模软件中直接读取 模型的参数，作为训练样本特征。根据已有的训练样本信息，用 广义回归神经网( g r n n ) 或支持向量回归( s v r ) 建立一个网络 模型，对测试样本的特征进行预测，最后用s v m 进行识别。其中， 3 d 模型的搜索和网络模型的建立是本论文的主要工作。 第四章结论与展望。对全文进行了总结，并对进一步的研究工作进行了 设想。 1 2 前期工作 1 2 1 步态检测 步态检测的目的是在图像序列中将前景运动区域从背景中提取出来。步态检 测是步态识别的基础。该阶段处理的结果直接影响到以后识别的效果。所以步态 检测在运动分析中的作用非常重要。然而，在实际生活中，背景图像的动态变化 ( 如光照、天气、人走路时阴影的存在) 给步态的检测带来了极大的困难。 1 2 1 1 常用方法 在图像序列中检测动态目标，最常用的方法有背景减除法、帧差法、光流法。 ( 1 ) 背景减除法【1 4 】 背景减除方法是目前运动分割中最常用的方法，它是利用当前图像和背景图 像的差分来检测出运动区域的一种技术。 设前景图像为风b 力，背景图像为g j ，) ，则两幅图像的差为 d ( x ，”爿蠹 ，力一g ( 矗力 ( 1 1 ) 背景减除法方法简单，但只适用于缓慢的背景变化，不能处理有突然的扰动， 或者被检测物体有阴影的情况。 ( 2 ) 帧差法1 1 5 l 帧差法是通过相邻两帧图像相减，减去图像中相同的部分，从而得到运动区 域的一种方法。 设啊( 工，j ，) ，曩“( x , y ) 分别代表图像序列中第r 、f + 1 帧图像，则帧差图像为 6 扬州大学硕士学位论文 珥( x ，y ) 刊 + ( 五j ，) 一吩( x , y ) l ( 1 2 ) 确定一个阈值z ，根据z 和z 仁j ，) 的关系将图像二值化。 帧差法也是一种简单的方法，但当人体某些区域灰度值变化较为平坦时，该 方法可使二值化图像产生空洞，这对运动人体的跟踪产生不利。若人体运动速度 过快，则连续两帧的运动物体相交较少( 甚至交集为空) 。所以通常不单独使用帧 差法来得到完整的前景信息。 ( 3 ) 光流法“o 基于光流方法的运动检测利用了运动目标随时间变化的光流特性，通过计算 位移向量光流场来初始化基于轮廓的跟踪算法，从而有效的提取和跟踪运动目标。 考虑一个视频序列，它的亮度变化用妒( 马y ，f ) 表示，则有： 警吃+ 詈_ + 警= o 或v g r v + 警= o ( 1 s ) 其中v = ( 匕，哆) ，v 妒= 降詈 2 。v 表示速度矢量( 也称为流矢量) v y 是 妒( 而y ，t ) 的空问梯度矢量。公式( 1 3 ) 称为光流方程。 用光流法进行步态检测，能够检测出各点运动情况。但由于要对每个像素点 进行计算，计算量太大。而且该方法抗噪声性能差，如果没有特别的硬件装置， 则不能被应用于全帧视频流的实时处理。故在需要对运动的人进行实时检测的场 合，用光流法很难达到要求。 1 2 1 2 边缘帧差法 本文提出了边缘帧差法，对步态序列中运动的人进行实时检测。这种方法是 先分别对相邻两帧图像迸行微分计算，得到当前帧和前一赖的边缘。然后将得到 的这两帧边缘图像进行差分运算。 设厅( 毒，y ，t ) f f l h ( x , y ，t + 1 ) 分别代表连续第t ，t + l 帧图像，则对应的边缘分别 为 小班沪1 ( 塑掣) 2 + ( 型笋) 2 ma ， 石翠萍 三维步态识别 7 甜( 以弘，+ 1 ) = ( 1 5 ) 将这两帧边缘相减，边缘帧差图像可记为 e ( x ，弘，) = “( 工，y ，f 一u ( x ，y , t 4 - 1 ) ( 1 6 ) 由边缘帧差图像可得到相邻两帧的变化区域，在运算中采用隔行隔列相减， 用来加快运算速度，并对图像采用均值滤波和腐蚀的方法去除噪声。 用边缘帧差法进行步态检测，可以有效的去除阴影和噪声。在实时处理中， 虽然得到的图像极个别的地方不连续，在识别时，可以结合运动特征来进行补偿。 l 。2 。1 3 帧差一背景减除法 除了边缘帧差法外，本文还提出了帧差一背景减除法。前面讲到，直接用帧 差法进行步态检测，由于噪声或其它因素的干预，效果往往不是很理想。帧差一 背景减除法是先用帧差法找到图像运动区域，再在该区域内进行背景减除。这样， 在帧差法中未被去除的噪声，在下一次的背景减除中有可能被减掉。同时也克服 了单纯的背景减除法中不能去除阴影的问题。 为了对比上述各种方法的检测效果，用c c d 摄像机以2 5 帧，秒的速度在实验 室采集图像，并在v i s u a lc + + 界面上通过编程对采集到的视频序列进行实时处理， 得到实时的步态检测系统。图1 1 是在各种检测方法下的单帧效果对比。可以看 到，与其它方法相比，边缘帧差法得到的人体轮廓相对比较完整，可以满足实时 图像处理的要求。帧差一背景减除法可以得到人的前景轮廓，个别不连续的地方， 可以通过填充的方法进行补偿，这种方法也可以满足实时图像处理的要求。 ( a ) 背景减除法( b ) 帧差法( c ) 光流法 ( d ) 边缘帧差法( e ) 帧差一背景减除法 图1 1 不同方法的步态检测效果图 1 2 22 d 步态识别 2 d 步态识别是3 d 步态识别的前提和基础。2 d 步态识别的研究成果可以应用 s 扬州大学硕士学位论文 到3 d 步态识别中，3 d 步态识别是为了克服2 d 步态识掰的缺陷而发展过来的。因 此，在对3 d 步态识别进行研究之前，有必要对2 d 步态识别进行相关的研究。 1 2 2 1 常用方法 在已提出的步态识别方法中，大部分是基于人体的轮廓匹配“阍。即先提取步 态序列中每帧图像的轮廓特征，然后再进行匹配。典型的方法有：质心距离法 和傅立叶描述子。 ( 1 ) 质心距离法 对于每一帧图像，先用背景减除法提取出人的区域，经过一系列处理，得到 完整的人的轮廓。过程如图1 2 所示； ( a ) 差值幽像( ” | j 运算c o ) 图像填充c 0 1 ) 图像平滑( e ) 结果i 劐像【o 轮廓提取 图1 2 人的轮廓提取过程示意图 计算轮廓上每一像素点到质心的距离。设轮廓像素点的坐标为 毛= 葺+ 儿，i = l ，2 ，n ( 1 7 ) n 是轮廓上的像素点总数。则质心坐标为： = 专善，咒= 专喜m c ，8 ， 计算每个轮廓像素点到质心的欧式距离： = ( 而一毪) 2 + ( 咒一儿) 2 ( 1 9 ) 所有这些距离组成了该帧图像的特征向量，= “，吒，】 新 ( 2 ) 傅立叶描述子 对上述距离向量，= 【，i ，吒，】做傅立叶变换。设，的离散傅立叶变换为： q = 善n - i ，( i ) e x p ( 孚- j l , 玎n t ) 胪坛2 川 m1 0 ) q = ， i f l ，疗= 1 ( 1 1 却 j 则步态特征的傅立时描绘子( f d s ) ： 石翠萍三维步态识别 9 q t 川0 2 t 霄i , q ，铷 ( 1 1 1 ) ，即为该帧图像的特征向量。 1 2 2 2 链码 在轮廓的表示和存储方法中，质心法和傅里叶描述子较常用。此外，常用的 还有链码法网例。链码规定了从当前边界点走到下一个边界点必须采用的方向。 对于离散的数字图像，区域的边界由像点之间的连线逐段相连而成。 4o 567 图1 38 链码原理图 假设从某个点开始，将区域边界的走向按上面的编码方式记录下来，可形成如 下面的序列a l a 2 a 3 。以，其值分别为0 、1 ，2 - - 7 ，这一序列称为链码。形式如图1 3 所示。用链码表示图像既有利于有关形状特征的计算，也利于节省存储空间。 实验中采用c m um o b o 数据库【3 0 】，该库包含2 5 个人，每人4 种走路姿势6 个视角共2 4 个序列。对图像序列中的每一幅图像，先提取出轮廓，并求出对应的 边界链码。最后用插值的方法把链码归一化为相同的点数。图像间的距离用欧氏 距离法对图像的链码进行度量得到。选用分类器时，考虑到人的步态具有周期性， 某一时刻的人的步态可能与该人在其它走路类型或视角下的步态相差很大，但若 取出同一步态序列中的多幅图像进行判别，效果就会好很多。故采用了比较简单 而有效的序列匹配法。 所谓序列匹配法，是对一个特定的测试样本序列，计算其中每一幅图像与某 - - n 练样本序列中所有图像的距离，并把对应最小距离记录下来。所有最小距离 的和，即为该测试样本序列和该训练样本序列的距离。通过这种方法，对于某一 个测试样本序列，计算它和每一个训练样本序列的距离并比较，最后会得到一个 最小距离。记录该最小距离对应的是哪一个人的训练样本序列，然后将该测试样 本序列判定为属于这个人。 计算识别率时，采用该库中的2 5 个人，在每人特定走路类型，特定视角下的 1 0 扬州大学硕士学位论文 图像序列中取出1 0 0 幅图像。其中前5 0 幅作为训练样本，后5 0 幅作为测试样本， 用上述方法进行处理，结果如表1 1 所示。 表1 1 以链码为特征的识别率 豢 l23 4 56 快步走 0 9 60 9 20 6 40 9 20 7 6o 9 6 慢步走 o 9 2o 9 2 0 6 40 9 60 7 6 0 7 2 抱球走 0 9 6o 9 60 7 61 0 01 o oo 8 8 上坡走 1 0 0o 9 6o 9 20 8 30 8 80 8 8 利用链码对得到的步态轮廓进行描述，并进行归一化处理，大大减少了存储 空间，提高了运算速度，并在c m um o b o 数据库上得到了令人振奋的识别效果。 1 2 2 3 小波描述子 提出了一种新的基于轮廓的描述图像特征的方法，即小波描述子( w d s ) 。对 公式( 1 9 ) 中提到的每帧图像的特征向量，= h r e ，知】，分男用以下方法进行小波 变换： ( 1 ) 第一层小波分解 设 为低通滤波器，譬为厅的镜像高通滤波器，它与 的关系为 g n = ( 一1 ) “ 一。 ( 1 1 2 ) 对，进行一层小波分解，得到低频分量c 。和高频分量d 。 = l i j 。巧 酬= 白嘲巧 这里， n = 0 , 1 ，i n 一1 ( 1 1 3 ) ( 1 1 4 ) ，= o ，l ， ( 2 ) 第二层小波分解 对第一层小波分解得到的低频分量c 再做一层小波分解，得到低频分量，和 高频分量d 2 。 石翠萍三维步态识别 = 岛。一 ( 1 1 5 ) ， = g ，司 ( 1 1 6 ) ， 这里， ，：0 , i ，2 ，：n i 。 行：0 , 1 ，2 ，_ n l 斗 ( 3 ) 小波包 小波包分析方法是多分辨率小波分析的推广，它提供了更为丰富的信号分析 方法。小波包相对于小波的主要优点是：小波包可以对信号的高频部分做更加细 致的刻画，对信号的分析能力更强。因此相对于第一层和第二层小波变换，用小 波包分解能得到更高的识别率。 第一层小波包分解的结果与第一层小波分解的结果相同。第二层小波包分解 可以在第一层小波分解的基础上进行。它是将第一层小波分解得到的低频分量c j 和高频分量d 。均做一层小波分解，分别得到低频分量卵和高频分量甜，低频分量 出和高频分量棚。 = 岛。i ( 1 1 7 ) 咄= g t - ：。c f ( 1 1 8 ) 电= 岛幽a ( 1 1 9 ) 戤= 9 1 _ ：d ( 1 2 0 ) 这里， ，：0 , i ，2 ，= n i ， 拧：0 , i 2 ，学一i 4 - 图1 4 为原始图像及其用不同的描述方法得到的特征矢量的图示。 扬州大学硕士学位论文 幽1 4 原始轮廓及冥不同描述方法 ( 4 ) 步态周兢性描述。2 步态数据是周期性交化的数据。将每帧图像中前景像素的数目记为m ，随着 人走路姿势的不断变化，也不断变化。当人处于全步幅姿态时，m 最大，当某 一时刻人的下肢重叠时， 最小。依次记录相邻的两个最大 所间隔的帧数，记 为4 ，步态周期即所有这些距离的均值a 设步态的周期为鲫，距离周期总数为n ， 则： 酬2 三n s - iz ( 1 2 1 ) ( 5 ) 相似性度量涮 对于一个特定的步态序列，记做5 = 【墨，是，s 0 】，把它按照步态周期的长度 分成若干个子序列，每个子序列记做瓯，最+ ，+ 。 ，这样共划分为 l 叫 f 厶j 个子序列。设第f 个子序列对应的小波特征向量为啜，则所有子序列的 特征向量就构成了该步态序列的特征向量，记做船嘲，降避，啜叫j 。 对步态进行识别，需要计算给定训练样本序列和钡5 试样本序列的相似性。设共 有g 个训练样本序列，p 个测试样本序列，则每个训练样本序列的小波特征向 石翠萍三维步态识别 量为即俘? ，j = l ，2 ，n o ，每个测试样本序列的小波特征向量为w s ：，i = 1 ，2 ，坼， 则训练和测试样本序列的相似性为小波特征向量的欧式距离的中值； $ i m ( w s r , 麟6 ) = 一胁碱( 每0 畔一哗01 ( 1 2 2 ) ( 6 ) 分类器 对于一个特定的测试样本序列，先计算它与所有训练样本序列的相似度，然 后用分类器n n 来计算识别率。 ( 7 ) 实验结果及比较 采用c m um o b o 数据库，在每人特定走路类型，特定视角下的图像序列中 取出1 0 0 幅图像。其中前5 0 幅作为训练样本，后5 0 幅作为测试样本，用上述方 法进行处理。由于图像的一维质心距离信号变化缓慢，所以采用了比较平缓的小 波，小波类型为d b l 。结果见下表： 表1 2 以一层小波描述子为特征的识别率 啕度 类 l 23456 快步走 9 2 9 2 9 6 8 8 9 2 9 2 慢步走 9 6 9 6 l 9 6 9 6 l o o 抱球走 9 6 8 4 1 0 0 9 6 8 4 1 0 0 上坡走 9 1 6 7 1 0 0 1 0 0 8 7 5 1 0 0 l o o 表1 3 以二层小波描述子为特征的识别率 度 l2 3 456 类叭 快步走 9 2 9 2 9 6 8 8 9 2 9 2 慢步走 9 6 9