（计算机应用技术专业论文）基于步态分析的身份识别研究.pdf

基于步态分析的身份识别研究 摘要 随着现代社会对安全的要求不断提高，利用生物特征进行快速准确的身 份识别成了当今的主流。步态是一种远距离可采集的生物特征，步态识别技 术以其对系统分辨率要求低、信息采集设备不会使人感到不适、远距离识别、 非侵犯性和难以隐藏等特点成了继虹膜、人脸识别后的第二代生物识别技术， 倍受计算机视觉研究者的关注，国内外大量研究者已经投入到该研究热点中。 本文对步态识别进行了深入的研究，主要开展了以下几方面的研究工作： 分析了常用的步态检测方法，本文选用简单快速的背景减除方法进行步 态检测，运用形态学算子对背景减除后的前景区域进行后处理，去除了小的 空洞和噪声。利用主曲线从数据本身出发，能有效地描述非线性数据的特性， 提出了一种主曲线侧影轮廓描述方法。在步态检测所得侧影上，利用k 主曲 线能够准确地勾画出侧影轮廓。 研究了侧影轮廓对步态的描述能力，提出了一种用轮廓矩阵表征步态运 动的方法。该方法用轮廓矩阵表征步态，利用k r o n e c k e r 积求取轮廓之间位 置差，将位置差作为步态特征，该方法描述了侧影的静态轮廓形状及其变化， 有效地表达了步态的时空变化模式。并对该步态特征进行主曲线分析j 针对用线性方法分析非线性数据在分析能力上的不足，根据主曲线具有 自相合、无参数、通过数据分布“中间”等特性，提出了一种新的非线性 分析方法：主曲线成分分析法。该方法从数据本身出发进行非线性分析，强 调非参数特性，有效地建模非线性数据。另外，本文提出了主曲线步态分类 法。该方法用低维流形描述每类样本，并定义了新的相似性度量和分类规则。 实验结果表明，该主曲线分类法具有良好的分类性能。 人体肢体角度及关节运动中包含了大量对识别有用的动态特征，提取这类 特征的常用方法是人体或肢体建模。建模方法能较准确地获取动态信息，但 参数繁多，计算量大。本文提出一种无需建模，通过分析人体结构及侧影宽 度变化确定关节位置，从而提取角度信息的步态表征方法。实验证明，该方 法能在低的代价下提取出与建模方法相当的运动轨迹。该步态表征方法动静 结合，包括了结构信息和以序列形式表示的宽度及连接角的运动轨迹。本文 哈尔滨工程大学博士学位论文 还将l d a 和d c t 相结合，对d t w 归一化后的宽度和角度序列进行了特征 分析，用类间散布矩阵和类内散布矩阵所对应的行列式的比值确定最佳d c t 系数个数。实验结果表明，该方法具有良好的识别性能。 从时空相关角度，探讨了步态的表征。提出了一种周期序列宽度图步态 表征方法。该方法按周期将侧影轮廓序列转换为宽度向量序列，再将宽度向 量序列转换为用灰度值表示的周期序列宽度图。周期序列宽度图中，灰度值 及其变化能清晰地反映步态运动，是一种以图的形式直观准确表征步态时空 变化的方法。周期序列宽度图不仅保留了单帧图像中侧影的外观结构信息， 而且很好地体现了步态随时间的变化。另外，本文运用d c t 对提取的步态特 征降维，并采用r b f 神经网络进行步态分类。 关键词：步态识别；步态表征；特征分析；主曲线：周期序列宽度图 基于步态分析的身份识别研究 a b s t r a c t w i t ht h ed e v e l o p m e n to ft h e s e c u r i t yr e q u i r e m e n to fm o d e ms o c i e t y , i t b e c o m e st h em a i n s t r e a mt oi d e n t i f yo n e si d e n t i t yw i t hb i o m e t r i ct o d a y a m o n g t h ed i f f e r e n tb i o m e t r i c a l c h a r a c t e r s ，g a i t h a si t so w na d v a n t a g e sw h i c hi s u n t o u c h e da n dr e q u i r e sl i t t l ea b o u tt h eq u a l i t yo ft h eo r i g i n a ld a t a ，s u c ha si m a g e r e s o l u t i o n t h ef o r m e ra d v a n t a g em a k e st h eg a i t si n p u tt ob en o nb o d y - i n v a d i n g ， a n dt h el a t t e rb r o a d e ni t s a p p l i c a t i o n s f u r t h e r m o r e ，g a i t i sd i f f i c u l tt ob e d i s g u i s e d a l lo ft h e s el e a dt h eg a i tr e c o g n i t i o nb e c o m e st h es e c o n d g e n e r a t i o n b i o m e t r i cr e c o g n i t i o nt e c h n o l o g yb a s e do nt h ev i s i o nm o v e m e n t a l s o ，m a n y r e s e a r c h e sh a v eb e e nd e p l o y e do nt h i sf i e l d w o r k i n go i lg a i tr e c o g n i t i o nm e t h o d s ，t h i sd i s s e r t a t i o nc o n c e n t r a t e so nt h e f o l l o w i n gt o p i c s ： t h es t a t u s a r to fg a i ta n ds o m eb a c k g r o u n dk n o w l e d g eo fp r i n c i p a lc u r v e s a r e i n t r o d u c e d c o n s i d e r i n gk i n d so f d e t e c t i o nm e t h o d s ，t h e b a c k g r o u n d s u b t r a c t i o ni su s e di nd e t e c t i o n o nt h eo t h e rh a n d ，p r i n c i p a lc u l v e sc a nr e f l e c tt h e i n h e r e n ts t r u c t u r eo ft h ed a t aa n dd e s c r i b en o n l i n e a rd a t a w h i c hi sb e n e f i c i a lt o t h ec o n t o u re x t r a c t i o n s ot h ed i s s e r t a t i o np r o p o s e s as i l h o u e t t ec o n t o u r d e s c r i p t i o nb a s e do i lkp r i n c i p a lc u r v e s e x p e r i m e n t sp r o v et h a tt h ekp r i n c i p a l c u r v e sc a ns k e t c hs i l h o u e t t ec o n t o u ra c c u r a t e l y a n a l y z i n gt h ed e s c r i p t i o na b i l i t yo fs i l h o u e t t ec o n t o u r , t h ed i s s e r t a t i o n p r o p o s e san o v e lg a i tr e p r e s e n t a t i o nb a s e do nc o n t o u rm a t r i x t h er e p r e s e n t a t i o n u t i l i z e sk r o n e c k e rp r o d u c tt og e tt h ec o n t o u r s p o s i t i o nd i f f e r e n c e s ，w h i c ha r eg a i t f e a t u r e s i tc o n t a i n sb o t ht h ed e t a i l s t a t i cs h a p eo fs i l h o u e t t ea n dt h e i rd y n a m i c i n f o r m a t i o n ，t h e r e f o r er e p r e s e n t se f f e c t i v e l yt h es p a t i o - t e m p o r a lp a t t e r no fg a i t b e c a u s et h el i n e a rp r i n c i p a lc o m p o n e n ta n a l y s i si sn o ta d a p t e dt on o n l i n e a r d a t a ，an e wn o n l i n e a ra n a l y t i cm e t h o d ( p r i n c i p a lc u r v ec o m p o n e n ta n a l y s i s ) i s p r e s e n t e d t h i s m e t h o d a n a l y z e s t h ed a t ai n n a t u r e ，e m p h a s i z e s t h e n o n - p a r a m e t r i cc h a r a c t e r i s t i ca n dm o d e l sn o n l i n e a rd a t ae f f e c t i v e l y i na d d i t i o n ， t h ed i s s e r t a t i o nc o n s i d e r sp r i n c i p a lc u r v e sa st h en e wm e t h o do fc l a s s i f i c a t i o n ，a n d t h e nd e f i n e st h en e wc o m p a r a b i l i t ym e a s u r e m e n ta n dc l a s s i f i c a t i o nr u l e d i f f e r e n t 哈尔滨工程大学博士学位论文 f r o mt h et r a d i t i o n a ls t a t i s t i c a l a n a l y s i s m e t h o d s ，p r i n c i p a l c u r v es e e k s l o w e r - d i m e n s i o n a lm a n i f o l d sf o re v e r yc l a s sr e s p e c t i v e l ya n df o r m st h en o n l i n e a r s u m m a r i z a t i o no ft h es a m p l ea n dd i r e c t i o n sf o re a c hc l a s s e x p e r i m e n t ss h o wt h e g o o dp e r f o r m a n c eo fp r i n c i p a lc u r v e sc l a s s i f i e r c o n s i d e r i n gt h ev a r i o u sp a r a m e t e r sa n dc o m p u t a t i o nc o m p l e x i t y , a n o v e lg a i t r e p r e s e n t a t i o ni sp r o p o s e dt oo b t a i nt h el i m ba n g l ei n f o r m a t i o n ，w h i c ha n a l y z e s t h ev a r i a t i o no fs i l h o u e t t ew i d t hw i t h o u tt h eh u m a nb o d ym o d e l t h ee x p e r i m e n t r e s u l t ss h o wt h a t t h i sm e t h o dc a l le x t r a c tt h ee q u i v a l e n ti n f o r m a t i o na s t h e m o d e l b a s e dm e t h o d sw i t hal o w e rc o m p u t a t i o nc o s t o nt h eo t h e rh a n d ，t h eg a i t f e a t u r e si n c l u d et h es t r u c t u r ec h a r a c t e r i s t i c sa n dt h em o t i o nt r a j e c t o r yo fw i d t h a n dj o i n ta n g l e s t h e nt h er a t i ob e t w e e nt h ei n t e r c l a s ss c a t t e r i n gm a t r i xa n dt h e i n t r a c l a s ss c a t t e r i n gm a t r i xi si n t r o d u c e dt og e ts u i t a b l ef e a t u r en u m b e r s t h e e x t r a c t e df e a t u r e sa r ea n a l y z e da n dd e a l tb yt h el i n e a rd i s c r i m i n a n ta n a l y s i sa n d d i s c r e t ec o s i n et r a n s f o r m s e x p e r i m e n t sd e m o n s t r a t et h em e t h o d se f f e c t i v i t yi n r e c o g n i t i o n r a t e an o v e lg a i tr e p r e s e n t a t i o nm e t h o db a s e do np e r i o d i cs e q u e n c ew i d t hi m a g e s i sp r o p o s e d t h i sm e t h o dt r a n s f o r m s t h e2 ds i l h o u e t t ec o n t o u r ss e q u e n c e st o w i d t hv e c t o rs e q u e n c e sa c c o r d i n gt og a i tc y c l e t h ev e c t o rs e q u e n c e sa r et u r n e d i n t ot h ep e r i o d i cs e q u e n c ew i d t hi m a g e s ，p r e s e n t e db yg r e yv a l u e s t h e s eg r e y v a l u e sc a ne x a c t l yd e p i c tt h eg a i tm o t i o n t ob et h eg a i tf e a t u r e s ，t h ep e r i o d i c s e q u e n c ew i d t hi m a g e sc o n t a i nb o t ht h es t a t i ca n dd y n a m i cg a i t c h a r a c t e r i s t i c s ， w h i c hn o to n l yk e e pt h es h a p es t r u c t u r ei n f o r m a t i o no fe a c hf r a m e ，b u ta l s o r e p r e s e n tt h e v a r i a n tm o v e m e n ti n f o r m a t i o no fg a i t s e q u e n c ee x c e l l e n t l y f u r t h e r m o r e ，t h en e wm e t h o dg r e a t l yr e d u c e st h ei m a g ed i m e n s i o nb yd i s c r e t e c o s i n et r a n s f o r m sa n d ，l a t t e r l y , a d o p t st h er a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r k st o i d e n t i f yt h eg a i t e x p e r i m e n t sp r o v et h i sm e t h o di ss i m p l ea n d e f f e c t i v ei nt h e o r y a n d p r a c t i c e k e yw o r d s ：g a i tr e c o g n i t i o n ；g a i tr e p r e s e n t a t i o n ；f e a t u r ea n a l y s i s ；p r i n c i p a l c u r v e s ；p e r i o d i cs e q u e n c ew i d t hi m a g e 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献的引用已在文中指出，并与参考文献相对应。除文中已 注明引用的内容外，本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 作者( 签字) ： ：21当 日期：幽。6 年月尹 日 第1 章绪论 第1 章绪论 1 1 课题的目的和意义 当今的社会是一个高度信息化的社会，需要相当可靠的信息安全保障， 对人类自身身份识别的准确性、安全性与实用性有着很高的要求。传统的身 份识别方法如身份标识物品等很容易被他人冒充或取代，可靠性已越来越低， 已经不能满足现今的安全要求，正在逐步退出历史舞台，被新的更安全、方 便的身份识别途径生物特征识别技术所替代。 所谓生物识别技术是指依据人类自身所固有的生理或行为特征来验证人 身份的一种识别技术，即通过计算机与光学、声学、生物传感器和生物统计 学原理等高科技手段密切结合，利用人体固有的生理特性( 如手形、指纹、面 部特征、虹膜、视网膜等) 和行为特征( 如笔迹、声音、步态等) 来进行个人身 份的鉴定。生物特征识别技术具有不易遗忘、防伪性能好、不易伪造或被盗、 随身“携带”和随时随地可用等优点。与传统的身份鉴定方法相比，它更具 安全、保密和方便性。近年来，随着社会对安全可靠性的需要的增加，生物 识别技术的研究受到越来越广泛的重视。 生物识别包括指纹识别、脸像识别、虹膜识别、掌纹识别、声音识别、 签名识别、笔迹识别、步态识别及多种生物特征融合识别等诸多种类。在众 多的生物特征技术中，步态识别是一种新近发展起来的生物特征识别技术， 它以对系统分辨率要求低、信息采集设备不会使人感到不适、远距离识别、 非侵犯性、难以隐藏等特点成为继人脸、虹膜、指纹等生物特征技术后基于 视觉运动的第二代生物特征识别技术。 基于计算机视觉的步态识别技术研究是计算机视觉领域中行为理解研究 的分支。它的研究涉及到计算机视觉中从底层到高层，及模式识别、图像处 理等领域的许多基本问题，如运动检测、图像分割、自遮挡处理、特征提取 及分析、分类器设计等。这些问题一直以来就是计算机视觉研究的热点和难 点。故对步态识别技术的研究具有很重要的理论意义l l j 。 哈尔滨工程大学博士学位论文 从视觉监控的观点来看，步态是远距离情况下最有潜力的生物特征【2 】。 步态识别技术不但具有相当的理论研究意义，而且还有着可观的应用领域。 美国d a r p a 2 0 0 0 年重大项目- h i d ( 远距离身份识别) 计划开展的多模态 视觉监控技术就是以实现远距离情况下人的检测、分类和识别为中心。 d a r p a 还在英国的南安普敦大学、美国的麻省理工学院、卡内基梅隆大学、 马里兰大学等多家高校和公司设立基金研究通过人体语言确认人的身份。美 国“9 1 1 ”事件后，反恐怖活动已成为各国政府的共识，人们已经意识到当 前安全的脆弱性，各国对大范围远距离的身份识别研究倍加重视。美国国防 先进研究项目代表在确认人类身份的距离程序上两年投资了5 0 0 0 万美金。除 了军事方面的应用外，步态识别技术的应用领域还包括机场、银行、停车场、 火车站等安全场合。另外，c m u 的c o l l i n s 想象把步伐认定用到百货商店和 超市中去，这样做不仅是安全而且为市场需要。 步态识别技术以其重要的理论研究意义和广泛的应用前景，倍受计算机 视觉研究者的关注，国内外大量研究者已经投入到该研究热点中。本课题的 研究目的是从视频序列中提取并有效地描述、分析人的步态序列，实现基于 步态分析的快速、准确的身份识别。 1 2 步态识别研究内容 所谓步态识别主要是指通过人体走路姿势的分析来区分人的身份1 3 1 。 m u r r a y 在早期的医学研究中指出，人的步态中有2 4 种不同的成份，如果考 虑人行走过程中的所有因素，步态信息对不同人是唯一的w 】。从生物力学的 角度来看，人的步态包含身体上百种肌肉和关节的综合运动。这些运动对所 有人来说都遵从基本的双足模式，然而不同人的运动又有差异，例如相对时 序和幅度的不同。这些差异是整个肌肉和骨架( 身体的重量、肢体的长度、 骨骼的结构) 的函数。因为结构难以复制，所以步态被认为是个体特有的， 且完全决定于几百个运动学参数。这些运动学参数包括特定关节点的角速度、 加速度以及肢体的边界等【6 j 。j o h a n s s o n 的早期物理心理学研究中，通过观察 附着在运动中人的几个关节上的灯泡的运动轨迹( m l d ，m o v i n gl i g h t d i s p l a y s ) 识别出了该人的运动类型1 7 $ j 。j o h a n s s o n 等人又进一步做了很多相 2 第l 苹绪论 似的实验，实验结果表明：采用m l d ，观察者能够识别熟人的身份、人的性 别。这些实验不仅说明了人类视觉系统对运动的感知能力，而且暗示行人运 动模式是由他们特有步态信息编码而成，每个人有自己专一的走路步伐，人 类视觉能够很容易地根据人走路的姿势识别出一个人。医学、生物力学、物 理心理学等领域对步态的研究是步态识别作为一种生物认证技术的科学依 据，为计算机视觉领域对步态识别的研究奠定了坚实的基础。 在计算机视觉领域，步态识别是指在视频序列中提取表征人步行特征的 视觉线索以达到鉴别人的身份的目的，它的一般系统应用框架如图1 1 所示。 由于个体之间身体结构和运动行为上的基本特性不同，步态运动为人的识别 提供了独特的线索【9 1 。计算机步态识别技术试图使计算机具有人的识别能力， 由于它广泛的应用领域，步态识别技术在近几年里得到了广泛的关注和研究。 依托于图像理解、模式识别、计算机视觉和神经网络等技术，步态识别技术 在一定应用范围内获得了成功，并且正在被推向更广的应用领域。 图1 1 自动步态识别系统框架 f i g 1 1t h es y s t e mf r a m e w o r ko fg a i tr e c o g n i t i o n 与其它生物识别技术，诸如指纹识别、眼虹膜识别和声音识别相比较， 步态识别具有以下几点独特的特性： 1 1 非侵犯性：适合要求隐蔽实行的场合。其它生物识别( 诸如指纹、虹膜、 脸像等) 通常依赖于上体近距离或接触性的协作感知。而步态识别对此 要求甚低，使它更易于使用，特别适合要求隐蔽实行的场合，如罪犯 侦缉等。 3 哈尔滨工程大学博士学位论文 2 ) 远距离识别：当记录一个企图登录的人的生物记录时，如果是远距离 的监控，脸的特征可能被隐藏，或者分辨率太低不易识别，然而进入 监控领域的人的运动步态是可见的。步态作为一种高普遍性、非接触 式采集的重要生物特征，可用以进行身份鉴别。 3 ) 难以隐藏性：目前医学和生理学研究表明，每个人的步态都有自身独 特的特点，不容易伪装1 7 1 ；相反，若为了刻意掩饰自己的步态，反而 更为容易被人觉察。 当然，步态作为生物特征，也有着自身的缺点【1 0 】，如下一些因素都可能 影响或改变它的特征： 1 ) 刺激物药品或酒精等刺激物可能会影响行人正常走路姿势。 2 ) 身体的变化当人怀孕，意外事故后腿部受影响，腿部疾病或体重 严重增长、下降都将影响个体的运动特性。 3 ) 心理一个人的情绪也会影响他的步态特征。 4 ) 服饰当个体改变服饰时如穿平底鞋和穿高跟鞋等，采用自动特征 提取方法提取出的步态特征可能存在较大差异。 5 ) 地形变化同一人在不同的地形上行走，他的行走姿势有差别。 另外，一些外部因素也会影响到了步态的自动特征提取过程，如光照条 件、特征点的自遮挡等。 步态识别技术按如图1 2 所示的步态识别一般框架大致分为三个主要研 究方面： 1 1 步态检测 ( g a i td e t e c t i o n ) 即解决如何从图像序列中分割并跟踪行人的问题；通常是在视频序列中 将人体步态轮廓区域从背景图像中提取出来。这方面的研究包括背景建模、 前景检测和形态学后处理等。由于以后的处理过程仅仅考虑图像中对应于轮 廓区域的像素，故步态轮廓的有效分割对特征提取、目标分类等后期处理非 常重要。然而，背景图像是动态变化，存在如天气、光照、影子及其他干扰 等的影响，这使得步态检测成为一项相当困难的工作。 2 1 步态表征( g a i tr e p r e s e n t a t i o n ) 即采取某种表示方法表示行人序列中提取的步态，并描述步态的特征， 这些特征包括行人的形状特征及其随行走变化的运动特征。步态表征主要分 为两大类：基于形状信息的表征( 如面积、宽高比等) 和基于运动特性的表 4 蔓! 至缝堡 征( 关节角度的变化，步行速度、加速度等) 。通常特征表征后的步态特征存 在冗余信息，直接将这些特征用于步态鉴别，将造成分类的计算困难。故需 要对描述步态的数据进行进一步处理，常采用特征提取和选择等方法，该步 骤称为步态特征提取。 3 1 步态鉴别( g a i ti d e n t i f i c a t i o n ) 步态鉴别即是通常所说的步态分类识别的过程，根据提取的特征采用适 当的方法将待识别的步态与数据库中的相关信息进行匹配，通过一定的判别 依据决定它所属的类别。这个过程要选择适合于所用步态表征方式的匹配策 略。整个识别系统的构造与步态的表征方式密切相关。 ( 视频序列) jl (步态检测) 西恣特征提取) ”创建数据库) v 文步态识别。 图1 2 步态识别的一般流程图 f i g 1 2t h ef l o wc h a r to fg a i tr e c o g n i t i o n 1 3 步态识别研究现状 步态识别技术虽是一种新兴发展起来的生物特征识别技术，但关于步态 分析在生物力学、医学、心理学等方面早已开展了大量的研究，目前关于步 态识别方法也层出不穷。较早的步态识别研究常基于有标记技术，需要昂贵 的特殊仪器，仅在较小的范围内展开研究的；近年来的自动步态识别方法大 多基于计算机视觉，从图像序列中提取特征用于识别。近两年来步态识别研 究倍受关注，如2 0 0 0 年美国国防高级研究项目署d a r p a 的h i d ( h u m a n 5 喻尔滨工程大学博士学位论文 i d e n t i f i c a t i o na tad i s t a n c e ) 计划，美国五角大楼也正拟定采用步态识别技术 进行反恐。国际上的主要研究机构包括英国的南安普敦大学以及美国的麻省 理工学院、卡内基梅隆大学、佐治亚理工学院、马里兰大学等2 0 多家高校和 公司在h i d 计划驱动下于2 0 0 0 年开始步态识别研究。另外，中国、日本、加 拿大、瑞士等国家的一些高校或研究机构也开始了这方面的探索。 目前的步态识别方法按是否建模主要分为两类：基于模型的方法1 1 1 - 2 3 】年口 非基于模型的方法【2 4 _ “】。基于模型的方法首先建模图像数据，再分析模型中 参数的变化。基于非模型的方法大致存在两个分支：状态空间方法和时空方 法。c u n a d o 等最早采用了基于模型的方法，步态特征来自于大腿倾斜变化”“， 在后来的研究中c u n a d o 和n i x o n 等在文献 1 1 1 的基础上提出了基于模型的特 征分析方法【l2 ”】；t a n a w o n g s u w a n 和b o b i c k 用钟摆为步态建模，将髅关节变 化的频域信息作为步态特征”；文献【1 5 ，1 6 】将人体建模为二维杆状体；文献 【1 7 1 建模人腿为两个连接的钟摆；文献【1 8 】从由1 4 个刚体组成的模型中提取 人的角度信息。对于基于模型的方法来说，模型的建立是该类方法的关键， 所建模型的好坏及其模型对行人的跟踪匹配程度决定了所能获得特征的精确 度和识别结果的高低，该类方法能直观地恢复出入行走时的运动变化特征， 但大多存在较大的计算量。基于非模型的方法，不需要为行人或其身体部分 建立模型，通常基于对侧影分析，计算量相对较小，但侧影的某些信息有时 只能间接地反映步态运动变化。 当前的主要研究方法是基于侧影分析的，马里兰大学主要采用隐马尔科 夫( h m m ) 2 4 - 2 6 、本征分析2 7 2 8 1 及基于外形特征【2 9 3 l 】的方法；南佛罗里达大 学提出了匹配侧影的步态基线算法【3 2 - ”】，及依据所得步态特征的相关统计变 化的步态识别方法【3 5 】：佐治亚理工学院的数据来源于步幅模式，并采用h h t 分析侧影关键点轨迹【5 6 】；卡内基梅隆大学采用关键帧分析方法进行序列匹配 3 6 , 3 7 】：南安普敦大学提出了大量的分析方法，如基于区域测量的基线算法【3 8 】， 利用步态对称性描述和分析的识别方法【3 9 4 1 及采用统计矩的方法【4 2 】等；美国 的麻省理工学院的l e e 将人的侧影分为七个大小不同的椭圆状块，利用不同 部分椭圆块长短轴及斜率等信息分析行人的运动变化，以提取步态特征 1 9 - 2 t ： 中国科学院自动化所王亮等将2 d 轮廓形状转换为对应的1 d 距离信号【4 ，通 过特征空间变换( p c a ) 提取低维步态特征，及侧影序列距离信号的本征空 间变换方法【删，提出了一些基于侧影的步态识别方法1 4 5 ，4 6j ：r i v e r s i d e 采用动 6 第1 章绪论 力学及静态特征分析步态1 5 7 5 9 】等。 由于受到了广泛的重视，步态识别的研究进展相当快，包括i e e et r a n s p a m i 、i e e et r a n s i p 等权威国际期刊已经报道的相关文章及一些重要的国 际学会议( 如i c c v 、c v p r 等) 上出现的论文。特别是在a v b p a 0 3 和f g 0 2 国际会议上均开辟了步态识别的专题介绍，相关参考文献已有几百篇。 在以下几节中，我们按照步态识别技术的基本步骤分别地介绍了步态识 别在国内外的研究情况。 1 3 1 数据获取 在步态识别技术的应用中，步态数据主要来源于摄像机拍摄的视频图像。 大多步态数据库采用的是一般消费级的数字摄像机，如n i s 删s f 的数据库1 m r r 的数据库”；也有采用专业摄像机的，如c m u 数据库“；采用监控摄 像机也能获取步态图像序列。另外，为了充分发觉步态数据里的身份信息， 提取更加直接的步态特征，t a n a w o n g s u w a n 等研究者把用于运动捕捉的电磁 传感器穿着在试验者不同的身体部位，将关节角度的轨迹投影到步行平面以 恢复臀部和膝盖部的角度，以这些角度作为识别的特征【1 “。研究者们大多在普 通图像序列上展开研究，对红外序列步态识别的探讨甚少。 受到计算能力和存储要求的限制，早期的方法都是在相对较小的库下进 行的。但是一个新的应用技术的成功和发展主要依赖于用于评估的数据库。 现阶段，已经出现了一些相对较大的数据库。主要有以下几个：n i s t 厂u s f 室外数据库【砌、c a s i a 步态数据库【6 2 1 、l i t t l e 和b o y d 数据库【6 3 1 、c m u 步 态库、s o t o n 步态库【删。m i t 数据斟19 1 、g e o r g i at e c h 数据库1 6 5 1 、u m 数 据库1 6 6 。图1 3 给出了n i s t ，u s f 数据库、c a s i a 数据库、l i t t l e 和b o y d 数 据库、c m u 数据库和s o t o n 室内数据库的样例。 1 3 2 步态检测 步态检测作为步态自动识别系统的主要技术环节之一，包括行人从图像 序列中的分割和跟踪过程，它的研究有一定的独立性。由于大多的步态检测 常因条件的有限被设定在一些特定的场合，相对来说在这些场合下的步态检 测工作比较容易完成。但是最近几年随着人们越来越关心各种复杂情况下的 哈尔滨工程大学博士学位论文 步态自动识别系统，步态检测得到了较多的重视。 图1 3 步态数据库示例 f i g 1 3e x a m p l e so fg a i td a t a b a s e 步态检测的基本思想是用知识或统计的方法对步态建立模型，比较所有 可能的待检测区域与步态模型的匹配度，从而得到可能存在步态的区域，并 对它进行分割和跟踪。步态检测由于场景、位置、方向的变化以及步态的姿 态( 正面，侧面) 、速度、光线的变化等原因，使得步态检测的研究具有很强 的挑战性。 在图像分割最初发展的二十年里，人们主要对三种分割方法阈值分割、 边缘检测和区域提取进行研究。在利用区域的方法时，把各像素划归到各个 物体或区域中；在边缘方法中，则先确定边缘像素并把它们连接一起以构成 所需的边界。进入八十年代以后，越来越多的学者开始将模糊理论、马尔可 夫模型、遗传算法理论、分形理论、神经网络、形态学理论、小波理论等研 究成果运用于图像分割的研究，取得了很大进展。现在，图像分割方法通常 分为基于区域的分割方法、边缘检测、结合区域与边界技术的方法、基于模 第1 章绪论 糊集理论的方法、基于神经网络的方法、基于主动轮廓的图像分割以及分割 领域的其它方法。图像分割技术从兴起到现在，算法上得到了不断的改进和 创新，已经取得了很大的进步。但由于图像种类的多样性，很难用一个精确 的数学公式来表征图像分割的过程。因此，尽管分割的方法很多，还没有一 种对任何图像都适用的分割方法。 虽然目前图像分割还没有一种通用的、能使各种类型的图像达到最优分 割质量的图像分割方法，所提出的各种图像分割方法都只是针对特定类型的 图像而言，只能使该种类型的图像能取得一个质量较好的分割结果。以下是 几种常用步态检测方法： 1 ) 背景减除( b a c k g r o u n ds u b t r a c t i o n ) 背景减除方法是目前运动分割中最常用的一种方法，它是利用当前图像 与背景图像的差分来检测出运动区域的一种技术。该方法常以固定摄像机为 前提条件，对于背景图像序列，一般假定背景服从高斯分布，利用初始不含 前景的连续n 帧图像构造初始的背景模型，然后根据一定刷新速度更新背景 模型。它一般能够提供最完全的特征数据，但对于动态场景的变化，如光照 和外来无关事件的干扰等特别敏感。文献【6 7 】采用r r f ( r a d i a lr e a c hf i l t e r ) 较 好地解决了阴影问题。最简单的背景模型是时间平均图像，大部分的研究人 员目前都致力于开发不同的背景模型，以期减少动态场景变化对于运动分割 的影响。如文献1 6 8 采用基于卡尔曼滤波( k a l m a nf i l t e r i n g ) 的自适应背景模 型以适应天气和光照的时间变化等。步态识别中如p h i l l i p s 、w a n g 等都采用的 背景减除方法来检测步态【3 2 , 4 3 4 6 】。 2 ) 时域差分( t e m p o r a ld i f f e r e n c e ) 时域差分方法是在连续的图像序列中两个或三个相邻帧间采用基于像素 的时域差分并且阂值化来提取出图像中的运动区域。时域差分法的优点是鲁 棒性较好，能够适应各种动态环境，其缺点是只能提取出边界点，而不能提 取出对象的完整区城。另外，当运动对象速度缓慢时，则可能检测不到，而 运动对象速度过快时，将把部分背景也检测为运动对象。例如l i p t o n 等利用 两帧差分方法从实际视频图像中检测出运动目标，进而用于目标的分类与跟 踪【6 9 l ；一个改进的方法是利用三帧差分代替两帧差分，如v s a m 开发了一种 自适应背景减除与三帧差分相结合的混合算法，它能够快速有效地从背景中 检测出运动目标【，”1 。 哈尔滨工程大学博士学位论文 当人体某些区域灰度值变化较为平坦时，差分方法可使二值化的图像中 产生空洞现象，这对运动物体的分类和人体运动的跟踪造成不便。时域差分 运动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所 有相关的特征像素点，在运动实体内部容易产生空洞现象。 3 1 光流( o p t i c a lf l o w ) 基于光流方法的运动检测，是利用运动物体随时间变化在图像中表现为 速度场的特性，根据一定的约束条件估计出运动对应的光流。它的优点是在 摄像机和背景之间也存在运动的前提下也能检测出运动物体。如l i t t l e 与 b o y d 利用光流方法检测出人体，并从光流图像中获取频率和相位特征来识别 个人【7 1 , 7 2 l 。然而，光流计算方法需要多次的迭代运算，时间消耗较大，且抗 干扰能力比较差。 在运动变化检测中还有一些其它的方法，如f r i e d m a n 与r u s s e l l 利用扩 展的e m ( e x p e c t a t i o nm a x i m i z a t i o n ) 算法，为每个像素建立了混合高斯分类 模型，该模型可以自动更新，并能自适应地将每个像素分类为背景、影子或 者运动前景，在目标运动速度缓慢盼 青况下亦能较好地完成运动区域的分割， 并可以有效地消除影子的影响“；另外，s t r i n g a 也提出了一种新颖的基于数 学形态学的场景变化检测算法，在变化的环境条件下获得了相对稳定的分割 效果【7 4 1 。 1 3 3 步态表征 步态表征是步态自动识别中的一个核心问题，它在一定程度上决定了步 态识别的具体方法及性能。所有的已知步态必须以一定的格式存储起来，步 态表征的本质与识别使用的匹配策略相互影响。当然，在表示步态特征时， 特征表达的维数应越少越好。少量的突出的特征即能简化模式表达，还能简 化建立在表达之上的分类器；而另一方面特征数量的减少有可能导致鉴别力 的损失进而降低识别性能的准确性。为了寻找适当的特征集，步态识别问题 中寻求模式表达方法的过程就包括了从原始图像中提取特征，这涉及到了图 像处理技术和计算机视觉技术。它还包括：如果特征的维数太大，则采用主 成分分析( p c a ) 进行降维和特征提取，以及有时需要用a n o v a 方法( 变 异数分析方法) 进行特征选择以选出突出的特征，这涉及到了统计模式识别 1 0 星! 量鱼堡 中的特征提取投影和特征选择方法。采用何种统计模式识别方法取决于从图 像中提取的特征的性质。目前的步态的表达方法侧重于从图像处理和机器视 觉的角度去寻找和精确提取有效反映步态的特征，对统计模式识别的方法的 应用不太深入。 1 3 3 1 步态描述方法 不同于人脸、指纹等的图像描述方法，步态特征常是一些存在于图像序 列中的形状及运动变化信息，即在描述步态时，要兼顾步态的动静特征。步 态序列可看作是由一些静态身体姿势序列组成的，抓住静态姿势随时间的变 化是确定行人内在运动的一个关键线索。步态运动中有两种比较重要的成分： 其一是结构成分，它反映一个人的物理体形，比如身体的尺度和肢体的长度， 常称它为结构化分量或者外形特征；其二是身体在一个步态周期内的运动的 特征，即动态分量、运动特征。目前常见的步态表征方法可分为两大类：结 构表征方法和非结构的表征方法。这两种方法都遵从一致的特征提取、特征