（通信与信息系统专业论文）基于关节点提取和多视角步态识别算法.pdf

武汉理工大学硕士学位论文 摘要 步态识别是近年来越来越多的研究者所关注的一种较新的生物认证技术， 它是通过人的走路方式来识别人的身份的方法。步态识别作为一种生物认证技 术，具有其它生物认证技术所不具有的独特优势，即在远距离或低视频质量情 况下的识别潜力，且步态难以隐藏或伪装等。 围绕着步态识别这个主题，本文主要探讨了视觉分析中步态图像序列的检 测，特别是对步态图像的预处理部分，特征提取和分类识别等相关问题，并总 结了当前步态识别国内外的研究现状和常用的处理方法。 首先，研究了步态识别预处理技术。先采用直接差分法提取人体的剪影， 接着对图像进行阈值分割，通过仿真比较了迭代法、双峰直方图常规算法、o t s u 法和统计法，取得了最佳的阈值分割图像。然后用开闭运算或者必要次数的膨 胀腐蚀操作等图像后处理技术来去除噪音得到平滑和连通人体剪影。 然后，研究了侧面视角下的步态识别算法。 通过研究人体行走样本的周期性来获取代表人体周期性步态特征的关键 帧，对关键帧进行图像处理。预处理技术之后得到的人体剪影对之进行骨骼化 提取，得到人体关节点坐标，连接关节点构建人体骨骼模型，求取其角度特征， 要处理的特征量就相对比较大，于是用传统的应用主成分分析( p c a ) 进行特征提 取和压缩。用特征空间多步转换后所得的权向量来识别。通过最近标本分类器 和留一效验规则来对人体步态样本进行了分类识别。在自建的数据库6 个人体 行走样本2 个周期序列，侧面方向( 相对于背景o 度) 下都取得了一定的效果。 接着，研究和实现了多视角下基于人体骨架模型的两种步态识别算法。 实现了多视角下的反射发射算法。原算法只是人体实际点对像素点的映射， 笔者引入转换算子把人体肢体实际长度和对应的剪影中肢体长度联系起来。转 换算子定义是实际肢体长度和对应的剪影肢体长度之比，通过求取人体样本直 线行走角度和剪影中的肢体长度等信息可以求得这种算子，再把剪影中肢体长 度代入该转换算子得到对应的实际人体肢体长度。 实现了多视角下的曲线拟合算法。人体剪影双足中点坐标到摄像头的垂直 距离为自变量，人体实际肢体长度和与其对应的剪影肢体长度之比是因变量。 武汉理工大学硕士学位论文 要求一个已知身高的人体样本来构建自建数据库下的曲线。笔者比较了1 0 种曲 线，得到最佳曲线，通过最佳曲线来估计全部样本的这种映射关系。 以上两种多视角算法对自己建立的6 个样本，2 个序列，3 个方向( 相对于 背景的3 0 度，4 5 度，6 0 度) 下用k n n 和留一交叉效验进行了分类识别，并取 得了不错的效果。 对两种算法进行了关于适用条件、限制条件、性能特点的比较。 关键字：步态识别；骨架模型；多视角；反射发射法；曲线拟合；主成分分析 i l 武汉理工大学硕士学位论文 a b s t r a c t g a i tr e c o g n i t i o ni san e wt e c h n o l o g yo fb i o m e t r i ca u t h e n t i c a t i o nw h i c ha b s o r b s m o r ea n dm o r er e s e a r c h e r st oc o n c e mi ti nr e c e n ty e a r s ；i tr e c o g n i s e sp e o p l eb y t h e i r w a yo fw a l k i n g a sab i o a u t h e n t i c a t i o nt e c h n i q u e s ，g a i tr e c o g n i t i o nh a v et h e u n i q u ea d v a n t a g e sw h i c ho t h e rb i o l o g i c a la u t h e n t i c a t i o nt e c h n o l o g yd o e sn o th a v e ， s u c ha sr e c o g n i z ep e o p l ef a ra w a y , i nl o wv i d e oq u a l i t y , a l s o ，i ti sn o te a s yt oh i d e g a i t g a i ta n a l y s i sa i m sa ta t t e m p t i n gt od e t e c t ，t r a c ka n di d e n t i f yp e o p l e ，a n d m o r eg e n e r a l l y ，t ou n d e r s t a n dh u m a nb e h a v i o r s t h i sp a p e rp a y sm o r ea t t e n t i o no n g a i td e t e c t i o n ，e s p e c i a l l yo nt h ep r e p r o c e s s i n go fg a i t ， f e a t u r ee x t r a c t i o na n d c l a s s i f i c a t i o n w ea l s og e n e r a l i z et h er e s e a r c hs t a t ea n du s e dm e t h o d si na n do u t f i r s t ，t h em e t h o d so fi m a g ep r e p r o c e s s i n gi ss t u d i e d o b t a i n i n gt h es i l h o u e t t e o fi m a g ei st h ed i r e c t p r o c e s s i n g o fb a c k g r o u n dd i f f e r e n c e i m a g e s t h e n ，a c o m p a r i s o no ni m a g et h r e s h o l ds e g m e n t a t i o na l g o r i t h m ，i n c l u d i n gi t e r a t i o nm e t h o d ， d o u b l e p e a kh i s t o g r a mc o n v e n t i o n a la l g o r i t h m ，o t s um e t h o da n ds t a t i s t i c a lm e t h o d a let a k e n t h e s eg e ta ne x c e l l e n tg o a l n e x t ，t h eo p e n i n go p e r a t i o n , c l o s eo p e r a t i o n ， m o r p h o l o g i c a ld i l a t i o na n de r o s i o nn e e d e da r et a k e nt oe l i m i n a t et h en o i s ea n dt o o b t a i ns m o o t ha n dt h ec o n n e c t e dh u m a nb o d yi m a g e n e x t ，r e s e a r c ho fg a i tr e c o g n i t i o nm e t h o db a s e do ns i d ev i e wi st a k e n t h r o u g hs t u d i e st h eh u m a nb o d yt ow a l kt h es a m p l ep e r i o d i c i t yt og a i nt h ek e y f r a m e st h a tr e p r e s e n t st h eh u m a nb o d yp e r i o d i cg a i tc h a r a c t e r i s t i c ，c a r r y i n g9 nt h e p r e p r o c e s s i n gt ot h ee s s e n t i a lf r a m e ，b o d ys i l h o u e r ei ss e g m e n t e df r o mt h ei m a g ea n d t h a ti sc o n v e r t e di n t oas k e l e t a lm o d e la f t e r w a r d s f u r t h e r m o r ejo i n t sc o o r d i n a t e si s g o ta n da n g l ec h a r a c t e r i s t i co fj o i n t si sg o t ，q u a n t i t yo fp r o c e s st h ec h a r a c t e r i s t i c r e l a t i v e l y i sq u i t eb i g t h e r e f o r ea n a l y z e s ( p c a ) 、析lt h et r a d i t i o n a la p p l i c a t i o n p r i n c i p a lc o m p o n e n t st oc a r r yo nt h ef e a t u r ee x t r a c t i o na n dt h ec o m p r e s s i o n a f t e r f e a t u r es p a c em a n ys t e pt r a n s f o r m a t i o n st h eo b t a i n e dw e i g h tv e c t o rd i s t i n g u i s h e s a t l a s t ，e n n ( n e a r e s t n e i g h b o rw i t hc l a s se x e m p l a r ) a n dl e a v e o n e o u tc r o s sv a l i d a t i o n 1 i i m e t h o df o rc l a s s i f i c a t i o na n dr e c o g n i t i o n f r o mt h ed a t a b a s ew h i c hc o n s t r u c t e d6 p e r s o ns a m p l e2p e r i o d i cs e q u e n c e sp e r s o n a l l y , t h e s i d ev i e w ( i so p p o m t ei n b a c k g r o u n d0d e g r e e s ) a f t e ra l lo ft h e s eg a i tr e c o g n i t i o nm e t h o do f s k e l e t a lm o d e lh a s m a d ec e r t a i np r o g r e s s t h e n s t u d yi sc a r r i e do ft w ok i n d so fg a i tr e c o g n i t i o na l g o r i t h m s u n d e rt h e m u l t i v i e wb a s e do nt h eh u m a nb o d ys k e l e t o nm o d e l i m p l e m e n t a t i o no fr e f l e c t i o na n de m i s s i o na l g o r i t h mb a s e do nm u l t i v i e wo ni s t a k e n t h eo r i g i n a la l g o r i t h mi so n l yt h eh u m a nb o d ya c t u a ls p o to b j e c tp i c t u r e e l e m e n tm a p p i n g ，t h ea u t h o ri n t r o d u c e st h et r a n s f o r m a t i o no p e r a t o rt h eb o d yl e n g t h r e l a t e st h eh u m a nb o d yl i m bv i r t u a ll e n g t ha n di nt h ec o r r e s p o n d i n gi m a g e t h e t r a n s f o r m a t i o no p e r a t o rd e f i n i t i o ni st h ea c t u a lb o d yl e n g t ha n dt h ec o r r e s p o n d i n g r a t i oo fs k e t c hb o d yl e n g t h ，t h r o u g hs e e k i n gh u m a nb o d ys a m p l es t r a i g h tl i n ew a l ki n a n g l ea n ds k e t c hi n f o r m a t i o na n ds oo nb o d yl e n g t hc a l lo b t a i n t h i sk i n do fo p e r a t o r , t h eb o d yl e n g t hs u b s t i t u t e st h es k e t c hi nt h i st r a n s f o r m a t i o no p e r a t o rt oo b t a i na g a i n t h ec o r r e s p o n d i n ga c t u a lh u m a nb o d yl i m bl e n g t h m o r e o v e r , r e s e a r c ho fc u r v ef i t t i n ga l g o r i t h mb a s e d o nt h em u l t i v i e wi st a k e n t h eh u m a nb o d yi m a g eb o t hf e e t c e n t e rp o i n ty - c o o r d i n a t ei st h ei n d e p e n d e n t v a r i a b l e ，t h eh u m a nb o d ya c t u a lb o d yl e n g t ha n dw i t hi t sc o r r e s p o n d i n gr a t i oo f i m a g eb o d yl e n g t hi sad e p e n d e n tv a r i a b l e h e i g h to ft h eh u m a nb o d ys a m p l e i s k n o w n ，t h e s ea r et oc o n s t r u c tf r o mc o n s t r u c t su n d e rt h ed a t a b a s et h ec u r v e t h e a u t h o rh a sc o m p a r e d10k i n d so fc u r v e s ，o b t a i n st h eb e s tc u r v e ，e s t i m a t e st h e c o m p l e t es a m p l et h r o u g h t h eb e s tc a lv et h i sk i n do fm a p p i n gr e l a t i o n s t w ok i n d so fm u l t i v i e wa l g o r i t h m st ot h eo w ne s t a b l i s h m e n t s6s a m p l e s ，2 s e q u e n c e s ，3d i r e c t i o n s ( i so p p o s i t ei nb a c k g r o u n d 3 0d e g r e e s ，4 5d e g r e e s ，6 0d e g r e e s ) u n d e ra n du s ek n na n dl e a v e o n e o u t c r o s sv a l i d a t i o nm e t h o df o rc l a s s i f i e d r e c o g n i t i o n ，a n dh a sm a d et h eg o o dp r o g r e s s t w oa l g o r i t h m sa b o u th a sb e e n s u i t a b l e t h ec o n d i t i o n ，t h el i m i t i n gc o n d i t i o n ，t h ep e r f o r m a n c ec h a r a c t e r i s t i cc o m p a r i s o na r e s h o w n k e y w o r d s ：g a i tr e c o g n i t i o n ，s k e l e t a lm o d e l ，m u l t i v i e w , r e f l e c t i o na n d e m i s s i o nm e t h o d ，c u r v ef i t t i n g ，p r i n c i p a lc o m p o n e n t sa n a l y s i s i v 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育机构的 学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己 在论文中作了明确的说明并表示了谢意。 签名：鳢日期：垫鳢! 三= 孕 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权保 留、送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：叠基l 导师签名：4 萋蕴日 武汉理工大学硕士学位论文 第1 章绪论 1 1 步态识别研究的意义和特点 现代社会对安全的要求越来越高，政府提出建立安全和谐社会的目标。监 控和识别技术是建立安全社会的技术基础，它可以发现潜在的威胁，确保社会 安全。 目前监控技术分为几类：基于标识知识( k n o w l e d g eb a s e d 如密码) ；基于 身份标识物( 如身份证) ；生物特征识别。前两种方法主要借助体外物，一旦证 明身份的标识物品和标识知识被盗或遗忘，其身份就容易被他人冒充或取代。 生物特征识别技术比传统的身份鉴定方法更具安全、保密和方便性。生物特征 识别技术具有不易遗忘、防伪性能好、不易伪造或被盗、随身“携带”和随时随地 可用等优点。 生物可识别特征指可以识别和验证人的身份的生理或行为特征 ( “a p h y s i o l o g i c a lo rb e h a v i o r a lc h a r a c t e r i s t i c ， w h i c hc a nb eu s e dt oi d e n t i f ya n dv e r i f y t h ei d e n t i t yo fa ni n d i v i d u a l ”【l j ) 从定义看出它分为两类： ( 1 ) 生理特征：直接通过测量人体的某个部分得到，包括指纹、脸部和虹膜 等。 目前针对生理特征的识别系统己应用到各种场合，已经有公司采用指纹识 别技术进行考勤和身份验证；美国某银行使用虹膜识别系统验证客户；美国9 1 1 事件后，美国维萨格公司的脸相识别技术被应用到机场，在人群中找出嫌疑犯。 ( 2 ) 行为特征：人体行动时表现出的特征，不能被直接测量到，需要时间 域特征。包括击键、笔迹、语音和步态等。 生物特征识别各有其特点，有不同的应用场合。衡量生物特征识别的特性 包括成熟度( m a t u r i t y ) 、准确度( a c c u r a c y ) 、可测量性( s c a l a b i l i t y ) 、代价( c o s t ) 、 侵犯性( o b t r u s i v e n e s s ) 、传感器规模( s e n s o rs i z e ) 等。目前没有一种生物识别技术 可以达到1 0 0 的准确性，如有些指纹无法提取特征，患白内障的人虹膜会发生 变化导致无法识别。因此生物识别领域出现把多种生物特征结合起来进行识别 的趋势，如脸部和唇【2 】，脸部和步态【3 1 等。 武汉理工大学硕士学位论文 相比其他生物特征识别，步态识别有其自身的特点和优势。步态是人的行 走方式，早期的医学研究证明步态具有唯一性，j o h a n s s o n 【4 】通过实验发现人类可 以根据步态识别出人的身份。近几年，随着计算机视觉研究的进步，利用计算 机视觉技术来分析和识别人的步态成为可能1 5 j 。同时人们对社会安全的要求越来 越高，需要一种方法方便快速地识别人的身份，步态识别作为一种新的安全保 卫手段得到重视。作为识别特征，步态具有如下优点：非接触性、难于隐藏和 伪装、易于采集，可远距离感知等1 6 儿。 非侵犯性、非接触性人的行走的步态能被秘密提取，而用户并不知道 正在被观察和分析。在信息收集阶段，步态不像指纹和虹膜识别那样需要用户 的密切协作，接触指纹仪、注视虹膜捕捉器等。 难于隐藏和伪装如银行抢劫犯通常会带上头盔、面罩、眼镜和手套， 此时人脸和指纹等其它生物特征不再发挥作用。然而，人必须行走，因此人的 步态通常是可见的。同时，人一般不会故意伪装自己的行走行为。如果这样做 的话，那么他奇怪行为在视觉监控中将表现的更加可疑。 易于采集步态识别不要求所捕捉的图像必需要有非常高的质量，相比 之下，其它生物特征识别技术通常在分辨率低或图像模糊时无法进行识别。 远距离识别旨纹和脸像等生物特征通常需要近距离或接触性的感知，而步 态完全可以远距离地进行捕捉，因此它提供了在远距离情况下识别人的可能。 当然，步态识别也有其自身的缺点，它易受心情、衣着、身体变化( 如骨折) 的影响。而其它生物特征也有着相应的缺点，如容易被伪装和更改等，特别是 当个体想摆脱识别而不给予合作的时候，几乎无法进行识别。 1 2 国内外的研究状况 1 2 1 国内的研究状况 在国内，步态识别方面取得了很好的成就的就是中科院自动化所王亮【8 】谭铁 牛【9 j 等人，其研究文章被国外的很多研究机构引用。据中国科学院自动化研究所 所长谭铁牛研究员介绍，虽然目前中国生物识别研究的总体水平与国际先进水 平尚存在一定差距，但研究步伐大体上跟国际同步，并在虹膜、指纹、掌纹、 笔迹识别等领域颇具特色，达到世界先进和领先水平。 2 武汉理工大学硕士学位论文 1 2 2 国外的研究状况 在国外，步态识别取得了一系列的探索性的研究成果：文献【9 】【1 0 】可能是最早 用步态识别的方法，它从一个行走的人的时空模型中获取步态信号用来进行自 动识别。也就是，在x t 维( 平移轴和时问轴) ，头和腿的运动有不同的模型， 这些模型决定着身体移动的轮廓变化，依照轮廓给出了拟和的5 - s t i c k 模型。首 先通过归一化拟和模型到速率而获得步态信号，然后利用线性插入的方法去获 得归一化的步态向量。最后将提取的方法应用到5 个不同人的2 6 个序列的步态 数据库上，利用欧式距离矩阵验证，得到的分类识别率的变化范围为6 0 一8 0 。 随后，光流法1 9 。l l j 被用来提取步态信号，它研究了随着运动类型和运动对象的类 型变化的即时运动一运动模型。将这个方法应用到人的识别，通过运动模型的 周期性变化得到了很好的分类效果。具体方法是：从n + 1 个序列图像中，产生 n 个稠密的光流图像。从每一个光流图像中产生出m 个标量特征( 如，所有运 动点的质心) 来描述运动模型。这些标量值被用来形成描述序列中运动变化的m 个时间序列。每一个序列都共享相同的频率，但是不同的相位信息。通过计算 相位向量的平均值，并用它作为样本向量而得到了分类结果，在一个由6 个人 组成的步态数据库上验证改算法得到了一个9 0 5 的识别率。另一个方法在文献 一d 2 j 中得到了体现，它更多的关注对象运动的特征，利用步态作为方法的标本。 它利用参数化的特征空间方法降低计算量，并增加算法的强壮性。这个方法首 先利用减除相邻图像获得运动轮廓，通过进一步的相关处理降低不相干的噪声 干扰。然后，将获得的轮廓投影到特征空间( 已经很好的应用在人脸识别上的 方法) 。最后，对序列轮廓执行特征值分解，得到特征向量和频率分量。在一个 由7 个人组成的1 0 个序列的步态数据库上验证了算法，对于1 6 个特征向量， 显示的识别率是1 0 0 ；对于8 个特征向量显示的识别率是8 8 。这个方法的特 点是，它在输入图像的噪声处理上具有很强的能力，而且这个是统计方法，系 统仅仅能分类标记的数据。 随后的步态研究更是得到了进一步的发展。a m i tk a l e 等人 9 1 利用人的二值 化图像的侧面外轮廓作为图像的特征，对于每一个人在一个步态周期内利用c 均 值算法选择一个标本集合。在识别的过程中计算一个步态序列的每一帧与标本 集合之间的所谓的f e d 矢量，采用h m m 进行步态识别。l e e 1 1 】采用七个椭圆表 达人的侧面二值化图像的身体的不同部分，每一个椭圆用质心等四个特征表示加 上整个身体图像的质心的高度一共2 9 个特征表示整个人体侧面图像，通过模板 武汉理工大学硕士学位论文 匹配方法进行步态识别。j l i t t l e 和j b o y d l l 2 j 利用步态序列图像的光流的频率和 相位信息进行步态识别。p i n gs 1 3 l 对于利用不同的时空域模板进行步态识别作了 比较。c u n a d o i l 4 l 将大腿和小腿建模为链接的钟摆，并从其倾斜角度信号的频率分 量中获取步态特征。y o o 等人l l5 j 根据解剖学的知识，提取除头、脖颈、肩、胸、 骨盆、膝盖和脚踝的位置，然后计算各个位置的运动学特征( 相对于垂直方向的摆 动角度) 进行步态的分类识别。c h i r a zb e n a b d e l k a d e r 【1 6 j 分别提供了一种基于步态 图像自相似性的非参数化的方法和一种基于步态的周期和跨距的参数化的方法 进行基于步态识别的身份认证。文献i l6 j i l 7 j 构造了所谓的z e m i k e 速度矩作为步态 的特征进行步态识别。文献i l9 j 采用多台摄像机同时对人走路的步态的侧面图像 与人的正面脸像，将步态识别与人脸识别结合起来进行身份认证。 1 3 步态识别应用 步态识别研究是近年计算机视觉和模式识别领域的热门研究课题，有很大 的理论意义和应用前景。最主要的应用包括智能监控应用和人体行为的计算机 分析两个方面。 1 3 1 智能监控应用 智能监控系统应用于那些对安全要求敏感的场合，如银行、商店、停车场等。 目前监控系统发挥了实时监控的作用，但智能化程度很低，只能起到记录 现场的作用。智能监控可以自动分析摄像机捕捉的图像，及早发现异常活动， 从而避免犯罪的发生，同时也减少雇佣大批监视人员所需要的人力、物力和财 力的投入；在访问控锘u j ( a c c e s sc o n t r 0 1 ) 场合，也可以利用步态的跟踪识别技术以 便确定来人是否有进入该安全领域的权利。人的运动分析在自动售货机、a t m 机、交通管理、公共场所行人的拥挤状态及商店中消费者流量统计等监控方面 也有着相应的应用。 目前芬兰科学家发明了一种使用步态识别技术的笔记本防盗装置。这种防 盗装置配有可以准确识别使用者步态特征的传感器。当装置第一次被使用时， 它把所获得的步态特征存放到数据库里。一旦发现使用者的步态与原来的不同， 防盗装置将会要求使用者输入密码，若密码再发生错误，机器将自动关闭。 4 武汉理工大学硕士学位论文 1 3 2 计算机人体行为分析 分割图像中的人体部分并在图像序列中跟踪分析感兴趣的关节运动，对于 建立人体几何模型、解释人体的运动行为机制从而提高它的运动性能有着积极 的推动作用，这可以应用于体育运动、舞蹈等训练中。某国已经开发出跳舞机 器人，主要使用的就是计算机步态分析技术。通过分析体育运动训练图像，可 以帮助运动员找到最佳的姿势提高竞技成绩。 传统的步态分析是肌电图学、关节动力学的研究范畴，而目前的医学步态 分析是一个旨在提供诊断和治疗支持的研究领域，它可以提供人体正常步态建 模的线索，有助于开发生物反馈系统来分析病人的步态，判断其腿步受伤情况 或者畸形程度，从而做出积极的整形补偿或有效的治疗。 1 4 本论文的主要研究内容 ( 1 ) 为了研究多角度下的步态识别算法，自己建立了一个6 个样本，4 个 角度：0 度，3 0 度，4 5 度和6 0 度的数据库，都是从右至左行走，每人每个样本 方向2 个序列的数据库，分别记录了摄像头到人侧面行走的平面的距离，和测 量了一个样本的身高。 ( 2 ) 前2 章简介的介绍了步态识别国内外的大致步骤和相关算法。了解了 步态识别的特点，难点。 ( 3 ) 第3 章研究了图像阈值分割的方法，首先采用差分法提取人体剪影， 进行到图像二值化的时候通过仿真比较了迭代法、双峰直方图常规算法、o t s u 法和统计法终于达到了比较好的效果，最后通过统计的方法取得相对最好的阈 值。然后介绍了开运算闭运算，腐蚀膨胀，最后选取腐蚀膨胀算法，得到了连 通的人体图像剪影。 ( 4 ) 第4 章研究了侧面角度下( 0 视角下) 基于人体样本骨骼模型的步态 识别算法，建模的好处就是不受衣物多少和带包的影响。通过提取人体关节点 坐标和关节角度，然后用传统的主成分分析( p c a ) 进行特征提取和压缩。用特 征空间多步转换后的权向量来识别。通过e n n 算法和留一校验规则获取识别率 的无偏估计。这些都得了一定的效果。 ( 5 ) 第5 章对于多角度的基于人体骨骼化模型步态识别算法进行了研究实 现。实现了反射发射算法，原算法只是实际点对像素点的映射。引入了转换算 5 武汉理工大学硕士学位论文 子把人体肢体实际长度和对应剪影图像中的长度联系起来。要求已知焦距和开 始帧时人体样本到摄像头所在平面的垂直距离，这些己知量都恒定不变。通过 求取人体样本直线行走角度来和提取她们的肢体长度求得转换算子，再通过算 子映射到对应的实际人体肢体长度，从而达到识别目的。 实现了曲线拟合算法。比较1 0 种曲线选取最小误差曲线。要求知道一个样 本的身高。然后通过建立空间场景的转换算子，这种算子的定义和第一种算法 一样，这种转换算子和角度无关，只和样本定位点离摄像头所在平面的距离有 关。通过曲线拟合来估计全部帧的这种映射关系。来把样本和它的影像建立联 系，提取肢体长度，最大步幅等信息，对自己建立的6 个样本，2 个序列，3 个 方向( 相对于背景的3 0 度，4 5 度，6 0 度) 进行了识别，并取得了不错的效果。 实现了以上两种算法，提高了第二种方法的精确度，并且对两种算法进行 了关于适用条件、限制条件、性能特点的比较。 6 武汉理工大学硕士学位论文 第2 章步态识别的算法研究 计算机步态识别的研究内容大概包括一下几个方面： ( 1 ) 步态检测( g a i td e t e c t i o n ) ，就是在视频序列中将人体步态剪影区域从 背景图像中提取出来。这方面的研究包括背景建模、前景检测和形态学后处理 等。步态剪影的有效分割对于特征提取、目标分类等后期处理是非常重要的， 因为以后的处理过程仅仅考虑图像中对应于剪影区域的像素。然而，由于背景 图像的动态变化，如天气、光照、影子及其他干扰等的影响，使得步态检测成 为一项相当困难的工作。 ( 2 ) 步态特征提取( g a i tr e p r e s e n t a t i o n ) ，就是采取某种表示方法表示检测 出的步态和数据库中的己知步态，又称为步态特征提取。其主要可分为两大类： 基于形状信息的表征( 如面积、宽高比等) 和基于运动特性的表征( 关节角度 的变化、步行速度、加速度等) 。 ( 3 ) 步态识别( g a i ti d e n t i f i c a t i o n ) ，就是将待识别的步态与数据库中的相 关信息进行匹配，通过一定的判别依据决定它所属的类别。这个过程要选择适当 的步态表征方式与匹配策略。整个识别系统的构造与步态的表征方式密切相关。 以视频监控为背景，以人为监控对象，开展了基于人体步态特征的身份识 别研究。该研究设计步态数据的采集、人体运动的检测、人体运动的跟踪、步 态特征提取与步态识别等步骤。具体步骤流程图如下所示： 图2 1步态识别系统方案流程图 7 武汉理工大学硕士学位论文 2 1 运动目标分割技术 步态检测作为步态自动识别系统的主要技术环节之一，它的研究有一定的 独立性，是由于在一些特定的场合步态检测相对一来说要简单一些。但是最近 几年随着人们越来越关心各种复杂情况下的步态自动识别系统，步态检测得到 了较多的重视。步态检测的基本思想是用知识或统计的方法对步态建立模型， 比较所有可能的待检测区域与步态模型的匹配度，从而得到可能存在步态的区 域步态检测由于场景、位置、方向的变化以及步态的姿态正面、侧面、速度、 光线的变化等原因，使得步态检测的研究具有很强的挑战性。下面归纳了几种 常用的运动目标分割方法。 2 1 1 背景减除 背景减除方法是目前运动分割中最常用的一种方法，它是利用当前图像与 背景图像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征 数据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。最 简单的背景模型是时间平均图像，大部分的研究人员目前都致力于开发不同的 背景模型，以期减少动态场景变化对于运动分割的影响。例如h a r i t a o g l u 等【2 0 】 利用最小、最大强度值和最大时域差分值为场景中每个像素进行统计建模，并 且进行周期性地背景更新m c k e n n a 等【2 1 j 利用像素色彩和梯度信息相结合的自适 应背景模型来解决影子和不可靠色彩线索对于分割的影响；k a r m a n n 与b r a n d t l 2 2 j 采用基于卡尔曼滤波( k a l m a nf i l t e r i n g ) 的自适应背景模型以适应天气和光照的 时间变化：s t a u f f e r 与g f i m s o n t 2 3 j 利用自适应的混合高斯背景模型( 即对个像素利 用混合高斯分布建模) ，并且利用在线估计来更新模型，从而可靠地处理了光照 变化、背景混乱运动的干扰等影响。 2 1 2 时域差分 时域差分方法是在连续的图像序列中两个或三个相邻帧之间采用基于像素 的时域差分并且二值化来提取出图像中的运动区域。时域差分法的优点是鲁棒 性较好，能够适应各种动态环境，其缺点是只能提取出边界点，而不能提取出 对象的完整区域。 另外，当运动对象速度缓慢时，则可能检测不到，而运动对象速度过快时， 8 武汉理工大学硕士学位论文 将把部分背景也检测为运动对象。例如l i p t o n 等拉4 j 利用两帧差分方法从实际视 频图像中检检测运动目标，进而用于目标的分类与跟踪；一个改进的方法是利 用三帧差分代替两帧差分，如v s a m 2 5 1 开发了一种自适应背景减除与三帧差分 相结合的混合算法，它能够快速有效地从背景中检测出运动目标。时间差分运 动检测方法对于动态环境具有较强的自适应性，但一般不能完全提取出所有相 关的特征像素点，在运动实体内部容易产生空洞现象。 2 1 3 光流 基于光流方法的运动检测利用运动物体随时间变化在图像中表现为速度场 的特j 性，根据一定的约束条件估算出运动所对应的光流。它的优点是在摄像机 与背景间也存在着运动的前提下也能检测出运动物体。m e y e r 等1 2 6 j 通过计算位移 向量光流场来初始化基于剪影的跟踪算法，从而有效地提取和跟踪运动目标。 该方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。然而， 大多数的光流计算方法需要多次的迭代运算，所以时问消耗比较大，且抗噪性 能差，如果没有特别的硬件装置则不能被应用于全部帧视频流的实时处理。关 于光流更加详细的讨论可参见b a r r o n 等 2 7 1 的文章。 当然，在运动变化检测中还有一些其它的方法，如f r i e d m a n 与r u s s e l l 【2 8 】 利用扩展的e m ( e x p e c t a t i o nm a x i m i z a t i o n ) 算法，为每个像素建立了混合高斯分 类模型，该模型可以自动更新，并能自适应地将每个像素分类为背景、影子或 者运动前景，在目标运动速度缓慢的情况下亦能较好地完成运动区域的分割， 并可以有效地消除影子的影响；另外，s t r i n g a l 2 9 也提出了一种新颖基于数学形态 学的场景变化检测算法，在变化的环境条件下获得了相对稳定的分割效果。 本文研究的是摄像头固定的情况，通过对以上3 种方法的比较，可以看出， 背景减除方法可以直接得出运动对象的位置、大小、形状等信息，这些都是步 态识别所需要的重要信息，并且背景减除方法计算复杂度适中，所以本文采用 了改进的背景减除的方法。第3 章将对这种方法做详细的介绍。 2 2 特征提取和处理 2 2 1 特征提取 特征提取大致可以分成两类，基于人体建立模型的方法和非建模的方法。 9 武汉理工大学硕士学位论文 基于模型的方法：遮挡现象在实际应用中随时都可能出现，人的步行存在 着携带诸如提包、雨伞、背包等足以改变外形、掩盖部分人体的现象；在很多 运动场合，还存在着人的身体自我遮挡的现象。另外，同一个人身着不同种类 的鞋和衣服，也会导致身体在二维平面的投影出现变化，对于基于统计特征方 法而言，显然会造成影响。 对步态识别研究而言，成功解决遮挡问题是至关重要的，而基于模型的步 态分析就有这方面的优势，原因在于模型是依赖于序列图像中人的移动模式而 建立，能够反映当前的变化，还能对过去和将来的变化进行估算。基于模型的 步态识别方法预先建立模型，通过模型和二维图像序列的匹配获得模型参数， 则参数的比较结果等价于识别结果。鉴于模型方法的重要性，有必要对目前所 使用的主要模型作简要分析： ( 1 ) l e e 1 1j 构建的椭圆模型 l e e 首先对人体侧面投影所构成剪影图像进行二值化处理，依据质心比例 关系将人体分成7 个部分，用椭圆对每一部分建模，以椭圆的质心、离心率等 参数作为反映人体步态的特征参数。 ( 2 ) n a s h 刈建立的人字型模型 人的步态呈现周期性，大腿的摆动可以近似视为正弦曲线。假定人的步行 是做匀速运动，利用在水平方向( 人步行方向) 的时间与距离方程，来确立1 3 维的参数空间。 ( 3 ) c u n a d o m j 建立的钟摆模型 c u n a d o 等将大腿建模为链接的钟摆，并从其倾斜角度信号的频率分量中获 取步态特征。 ( 4 ) n i y o g i l 3 2 】【3 3 1 时空切片方法 n i y o g i 等利用时空切片方法进行人体跟踪：首先观察有人的下肢轨迹所产 生的时空交织模式，然后在时空域中定位头的运动投影，接下来识别其他关节 的轨迹，最后利用这些关节轨迹勾画出一个人的剪影。使用勾画出的2 d 剪影 线可以得到特定人体更精确的步态分析。 基于非模型的特征提取方法：从视频图像中分割出运动目标，在此基础上 提取剪影，再从剪影中提取出反映步态的特征信息，构建特征分析空间。 基于非模型的方法不需要构建模型，而是先对待研究的对象提出假设，然 后用图像序列中目标移动所产生的时空模式的各类统计值，从步态中提取特征 l o 武汉理工大学硕士学位论文 参数。 其中，最常用的就是步态剪影特征。这类算法和身体的结构、步行的动态 特性没有直接关系。l i u l e 与b o d y 1 2j 从光流图像中获取频率和相位特征来识别 个人，文中采用“运动形状”( s h a p eo f m o t i o n ) 概念来描述目标的瞬时运动，而“运 动形状”取决于运动目标的类型和运动的类型。基于这种认识，通过对运动外形 周期性变化的光流分析可以达到识别目的。m u r a s e 3 4 1 提出了一种时空相关匹配 的方法用于区别不同的步态。s h u t l e r 18 】1 1 9 j 等提出了一种基于时间矩的统计步态 识别算法；h a y f r o n a c q u a h ”j 使用广义对称性算子进行步态识别。w a n g 3 】提出 了一种基于剪影的解卷绕步态识别方法，从剪影组成点和重心之间连线构成特 征向量集。利用这种p r o c r u s t e s 形状分析方法所获得的主剪影模型作为特征， 结合标准的本模式分类技术进行个体的步态识别。h u a n g 3 6 】从步