（电路与系统专业论文）步态特征提取与识别技术研究.pdf

摘要 摘要 近年来，随着国土安全、社会安全等问题的日益重要，大规模视频监控技术 得到了飞速的发展。步态作为远距离情况下唯一可感知的生物特征引起了国际学 术界、企业界、国防等部门的高度重视。步态识别已经成为一个流行的研究方向。 本文对步态识别进行了一些有益的探索，在前人研究的基础上做了以下工作： 1 、在u c s d ( u n i v e r s i t yo f c a l i f o m i a , s a nd i e g o ) 数据库上直接应用背景减 除法进行目标检测时，会出现目标检测不完整、无法滤除运动阴影等问题。本文 根据该数据库的具体情况对r r c ( r a d i a lr e a c hc o r r e l a t i o n ) 算法进行了修改， 实验结果表明该方法可以保证人体分割区域的完整性和运动阴影的成功滤除。 2 、描述了利用z e m i k e 矩进行步态特征提取的方法。本文对该矩的计算方 法进行了改进，能明显提高计算速度。应用简单分类器进行分类实验，实验效果 从留一校验、累计匹配分值( c u m u l a t i v em a t c hs c o r e ) 曲线、接受者操作特性 ( r e c e i v e r o p e r a t i n g c h a r a c t e r i s t i c ) 曲线三个方面进行考察。列出了不同矩阶数、 不同训练方法下的识别率，识别率比对应文献的最大提升幅度达到1 0 ，说明了 该特征提取方法的有效性。 3 、描述了一种基于人体轮廓的特征提取方法，该方法无需将人体目标缩放 为同样大小，每帧图像只需用3 0 个左右的特征值表示，特征维数少，该方法计 算简单，速度快，u c s d 数据库4 2 个步态序列的特征提取只需用3 秒左右。本 文选择动态时间规整作为相似性度量，利用简单分类器进行了分类实验，识别率 比对应文献提高4 左右。本文在中国科学院c a s i a 数据库上的实验表明，该算 法适用于步念的双向行走。 4 、支持向量机是较新的机器学习方法，能较好地解决小样本学习问题，本 文利用支持向量机对上述两种特征提取方法得到的数据进行了分类识别实验，给 出了选用的内积函数参数，u c s d 数据库上的识别率能达到1 0 0 。 关键词：步态目标检测z e m i k e 矩支持向量机 a b s t r a c t a b s t r a ct t h et e c h n o l o g yo fl a r g e - s c a l ed i g i t a lv i d e om o n i t o r i n gs y s t e mh a sl e a p tf o r w a r d i nr e c e n ty e a r sa l o n gw i t ht h ei n c r e a s i n g l yi m p o r t a n c eo fh o m e l a n ds e c u r i t ya n d s o c i a ls e c u r i t y g a i t ，t h eo n l yp e r c e p t i b l eb i o m e t r i c si nl o n gd i s t a n c e ，h a sc o m m a n d e d t h ea t t e n t i o no ft h ei n t e r n a t i o n a la c a d e m i cc o m m u n i t y 、t h eb u s i n e s sc i r c l e sa n dt h e d e p a r t m e n to fd e f e n s e g a i tr e c o g n i t i o nh a sb e c o m eap o p u l a rr e s e a r c hd i r e c t i o n b a s e do nt h ew o r k sp r e v i o u s l y , t h i sp a p e rh a sc a r r i e do nh e l p f u le x p l o r a t i o na b o u t g a i tr e c o g n i t i o na n dt h em a i nw o r ki n c l u d e ss e v e r a la s p e c t sa r ea sf o l l o w s ： 1 、t h e r ea r em a n yp r o b l e m s ，s u c ha si n c o m p l e t ed e t e c t e dm o v i n gt a r g e ta n d r e m a i n i n gs h a d o w , i ft h eb a c k g r o u n ds u b t r a c t i o na l g o r i t h mi su s e di nt h eu c s d ( u n i v e r s i t yo fc a l i f o m i a ，s a nd i e g o ) d a t a b a s ed i r e c t l y t h er r c ( r a d i a lr e a c h c o r r e l a t i o n ) a l g o r i t h mh a sb e e nc h a n g e do nt h ep a r t i c u l a rc a s eo ft h ed a t a b a s e ，a n d t h ee x p e r i m e n t sd e m o n s t r a t et h a tt h ei n t a c tt a r g e tc a nb eg o ta n dt h es h a d o wc a nb e r e m o v e ds u c c e s s f u l l y 2 、am e t h o do ff e a t u r ee x t r a c t i o nu s i n gz e m i k em o m e n t si sd e s c r i b e d t h e c o m p u t a t i o n a lm e t h o do ft h em o m e n t si sc h a n g e dt oi n c r e a s et h ec a l c u l a t i n gs p e e d m a n yc l a s s i f i c a t i o ne x p e r i m e n t su s i n gs i m p l ec l a s s i f i e rh a v eb e e nm a d e , a n dt h e e f f e c ti sd i s c u s s e df r o mt h r e ea n g l e s ，f r o ml e a v e o n e o u tc r o s sv a l i d a t i o n ，c u m u l a t i v e m a t c hs c o r ec u r v ea n dr e c e i v e ro p e r a t i n gc h a r a c t e r i s t i cc u r v e t h er e c o g n i z a b l e r a t eu n d e rd i f f e r e n to r d e r sa n dd i f f e r e n t t r a i n i n gm e t h o d sa r eg i v e na n da r e10 h i g h e rt h a nt h a to ft h er e l a t e dl i t e r a t u r e t h ee x p e r i m e n t a ld a t ap r o v e st h ee f f i c i e n c y o ft h ea l g o r i t h m 3 、am e t h o do ff e a t u r ee x t r a c t i o nb a s e do nh u m a ns i l h o u e t t e si sd e s c r i b e d i nt h i s m e t h o d ，t h e r ei sn on e e dt oc h a n g et h eh u m a nb o d i e st ot h es a m es i z e e v e r yf r a m e c a nb er e p r e s e n t e db ya b o u t3 0c h a r a c t e r i s t i c s ，w h i c hi sv e r ys m a l l t h ep r o p o s e d m e t h o di se a s yt ob ec o m p u t e da n di t o n l yn e e d3s e c o n d st oc o m p l e t et h ef e a t u r e e x t r a c t i o no f4 2s e q u e n c e si nu c s dd a t a b a s e t h em e t h o do fd t w ( d y n a m i ct i m e w a r p ) i sc h o s e nt om e a s u r et h es i m i l a r i t ya n dt h er e c o g n i z a b l er a t eu s i n gs i m p l e c l a s s i f i e ri s4 h i g h e rt h a nt h a to ft h er e l a t e dl i t e r a t u r e o t h e re x p e r i m e n t si nt h e c a s i ad a t a b a s eo ft h ec h i n e s ea c a d e m yo fs c i e n c e ss h o wt h a tt h i s a l g o r i t h mi s s u i t a b l ef o rt h eu s eo fb i d i r e c t i o n a lw a l k 4 、s u p p o r tv e c t o rm a c h i n e ( s v m ) i san e wm e t h o do f m a c h i n el e a r n i n ga n dc a l l a b s t r a ( 了r r e s o l v et h ep r o b l e mo fs m a l l - s a m p l el e a r n i n gs a t i s f a c t o r i l y s v mi su s e dt od e a lw i t h t h ec h a r a c t e r i s t i cd a t ag o tb yt h et w oa b o v e - m e n t i o n e da l g o r i t h m s t h er e c o g n i z a b l e r a t ei nt h eu c s dd a t a b a s ec a l lr e a c h10 0 w i t ht h ep a r a m e t e r so ft h ek e r n e l f u n c t i o n sg i v e ni nt h i sp a p e r k e yw o r d s ：g a i t ，t a r g e td e t e c t i o n ，z e r n i k em o m e n t s ，s u p p o r tv e c t o rm a c h i n e ( s v m ) 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除己特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名：2 斟 签字日期：2 垡鱼盟 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入中国学 位论文全文数据库等有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 签字同期： 调h 生。谒 导师签名 签字同期 第一章绪论 1 1 选题背景 第一章绪论 随着人类活动的物理、虚拟空问的不断扩大和全球信息产业的飞速发展，信 息安全、公共安全等新生问题同益加剧，当今社会对人类身份识别的安全性、准 确性和实用性提出了新的更高的要求。微软曾多次表示：“传统身份认证技术已 经不能满足需要”，生物识别更被美国麻省理工学院列为2 l 世纪十大技术之一。 生物识别在国防安全、金融流通、财产保护、电子商务、司法公安、电子证照等 方面的潜在巨大市场已经引起各方的高度重视，据国际生物组织( i b g ) 统计， 从2 0 0 5 年到2 0 0 9 年，生物识别市场的年均增长率约为2 7 ，2 0 1 2 年市场容量 将达到7 4 亿美元。 传统身份识别主要利用体外物进行识别，如个体携带的身份标识物品( 钥匙、 银行卡、证件等) 和身份标识知识( 信用卡帐号、用户名、密码、职工号码等) 。 这些方法的缺点是显而易见的，身份标识物品很容易丢失或被伪造，身份标识知 识很容易遗忘和混淆，特别在当今信息社会，这些简单的身份识别技术很容易被 高科技犯罪分子利用。统计显示，截至2 0 0 9 年6 月底，我国发放银行卡总量已 经接近2 0 亿张，与此同时，仅2 0 0 9 年1 月至8 月，全国公安机关共立信用卡诈 骗案件6 3 6 2 起、涉案金额达4 4 亿元，分别是2 0 0 8 年同期的2 倍和2 3 8 倍。另 外，在现今发展如火如荼的电子商务中，系统是否安全更是与能否建立强有力的 身份鉴别体系息息相关，身份识别是系统安全保护的先锋，是安全的基石。 生物特征( b i o m e t r i c s ) 识别是一个当前信息技术领域炙手可热的技术，它 通过计算机与光学、声学、生物传感器和生物统计学原理等高科技手段结合，利 用人体固有的生理特性和行为特征进行个人身份认定。满足下列条件的人的任何 生理、行为特征都可以作为生物特征进行身份确认： 1 、普遍性：该特征应是每个人都有的。 2 、稳定性：该特征应在一定时期内是不变的。 3 、可采集性：该特征应易于采集并测量。 近年来，随着国土安全、社会安全等问题的只益重要，各国都加大了对安防 领域的投入，生物特征识别也迎来了快速发展的时期，其广阔的应用前景已引起 国际学术界、政府、企业界、和国防等部门的高度重视。在工业和信息化部、国 家标准化管理委员会等的指导下，我国信息技术标准化技术委员会于2 0 1 0 年1 月2 6 同在北京召丌生物特征识别标准工作组成立大会，这标志着我国生物特征 第一章绪论 识别标准工作组正式开始运作，生物特征识别技术与产业发展步入了快车道。下 面对几个主要的生物识别技术进行简单介绍： l 、人脸识别 人脸识别是日常生活中人们不知不觉一直在使用的一项技能，在社会生活中 扮演着不可或缺的角色。生物识别领域的人脸识别是基于人脸部特征信息进行身 份识别的一项技术，分为标准视频识别和热成像技术两种。标准视频识别是对静 态图像或视频进行人脸的定位和处理，从中提取有效的面部特征，然后与人脸数 据库中已存储的模板信息进行匹配，从而识别人脸身份。热成像技术的面部图像 通过分析面部血液产生的热辐射得到，因此在黑暗情况下可以j 下常使用，不需要 良好的光源。 人脸识别系统的精确性很容易受到使用者面部位置和周围光环境的影响，人 脸识别技术的改进依赖于提取特征技术的提高，人体面部的如头发、饰物等的变 化可能需要人工智能来补偿。 人脸识别技术研究始于2 0 世纪6 0 年代末期，在2 0 世纪9 0 年代后期开始有 商业性人脸识别系统进入市场，但这些系统的性能和准确性有待进一步提高。这 一技术在美国遭受恐怖袭击后引起广泛关注，在国家安全、军事安全、公共安全 领域有着广阔的应用前景，另外，也广泛地应用于银行卡、信用卡、社会保险、 电子商务等民事经济领域和智能玩具、真实感虚拟游戏等娱乐领域。 2 、指纹识别 指纹是指手指皮肤上凹凸不平的纹路，人的指纹特征与生俱来，出生6 个月 后就已经基本形成，不同手指指纹在纹路图案、断点和交叉点上是不同的，也即， 指纹具有唯一性。指纹特征分为总体特征和局部特征。总体特征可以通过人眼直 接观察，如纹形、核心点、三角点、模式区等。局部特征指指纹上节点的特征， 如终结点、分叉点、分歧点、孤立点、环点、短纹等，其参数包括方向、曲率、 位置等。 指纹识别是生物识别技术较为成熟的应用，近些年已经得到大范围的普及和 推广，我国在9 0 年代初期已经有指纹识别产品的出现，到2 0 0 7 年从事指纹识别 的厂家已经接近4 0 0 家，从事指纹技术研究和开发的企业有5 0 1 0 0 家，整个指 纹产业从业人员在1 0 力人以上，但全球5 0 以上的指纹采集芯片厂商和3 0 以 上的指纹软件提供商都在美国，我国企业掌握的能够商用的指纹识别核心技术非 常少，大多是对他人技术进行二次开发，没能在指纹识别产业链中占据核心地位。 3 、虹膜识别 虹膜是眼睛构造的一部分，是瞳孔周围有色彩的部分。虹膜可以通过内坏状 的括约肌控制瞳孔的大小，进而控制进入人眼光线的强弱。虹膜具有唯一性，其 2 第一章绪论 纤维组织细节非常复杂丰富，它的形成与个体胚胎发生阶段该组织局部的物理化 学条件有关，有很大的随机性，即使使用克隆技术也无法复制某个虹膜，同一个 人左右眼的虹膜纹理也不相同。虹膜具有稳定性，它在胎儿期已经形成，出生后 一年左右定型，然后终生不变。 虹膜识别需要较为昂贵的摄像头，该摄像头大约7 0 0 0 美元以上，而且很难 将图像获取设备的尺寸小型化。镜头可能会使图像畸变而使可靠性大为降低，黑 眼睛比较难以读取，需要很好的光源。 目前，已经有不少的虹膜识别产品投入应用。2 0 0 1 年，i b m 公司的虹膜安 检系统在阿姆斯特丹机场投入试用，2 0 0 2 年，英国最大的伦敦希思罗机场为加 强入境安全管理而在入境口岸试用虹膜识别系统。国内，中科院自动化所也在 2 0 0 0 年开发出了具有自主产权的虹膜识别系统。 4 、掌纹识别 掌纹是指手掌表面的各种纹线，其形态由遗传基因决定，每个人的掌纹纹线 都不同。掌纹面积较大，蕴含着丰富的特征信息，具有很好的区分性，其特征提 取不易受到噪声的干扰，采集设备简单易行，低分辨率图像下提取的特征已足以 提供身份确认所需的信息。 5 、签名识别 签名是一种有非常悠久历史的身份标志方式，由人的神经一肌肉系统决定， 与性格、体质和同常训练有关。每个人都有自己独特的签名方式，并且在一段时 期内不容易改变。签名识别的数据获取方式有两种：离线签名和联机签名。离线 签名无需特别的输入设备，得到的是静态图像。联机签名需要专门的手写输入设 备，可以得到书写顺序、运笔压力、书写速度等信息。 每个人的签名会随着性情、生活方式的改变而改变，为了处理签名的这些不 可避免的改变，就要在安全方面做出妥协。另外，用于签名的手写板的价格也是 比较昂贵的。 6 、步态识别 步态识别是生物识别技术中的一种新兴技术，它是根据人走路的姿势进行身 份确认。研究显示，由于每个人在肌腱、骨骼长度、骨骼密度、肌肉力量、视觉 灵敏度、协调能力、体重、重心以及肌肉骨骼受损程度和走路风格的细微差异， 每个人都有其独特的走路方式。d a w s o n ( 2 0 0 2 ) 把步态定义为”a p a r t i c u l a r w a y o r m a n n e ro f m o v i n go nf o o t ”，早期的心理学研究发现每个人都有专一的走路姿势与 步伐。j o h a n s s o n ( 1 9 7 3 ) 在人体的主要部分黏附光电来观察其运动模式，他的研 究证明，观察者确实能从m l d ( m o v i n gl i g h td i s p l a y ) 中识别不同的运动，也 就是说明了步态可以用来作为身份认证的生物特征。 第一章绪论 近年来，步态识别的研究者越来越多，相比较其他生物识别技术而言，步态 有以下优点： 1 、非侵犯性( u n o b t r u s i v e ) 。指纹、虹膜等生物特征的采集需要用户的合作 ( 主动接触指纹仪、注视虹膜捕捉等) ，所以它们有可能引起某些用户的反感和 抵制，而步态则可以在被观察者不知情的情况下进行步态特征的秘密观察和提 取，不需要被观察者的密切协作。 2 、远距离识 ) ( r e c o g n i t i o na tad i s t a n c e ) 。一般的生物特征如人脸和指纹等 都需要近距离的接触来提取特征，指纹特征的提取需要指纹扫描仪，人脸需要近 距离的捕捉以满足分辨率的要求，而步态特征则可以在远距离( 1 5 0 米甚至更远) 捕捉到。 3 、清晰度要求低。与人脸、指纹等特征不同的是，步态特征在分辨率较低 的图像中也能较好地提取。 4 、难以隐藏和伪装。人脸可以通过面具、蒙面等形式加以隐藏，指纹可以 通过手套等加以隐藏，但个体自身的走路姿势却很难加以隐藏或伪装，如果故意 伪装自己的行走行为则会在监控中表现的更加可疑。 当然，根据同常生活经验也可以得到，步态容易受到以下因素的影响： l 、身体状况。身体不舒服、喝酒甚至生病、腿部受伤都会影响走路姿势。 2 、情绪状态。心情好时步伐会更轻盈、速度更快，心情不好时，步伐会沉 重。 3 、着装因素。同一人穿着不同种类的衣服( 紧身或宽大) 时，身体在二维 平面的投影会出现变化，提取出的步态特征可能会差别很大。 4 、携带物体。背包、伞等携带物会使人体轮廓产生变化，携带物对运动人 体产生遮挡，随着负重的增加，人的行走速度和步调也会明显降低。 5 、行走路面。行走路面会影响小腿以下部分的轮廓提取，特殊路面也会对 人的行走方式产生影响。草地上行走时，草丛会对人脚产生一部分的遮挡，行走 在上坡和下坡路面上时，人的步态肯定是不一样的。 从上述各种生物识别技术的介绍中可以看到，任何一种生物特征都不可能适 用于所有场合，实际应用时，要根据所需的识别准确度、能承受的代价以及对侵 犯性、成熟程度等的要求进行合理选择。 1 2 步态特征识别综述 1 2 1 步态识别的国内外研究现状 4 第一章绪论 步态是远距离情况下最有潜力的生物特征，其应用领域可以扩展到银行、机 场等安全性能要求较高的大范围视频监控场合。现今已并不罕见的恐怖袭击等威 胁公共安全的事件使人们同益认识到准确识别人、快速检测威胁的重要性。步态 识别广阔的应用前景激发了广大科研工作者和相关商家的浓厚兴趣。 本文用“g a i tr e c o g n i t i o n ”作为关键词在i e e ee x p l o r e 数据库中进行检索，得 到的文章数目如图1 1 ( 左图) 所示，在中国期刊全文数据库中用“步态识别”作 为关键词检索摘要中出现该词的文章，得到的数目如图1 1 ( 右图) 所示，从图 中可以看到，国内外对步态识别的研究热情都在不断上升中，国内研究起步较晚， 在论文数目上与国外相比还有很大差距，有很大的发展空间。当然，目i j 国内外 的研究工作更多还是处于理论探索研究阶段，并不是完全意义上的系统开发。 图1 1 论文发表数量统计图 美国国防部高等研究计划局d a r p a ( d e f e n e ea d v a n c e dr e s e a r c hp r o j e c t s a g e n c y ) 2 0 0 0 年资助成立了h i d ( h u m a ni d e n t i f i c a t i o na tad i s t a n c e ) 计划，任务就 是实现远距离时的人的检测和识别，以增强某些重要场合抗恐怖袭击的能力。该 项目汇集了卡内基梅隆大学、马里兰大学、麻省理工学院等2 6 家高校或公司，极 大地推动了步态识别研究的发展。 南佛罗里达大学( u n i v e r s i t yo f s o u t hf l o r i d a ) 的s a r k a re ta l ( 2 0 0 3 ) 为方便 对步态算法进行分析、评价研究，构造了目前步态识别领域最大的步态数据库， 并详细论述了该领域研究所面临的技术困难和挑战。乔治亚技术学院( g e o r g i a t e c h ) 的t a n a w o n g s u w a ne ta l ( 2 0 0 3 ) 研究了步幅和步频的特点，将人体关节点 间的部分用线段表示，将关节点处线段相对于垂直方向的角度作为步态特征 ( t a n a w o n g s u w a ne ta l ，2 0 0 1 ) 。卡耐基梅隆大学( c m u ) 的c o l l i n s e ta l ( 2 0 0 2 ) 对走路时人体的轮廓宽度信号进行了周期性分析，利用训练样本和识别样本的关 键帧特征相似性进行识别。马罩兰大学( u n i v e r s i t yo fm a r y l a n d ) 的k a l ee ta l ( 2 0 0 3 ) 提出了一种与图像视角无关的算法，他利用计算机视觉的透视投影模型将一个任 意视角的图像序列转变成侧面视角的图像序列，然后利用侧面视角的图像序列进 第一章绪论 行特征提取。南安普顿大学( u n i v e r s i t yo f s o u t h a m p t o n ) 的y a m e la l ( 2 0 0 2 ) 在小 样本库上利用腿部的运动模型对人走路和跑步两种运动模式进行了分类识别实 验。麻省理工学院( m i t ) 的l e ee la l ( 2 0 0 2 ) 将侧面人体图像近似为七个椭圆 的组合，提取人体质心的高度和每个椭圆的质心横纵坐标、长短轴之比、长轴方 向作为特征。 国内很多科研机构和大学也做出了很多有益的尝试，取得了不错的成果。中 国科学院自动化所于2 0 0 1 年开始步态识别研究，该课题得到了国家自然科学基 金和中科院自动化所创新基金的资助，王亮等( 2 0 0 3 ) 将运动人体轮廓展开为 一维距离信号，然后提取特征进行识别。西北工业大学的阳光见( 2 0 0 5 ) 利用人 体前胸侧面轮廓到人体对称轴问的距离矢量和人体背部侧面轮廓到人体对称轴 问的距离矢量两个特征进行了识别分析。柴艳妹等( 2 0 0 5 ) 提出了基于感知轮 廓描述子的识别算法。天津大学的薛召军( 2 0 0 7 ) 先利用小波变换将步态特征图 分解，然后利用骨架理论和空问不变矩提取两种人体模型参数，并用支持向量机 进行识别，另外。他还分析了红外热成像技术应用于步忐识别的可行性，自建了 红外步态数据库。哈尔滨工程大学的赵凌燕( 2 0 0 8 ) 提出了一种检测盆骨四自由 度的新方法并推导了人在跑步机上行走时骨穑绕垂直轴旋转运动和沿空间三个 坐标轴平移运动的数学模型。浙江大学的马勤勇( 2 0 0 8 ) 提出了新的异常步态轮 廓阁检测和校正算法。西安电子科技大学的陈实( 2 0 0 8 ) 探讨了多视角下的识别 算法，提出了一种角度自动探测模型。 与人脸、指纹识别一样，步态识别算法的效果也需要在数据库上进行检验， 但日前为止，国际上没有通用的步惫数据库，许多研究机构各自拍摄了实验数掘 库用以验证算法性能，下面对这些数据库进行简要介绍： 1 、u c s d 数据库 u c s d 是圣地亚哥加利福尼亚大学( u n i v e r s i t yo fc a l i f o r n i a s a nd i e g o ) 的 简称，改数据库包含2 个女性，4 个男性，共6 人，每人7 个采样序列( 从右到 左，单一运动方向) ，共4 2 个序列，帧率为每秒3 0 帧。其采集背景为室外，背 景较为复杂。单帧图像如图i2 。 围1 2u c s d 数据库步态图像 第一章绪沧 2 、c m u 数据库 c m u 数据库由卡耐基梅隆大学( c a m 昭em e l l o nu n i v e r s i t y ) 建立。它包含2 5 人，每人在室内的跑步机七进行四种类型的走动：慢走、快走、上坡、抱球慢走， 走动过程由放置在不同角度的6 个摄像机进行记录( 如图13 ) ，每人可咀得到 2 4 个步畚序列。 圜銎鬻 懑曩譬 图1 3c m u 数据库抱球慢走时的6 个角度图像 3 、c a s i a 数据库 c a s i a 数据库是中国科学院自动化研究所( i n s t i t u t eo f a u t o m a t i o n c h i n e s e a c a d e m yo fs c i e n c e s ) 建立的。它包含三个数据集，数据集a 包含2 0 人每人 3 个行走方向( 如图l4 ) ，每个方向4 个序列。数掘集b 包台1 2 4 人，每人1 1 个视角，三种行走条件( 普通条件、穿大衣、携带包裹) ，数据集c 用红外( 热 感) 摄像机在夜间拍摄而成包古l5 3 人，每人4 种行走条件( i f 常行走、慢走、 快走、带包走) 。 羽圈燮 围 4 c a $ 1 a 数据库中的三个行走方向 22 步态识别的研究内容 n i y o g ie ta l ( 1 9 9 4 ) 最早利用计算机视觉和模式谀别技术进行步态识别研究 i j 啊确 h毋 第一章绪论 其后由于步态识别在远距离、大范围视觉监控系统的巨大发展潜力，很多研究者 对其表现出了巨大的研究兴趣，步态识别得到了很快韵发展。步态识别系统的框 架如图15 所示。 围1 5 步态识别系统框图 由图15 可以看到，步态识别技术的研究内容主要有以下几个方面： 1 、数据获取。步畚数据主要来源于摄像机的视频图像。大多数数据库采用 的是一般的消费级数字摄像机，也有采用专业摄像机的，如c m u 数据库。 2 、步奄检测。这是步态识别的预处理部分，主要完成人体步态轮廓在视频 图像中的提取。它包括背景估计、目标检测和形态学后期处理等内容。由于步态 识别的后期步骤主要考虑人体步态轮廓部分的像录，故步忐轮廓分割的成功与否 直接影响到整个步奄识别系统的效果。 3 、步奄特征提取。这是步忐识别的关键部分，日标是用某种有效的方法提 取步态的特征，对运动人体姿势进行有效表达，为之后的身份确认奠定基础。步 惫特在的提取方法主要分为两太类：种是基于步态轮廓的形状特征，如轮廓面 积、宽高比等：一种是基于人体的力学结构特征，如关节角度的变化等。 柴艳妹( 2 0 0 7 ) 帅。“将人体区域分为头部、躯干和腿部三部分，提取每个区域 的面积、方差特征进行步忐识别。c u n a d oe la l ( 1 9 9 7 ) 将人体大腿建模为链接 的钟摆，提取其倾斜角度信号的频率分量作为步态特征。 4 、步奄身份确认。该部分是将待识别的步态特征信息与数据库中的相关信 息进行匹配，通过特定的方法判断它所属的类别。比较常见的有最近邻分类、k 近邻分类、支持向量机等方法。 1 23 步态识别的研究难点 第一章绪论 步态是一个很复杂的动力学问题，步态识别的研究目前尚处于理论探索研究 阶段，距离实用还有很长的距离，实验室研究的步态数据的获取场景与真实场景 差别较大，现实场景下各种因素对步态影响的研究也不充分，目前的研究都是基 于以下假设之上的： l 、摄像机固定、光源固定，并且人的行走方向一般与摄像机镜头垂直，步 态识别一般都是利用人的侧面图像。 2 、算法有效性检验使用的数据库都不是特别大，一般不超过2 0 人。 3 、人在运动时没有携带物体，没有遮挡现象，并且行走在平坦的路面上。 步态识别的研究难点主要集中在以下几个方面： l 、运动目标检测。运动目标检测是整个步态识别系统中的重要一环，其性 能直接影响到最终识别结果。目前步态研究的运动背景都是静止的，并且假定摄 像机中只有一个人在运动，但现实中的运动背景却复杂的多。即使在运动背景已 经简单化了的情况下，如果作为前景图像的运动人体与背景色彩相似则极容易造 成运动检测处理后的人体断裂、不完整，甚至检测不到人体，另外，人运动时的 阴影也容易被误认为是人体的一部分而被检测出来。 2 、步态特征的选择。特征的选择既要有“敏感性”，也要有“不敏感性”。所 谓的“敏感性”是指该步态特征应该能很好地区分各个类别，类间的差别比较大。 所谓“不敏感性”是指同一个人由于拍摄环境如地形、光线、时间的变化所引起的 步态的变化反映在步态特征上应该变化尽可能的小。 3 、目前的研究大多选择的是侧面视角，即人的行走方向与摄像机垂直，但 实际应用时，摄像机却可能与行走方向呈任意视角，因此，独立于视角的步态识 别算法是当前的研究难点。 1 2 4 步态识别的推广应用 步态识别技术的国内外市场前景十分广阔。 l 、飞机场、火车站以及某些重要场合的安防系统。随着社会安全防范意识 的逐渐加深，对安防系统质量的要求也逐步提高，希望能通过对摄像机拍摄视频 的自动分析处理，实现对动态场景中目标的定位、识别和跟踪，能主动地分析、 判断监控目标的行为，实现异常情况发生时的“预警”，避免犯罪的发生。 2 、政法系统的身份识别。视频监控在我国已经广泛地应用到城市交通、银 行、电力、能源、水利设施等众多领域，是城市安全防范系统中重要的支撑技术。 2 0 0 8 年，印度v i d y a v i k a s 工程技术研究院和s j 工程学院联合建立了一套步态识 别系统，该系统可以从摄像头的影像资料中读取各种数据( 行走动态轮廓、步念 姿势等) ，进而对数据进行分析，将该系统与银行等场所的监控摄像头连接后， 9 第一章绪论 就可以在很远的距离辨别嫌疑人的身份。 3 、医学上的步态分析。步态分析就是利用计算机将人行走的步态数字化， 如步速、步频、每个关节的位置、角度等，也可以通过某些设备得到地面作用于 脚底、足踝、膝盖等的力量大小。通过研究这些参考数据，可以得到因为某一种 特殊疾病造成步态改变或恶化的程度，进而得到该疾病的严重程度。 4 、其他方面的应用。步态识别技术可用来设计游戏和动画中人体动作，使 其逼真、自然。步态识别的研究成果也有助于解决计算机视觉领域的其他问题， 如不同运动的区分、手语的解释等。 1 3 本文的内容安排 本文主要内容安排如下： 第一章是绪论部分，简单介绍了人脸、指纹、虹膜等生物特征识别技术，介 绍了步念识别兴起的背景，描述了该新兴识别技术的国内外研究现状、研究过程 和研究内容，说明了其研究难点。 第二章对人体运动检测方面的常用方法进行了简单介绍，详细描述了r r c 算法，并对r r c 算法进行了改进，将其应用于u c s d 步态数据库的人体运动检 测中，检测效果理想，能成功消除人体的运动阴影。 第三章描述了一种利用z e m i k e 矩进行步态特征提取的方法，首先简单介绍 了z e m i k e 矩的基础知识，介绍了z e m i k e 矩的快速计算方法，并在该快速计算 方法上进行了进一步的研究，进一步的提升了计算速度。利用该方法在u c s d 数据库上进行特征提取，选用欧式距离作为相似性度量，用最近邻法和k 近邻 法进行识别实验，并与其他算法的识别效果进行了比较和分析。 第四章描述了一种基于运动人体轮廓的特征提取方法，该方法简单、直观， 不用对序列图像模板化，适用于双向行走，本章利用动态时间规整进行相似性度 量，用最近邻法和k 近邻法进行识别实验，并与其他算法的识别效果进行了比 较和分析。 第五章简单介绍了支持向量机的有关背景知识，介绍了支持向量机的集成软 件l i b s v m 的使用方法，并利用支持向量机进行了步态识别实验。 第六章对全文进行了总结和展望。 l o 第二章人体目标检测 2 1 引言 第二章运动目标检测 运动目标检测就是在运动序列图像中将运动( 前景) 目标提取出来的过程， 是视频监控、人机交互等领域的重要研究内容。由于后续处理只针对运动目标进 行，故该步骤的效果直接影响到整个步态识别系统的性能。目前的运动目标检测 方法还处于针对特定问题设计特定方法的阶段，运动检测仍然面临很多困难： l 、运动环境随意性强，因素复杂。环境中光线亮度的变化、物体间的互相 重叠与遮挡、运动物体与背景差异性小等因素都会影响到检测的效果。 2 、用于运动检测的特征值难以选择。运动图像序列中包含着大量的可提取 信息，如图像中的纹理、直方图、运动图像的边缘信息等，但具体选择哪些信息 用来进行目标检测则需要结合运动物体和运动环境的具体情况进行综合考虑，不 可能有适应于任何情况的检测方法。 3 、目前的运动检测方法都是基于二维目标图像或序列的，实际的目标都是 三维的，信息的丢失对目标的检测常有较大的影响。虽然可以采用多目摄像机弥 补丢失的信息，但多目摄像机信息的融合也是一个困难的研究课题。 4 、检测速度与效果之间的平衡难以把握，对检测性能的评价没有统一的标 准。 2 2 常用的目标检测方法 2 2 1 背景减除法 背景减除法( b a c k g r o u n ds u b t r a c t i o n ) 是运动检测中最常用也是最简单的方 法。该方法适用于运动目标和背景有较大差别的情况，它将当前帧与背景图像的 灰度值直接相减，然后将结果与某一阀值进行比较，大于、小于阀值的像素点分 别赋值l 或o 。 背景减除法容易理解、算法简单、计算复杂度低，但当前景图像与背景图像 灰度值接近( 如白色衣服的行人路过白色的背景) 时，容易出现前景图像的不完 全检测，另外，该方法也容易误将运动物体的阴影当做前景图像检测出来，出现 前景图像的过检测。背景减除法的检测过程如图2 1 所示。 第二章人体目标检测 输入图像 图像序列吲背景构建蚓背景减除 割形态学处理 刮前景图像 2 2 2 时间差分法 图2 1 背景减除法框图 时间差分法( t e m p o r a ld i f f e r e n c e ) 是在图像序列中选择连续的几个相邻的 帧，然后对其进行灰度值的减法运算，最后选取某一阀值提取出图像中的运动区 域。l i p t o ne ta l ( 1 9 9 8 ) 选择两个相邻帧，并且利用差分方法检测出运动目标。 c o l l i n se ta l ( 2 0 0 0 ) 开发了一种三帧差分与自适应背景减除的混合算法，能较快 速地检测出运动目标。由于相邻帧间时间间隔较短，故该方法抗干扰能力强。另 外，该方法实现简单、运算速度较快。该方法的缺点主要是：检测出的目标往往 比实际目标要大，相邻帧问的重叠部分经常检测不出来。 2 2 3 基于光流场的方法 光流( o p t i c a lf l o w ) 是指运动目标的速度，是一种二维瞬时速度场。光流 检测给图像中每个像素都赋予一个速度矢量，构成一个图像运动场，从而对图像 进行动态分析。如果没有运动目标，则图像区域内光流矢量连续变化，若有运动 目标，则目标与背景的速度矢量是不同的，故可检测出运动物体位置。 该方法的突出优点是可以在摄像机存在运动的前提下检测出运动目标，但其 对硬件要求较高，大多数的光流计算方法比较复杂，抗噪能力较差。 2 3 背景建模 背景减除法是运动目标检测中应用比较多的一种方法，其性能依赖于所采用 的背景建模技术。当场景中不存在运动对象时，可以直接得到背景图像，但在实 际应用中，很少有能直接取得背景图像的情况。背景包括场景中的静态物体( 如 墙壁、路面等) 、场景中的某些非静态物体( 波动的水面等) 和场景中的某些暂 时处于静止状态的物体( 之前运动，现已停止的汽车) 。背景并非固定不变，好 的背景模型应该能正确表征静态背景，并对前景和背景i 日j 的转化有良好的反应能 力，能自我适应背景的渐变。目前，常用的背景建模方法主要有基于时间轴滤波 和基于模型两种。 2 3 1 基于时间轴滤波的背景建模 1 2 第二章人体目标检测 基于时间轴滤波的背景建模是考虑到当背景在视频序列中近似静止不动时， 时间轴上的低频信息对应的就应该是背景信息。所以，我们可以通过在时间轴上 进行低通滤波来得到背景信息。算法如式( 2 1 ) ，其中红是滤波器，n 是滤波器的 长度。 n - i 取= 啊五一， ，- o ( 2 1 ) 无限冲击响应( i i r ) 滤波法和统计平均法是常用的两种方法。i i r 滤波法是 一种普遍适用的背景建模方法，其背景建模过程是对背景图像的逐渐修j 下的过 程，计算公式如式( 2 2 ) ，其中口为学习因子。 反= ( 1 - 口) 色一l + 口兵 ( 2 2 ) 统计平均法是对图像序列求算术平均，将平均值作为背景。计算公式如式 ( 2 3 ) ： 反= ( 六十以一+ + 六一+ 1 ) n = 色一+ ( 以一六一) n ( 2 3 ) 其中最为当前的背景图像，五为当前帧。统计平均法计算简单、容易理解， 但是该方法只对图像序列进行简单的平均运算，容易受到运动人体像素、噪声、 阴影等的影响，另外，统计平均法也比较消耗内存空问，算法所需要的内存空间 为n xs i z e o f ( f r a m e ) 。 2 3 2 基于模型的背景建模 实际中，背景图像并不都是静止不动的，绝大多数情况都是动态变化的，如 树叶随风的摆动、水面的涟漪等，即使背景静止，也还是会引入许多噪声，如光 线的变化、摄像机的颤动等，这些都对背景模型的鲁棒性提