（计算机软件与理论专业论文）序列图像中动态手势跟踪与建模方法研究.pdf

r e s e a r c ho fm e t h o d so ft r a c k i n ga n dm o d e l i n go fd y n a m i cg e s t u r e i ni m a g es e q u e n c e b y d u a n h o n g x i a n g b e ( x i a nu n i v e r s i t yo f a r c h i t e c t u r ea n dt e c h n o l o g y ) 1 9 9 9 at h e s i ss u b m i t t e di np a r t i a ls a t i s f a c t i o no ft h e r e q u i r e m e n t sf o rt h ed e g r e eo f m a s t e ro fe n g i n e e r i n g l n c o m p u t e rs o f t w a r ea n dt h e o r y i nt h e g r a d u a t es c h o o l o f l a n z h o uu n i v e r s i t yo ft e c h n o l o g y s u p e r v i s o r r e s e a r c h e rz h a n gq i u y u m a y , 2 0 1 1 3删8 6m 588iii1洲y 兰州理工大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何 其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献 的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法 律后果由本人承担。 作者签名：黍骧 日期：力，年月i o 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学 校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅。本人授权兰州理工大学可以将本学位论文的全部或部分 内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保 存和汇编本学位论文。同时授权中国科学技术信息研究所将本学位论文收 录到中国学位论文全文数据库，并通过网络向社会公众提供信息服务。 作者签名：杈苏幽 导师签名：灭夕饥翟 。 日期：，年 日期：勿i r 年 6 其i oe l 占月，d 日 硕f 学何论文 目录 摘要i a b s t r a c t i i 插图索引i v 附表索引v 第1 章绪论1 1 1 课题的研究背景和意义l 1 2 手势的定义及分类2 1 3 国内外研究现状及分析3 1 4 课题来源及项目研究内容介绍5 1 5 基于视觉的动态手势识别系统框架5 1 5 1 手势建模方法6 1 5 2 手势分割方法6 1 5 3 手势跟踪方法7 1 5 4 手势识别方法8 1 6 手势识别中存在的主要困难9 1 7 论文的主要研究工作及组织结构与安排9 第2 章序列图像中静态手形的提取方法研究1 1 2 1 手势分割概述11 2 1 1 肤色检测方法1 l 2 1 2 运动检测方法1 1 2 1 3 边缘检测方法1 2 2 1 4 序列图像中静态手形提取流程1 3 2 2 手势图像预处理1 3 2 2 1 图像的平滑及去噪1 3 2 2 2 图像的二值化及开闭运算1 5 2 3 基于h s v 及y c b c r 颜色空间肤色检测1 6 2 3 1h s v 及y c b c r 颜色空间1 6 2 3 2 基于y 及h ，s 分量的肤色检测1 7 2 4 基于帧差分法的运动检测1 8 2 5 基于c a n n y 算子的边缘检测1 9 2 6 本章小结1 9 序列h 像中动态下势跟踪o j 建模方法研究 第3 章序列图像中手势跟踪方法研究2 0 3 1 手势跟踪算法概述2 0 3 1 1k a l m a n 算法2 0 3 1 2m e a ns h i f t 算法2 l 3 1 3p a r t i c l ef il t e r 算法2 2 3 2 改进的m e a ns h i f t 跟踪算法2 3 3 3 实验结果及分析2 6 3 4 本章小结2 7 第4 章序列图像中动态手势建模及特征提取2 8 4 1 动态手势建模2 8 4 1 1 动态手势的特性2 8 4 1 2 动态手势建模2 8 4 1 3 动态手势分割2 8 4 2 手势特征提取2 9 4 2 1 基于f o u r i e r 描述子的特征提取一3 0 4 2 2 基于矩不变量的的特征提取3 0 4 2 3 动态手势的特征提取3 2 4 3 实验结果及分析3 4 4 3 1 静态手形h u 边界矩提取3 4 4 3 2 运动轨迹的归一化中心矩提取3 5 4 4 本章小结3 7 第5 章简单动态手势识别实验及结果分析3 8 5 1 引言3 8 5 2 鼠标手势的语义3 8 5 3 动态手势识别系统流程3 9 5 4 手势识别实验及结果分析4 0 5 4 1 手形识别4 1 5 4 2 运动轨迹识别4 2 5 5 本章小结4 3 总结与展望4 4 参考文献4 5 致 射51 附录a 攻读硕士学位期间所发表的学术论文5 2 硕十。学何论文 摘要 随着计算机软、硬件技术的迅猛发展及广泛应用，人与计算机之间的交互活 动也越来越密切。手势这一人与人之间除自然语言外最重要的人际交流方式也被 引入人机交互中，使得人与计算机之间的交互以一种更加自然而直观的方式进行。 论文从自然人机交互的需求出发，对复杂背景下序列图像中的静态手形提取、 动态手势建模及特征提取、动态手势跟踪识别进行了研究。并在此基础上，实现 了从摄像头输入的5 种鼠标手势的识别，以此来验证论文算法的正确性与有效性。 针对复杂背景下利用单一线索对静态手形提取不准确的缺陷，提出了一种结 合手势肤色、运动、轮廓等多线索的静态手形提取方法。该方法利用h s v 颜色空 间的h 、s 分量以及y c b c r 颜色空间的y 分量实现了光照变化条件下手势的肤色检 测，并且利用帧差分法进行运动检测去除类肤色背景，最后融合肤色、运动、轮 廓等多种线索实现了复杂背景下静态手形的准确提取。 为了解决传统m e a ns h i f t 算法在复杂背景和光照变化等情形下存在跟踪不稳 定、跟踪失败无法恢复等问题，提出了一种融合手势肤色和结构等多特征的鲁棒 的m e a ns h i f t 手势跟踪算法。该算法将肤色检测和帧差分法相结合形成目标检测 模块，实现了跟踪初始化时可自动检测目标，同时可自动根据跟踪结果来确定目 标手势矩形域。经与传统m e a ns h i f t 算法对比实验分析，该算法提高了手势跟踪 的准确性和稳定性。当手势快速运动及遮挡等导致跟踪失败时，可利用目标检测 恢复跟踪，提高了跟踪的连续性。 针对动态手势模型的准确性和使用速度不协调的矛盾，提出了一种动态手势 建模及有效提取的方法。该方法利用动态手势开始手形、结束手形和中间运动轨 迹建立动态手势模型，利用边界矩提取动态手势特征。实验表明，该方法可实现 动态手势特征的有效提取。 最后，在m a t l a b 7 0 环境下编程进行了仿真实验，识别从u s b 摄像头输入的 5 种鼠标手势，结果证明了本文所提方法的有效性和正确性。 关键词：m e a ns h i f t 算法；目标检测；手形提取；手势跟踪；手势识别；序列图 像 一一一 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n ta n dw i d ea p p l i c a t i o no ft h ec o m p u t e rs o f t w a r ea n d h a r d w a r e t e c h n o l o g y , t h ei n t e r a c t i o nb e t w e e nh u m a na n dc o m p u t e ra r eg e t t i n g c l o s e r p e o p l eo f t e ng e ta l lk i n d so fi n f o r m a t i o nb yc o m p u t e r , l e a r n i n g ，r e s e a r c h ， c o m m u n i c a t i o na n de n t e r t a i n m e n t ，p r o m o t i n gt h ep r e s e n t e da n dd e v e l o p m e n to f t h e a d v a n c e dh u m a n c o m p u t e ri n t e r a c t i o nt e c h n o l o g y h a n dg e s t u r e ，t h em o s ti m p o r t a n t i n t e r p e r s o n a lc o m m u n i c a t i o nw a ye x c e p tt h en a t u r a ll a n g u a g ea m o n gp e o p l e ，i sa l s o i n t r o d u c e di n t oh c i ( h u m a n c o m p u t e ri n t e r a c t i o n ) ，m a k i n gt h ei n t e r a c t i o nb e t w e e n p e o p l ea n dc o m p u t e r sc a l lb ei nam o r en a t u r a la n di n t u i t i v em a n n e r f r o mt h er e q u i r e m e n to fn a t u r a lh u m a n c o m p u t e ri n t e r a c t i o n t h i sa r t i c l es t u d i e d t h es t a t i ch a n d s h a p ee x t r a c t i o n ，d y n a m i ch a n dg e s t u r e m o d e l i n g a n df e a t u r e e x t r a c t i o n ，a sw e l la sh a n dg e s t u r et r a c k i n ga n dr e c o g n i t i o ni nc o m p l e xb a c k g r o u n d f i n a l l y , b a s e do nt h es i m p len a t u r eh a n dg e s t u r e ，5k i n d so fm o u s eh a n dg e s t u r e si s r e a l i z e dt ov e r i f yt h ef e a s i b i l i t yo ft h ea l g o r i t h m a c c o r d i n gt ot h ei n a c c u r a c yo fe x t r a c th a n ds h a p eb a s e do nt h es i n g l ec l u e a m e t h o do fh a n ds h a p ee x t r a c t i o nc o m b i n e dc o l o r , m o t i o n ，c o n t o u ri s p r o p o s e d i tu s e s h ，sa n dyc o m p o n e n ti nt h eh s va n dy c b c rc o l o rs p a c et or e a l i z et h es k i nd e t e c t i o n w i t ht h ei l l u m i n a t i o nc h a n g ec o n d i t i o n s ，r e m o v es k i nb a c k g r o u n db y u s i n gt h em e t h o d o f f r a m ed i f f e r e n c eb a s e do nm o t i o nd e t e c t i o n ，f i n a l l yr e a l i z et h ea c c u r a t ee x t r a c t i o n s u t i eh a n d s h a p eb yu s i n gf u s i o nc l u e si n c l u d e c o l o r ,m o t i o n a n dc o n t o u r i n f o r m a t i o n i no r d e rt oo v e r c o m et h el i m i t a t i o no ft r a d i t i o n a lm e a ns h i f t a l g o r i t h mi n c o m p l e xb a c k g r o u n da n di l l u m i n a t i o nc h a n g es u c ha st r a c k i n gu n s t a b l e ，t r a c k i n g f a i l u r ep r o b l e m sc a nn o tb er e s t o r e d ，w ep r o p o s e dar o b u s tm e a ns h i f th a n d g e s t l l r e t r a c k i n ga l g o r i t h mf u s i n gh a n ds k i na n ds t r u c t u r a lf e a t u r e i tc o m b i n e df i r 锄e d i f f e r e n c ea n ds k i nd e t e c t i o nt of o r mt a r g e t sd e t e c t i o nm o d u l e ，w h i c hc o u l dd e t e c t t a r g e ta u t o m a t i c a l l ya tt h eb e g i n n i n go ft h et r a c k i n gp r o c e d u r ea n dd e t e r m i n et h e r 。e t a n g u l a ra r e a so ft h et a r g e ta u t o m a t i c a l l ya c c o r d i n gt ot r a c k i n gr e s u l t c o m p a r e d w i t ht r a d i t i o n a lm e a ns h i f ta l g o r i t h m ，t h i sm e t h o d i m p r o v e st h ea c c u r a c ya n ds t a b i l i t v o fh a n dg e s t u r et r a c k i n g w h e nt h eg e s t u r et r a c k i n gf a i l sc a u s e db yf a s tm o t i o na n d o c c l u s i o n ，h a n dt r a c k i n gc a nb er e s t o r e db y u s i n go b j e c td e t e c t i o n t h i sc a ni m p r o v e t r a c k i n gc o n t i n u i t y h 硕十。学何论文 c o n s i d e r i n gt h ea c c u r a c yo fg e s t u r em o d e l i n gi si n c o n s i s t e n tw i t hi t se f f i c i e n c y , ad y n a m i ch a n dg e s t u r em o d e l i n ga n dr e a l - t i m ee x t r a c t i o nm e t h o di sp r o p o s e d i tu s e s s t a r t i n gh a n ds h a p e ，e n dh a n ds h a p ea n dm i d d l et r a je c t o r ya sd y n a m i cg e s t u r e sm o d e l ， u s i n gb o u n d a r ym o m e n tt oe x t r a c td y n a m i ch a n dg e s t u r ef e a t u r e s e x p e r i m e n t ss h o w i tc a ni m p r o v et h es p e e do ft h ed y n a m i cg e s t u r er e c o g n i t i o n a tl a s t ，as i m u l a t i o ne x p e r i m e n tw h i c hc o u l di d e n t i f y5k i n g so fm o u s eg e s t u r e s c a p t u r e df r o mu s bc a m e r ah a v ab e e nm a d ei nm a t l a b 7 0p r o g r a m m i n ge n v i r o n m e n t t h ee x p e r i m e n tr e s u l t sd e m o n s t r a t e dt h a tt h ep r o p o s e dm e t h o di sm o r ee f f e c t i v ea n d a c c u r a t e k e yw o r d s ：m e a ns h i f ta l g o r i t h m ；t a r g e td e t e c t i o n ；h a n ds h a p ee x t r a c t i o n ；h a n d t r a c k i n g ；h a n dg e s t u r er e c o g n i t i o n ；i m a g es e q u e n c e g i 序列图像巾动态于势跟踪。j 建榄方法研究 插图索引 1 1 手势分类2 1 2 基于手势识别的手势分类3 1 3 动态手势识别系统构成图5 1 4h m m 组成示意图8 2 1 静态手形提取流程图1 3 2 2 图像平滑效果图1 4 2 3 手势图像二值化一15 2 4 开闭运算效果图1 5 2 5 肤色检测1 7 2 6 帧差分法运动检测1 8 2 7 本文基于亮度自适应阈值运动检测18 2 8 手势区域检测19 2 9 手势轮廓提取1 9 3 1 目标检测2 6 3 2 传统m e a ns h i f t 手势跟踪算法2 7 3 3 本文m e a ns h i f t 手势跟踪算法2 7 4 1 手势状态转换图2 9 4 2 原手势r g b 图一3 4 4 3 手势区域边界二值图3 4 4 4s o g o u 浏览器中采用的鼠标手势3 6 4 5 鼠标手势运动轨迹二值图一3 6 5 1 动态手势识别系统流程图一4 0 5 2 数字手形5 的1 0 个训练样本4 1 5 3 运动轨迹2 的1 0 个测试样本4 2 i v 图图图图图图图图图图图图图图图图图图图图图图图图 硕十何论文 附表索引 表4 1 数字样本h u 边界矩原始数据3 5 表4 2 数字样本h u 边界矩统一格式数据3 5 表4 3 鼠标运动轨迹及动作3 6 表4 4 运动轨迹的归一化中心矩原始数据3 7 表4 5 运动轨迹归一化中心矩统一格式数据3 7 表5 1 运动轨迹3 9 表5 2 动态手势3 9 表5 3 数字手形5 的训练样本参数提取4 1 表5 4 数字手形的识别结果4 l 表5 5 运动轨迹2 的测试样本参数提取4 2 表5 6 运动轨迹识别结果4 2 v 硕十付沦文 第1 章绪论 1 1 课题的研究背景和意义 随着计算机软、硬件技术的迅速发展及广泛应用，人与计算机之间的交互活 动也越来越密切，现在人们经常通过计算机获取各类信息，进行学习、研究、交 流和娱乐等。 在新技术的支持和交互需求的推动下，人机接口技术不断改进【l 忍】：从早期的 通过二进制机器语言实现的批处理方式，发展到以键盘和终端为主的文本方式， 再到以鼠标为主的图形界面，接着是以网络浏览器为基础的网络用户界面，当今， 随着多媒体与超媒体技术的迅猛发展，出现了扫描、手写、触摸屏等多种输入方 式，目前，又出现了语音、力矩球、视觉以及三维鼠标等输入方式。 当前的各种输入方法难以进行高度自由的输入，主要缺点是：1 ) 输入设备繁 杂以及对工作环境的特殊要求严重影响了工作效率；2 ) 输入设备比较昂贵且易损 耗，导致维护成本高；3 ) 输入方式与自然的人际交流方式不一致，需要被迫学习 输入规则；4 ) 许多方法必须近距离接触设备，不适合远程操控，尤其在有污染、 粉尘的环境中更显其弊端。这些缺点有些是可以克服的，如软硬件的落后；而有 些则是难以克服的，如输入手段先天的不足。 要克服已有的输入方式的缺点，要求使用更加高级的输入方式。人与人之间 的交互方式丰富多样，通常以自然语言为主，同时表情、手势、体势等行为和动 作，也是人与人交互的基本方式。比较而言，人与机器之间的交互就比较呆板， 过去的人机交互方式都是以机器为中心，要求人来适应机器。人们希望和计算机 的交互也可以像和人交互一样自然方便，这就要求计算机和人一样可以听、说、 看用户的不同表达，并且理解其含义。因而在众多应用领域中，研究符合人际交 流习惯的、新颖的多模式人机接口技术变得越来越重要。 多模式人机接口技术( m u l t i m o d a lh u m a n - c o m p u t e ri n t e r a c t i o n ，m m h c i ) 3 - 4 】是 集语音、文字、手语、人脸、表情、唇读、头势、体势【5 西】等多通道为一体的，并 对这些通道的信息进行编码、压缩、集成、融合的计算机智能接口技术。其研究 目标就是建立自然的人机交互环境，使得用户可以方便、自然地用人类所熟悉的 方式和计算机进行交互。这方面的研究包括语音识别、手势识别、人脸识别以及 体势识别等( 7 】。总之，新一代的人机交互技术将是多种媒体、多种模式相结合的 交互技术，将从以计算机为中心逐步转移到以人为中心。 序列i 冬1 像中动态手势跟踪! j 建模方法研究 手势识别技术作为新型的人机交互技术之一，把手势这种既自然又直观的交 流方式引入人机接口中，实现更符合人类行为习惯的人机接口是其主要目的。手 势识别技术在以下各应用领域具有重大的实用意义 8 9 】： 1 虚拟现实( v i r t u a lr e a l i t y , v r ) 。使得参与者能身临其境的用人类自然的方 式与虚拟世界中的对象进行交互，如文献 1 0 利用语音和手势识别系统实现了对 虚拟现实中物体的直接控制。 2 游戏控制。无需使用终端，只利用手势和身体动作等控制游戏目标。如： 在赛车游戏中，通过用双手转动方向盘和倾斜身体，即可操作游戏中的汽车。使 得游戏操作更简单，沉浸感更好。 3 机器人控制。提供触摸、手势和语音等多种用户接口，可以更方便地对机 器人进行控制，如1 9 9 5 年c a r n e g i em e l l o n 大学的l e e 完成了一个手势控制系 统用于机器人的操纵【1 1 1 ，文献 1 2 利用手势识别使机器人理解音乐指挥动作。 4 智能家电。为了使家用电器使用更加简单、方便，在电视等家用电器上安 装摄像机，用手来代替遥控器实现对家电的控制。如：海尔公司在2 0 1 l 消费电子 展上，发布了全球首台手势控制与多点触控相结合的智能电视，通过手势实现电 视图片、视频、音频、游戏等功能的切换。 5 人机手语翻译。聋哑人与正常人之间沟通要借助手语这个“桥梁”，但大 多数正常人都不懂手语，而多模式人机接口技术的进步为二者直接交流这一梦想 的实现提供了可能。如文献 1 3 实现了一个美国手语识别系统，使计算机可理解 美国手语的含义。1 9 9 9 年中科院计算所和哈尔滨工业大学合作首次研制成功“手 语自动翻译与虚拟人合成”系统。 1 2 手势的定义及分类 手势通常是指人手或者手和手臂相结合所产生的各种有意义或有目的的姿势 和动作。在人机交互领域，p a v l o v i e 根据手势所表达的意义对手势进行分类，如 图1 1 所示【14 1 。 图1 1 手势分类 2 硕卜学f 一论文 手势作为人体动作语言的一种，具有一般的人体动作语言的特点：多样性和 多义性以及时空差异性，而且不同文化背景下相同的手势其含义也有所区别。文 献1 1 5 从手势识别的角度出发提出如图1 2 所示的手势分类，将手势分为静态手势 和动态手势，前者指姿态一一单个手形，而后者指动作一一由一系列姿态组成。 乎终 静态乎镑 li 动番乎势 有意识手势ll 无意识手势 操作性手势ll 交漉性筝势 簿符弩筝势符号手势 模仿擎势il 椎檄纺手势| i 规蓖性符号葶势ll 规范性非符号争势 图1 2 基于手势识别的手势分类 1 3 国内外研究现状及分析 随着人机交互技术的飞速发展，手势识别已成为自然人机交互最有意义的研究 领域之一。国内外已有众多的研究机构和学者及在此领域行了广泛的研究，并取得 了一定的成果。 根据手势的采集设备，手势识别系统可以分为基于数据手套和基于视觉的手势 识别系统。 1 基于数据手套的手势识别【1 6 郴】 最初对手势识别的研究主要是基于数据手套的手势识别，也就是需要使用一种 特殊的传感器一一数据手套作为输入设备，计算机通过数据手套获取用户的手及手 指的位置、关节和运动等数字化信息，进而识别用户手势。虽然使用数据手套有识 别率高的优点，但是打手势的人要穿戴昂贵、复杂的数据手套等输入设备，因此难 以在实际中广泛应用。 2 基于视觉的手势识别 基于视觉的手势识别系统中只需要一个摄像机采集包含手势的视频，不需要附 加其他输入设备，将采集到的视频分解为序列图像作为输入信息，然后用软件和 或硬件实现人工视觉系统，并由其代替生物视觉系统对输入的信息进行处理，就能 实现人与计算机之间的交互。基于视觉的手势识别发展的初期，常给用户戴上颜色 3 序列| 冬l 像中动态手势跟踪j 建梗方法研究 手套或给手部做特殊标记，这种方法相对基于数据手套的识别方便了很多，但也给 用户带来了不便。当前，基于自然手的手势识别受到大多数研究者的关注，它的优 点是人手处于自然状态，能够以自然的方式与机器进行交互，缺点是要从视觉信息 中恢复出完整的手势信息比较困难，因此识别率低、能识别的手势集小并且实时性 也较差。 美国麻省理工学院计算机科学和人工智能实验室的r o b e r tw a n g 和j o v a n p o p o v i c 用1 0 种不同的颜色将手套分成了2 0 个不同的色块，只要一个简单的摄像头 就能以相对较低的延迟跟踪踪到人手的位置和手势【l9 1 。美国m i tm e d i al a b 的 s t a r n e r t 和p e n t l a n d a 2 0 采用h m m 模型实现了两个美国手语识别系统，实现了美国 手语中的句子级别手语的连续识别，这两个系统，一个将摄像头放置在桌面上，识 别率9 2 ；而另一个将摄像头固定在操作者的帽檐上，达到了9 8 的高识别率。 哈尔滨工业大学的周宇等用少量的新用户数据，通过遗传算法中的“交叉和 “变异”操作生成新用户的自适应数据，提高了手语整体识别率，减少了所需要的 自适应数据量【2 。哈尔滨工业大学的李勇、高文等利用颜色手套实现了中国手语手 指字母的静态和动态识别【2 2 1 。中科院的张良国和高文等将混合元捆绑和h m m 相结 合，实现了一个面向中等词汇量的中国手语视觉识别系统，识别率9 2 5 【2 3 1 。中科 院王西颖和戴国忠等整合了h m m 与模糊神经网络( f u z z yn e u r a ln e t w o r k ，f n n ) ，并 将其应用到复杂动态手势的识别【2 4 1 。清华大学祝远新、徐光佑等将手势的形状表观、 运动表观及时序信息结合，构造动态手势的时空表观模型，并采用动态时空规整算 法识别1 2 种手势，达到了平均9 7 的高识别率【2 5 1 。 根据手势识别的对象形态的差异，可将基于视觉的手势识别分为静态手势识别 和动态手势识别。 1 静态手势识别 静态手势是静态图片中的手形和手的姿势，不涉及手的运动。它对应着模型参 数空间里的一个点，如握拳并且保持不动就是一个静态手势。哈尔滨工业大学的李 勇、高文等利用颜色手套模型，实现了一个静态手势识别系统，该系统能够识别中 国手语字母表中的3 0 个基本手形【2 3 】；青岛大学的刘云等用支持向量机作为分类器实 现了静态手势识别2 6 】；p r i y a l 等基于z e m i k e 矩实现了静态识别2 7 1 。 2 动态手势识别 动态手势是在由一个短的时间跨度中连续的运动所连接的一个手形序列，对应 着模型参数空间里的一条轨迹，如：挥手再见。如同在自然语言中旬子是由短语构 建的一样，可以将动态手势看作是由一组静态手形和一条整个手的运动轨迹构建而 成的。动态手势识别是以静态手势识别为基础的，并在此基础上对其研究领域进行 了拓展，两者是相互联系，不可分割的。如文献【2 2 】实现了基于徒手的静态手势的 识别，结合d t w 后可以实现动态手势的识别。 4 硕 j 。何论文 1 4 课题来源及项目研究内容介绍 论文研究内容来源于甘肃省教育厅硕导科研基金“复杂背景下动态手势分割 与实时跟踪识别方法研究”( 0 7 0 3 0 8 ) 。 课题主要研究内容：为了使基于计算机视觉的手势识别方法在人机交互中能 够在自然场景下付诸实用，本课题提出一种在复杂背景下对动态手势进行实时跟 踪和识别的方法并对其进行研究。 课题主要研究目标： 1 提出一种可行的复杂背景下的动态手势分割方法，解决实时、准确的提取 出手势区域问题。 2 研究复杂背景下动态手势实时跟踪方法，提高包括光照变化、类肤色区域 和遮挡等复杂情况下的手势跟踪中的实时性、连续性以及鲁棒性。 3 建立一个基于表观的手势模型，提取手势形状特征、运动信息以及手势其 它不变特征构成时空特征向量，使得一种手势对应一种手势模型并且能满足手势 跟踪的实时、连续、稳定性要求。 本课题组已有的研究：2 0 0 6 级陈梵主要研究基于背景差分的手势分割；2 0 0 7 级张墨逸主要研究基于表观的二维手势识别；2 0 0 7 级胡建强主要研究复杂背景下 动态手势跟踪算法。 1 5 基于视觉的动态手势识别系统框架 目前，为了满足自然人机交互的需求，实现更符合人类行为习惯的人机接口， 研究基于视觉的动态手势识别技术具有重大的现实意义。 一个基于视觉的动态手势识别【1 5 , 2 8 1 系统一般涉及以下几个方面，如图1 3 所示。 摄像机峰纠蓦茎俐蓦嚣h 矧衾釜 臻喇参数、 i 簪终建攘le 羹卺嘉釜及) 图1 3 动态手势识别系统构成图 首先，需要通过摄像机获取图像序列，并通过目标检测模块判断视频信号里 是否出现了有意义的手势，若出现则把该手势从视频信号中分割出来；然后，利 用建立好的手势模型对分割出来的手势进行分析；接着，依据模型参数跟踪手势 的位置和姿势，识别手势；根据手势识别结果产生对应的命令控制具体的应用， 以此来实现人机交互。此流程可以划分为：手势建模、手势分割、手势跟踪、手 5 序列h 像巾动态手辨跟踪与建模方法研究 势识别及系统交互五部分。 1 5 1 手势建模方法 手势建模是指建立适合的数学模型来描述手势。动态手势的数学模型要涵盖 手势的空间属性也要涉及时间特征【2 9 1 。手势建模方法可分为：基于3 d 模型的手 势建模方法和基于表观的手势建模方法【1 5 】。 1 基于3 d 模型的手势建模方法 基于3 d 模型的手势建模是从手势图像中恢复手势模型参数。理论上，所有 手势都可以用基于3 d 手( 臂) 模型的手势模型进行建模，但实际上，基于3 d 手( 臂) 模型的手势模型参数多，导致计算复杂性非常高，为了抽取模型参数需要使用的 许多近似过程，使得估计出的模型参数可靠性差。 2 基于表观的手势建模方法 基于表观的手势建模是建立在手势图像的表观之上，通过分析手势在图像( 或 序列图像) 里的表观特征对手势进行建模。基于表观的手势模型有以下四种【2 5 】： 基于2 d 灰度图像，基于可变形模板，基于图像属性和基于图像运动参数。 1 ) 使用2 d 灰度图像作为表观模型 对于静态手势识别系统来说，利用2 d 灰度图像本身建立手势模型是把整幅 图像建模为特征空间中的一个样本；而对于动态手势识别系统，由于其手势由一 个图像序列来表示，所以以图像序列或运动历史来对其进行建模。如文献f 3 1 1 把 人手的完整图像系列作为手势模板，文献 3 2 】是把运动历史图像作为手势模型。 2 ) 基于手( 臂) 的可变形2 d 模板的表观模型 可变形2 d 模板是物体轮廓上某些点的集合，一般把它用作插值节点去近似 物体轮廓。模板由平均点集合、点可变性参数以及外部变形构成。 3 ) 以图像属性为基础建立手势模型 从图像属性抽取的参数统称为图像属性参数( 轮廓、边界、图像矩、图像特征 向量以及区域直方图特征等) ，这些参数可直接从图像中导出。常被使用的属性参 数有计算简单的图像矩、z e m i k e 矩、方向直方图以及颜色直方图等。 4 ) 基于图像运动的表观模型 基于图像运动的表观模型从光流或者运动图像中提取运动参数，作为手势模 型参数，该模型主要用于动态手势识别。如任海兵等结合手势的形状表观、运动 表观及时序信息提出的时空表观模型【2 5 1 。 1 5 2 手势分割方法 手势分割就是从包含手势的连续图像序列中将手势分离出来。后面的手势跟 踪与识别的效果会受到手势分割效果的直接影响，因此，手势分割是手势识别的 6 硕f j 学f 论文 基础也是比较困难的阶段。手势分割方法主要有以下几种【3 3 】： 1 增加限制 如穿戴深色的服装、采用白色或黑色的墙壁来简化背景【l 丌，或者戴特殊颜色 的手套强调前景，加深手和背景域之间的对比【2 。但是这些人为增加的限制影响 了手势交流的自由性，因此现在的手势分割研究主要集中于复杂背景下的对自然 手的手势分割。 2 建立手势形状数据库 建立各种手势类在不同位置、不同时刻、不同比例的手形图像数据库，然后 通过模板匹配的方法实现手势的分营1 1 3 2 1 。这种方法比较费时间，现在已经很少用。 3 轮廓跟踪 如利用活动轮廓模型对噪声和对比度的敏感性，跟踪目标的形变和非刚体的 复杂运动，实现手势分割【3 4 1 ，但是是该方法实时性差，不能提取凹形轮廓。 4 背景差分法 3 5 - 3 6 】 背景差分法就是用手势图像减去背景图像，该方法可以有效消除手势图像的 背景，保留手部区域，但同时背景图像的建立和及时更新会占用额外的时间，导 致手势分割的时间增加。 5 基于肤色模型【3 7 1 在手势分割中肤色特征是必不可少的，因为在手部区域中肤色是最有效的物 理特征，并且肤色在某些色彩空间中的一定范围内具有较好的聚类特性【3 引。如 h o w elw 等比较了不同人手的肤色在不同的色彩空间的聚类效果【3 9 1 ，周航等利 用c i e l a b 肤色模型分割手部区域【4 0 1 ，姜威等在y u v 颜色空间实现了手势分割 4 1 1 ，吕东辉等构建了皮肤颜色在y c b c r 颜色空间的分布模型【4 2 1 ，路凯等利用h s v 色彩空间进行肤色检测【4 3 1 。 基于单一肤色信息的手势分割方法对光照变化比较敏感，无法区分目标区域 和背景中存在的类肤色区域。因此，仅仅使用肤色信息不能够较好的分割出手势 区域，而融合运