（计算机应用技术专业论文）复杂背景下表观手势建模方法研究.pdf

l p 鸭 i i i i l l lr l l f l l l i i l l l l f f l f l l f l ll l l l l l l l l l t l l l l l l l l l y 18 8 5 7 1 6 s t u d i e so na p p e a r a n c e - b a s e dh a n dg e s t u r em o d e l i n gm e t h o du n d e r c o m p l e xb a c k g r o u n d b y l ix i n y i n g b e ( l a n z h o uu n i v e r s i t yo ft e c h n o l o g y ) 2 0 0 8 at h e s i ss u b m i t t e di np a r t i a ls a t i s f a c t i o no ft h e r e q u i r e m e n t sf o r t h ed e g r e eo f m a s t e ro f e n g i n e e r i n g m c o m p u t e ra p p l i c a t i o nt e c h n o l o g y i nt h e g r a d u a t es c h o o l o f l a n z h o u u n i v e r s i t yo ft e c h n o l o g y s u p e r v i s o r a s s o c i a t ep r o f e s s o rz h a of u q i n g m a y , 2 0 1 1 l j ，一一 y l 价 1 l 兰州理工大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研 究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体 已经发表或撰写的成果作品。对论文的研究做出重要贡献的个人和集体，均已在文 中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：耆籼狠 日期：知i 年月，。日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权兰州理工大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权 中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通 过网络向社会公众提供信息服务。 作者签名： 导师签名： 日期：力j 1 年占月力日 日期：乃f j i 年月户e l 一 ，一- ， 硕十学位论文 目录 摘要i a b s t r a c t i i 插图索引 附表索引v 第1 章绪论1 1 1 课题的研究背景及意义1 1 2 表观手势建模方法的国内外研究现状2 1 2 1 手势的定义2 1 2 2 国外研究现状3 1 2 3 国内研究现状4 1 3 手势建模的难点4 1 4 论文主要研究内容和组织结构安排。5 第2 章表观手势建模方法简介6 2 1 基于视觉的手势模型简介6 2 2 手势分割方法6 2 2 1 基于颜色的手势分割方法6 2 2 2 基于运动信息的手势分割方法7 2 2 3 基于模板匹配的手势分割方法8 2 2 4 基于局部区域信息的手势分割方法8 2 3 手势建模方法_ 9 2 3 1 基于3 d 的手势模型9 2 3 2 基于表观的手势模型9 2 4 手势分析方法1o 2 4 1 特征提取l o 2 4 2 参数估计1 l 2 5 手势识别方法11 2 5 1 模板匹配技术。1 2 2 5 2 神经网络技术1 2 2 5 3 隐马尔可夫模型1 2 2 5 4 统计分析算法13 2 6 本章小结13 第3 章图像预处理与手势图像分割1 5 3 1 视频图像的采集1 5 l 一 ， 复杂背景下表观手势建模方法研究 3 1 1 视频采集方法1 5 3 1 2 手势图像单帧提取1 6 3 2 图像的预处理17 3 2 1 彩色图像的颜色模型以及转换1 7 3 2 2 图像平滑1 9 3 2 3 图像二值化2 0 3 3 图像分割技术2 l 3 3 1 阈值分割法2 1 3 3 2 边界检测法2 2 3 3 3 区域提取法2 2 3 4 多模式动态手势分割方法2 3 3 4 1 动态手势分割流程2 3 3 4 2 基于改进k l 变换椭圆肤色模型的手势分割。2 4 3 4 3 基于三帧差分法的手势分割2 4 3 4 4 运动目标检测2 5 3 5 实验结果及分析2 5 3 5 1 基于肤色模型的手势分割效果2 5 3 5 2 三帧差分法手势分割效果：2 6 3 5 3 两者结合的手势分割效果。2 7 3 6 本章小结2 7 第4 章 手势建模的特征提取方法2 8 4 1 特征提取方法简介2 8 4 2 特征提取相关理论31 4 2 1 离散曲线演化。3 1 4 2 2 极半径不变矩：3l 4 3 基于关键点的极半径不变矩3 2 4 3 1 关键点选取3 2 4 3 2 基于关键点的极半径不变矩3 3 4 3 3 不变性证明3 3 4 3 4 不变矩选取3 4 4 4 实验结果与分析3 5 4 4 1 不变性的实验验证3 5 4 4 2 分类效果以及对比分析3 6 4 4 3 抗污染( 增加噪声、去除部分轮廓) 效果与对比分析3 7 4 5 本章小结。3 9 一| ， 硕十学位论文 总结与展望4 0 参考文献4 2 致谢4 7 附录a 攻读硕士学位期间所发表的学术论文4 8 附录b 攻读硕士学位期间参加的科研项目情况4 9 一 t l 硕十学位论文 摘要 随着新硬件的出现以及新应用领域的发展，人机交互活动越来越成为人们日 常活动中一个重要组成部分。由于人手具有的多样性、多义性，以及在时间和空 间上的差异性等特点，加之人手是复杂的变形体，使得基于计算机视觉的手势建 模方法研究成为一个极富挑战性的多学科交叉的研究课题。 一个完整的基于计算机视觉的手势模型系统包括获取手势视频、手势分割、 和手势建模，而手势建模又包括手势分析和手势识别。论文通过对当前手势建模 方法进行分析，指出精确的手势分割和鲁棒的手势特征提取是手势建模中的重点。 论文的具体研究工作有以下几点： 首先通过摄像头获取手势视频流，然后将视频流进行无冗余的帧分离，将手 势图像帧从视频流中提取出来，获得连续的手势图像序列。 在手势分割阶段，针对目前手势分割算法中单线索的局限性，采用了肤色信 息和运动信息相结合的分割方法。该方法首先采用基于k l 变换的椭圆肤色模型 进行肤色检测，提高了肤色判定的精确度，然后对连续的手势图像序列做三帧差 分，改善了二帧差分法的遮挡问题，最后将两者的结果相结合，得到了较为理想 的手势分割效果。 在手势特征提取阶段，针对整体匹配不能处理部分遮挡、特征缺失等问题， 提出一种基于关键点的极半径不变矩特征提取方法。该方法通过离散曲线演化方 法提取目标手势轮廓的关键点，利用关键点的极半径不变矩描述手势的形状特征。 实验结果表明该方法具有很好的分类特性，并且在物体轮廓分割不完整和有噪声 污染的情况下能保持很好的稳健性。 关键词：极半径不变矩；特征提取；手势建模；表观手势；手势识别与跟踪；人 机交互 a b s t r a c t w i t ht h e 锄e r g e n c eo fn e wh a r d w a r ea n dd e v e l o p m e n to f n e wa p p l i c a t l o nf i e l d s , h 啪a n m a c h i n ei n t e r a c t i v ea c t i v i t i e sh a s b e c o m em o r ea n dm o r ei m p o r t a n t 1 np e o p l c - s d a i l va c t i v i t i e s t h et r a d i t i o n a li n t e r a c t i v ew a y s ，i n c l u d i n g k e y b o a r d ，m o u s ea n d1 1 9 h t p e n ，l i m i tt h es p e e da n d n a t u r a l n e s so fm a n m a c h i n ec o m m u n i c a t i o n w h l l e ，t h e i n t e r a c t i v ew a y sb a s e do nc o m p u t e rv i s i o nc a n s o l v ea b o v ep r o b l 咖sb e t t e r , a n da r e m o r ei nc o n f o n i l i t yw i t ht h ew a y o fp e o p l et h i n k i n g h o w e v e r ，h u m a nh a n d sp o s s e s s d i v e r s i t i e s ，m u l t i m e a n i n g sa n d d i f f e r e n c e si nt i m ea n ds p a c e a n dp e o p l eh a n d s t h e m s e l v e sa r ec o m p l e xv a r i a b l ef o r m s ，s ot h es t u d y o ng e s t u r em o d e l i n gm e t h o d s b a s e do nc o m p u t e rv i s i o ni sac h a l l e n g i n gi n t e r d i s c i p l i n a r y r e s e a r c hs u b je c l ac o m p i e t eg e s t u r em o d e ls y s t e mb a s e d o nc o m p u t e rv i s i o ni n c l u d e sg e s t u r e v i d e oa c q u i s i t i o n ，g e s t u r es e g m e n t a t i o n ， a n dg e s t u r em o d e l i n g g e s t u r em o d e l i n g c o n s i s t so fg e s t u r ea n a l y s i s a n dg e s t u r er e c o g n i t i o n t h r o u g h s 啪m a r l z l n ga n d a n a l y z i n gv a r i o u sm e t h o d s i ng e s t u r e sm o d e l i n gp r o c e s s ，i tm u s b ep o i n t e d o u t t h a t a c c u r a t eg e s t u r es e g m e n t a t i o na n d r o b u s tg e s t u r ef e a t u r e e x t r a c t i o na r ek e y so t g e s t u r e sm o d e l i n g t h ec o n c r e t e r e s e a r c hw o r k si nt h i sp a p e ra r e a sf o l l o w i n g ： f i r s t t h i sp a p e rg e t sg e s t u r e s t r e a m i n g v i d e ot h r o u g hc a m e r a ， s e p a r a t e s s t r e m i n gv i d e oi n t of r 锄e sw i t h o u tr e d u n d a n t ，e x t r a c t sg e s t u r e si m a g e f r 锄e st r o m s t r e a m i n gv i d e o ，a n da tl a s tw i n sa s u c c e s s i o no fg e s t u r e si m a g es e q u e n c e i ng e s t u r es e g m e n t a t i o n ，a i m i n g a tt h el i m i t a t i o no fs i n g l ec l u es e g m e n t a t l o n a l g o r i t h m ，s e g m e n t a t i o nm e t h o dc o m b i n a t i n g c o l o ri n f o r m a t i o na n ds p o r t1 n f o m a t l o n i sa d o p t e d f i r s t l y i tu s e se l l i p t i cc o l o rm o d e lb a s e d o nk lt r a n s f o mf o rs k i n d c t e c t i o na n di m p r o v e st h ep r e c i s i o no fs k i nd e t e c t i o n t h e n ，t h r c e - f r 锄e d l f f e r e n c e m e t h o di su s e df o rc o n t i n u o u sg e s t u r ei m a g es e q u e n c e ，a n d t h em e t h o d1 m p r o v e st n e b l o c k i n gp r o b l e m o fs e c o n d f r a m e d i f f e r e n c em e t h o d a tl a s t ,t w or e s u l t s a r e c o m b i n e da n dg e s t u r e ss e g m e n t a t i o nr e s u l t sa r e i d ea 1 a st of e a t u r ee x t r a c t i o np h a s e ，f o rt h ew h o l em a t c h i n gc a n n o t d e a lw l t hp a r t l a i s h e l t e r i n ga n dl a c ko fs p e c i f i c i t y , am e t h o do f p o l a r - r a d i u s - i n v a r i a n t - m o m e n tb a s e d o i k e y - p o i n t i s p r o p o s e d t oe x t r a c tf e a t u r e s f o rs h a p er e c o g n i t i o n i te x t r a c t s k e y p o i n t so fg e s t u r es h a p eo u t l i n et h r o u g hd i s c r e t e c u r v ee v o l u t i o n ( d c e ) m e t h o d ， a n du s e sp 0 1 a r r a d i u s i n v a r i a n t m o m e n tb a s e do nk e y p o i n t f o rd e s c r i b l n gg e s t u r e s h a p ef e a t u r e s e x p e t i m e n t a l r e s u l t ss h o wt h a tt h e n e wm e t h o dh a sv e r yg o o d i i 一 ， 硕十学位论文 c l a s s i f i c a t i o np r o p e r t i e s ，a n dc a nm a i n t a i ng o o dr o b u s t n e s se v e ni ft h eo b j e c tc o n t o u r i si l l s e g m e n t e do rn o i s y k e yw o r d s ：p o l a r - r a d i u s i n v a r i a n t m o m e n t ；f e a t u r ee x t r a c t i o n ；g e s t u r e sm o d e l i n g ； a p p a r e n tg e s t u r e ；g e s t u r er e c o g n i t i o na n dt r a c k i n g ；h u m a n m a c h i n ei n t e r a c t i v e 1 1 1 r 复杂背景下表观手势建模方法研究 量量曼曼寰皇曼量量曼曼量曼曼量量曼曼曼曼曼曼皇曼曼鼍曼皇曼曼曼曼曼量曼曼曼曼曼曼曼曼! 曼曼曼曼! 曼曼曼曼曼曼曼曼曼曼曼皇曼曼曼曼曼曼曼曼曼曼曼曼曼曼i _ i i 詈 图1 1 图2 1 图2 2 图2 3 图3 1 图3 2 图3 3 图3 4 图3 5 图3 6 图3 7 图3 8 图3 9 图3 1 0 图4 1 图4 2 图4 3 图4 4 图4 5 插图索引 手势分类图。2 手势模型6 手势模型分类9 h m m 组成示意图一1 3 d i r e c t s h o w 系统结构框图1 6 v f w 体系结构图1 7 r g b 颜色模型18 h s i 颜色模型1 8 彩色图像的三种色彩模型1 9 手势分割流程图2 3 肤色聚类效果2 4 肤色分割效果图2 6 三帧差分法手势分割效果图2 6 两者结合的手势分割效果2 7 关键点的提取3 3 相同形状手势图像的几何变换3 6 1 0 种不同形状的手势符号3 6 分类效果对比3 7 4 种不同手势以及轮廓缺损情况3 8 i v 一 ， 硕+ 学位论文 附表索引 表4 1相同手势图像的关键点极半径不变矩描述子3 6 表4 2 增加污染时的相似性度量3 8 表4 3 增加污染时对比结果3 9 v r 硕+ 学位论文 第1 章绪论 1 1 课题的研究背景及意义 自上个世纪中叶以来，计算机性能得到不断的提高，计算机应用领域也不断 深入，人机交互技术( h c i ) 的研究变得异常活跃，已经从开始的以计算机为中 心发展到现在的以人为中心，从很大程度上提高了人机交互的效率。 在人机交互系统的发展过程中，最初只能经过键盘进行输入，极大地影响了 人机交互的速度和效率。为了追求高效自然的人机交互技术，研究者研究开发了 鼠标输入、手写输入、触摸屏输入、无线设备输入等多种输入方式方式，从很大 程度上便利了人机之间的交互。近些年来，人机交互输入方式发展到了数据手套、 语音、三维鼠标以及视觉，这些方式更加符合人们交流的自然习惯，能够使人们 方便地操作计算机，从而快速完成任务【2 4 l 。 目前很多方法使用的输入设备比较繁杂，严重影响了工作效率。输入设备昂 贵易损，维护成本高，不适合远程操控以及有污染、粉尘的环境。传统人机交互 方式在可穿戴计算机、机器人控制及虚拟现实等应用中的局限性变得愈发明显。 所以需要寻求一种更符合自然交流习惯的，为人类所熟知的人机交互方式。 手势识别技术是一种新型的自然人机交互方式。它强调以用户为中心，使用 符合自然交流习惯的计算机控制技术为用户提供自然有效的人机交流界面【5 】。手 势作为人类最自然的表达方式之一，在日常生活中得到了广泛的应用。这种特殊 语言主要靠动作进行交际，并辅之以表情姿势，是一种含有丰富信息的人体语言， 具有与自然语言相同的表达能力。而且，它是聋哑人进行交流的最基本的方式， 非常的生动形象，而且具有强烈的视觉效果。因而，对于人机交互，完全可以将 手势作为一种交互手段来使用。 目前，基于手势的人机交互技术已经成为人机交互的研究热点。手势识别的 研究涉及机器视觉、人工智能、模式识别等多个学科【6 】。手势的研究不仅用于改 善和提高聋哑人的生活工作条件，也可以用于电视节目双语播放、虚拟人研究、 动画制作、医疗研究、游戏娱乐等诸多方面。 手势识别技术的研究不仅仅在理论上具有深远的研究意义，而且它的应用前 景也是非常的广阔。手势识别技术将主要应用于以下几个方面： ( 1 ) 虚拟现实( v i r t u a lr e a l i t y ，v r ) 。虚拟现实是一种通过多种感觉通道 进行实时的模拟和交互的高端人机接口，这些通道包括视觉、听觉、触觉、嗅觉 和味觉等1 7 1 。其中通过手势控制虚拟现实中的智能体能够使人们尽可能的获得与 复杂背景下表观手势建模方法研究 真实世界相同的感受。例如在虚拟环境中使用虚拟手抓取、移动或释放虚拟物体 以及进行虚拟钢琴演奏等。 ( 2 ) 机器人控制。机器人可用于危险作业和一些服务领域，它需要一个智能 的人机接口。譬如直接的物理接触、语音以及手势等多模态用户接口。通过手势 直接向机器人发出命令，扩展了直觉式语音接口。譬如利用手势使机器人理解音 乐指挥动作【8 1 ，以及基于网络的远程机器人控制系统【9 1 。 ( 3 ) 计算机辅助设计与制造。在与虚拟环境的交互中，手势识别可以用于虚 拟装配、虚拟制造和产品设计等。虚拟装配可以通过手势和语音定义零件之间的 装配关系，通过手的运动直接装配零件。 ( 4 ) 用于多媒体、多通道用户界面。在人机交互中，手势作为输入信号应用 时可以为其它输入信号提供辅助，或者进行约束，目的是消除在单通道单信号输 入时存在的歧义，如单独语言输入。 ( 5 ) 人机手语翻译系统。该系统可以让机器看懂聋哑人的语言，便于聋哑人 使用手势与周围环境及正常人进行交流。 虽然计算机手势识别技术已经取得了可喜的进步，但在实际的人机交互应用 中仍然面临着许多严峻的问题。譬如手势本身具有的特性：多样性、多义性、时 间和空间上的差异性以及人手是复杂的变形体，同时视觉图像处理也存在着问题， 由于摄像头拍摄场景时受到外部因素影响比较多，比如光照、抖动等，使得基于 视觉的动态手势识别技术的研究成为一项极富挑战性的多学科交叉研究课题。 1 2 表观手势建模方法的国内外研究现状 1 2 1 手势的定义 由于手势在时一空上存在差异以及手势容易受到文化背景不同的影响，不同的 研究者也给手势作出了不同的定义【6 】。通常将手势定义为：由人手或者手和臂结 合所产生的各种姿势和动作。从手势定义及手势识别全局出发手势可分为： 图1 1手势分类图 2 硕七学位论文 手势包括静态手势( 单个手形的姿态) 和动态手势( 一系列姿态组成的序列) 。 静态手势与空问里的某个点相对应，动态手势则与模型参数空间里的某条轨迹对 应，使用的空间特征随时间变化【i 们。从人机接口的角度讲，手势是通过人为的意 识，支配人手( 手臂) 作出各种各样的姿势与动作，譬如手指进行弯曲、伸展运 动或者人手在空间上的运动，可以是执行某项任务，也可以是进行交流。总之， 都是在表达某种含义或者是某些意图。 1 2 2 国外研究现状 国际上很早就开始进行手势识别方面的研究。k j e l d s e n t l l l ，t a k a o 坦】等人将人 的动作图像通过投影仪投射到背景简单的桌面或墙面，然后利用摄像机捕捉人手 在桌面或墙面上的姿势和运动进行交互操作。m a l i k 等【l3 】设计的双手手势交互系 统采用黑色的背景来简化图像分析，而h y o s u nk i m t l 4 】等人在研究时在手指上戴上 特殊材料，在黑暗环境下进行拍摄，通过视觉分析手势信息，从而达到交互的目 的。以上几种方法虽然在一定范围内得到了应用，但是都存在一些特定的约束条 件，比如通过背景限定、采用特殊材料来增强识别的效率。之后，一些研究者将 注意力集中到自然手上，成功研制出了基于计算机视觉的手势识别系统。比较具 有代表性的有：1 9 9 1 年富士通实验室成功识另1 j 4 6 个手语符号【1 5 】，s t a r n e r 等对美国 手语短句进行识别，这些句子由4 0 个手语词汇进行随机的组合，识别效率达到了 9 9 2 l l 引。g r o b e l 和m a s s a m 直接提取视频录像中的不变特征，结合h m m 技术进 行手势识别，对2 6 2 个孤立词的识别率达到9 1 3 t 1 7 】。v o g l e r 与m e t a x a s 使用三个相 互垂直放置的摄像机进行手势视频的采集，同时使用位置跟踪器获取位置信息， 针对5 3 个孤立的美国手语词汇，识别率为8 9 9 t 1 。w i l s o na 和o l i v e rn 使用立体 视觉系统，结合语言识别和手势识别实现w i n d o w s 界面的基本操作功能【l9 1 。 手势识别应用领域非常广泛，比如说机器人控制、虚拟现实、人机接口等。 通过研究者的不懈努力，已经取得了许多可喜的成就。2 0 0 3 年1 2 月，美国c y b e r n e t 公司开发出“手势风暴 系统，该系统针对天气预报节目设计而成，主持人只需 做出相应的简单手势，就可以对预报进行控制。为降低交通事故的发生，取代汽 车内仪表控制面板，美国g e o r g i at e c h 研究并且开发了“手势面板”，该系统指定 某个区域，司机在指定范围内做出控制手势，就可以进行车内温度或音响音量的 调整。在机器人人机交互中，美国的c m u 机器人实验室生产的清扫机器人可以按 照给出的手势做出简单的动作。德国k a r l s r u h e 大学研制开发的服务生机器人【2 0 】 是基于双目视觉的，它提前设定一定的行为模式，根据这些模式对用户做出的手 势进行理解，从而与用户直接进行流畅的交互，完成一些基本的操作任务。文献 【2 l 】中用户示范使用手势进行抓取和放置等操作，最终使机器人从用户的示范中 学到技能。 3 复杂背景下表观手势建模方法研究 计算机视觉是一种无接触技术，它利用摄像机采集捕捉人手的运动，成本较 低，是一种非常具有前景的方案【2 2 1 ，这种技术的发展同时促进了运动建模、形态 模拟、图像分析以及机器学习等多种技术的发展。 1 2 3 国内研究现状 在我国，对于手势识别的研究尽管起步比较晚，但是经过近些年来的发展也 取得了不错的成果。许多先行的研究机构已经建立了学术梯队，形成了自己的特 色。哈尔滨工业大学的高温、吴江琴等人从1 9 9 5 年开始进行基于视觉的非特定人 识别研究【2 3 1 ，采用a n n h m m 方法和c y b e r g l o v e 数据手套( 具有1 8 个传感器) 进 行中国手语识别，对于孤立词的识别率达到为9 0 ，对简单语句的识别率达到 9 2 。1 9 9 8 年采用单只c y b e r g l o v e 数据手套和动态高斯混合模型( d y n a m i c g a u s s i a nm i x t u r em o d e l ，d g m m ) 进行汉语手指字母流的识别，识别率为9 8 2 l z 引。 为了提高中国手语的识别速度，他们在手语识别模块中采用多层识别器【2 引，该方 法可以识别连续词汇2 2 0 个及孤立词汇1 0 6 4 个，之后一年，即2 0 0 0 年，他们研究出 的识别系统【2 6 】是第一个达到5 0 0 0 词以上的中国手语识别系统。清华大学的徐光 佑、祝远新等人主要研究基于计算机视觉的动态孤立手势的识别【27 1 ，通过图像运 动参数，构造了两种表观的变化模型，并将其分别作为手势的表观特征，最后利 用模板分类法进行识别，对1 2 个手势样本进行识别，准确率超过9 0 。之后又给 出连续动态手势识别【2 引，提出动态手势的时空表观模型，平均识别率高达9 7 。 中科院的王西颖等人使用三维跟踪器和数据手套研究了虚拟装配系统中人机交互 的问题【2 9 1 ，并且针对基于视觉的人机交互过程中实时问题，提出了一种快速、连 续的变形手势跟踪方法【3 0 1 。上海交通大学进行了基于机器人的手势识别【3 1 】的研 究，该系统使用双目视觉进行三维手势识别，取得了较好的结果。本实验室中对 手势跟踪与识别方法的研究也做了大量的工作。 尽管在中国手语识别方面已取得了重大进展，但中国手语识别仍然面临着许 多挑战，如：提取手势的不变特征、建立手势之间的过渡模型、划分手势中的最 小识别基元以及基元的自动分割、获取辅助信息、识别手指手势混合手语、识别 非特定人手以及中国手势语法问题等。 1 3 手势建模的难点 手势识别系统中，手势建模至关重要，尤其是在确定识别范围方面，手势建 模起着关键性的作用。由于受到当前计算机视觉技术的限制，对于基于计算机视 觉的手势识别，特征提取仍然是一个难点，特别是在复杂背景下很难获取手势特 征的精细描述，而这很大程度上影响了较大规模词汇量的视觉手势识别系统的实 现。手势建模中主要存在的难点包括： 4 硕士学位论文 复杂背景下手势的精确分割。在实际场景中，背景往往是复杂多变的，光照 强度的变化、阴影问题、手势遮挡、背景中存在具有人体肤色特征的物体等，这 些都给手势的准确分割、跟踪带来了困难。 合适的特征提取方法。手势识别是根据手势的姿态以及变化过程来解释手势 的高层次含义的。如何提取具有不变性的，可以完整描述手势信息的特征是手势 识别的关键技术。但是手势变化具有可弹性，容易产生冗余信息，致使提取手势 特征非常困难。因此，对于手势识别，建立一个有效的简化表观模型尤为重要。 如何提高手势分割的精度以及设计一个更好的手势模型，是亟待解决的问题。 1 4 论文主要研究内容和组织结构安排 论文的课题来源为甘肃省教育厅硕导基金。 论文的研究重点在于采用基于多模式的定位技术，实现复杂背景下的手势分 割；提取手势特征，建立手势模型，利用改进手势几何特征不变矩描述子的方法 对手势进行特征提取；最后对提取的特征的有效性进行验证。 全文一共分为四章，具体章节安排如下： 第l 章绪论：本章首先阐述了本课题的研究背景及意义，然后介绍了表观 手势建模的国内外研究现状，指出了目前该研究领域所存在的问题 和难点，同时指出手势建模的发展趋势。 第2 章复杂背景下表观手势建模方法研究：本章根据基于视觉的手势模型 总结了手势建模过程中各个阶段所用到的一些基础理论和算法。 第3 章图像预处理与手势图像分割：本章研究了手势建模前期的一些工作， 包括手势视频图像的采集，手势图像的预处理以及多模式手势分割。 为下一步进行手势特征的提取做好理论与技术准备。 第4 章手势建模的特征提取方法：本章首先描述了在手势特征提取方面现 有的算法。在识别手势形状方面，提出了一种基于关键点的极半径 矩特征提取方法。 复杂背景下表观手势建模方法研究 第2 章表观手势建模方法简介 2 1 基于视觉的手势模型简介 一个基于计算机视觉的手势模型一般有以下几个模块构成，如图2 1 。该系 统通过摄像机得到视频信息，然后检测视频信息中是否出现手势，如果判断出现 手势则从数据流提取出来，接着建立合适的手势模型并且进行手势分析。最后， 对手势进行识别与分类并将其应用到实际中。 2 2 手势分割方法 图2 1 手势模型 手势分割是将有意义的区域( 即手势) 从包含手势的连续图像序列中划分出 来，是手势识别最先也是最困难的一步。其好坏程度将会对识别效率和识别效果 产生直接的影响【4 】。在该领域内，许多研究者已经做了不少的工作，就其中具有 代表性的方法做详细的介绍。 2 2 1 基于颜色的手势分割方法 肤色信息作为手势图像中最为有效的物理特征，具有稳定和相对集中的特性。 在色彩空间中，肤色在一定范围内具有聚类特性。当排除光照影响之后或者在变 换后的色彩空间中，聚类特性尤为明显【3 2 】。在颜色空间中，肤色会有自己特有的 分布特点，足以与其他事物进行区分。据此，对于手势存在的可能区域，可以较 快地进行确定，从而缩小随后细致精确检测的范围。目前许多研究者利用手势的 肤色特征进行人手的分割。例如：方旭亮【2 l 使用色调空间中的r 、g 值的均值和 方差建立高斯模型识别人手区域；周航等【3 3 , 3 4 1 乖i j 用c i e l a b 肤色模型将手势从图 像中分离出来；路凯等35 1 、李瑞峰和贾建军3 6 1 采用h s v 空间在图像中进行肤色 检测；l i mw e ih o w e 等【3 7 】将对比研究了不同的人手分别在r g b 空间、h i s 空间 6 硕十学何论文 的肤色聚类效果；黄国范，程小平等人3 8 1 则是采用了y c b c r 颜色空间来构建皮 肤颜色分布模型，也得到了非常理想的分割效果。当前景与背景区域存在较强的 对比的时候，采用基于颜色的手势分割方法才比较有效。另外，该方法对于光照 亮度的变化非常敏感，而且当背景区域中出现类肤色物体时，使用基于颜色的方 法进行分割容易造成较大的误差。所以，如果背景颜色分布复杂、光照交化较快， 该方法力不从心。 2 2 2 基于运动信息的手势分割方法 1 ) 光流 光流是指图像灰度模式的表观运动。研究光流场的目的就是为了从序列图像 中近似计算不能直接得到的运动场【3 9 1 。 计算图像的光流特征存在以下两个假设：相邻两帧亮度恒定；相邻两帧图像 移动时不能大于一个像素【4 0 1 。只有这样，光流计算才比较可靠。对于连续的图像， 在相当小的间隔出中，图像中某点位置产生变化，从( 工，y ) 移动到 + a x ，y + 缈) ， 根据限定条件，可以得到i ( x ，y ，t ) = i ( x + a x ，y + 砂，t + a t ) 当f 专0 时，光流基本方程为： 丝鱼+ 丝立+ 塑：o 叙出a 】，出 出 ( 2 1 ) 令l = 罢；= 瓦a i ；= 瓦a i ；“= 石d x ；y = 瓦a y ( 2 2 ) 式( 2 1 ) 可以表示为 l u + i , v + i , = 0 ( 2 3 ) 通过对图像的连接部分利用光流值进行标注，就可以实现运动区域的分割。 通过计算像素点的光流值，连接光流值大的像素点，最终由这些像素点组成的区 域就是要进行分割的目标。 目前存在很多典型的光流场估计方法。i k u s h iy o d a 和k a t s u h k i k os a k a u e 4 1 】在 光流变化在整个图像中比较光滑的假设下，即运动场同样要满足全局平滑性，进 而求解光流。t a e h e el e e 和h o l l e r e d t t 4 2 】结合了变化检测和光流计算，同时采用中 值滤波消除非运动区域的小元素，最后完成对象的分割。a n d r e wd w i l s o n 和 e d w a r dc u t r e l l 4 3 1 同样提出了一下假设前提：运动矢量在小空间邻域上保持恒定， 然后通过加权的最, b - - 乘法完成对光流的估计。刘江华等4 4 1 提取视频中人手运动 的光流特征，然后进行主分量分析，并结合动态时间规整方法进行手势识别。曹 陶科等人【4 5 】在传统的光流算法上进行改进，手势运动引起的光流的计算方法采用 的是4 层高斯金字塔式多分辨率结构，得到的结果比较精确。光流法是一种很普遍 7 复杂背景下表观手势建模方法研究 的估计运动参数的方法，但是实际应用中往往存在孔径问题以及遮挡问题【4 6 1 ，通 常得不到确定稳定的二维运动场。另外，虽然光流法的检测效果不错，但是使用 该方法会占用很多资源，导致实时性不好。 2 ) 差分法以及改进算法 差分法是目前运动分割中使用非常普遍的一种方法。它将当前图像与背景图 像进行差分来检测出运动区域。其算法避免了逐点计算光流估计中的光流场，但 对于光照变化和外物干扰非常敏感。目前许多研究者将注意力集中于不同背景模 型的开发与研究，目的就是减少动态背景对分割的影响。a n a s s e ra n s a n 等人【4 7 j 利用估计出的变化检测模板( c