（计算机应用技术专业论文）基于交互分析的人手三维跟踪方法研究.pdf

飞 l 轴 z h u d e l i a n g u n d e rt h es u p e r v i s i o no f p r o f f e n gz h i q u a n 1 i i il li ii ii l li i i ii iu l y 18 8 3 5 9 0 b a s e do n at h e s i ss u b m i t t e dt ot h eu n i v e r s i t yo fj i n a n i np a r t i a lf u l f i l l m e n to f t h er e q u i r e m e n t s f o rt h ed e g r e eo fm a s t e r o fe n g i n e e r i n g u n i v e r s i t yo f j i n a n j i n a n ，s h a n d o n g ，p r c h i n a j u n e3 ，2 0 1 1 震， 论文作者签名：釜逸整 日期：劢】- j 关于学位论文使用授权的声明 本人完全了解济南大学有关保留、使用学位论文的规定，同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被奁阅和借鉴；本人授权济南大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩 印或其他复制手段保存论文和汇编本学位论文。 | 讨公开口保密( 年，解密后应遵守此规定) 论文作者签名：冀缎导师签名：己琶丛一期：蚍f 济南大学硕t 学位论文 目录 摘要v a b s t r a c t v i i 第一章绪论l 1 1 研究背景1 1 2 研究现状及存在的问题3 1 2 1 手势3 d 模型及虚拟装配平台3 1 2 2 手势分割及交互手势特征提取4 1 2 3 运动人手三维跟踪6 1 3 论文的组织结构l o 第二章基于3 d 人手的虚拟装配平台的设计与实现1 3 2 1 引占1 3 2 2 人手3 d 模型1 4 2 2 1 人手3 d 模型设计1 5 2 2 2 参数没定1 6 2 2 3 大拇指模型1 6 2 2 4 人手模型约束条件1 7 2 2 5 模型实现1 7 2 3 数据手套驱动1 8 2 3 1 数据手套标定1 8 2 3 2 参数对应1 9 2 4 位置跟踪仪驱动2 0 2 5 虚拟装配平台设计及实验2 1 2 6 实验数据整理分析2 3 2 7 本章小结2 7 第三章以精度及实时性为目标的交互手势特征检测方法2 9 3 1 引言2 9 3 2 手势分割3 0 3 2 1 亮度索引和特征向量3 0 基f 交互分析的人手一i 维跟踪方法研究 3 2 2 肤色模型3 1 3 2 3 手势分割算法3 2 3 3 手势特征检测3 3 3 3 1 手势特征及其分析3 3 3 3 2 特征检测算法3 4 3 3 3 手势特征点分离3 5 3 4 实验结果3 6 3 4 1 手势分割3 6 3 4 2 特征点检测3 7 3 4 3 特征点分离4 2 3 5 本章小结4 3 第四章基于交互分析的人手跟踪方法4 5 4 1 引占4 6 4 2 装配交互过程中人手跟踪阶段划分4 7 4 3 人手跟踪自动初始化算法4 8 4 3 1 跟踪初始化一般流程4 8 4 3 2 跟踪自动初始化算法4 9 4 3 3 实验结果5 2 4 4 操作阶段跟踪5 3 4 4 1g p d m s 简介5 4 4 4 2 操作阶段跟踪方法5 5 4 5 选择阶段跟踪5 6 4 5 1 选择阶段实验设汁5 6 4 5 2 选择动作设计5 7 4 5 3 粗略运动模型6 0 4 5 4 模型优化6 0 4 6 选择阶段跟踪方法6 4 4 7 基于交巨分析的人手兰维跟踪方法6 5 4 8 实验环境6 6 i i 济南大学项t 学位论文 4 9 性能分析及实验结果6 7 4 9 1 性能分析6 7 4 9 2 实验结果6 7 4 1 0 本章小结7 0 第五章结论与展望7 3 5 1 全文总结7 3 5 2 下一步研究工作7 4 参考文献7 5 致谢8 l 附录8 3 一、在校期间发表的学术论文8 3 二、在校期间参加的项目8 3 三、在校期间获得的奖项8 3 i l i 济南大学硕上学位论文 摘要 基于自然人手的交互界面是近年来人机交互领域( h c 0 的一个研究热点，运 动人手的三维跟踪技术则是其中一个关键性和基础性问题。对该课题的深入研 究，不仅是对人机交互理论及应用的进一步推进，更是对其所涉及的诸如人工智 能、计算机视觉、人机交互理论及虚拟现实等交叉学科的实际应用有着重要意义。 基于交互分析的人手三维跟踪的主要任务，是通过摄像头对人手运动进行连 续捕捉，利用对手势的交互分析及跟踪理论进行指导，在计算机中重构出与之相 对应的三维人手的位置和姿态，“亦步亦趋 的实现真实人手的各种动作，为更 加自然方便的基于自然人手的人机交互界面的实现奠定良好基础。本课题侧重于 单目视觉条件下的人手三维跟踪，其本质在于利用，1 时刻三维人手模型参数和 当前t 时刻帧图像中的手势观测信息，对f 时刻的三维人手模型的各个参数进行 滤波和预测，以达到对人手跟踪之目的。 相对于人手二维跟踪，三维跟踪技术中存在着更多的技术难点。因为人手是 多关节的非刚性复杂物体，有着较高的自由度( d e g r e eo ff r e e d o m ，d o f ) ，一般可 达2 6 个自由度，在人手的运动过程中，手掌和手指的状态不断发生着变化，如 此高的特征向量维度直接导致了庞大的计算量，致使时间开销过大，这是制约交 互跟踪中实时性的一个瓶颈。而且，如何从视频手势帧图像中获取三维人手模型 的对应参数本身就是一个具有挑战性的课题。 本文依托国家自然科学基金( 6 0 7 7 3 1 0 9 ，6 0 9 7 3 0 9 3 ) “面向实时性和鲁棒性的 自然人手粒子滤波跟踪方法研究 以及山东省自然科学基金( 2 0 0 6 g 0 3 ) “虚拟样 机人机交互界面设计中自然人手的跟踪方法研究”等项目，对在运动人手的三维 跟踪技术中的几个关键问题进行了讨论和研究。其中，重点对人手的运动过程进 行交互分析，建立与该阶段相应的交互模毽对跟踪进行指导和约束，以达到改善 跟踪精度和实时性的目的。以下是本文的创新贡献： 1 、灵活的人手3 d 模型 良好的人手3 d 模型是本课题的基础性工作，首先，利用级联坐标系的方法 详细介绍了一种新的手势模型三维模型的建立，着重改善了传统大拇指的设计缺 陷，使人手模型在各个自由度都能够灵活的模拟真实人手的活动；然后，通过对 自由运动人手的分析，对数据手套和位置跟踪仪结合控制人手模型提出了具体的 v 基f 交覃分析的人。f 二维跟踪方法研究 实现方法。 2 、提出了手势分割及手势特征提取方法 为了对跟踪提供较好的手势观测特征结果，提出了一种快速、准确的复杂背 景下手势特征检测方法。首先利用基于肤色亮度的手势分割方法将手势提取出 来，获得手势轮廓，然后针对不同手型利用改进的曲率算法对轮廓点进行初步筛 选，最后通过对候选点区域内分布特点的分析最终确定特征点位置。并进一步提 出了新的特征点分离算法。与已有算法相比较，主要创新在于提出了基于亮度分 布的肤色模型，增强了手势分割的鲁棒性；引入了手型分析尺度和特征点分布分 析，对手势特征位置由粗到精进行检测，改善了算法的精度和时间开销。 3 、提出了基于交互分析的人手三维跟踪方法 本文提出的跟踪算法建立在对基于3 d 手势的虚拟装配人机交互系统中对手 势交互行为理解的基础上，着重对交互过程进行分析整理，以基于模型的跟踪方 法为基础，采用“分而治之 的策略将整个交互行为在初始化阶段、操作阶段和 选择阶段逐个分析处理。首先，在初始化阶段提出了一种新的自动3 d 手势模型 参数初始化方法，通过操作者和计算机之间不断“相互调整最终获取最佳的 3 d 手势模型初始参数。在后两个阶段分别建立相应的交互模型对跟踪算法进行 指导和约束：在操作阶段，通过高斯过程动态模型方法建立操作阶段的交互手势 模型库；在选择阶段，通过对多种选择方式进行交互分析及对比，选定最佳的选 择动作，对其在轨迹、时间、愉悦度和反馈信息等多角度进行建模及优化，建立 选择阶段的交互模型库。两个阶段的交互模型作为对本阶段粒子滤波算法采样的 约束和指导，避免了在高维空间的盲目采样，从而改善整个装配过程中的人手运 动跟踪方法的跟踪精度实时性。 本文在交互分析这一全新角度对运动人手三维跟踪方法提出一种思路，并通 过虚拟装配平台与国内外其它算法在跟踪精度和时间消耗等方面进行对比，验证 了算法的有效性。 关键词：运动人手跟踪；3 d 人手模璎；手势特征检测；交互分析；人机交互 v i a p p l i c a t i o na n dr e s e a r c h e so fr e l a t i v ed i s c i p l i n e s ，s u c h 觞a r t i f i c i a li n t e l l i g e n c e ( a d ， c o m p u t e rv i s i o n ，h c i ，a n d v r t h em a i np u r p o s eo f3 dh a n dt r a c k i n gb a s e do ni n t e r a c t i v ea n a l y s i si s t oo b t a i n m eg e s t u r e sa n dt h e i rp o s i t i o n so ft h ef r a m ei m a g e sb yc a m e r ac o n t i n u o u s l yw i t ht h e g u i d a n c eo fi n t e r a c t i v ea n a l y s i sa n dt r a c k i n gt h e o r y , t or e c o n s t r u c tt h ec o r r e s p o n d i n g 3 dh a i l dt oa c h i e v et h ev a r i o u sa c t i o n so fr e a lh a n df o rn a t u r a la n d c o n v e n i e n th c ii n m l r e u n d e rt h ec i r c u m s t a n c eo fm o n o c u l a rc a m e rw h i c ht h i si s s u ef o c u s e so n ，t h e 3dh a l l dg e s t u r e sa tt i m etc a nb eo b t a i n e db yp r e d i c t i o na n df i l t e r i n ga c c o r d i n g t ot h e 3 dh a n dg e s t u r e sa tt i m e t 1 a n dt h eg e s t u r e sf r a m ei m a g e s a tt i m e t c o m p a r e dw i t h t h e2 dh a n dt r a c k i n gt e c h n o l o g y , t h e r ea r e m o r et e c h n i c a l d i f f i c u l t i e si n3 dh a n dt r a c k i n g b e c a u s eah a n dg e s t u r e ，0 1 1i t s e l f , i sm u l t i - j o i n t n o n r i g i do b j e c ta n dc h a r a c t e r i z e db ym u l t i f o r m i t yi na p p e a r a n c e t h eh a n dg e s t u r e i s c h a r a c t e r i s t i c so fh i g hd e g r e eo ff r e e d o m ( d o f ) ，g e n e r a l l yu pt o2 7 b e s i d e s ，i t s d i f f i c u i tt og e tt h eg e s t u r e si n f o r m a t i o nd u r i n gt h em o v e m e n t o fh a n db e c a u s eo ft h e s t a _ t l l so ft h ep a l ma n df i n g e r sc o n t i n u o u s l yc h a n g i n g s u c hah i g hd i m e n s i o no f f e a n l r ev e c t o r sd i r e c t l yl e dt ot h eh u g ea m o u n to fc o m p u t a t i o n ，r e s u l t i n gi nt i m ec o s t o v e r h e a d w h i c hi st h eb o t t l e n e c ko fi n t e r a c t i o nt r a c k i n gi nr e a l t i m e a l s o ，h o w t og e t p a r 锄e t e r so f3 dh a n dm o d e lf r o mt h ei m a g e i sac h a l l e n g i n gi s s u e t h i sp f o j e c ti sm o t i v a t e db y , a n df u s e di n t ot h er e s e a r c ho nn a t u r a lh a n dp a r t i c l e f i l t e rt 1 a c k i n gf o rr e a l t i m ea n dr o b u s t n e s s n a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no f c h i n af n o 6 0 9 7 3 0 9 3 ，n o 6 0 8 7 3 0 8 9 ) a n dt h er e s e a r c ho nt h em e t h o do f n a t u r a lh a n d t r a c k i n gi ni n t e r f a c eo fv i r t u a lp r o t o t y p e k e yp r o j e c to f n a t u r a ls c i e n c ef o u n d a t i o n o fs h a n d o n gp r o v i n c e ( 2 0 0 6 g 0 3 ) ”t h ep a p e rr e s e a r c h e s o ns o m eo ft h ek e y v i l p r o b l e m si n3 dh a n dt r a c k i n ga n df o c u s e so nt h ei n t e r a c t i v ea n a l y s i so fh a n d m o v e m e n t st oe s t a b l i s ht h ec o r r e s p o n d i n gi n t e r a c t i v em o d e l st og u i d et h et r a c k i n g ，i n o r d e rt o i m p r o v e t h e a c c u r a c ya n dr e a l t i m e t h ef o l l o w i n ga r ei n n o v a t i v e c o n t r i b u t i o n so ft h i sp a p e r ： 1 ) f l e x i b l ev i r t u a l3 dh a n dm o d e l s f i r s t l y , u s i n gc a s c a d el o c a lc o o r d i n a t es y s t e m sa n dt w od i r e c t i o nv e c t o r so fh a n d , an e w3 dh a n dm o d e lw i t hab e t t e rd e s i g no ft h u m bi sd e v e l o p e d t h ep r e s e n t a t i o no f a r t i c u l a t e do b j e c ti sd i s c u s s e di nd e t a i l s e c o n d l y , w ed e m o n s t r a t eam e t h o dw h i c h s y n t h e t i c a l l yu t i l i z e st h ed a t ag l o v ea n dp o s i t i o nt r a c k e r a c c o r d i n gt ot h ea n a l y s i so f t h er o t a t i n gh a n d ，w ee s t a b l i s h e dt h er e l a t i o n s h i pb e t w e e na n g l e so f p o s i t i o nt r a c k e r a n dm o d e lp a r a m e t e r s f i n a l l y , t h e3 dh a n d - b a s e dv i r t u a la s s e m b l yp l a t f o r mu s i n g v c + + ，o p e n g la n d3 d m a xi s p r e s e n t e d f o rt h ed a t ac o l l e c t i o nd u r i n gt h e m o v e m e n t 2 ) r e s e a r c ho ng e s t u r ef e a t u r e sd e t e c t i o na i m i n ga ti m p r o v i n ga c c u r a c ya n d t i m ec o s t i no r d e rt op r o v i d eb e t t e rr e s u l t so fo b s e r v a t i o n a lc h a r a c t e r i s t i c sf o rt r a c k i n g ，a n o v e lf e a t u r e sd e t e c t i o na l g o r i t h mu n d e rc o m p l e xb a c k g r o u n di sp u tf o r w a r di nt h i s p a p e r f i r s t l y , g e s t u r ei ss e g m e n t e dt oo b t a i nt h ec o n t o u rb yh a n ds e g m e n t a t i o n m e t h o db a s e do nt h ep r o p o s e dc o l o rl u m i n a n c e s e c o n d l y , a c c o r d i n gt od i f f e r e n th a n d t y p e ，f i l t e rt h ec o n t o u rp o i n t st oo b t a i nc a n d i d a t ep o i n t su s i n gi m p r o v e dc u r v a t u r e a l g o r i t h m f i n a l l y , d e t e r m i n et h ea c c u r a t ef e a t u r ep o s i t i o n sb ym e a n so fa n a l y z i n gt h e d i s t r i b u t i o no ft h ec a n d i d a t ep o i n t si nt h e v i c i n i t y a n dt h e n ，an e ws e p a r a t i o n a l g o r i t h mo ff e a t u r ep o i n t si sp r o p o s e d 3 ) t h em e t h o do f3 dh a n dt r a c k i n gb a s e do ni n t e r a c t i v ea n a l y s i s t h ep r o p o s e dt r a c k i n gm e t h o db a s e do nt h e u n d e r s t a n d i n ga n da n a l y s i so f g e s t u r e si n t e r a c t i o n si nv i r t u a la s s e m b l yp l a t f o r m ，a n dt h e n ，w ed i v i d et h ee n t i r e i n t e r a c t i o ni n t ot h ei n i t i a l i z a t i o np h a s e ，o p e r a t i o np h a s ea n ds e l e c t i o np h a s et od e a l w i t hr e s p e c t i v e l y f i r s t l y , i nt h ei n i t i a l i z a t i o np h a s e ，an e wa u t o m a t i ci n i t i a l i z a t i o n m e t h o df o rp a r a m e t e r so f3d g e s t u r em o d e li sp u tf o r w a r d ，b yw h i c ht h eo p e r a t o ra n d t h ec o m p u t e rc a nc o n t i n u o u s l ya n dm u t u a l l ya d j u s t t h e m s e l v e st oo b t a i nt h eb e s t v t i l 济南大学硕_ 卜学位论文 i n i t i a l p a r a m e t e r so f3 dg e s t u r e s ；i n t h el a t t e rt w op h a s e s ，w ee s t a b l i s ht h e c o r r e s p o n d i n gi n t e r a c t i o nm o d e l st og u i d et h et r a c k i n ga l g o r i t h ma si t sc o n s t r a i n t s i n o p e r a t i o np h a s e ，t h el i b r a r y o fi n t e r a c t i v eg e s t u r em o d e l si se s t a b l i s h e db yt h e g a u s s i a np r o c e s sd y n a m i cm o d e l s ( g p d m s ) m e t h o d ；i nt h es e l e c t i o np h a s e ，b yt h e a n a l y s i sa n dc o m p a r i s o n so fs e v e r a lw a y so f s e l e c t e da c t i o n ，t h eb e s to p t i o no fa c t i o n i sd e c i d e d ，a n dt h e n , e s t a b l i s ht h el i b r a r yo fi n t e r a c t i v eg e s t u r em o d e l sw h i c ha l e o p t i m i z e di nt h e i rt r a j e c t o r y , t i m ec o s t ，p l e a s u r ea n df e e d b a c k t h e s et w oi n t e r a c t i v e g e s t u r e sm o d e l sa l eu s e da st h eg u i d a n c ea n dc o n s t r a i n t sf o rt h e i rs a m p l i n go fp a r t i c l e f i l t e r , w h i c hc a na v o i db l i n d l ys a m p l i n gi nh i g hd i m e n s i o n a ls p a c e ，a n di m p r o v et h e p r e c i s i o na n dr e a l - t i m eo fh a n dm o t i o nt r a c k i n gi na s s e m b l yp r o c e s su l t i m a t e l y i nt h i sp a p e r , an o v e l p e r s p e c t i v em e t h o df o r3 dh a n dt r a c k i n g ，a n a l y s i so f i n t e r a c t i o n ，i sp r o p o s e d ，a n do u re x p e d m e n t a lr e s u l t sd e m o n s t r a t et h a t ，c o m p a r e d 、v i t l l o t h e rm e t h o d s ，o u rm e t h o di sf e a s i b l ei ni m p r o v i n ga c c u r a c yr e d u c i n gt i m e c o s ti no u r v i r t u a la s s e m b l yp l a t f o r m k e yw o r d s ：h u m a nh a n dt r a c k i n g ；3dh a n dm o d e l ；g e s t u r ef e a t u r e sd e t e c t i o n ； i n t e r a c t i v ea n a l y s i s ；h u m a n c o m p u t e ri n t e r a c t i o n i x 1 1 研究背景 第一章绪论 人机交互( h u m a nc o m p u t e ri n t e r a c t i o n ，h c i ) 技术，是研究人类与计算机之 间在互相理解的基础上，通过交流和通信在最大程度上为人们完成信息处理、服 务等功能，使计算机成为人们工作学习的有效助手的- - 1 7 学问，但同时，也是一 个颇具挑战性的课题，其本质在于需要在计算机的信息表示空间和人的多维信息 认知空间之间建立一种相互映射【。如何实现更加自然、便利、和谐的人机交互 方式，在计算机领域有着重要的研究意义，也是心理科学，信息科学，智能科学 等多学科交叉的新结合点，并将引领着二十一世纪的计算机信息科学研究的热门 方向。众所周知，现代的人机交互技术正在逐渐的以多元化和人性化设计为主导， 以计算机为中心的设计思想逐步被以用户为中心的设计所取代，并成为交互设计 的主流：人机交互方式逐渐侧霞于适应人类自然的行为习惯，而不再以计算机程 序为主要考虑对象；在交互过程中更多的使用多种模式和通道，通过各种层次和 形式进行交互；新一代智f 毙h c i 的主要发展方向将是基于多媒体和多通道的自 然、智能化、高效、无障碍的交互技术1 2 j 。 以往的用户界面如命令行界面，基于菜单的界面，基于图形的用户界面g u i 等，往往需要人们付出较多的认知努力，通过一个一维的信息矢量来体现交互意 图。这样的界面是单输入输出的，是一种离散而低速的交互，大都以键盘鼠标 为主要交互设备，主要是为了与过去计算机的低性能相适应。在这种情况下，人 的交互意图在分解和组装过程有着较高的出错率，并且对人们的使用也不够有效 自然。以运动人手作为人机交互形式是体现人的意图的一个非常自然方便的方 式，也是新型人机交互界面的核心内容之一。人们在数千年的进化发展中形成了 许多通用的交巨手势，每一个普通简单的手势动作中部包含了丰富的交流信息。 另外，除了日常生活中存在的一些通用手势外，在一些特定的应用领域中也产生 了一系列与之相对应的手势动作，特别是在计算机领域，往往一个精简的手势动 作就能表达很多指令。将手势应用f 人机交互领域，能够较好的解决人机对话的 “瓶颈”问题，改善其效率和方便性。 基p 趸再分析的人手i 维跟踪方法研究 基于数据手套( d a t ag l o v e ) 和传感器的方式是基于人手交互的常用方式，其 原理是通过贴附在人手上的相关设备来获取其运动数据和关节信息，根据人手的 生理解剖建立人手的三维模型，将传感器返回关节数据转化为模型手中相应的参 数，以实现对手模型的实时跟踪的目的。此类方法其优势在于算法比较简单可行， 实时性方面般较好，对背景一般没有特别要求，也无需摄像设备；但数据手套 等数据采集设备往往比较昂贵，而且容易损坏，所以目前还只是属于实验室的“贵 族化 的交互工具；同时此类设备也给人手运动带来了约束和限制，并不能满足 人们自然交互的要求。 随着计算机视觉技术的发展，利用普通摄像头便可以实现对手势运动信息的 非接触性捕获，对使用者来说，这是一种更加自然并符合人们自身行为习惯的交 互方式，摆脱了其他的限制和束缚。近年来，基于机器视觉的自然人手运动的跟 踪已经逐步发展为人机交互领域中的热点问题，尤其是虚拟现实技术的广泛应 用，推动了这一研究的迅速发展。很多研究中都以手势运动作为输入来控制虚拟 三维物体，这些虚拟物体可以利用计算机图形学各方法乍成，例如各种游戏效果 和虚拟装配设备等等。另外，很多粗略的人手跟踪技术中大都把静态的手势识别 技术结合进来，以静态手势的识别结果作为输入命令的一部分，直接对虚拟物体 进行操作。 基于表观的跟踪方法和基于模型的跟踪方法是目前运动人手跟踪方法的两 个主要类别。基于表观的跟踪方法其本质在于建立图像特征空间到人手模型空问 的映射关系，利用图像的特征直接得到手势状态，而不用计算实际的3 d 手势参 数，这种方法实现起来比较快速简单，但不能得到精确的和细微的跟踪细节，主 要适用于通信性手势；基于模型跟踪方法的思想则是需要建立模型特征和图像特 征之间的映射关系，从图像特征中去求解模型的真正参数，以对手势模型进行三 维重构。这种方式更能适用于自由复杂的人机交互任务，但其本身存在着从二维 图像特征到三维模型参数的搜索和最小误差匹配问题，并且牵扯到庞大的高维复 杂计算量，如果跟踪环境足在单目摄像头条件下，还存在自遮挡等一系列问题。 在人机交互领域中，模弛十分重要，类型也比较多。其中从模型的功能出发， 利用其对跟踪算法进行指导和约束的模型是常用的类型。它分析大量用户的特 点，以提高系统的普遍性和适应性，增强鲁棒性和提高效率。我们这罩讨论的足 2 济南大学硕士学伊论史 从交互分析出发，分析用户如何与计算机进行互动的“人机交互模型，结合各 种优化方式，对人手跟踪过程提供较好的约束和指导。目前这种基于模型的跟踪 方式也逐渐成为对人手三维跟踪方法研究领域的一个重要思路。 由于基于人手的人机交互是一个跨学科多领域的新兴研究技术，近几年该领 域的理论与应用也引起了国内外的高度关注【3 】：美国南加州大学近年来的研究计 划中包括了运动人手的实时跟踪与识别，以及在多模态人机交互中的应用；清华 大学和中国科学院分别建立了人机交互实验宅；上海交通大学、浙江大学以及山 东大学则分别建立了智能人机界面实验室，c a d & c g 国家重点实验室，人机交 互与虚拟现实实验室，对计算机3 d 视觉计算、虚拟环境建模与交互、运动人体 的跟踪与识别等各个方面进行全方位研究。 特别是近年来，在国家自然科学基金( n o 6 0 7 7 310 9 ，n o 6 0 9 7 3 0 9 3 ) “面向实 时性和鲁棒性的自然人手粒子滤波跟踪方法研究 ，山东省教育厅科技计划项目 ( n o j 0 7 y j l 8 ) “基于认知心理学的自然人手状态采样方法及其在运动人手跟踪中 的应用研究 ，山东省自然科学基金( n o 2 0 0 6 g 0 3 ) “虚拟样机人机交互界面设计 中自然人手的跟踪方法研究 等项目的支持下1 4 】，对人机交互和虚拟现实以及三 维人手跟踪技术进行了更为深入的理论研究和应用研究，本文正是在这样的研究 背景下进行的。 1 2 研究现状及存在的问题 1 2 1 手势3 d 模型及虚拟装配平台 人手三维跟踪技术的一个基础问题在于解决如何建立一个灵活自由的人手 3 d 模型以及包含其在内的虚拟交互平台，以达到对跟踪过程中的手势运动各个 数据信息进行采集整理及研究目的。 关于手势模型的3 d 建模，早期在j l e e 和t l k u n i i 的系统中，指尖信息被用 来构造三维模型f i 6 1 ；在j m r e h g 币阳t k a n a d e 的“d i g i t e y e s ”系统中【7 】手指用圆 柱体来建模，指尖用半球体来建模。如今更逼真的模型更多是采用3 d sm a x 等 软件建立3 d 静态模型，再导入虚拟环境中。但总的来看，人手模型的主要不 足在f ： l 、对于大拇指，很多模型只注意了其外观上的表现效果，只考虑了拇指的 3 基于交互分析的人手维跟踪方法研究 可见部分，却忽略了大拇指与其它手指在功能上的实质区别。本质上，大拇指也 是由三段指节构成，含指根的一节隐藏在手中，而隐含的指根具有2 个自由度， 对拇指功能的影响是很大的。 2 、模型的功能不够完整，不能表达足够手型，缺乏通用性。 3 、缺乏效率，计算繁琐。 模拟人手的重要工具无疑是数据手套，通过数据手套上面的传感器系统，可 以将实时人手的动作信号传给计算机，继而在虚拟现实系统中鼋构手势模璎。而 通过数据手套与位置跟踪仪的结合，可以得到现实人手的手势、动作及位置，来 控制手势模型在系统中完成如抓取，移动，安装物体等装配基本动作，如在现实 世界中样真实方便，并且可以对手势运动中的实时数据进行捕捉采集。这种基 于3 d 人手的虚拟平台作为一种自然、高效的人机交互界面，是虚拟现实技术中 常用手段，被广泛地应用在虚拟训练、虚拟装配、远程手术、机器人控制及手语 识别等各个领域1 2 。1 5 1 。 目前虚拟交互平台有很多，但基于自然人手运动作为操作指令的平台并不是 很成熟，很多平台都只是利用简单的手势识别作为指令输入，操作者在进行交互 时需要承担较大的认知负荷，不能自由方便的进行交互；另一方面，大多人手3 d 模璀并不能够实现对自然人手的很好的重构，其灵活性和实用性都在一定程度上 加以限制，而且精度也有待进一步提高。 1 2 2 手势分割及交互手势特征提取 手势分割是自然人手跟踪的基础和前提，稳健的手势分割技术是所有基于计 算机视觉应用系统成功与否的关键步骤，其主要目的是为了对基于摄像头的跟踪 系统提供较好的手势观测特征值。现有的手势分割技术主要分为基f 物理的肤色 检测和基于统计的肤色检测。基于物理的肤色检测技术主要从肤色的物理构成层 面以及在摄像头中的光线反射模型进行分析，例垒l l a n g e l o p o u l o u l l 6 1 ，s t o r r i n g t l 7 1 ， a n d e r s o n 1 s l 等建立的物理模型都是基于此原理；而主流的检测方法主要集中在基 于统计的肤色检测，因为人的肤色特征相对稳定而且与背景物体颜色一般能够明 显区别，具有平移，旋转，缩放等不变性，实用性很强。c h a i l l 9 j 等采用y c b c r 色 彩空间除去亮度分最y 的c b c r 面，若输入像素颜色属于c b ： 7 7 ，1 2 7 】和 4 厂一 一 济南大学硕上学位论文 c r ： 1 3 3 ，1 7 3 限定的区域，则判定为肤色像素。z h a n g l 2 0 l 等基于在不同的亮度y 上 的区域不同而采用y u v 空间以y 的范围和u v 面中的色度范围进行检测。 y a n 9 1 2 1 1 利用i e n 化的r g b 颜色空间采用单高斯或者混合高斯模型对肤色进行建 模。传统方法的主要问题在于肤色在自然界中对光线很敏感，尤其是复杂背景下 肤色分割的鲁棒性不够；而精细的分割方法实时性较差，作为人手跟踪的前提步 骤占用的时间消耗过多。 为了给手势跟踪系统提供有效的观测特征值，快速、准确的交互手势特征检 测方法是在基于粒子滤波的三维人手跟踪的研究中2 2 1 的另一个核心问题，需要在 当前帧图像中有效地获取手势特征点，通过三维转换以确定3 d 人手模型的参数， 其中的特征包括手势的轮廓信息中的指根、指尖，以及在手势出现自遮挡后，手 指末端相应的关节点等。 早期的一些系统中都采用了较为简单的方法，利用辅助颜色的标记手段来获 取这蝗特征1 2 3 2 4 1 ，比如在操作者手上打上颜色m a r k ，或者带上颜色手套等。但 随着人们对更加自然的交互系统的迫切需求，上述方法已经很不适用了。 c n ”o l k e r 和h r i t t e r l 2 5 j 使用g a b o r 滤波器及具体的神经网络结构以提取指 尖位置。在李琪等人基于神经网络的手势识别系统中【2 6 1 ，首先利用人工神经网络 系统结合先验信息检测2 d 手势的指尖位置，然后将二维位置信息转换为3 d 人手 参数。 j a m e sd a v i s 和m u b a r a ks h a h l 2 7 1 根据先验知识利用连通算法来判定手指范 围，对于t n (