（电路与系统专业论文）面向交互的手势识别研究.pdf

r e s e a r c ho ni n t e r a c t i o n o r i e n t e d g e s t u r e r e c o g n i t i o n at h e s i s s u b m i r e di np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t f 0 rt h em a s t e rd e g r e ei nc i r c u i t s y s t e m b y h u a n g l u p o s t g r a d u a t ep r o g r a m c o l l e g eo fp h y s i c a ls c i e n c e t e c h n o l o g y c e n t r a lc h i n an o r m a lu n i v e r s i t y s u p e r v i s o r ：l i ur o n g a c a d e m i ct i t l e ：a s s o c i a t ep r o f e s s o r s i g n a t u r e a p p r o v e d m a y 2 0 1 1 硕士学位论丈 m a s t e r st h e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 作者签名雀冰帆期年如今9 日 学位论文版权使用授权书 学位论文作者完全了解华中师范大学有关保留、使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属华中师范大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和电子版，允许学位论文被查阅和借阅； 学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手 段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密，在年解密后适用本授权书。 非保密论文注释：本学位论文不属于保密范围，适用本授权书。 作者签名舻作者签名他删 日期：b 年孓月日 导师签名：别凳 日期：) 。1 1 年夕月弓。日 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程”，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库 中全文发布，并可按“章程 中的 规定享受相关权益。回童诠塞埕銮唇溢卮! 旦坐生；旦二生；旦三生筮查! 作者签名： 日t 1 年少日 导师签名： 日期：) “年岁月争日 硕士学位论文 m a s t e r st h e s i s 中文摘要 随着人类文明程度和人们生活水平的不断提高以及计算机科学技术的发展，人 机交互技术成为当前信息产业竞争的焦点。人们希望未来人机之间的信息交互能够 做到像人与人之间的信息交互一样自然、准确和快捷。自然人机交互是使计算机能 够通过自然、友好的交互方式准确识别、理解和执行交互对象表达的内容、思想和 意图。 手势是一种自然直观的人机交互模式，随着移动计算机技术的发展和逐步普及， 基于可穿戴设备的手势交互成为当前人机交互领域的研究热点。目前主流的手势识 别研究通常采用图像处理的方法。由于该方法对于一些外部环境和人群场所有着较 强的依赖性和局限性，难以取得突破性进展。本文结合自然人机交互模型等相关知 识对基于三维加速度传感器的手势识别进行研究。 主要研究工作如下： 首先，介绍了人机交互的相关知识，并对自然人机交互的手势研究在国内外的 发展现状进行了综述。 结合自然人机交互的特点设计了一组手势交互动作，并介绍基于加速度传感器 的手势动作采集方案。 通过数据解析分析了通过采集主手腕的三维加速度信号进行手势动作识别的 有效性。 针对手势信号的不稳定性和相似性等问题，提出了一种基于加速度传感器的实 时手势信号检测和识别方案。手势加速度信号经自动检测和预处理后，构造离散隐 马尔可夫模型进行手势识别。 在理论研究的同时，通过实验分别对特定人和非特定人的手势数据进行分析， 证明本文设计的方案对于手势动作的识别有效性和广阔的应用前景。 关键字：手势识别；自然人机交互；加速度传感器；隐马尔可夫模型 硕士学位论丈 m a s t e r st h e s i s a b s t r a c t a l o n g 诵t ht h eg r a d u a ld e v e l o p m e n to fh u m a nc i v i l i z a t i o n ，h u m a nl i v i n gc o n d i t i o n a n dc o m p u t e rt e c h n o l o g y ，h u m a n c o m p u t e ri n t e r a c t i o ni s b e c o m i n gt h ef o c u so f i n f o r m a t i o ni n d u s t r i a lc o m p e t i t i o n i ti sh o p e dt h a ti nt h ef u t u r et h ei n t e r a c t i o nb e t w e e n h u m a na n dc o m p u t e rc a nb ea sn a t u r a l ，a c c u r a t ea n de x p r e s sa st h a tb e t w e e nh u m a n t h e m s e l v e s n a t u r a lh u m a n c o m p u t e ri n t e r a c t i o ni st h et e c h n o l o g yt h a te n d o w sc o m p u t e r 埘t l ls u c hf u n c t i o n sa sr e c o g n i z i n g ，u n d e r s t a n d i n ga n dc a r r y i n go u to r d e r s ，t h o u g h t sa n d i n t e n t i o n se x a c t l yt r a n s f e r r e df r o mt h ei n t e r a c t i o ni nan a t u r a la n df r i e n d l yw a y g e s t u r ei sak i n do fn a t u r a la n da u d i o v i s u a lm o d e lo fh u m a n c o m p u t e ri n t e r a c t i o n a l o n gw i t ht h ed e v e l o p m e n ta n dp o p u l a r i z a t i o no fm o b i l ec o m p u t e rt e c h n o l o g y ，g e s t u r e i n t e r a c t i o nb a s e do nw e a r a b l ee q u i p m e n th a sb e c o m ear e s e a r c hh o tp o i n ti nt h ef i e l do f c u r r e n t h u m a n - c o m p u t e ri n t e r a c t i o n a tp r e s e n t ，m a i ns t r e a mg e s t u r er e c o g n i t i o n r e s e a r c hu s u a l l ya d o p t sm e t h o do fi m a g ep r o c e s s i n g b u ts i n c et h i sm e t h o di st o om u c h d e p e n d e n to ns u r r o u n d i n g ，p e o p l ea n dl o c a t i o n , i tc a nh a r d l ym a k ea n yb r e a k t h r o u g h t h i st h e s i sm a k e sas t u d yo n g e s t u r er e c o g n i t i o n b a s e do nt h r e ed i m e n s i o n a l a c c e l e r o m e t e rs e n s o r s b y c o m b i n i n g w i t hs u c hr e l e v a n t k n o w l e d g e a s n a t u r a l h u m a n c o m p u t e ri n t e r a c t i o nm o d e l t h em a i nw o r ko ft h i st h e s i si sa sf o l l o w s ： f i r s t ，i ti n t r o d u c e sr e l e v a n tk n o w l e d g eo fh u m a n - c o m p u t e ri n t e r a c t i o n , a n dr e v i e w s t h ep r e s e n ts i t u a t i o no fd e v e l o p m e n to fg e s t u r er e s e a r c ho nn a t u r a l h u m a n - c o m p u t e r i n t e r a c t i o ni nb o t hh o m ea n da b r o a d s e c o n d ，i td e s i g n ss e t so fg e s t u r eo fn a t u r a lh u m a n - c o m p u t e ri n t e r a c t i o na c c o r d i n g t ot h ec h a r a c t e r i s t i co fh u m a n - c o m p u t e ri n t e r a c t i o n , a n di ti n t r o d u c e sg e s t u r e sc o l l e c t i n g p l a nb a s e do na c c e l e r o m e t e rs e n s o r s t h e n ，i td o e sa l la n a l y s i so ng e s t u r er e c o g n i t i o n se f f e c t i v e n e s sb yd e c o d i n gd a t ao f t h r e ed i m e n s i o n a ls i g n a lc o l l e c t e df r o mm a i nw r i s t f i n a l l y , t h ea u t h o rp u t s f o r w a r da ni m m e d i a t e g e s t u r es i g n a ld e t e c t i n ga n d r e c o g n i z i n gp l a nb a s e do na c c e l e r o m e t e rs e n s o r si nt e r m so fg e s t u r es i g n a l su n s t a b i l i t y ， s i m i l a r i t ya n de t c a f t e rg e s t u r ea c c e l e r o m e t e rb e i n ga u t o d e t e c t e da n dp r e p r o c e s s e d ，a d i s c r e t eh i d d e nm a r k o vm o d e l ( d h m m ) i sb u i l tt oc a r r yo u tg e s t u r er e c o g n i t i o n i，filfljlijilflllljiiilifliiiillllliijlliiiiiiiliiljllilillillillililiiiii i na d d i t i o nt ot h e o r e t i c a lr e s e a r c h ，t h i st h e s i sd o e sa n a l y s i so ng e s t u r ed a t ao fb o t h s p e a k e rd e p e n d e n ta n ds p e a k e ri n d e p e n d e n tr e s p e c t i v e l y ，t h r o u g he x p e r i m e n t ，t h e r e b y p r o v i n gt h ep l a nd e s i g n e db yt h ea u t h o rt ob ee f f e c t i v et og e s t u r er e c o g n i t i o na n dt ob e a p p l i e de x t e n s i v e l y k e yw o r d ： n a t u r a lh u m a n - c o m p u t e ri n t e r a c t i o n ；g e s t u r er e c o g n i t i o n ； a c c e l e r o m e t e rs e n s o r s ；h i d d e nm a r k o vm o d e l ： 硕士学位论炙 m a s t e r st h e s i s 目录 中文摘要i a b s t r a c t i i 第一章绪论。1 1 1 研究背景及意义1 1 2 人机交互3 1 2 1 人机交互概述3 1 2 2 影响人机交互的因素6 1 2 3 交互方式7 1 2 4 基于手势的自然人机交互8 1 3 手势识别研究现状9 1 3 1 基于视觉的手势识别1 0 1 3 2 基于传感器的手势识别1 1 1 3 3 不同研究的对比1 3 1 4 本文研究内容1 4 第二章基于加速度传感器的手势识别研究1 6 2 1 信号采集方案的设计1 6 2 1 1 手势设计方案1 6 2 1 2 手势信号采集方式一1 7 2 2 手势加速度信号采集1 9 2 3 软件设计2 1 2 3 1 手势加速度采集系统流程2 1 2 3 2 信号滤波2 2 2 3 3 手势信号检测2 4 2 4 手势加速度信号解析2 6 第三章手势识别算法3 0 3 1 数据预处理3 0 3 2 特征提取31 硕士学位论文 m a s t e r st h e s i s 3 3 离散隐马尔可夫模型3 3 3 4 基于离散隐马尔可夫模型的手势识别算法3 5 3 4 1 离散隐马尔可夫模型训练3 6 3 4 2 离散隐马尔可夫模型识别3 7 第四章实验及结果分析 ：；8 4 1 实验方案3 8 4 1 1 数据采集设备的佩戴一3 8 4 1 2 手势动作定义及采集。3 9 4 2 检测算法评估4 1 4 3 试验及数据分析4 1 4 3 1 特定人的手势识别数据分析一4 2 4 3 2 非特定人的手势识别数据分析4 4 4 4 实验小结4 7 第五章总结与展望4 8 5 1 本文总结4 8 5 2 前景展望一4 9 参考文献 致谢。5 5 硕士学位论丈 m a s t e r st h e s l s 1 1 研究背景及意义 第一章绪论 人机交互( h u m a nc o m p u t e ri n t e r a c t i o n ，h c i ) 【l 】是用户与计算机设备之间或 者以计算机设备为媒介进行的一种通信方式，是人与计算机之间各种符号和动作的 信息交换。 随着科学技术的飞速发展，人机交互技术及其应用逐渐地改变着人们的生产和 生活方式。最早的人机交互可以追溯到1 8 8 0 年，美国人口调查局的赫曼霍列瑞斯 为了解决手工处理人口普查数据的繁复性，设计了基于机器制表的穿孔卡“计算 机 ，这种人机交互是通过“卡槽”来定位信息，然后用机器来读懂它，以完成人 机交互任务，解决了纯人工方式的效率低下和资源浪费等问题。此时的人机交互只 能通过开关和按钮组成的简单机器进行信息的传递和反馈，如面板开关、显示灯和 打孔纸带等。这种人机交互方式虽然比纯人工的方式在时间效率、资源损耗等方面 有着明显的提高，但它功能单一，独立性差，生产效率低。 直到上个世纪计算机的出现，人机交互进入到了一个新的时期。基于计算机的 人机交互要求专业的技术人员通过键盘和计算机语言进行人机信息交互，这种严格 的要求在一定程度上限制了计算机的普及。此后随着鼠标和w i m p 界面的出现，降 低了对用户的专业要求，使计算机迅速普及，为人们的生活、生产都带来了很多便 利。同时，作为人与计算机之间沟通桥梁的人机交互技术也引起了研究者们的广泛 关注，使得手写板、光笔、操作杆等新型的交互设备相继出现。 随着计算机和互联网的飞速发展，人们逐渐意识到已有的交互方式依旧存在着 一定的缺陷：单一性，交互设备只能通过字符、图片、声音等二维的信息进行交互； 对用户的局限性，如鼠标、键盘将人们限制在一个很小的范围内且手在输入信息时 就无法再兼顾其他的操作；一定的专业性，对交互机器的操作需要有一定的认知基 础并对如何操作进行短时间的学习等一系列的问题。所以人们渴望有更加丰富多样 的人机交互方式来改变这一现状。 近年来，针对键盘和鼠标交互的弱点，逐步发展了一些新的交互方式，如：人 脸识别、语音识别、手写文字识别以及手势识别等，它们以人为中心，以多媒体、 多通道为交互模式实现对人机交互技术的升级。 体感游戏的出现让更多的人了解和体验到了基于自然人机交互技术自然、友 好、高效等优点。自然的人机交互是为了使人机间的交互更加舒适自然、富于人性 硕士学位论丈 m a s t e r st h e s i s 化，希望让用户更“直接、直观 的与机器交互，让机器去学习人们的思维习惯， 按照人们平时的自然习惯完成交互任务，并通过手势、语音、面部表情等多种人类 感官的交互方式去完成交互任务【z j 。 开创体感游戏先河的w i i ( 任天堂) 例和最近正热的微软k i n e c t 体感游戏设备与 传统的交互设备相比，不仅使用了全新的交互方式和信息类型，而且将人机交互建 立在友好、自然的基础上，让用户更加自然愉悦、高效率的完成交互任务。 计算机及相关技术以不同的形式和形态嵌入到人们的日常生活中，并逐步改变 了人们的生产和生活方式，其表现形式也越来越隐蔽，例如：l g 公司研发的具有 电话功能的g d 9 1 0 手表，用户可以通过触摸屏的方式对手表进行操作，也可以通 过语音的方式进行呼叫功能，还可以通过蓝牙耳机进行视屏对话；可远程控制i p o d 的n i k e 运动手表不仅可以提供运动时间还能通过手表中自带的传感器获取用户的 运动距离、热量消耗及运动的步幅等一些运动参数信息并通过表盘显示出相应的数 据，使用户可以随时随地的对自身运动状态进行灵活的调整。装有运动感应装置的 i p h o n e t 4 手机，可以依据手机放置的角度，自动横向或者纵向显示、投影；s o n y e r i c s s o n l 5 】w 9 1 0 i 通过摇晃手机可以对手机播歌进行操作；s a m s u n g 【6 j 公司也推出过 一款手机可以通过挥舞号码来拨号以及画出。和来表示y e s 和n o 。 以上这些基于自然人机交互技术的应用，通过人们经常使用的手势作为信息的 交互方式，说明了手势识别作为自然人机交互技术在应用领域具有极大开发潜力。 手势识别是生物特征识别的一个新兴领域，它旨在根据人的手部空间位置的改 变来识别人的意图并作出相应的反馈，具有极其广泛的应用前景和潜在的经济价 值。国内外已有许多学者从不同的角度、不同的层次对手势识别及其应用进行了研 究。国际上许多知名大学和研究机构如英国南安普顿大学、美国麻省理工学院、卡 耐基梅隆大学等，都广泛的展开了对手势识别的相关研究；日本、瑞士、加拿大和 中国的一些研究机构和大学也逐步进入这一研究领域。 手势识别的研究涉及到多种学科相关知识的融合，如：模式识别、计算机视觉、 图像处理、机器学习、概率统计、生理学、心理学和计算机语言等。手势研究典型 的应用领域有：智能控制、运动分析、虚拟现实等。智能控制主要用于对机器的无 线控制，如投影、p c 机、电视音响等，利用手势识别技术可通过不同的动作变换 对机器进行命令操作；运动分析及手势分析可以应用在体育运动、舞蹈技能等训练 中，目前的医学手势分析还可提供诊断和治疗支持；手势分析在视频会议、人物动 画、虚拟工作室等虚拟现实场合也有相当广泛的应用。 2 一， 硕士学位论史 m a s t e r st h e s i s 1 2 人机交互 1 2 1 人机交互概述 人机交互，顾名思义就是人与机器之间的“交流和互动”，二者按照一定的规 则和某种形式的信息来共同完成一些任务。计算机有无限量的存储能力、计算能力、 无数次准确重复任何动作的能力，但是它不能像人一样针对任务中出现的各种情况 灵活地进行判断与决策，所以机器只能成为人们提高效率的工具。如何让二者各自 充分发挥自己的优势同时让用户自然、高效地完成任务成为了近年的研究热点【7 声j 。 人机交互的主体包括计算机用户和计算机，如图1 1 所示，描述了典型的人机 交互系统的信息流程和工作方式。 r 一而褫 r 一舻一云酊一面万1 f l ；圈_ 口争o； 魄滋边巍泷翻 隧盗笾溢边幽黝魄磁岁： 图1 1 人机交互系统的信息处理模型 如图1 1 所示，计算机输入设备接收用户的各种操作指令并将这些操作指令转 化成“专用语言”输入计算器中进行交互，然后通过输出设备将系统的信息通过人 们可以感知到的方式反馈给用户，其中计算机系统的状态、行为过程的实现和操作 都是通过人机界面来显示的。 人机交互界面的发展，通常可以分为初创期、奠基期、发展期和提高期四个阶 段，如表1 1 所示。 3 西一触 + 盈士 至 甲。 表1 1 人机交互的发展 初 1 9 5 9 年b s h a c k e l 提出关于计算机控制台设计的人机工程学论文，该论文被认为是人 创 期 机界面的第一篇文献：1 9 6 0 年，l i k l i d e rj c k 首次提出“人机紧密共栖( h u m a n - c o m p u t e r c l o s es y m b i o s i s ) ”的概念，被视为人机界面学的启蒙观点；1 9 6 9 年在英国剑桥大学召 开了第一次人机系统国际大会，同年第一份专业杂志“国际人机研究( u m m s ) ”创 刊。 奠 1 9 7 0 年到1 9 7 3 年期间出版了四本与计算机相关的人机工程学专著，为人机交互界面 基 期 的发展指明了方向：同一时期成立了两个h c i 研究中心：一个是英国的l o u g h b o c o u g h 大学的h u s a t 研究中心，另一个是美国x e r o x 公司的p a l oa l t o 研究中心，该中心研 制出原型机s t a r ，形成了以窗1 3 ( w i n d o w s ) 、菜单( m e n u ) 、图符( i c o n s ) 和指示装置 ( p o i n t i n gd e v i c e s ) 为基础的图形用户界面一w i m p 界面。 发 随后学术界出版了六本专著，对最新的人机交互研究成果进行总结，人机交互学科逐 展 渐形成了自己的理论体系和实践范畴的架构。由于人机界面( 人机接口) 技术的拓延， 期 人们开始强调计算机对于人的反馈交互作用。“人机界面( h u m a n c o m p u t e r i n t e r f a c e ) ”一词被“人机交互( h u m a n c o m p u t e ri n t e r a c t i o n ) ”所取代。h c i 中的“i ”， 也就由”i n t e r f a c e ( 界面接1 2 1 ) “变成了”i n t e r a c t i o n ( 交互) ”。 提 在1 9 9 6 年以后，随着高速处理芯片，多媒体技术和i n t e r n e tw e b 技术的迅速发展和普 高及，人机交互的发展重点放在了智能化交互，多模态多通道多媒体交互，虚拟交互 期以及人机协同交互等方面，也就把人( 而不是技术) 放在了人机交互的中心位置。 在人机界面的发展过程中，分别以命令行界面概念模型、w i m p 界面概念模型 和多通道人机界面概念模型为三个典型代表。 臣小； 图1 2 命令行界面概念模型 4 命令行界面是人机界面中最早的界面，如图1 2 所示，为命令行界面概念模型。 这一时期人们只能通过键盘输入信息，性能单一，输出的界面只有静态的字符，且 操作者必须具有专业知识，使用计算机语言进行交互任务，限制了计算机普及的速 度和范围，交互方式的自然性和效率都很差。 r 一一一”一一一一一一1 l lj 一目斗 一巨斗 w l m p 界面i i l 毋卜i b i 。 l j 图1 3w i m p 界面概念模型 随着高分辨率图形显示设备、鼠标定位设备等硬件设备和软件技术的进步，计 算机进入普及阶段，使人机界面进入图形用户界面( g r a p h i c a lu s e ri n t e r f a c e ，g u i ) 时期。这一时期，最为普及和成熟的是w i m p 界面，它是以窗口、图标、菜单和指 示装置为基础的人机界面技术，典型的代表就是w i n d o w s 系统。图1 3 为w i m p 界 面概念模型，与图1 2 比较，可以看出：增i j n - f 通过鼠标来完成输入命令的新方式， 界面的输出也变为了静态动态二维图形图像等其他的一些简单的多媒体信息，人 机交互的自然性和效率也得到了很大的提高。 图1 4 多通道人机界面概念模型 5 硕士学位论文 m a s t e r st h e s i s 无论是命令行界面还是图形用户界面都属于单通道的人机交互界面，信息多是 以字符、图片等单一形式的多媒体格式进行信息交互。随着通信带宽的提高，出现 虚拟现实技术，多媒体和可视化的计算机系统，交互信息的方式和内容更加丰富多 样。于是出现了多通道交互人机界面( m u l t i m o d a lu s e ri n t e r f a c e ，m m i ) ，例如基于 视线跟踪、语音识别、手势识别、感觉反馈等新的交互技术。如图1 4 所示，在新 的人机交互中，交互方式更加符合人际间的自然交流习惯，如：手势、语音、眼神、 表情等，交互间的通道的传输也可以是串行并行、互补独立等多种选择。如图1 4 所示为多通道人机界面概念模型。 将命令行界面概念模型、w i m p 界面概念模型和多通道人机界面概念模型进行 对比，如表1 2 所示，可以看出随着科技的发展，人机交互由单一化向多元化发展， 由低效率向高效率发展，所有的一切改变都是为了更好的让人们借助机器更加高 效、自然、舒适的完成人机交互任务。 表1 2 三种主要的人机界面的比较 命令行界面w i m p 界面 多通道人机交互界面 输入单通道：键盘单通道：键盘、鼠标等多通道：眼、口、手等 输出单通道：字符双通道：字符、图像、声音多通道：字符、图像、声音等多 感官感觉 界面 静态字符 二维的静动态所媒体信息2 d 3 d 多媒体信息 交互专用机器语言增加点击式的命令输入非精确的输入方式 方式 优点 准确的完成命令效率有所提高； 自然高效；易操作；可广泛的适 用于广泛的用户群体 缺点低效，不易操作；要求操作者一定知识基础； 对设备有较高的要求 不易普及；操作精度有较高要求； 使用群体范围小；有一定的局限性； 1 2 2 影响人机交互的因素 自然的人机交是希望人一机交互能够做到像人与人之间信息交互一样地自然、 准确和快捷。这些信息的交互方式包括通过视觉、触觉、听觉等多种感官方式，使 计算机能够通过这些交互方式进行准确、高效的识别、理解和执行交互对象表达的 内容、思想和意图。而影响人机交互设计的主要因素可以从两个方面进行考量：人 6 硕士学位论炙 m a s t e r st h e s i s 的因素和外界环境的因素 9 , 1 0 j 。 1 ) 人的因素 交互设计应该以用户体验为基础进行，人机交互设计需要从用户的认知度、使 用经验以及在操作过程中的感受等角度出发，设计出符合人们要求的产品，让用户 在使用产品时能高效、愉悦地完成交互任务。 一个好的人机交互设计需要从安全、有效、高效、较高的客户愉悦感和高可用 性这些方面进行，高可用性是针对用户而言的，分为易学、高执行力、低错误率、 高主观满意度和持久的吸引力。交互设计的各种标准，最终目都是为了让用户自然、 准确和快捷的完成交互任务。 2 ) 环境因素 地域、性别等方面的不同使得人们对很多事情都有不同的信息接收和反馈，例 如不同地域的人们有着不同的语言、文字、习惯、风俗、行为方式等多方面的差异。 不同的文化背景和认知水平会也影响交互效果。认知过程其实就是一个信息加工的 过程，在外界环境中身体的各个感官受到刺激产生一些信息( 如听觉上的视觉上的 等等) ，人们会把这些信息过滤处理后将有用信息“输入 脑，随后转换成心理活 动，直接支配个人的行为【1 l 】，所以需要选择大众认知度高的相关事物或者是得到大 部分人的共同认可的( 类似如阿拉伯数字这种国际通用的数字字符) 事物。相同的 手势在不同的地方表达的意思可能完全不一样，出现错误时会造成误解甚至纠纷和 冲突，所以在选择手势作为交互方式时，上述问题都要进行考虑和设置。 影响人机交互质量的除了用户本身之外还包括系统和一些物理因素。交互系统 主要依靠计算机的计算能力、存储能力、网络速度等和一些算法的更新。而物理环 境则包括一些诸如温度、光线、声音和颜色等条件，这些因素也会直接影响交互设 备的数据输入从而导致任务完成的效果。 1 2 3 交互方式 由表1 2 可知，伴随着科技的发展，人机交互的交互方式逐渐由精确的交互方 式向非精确的交互方式过渡。 精确的交互是指用户通过精确的交互手段进行交互信息的输入，在生活中比较 常见的有：1 ) 基于d o s 的操作指令语言输入。2 ) 通过鼠标、键盘等定位功能的 设备进行精确输入。 由于多通道的交互系统的开发，人们不再聚焦在如何利用一种精确交互技术来 取代另一种精确交互的技术上，而是试图向非精确交互技术进行转变与开发。 7 硕士学位论吏 m a s t e r st h e s i s 非精确的交互是指用户利用不能精确输入的交互手段( 如语音识别系统等) 进 行交互。在人们的生活中经常通过非精确的方式进行信息交互，所以非精确的交互 式是符合人们习惯的一种交互方式。非精确的人机交互可以通过很多方式进行信息 的交互【1 2 , 1 3 , 1 4 , 1 5 , 1 6 ，比较常见的有： 1 ) 语音识别：以语音信号作为输入，直接操作机器完成交互任务。语音交互 系统最明显的两个优点是：语言的输入比键盘输入更快速有效；在多任务的情况下， 为用户提供了一个额外的反应通道，使手的任务减轻，特别是当它需要同时处理两 个以上的操作时，例如现在的一些车载g p s 提供语音输入及输出，为驾驶员在无法 空出手和眼来操作导航时提供了方便，更高效的分配人们的可利用资源。 2 ) 姿势识别：主要利用数据手套等设备对人的手或者其他身体部位的运动进 行追踪识别以完成交互任务。例如“人机手语翻译系统 ，就是结合对手势动作和 视觉表情的识别构成的表达系统，为聋哑人构建良好的交流平台。 3 ) 视觉追踪：主要利用高清晰度摄像机和电磁、超声波、不可见红外线等方 法来探测人眼方向从而完成交互任务。 1 2 4 基于手势的自然人机交互 手势作为肢体语言的一种，它自然直白地表达了人们的情感、态度和意思。手 势识别是自然人机交互方式中的一种。在现实生活中，人通过视觉、触觉和力觉可 以用手任意操纵空间中的真实物体，人的双手已成为人类与第三方世界交流最直 观、最自然、最现实的媒介【1 7 1 。手势识别是多通道交互的一个主要研究领域，其本 质是根据用户的手势，识别出所表达的含义，它以人手直接作为计算机的输入设备， 人机间的通讯不再需要中间的媒体，用户可以简单地定义一种适当的手势来和周围 的计算机进行交互。 手势动作可以分为静态的手势和动态的手势，静态手势动作可以通过手形( 1 z 的位置和手的方向等来手部信息) 表示用户的意图；动态的手势动作，则通过手势 在时间和空间中的运动改变信息来表示更高级、复杂的手势信息。 随着科学技术和人类社会的前进，以及人们对人与机器之间自然、高效的交互 要求，手势识别技术在模式识别和人机交互领域在快速地发展。手势研究典型的应 用领域有：智能控制、运动分析、虚拟现实等。 智能控制主要用于对机器的无线控制，如投影、p c 机、电视音响等，利用手势 识别技术可通过不同的动作变换对机器进行命令。 运动分析指手势分析可以应用在体育运动、舞蹈技能等训练中，目前的医学手 8 、： 硕士学位论走 m a s t e r s t h e s i $ 势分析还可提供诊断和治疗支持；未来的计算机必须具备感知外部环境的能力，手 势分析可用于人的识别和行为理解；手势分析在视频会议、人物动画、虚拟工作室 等虚拟现实场合也有相当广泛的应用。 虚拟现实【1 8 】是指在虚拟环境中直接用手去操作特定的工具进行虚拟制造、装配 和产品设计等。例如s a t o y 设计的系统可以在虚拟环境中直接通过手势来操作漫游 方向或是漫游者的视点；s t o a k l e y 设计的系统则是要求用户用手势操作特定的工具 在虚拟环境中进行漫游，这两种类型的操作都是通过手势来操作身体运动方向和人 体视角，这是在现实世界中无法用手来做到的操作；h o s u b y o o n 设计了一个基于 手势识别的图形编辑系统，可以通过手势表达的信息进行简单的图形和文本编辑， 可直观的对如：o 9 的阿拉伯数字、英文字母、圆形三角形弧形直线之类的简单图 形和提前进行定义了的一些关闭、取消之类的命令式手势进行交互操作； c v h a r d e n b e r g 设计了一个可以代替鼠标进行幻灯片操作的系统，该系统通过手势 来进行远程控制。 手势交互模型研究是人机交互技术的一个重要组成部分，其研究意义主要表现 在两个方面：第一，手势是人们日常生活中常见的信息表达手段，通过它能挖掘人 们的不同认知潜力，降低人们的认知负担，而手势交互模型实现了人的多维信息表 示空间到计算机计算空间的平滑过渡，提供给用户一种自然、高效的交互手段，能 为更多的人，特别是特殊人群的交互提供了方便；第二，基于三维加速度传感器的 手势识别方法在手持移动设备( 手机、p d a ) 和家用电器遥控装置上有较大的应用前 景。 这些基于多通道方式的手势识别技术，让人机交互中信息交互不再受到传统交 互方式的限制，并提高输入效率和操作的舒适度，减轻了操作者的认知负担，还能 为用户带来更多的娱乐休闲等新的扩展功能。 1 3 手势识别研究现状 在传统的交互方式中，人与计算机相关设备的交互往往通过键盘、鼠标等以固 定的模式进行。随着智能技术和普适计算机的深入发展，基于自然手势识别的人机 交互成为现代人机交互研究的热点课题，目前手势识别研究根据采集设备的不同可 以分为基于视觉技术的和佩戴传感器技术的。基于视觉的手势识别通过摄像设备采 集手势的动作信息作为交互信息来完成交互任务；基于传感器的手势识别则是要求 用户通过佩戴传感器来获取数据信息以完成交互工作。这些交互任务让用户不需要 花费额外的时间和精力去学习特定设备的使用方法。 9 硕士学位论炙 m a s t e r st h e s i s 1 3 1 基于视觉的手势识别 在早期的手势识别研究中，多是基于静态图像处理的方法。c h a r a y a p h a n 和 m a r b l e 1 9 通过用图像处理的方法从3 1 个美国手语词中正确识别出其中的2 7 个。 s t a r n e r 2 0 1 采用基于视觉的处理方法结合h m m 模型，从二维图像中提取特征向量， 对4 0 个词构成的具有很强语法约束的短小语句进行识别，识别率为9 9 2 。g r o b e l 和a s s a n 2 1 】要求用户带上有色手套，通过采集连续的视频图像对2 6 2 个孤立手语词 进行识别，识别率达到9 1 3 。美国麻省理工m i t 多媒体实验室的s t a r n e r 和 w e a v e r t z 2 】使用固定在桌面的摄像机采集用户带上有色手套的手势数据作为输入信 息，分别得到：有语法限制的语句的手势识别率为9 1 9 ，没有语法限制的语句的 手势识别率为7 4 5 。一般情况下，多数研究采取单目成像设备( 一个摄像头) 获 取图像信息，采集的数据量相对较少，计算的速度就会比较快，但采集的手势数据 所是二维数据，如果想要建立三维模型就要通过一些算法来进行重建，增加了究的 复杂度，而且重建的模型与实际手势的三维数据信息可能不一致。也有研究者使用 两个或者两个以上的成像设备，从不同角度采集手势图像信息。如：l e e 2 3 1 用8 个 摄像头采集了2 0 个静态手势的数据信息，并对这些手势进行识别。v o g l e r 2 4 与 m e t a x a s 用一个位置跟踪器及三个互相垂直的摄像机采集手势信息，通过采集到的 数据信息对孤立词进行识别，识别率为8 9 9 。 图1 5 用带有颜色标记的手套采集手势信息 基于视觉的手势识别优点是设备的成本低廉，在采集数据时手部本身所受到的 限制较少( 前提是活动范围在成像设备的拍摄范围内) ，同时用户还可以实时的在 显示器中看到相关的手部信息，检测用户手部的动作和面部表情等。但基于视觉的 手势识别会受到拍摄角度和光照方向的影响，对光照条件也比较敏感，过亮可能造 1 0 硕士学位论文 m a s t e r st h e s i s 成图像曝光，过暗则无法很好的区分手势和周围的背景，所以背景的颜色最好和手 部的肤色有很好的区分度，单纯色、深色，或者让测试者带上有颜色标记的手套( 如 图1 5 所示) 来区分都是很好的选择。采用带有颜色标记的手套来采集手势数据能 够简单方便的从背景中提取有效信息。此外对于复杂、连续的手势动作，提取三