（设计艺术学专业论文）手持称动设备中基于手势的界面交互方式研究与设计.pdf

r e s e a r c ha n dd e s i g no fi n t e r a c t i o nm e t h o do fg e s t u r eb a s e do n m o b i l ed e v i c e b y q 1y i n g b e ( b e i j i n gf o r e s t r yu n i v e r s i t y ) 2 0 0 8 at h e s i ss u b m i t t e di np a r t i a ls a t i s f a c t m no f t h e r e q u i r e m e n t sf o rt h ed e g r e eo f m a s t e ro fl i t e r a t u r e i l l d e s i g n i n t h e g r a d u a t es c h o o l o f h u n a nu n i v e r s i t y s u p e r v i s o r p r o f e s s o ry a n g x i o n g y o n g f e b r u a r y , 2 0 11 53眦650m 9iiii_ y 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其 他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果 由本人承担。 轻奄般、 吼冽睥“如 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位 论文。 本学位论文属于 1 、保密囱，在年解密后适用本授权书。 2 、不保密诫 ( 请在以上相应方框内打“、”) 作者签名 导师签名 日期：b o l1 年月2 , - 日 日期：沙jj 年6 月2 ，日 硕士学位论文 摘要 从2 0 世纪9 0 年代初至今，以手机、p d a 和掌上电脑为代表的手持移动设备 得到了日益广泛的应用，手持移动计算已经逐渐成为当今的主流计算模式之一。 随着移动设备自身软硬件性能的提高和带宽、网络覆盖等外部条件的改善， 计算机应用的主要障碍也由硬件技术转变为人机交互( h c i h u m a nc o m p u t e r i n t e r a c t i o n ) 和用户界面的设计。手持设备的移动性及便携性决定了其界面的有限 性，而手持设备软件应用的日益多样化、个性化，又决定了其界面操作的复杂性。 这就造成了一个矛盾。如何化解这个矛盾呢? 基于手势的界面交互方式打开了一 扇门。 手势是一种内容丰富、有趣、延展性和可塑性极强的人机交互方式。它的成 功应用可以缓解有限的设备操控屏幕带给用户的种种限制及尴尬；可以帮助用户 更加便捷地完成各种操作；同时也将带给用户一种新鲜的、有趣的使用体验。 本文基于对手势交互方式在手持设备中应用的现状及其必然趋势的分析，研 究探索多种采用了手势交互的手持移动设备，总结归纳出目前各种主流平台中手 势交互应用的定义、形式、分类、数量及其应用范围，并概括总结出手势交互在 各平台应用的异同以及手势交互的通用性。 同时，通过种种已有手势交互设计案例和在m o t o r o l a 北京设计中心c x d ( c o n s u m e re x p e r i e n c ed e s i g n ) 亲身参与的一些手势交互设计方案，结合心理学、 手语语义学、行为学、社会学等来分析总结出手势交互设计的特点、原则、优点、 不足以及手势交互中界面的合理反馈。 通过完整阐述在m o t o r o l a 北京设计中心亲身参与设计的基于a n d r o i d 平台的 手机视频通话手势交互设计项目，来验证所提出的手势交互设计理论。 通过调查研究非手持移动设备中手势交互的应用状况，以及分析市场用户的 需求变化，提出手持移动设备中手势交互的未来发展方向。 关键词：手持移动设备：人机界面；触摸屏幕；交互设计；手势；手势识别 i i 硕十学位论文 a bs t r a c t f r o mt h ee a r l y19 9 0 s ，t h eh a n d - h e l dm o b i l ed e v i c e sh a v eb e c o m ew i d e l yu s e d f o re x a m p l e ，t h em o b i l ep h o n e ，p d aa n dp a l mc o m p u t e r t h em o b i l ec o m p u t i n gh a s g r a d u a l l yb e c o m eo n eo ft h em a i n s t r e a mc o m p u t i n gm o d e l s a l o n gw i t ht h ei m p r o v e m e n to fp e r f o r m a n c eo fm o b i l ed e v i c ea n de x t e r n a l e n v i r o n m e n ts u c ha sb a n dw i d t ha n dn e t w o r kc o v e r a g e ，t h em a i nb l o c ko fc o m p u t e r a p p l i c a t i o nh a sc h a n g e df r o mh a r d w a r et e c h i n i c st oh u m a n - c o m p u t e ri n t e r a c t i o na n d d e s i g no fu s e ri n t e r f a c e m e a n w h i l e ，d i v e r s i f i c a t i o na n dp e r s o n a l i z a t i o no ft h e s o f t w a r e sa p p l i c a t i o no nm o b i l ed e v i c e sd e c i d et h ec o m p l e x i t yo ft h eu s e ri n t e r f a c e m a n i p u l a t i o n t h a ti sac o n f l i c t s oh o w t oh a n d l ei t ? i n t e r a c t i v em e t h o d o fg e s t u r ei s g w m gaw a y g e s t u r ei sar i c h ，i n t e r e s t i n gh u m a n c o m p u t e ri n t e r a c t i v em e t h o da n dh a sg o o d e x t e n s i o na n dp l a s t i c i t y g e s t u r e ss u c c e s s f u la p p l i c a t i o nc o u l dr e m o v et h el i m i t a t i o n a n de m b a r r a s s m e n tl e a db ys m a l ls i z eo ft h em o b i l ed e v i c es c r e e na n db r i n gu s e r sa n e wi n t e r e s t i n ge x p e r i e n c e b a s e do nr e s e a r c ha n da n a l y s i sf o rp r e s e n ta p p l i c a t i o na n dt r e n do fd e v e l o p m e n t o fg e s t u r eo nm o b i l ed e v i c ei nf u t u r e ，t h i sp a p e rh a se x p l o r e dm u l t i p l em o b i l ed e v i c e s w i t hi n t e r a c t i v em e t h o do fg e s t u r e ，a n dc o n c l u d e dt h ed e f i n i t i o n ，f o r m ，c l a r i f i c a t i o n ， n u m b e ra n ds c o p eo fa p p l i c a t i o no fg e s t u r eo na l lm a i n s t r e a mp l a t f o r m sa n da l s o s u m m e du pt h ed i f f e r e n c ea n dc o m m o n a l i t yo fg e s t u r eo nt h em a i n s t r e a mp l a t f o r m s a tt h es a m et i m e ，t h r o u g hs o m ee x s i t i n gc a s e so fg e s t u r ed e s i g na n ds o m ec a s e s o fm o r o t o r o l ab e i j i n gd e s i g nc e n t e rc x d ( c o n s u m e re x p e r i e n c ed e s i g n ) ，r e f e r r i n g t o p s y c h o l o g y , s i g nl a n g u a g es e m a n t i c s ，e t h o l o g ya n ds o c i o l o g y , t h i sp a p e rh a s c o n c l u d e dt h ef e a t u r e s ，p r i n c i p l e s ，m e r i t s ，d e f e c t so fi n t e r a c t i v em e t h o d o fg e s t u r ea n d a p p r o p r i a t ef e e d b a c kf r o mu s e ri n t e r f a c e t ov e r i f yt h et h e o r ya b o u ti n t e r a c t i v em e t h o do fg e s t u r ei naf u r t h e rs t e pt h r o u g h t h ec a s eo fm o t o r o l av i d e ot e l e p h o n yg e s t u r ed e s i g no fm o t o r o l ac x d t op u tf o r w a r dt h et h e o r ya b o u tt r e n do fd e v e l o p m e n to fg e s t u r eo nm o b i l e d e v i c et h r o u g ht h er e s e a r c ha n da n a l y s i so fg e s t u r ea p p l i c a t i o no no t h e rd e v i c e sa n d t h ec h a n g e so fu s e rr e q u i r e m e n t s k e yw o r d s ：m o b i l ed e v i c e ；h u m a ni n t e r f a c e ；t o u c h a b l es c r e e n ；g e s t u r e ； g e s t u r er e c o g n i z a t i o n ；i n t e r a c t i o nd e s i g n h i 硕十学位论文 目录 学位论文原创性声明及学位论文版权使用授权书i 摘要i i a b s t r a c t i i i 第1 章绪论1 1 1 论文研究的动机与背景1 1 2 文献综述2 1 2 1 手持移动设备2 1 2 2 手势定义2 1 2 3 手势分类3 1 2 4 手势识别的分类4 1 2 5 手势识别的特点4 1 2 6 手势识别的优点5 1 2 7 手语和手语语义学之于手势交互5 1 2 8 手语手势词在手势交互中的应用5 1 2 9 手语理据性在手势交互中的应用6 1 3 论文研究方法与结构框架6 第2 章手持移动设备人机交互界面7 2 1 手持移动设备人机交互界面的发展8 2 1 1 命令式人机交互界面阶段8 2 1 2 图形人机交互界面阶段8 2 1 3 多通道多媒体智能人机交互界面阶段8 2 2 手持移动设备人机交互界面特点8 2 3 手持移动设备人机交互界面设计要素9 2 4 手持移动设备人机交互界面设计原则1 0 2 5 手持移动设备触摸屏交互界面1 l 2 5 1 触摸屏时代到来1 1 2 5 2 触摸屏定义1 1 2 5 3 触摸屏分类及特点1 1 2 5 4 多点触摸屏的交互设计目标1 3 2 5 5 多点触摸屏的交互设计原则1 4 第3 章手持移动设备中的手势交互1 5 3 1 手势交互之于手持移动设备1 5 i v 硕士学位论文 3 1 1 在手持移动设备中应用的必然趋势1 5 3 1 2 手势交互的分类16 3 1 3 手势交互的特点1 8 3 1 4 手势交互的优势1 8 3 2 手势交互在各平台上的应用1 9 3 2 1 各平台的手势应用现状1 9 3 2 2 各平台上的手势交互应用比较2 l 3 3 手势交互在手持移动设备中的应用特征2 2 3 4 手势交互在手持移动设备中的应用原则2 3 3 5 手势交互中界面的反馈一2 7 3 6 现有手势交互设计不足2 9 3 7 手势交互界面设计模型与流程3 0 第4 章m o t o r o l a 手机视频通话手势交互设计案例3 2 4 1 项目背景简介3 2 4 2 市场调查分析3 4 4 3 设计范围确定3 5 4 4 设计中的手势交互3 6 4 5 用户模型构建3 9 4 5 1 用户目标分析3 9 4 5 2 产品用户定位3 9 4 5 3 人物角色构建3 9 4 5 4 应用场景构建3 9 4 5 5 关键任务分析一4 0 4 5 6 用户需求分析4 0 4 6 产品设计4 0 4 6 1 头脑风暴4 0 4 6 2 设计方案1 4 1 4 6 3 设计方案2 4 2 4 6 4 设计方案3 4 2 4 6 5 设计方案4 4 3 4 7 设计方案用户调研4 4 4 7 1 调研准备4 5 4 7 2 调研流程4 5 4 8 用户数据分析4 7 4 9 相关部门评估51 v 硕二亡学位论文 4 1 0 设计结果输出5 2 第5 章手持移动设备中手势交互发展趋势5 4 5 1 其它设备中手势交互状况及新发展5 4 5 2 用户因素5 6 5 2 1 用户生活形态的改变5 6 5 2 2 用户新需求5 7 5 3 手持移动设备中手势交互未来展望5 7 结论5 9 参考文献6 1 致谢6 3 硕十学位论文 第1 章绪论 1 1 论文研究的动机与背景 人与计算机的交互活动越来越成为人们日常生活的一个重要组成部分，特别 是最近几年年，随着计算机技术的迅猛发展，研究符合人际交流习惯的新颖人机 交互技术变得异常活跃，也取得了可喜的进步。 这些研究包括人脸识别、面部表情识别、唇读、头部运动跟踪、凝视跟踪、 手势识别以及体势识别等等。总的来说，人机交互技术已经从以计算机为中心逐 步转移到以人为中心，是多媒体、多种模式的交互技术。 从2 0 世纪9 0 年代初至今，随着3 g 时代的到来，通讯及网络越来越成为人们生 活中不可或缺的必需品，作为通讯及网络的终端载体之一的手持移动设备，由于 其移动性及便携性，在人们生活中扮演着越来越重要的、不可或缺的角色，以手 机、p d a 和掌上电脑为代表的手持移动设备得到了日益广泛的应用，手持移动计 算已经逐渐成为当今的主流计算模式之一。随着移动设备自身软硬件性能的提高 和带宽、网络覆盖等外部条件的改善，计算机应用的主要障碍也由硬件技术转变 为人机交互和用户界面的设计，如何解决人机交互的效率过低和自然性不好问题 已经成为研究的热点。 手持设备的移动性及便携性决定了其界面的有限性，而手持设备软件应用的 日益多样化、个性化，又决定了其界面操作的复杂性。这就造成了一个矛盾。如 何化解这个矛盾昵? 基于手势的界面交互方式打开了一扇门。 基于手势的界面交互方式创造了交互方式的新概念，为界面交互开创了一个 相当的丰富的、有着广阔延展性及可塑性的新领域。它可以允许用户在有限的界 面区域中进行多种操作，实现多种功能。 如今，这种基于手势的交互方式已经以一种闪亮的姿态走进了公众的视野， 并在手持移动设备中越来越广泛地被应用，成功地吸引了众多的目光。 手势语言是一种内容丰富、有趣、拓展性极强的交流方式。研究表明，中国 人比西方人更喜欢利用手势的主动性来作为一种交流方式。这就为基于手势的交 互方式在中国的发展提供了和绝佳的研究场所以及巨大的市场。 从健康的角度讲，基于手势的界面交互方式极大程度地解放了拇指、活动了 手指，有效地避免了因重复性动作给手指带来的伤害。 因此说基于手势的界面交互方式是新颖的、有趣的、有效的，更重要的一点， 它是人性化的。 设计提倡人性化，人性是设计的本质【lj 。在这个设计原则的指引下，对这一 手持移动设备中基于于势的界面交互方式研究与设计 交互方式展开研究，就一定可以为用户打造出一种更有效的、更人性化的界面交 互方式。 从商业角度来看，在市场巨大的中国，在众多喜爱手势操作的用户群中，这 样的研究无疑是名利双收的，是可以同时为企业及用户谋福利的。 综上所述，关于基于手势的交互方式在手持设备中应用的研究是非常有意义 的，更是有着广阔发展前景的。 结合亲身参与手机界面设计的实际项目经验，利用专家点评以及多种真实有 效的用户调研一手数据，我相信，这项研究工作将会硕果累累。 1 2 文献综述 1 2 1 手持移动设备 当今主流的计算环境基于桌面的计算环境( d e s k t o p b a s e d ) ，目前有两个主 要的发展趋势：一个向着“更大”的计算环境发展，如虚拟现实环境；另一个方向 是向着“更小”的方向发展，即便携计算环境【2 1 。 手持移动设备是指手持式的、能够在移动过程中使用的设备。手持移动设备 不仅仅是指移动电话，还包括掌上电脑、掌上游戏机( 如s o n y 的p s p 、任天堂的 n d s ) 、m p 4 、p d a 、m i d 、智能手机、导航仪等信息设备。大多数手持移动设 备都有物理按钮，很多都有触摸屏显示器，有些还带有用于指示和选择显示信息 的、光标控制板或滚轮。 手持移动设备按照功能划分，可分为：通信终端、信息终端、娱乐终端、医 疗终端、多功能集成终端等等。 手持移动设备的突出特点是：体量小、显示屏幕小、功能多。正是由于这些 特点，使得交互设计师不能按照传统的基于大屏幕显示设备的设计方法来进行手 持移动设备的交互设计。在手持移动设备上做设计时，传统的w e b 设计师几乎要 放弃其7 0 的知识体系。屏幕虽小，但却有着比大屏幕更严格、更高要求的设计 目标。因此，在手持移动设备上的设计有着更大的挑战和乐趣。 1 2 2 手势定义 由于手势( g e s t u r e ) 本身具有多样性和多义性，以及在时间、空间上的差异性， 因此在不同文化背景的影响下，对手势的定义是不同的。 通常来说，手势是指在人的意识支配下，人手做出的各类动作，如手指弯曲、 硕士学位论文 表示赞赏的态度。 1 2 3 手势分类 手势可以分为6 类：符号型手势、模式型手势、模仿型手势、图标型手势、指 示型手势和强调型手势【4 1 。 符号型手势最简单，像大家熟知的表示“o k ”的手势等；模式型手势经常用来 表示一些情感，比如摊开手表示不知道；模仿型手势经常被用来模仿人们使用、 操纵某个物体，比如模仿操纵汽车的方向盘等；图标型手势经常在某些特定的场 景中用来表示某些事件的发生等；指示型手势就是用手指指一个物体，或指示物 体的位置或运动方向等；强调型手势主要是在人们说话时起到辅助作用。 另一种分类方法如下图所示，它把手的动作分为两类：手势和无意识动作。 手势有两种：操作型手势和通信型手势。操作型手势表示在某些环境中对某些物 体的操作；通信型手势就是用手势作为交流的工具，就像手语一样。通信型手势 又可以分为动作和符号。符号与上一种分类方法中的符号型手势一样用来表示一 种事先约定的意思，分为指代型符号和模式型符号两种。动作则包含模仿型动作 和指示型动作，这与上一种分类中的模仿型手势和指示型手势一致。 还有一种分类方法，把手势分为二维手势和三维手势。二维手势通常发生在 人机交互界面上，而三维手势则通常发生在脱离交互界面的整个三维立体空间中。 二维手势目前正被普遍应用于手持移动设备的交互界面中，而三维手势目前主要 应用于更复杂的人机交互系统之中，例如：计算机三维手势输入技术( 详情会在 第五章阐述) ，并逐渐向手持移动设备中扩展。 手的动作 羹气 謦 操作型季势迸信型手势 t t 动、叠鹞t 气叠 图1 1 手势分类图 图片来源：自绘 手持移动设备中基于手势的界面交互方式研究与设计 1 2 4 手势识别的分类 在日常生活中，人们经常用手触摸周围的各种物体，用手势与周围的人或物 进行交流。然而，在与计算机或计算机控制的系统进行交互时，将不得不使用各 种笨拙的计算机设备，比如键盘，鼠标和操纵杆等。 手势识别系统的发展可以应用于虚拟环境与外部世界的接口中，对虚拟物体 的直接操纵功能可以让人们更加直接地与虚拟环境进行交互，手势识别系统可以 让人们在与虚拟环境进行交互的时候更加自然、流畅、自信。 在各种不同的手势识别系统中，都把手势分为静态和动态两种【5 】。静态手势 是一种手的特定形状或姿势，而动态手势则是运动着的手势，它由一组序列图像 组成。 下图所示为手的关节模型，每一个手指具有4 个自由度，其中手指的基部( m p ) 有两个自由度：弯曲和旋转。手指的中间关节处( p i p ) 和末端关节处( d i p ) 分 别各有一个自由度，主要是弯曲运动。大拇指除了与其他4 个手指一样具有4 个自 由度外，还有一个外展运动，所以大拇指具有5 个自由度。外加手掌的空间6 个自 由度，即三维空间坐标和绕x y z 轴的旋转角度，因此手的运动总共具有2 7 个自由 度，即状态空间为2 7 维。 曲 7 t _ 手腕 图1 2 手模型的关节及运动类型 图片来源：基于手势的交互式虚拟环境 外展 1 2 5 手势识别的特点 第一，因为手是弹性物体，因此即使是同一种手势，它们之间的差别也很大。 同一个手势由不同的人做出，会存在差别，同一个人在不同的时间、地点做出的 4 硕十学位论文 同一个手势也会不一样。同时也有很多不同的手势，它们之间却很相似； 第二，手具有大量的冗余信息，手势识别的关键是识别手指特征，因此手掌 的特征在这里就是冗余信息； 第三，手的位置是三维空间向二维的投影，因此投影方向非常关键。 1 2 6 手势识别的优点 第一，手势识别能帮助聋哑人，尤其是文化程度比较低的聋哑人和正常人进 行交流； 第二，可以从认知科学的角度，研究人的视觉语言理解的机制，提高计算机 对人类语言的理解水平【6 1 ； 第三，有助于人们利用手势来控制虚拟现实系统v r ( v i r t u a lr e a l i t y ) 中的智 能体； 第四，有助于机器人的示范学习； 第五，有助于实现虚拟现实系统中的多模式接口。 1 2 7 手语和手语语义学之于手势交互 已有的研究经验证明，手语是手势、手势识别以及手势交互的最初来源，因 此，手语和手语语义学的研究成果，对于手势交互方式的研究具有很强的借鉴意 义。 手语语义学的主要研究方向是手势词的表意性和理据性。理据也叫动因 ( m o t i v a t i o n ) ，是语言学中的一个专门术语，理据是语言系统自组过程中激发某一 或语言实体产生、发展或消亡的动因【7 1 。具有丰富的理据性的手语手势词会比较 容易被理解和识别，对于手语学习者来说可以大大减轻其记忆负担。 在基于触摸屏的交互系统中，操作全部要通过手指与手掌在触摸屏上的各种 手势来实现，手势的样式只有与表意相符，才能促成正确的、有效的交互操作， 因此，在对手势交互的研究中，参考已有的手语研究成果是可行并且是必要的。 1 2 8 手语手势词在手势交互中的应用 按照词汇的形成来源，手语手势词可以分为规约手语( c o n v e n t i o n a ls i g n l a n g u a g e ) 和自然手语( n a t u r a ls i g nl a n g u a g e ) 【引。 规约手语是一种在一定区域内广泛运用、人为约定、具有一定通用性的手语。 自然手语是一种未受过人群语言干预和影响的较为天然的手语，一般是由使用者 自己创造的以单个手势为主要表达方式的聋人手语。自然手语通常比较简单，并 且具有较强的理据性，容易被理解，其表意也被大众所接受并得到统一，可以以 适当的形式应用于手势交互系统当中，以有效减少人机系统的“认识摩擦”。 手持移动设备中基于手势的界面交互方式研究与设计 1 2 9 手语理据性在手势交互中的应用 理据性是手语的重要特征之一，是手语手势词表意的根据。一个手势之所以 被人们理解为特定的含义而不是其它含义，是有根据、有出处的。由最初的原始 未加工的事物逐步演化成为简单抽象但却仍然可以被人理解的手势，这一概念抽 象过程可以被借鉴到手势交互的设定当中1 9 】。 例如，在已经面市的a p p l e 公司的i o s 和g o o g l e 的产品a n d r o i d 操作系统中，对 图片的缩放操作都是这样进行的：用户的拇指和食指在图片上定位于两点，移动 拇指和食指的位置，拉大两点间的距离，图像随之根据两指间放大的距离成比例 放大。这一操作可以让用户方便的利用两指来缩放图片至所需大小，关键的是， 它十分符合用户的认知心理模型，使用户心里的目标概念和实际的行动高度匹配， 符合用户的心理习惯。 1 3 论文研究方法与结构框架 以探索结合实践的思维方式，以“手势交互”作为切入点，结合数字媒体时代 的多元技术手段，探讨和研究基于手持移动设备的手势交互设计，力求对手势交 互方式的发展和应用、特征和原则、优势和不足进行归纳，从而促进更优化、更 人性化的设计产生，并大胆预测手势交互未来发展趋势。 在完成一整套系统理论的同时，完成一系列具有创新意识的设计作品，以原 创的设计作品来阐述自己对基于手持移动设备的手势交互设计的研究成果。 疆究的出发点 发现问题并 提出玫进型方塞 阂 i一 - 莩磐移魏澄端 - 手搿套曩是l 筑港 季语茬手羹爱互中骞鐾应用 事嘲纭琶滢乒明态互霸蠡笈襄等息谗计要妻及原到 手跨移雹浸备磐缓蓐交互髯匿 手磐交互必统瞳鹫、分娄、特息垢蛰 - 莩；享交互琶鲆苎宝筻志焉 手蛰交互蓉鲁哮i 舒濑中躯应露榜砭愿始不趸 手登廷丰弄蚕翦爱鬟 手錾交互异蔼谂中g l 圣兽看星 m 咖r o 堪乒叽桶凝遁活凌量手垫交互援汁 新观熊出 l 重疆垂壅叠叵 ：冀惹嚣燃一 图1 3 论文结构图 图片来源：自绘 硕十学位论文 从心理学、手语学、语义学、社会学角度深入分析其对手势交互产生的影响， 并由此得出正确的设计及思考方向，以及预见未来手持移动设备中手势交互的发 展方向。 从设计学、人机交互学角度科学地进行归纳和总结，分析国际上已有的成功 案例，学习其研究思想和发展路线，同时参与众多实例交互设计项目，累积大量 设计经验，从自身的亲身体验中归纳和总结。 7 手持移动设备中基于于势的界面交互方式研究j 设计 第2 章手持移动设备人机交互界面 2 1 手持移动设备人机交互界面的发展 2 1 1 命令式人机交互界面阶段 早期的手持移动设备人机交互界面是命令式界面，它的主要交互设备是键盘， 该界面中的交互是一种单线索的交互过程，在任意交互时刻，用户必须精确地输 入系统可接受的按健。用户需要记忆许多命令和功能键，通过一些特殊的按键显 式切换交互模式。 每个键盘按键在一定的交互模式下有唯一的含义，一个处理任务由一个键盘 输入序列组成，因此，一个用户任务往往需要被分割为多个交互命令来完成。 这种传统的命令式人机界面需要人们付出很多的认知努力，通过一个一维的 信息矢量来实现交互意图往往是低效的，人们的交互意图在这个分解组装的过程 中出错率往往很高【10 1 。 2 1 2 图形人机交互界面阶段 图形( g u i g r a p h i c u s e ri m e r f a c e ) 人机交互界面的主要特点是桌面隐喻、 w i m p 技术( w i n d o w s 、i c o n s 、m e n u 、p o i n t i n gd e v i c e ) 、直接操纵和“所见即所得”。 由于g u i 简明易学、减少了用户对命令及操作的记忆，因而使不懂计算机语言的 普通用户也可以熟练地使用，开拓了用户人群。它的出现使信息产业得到空前的 发展。 2 1 3 多通道多媒体智能人机交互界面阶段 以手持电脑、智能手机为代表的计算机的微型化、随身化、嵌入化、功能强 大化，是当前计算机的重要发展趋势之一，而传统的以键盘输入为主的交互方式 是影响它们发展的瓶颈。随着科技的日益进步，运用人的多种感觉通道和动作通 道( 如语音、手写、姿势、视线、表情等信息输入方式) 以并行、非精确的方式与 计算机环境来进行交互，已然成为一种趋势。 智能人机交互可以提高人机交互的自然性和高效性，多通道、多媒体的交互 方式对手持移动设备的发展来讲，既是一个大的挑战，也是一个极好的机遇。 2 2 手持移动设备人机交互界面特点 手持移动设备界面的研究与设计已经成为当今人机交互技术研究的一个重 硕上学位论文 要方向。 一方面，手持移动设备的人机界面设计符合人机交互设计的一般规律，可以 利用人机交互界面的一般设计方法来进行设计开发；另一方面，由于手持移动设 备的便携性、位置不固定性的特征，以及计算能力有限性、网络低带宽高延迟等 诸多的技术限制，手持移动设备人机界面的设计开发又具有自己的特点： 第一，资源相对匮乏 显示屏分辨率有限，而且尺寸比较小，无法同时展示众多网站丰富的多媒体 内容； 第二，手持移动设备界面并非缩小版的桌面系统用户界面 桌面系统用户界面中采用的内容展示形式一般是并行展示，各种信息都可以 在一个大小可调的屏幕中同时显示出来。而在手持移动人机界面中，这些选择只 能采用顺序展示的方式。因此，手持移动设备人机界面设计的难题之一就是如何 在有限的资源条件下有效地为用户提供信息服务，提供的选择须根据重要性进行 排列； 第三，手持移动设备种类繁多 在开发移动应用时需要专门针对某一型号的一种设备开发，大大增加了应用 开发的复杂度。因此，在手持移动设备人机界面的设计中，各设备、各平台的差 异控制是移动应用开发过程中需要特别关注的一个环节； 第四，连接方式复杂 移动互联网的数据接入处于多种标准并存的状态，而移动设备的位置具有很 强的移动性，同一设备可能在不同的时间段处于不同的网络连接条件下，移动的 同时还需要保持应用执行的连续性。因此，应将网络连接状况视为一种资源，在 设计时制订相应的策略【1 1 】。 2 3 手持移动设备人机交互界面设计要素 手持移动设备作为一类典型的交互式产品，在与用户的交互过程中，用户直 观地使用的部分包括它的实体硬件部分和非实体软件部分。软件部分是与用户交 互的最直接的平台，也是用户从设备处获取信息的最直接渠道。 手持移动设备人机交互界面设计要素包括【1 2 】： 第一，软件的用户界面中图形动画的设计、界面风格以及信息布局的设计、 字体的设计、交互语言的设计； 第二，软件用户界面操作方式( 流程) 的设计； 第三，软件用户界面操作反馈的设计。 9 手持移动设备中基于手势的界面交互方式研究与设计 巴= 甚= 图2 1 手持移动设备交互设计要素 图片来源：一种交互输入新技术三维手势识别 2 4 手持移动设备人机交互界面设计原则 一个手持移动设备，如果它能让人们完成有意义的事情并且能够与人们生活 中的其它事情相适应，它才会真正受到人们的欢迎。另外，同样重要的是，具有 吸引力、能使用户身心愉悦、产生积极的情感变化。 因此，人机交互界面的设计应该遵循如下原则： 第一，有用性 手持移动设备的交互设计对于用户来说首先应该是有用的，它所提供的功能、 操作应该像一本专业教科书一样，提供给用户有用的、实用的知识信息； 第二，可用性 手持移动设备的可用性表现在两个方面，一是手持移动设备自身是可用的； 二是手持移动设备在生活中是可用的； 第三，高效性 避免冗余的操作步骤，在不影响用户使用以及体验的前提下尽量简化交互， 力求让用户可以在最短时间内完成输入或操作任务； 第四，安全性 避免小控件的排布过于密集，要避免误操作，同时对错误的操作以合理的方 式及时给出有益的反馈、纠正方案； 第五，通用性 包括三层含义，第一，确保交互方式与用户大范围的生活知识和经验相一致； 第二，确保同一交互方式在设备各个类似应用程序中一致；第三，确保同一平台 或公司的交互方式在不同设备中一致； 1 0 硕t 学位论文 第六，易学性 交互方式应与人的行为、思维习惯相适应，并尽量避免复杂的交互行为，减 轻用户的理解、学习、记忆负担。 2 5 手持移动设备触摸屏交互界面 2 5 1 触摸屏时代到来 种类繁多的触摸屏产品让人们不禁自问，触摸屏时代真的到来了吗? 触摸屏界面的应用，大大简化了计算机输入模式，使用者不必再对计算机有 相当的认识或事先接受训练，仅需以手指触摸屏幕，即能启动计算机、或发送信 息、或拍摄照片，这种交互模式比键盘和鼠标输入模式更加简单快捷，人们通过 这种直观易懂的方式来获取信息，不仅提高了办事效率，还让使用者感受到了科 技的乐趣。 目前，地铁、商场、饭店、售票处、银行等处的多种自助系统均陆续采用了 触摸屏界面，毋庸置疑，触摸屏时代已经雄赳赳气昂昂地来到了大家身边。 而苹果公司推出的i p h o n e 、微软公司新产品s u r f a c e 的横空出世，更是引领了 触摸屏普及风暴，宣告了数字产品界面正式进入了触摸屏时代。 2 5 2 触摸屏定义 触摸屏简单讲就是将输入和输出合二为一，不再需要机械的按键或滑条，自 身就是人机接口的设备13 1 。一个触摸屏模组由l c d ( 液晶显示器l i q u i dc r y s t a l d i s p l a y ) 、触摸屏、触摸屏控制器、主c p u 和l c d 器构成【1 4 】，触摸屏和触摸屏控 制器是整个模组的核心所在。 2 5 3 触摸屏分类及特点 触摸屏分为单点触摸屏( s i n g l e t o u c hs c r e e n ) 和多点触摸屏( m u l t i t o u c h s c r e e n ) 。 顾名思义，单点触摸屏是只能识别单一触点的屏幕，而多点触摸屏则可以同 时识别多个触点。 自2 0 0 4 年苹果公司提交第一份关于多点触摸技术的专利申请书以来，多点触 摸技术开始飞速发展，尤其是近几年来，各种基于多点触摸技术的新的交互形式 不断涌现，为生活带来一重又一重的惊喜。多点触摸技术打破了传统单点触摸技 术营造起来的交互观念，它允许人们用更人性化的“语言”来与计算机对话【”】，并 且支持在同一计算机平台上多人同时互动交流。多点触摸屏不仅仅是一块触摸屏 幕或一个应用软件，它横跨了计算机领域与艺术设计领域，是先进科技与创意设 计的结合体，是一个结合了各种软硬件技术的综合平台。 手持移动设备中基于手势的界面交互方式研究j 设计 多点触摸技术的优势： 第一，更人性化的操作方式 多点触摸作为人机交互最新的方式之一，相比传统的w i m p g u l 人机界面更 符合“以人为本”的设计价值观，其交互规则也更适应人的思维特征和行动特征。 比如，利用手势变化实现图片、图形界面、网页等放缩、旋转功能就是很好的例 证。 手指间距离拉大、缩小，两手指相对位置、转动，这些手势在日常生活中都 有着自己的涵义两指间距离拉大可以理解为张、放大；两指间距离缩小则往 往代表收缩，而拇指与食指在拧螺丝、螺丝帽时就会产生相对位置的转动，当人 们在交互过程中使用这些手势时，不自觉的会把这些手势中蕴藏的日常涵义与多 点触摸交互中图片的放大、缩小、旋转联系起来，从而引起共鸣，为多点触摸技 术在朝以人为本的方向迈进做出了大胆的尝试。而这些操作在单点触摸技术平台 上是无法实现的。 图2 2 手机多点触摸屏一缩放图片 图片来源：i p h o n eb u z z 网站 传统单点触摸手机在浏览网页时十分不便，较小的手机屏幕很难容纳下网页 中繁杂的内容，传统单点触摸手机有两种解决方法。一种是将其中的内容缩小很 多，这种方法在应用上是不现实的，因为人眼的分辨能力和屏幕的分辨率都是有 限的，细小的文字不仅人眼无法辨别而且屏幕也无法显示。另一种方法就是将网 页内容分页显示，目前单点触摸手机就是采用这种方法来实现的，但这样会使得 阅读和浏览变得十分不便。而苹果m a c b o o ka i r 电脑两点触摸可以实现网页内容 的放缩，将整张网页当作一张图片来对待，可以通过两点触摸来实现放大缩小。 可以很方便放大其中的某一块内容