（设计艺术学专业论文）基于多重触控的多通道人机交互界面设计研究.pdf

摘要 摘要 在体验经济条件下，无形的体验是比有形的产品更有价值的东西。设计所 追求的就不再只是功能，也不仅仅是靓丽的外观，而是要为用户带来某种超越 功能和形式的积极、美好、和谐的生活感受和体验。随着数字时代的飞速发展， 工业经济的时代的“以机器为本”的设计价值观念开始渐渐被“以人为本”的 设计思想取代。通过研究多通道人机交互界面设计，人机交互方式向人与人交 互方式靠拢。这是一个与时俱进的课题，也是一个必要的研究趋势。 以手势体现人的意图是一种非常自然的交互方式，人与人可以通过手势传 达大量的信息，从而实现高效的信息传递。多重触控技术，与传统的触摸屏只 能单个指头操作不同，允许用户多个手指同时操作，甚至可以让多个用户同时 操作。这种操作模式完全颠覆了传统的单指点击概念，多个手指同时操作意味 着允许处理更加复杂的任务。因此将手势通道用于计算机能够极大程度的提高 人机交互的效率，给用户自然的使用体验。 本文从视觉传达设计师的角度分析怎样通过科学理论方法设计友好的人机 交互界面。以设计学角度科学进行归纳和总结，结合设计美学、构成学、色彩 学、心理学、动态学等理论，同时将现有的触摸技术进行比较，从而归纳总结 出一系列基于多点触控的多通道人机交互界面的设计法则。这些法则可是使用 于当今多通道交互界面设计的研究和开发。 关键词：交互，多重触控，多通道，界面设计，体验 a b s t r a c t a b s t r a c t o nt h ec o n d i t i o no fe x p e r i e n c ee c o n o m y , d e s i g nb r i n g sp e o p l em o r el i v i n g f e e l i n ga n de x p e r i e n c ei ns t e a do ff u n c t i o na n df o r m w i t ht h er e c e n td e v e l o p m e n to f t h ed i g i t a lt i m e ，m a c h i n eo r i e n t e d ，t h ev a l u eo fd e s i g ni ni n d u s t r ye c o n o m yh a s b e e nr e p r e s e n t e db y p e o p l eo r i e n t e d t h r o u g ht h er e s e a r c ho fm u l t i m o d a l h u m a n - c o m p u t e ri n t e r f a c e ，t h ei n t e r a c t i v em o d ew i l lc h a n g ef r o mh u m a n - c o m p u t e r t oh u m a n - h u m a n g e s t u r ei san a t u r a lw a yt oe x p r e s sh u m a n sm e a n i n g ，t h r o u g hw h i c hp e o p l e c a l lt r a n s m i tg r e a ta n a o u n t so fi n f o r m a t i o n m u l t i t o u c h , w h i c hi sq u i t ed i f f e r e n tf r o m t h et r a d i t i o n a lt o u c hw a yw i t ho n ef i n g e r , i st h et e c h n o l o g yf o rm u l l i - f m g e r , m u l t i h a n da n dm u l t i u s e ra n dg i v e ss u p p o r t sr i c hg e s t u r e s t h u s ，m u l t i - t o u c h p r o v i d e su s e rn o to n l ye f f i c i e n ti n t e r a e t i o na n dam o r en a t u r a lu s i n ge x p e r i e n c ea s w e l l a tt h ea n g e ro fa r td e s i g n , t h ep a p e ra i m st og i v et h er e s e a r c ho nf r i e n d l y h u m a n - c o m p u t e ri n t e r f a c ed e s i g na n dt r yt of r e dt h ec o n c l u s i o no fd e s i g nm e t h o d so f m u l t i m o d a lh u m a n - c o m p u t e ri n t e r f a c ew i t ht h ec o m b i n a t i o no ft h et h e o r yo fd e s i g n a e s t h e t i c s ，c h r o m a t i c s ，p s y c h o l o g ye t e k e yw o r d s ：i n t e r a c t i o n , m u l t i t o u c h , m u l t i m o d a l ，i n t e r f a c ed e s i g n , e x p e r i e n c e 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 ；钠亳姐 学位论文作者签名：徐佳理 2 0 0 8 年3 月4 日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、己公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 黼龟讥 学位论文作者签名：徐佳理 2 0 0 8 年3 月4 日 第1 章绪论 1 1 课题研究的对象 第1 章绪论 多通道( m u l t i - m o d a l ，亦称为多模态) 用户界面便是这一领域继图形用户 界面之后的一个崭新研究方向。多通道人机交互界面( m u l t i m o d a lu s e r i n t e r f a c e ) 的研究为了消除当前6 u i 、多媒体用户界面通信带宽不平衡的瓶颈， 旨在充分利用用户多个感觉和动作通道( 如语音、手势或视线等) 的互补特性， 让计算机来捕捉用户的意图，从而根本上改变当前人机通信带宽的不平衡性， 提高用户输入的效率，增进人机交互的自然性。这一技术的研究和开发，对计 算机应用和社会发展将起到不可估量的作用。 其中，多重触控技术的出现很大程度扩大了用户可以用来交互的姿势的种 类。触摸式屏幕在今天已经十分常见，手机，电脑以及各种服务终端机上都可 以找到这中技术的应用。然而这种触摸屏幕只能响应一个触点，操作起来十分 死板。现在，多重触控技术致力于打破这个僵局，用户可以不再是像过去一样 通过简单的点击，可以由双手自由操控的触屏变成可能，使得人机交互更趋于 完美。 1 2 课题研究的背景及意义 以数字技术、网络技术和多媒体技术为代表的现代信息革命把人类引向了 现代信息社会。随着科技的飞速发展，新媒体人机交互受到了越来越多研究者 的亲睬，其表现形式的多样化也吸引了更多人的关注。 随着信息时代的来临，新媒体艺术得到了前所未有的关注。分析新媒体艺 术的特性与现状，并展望其未来的发展趋势，指出新媒体艺术必将会有更广阔 的发展前景。 在美国、欧洲和中国，数字媒体设计已经迅速发展起来，数字媒体设计已 经扩展到其它许多领域一商品工业、计算机高技术业、商业、娱乐业等等。因 此，今天的数字媒体设计在新世纪正在扮演重要的角色，并为中国设计提供了 第1 章绪论 新的增长机会和挑战，从而迎接下一个体验经济的时代。 如何将多样的新媒体交互艺术以设计学角度科学进行归纳和总结，分析国 际上已有的成功案例，学习其研究思想和发展路线，将新媒体交互艺术和前沿 科技有效结合，通过理性和严谨的测试和研究，最后真正合理而有效的为人所 用，融合与市场商业模式中，真正解决人机交互存在的不完善的问题，增加信 息传达的高效与准确，同时与用户产生最有效的信息互动，为用户提供最大程 度的高效性和自燃性操作。 新媒体的交互功能远远未能得到充分挖掘，依然存在着许多未知的可能性， 信息时代的媒体从单一媒体走向全息媒体，从单向媒体走向交互媒体，于是等 待我们的将是一场重大媒体革命。我认为基于触摸的多通道人机交互界面设计 研究是一个正在蓬勃发展的新兴方向，有着非常广阔的研究空间。 1 2 1 多通道人机交互的发展 随着计算机在国民经济各个领域应用深度和广度的全面推进，它与我们日 常生活的关系也越来越紧密，从而使研究更有效的人机交互方式成为必要。人 机界面从命令行界面发展到当前的图形和多媒体用户界面的直接结果就是计算 机拥有了更多的用户，用户需要记忆和训练的时间、强度都大幅度降低了，计 算机呈现视觉、听觉信息的能力大大加强，提高了用户对信息表现形式的选择 和控制能力以及接受信息的效率。与此同时，随着计算机表现形式的多样化和 用户与计算机交互方式的多样化，传统的交互手段如键盘、鼠标的用途在缩减， 用户界面不一定要和屏幕联系在一起，计算机已经变得“无所不在”了，这给 计算机研究者带来了新的课题，传统的人机界面形式面临着挑战。 为了适应这种变化，就出现了多通道人机界面技术，它基于视线跟踪、语 音识别、手势输入、感觉反馈等新的交互技术，允许用户利用本身的内在感觉 和认知技能，使用多个交互通道，以并行、非精确方式与计算机系统进行交互， 旨在提高人机交互的自然性和高效性。它代表了人机交互的一种新范式，与传 统的图形用户界面相比较，能将互补的通道进行整合来获取增强的混合，通道 之间可以相互补充，克服彼此的缺陷，或者是针对不同的应用采取不同的交互 方式，具有更强大的表达能力、自然性、灵活性和便携性，人机交互方式向人 与人交互方式靠拢u 1 。 2 第1 章绪论 1 2 2 触摸交互的研究空间 在银行的a t m 机以及旅游信息电子亭上，你都能接触到触摸屏技术，但是 这些仅仅触摸屏技术的初级应用，仅仅只是冰山一角。称为“多重触控 ( m u l t i t o u c h ) ”的新技术，与传统的触摸屏只能单个指头操作不同，允许多 个手指同时操作，甚至可以让多个用户同时操作。这种操作模式完全颠覆了传 统的单指点击概念，多个手指同时操作意味着允许处理更加复杂的任务。 多重触控界面已经存在了2 5 年，尽管这项技术潜力无限，但近期才被人们 关注。随着今年a p p l ei p h o n e 及m i c r o s o f ts u r f a c ec o m p u t i n g 等技术的商 业性发布，其普遍采用的时代就要到来。多重触控显示屏允许用户直接用手和 手指在显示的对象上操作，而不必思考屏幕上的鼠标光标的相关位置或指针的 移动。多重触控界面为常用的单触摸或单聚焦界面提供了更丰富的互动可能性。 1 2 3 下一代人机界面的趋势 人机交互技术随着界面设计理论的发展有了很大的变化。图形对话 ( g r a p h i cd i a l o g u e ) ，形式对话( f o r m a ld i a l o g u e ) 和自然语言对话( n a t u r a l l a n g u a g ed i a l o g u e ) 都从各自的简单形式发展到复杂的形式。“1 图形对话已发 展了能用多窗口，图标以及模拟真实环境的技术，大部分系统的形式对话也设 计得相当完美；而自然语言对话则从书面的自然语言对话发展为口头的自然语 言对话，语音识别和合成技术发展越来越快，已经有系统用于人机对话系统。 目前，多媒体和虚拟现实系统人机界面的发展，正使人机交互技术经历这从精 确交互向非精确交互以及从二维交互界面向三维交互界面的转变，它向传统的 w i m p 人机界面设计理论提出了巨大的挑战，同时也为我国的计算机产业提供了 很大的发展机会。 人机交互和计算机用户界面刚刚走过基于字符方式的命令语言式界面，目 前正处于图形用户界面时代。但是当前语音识别技术和计算机联机手写识别技 术，甚至是多重触控技术的商业成功让人们看到了自然人机交互的曙光，相信 在不久的将来，越来越多新型风格的人机交互技术将会出现。虚拟现实和多通 道用户界面的迅速发展显示出未来人机交互技术的发展趋势是追求所谓“人机 第1 章绪论 和谐”的多维信息空间2 和“基于自然交互方式的”3 的人机交互风格。 ( 关于人机交互的发展趋势在下文中会有更为详细的分析。) 1 3 研究方法与框架结构 以实践和探索的思维方式，以“多重触控技术”作为切入点，结合数字媒 体时代的多元技术手段，探讨和研究多通道交互设计。力求对多通道人机界面 的发展和应用进行归纳，研究现有基于多重触控的多通道人机交互界面设计研 究多元的发展方向和表现方式，寻求各种表现手段。在完成一套系统理论的同 时，完成一系列具有创新意识的设计作品。以原创的设计作品的阐述自己对基 于多重触控的多通道人机交互界面设计的研究成果。 从视觉传达设计师的角度分析怎样通过科学理论方法设计友好的人机交互 界面。以设计学角度科学进行归纳和总结，结合设计美学、构成学、色彩学、 心理学等理论，分析国际上已有的成功案例，学习其研究思想和发展路线，同 时参与实例交互设计，累积大量仓0 新设计经验，从自己的实际中归纳和总结。 将新媒体交互艺术和前沿科技有效结合，通过理性和严谨的测试和研究，最后 真正合理而有效的为人所用，融合与市场商业模式中，真正解决人机交互存在 的不完善的问题，增加信息传达的高效与准确，同时与用户产生最有效的信息 互动，为用户提供最大程度的高效性和自燃性操作。 1 3 1 结合发展历史进行研究 回顾人机界面设计的发展历史，它从命令行界面发展到w i m p 界面( 窗口 ( w i n d o w s ) 、图标( i c o n s ) 、菜单( m e n u ) 、指点装置( p o i n t i n gd e v i c e ) ) ，并最 终发展为多通道用户界面。在研究其历史发展中，总结从人适应计算机到计算 机不断地适应人的原因：从起初的以人机界面设计作为发展的重点，慢慢的发 现以机器为本的设计思想的局限性，然后逐步发展为以人为本的设计的思想。 而多点触控技术，从用户的角度出发，很大程度上提升了用户的感官体验，达 到机器适应人的操作习惯，可见结合当该技术的应用产品推广后，得到市场热 2 汪成为灵境技术与人机和谐仿真环境计算机研究与发展，1 9 9 7 1 3 王坚，董士海，戴国忠基于自然交互风格的多信道用户界面模型 计算机学报。1 9 1 9 ( 增) 4 第1 章绪论 效应是一个必然的结果。在下文，本文作者将针对多通道用户发展历史和多点 触控技术发展历史进行较详细的罗列和分析。 1 3 2 框架结构 纵观人机交互技术的发展历史，以多通道人机交互作为主要的研究对象， 通过针对触摸的交互方式进行系统和详细的分析和研究，总结基于触摸的多通 道人机交互界面的设计方法和理论。 题目：基于多重触控的多通道人机交互界面设计研究 as t u d yo nm u l t i t o u c h b a s e dm u l t i m o d a lu s e ri n t e r f a c ed e s i g n 关键词：交互，多重触控，多通道，界面设计，体验 k e y w o r d s ：i n t e r a c t i o n ，m u l t i t o u c h ，m u l t i m o d a l ，u s e ri n t e r f a c e d e s i g n 目录 第一章绪论 第二章人机交互界面 第三章多通道人机交互界面 第四章基于触摸的人机交互界面设计 第五章总结 参考文献 附录 后记 第2 章人机交互界面 第2 章人机交互界面 2 1 人机交互界面的定义 2 1 1 界面的定义 高级汉语大词典的定义：界，界分、界限、范围、界说、境域、境界、 毗邻、毗连、接界、界边、划分、界破、离间、隔开。界面，两物体之间的接 触面。 牛津现代高级英汉双解字典的定义：界面( i n t e r f a c e ) ，分界面( s u r f a c e c o m m o nt ot w os i d e s ) ，共同范围。 现代英汉词典的定义：分界面，即两个功能部件之间的一种共享界面， 在一定的条件下，根据功能特性、公共的物理连接特性、信号特性以及其它特 性来定义。结合部位、边缘区域，即能够使两个系统之间相互运行的一种设备 或装置。例如一种硬件部件或一种公共的存储寄存器。接口，即两种软件之间 的一种共享逻辑界面。例如，一个交互开发工具是系统软件和应用软件之间的 友好接口。 简明不列颠百科全书的定义：物质两相的分界面，界面并不是几何面， 而是一个其两侧物质性质不同的薄层。 设计辞典的定义：是对两种不同物体问交流手段、交流过程的整体设计， 是系统地优化人的操作、提高人机交流的效率为目的。亦称用户界面设计( u s e r i n t e r f a c ed e s i g n ) 。 维基百科的定义：界面外观( 1 0 0 ka n df e e l ) 是一个产品描述以及市 场营销、品牌塑造和商标等领域使用的术语，用来表示某个产品的使用体验和 产品外观、界面的主要特性。在软件设计中，界面外观主要用于图形用户界面 ( g u i ) 相关的场合，涵盖界面设计的各个方面，包括颜色、形状、布局和字体 等静态要素( 即所谓“l o o k ”) ，和按钮、对话框和菜单等动态要素的行为( 即 所谓“f e e l ”) 。界面外观这个术语也可以用于描述网站。 6 第2 章人机交互界面 界面外观也适用于其他产品。例如，在产品说明书中，它指的是图形布局 ( 说明书的大小、颜色和字体等等) 和写作风格。在设备中，它指的是整个产 品线控制和显示的一致性。 2 1 2 人机交互界面的定义及其特征 1 、交互设计( i n t e r a c t i o nd e s i g n ) 在使用网站、软件、消费产品、各种服务的时候( 实际上是在同它们交互) ， 使用过程中的感觉就是一种交互体验。随着网络和新技术的发展，各种新产品 和交互方式越来越多，人们也越来越重视对交互的体验。当大型计算机刚刚研 制出来的时候，可能为当初的使用者本身就是该行业的专家，没有人去关注使 用者的感觉；相反，一切都围绕机器的需要来组织，程序员通过打孔卡片来输 入机器语言，输出结果也是机器语言，那个时候同计算机交互的重心是机器本 身。当计算机系统的用户越来越由普通大众组成的时候，对交互体验的关注也 越来越迫切了。 因此交互设计( i n t e r a c t i o nd e s i g n ) 作为- - n 关注交互体验的新学科在 二十世纪八十年代产生了，它由i d e o 的一位创始人比尔莫格里奇在1 9 8 4 年 一次设计会议上提出，他一开始给它命名为“软面( s o f tf a c e ) ”，后来更名为 “i n t e r a c t i o nd e s i g n ”交互设计。口1 从用户角度来说，交互设计是一种如何让产品易用，有效而让人愉悦的技 术，它致力于了解目标用户和他们的期望，了解用户在同产品交互时彼此的行 为，了解“人”本身的心理和行为特点。同时，还包括了解各种有效的交互方 式，并对它们进行增强和扩充。通过对产品的界面和行为进行交互设计，让产 品和它的使用者之间建立一种有机关系，从而可以有效达到使用者的目标，这 就是交互设计的目的。 2 、人机交互( h u m a n - c o m p u t e ri n t e r a c t i o n ) 是研究人、计算机以及它们相 互影响的技术。人机交互是指用户与计算机系统之间的通信，它是人与计算机 之间各种符号和动作的双向信息交换。这里的“交互”定义为一种通信，即信 息交换，而且是一种双向的信息交换，可由人向计算机输入信息，也可由计算 机向使用者反馈信息。这种信息交换的形式可以采用各种方式出现，如键盘上 7 第2 章人机交互界面 的击键、鼠标的移动、显示屏幕上的符号或图形等，也可以用声音、姿势或身 体的动作等。 3 、人机界面 人机界面( h u m a n - c o m p u t e ri n t e r f a c e ) 又称用户界面( u s e ri n t e r f a c e ) 。 作为计算机系统的一个重要的组成部分，是计算机科学、心理学、认知科学和 人素学的交叉领域，也是计算机行业竞争的焦点从硬件转为软件后的又一个崭 新而重要的研究领域。 4 、人机交互界面设计 有很多人会问，交互设计，不就是界面设计吗? 尤其是在理解同软件产品 的交互时。人们在界面设计方面已经有了一定的关注，然而，交互界面设计更 加注重产品界面和使用者行为上的交互以及交互的过程。 界面是一个静态的词，当进行界面设计的时候，我们关心的是界面本身， 界面的组件，布局，风格，看它们是否能支撑有效的交互，但是，交互行为是 界面约束的源头，当产品的交互行为清清楚楚地定义出来时，对界面的要求也 就更加清楚了，界面上( 如果存在可视界面的话) 的组件是为交互行为服务的， 它可以更美，更抽象，更艺术化，但不可以为了任何理由破坏产品的交互行为0 1 。 研究界面设计所包含的外观设计和平面设计，不能单纯从美观和艺术化的 角度出发，而更因从用户和机器的交互行为的角度出发。 2 1 - 3 人机交互界面的发展历史 人机交互界面的发展历史，是从人适应计算机到计算机不断地适应人的发 展史。它经历了几个阶段： 1 、早期的手工作业阶段：当时交互的特点是由设计者本人( 或本部门同事) 来使用计算机，他们采用手工操作和依赖机器( 二进制机器代码) 的方法去适 应现在看来是十分笨拙的计算机。 2 、作业控制语言及交互命令语言阶段：这一阶段的特点是计算机的主要使 第2 章人机交互界面 用者程序员可采用批处理作业语言或交互命令语言的方式和计算机打交 道，虽然要记忆许多命令和熟练地敲键盘，但己可用较方便的手段来调试程序、 了解计算机执行情况。 3 、图形用户界面( g u i ) 阶段：g u i 的主要特点是桌面隐喻、w i m p 技术、 直接操纵和“所见即所得”。由于g u i 简明易学、减少了敲键盘、实现了“事实 上的标准化”，因而使不懂计算机的普通用户也可以熟练地使用，开拓了用户人 群。它的出现使信息产业得到空前的发展。 4 、网络用户界面的出现：以超文本标记语言h t m l 及超文本传输协议h t t p 为主要基础的网络浏览器是网络用户界面的代表。由它形成的w v w 网已经成为 当今i n t e r n e t 的支柱。这类人机交互技术的特点是发展快，新的技术不断出现， 如搜索引擎、网络加速、多媒体动画、聊天工具等。 5 、多通道、多媒体的智能人机交互阶段。以虚拟现实为代表的计算机系统 的拟人化和以手持电脑、智能手机为代表的计算机的微型化、随身化、嵌入化， 是当前计算机的两个重要的发展趋势；而以鼠标和键盘为代表的g u i 技术是影 响它们发展的瓶颈。利用人的多种感觉通道和动作通道( 如语音、手写、姿势、 视线、表情等输入) ，以并行、非精确的方式与( 可见或不可见的) 计算机环境进 行交互，可以提高人机交互的自然性和高效性、多通道、多媒体的智能人机交 互对我们既是一个挑战，也是一个极好的机遇。在人机交互的发展中，一大批 专家为此做出了卓越的贡献。 下面是最有影响的一些事件和成果： 1 、1 9 4 5 年，美国罗斯福总统的科学顾问b u s h ( 1 8 9 4 1 9 7 4 ) 在大西洋 月刊上发表的“a sw em a yt h i n k ”3 的著名论文，提出了应采用设备或技术来 帮助科学家检索、记录、分析及传输各种信息的新思路和名为“m e m e x ”的一种 工作站构想，影响着一大批最著名计算机科学家。 2 、1 9 6 3 年，美国麻省理工学院s u t h e r l a n d 开创了计算机图形学的新领域， 3 b u s hv a sw em a y 雌 f 1 t h ea t l a n t i cm o n t h l y , 1 9 4 5 9 第2 章人机交互界面 并获1 9 8 8 年a c m 图灵奖。他还在1 9 6 8 年开发了头盔式立体显示器，成为现代虚 拟现实技术的重要基础。 3 、1 9 6 3 年，美国斯坦福研究所的e n g e l b a r t 发明了鼠标器，他预言鼠标 器比其他输入设备都好，并在超文本系统、导航工具方面取得了杰出的成果 ( a u g m e n t e dh u m a ni n t e l l e c tp r o j e c t ) ，获1 9 9 7 年a c m 图灵奖。1 0 年后，鼠标 器经过不断地改进，成为影响当代计算机使用的最重要成果。 4 、2 0 世纪7 0 年代，当时在x e r o x 研究中心的a l a nk a y 提出了s m a l l t a l k 面向对象程序设计等思想，并发明了重叠式多窗口系统，后经苹果、微软、麻 省理工学院等单位的不断研究和开发，形成了目前广泛使用的图形用户界面的 标准范式。 5 、1 9 8 9 年，t i mb e r n e r s l e e 在日内瓦的c e r n 用h t m l 及h t t p 开发了w w w 网，随后出现了各种浏览器( 网络用户界面) ，使互联网飞速发展起来。 6 、2 0 世纪9 0 年代，美国麻省理工学院n e g r o p o n t e ( 他早在3 0 年前就提 出了“交谈式计算机”概念) 领导的媒体实验室在新一代多通道用户界面方面( 包 括语音、手势、智能体等) 做了大量开创性的工作，畅销书数字化生存( b e i n g d i g i t a l ) 的作者。 7 、2 0 世纪9 0 年代，美国x e r o x 公司p a h c 的首席科学家m a r k w e i s e r ( 1 9 5 2 1 9 9 9 ) ，首先提出“无所不在计算( u b i q u i t o u sc o m p u t i n g ) ”思想， 并在此领域做了大量开拓性的工作。 2 1 4 人机交互界面的发展趋势 一、新一代界面的主要特征可描述如下： 1 、以用户为中心 以用户对界面的需求变化为出发点，使用户界面的外在形式和内部机制能 符合不同用户的需要，这就是以用户为中心的设计思想。非特定人的连续语音 识别技术将使计算机能理解人们的要求，是一种重要的输入界面和手段。鱼眼 ( f i s h e y e ) 技术使屏幕观察( 或光标) 位置附近的内容被放大，便于用户观察。在 传统的人机系统中，人被认为是操作者，人去适应机器；在一般的人机系统中， 人被称为用户，能与机器对话，但无主动控制能力；而在虚拟现实系统中，人 才是主动的参与者，机器将对人的各种动作做出反应。 1 0 第2 章人机交互界面 2 、多通道( m u l t i m o d a li t y ) 多通道界面旨在充分利用一个以上的感觉和运动通道的互补特性来捕捉用 户的意向，从而增进人机交互中的自然性。人的感觉通道有视觉、听觉、触觉、 嗅觉和平衡等；人的运动通道有手、嘴、眼、头、足及身体等。现在，计算机 操作时，人的眼和手十分累，效率也不高。若将听、说和手、眼等协同动作， 采用多通道、以自然方式交互，可以实现高效人机通信，也可以由人或机器选 择最佳反应通道，从而不会使某一通道负担过重。 3 、非精确 精确交互技术是指能用一种技术来完全说明用户交互目的的交互方式，键 盘和鼠标器均需用户精确输入。而人们的动作或思想往往并不很精确，计算机 应该理解人的要求，甚至于纠正人的错误，智能化的界面是一个重要方向。 4 、高带宽 现在计算机输出的内容已经可以快速、连续地显示彩色图像，其信息量非 常大。而人们的输入却还是使用键盘一个又一个地敲击，因而，计算机的输入 带宽是很低的。新一代的用户界面应该支持高的输入带宽，快速大批量地输入 信息。语音、图像及姿势等的输入和理解是今后的发展方向。 5 、不限制地点 目前，计算机主要是在办公室、实验室或家庭中使用，人们面对着计算机屏 幕进行操作，这种操作方式限制了计算机的应用。虽然已可用遥控器代替部分 动作，但用望远镜看屏幕似不方便，而采用语音输入输出或其它计算机视觉( 摄 像输入) 技术，则可不受地点的限制。 6 、图示编程 二、用户界面的未来发展趋势 图形用户界面的编程是很费时的工作，而采用图示编程( v i s u a l p r o g r a m i n g ) 则比较简单和直观。现在有些多媒体制作工具，如a u t h o r w a r e p r o f e s s i o n a l 、i c o n a u t h o r 等，采用图示方法设计多媒体文档脚本，以便于交 互修改、控制时间关系。新一代的用户界面应尽可能提供图示化的开发工具。 计算机与网络技术的结合进一步促进了计算机技术的发展和应用，表现为 应用领域的多样性和用户的多样性。因此，未来用户界面的发展必须适应这两 种多样性，才能真正为用户和企业所接受。正如n i e l s e n 所指出的，未来用户 第2 章人机交互界面 界面的范式倾向于根据用户任务来具体确定，而不应该局限于某一种或几种通 用的模式。因此，从这种思路出发，可以对用户界面的未来发展趋势预测如下： 1 、多通道将是未来用户界面的技术特征。未来计算机发展地隐身化和微型 化使得界面不一定一定要和屏幕联系起来，从而传统的交互手段的功能在缩减， 其它交互通道将兴起。 2 、自然、高效将是未来用户界面的感知特征。用户界面在计算机软硬件技 术进步的推动下，将使得更多不同技术背景人非常方便、灵活地使用计算机。 3 、个性化定制将是未来用户界面的功能特征之一。未来用户界面将逐步做 到“计算机适应人”，从追求“容易实现”到“容易学习和容易使用”，将明显 突出用户本身的兴趣和爱好。 4 、表现形式的多样化将是未来用户界面的应用特征。由于因特网、无线设 备以及移动计算技术的发展，人类已经进入因特网一分布计算的新纪元，用户范 围更加广泛，使用要求也更加多样化，用户界面的发展必须体现这种要求。 5 、语音识别和指点方式的结合将是未来用户界面的主要形式。当前语音识 别技术和具有触觉反馈的笔输入技术日趋成熟，视觉是人们接受信息的主要通 道，语音和笔交互手势是人们进行交互的主要手段。 2 1 5 人机交互界面的种类 回顾人机界面的发展历史，它从命令行界面发展到w i m p 界面，并最终发展 为多通道用户界面。 1 命令行界面是最早出现的人机界面。在这样的界面下，人被看成是操作 员，机器只是作出被动的反应，人只能通过手作为唯一的交互通道敲击键盘输 入信息，界面则输出静态的单一字符。因此，这样的界面交互的自然性和效率 都很差。( 图2 1 ) 第2 章人机交旺界面 用 户 命令行界面 手一 击键 鼹一单一字符 图2 1 命令行界商概念模型 应 用 例 程 2 从6 0 年代开始，由j 二超大规模集成电路的发展，商分辨率的显j 没备 h i j 鼠标的脱和训制，以及j 一作站等的f 。泛使用，同时计算机图形学、软件： 程、人t 钳能等软件技术的迅速发胜，为图形j j 户界面f g r a p h icu s e ri n t e r f a c e g u i ) 技术的发展提供丫强自力的支持，形成rw i 界断，即以窗门( w in d o w s ) 、 图标( i c o n ) 、菜t 弘( m e n u ) 和指点装胃f p o i n t i n gd e v ic e ) 为基础的人机界囱技 术，它的发展和j 、tj l j 是计算机技术霞人成就之一。至今，g l i 仍然是当前j “泛流 行的人机界嘶，它作为个传达信息情感的t 具，被越来越多的应用在，n 品雨1 汁算机等领域，例如丁- 机菜单的设计、计算机软1 ，f ：界瓶的设计以及网页设计等 等。其设计的好坏影响剑域终用户，影响剑计算机的推一应用，埏至影响到人 们的i 。作和乍活。( 图2 2 ) 用 | 目 w i m p 界面 手一击键7 指点 窗口、图标 眼卜菜单、文本 圈2 2 翻彤州1 界面概念模i ； 应 用 例 程 第2 荜人机交互界面 伊凡萨瑟兰：画板( 1 9 6 3 年) 一第一个图形用户界面，后来a d o b e i1 1 u s t r a t o r 等图形处理软件的前身，它取代抽象的字符命令，采1 j 视觉界面， 是种更易于使用的工具。 3 由于计算机用户界面对人们的工作效率及计算机普及的重要影响，探求 自然、高效的人机交互方式便成为计算机学科的重要前沿课题。多通道 ( m u l t im o d a l ，办称为多模态) 用户界面便是继图形用户界面之后的一个崭新 研究方向。多通道用户界面旨在充分利j j 用户多个感觉和动作通道( 如语音、 手势或视线等) 的互补特性，让计算机来捕捉片j 户的意图，从而根本f ：改变当 前人机通信带宽的不平衡性，提高用，o 输入的效率，增进人机交瓯的自然性。 这一技术的研究和开发，对计算机应用和社会发展将起到不可估量的作用。 用 尸 h i 界面 应 用 例 程 2 d 3 d 多媒体信息 图2 3 多通道人机界面概念模型 那么，图形用户界面会被替代吗? 不会! 它将会被增强，而不是被替代! 有没有一个最终、最佳的_ j 户界面? 没有! 界面存在的本身，就是一个“不幸”。 应该是没有界面，计算机应足不可见! 图形用户界面w i m p 将继续在许多办公室 应j = i 、桌面应用中长期使用。它还将在以下几方面继续发展：从直接控制到菲 直接控制；从_ 维到三维视感：更准确的语音、手势识别；高质量的触觉反馈设 备；更方便的界面开发工具；增强“智能代理”功能：用视频摄像来识别用户 的身份、位置、眼动和姿势。 1 4 ；|；。藏撵甏纛一。 爹哥一。 一： 糍语眼：。 = 二 手嘴限 一 眼耳手 第2 章人机交互界面 2 1 6 人机交互设计的目标 所谓的交互设计就是设计交互式产品以支持用户每天的生活和工作。人机 交互设计应该满足客户的需求，保证交互式产品容易学习和掌握、使用有效果、 能给用户带来愉快的体验。好的交互设计能优化人机交流，使人们能更有效的 进行日常学习和工作。可用性： 1 、使用有效果( 能行性) 2 、工作效率高( 有效性) 3 、能安全使用( 安全性) 4 、具备良好的通用性( 通用性) 5 、易于学习( 易学性) 6 、使用方法易记( 易记性) 第3 章多通道人机交互界面 第3 章多通道人机交互界面 3 1 多通道用户界面的概念 通道( m o d a l i t y ) 一词源于心理学，其词源为“m o d e ”( 方式或模式) 。用 户可以使用手动、语音、眼神等多种交互通道与计算机系统进行交互。 用户可以使用自然的交互方式，例如眼神、表情、动作、语音等和计算机 进行非精确方式的信息交换。同时各个交互通道之间存在串行和并行、互补和 独立等关系，其人机交互方式接近与人与人的交互，其自然性和高效性得到很 到的提高。由于计算机用户界面对人们的工作效率及计算机普及的重要影响， 探求自然、高效的人机交互方式便成为计算机学科的重要前沿课题。 人与计算机利用自然语言进行交流从来就是人工智能的理想。其实，比人 工智能正式诞生还早， t u r i n g1 9 5 0 就提出把机器是否能够用自然语言与人进 行交流作为衡量它是否具有了与人相当的智能的准则，也就是所谓t u r i n gt e s t 。 七十年代初，出现了为人们所欢呼的s h r d l u w i n o g r a d1 9 7 2 。关于s h r d l u 中 的技术在多大程度上反映了人的自然语言理解机制历来有很多争论，甚至 w i n o g r a d 本人对人工智能的态度后来也有相当的转变。然而，撇开这些争论， 从人机交互的角度对s h r d l u 另眼相看它本来就是一个自然语言人机界面。 多通道界面的构想早在大约三十年前就已经出现，当时n i c h o l a s n e g r o p o n t e ( 今天m i t m e d i a l a b 的主任) 提出了“交谈式计算机( c o n v e r s a t i o n a l c o m p u t e r ) ”的概念。人可以用语音、手势、表情、注视和肢体语言，也就是用 他们日常生活中相互交流的方式，与这样的机器进行交互。这正是今天多通道 人机交互研究的理想。“1 最早冠以“多通道( m u l t i m o d a l ) ”这一名称的研究是m i t 的a r c h i t e c t u r e m a c h i n eg r o u p 4 在七十年代末开始设计的m e d i ar o o m b o l t1 9 8 4 。r i c h a r db o l t 作为多通道人机交互研究的先驱，至今仍在m e d i al a b 领导着”多通道自然对话 等项目。 4 m i tm e d i al a b 的前身 1 6 第3 章多通道人机交互界面 3 2 多通道人机交互界面的特点 1 、使用多个感觉和效应的通道：当使用一种信道( 如语音信道) 不能充分 表达用户意图时，需辅助其它通道的信息( 如手势通道) ，以增强表达力。 2 、允许非精确的交互：人们在日常生活中习惯于并大量使用非精确的信息 交流，人类语言本身就具有高度的模糊性。多通道人机交互技术提倡以充分性 代替精确性，允许使用模糊的表达手段可以避免不必要的认知符合，有利于提 高人机交互活动的自燃性和高效性。 3 、三维和直接操纵：人生活在三维的空间里，习惯与看、听和操纵三维的 客观对象，同时希望及时看到这种控制的结果。多通道人机交互的自然性反应 这种本质特点。 4 、交互的双向性：人的感觉和效应通道通常具有双向性的特点，如手可触 及、可以控制、视线可看可注视等，多通道用户界面使用户避免产生生硬的、 不自然的、频繁的、费时的通道切换，从而提高自然性和高效性。例如：触摸 通道。 5 、交互的隐含性：好的人机界面应当使用户将所有的注意力集中在完成任 务而无需为界面分心，即好的人机界面对用户而言应当是不存在界面。追求交 互自然性的多通道人机交互界面并不需要向用户显示每一个交互的部分，而是 在自然的交互过程中隐含的说明。就像用户的眼神会自然的落在感兴趣的事物 k 。 3 3 多通道人机交互的理论发展 近3 0 年来计算机硬件技术以难以想象的速度发展，百亿次的运算速度、海 量的储存容量以及智能的人机接口设备。另一方面随着制造工艺的发汗，计算 机的体积越来越小，其应用也越来越广。以掌上计算机为代表的计算机微型化 和随身化和以虚拟现实为代表的计算机系统的拟人化，将是计算机的两个重要 的应用趋势。人机接口技术是适应这种趋势的瓶颈技术。人机结合以人为主， 将是未来计算机系统的特点，实现人机高效合作将是新的下一代人机界面的主 要目的。但是，目前我们仍然以键盘和鼠标为输入工具，输入输出严重不平衡； 而新的智能接口不断出现，但是人们却不知道如何使用，不能充分的利用人的 1 7 第3 章多通道人机交互界面 认知资源，人们长期最求的以自然的方法和计算机交流的理想依旧无法实现， 因而许多新的计算机应用技术无法普及；人机交互界面开发周期太长，缺乏对 用户界面分析、设计、评估和维护的科学方法和高级工具。 多通道人机交互界面就是在以上的背景下发展起来的重要的人机交互技 术。它基于智能接口技术，充分利用人的多种感觉通道和运动通道，以并行非 精确方式和计算机进行交互，旨在提高人机交互的自然性和高效性。 3 4 多通道人机交互的技术形式 1 、精确交互方式 精确交互技术是指能用一种交互技术来完全说明人机交互目的的交互方 式，系统能精确确定用户的输入。目前围绕多媒体系统人机交互技术主要有两 个发展方向：一是发展能代替鼠标的定位技术，如触摸屏幕、跟踪球、触垫和 定位器等。二是开发能代替键盘的输入技术，如：语音识别和理解系统；或能 同时起到上述两种功能的系统，如：笔输入系统等可能会成为多媒体系统人机 交互的重要工具，它一定成都上同时调用了人的运动过程，但却把主要的信息 通道集中在手的运动上。从界面设计概念上讲，上述不同交互方式，本质上都 是试图利用一种精确交互技术去取代另一种精确交互技术。 2 、非精确交互技术 非精确交互教书是指用户利用不能精确输入的交互装置( 如语音识别系统、 视觉追踪系统) 进行交互。以此为发展的交方式面有： 语音：主要以语音识别的研究为基础，不需很高识别率，借助一定的a 1 5 技 术进行交互。 姿势( 触摸与触感) ：主要利用数据手套和数据服装等装置对手和身体的运 动进行追踪耳完成人机交互。 头部追踪：主要利用电磁、超声波等方法对头的运动进行定位而完成交互。 凝视：以眼睛作为一种指示装置的交互方法。 ( 在下文，本文作者针对基于多点触控技术的触摸通道进行更加详