多媒体人机交互技术.docx

第五章 多媒体人机交互技术 课前索引人机交互（Human Computer Interaction）是研究人与计算机之间的交互技术。由于计算机的应用越来越广泛，功能越来越强，计算机能处理和表现越来越多的信息。目前，计算机能够处理图形、图像、动画、视频、语音、音乐、文字等不同的媒体，但缺乏仿生的眼睛和耳朵，也没有从外部世界收集信息所需的触觉、味觉和嗅觉。计算机没有语言能力，没有四肢，没有建立各种各样信息表达形式的能力，所以，我们目前仍然以键盘和鼠标为主要输入工具，输入输出严重不平衡，这就限制了人和计算机之间的信息沟通。不能充分利用人的认知资源，人们长期追求的以自然的方法和计算机交流的理想仍然无法实现，许多新的计算机应用技术无法普及。因此，人和计算机之间的交互显得日益重要。 5.1多媒体人机交互技术概述人机交互技术是计算机应用的核心技术，以用户为中心是人机交互界面设计的核心思想，人机界面作为人与计算机通信的途径，其效果好坏直接影响到用户使用计算机的效率以及软、硬件功能的发挥，现有的人机交互技术已落后于计算机软、硬件的发展，成为信息产业急待解决的问题，美国将软件、人机交互、网络和高性能的计算机并列为21世纪信息技术计划的基础研究内容，我国“ 973”计划也将人机交互技术与虚拟现实的真实感作为科技攻关的关键问题。5.1.1人机交互技术的概念及发展历程 人机交互系统是实现人与计算机之间通信的软、硬件系统的总称，包括人机交互硬件和人机交互软件两方面，前者有：键盘、鼠标、显示器、打印机等硬件设备；后者又分为系统软件（如鼠标、打印机驱动程序等）和应用软件通常是指人机交互界面。人机交互技术（Human-Computer Interaction）就是研究人与计算机之间相互通信的技术，人机界面（HCI, Human Computer Interface）是实现人与计算机信息交互的平台，通常是指人机交互软件界面。多媒体人机交互技术是指人们通过各种媒体与计算机进行通信的技术，它含盖了：文字、图形、图像、动画、声音、视频等多种信息的交互。现有的人机交互方式有：看、听、说和操作，人可以通过操作键盘、鼠标、跟踪球、操纵杆、光笔、手写板、触摸屏、数字化仪、扫描仪、话筒、摄像头等输入设备向计算机输入信息；计算机也可以通过显示器、打印机、绘图仪、音箱、耳机、立体眼镜、头盔显示器等输出设备向人反馈供信息。 随着计算机技术、多媒体技术、虚拟现实技术以及网络技术的发展，人机交互的内容与形式日益丰富，交互的方法也层出不穷，不断向人机交互技术提出新的、更高的要求。人机交互技术随着交互设备和软件技术的发展也在不断进步，回顾人机交互技术的发展历程，它大致经历了手工操作、命令行界面（CLI，Command Line Interface）和图形用户界面（GUI，Graphic User Interface）三个阶段。 1手工操作阶段 自从1946年世界上第一台数字电子计算机ENIAC在美国宾西法尼亚大学诞生以来，早期计算机程序和数据的输入是采用穿孔卡片或穿孔纸带进行的，计算机的状态用指示灯来显示，计算结果由打印机打印输出。穿孔卡片或纸带上的程序和数据是人们用手工将二进制机器码输入穿孔机，再交由阅读机读入计算机的，这时的人机交互是相当原始的，程序输入错了也没法修改，只能将纸带报废，输出界面也很不直观，更谈不上实时交互。 2命令行界面到了上个世纪50年代中期，出现了终端显示器，这时显示器和键盘是一体的，在内部缓冲寄存器的支持下，构成了字符显示终端，它显然比穿孔卡片或穿孔纸带使用起来方便得多，由于有输入缓冲器，所以输入的错误可以及时修改，终端显示器的输出也比打印机的速度要快得多，而且便于连续使用。后来随着汇编语言和一些高级语言如FORTRAN、COBOL、LISP、PASCAL和BASIC等语言的出现，为了便于操作和控制作业，逐步发展出了交互式命令语言及其有关标准，当时的终端分为批处理终端和交互终端，在批处理终端上一次提交的是整个作业计算机按照指令顺序执行，而在交互终端上人们可以每次向计算机输入一行命令或数据，计算机逐条解释执行，并在显示器上输出结果。为了便于输入数据，人们还编制了文本菜单程序，用户可以在计算机的提示下通过问答的方式输入数据，第一次实现了人机交互，这一时期的人机界面被称作命令行界面，可以看作是第一代真正的人机界面。它的操作由熟练的操作员通过键盘输入来进行，输出的也只能是静态字符，交互的方式单一、自然性差、效率低。3图形用户界面图形用户界面的出现使人机交互技术向前迈进了一大步，普通的用户不须要懂计算机，更不须要记住烦琐的操作命令，所有图形用户界面下的应用程序界面标准是统一的，操作是相同的，用户只须轻点鼠标就可以完成所有操作，非常简单、易于掌握，极大地推动了计算机的普及应用。图形用户界面起源于上个世纪60年代，1963年美国麻省理工学院（MIT）的Sutherland发明了Sketchpad技术，并首次引入了菜单、瓦片式层叠窗口及图标，并采用光笔进行绘图操作，同年美国斯坦福（Standford）研究所的Engelbart发明了鼠标器，到了70年代美国施乐（Xerox）公司的Alto计算机首次使用了位图显示技术，开发出了可重叠菜单、弹出式菜单和滚动条，成为了日后图形用户界面的基本要素。1984年美国苹果（Apple）电脑公司在此基础上开发出了Macintosh计算机，成为世界上第一台图形用户界面计算机，Macintosh风格也成了图形用户界面的标准，它以窗口（Windows）、图标（Icon）、菜单（Menu）和指点装置（Pointing device）为基础形成了所谓WIMP界面，1986年美国微软（Microsoft）公司推出了Windows视窗操作系统，以后版本不断更新，成为风靡全球的图形用户界面操作系统。WIMP界面是第二代人机界面，输入采用鼠标，输出可以是二维的图形或图像，与第一代人机界面命令行界面（CLI界面）相比，其交互的自然性和效率都大为改观，但它们都属于单通道人机交互界面，不具备使用多种媒体以及三维交互的能力。现在的人机交互技术向网络化、多媒体、多通道和智能用户界面方向发展，为新一代人机交互界面的开发提出了新的课题。5.1.2人机交互技术的主要研究内容 人机交互技术与认知心理学、人机工程学、多媒体技术以及虚拟现实技术密不可分，其中认知心理学和人机工程学是人机交互技术的理论基础，而多媒体技术和虚拟现实技术为人机交互技术提供了更丰富的表现手段和更高的要求。 1认知心理学 认知心理学（Cognitive Psychology）起源于上个世纪50年代，到70年代在西方已成为心理学的一个主要研究方向。它研究人的认识过程，如注意、知觉、表象、记忆、思维和语言等，从心理学的观点研究人机交互的原理。该领域通过视觉、听觉等手段接受和理解来自周围环境的信息和感知过程，以及通过人脑进行记忆、思维、推理、学习和解决问题等人的心理活动的认识过程。认知心理学是人机交互界面设计的依据，人的认知过程包括人的感官（视觉、听觉和触觉）是如何接受信息的，人又是如何处理信息、理解信息、记忆信息以及如何进行推理，只有了解了这些，才能进行界面设计。 一个交互的计算机系统，要能很好地实现用户与计算机之间的人机交互，通常必须考虑三个元素：人的因素、交互设备及实现人机对话的软件。交互计算机系统的最终目标是让用户能方便自然地和计算机进行交互式操作，因此设计交互计算机系统时，必须把满足用户的使用要求作为重要依据。 2人机工程学 人机工程学（Ergonomics）是指用系统工程学的方法研究人体科学与环境科学相互作用、相互影响，从而进行优化设计以提高功效的一门综合科学。经典的人机工程学称为硬件人机工程，主要研究在系统设计时如何考虑人的体力、耐力和舒适度等人的因素，以使系统设计最优、工效最高。软件人机工程学研究软件和软件界面，侧重于运用和扩充软件工程的理论和原理，对人机界面软件进行分析、描述、设计和评估等。主要解决有关人类思维与信息处理的有关问题，包括设计理论、标准化、增强软件的可用性的方法等，使计算机与人的对话能满足人的思维模式与数据处理的要求，实现软件的高度可用性。 从科学和技术的角度看，人机工程学是研究“人机环境”系统中这三要素之间的关系，为解决系统中人的效能、健康问题提供理论与方法的科学。 人机工程学主要研究的内容有：人与机器之间的分工与配合；机器如何能更适合人的操作和使用，以提高工效、减轻人的劳动强度；工作环境对操作者的影响，如何改善工作环境；如何设计人机界面、信息传递的方式以及显示方式等。 3多媒体技术 多媒体技术是指计算机处理多种信息如：文本、声音、图形、图像、动画和视频信息的技术。引入多媒体技术极大地丰富了计算机对信息的表现形式，同时也增加了人机交互的途径，在串行、字符信息和并行、联想信息方面扩展了人的信息处理能力。另一方面，多媒体技术为多通道人机交互提供了手段，使用多通道人机交互技术，可以提高计算机对信息的识别、理解能力，增加人机交互的效率，使交互更自然，界面更友好。 4虚拟现实技术 虚拟现实（Virtual Reality, VR）就是通过三维空间设备在计算机上营造一个虚拟环境，人可以通过视觉、听觉、触觉与虚拟世界进行交互，使人有身临其境的感觉。虚拟现实技术的特点是：真实感、沉浸感和交互性，自然和谐的交互方式其研究的重要内容。虚拟现实交互设备有：三维鼠标、三维跟踪球、三维游戏杆、三维扫描仪、数据手套、数据衣、触觉和力学反馈装置、位置跟踪器、眼动跟踪器、立体眼镜、头盔式显示器、洞穴式显示器和大屏幕立体显示器等。虚拟现实交互设备极大地丰富了人机交互的手段，将传统的二维、静态的人机交互方式扩展到三维、实时的动态交互，这对人机交互技术提出了更高的要求。5.1.3 人机交互界面的创意设计 “创意”在人机界面方面主要是屏幕设计。除了对计算机屏幕进行空间划分外，在时间轴上还要根据需要以音乐、解说和动画等形式加以表现。时间和空间统一起来构成一个完整的屏幕设计。 1. 屏幕设计创意 一个屏幕含有背景、标题、描述(文字、图形和动画等)、各种控制(如跳转按钮等)等空间成分，以及与之同步的背景音乐和解说词等时间成分。屏幕设计创意是通过各种艺术表现手法和各种技术手段表现一个与主题相适应、为主题服务的意境。它包括表现样式、风格追求和对信息内容的合理布局等等。当创意作用于屏幕的设计与制作时，将信息内容的本来意义与创意设计出来的各种形象、符号、图标、字体及正文进行刻意的编排，在整个屏幕的视觉审美结构上达成有机融合，能够进一步增强屏幕的直观感染力和耐人寻味的可视性。一个屏幕载有各种媒体信息，图文并茂，有多层结构，并具有动态特性，其信息指向也是多向的。在进行设计时，通过直观的图形、图像、文字、概念、色彩等各种造型要素及信息菜单、信息正文所构成的总体感性印象及心理感受来传达信息内容。各构成要素就是传达特定信息的载体，将这些构成要素按照视觉运动的法则精心地编排组合使它们在组合中有主有次、有轻有重、有大有小、有疏有密、有曲有直，从而使这些要素和谐地出现在一个屏幕上，使其相辅相成，成为具有活力的有机体，以发挥最有效的诉求效果，更好地传达信息。 2. 屏幕创意设计原则 屏幕创意设计包括文字排列方向、字群聚散组合、字体大小风格的选择、图片的分布及色彩与空白的经营。从狭义的概念上讲，所研究的是各种视觉元素的位置、面积、大小的排列组合和视觉流程问题；从广义上讲，它更多的是研究各种视觉元素通过搭配协调所构成的格调，强调美的韵味设计，使使用者在接受屏幕信息的过程中，能感受到设计者对美的追求及对信息内容的主题思想、立场倾向和风格特点的把握与理解，从而强化信息主题的有效传达。进行屏幕界面的创意设计时，必须遵循以下几条构成原则： （1）内容与形式表现必须统一，形式表现必须服从内容要求。如在造型上各构成要素规格化的设计样式要统一。 （2）要充分考虑各构成要素之间的视觉流程，能自然而有序地达到信息诉求重点的位置，突出主题。 （3）注意保持屏幕界面在视觉上的相对均衡感，使其在形式结构上得到正确的配置。 （4）注意屏幕设计中的空白处理，空白的处理对提高网页的视觉效果有极为重要的意义。对空白的正确规划，不仅能使屏幕设计流畅明快，疏密有序，布局清晰，而且在视觉上有强烈的集中效果，有利于突出诉求重点。 （5）注重整体的对比因素，设计中各构成要素在组合时，要注意其结构形态的轻重、大小、虚实、多少等对比因素，加强视觉力度，以强化屏幕界面的整体吸引力。 （6）注意提高屏幕界面信息内容的视读性。设计中要注意主要信息内容易读的视觉效果。对信息文字的字体形态、大小变化及字距行间的排列及字的高度宽度作出适当的处理，使其集中紧凑，流动有序而不松散杂乱。 （7）创造一定的韵律感。反映在页面设计中就是利用有力的线条、形体及色彩形成一种有节奏性的律动感，能引导人的视觉以一种流畅而有停顿的方式运动，使人能够抑扬起落地浏览整个屏幕界面，阅读时感到轻松而又富于韵味。 3. 屏幕创意设计表现手法屏幕创意设计表现手法是指调整所涉及的一切视觉构成元素以突出设计者所表现内容的方法。视觉构成元素包括视觉流程、点线面的关系、形状间的组合、对比与统一、节奏与韵律、装饰与趣味等等。 （1）视觉流程 视觉流程是指人们在阅读一种信息载体时，视线总有一种自然的流动习惯，通常都是从左到右，由上到下，由左上方沿着弧形线向右下方流动的过程(如图5-2所示)。其注意值随着下移逐渐递减。在此流动线上的任何点，都会比流动线外的任何点明显。故在设计屏幕界面时应能巧妙运用视觉流程对视觉进行导向作用，对不同性质的信息作有序处理，从而引导人们的视线按照设计意图更有效地接受信息。 （2）点线面的关系屏幕界面的三大要素文字、图形、色彩的抽象就是点、线、面。它们彼此交织，互相烘托。一个图标、一个小三角、一个小饰花都可以抽象成一个点。由于点在画面的空间中具有一种张力作用，当空间中有两个同等大的点时，其张力作用就表现在连接这两点的视线上，在心理上产生吸引和连接的效果。当画面中的两点大小不同时，人的注意力首先会集中在较大的一方，而向较小的一方转移。点的形态、大小、位置的不同，都会产生不同的视觉联想和感受。它可以在视觉上产生心理张力，引导视觉流向，而且起着活跃、平衡、稳定、丰富画面的作用。 线具有较强的感情性格，如直线给人的感觉是稳定而静止，而曲线给人的感觉是具有速度、动力或弹力。线的粗细不同，曲直形态不同，方向不同，都会产生不同的视觉感受和联想。面的形状丰富多变。规则轮廓线的面较严肃，无规则轮廓线的面较活泼。圆弧形或曲线形柔和而圆满，富于人情味。而正三角形蕴含着稳定和永恒。 （3）形状间的组合屏幕界面是以文字、图形、色彩的组合来传达信息的。文字、图形、色彩在设计中以点、线、面的形式，在平面上构成了各种各样的形状，称其为“形”。形与形之间具有多种组合，如分离、接触、覆叠、联合等等。这些形的组合使屏幕界面更加丰富、富于变化、且具有层次感。 （4）对比与统一对比是屏幕界面取得强烈效果的最重要的手段。彩度上的艳与灰、亮度上的黑与白、浓与淡、面积上的大与小、运动上的动与静、数量上的多与少、质量上的疏与密等都是对比。在视觉设计中，对比强烈的注视率就高。统一是高层次上的协调，协调是对比的对立。协调和对比的屏幕界面多了，都会使人疲劳。任何视觉设计既要有对比上的差异性，又要有调和上的共同性。只有使对比与协调相统一，才能使屏幕界面既生动活泼，又流畅自然。 （5）节奏与韵律节奏和韵律运用在屏幕界面设计上，是指各种造型构成要素的点、线、面所形成的一种自然秩序，规律节奏的美。其表现手法有反复、连缀、转换、渐变、特异等。 在自然界中美的形式规律有两种：一是秩序美，二是特异美。秩序性是形式美规律的重要因素。如同构的排列、形象的重复、方向的一致、或色彩的统一等均具有构成的同一性，这些方面都发挥着协调统一的作用。特异是对规律的突破。在屏幕界面设计中，如果出现局部或小部分与整体编排秩序不符，往往更能引起用户的关注，突出了设计的内容。一种特异的形象往往会吸引视觉流向，成为视觉注意的中心。 （6）装饰与趣味屏幕界面的装饰是指造型和色彩点缀、各类外框线、跳跃的点等等。屏幕界面的装饰是一种美化。美化了的屏幕界面能够提高传达信息的效率。趣味是一种活泼性的视觉语言。增加屏幕界面的趣味性能使信息添翼，使界面更新奇且耐人寻味。5.2?图形用户界面 随着计算机技术的发展，特别是鼠标器的发明、图标的使用以及可重叠菜单、弹出式菜单和滚动条的开发成功，到了20世纪80年代诞生了图形用户界面（GUI），即所谓WIMP界面以窗口（Windows）、图标（Icon）、菜单（Menu）和指点装置（Pointing device），为基础的交互界面，首先是美国苹果（Apple）电脑公司开发出了世界上第一台图形用户界面计算机-Macintosh计算机， Macintosh风格也成了图形用户界面的标准，接着美国微软（Microsoft）公司推出了Windows视窗操作系统，并迅速成为风靡全球的图形用户界面操作系统，到了20世纪90年代基于图形用户界面的软件已经超过了字符界面下的软件，图形用户界面已经成为计算机人机交互技术的主导方式，图形用户界面极大地方便了广大非计算机专业人士使用计算机，其操作非常简单、易于掌握，极大地推动了计算机的普及应用。5.2.1图形用户界面的特点1. 桌面隐喻（desktop metaphor）桌面隐喻是指用图例表示计算机可以进行的操作。图形用户界面中的图例具有一定的含义，可以表示对象、动作或属性等。图例可以是静态图标也可以是动画或视频。隐喻的方法有三种，一种是直接隐喻，即隐喻的本身为操作对象，如画笔绘图工具中的直线和圆图标，分别代表画直线和画圆操作；第二种为工具隐喻，如用打印机图标表示打印操作，这种隐喻使用最多；第三种为过程隐喻，通过描述过程来暗示该操作，如Word中的撤消和恢复图标。在图形用户界面中，大量使用隐喻，隐喻与用文字表达相比，具有直观、形象生动的优点，但是隐喻需要占用一定的屏幕空间，并且很难表示一些抽象的概念。2. 所见即所得（What You See Is What You Get, WYSIWYG）所见即所得技术表示界面中显示的格式即为最终输出的结果。目前大多数编辑软件都具有所见即所得界面，例如，预览时所见到的与最终输出的一致。所见即所得技术是将编辑界面中的格式控制符直接显示输出。但有时屏幕上的配色方案与打印机的配色方案不尽相同，使得打印输出有所差别。3. 直接操纵（Direct Manipulation）直接操纵是指把操作的对象、属性和关系显式地表示出来，用鼠标、光笔、触摸屏或数据手套等指点设备直接从屏幕上获取形象化命令与数据的过程。直接操纵具有以下特性：（1）用物理动作或图标代替了复杂的操作，这种图标与其实际内容应该是相近的，用户能通过屏幕上的图标想象或感知其内容。例如，用文件夹表示磁盘目录，用户可以双击打开它，也可以将它拖到废纸篓中而删除它。（2）用指点和选择操作代替键盘输入。其优点是操作简便、快捷，不用记忆烦琐的命令，尤其适用于非专业用户。（3）操作结果立竿见影，交互性强。用户可以立即看到操作结果，便于及时修改和更正。（4）支持逆向操作。用户在使用过程中，不可避免地会出现一些操作错误，有了直接操纵后，操作错误更加明显，因此系统必须提供逆向操作功能，即能方便地恢复到错误操作以前的状态。目前大多数直接操纵编辑软件都提供撤消和重做（Undo & Redo）功能，便于更正错误操作。5.2.2 图形用户界面的设计1.设计原则（1）一致性原则，在同一用户界面中，所有的菜单、对话框及术语应保持同一风格。（2）提供快捷操作方式，对于常用操作要提供快捷操作方式，例如存盘、打开等操作设置快捷方式可以提高工作效率。（3）提供错误检测及错误处理机制，当出现操作错误时，系统应能检测出来，并保持操作前的状态，提醒用户改正错误。（4）提供信息反馈功能，对于重要的操作，系统应有提示信息，待用户确认后方可进行，这样可避免发生重大操作错误。例如，关闭还未保存的文件时，系统要提示是否要保存该文件。（5）提供逆向操作功能，允许用户撤消错误的操作，有的软件可以退回好几步，对错误的操作采取比较宽容的态度，有利于用户进行各种尝试，把全部精力都用到创作中去，而不必为不满意的尝试而后悔不已。（6）提供联机帮助功能，即使是熟练的用户也不可能记住复杂软件的所有功能的使用，系统应该能够提供上下文关联的帮助系统，使用户可以及时获得帮助，便于掌握软件的使用。（7）对于图形用户界面的用户来说，屏幕的合理使用有为重要，要提供多窗口管理，如平铺、层叠窗口，对于每一个窗口要提供缩放功能。2色彩的运用色彩是屏幕设计的一个重要方面，运用的好能吸引用户的注意力、突出重点给用户以美的享受；运用不好则使用户眼花缭乱、分不清主次甚至看不清显示的内容。使用色彩应注意以下几点：（1）在一幅画面中使用的色彩种类不宜太多，最好不要超过5种，太多使人眼花缭乱，可用不同层次和形状来配合颜色，以增加变化。（2）画面中重要的或活动的对象采用鲜艳的颜色，而不重要的或非活动的对象使用较暗淡的颜色。前景使用鲜艳的颜色，背静采用暗淡颜色。（3）当需要区分不同对象时，首先按亮度大小，然后在按颜色不同来区分。（4）在一个系统中，各种颜色的意义应该符合人们的习惯并保持一致，例如，红色表示错误，黄色表示警告。（5）避免使用不兼容的颜色配伍，如蓝/黄、红/绿、红/蓝、绿/蓝，这些色彩对比强烈的颜色组合，会在边界上产生颤抖或余像效应，影响观看。好的色彩搭配见下表：表 色彩搭配组 1 2 3 4 5 6 7 8前景色白 黑 红 绿 蓝 青 品红 黄背景色蓝 白 黄 黑 白 蓝 黑 红黑 黄 白 蓝 黄 黑 白 蓝红 绿 黑 红 青 红 蓝 黑 3.色彩的设计方式 色彩和图像、文字一样是界面的一个元素，在界面设计中起着特殊的作用。色彩可以吸引人的注意力，影响人们的情绪，向人们传达特定的信息含义。色彩的适当配合可以给人以美感，使人振奋、愉快。 在人机交互中，使用颜色有以下优点： （1）温和夺目，把用户注意力吸引到重要信息上。例如，制作一个色彩鲜明的标题将有助于和其他屏幕显示信息相区别，减少了搜索重要信息的时间。 （2）突出信息的逻辑结构，便于对信息进行分类。例如，对同类信息可以使用同种颜色显示，帮助用户对相关信息进行分类和提取。 （3）给缺少趣味的显示增添特色，改善人的视觉印象，使人愉快、兴奋、增强兴趣、减少疲劳。一个设计良好的具有彩色显示的人机界面软件系统，将更容易打动用户，取悦用户，极大地增强产品的商业竞争力。在输出显示中，屏幕页面色彩配置是否协调对整个观感很重要。应根据内容的需要，对页面中各对象的色彩基调、色彩布局和背景颜色作合理的安排。力求使页面色彩与所要表达的主题、内容、形式、风格相一致；基调要统一，对比要和谐；底色应明快，装饰应新鲜、稳重。在人机交互中色彩的使用主要遵循以下原则： （1）正确选择色彩基调 版面色彩基调应选择与作品内容、结构、风格、样式相吻合的色彩。不同的色彩有不同的感染力和表现力，给人以不同的感受。这种配合内容的色彩称为优势色彩。优势色彩是贯穿作品始终的基础色彩。 （2）文字色彩与画面色彩应协调、柔和通常用中性色彩或画面色彩的补色作为字幕的颜色，中性色彩包括黑、白、灰、金、银色等，这些色彩与大部分版面色彩相配都能达到比较好的效果。不宜使用红/绿、红/蓝、绿/蓝、蓝/黄这些组合颜色对，因为它们会使相邻边界产生振荡和余像。一般地，黑色在黄色背景上反衬清晰度最高，而黑色在蓝色背景上、蓝色在红色背景上反衬清晰度最低。字体清晰度与背景色的匹配如表5-1所示。表5-1字体清晰度与背景色的匹配字块色彩背景色彩显示效果字块色彩背景色彩显示效果黑字黄色好蓝字黄色较好绿字白色好黄字白色较差蓝字白色好红字绿色较差黑字白色好蓝字红色较差白字黑色较好蓝字黑色较差白字紫色较好紫字黑色较差白字蓝色较好紫字红色较差白字绿色较好绿字灰色较差绿字黑色较好绿字红色较差（3）尽量使用不易产生视觉疲劳的色彩心理学和生理学的知识告诉我们，色彩会对人产生视觉感受并引起疲劳等方面的心理影响。一般说来，对带绿色成分的黄绿、蓝绿、淡青色，人的眼睛感觉舒服，不易引起疲劳；红色、橙色居中；而蓝色、紫色最易引起视觉疲劳。（4） 选择合适的颜色种数每次显示使用颜色不宜过多，使用过多颜色的屏幕反而不利于区分颜色及颜色的含义。在非必要情况下，显示使用的颜色宁少勿多(4个以下)，至多不应超过57个。（5）处理好对比与和谐的关系 对比是以合理的色彩布局为前提，以视觉平衡为准绳，在对比中求和谐，在和谐中体现力度，使版面色彩具有美的视觉感受。如在色的对比方面，常用类似色进行对比，以获得悦目、柔和的艺术效果。在色的饱和度对比方面，颜色反差的强弱与色调的相对纯度有较大关系，复色比单色具有更柔和的反差效果。色的面积对比是突出色的质感和力度的重要手段，应仔细考虑背景画面的色块分布与字幕色块之间的关系，应避免使互为补色面积相近的大色块相互靠近，且色块最好不要孤立出现，尽量使用其他颜色相衬托。色的动静对比是指色彩的运用与物体运动轨迹所造成的色彩流动有关，当一个运动画面与一静止画面衔接时，画面的字幕应具有动感，以保持其运动的连续性。 （6）使用一致性的颜色显示一致性是人机界面领域的普遍原则，在显示颜色上的设计中还应注意全过程字幕色彩基调相对稳定。画面段落内的色彩基调不要随意反复变化，必须服务于全面的主题、情节和客观环境，要保持层次之间色彩基调的连续性。4屏幕的布局（Layout）屏幕布局应该使各功能区明显、突出重点，一般应遵循以下几个原则：（1）平衡原则，屏幕的上下左右布局要平衡，不要虎头蛇尾或一边重、一边轻（2）顺序原则，对象显示的顺序应按需要排列，重要的先出现的对象先显示。（3）经济性原则，在有限的屏幕空间中既要提供足够信息量，又要注意信息的简明、清晰。（4）规范化原则，在一个系统中，对话框、提示行等要统一规范（5）可预期原则，对象的操作结果要可以预期。5菜单界面的设计菜单在图形用户界面中广泛使用，菜单界面设计的关键是确定菜单选项和菜单结构。菜单选项有：命令项、菜单项和窗口项。命令项用来执行一条命令，如File（文件）菜单下的Exit（退出）命令；菜单项是用菜单显示的一组相关的命令；窗口项是以弹出式窗口的形式显示的一组操作。菜单结构有：单一菜单、线状序列菜单、树状菜单和网状菜单等，其中树状菜单最为常见。单一菜单是菜单中只有一组选项，可进行单选或复选。线状序列菜单是把一组相关的菜单组合在一个菜单中，例如Word中字体菜单，可以定义字体、字型、字号、颜色和效果等。树状菜单是把选项划分为若干类，每一类选项又成为一个子菜单，如此下去，形成树状结构，一般级数不宜过多，以不超过3级为宜。网状菜单为多级菜单结构，包括父菜单、子菜单等等，允许在父菜单与子菜单之间切换，而不必中转，其结构比较混乱，容易迷失方向，较少使用，只在网页浏览用到。在设计菜单界面时，一般遵循如下原则：（1）合理地组织菜单界面的结构与层次。广而浅的树状菜单比较有效，如果有下级菜单，用箭头提示出来。（2）按照系统的功能对菜单进行分组和排序，将同一类功能的菜单选项放在同一组中，将常用的菜单选项放在比较靠前的位置。（3）菜单选项的标题力求简单、明确、以关键词开头。（4）常用的菜单选项要设置快捷键，并有文字提示。（5）充分利用菜单选项的使能与禁止、可见与隐藏的属性，当某个选项的功能不能执行时，应该禁止选中，不常用的菜单选项应该自动隐藏起来。（6）合理地使用弹出式菜单，这样实现系统的功能更加简捷、高效，弹出式菜单一般不包含子菜单。6填表输入界面的设计在需要输入大量的数据时，采用填表输入界面是最理想的选择，设计填表输入界面要考虑两方面的问题：一是表格设计；二是表格的屏幕编辑功能。设计填表输入界面时遵循的原则：（1）表格要有标题，布局要直观，栏目按逻辑功能分组排序，栏目标题要易于理解。（2）表格的显示要美观、清晰，避免过于拥挤。（3）把相关的输入字段安排在一起，按照使用频率、重要性、功能关系或使用顺序进行排序和分组。（4）要有出错提示，系统应该能提示输入数据的范围和方法，对不可接受的输入给出出错提示。（5）提供帮助，系统应该能提供帮助信息。（6）表格的文字要易于理解，力求简明。（7）光标的移动要方便，例如，对于固定长度的字段，输入完后自动跳到下一项，用Tab键也可以将光标移动到下一字段5. 3 多通道交互技术 人机交互界面的发展经历了从第一代命令行界面到第二代图形用户界面，现在正在向着第三代多通道用户界面发展，所谓多通道用户界面就是通过多个通道例如语音、手势、身体语言与计算机系统进行通信的用户界面。多通道用户界面主要关注用户向计算机输入信息以及计算机对用户意图理解的问题，它基于视线跟踪、语音识别、手势输入、感觉反馈等新技术，使用多个交互通道以并行、非精确方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。多通道用户界面的研究始于上个世纪80年代，美国麻省理工大学（MIT）媒体实验室的“多媒体自然对话”项目中的星云系统为在线信息查询提供了语音界面；卡内基-梅隆大学（CMU）交互系统实验室（ISL, Interact System Laboratory）的JANUS项目在语音识别、语音翻译及自然语言的交互方面做出了成绩；其INTERACT项目在手势识别、表情识别、手写输入以及多通道信息的整合进行了探索；美国海军研究所（NRL，Navy Research Laboratory）的Intelligent M4 研究组致力于研究自然语言界面与其他人机交互方式的结合；欧洲信息技术研究战略规划（ESPRIT II）的Amodeus项目主要研究用户和系统要求的统一表示及通道分类学；其MIAMI项目致力于多媒体和多通道人机界面的研究，主要内容是通过视觉、听觉和触觉/手势系统来访问、表示和产生多媒体信息及多通道交互技术。英国的研究人员提出了“耳标”的概念，用声音替代了图标。国内有北京大学计算机系、中科院软件所共同承担的国家自然科学基金项目“多通道用户界面的研究”主要探索以视线跟踪为核心的多通道人机交互技术，内容包括多通道用户界面的输入技术、多通道信息的整合方法、多通道用户界面的用户模型和描述方法、多通道用户界面的设计原则和评价体系以及开发环境等。5.3.1眼动跟踪人类80%的外界信息是通过视觉获得的，目前人机界面所用的交互技术几乎都离不开视觉的参与。例如 ，当用户使用鼠标去控制屏幕上的光标来选择所感兴趣的目标时，视线随注意点聚焦到该目标上，然后检测光标与该目标的空间距离，再反馈到大脑并指挥手去移动鼠标，直至视觉判断光标已位于目标之上为止，交互过程自始至终都离不开视觉。通过对视觉跟踪的研究，可以得知人在观测外界景物和屏幕信息时的扫描选择和注视过程，从而研究人的视觉感知和综合的机理。在观察多目标、多任务人眼对不同位置、大小、颜色和速度的目标的眼动敏感度、延迟、反应速度等特征进行深入的了解。视线跟踪技术有强迫式与非强迫式、穿戴式与非穿戴式、接触式与非接触式之分，其研究内容主要有人眼的运动和跟踪技术两个方面，下面分别介绍。1人眼的运动眼动在视觉信息的加工过程中起着重要的作用。眼动有三种形式：跳动（Saccade）、注释（Fixation）和平滑尾随跟踪（Smooth Pursuit）。在正常的视觉观察过程中，眼动表现为在被观察目标上一系列的停留以及在这些停留点之间的飞速跳跃。视线停留时间至少持续100ms以上的称为注视，绝大部分信息是在注视时获得并进行加工的，在注视时，眼睛也存在快速、微小的运动，称为生理震颤，但其范围不超过1视角。视线在注视点之间的飞速跳跃称为眼跳动，它是双眼联合进行的眼动，其视角在140之间，持续时间30120ms以上，最高运动速度为400600/s，在眼跳动期间几乎不获得任何信息，主要原因有两个：一是由于图像在视网膜上移动过快；二是由于眼跳动时视觉阀值升高。眼睛能平滑地跟踪运动速度130/s的目标，这种缓慢、联合跟踪的眼动称为平滑尾随跟踪。平滑尾随跟踪必须有一个缓慢移动的目标，在没有目标的情况下，一般不能执行这种眼动。在人机交互中，眼动跟踪主要利用眼跳动和注视这两种形式。2视线跟踪技术视线跟踪的基本工作原理是利用图像处理技术，使用能锁定眼睛的特殊摄象机，通过分析人眼的虹膜和瞳孔中反射的红外线图像的连续变化记录视线的变化，从而实现视线跟踪。视线跟踪的基本要求有：要保证一定的精度，满足用户要求；反应速度要快；对用户基本无干扰；定位校正简单；可作为计算机的标准外设。从视线跟踪装置得到的原始数据需要经过进一步处理才能用于人机交互。数据处理的目的是滤除噪声、识别定位及局部校准与补偿，最重要的是提取出用于人机交互所必需的眼睛定位坐标。但由于眼睛存在固有的抖动及眨动或是头部剧烈运动，这些都会造成数据的中断，即使是在定位的数据段内也存在许多干扰信号，使得提取有效的眼动数据非常困难，解决的办法之一是利用眼动的某种先验模型加以弥补。将视线应用于人机交互必须克服的另一个固有的困难是避免所谓的“米达斯接触（Midas Touch）”问题。如果鼠标光标总是随着用户的视线移动，可能会引起用户的厌烦，因为用户可能希望能随便看着什么而不必“意味着”什么，更不希望每次转移视线都可能启动一条计算机命令。因此，基于视线跟踪技术建立有效的用户界面的挑战之一就是避免“米达斯接触”问题。在理想情况下，界面应当在用户希望发出控制时，及时地处理其视输入，而在相反的情况下则忽略其视线的移动。然而，这两种情况一般不好区分。可行的解决方法是结合实际采取特殊的措施制定出相应的交互技术，例如，采用其他通道（如键盘或语音）进行配合就是相当有效的方法。5.3.2手势识别以手势体现人的意图是一种非常自然的方式，人类经过数千年的发展已形成了大量的、通用的手势。一个简单的手势可以蕴涵丰富的信息，人与人可以通过手势传递大量的信息，从而实现高效率的通信。将手势运用于计算机能够提高人机交互的效率。1手势的分类手势可以有不同的分类：交互性手势和操作性手势，前者表示特定的信息（如乐队指挥），靠视觉来感知，后者不表达任何信息（如弹琴）；自主性手势和非自主性手势，自主性手势与语音配合用来加强或补充某些信息（如演讲），非自主性手势是一些下意识的动作，不表达任何信息（如瘙痒）；离心手势和向心手势，前者直接针对交谈者，有明确的交流意图，后者只是反映说话人的情绪和内心的愿望。手势的各种组合相当复杂，因此，在手势识别系统中通常对手势做适当的分割、假设和约束。例如，可以做如下约束：如果整个手处于运动状态，那么手指的运动和状态就不重要；如果手势是手指的运动，那么手就应当处于静止状态。手势具有如下特点：（1）手是弹性物体，因此同一手势有很大差别。（2）手势含有大量冗余信息。（3）在三维空间中手很难定位。（4）手势易产生阴影。2手势的识别计算机手势识别的好坏是将手势应用于人机交互的重要前提，目前手势识别设备有：（1）鼠标和光笔。只有当用鼠标或光笔的运动变化来传递信息时，才可将它们视为手势表达工具。这类工具的优点是易于实现，适用于一般的桌面系统，缺点是只能识别手的整体运动而不能识别手指的运动，手势表达的动作极其有限。（2）数据手套。数据手套是虚拟现实系统中广泛使用的传感设备，可以反映手指的动作，戴上数据手套可以抓物体，就象用手直接操纵一样，如果手套有力反馈，还能感受到物体的重量和材质，却点是价格昂贵，有时给用户带来不便（如出汗）。（3）计算机视觉。利用摄像机记录手势，这是一种很有前途的技术，优点是不干扰用户，但目前在技术上还存在许多困难，难以胜任手势的识别和理解。目前使用较多的是数据手套，因为数据手套可以输入三维空间的手势信息，而且比基于计算机视觉的手势识别在技术上更易于实现。手势识别的方法有：（1）模板匹配法：将输入的手势与预存的模板进行比对，通过测量两者之间的相似度来完成四别任务。（2）神经网络技术：这是一种较新的模式识别技术，具有字组织和字学习能力，能有效抗噪声和处理不完整的模式，并具有模式推广能力，但系统需要较长时间的学习。（3）统计分析技术：这是一种基于概率的方法，通过统计样本特征向量来确定分类函数。在模式识别中一般采用贝叶斯极大似然理论确定分类函数，其缺点是要从原始数据中提取特征向量，而不能直接对原始数据进行识别。5.3.3三维交互三维空间交互技术包括三维显示技术和三维操纵技术。前者是利用人两眼的视差，在三维显示设备（如立体眼镜或头盔式显示器）上呈现立体图像的技术。后者是利用三维交互设备（如三维鼠标、数据手套、跟踪球、三维操纵杆）在三维空间中与计算机进行交互。三维空间控制设备至少能控制六个自由度，分别描述三维对象的宽度、深度、高度、俯仰角、转动角和偏转角。通过控制这六个参数，用户可以在屏幕上或沿三个坐标轴转动三维对象，目前，实现三维交互的方法有：（1）直接操纵，利用三维空间控制设备直接操纵三维对象。由于在三维空间中进行，所以三维光标必须有深度感，即近大远小，另外，三维物体必须有空间感，即光标不能进入三维物体内部，直接在三维空间中操作，存在着了一系列的问题，需要进行大量的计算，编制接口程序具有相当的难度，对硬件的要求也较高。（2）三维楔子（Widgets）,这是三维界面中的一些小工具，用户可以使用它们在二维空间中控制三维空间中的物体，例如，三维空间中的漂浮菜单、用于拾取三维物体的手、平移和旋转指示器等，目前，三维楔子仍处于探索阶段，还缺乏统一的标准。三视图输入技术是利用二维输入设备在多个视图上实现三维输入的技术，例如，要输入一个点，只要在二维空间的两个视图上输入相应的坐标即可；将直线的两个端点分别在三视图上输入，便可确定三维空间中的一条直线；将一个面的各个顶点在三视图上输入，便惟一确定了三维空间中的一个面；如果把一个多面体的各个面均按上述方法输入，就确定了三维空间中的一个多面体。目前，三视图输入技术在三维交互中广泛使用。5.3.4表情识别人的面部表情相当丰富，包含着大量的信息，一个人的情绪、愿望、气质等都可以通过面部表情表现出来，了解一个人最直接的方法是观察其面部表情，面部表情是人体语言的一部分，人的面部表情又不是孤立的、静止的，它与一个人的情绪及所处的状态紧密相连，人的各种情绪变化以及对冷热的感觉都是非常复杂的高级神经活动，因此如何感知、记录和识别这些变化过程是表情识别的关键，从心理学角度来讲，情绪心理至少由情绪体验、情绪表现和情绪生理这三个因素组成，而情绪表现又是由面部表情、声调表情或身体姿态三方面来体现的。面部表情的理解主要有五个方面的问题：人脸的分类、人脸的表征、人脸的检测、人脸的跟踪与识别、面部表情的分析与识别。迄今为止，国际上关于表情识别的研究可以分为基于心理学的识别和机遇计算机的识别，用计算机来分析和识别面部表情的关键是建立表情模型和情绪分类，并把他们同人脸的面部特征与表情的变化联系起来，计算机面部表情识别通常分为三个步骤，即表情的跟踪、表情的编码和表情的识别。1面部表情的分类面部表情的分类有两种不同的体系，一类是对情绪的维度分析，即把情绪用三维坐标表示；另一类是对情绪的分类，以下采用后者。汤姆金列出了8种情绪：兴趣、快乐、惊奇、痛苦、恐惧、愤怒、羞怯、轻蔑；伊扎德在此基础上又增加了厌恶和内疚两种情绪；艾克曼定义了6种最基本的表情：惊奇、恐惧、厌恶、愤怒、高兴、悲伤，以及33种不同的表情倾向。但是表情的变化又是相当复杂的，经常混合出现，例如，恐惧和惊奇经常一起出现，呈现为惊恐。下表列出了各种单一表情的结构特点表：表情的结构特点表情额头、眉毛眼 睛脸的下半部惊奇眉毛抬起，变高变弯眉毛下的皮肤被拉伸皱纹可能跨越额头眼睛睁大，上眼皮抬高，下眼皮下落眼皮可能在瞳孔的上边或下边露出来下颌下落，嘴张开，唇和齿分开，但嘴部不紧张，也不拉伸恐惧眉毛抬起并皱在一起额头的皱纹只集中在中部，而不横跨整个额头上眼睑抬起，下眼皮拉紧嘴张，嘴唇轻微紧张，向后拉或拉长厌恶眉毛压低，并压低上眼睑在下眼皮下部出现横纹，脸颊推动其向上，但不紧张上唇抬起下唇与上唇紧闭，推动上唇向上，嘴角下拉，唇轻微凸起鼻子皱起脸颊抬起愤怒眉毛皱在一起，压低在眉宇间出现竖直皱纹下眼皮拉紧抬起或否上眼皮拉紧，眉毛压低眼睛瞪大，可能鼓起唇有两种基本位置：紧闭，唇角拉直或向下；张开，仿佛要喊鼻孔可能张大高兴眉毛稍微下弯下眼睑下边可能有皱纹，可能鼓起，但并不紧张鱼尾纹从外眼角向外扩张唇角向后拉并抬高嘴可能张大，牙齿可能露出一道皱纹从鼻子一直延伸到嘴角外部眼睑抬起悲伤眉毛内角皱在一起，抬高，带动眉毛下的皮肤眼内角的上眼皮抬高嘴角下拉嘴角可能颤抖2. 面部表情的跟踪为了识