浅谈人机自然交互技术

浅谈人机自然交互技术摘要:随着人类社会和虚拟现实技术的发展，我们需要一种更简便智能的交流，于是有了人机交互技术的产生。本文首先介绍了人机自然交互技术的概念和发展历史，分析了其和其他学科之间相互渗透的关系，还论述了人机交互技术的研究内容。此外还展望了它的未来发展方向。关键字：人机交互；人机自然交互技术；自然和谐TheDiscussionoftheNaturalMan-machineInteractionTechnologyHuaxiaoling（11110842194）WenzhouUniversityABSTRACT:Withthehumansocietyandthedevelopmentofvirtualrealitytechnology,weneedamoreconvenientintelligentcommunication,sothetechnologyofman-machineinteractionareproduced.Thispaperintroducesthenaturalman-machineinteractiontechnologyconceptanddevelopmenthistoryfirstly,analyzesitsandotherdisciplinesrelationship,andalsodiscussestheresearchcontentofhuman-computerinteractiontechnology.Inadditionprospectsitsfuturedevelopmentdirection.KEYWORD:Human-computerInteraction;NaturalMan-machineInteractionTechnology;NaturalHarmony1引言随着技术的飞速发展，人们在自然语言理解、多通道交互、笔式交互以及智能用户等方面开展了很多工作。由于计算机科学发展水平的限制，在计算机和人类之间还存在着一条鸿沟。人们对于现存的人机交互方式并不满足，并且人与人的交互不是通过忍受操作来实现的，而是通过听觉与视觉以语言、表情、手势和体势进行的。人们期望新一代的人机交互能像人与人交互那样自然、准备和快捷。于是在20世纪90年代人机交互的研究进到了多模态的阶段，称为人机自然交互。人机交互（Human-ComputerInteraction,简称HCI）就是连接人和计算机的桥梁，它使人和机器的关系从“人围着极其转”向“机器围着人转”的方向发展。2人机交互简介2.1人机交互的概念人机交互技术(Human-ComputerInteractionTechniques简称HCI)是指通过计算机输入、输出设备，通过有效的方式实现人与计算机对话的技术。HCI是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面主要现象进行研究的科学；是研究人与计算机之间通过相互理解的交流与通信，在最大程度上为人们完成信息管理，服务和处理等功能，使计算机真正成为人们工作学习的和谐助手的一门技术科学。它包括机器通过输出或显示设备给人提供大量有关信息及提示请示等，及其人通过输入设备给机器发出命令、回答问题等。简单地说，“交互”，就是指人与设备、系统、网站等的直接或间接的通信过程。人机交互涉及到计算机科学技术、心理学、社会学、人机工程学、工业设计以及语言学等多门学科[1]。其前景可通过DanR.Olsen(CMC)得到体现：“HCI是未来的计算机科学。我们已经花费了至少50年的时间来学习如何制造计算机以及如何编写计算机程序。下一个新领域自然是让计算机服务并适应于人类的需要，而不是强近人类去适应计算机。”也就是说人机交互技术能真正实现人机融合，体现出以人为本的理念。2.2人机交互的发展历史人机交互作为计算机系统的一个重要组成部分，人机交互一直伴随着计算机的发展而发展。人机交互的发展过程，也是人适应计算机到计算机不断地适应人的发展过程。从计算机的诞生之日起，人机交互技术的发展已经经历了三个阶段：2.2.1语言命令交互阶段早期的人机交互是通过命令语言进行的，人机之间通过语言中的输入输出功能完成交互。最初，人机交互的方式是采用手工操作输入机器语言指令（二进制机器代码）来控制计算机。这一阶段所使用的主要交互工具是键盘及字符显示器，交互的内容主要有字符、文本和命令，交互过程显得呆板和单调。这种形式很不符合人的习惯，既耗费时间，又容易出错，只有非常专业的专家才能做到。后来，出现了FORTRAN、PASCAL、COBOL等语言，使人们可以用比较习惯的符号形式描述计算过程，交互操作由受过一定训练的程序员即可完成。这一时期，程序员可采用批处理作业语言或交互命令语言的方式和计算机打交道，虽然要记忆许多命令和熟练地敲键盘，但已可用较方便的手段来调试程序、了解计算机执行情况。60年代中期，命令行界面（CommandLineInterface，CLI）开始出现（如图1），通过这种人机界面，人们可以通过问答式对话、文本菜单或命令语言等方式来进行人机交互。命令行界面可以看作第一代人机界面。在这种界面中，人被看成操作员，机器只做出被动的反应，人只能用手操作键盘的方式输入数据和命令信息，界面输出只能为静态字符。因此，这种人机界面交互的自然性较差。图图1命令行界面概念模型2.2.2图形用户界面（GUI）交互阶段70年代施乐公司在Alto计算机上首次开发了位映像图形显示技术，为开发可重叠窗口、弹出式菜单、菜单条等提供了可能。这些工作奠定了目前图形用户界面的基础，形成了以窗口（Windows）、图标（Icon）、菜单（Menu）和指点装置（PointingDevice）为基础的第二代人机界面，即WIMP界面。图形用户界面（GraphicalUserInterface，GUI）的出现，使人机交互方式发生了巨大变化。GUI的主要特点是桌面隐喻、WIMP(Windows、Icon、Menu、PointingDevice)技术、直接操纵和“所见即所得（WhatYouSeeIsWhatYouGet，WYSIWYG）”。GUI技术的起源可以追溯到60年代美国麻省理工学院的Sutherland(计算机图形学的奠基人)的工作。其发明的Sketchpad首次引入了菜单、不可重叠的瓦片式窗口、图标，并采用光笔进行绘图操作。图图2WIMP界面概念模型这一阶段所使用的主演交互工具为鼠标及图形显示器，交互的内容主要有字符、图形和图像。70年代发明的鼠标极大地改善了人机之间的交互方式。应该说，鼠标和窗口系统的出现是人机交互技术发展史上的一次技术革命。与命令行界面相比，图形用户界面的人机交互自然性和效率都有较大的提高。图形用户界面很大程度上依赖于菜单选择和交互小组件（Widget）。经常使用的命令大都通过鼠标来实现。鼠标驱动的人机界面使得初学者易于使用，但重复性的菜单选择会给有经验的用户造成不方便，他们有时倾向使用命令键而不是选择菜单，且在输入信息时用户只能使用手这一种输入通道。另外，图形用户界面需要占用较多的屏幕空间，并且难以表达和支持非空间性的抽象信息的交互。2.2.3自然和谐的人机交互阶段当前，虚拟现实、移动计算、普适计算等技术的飞速发展，对人机交互技术提出了新的挑战和更高的要求，同时也提供了许多新的机遇。在这一阶段，自然和谐的人机交互方式得到了一定的发展。基于语音、手写体、姿势、视线跟踪、表情等输入手段的多通道交互是其主要特点，其目的是使人能以声音、动作、表情等自然方式进行交互操作。在自然和谐的人机交互的发展过程中，人们除了致力于研究开发友好的逼真的三维用户界面，基于声音、动作、表情等多种通道的自然交互方式，还发明了大量的新交互设备，如计算机图形学的先驱、美国麻省理工学院的Sutherland早在1968年开发了头盔式立体显示器，成为现代虚拟现实技术的重要基础。目前，对于人类重要的自然交互方式——语音和笔的交互技术，包括手写识别、笔式交互、语音识别、语音合成、数字墨水（DigitalInk）等，其发展已经有了很大的成效，而人机自然交互的主要包括了多通道用户界面；智能人机交互；感知人机交互和多媒体人机交互等[2]。图3多通道人机界面概念模型2.3人机交互与其他学科的关系由上述人机交互的概念可知：人机交互与很多学科密切相关，而其中，认知心理学与人机工程学是人机交互技术的理论基础，而多媒体技术和虚拟现实技术与人机交互技术相互交叉和渗透，其关系如图4所示。多媒体技术多媒体技术虚拟现实技术认知心理学人机工程学图4人机交互与其他相关学科的关系人机交互技术2.3.1认知心理学认知心理学（CognitivePsychology）是20世纪50年代中期在西方兴起的一种心理学思潮，在20世纪70年代成为西方心理学的一个主要研究方向。它研究人的高级心理过程，主要是认识过程，如注意、知觉、表象、记忆、思维和语言等，从心理学的观点研究人机交互的原理[3]。该领域研究包括如何通过视觉、听觉等接受和理解来自周围环境的信息的感知过程，以及通过人脑进行记忆、思维、推理、学习和解决问题等人的心理活动的认识过程。其中人脑的认知模型——神经元网络及其模型，已经成为新一代计算机、人工智能等领域中最热门的研究课题之一。认知心理学在人机界面设计方面具有非常重要作用，是人机交互技术的重要理论基础。2.3.2人机工程学人机工程学是运用生理学、心理学和医学等有关知识，研究人、机器、环境相互间的合理关系，以保证人们安全、健康、舒适地工作，从而提高整个系统工效的新兴边缘科学。在人机界面学处于初创和奠基阶段的时候，人机工程学是最活跃、最主要的分支，曾经对人机界面学的发展做出过很大的贡献。经典的人机工程学称为硬件人机工程学，主要集中在对人体能力、人体限制及其他与设计相关的人体特性信息的应用，以满足设计、分析、测试与评价、标准化，以及系统控制的要求。软件人机工程学（SoftwareErgonomics）研究软件和软件界面，侧重于运用和扩充软件工程的理论和原理，对软件人机界面进行分析、描述、设计和评估等。主要解决有关人类思维与信息处理的有关问题，包括设计理论、标准化、增强软件的可用性的方法等，使软件（计算机）与人的对话能够满足人的思维模式与数据处理的要求，实现软件的高可用性。同认知心理学一样，人机工程学也是人机交互技术的重要理论基础。2.3.3多媒体技术一般的，多媒体技术是指将正文、声音、图形、静止图像、动态图像等与计算集成在一起的技术。多媒体技术通过引入动画、音频、视频等动态媒体，大大丰富了计算机表现信息的形式，拓宽了计算机输出的带宽，提高了用户接受信息的效率，使人们可以得到更直观的信息，从而简化了用户的操作，扩展了应用范围。多媒体信息在人机交互中的巨大潜力主要在于它能提高人对信息表现形式的选择和控制能力，同时也能提高信息表现形式与人的逻辑和创造能力的结合程度，在串行、符号信息以及并行、联想信息方面扩展人的信息处理能力。另外，由于多媒体所带来的信息冗余性，重复使用别的媒体或并行使用多种媒体可消除人机通信过程中的多义性及噪声。多媒体技术丰富了信息的表现形式，不过目前多媒体技术的研究基本上限于信息的存储和传输方面，而对于媒体信息理解的研究并不充分。与人工智能技术结合，开展媒体理解和推理研究将改变这种现状。它对用户的原始输入在较高的层次上进行解释、分析和综合，提取语义内容，达到对用户的某种理解。然后，从较高的表现层次上传达给用户最恰当的反馈，它侧重于信息的理解和解释。而多媒体系统则侧重于信息的表现，表现为在计算机的控制下产生、操纵、表现、存储和传送—些独立的信息，这些信息至少是通过一种连续或离散媒体进行编码的。2.3.4虚拟现实技术目前，人们除了致力于研究开发友好的用户界面，还发明了大量的三维交互设备，如立体眼镜、WorkBench、头盔式显示器、洞穴式立体显示器（CAVE）、墙式大屏幕立体显示器、数据服装、位置跟踪器、眼动跟踪器、触觉和力反馈装置、三维扫描设备、三维鼠标、三维跟踪球、三维游戏杆、数据手套等[3]。虚拟现实中的交互是虚拟现实核心研究内容之一，但人机交互并不是虚拟现实的全部，复杂场景的建模、绘制等技术，也是虚拟现实非常重要的研究内容。虚拟现实为人机交互的研究提供了很好的契机和媒介，但并不是唯一的媒介，手机、PDA、笔记本电脑等移动设备，也需要更方便、快捷、人性化的交互手段。3人机交互的研究内容人机交互的研究内容十分广泛，涵盖了建模、设计、评估等理论和方法以及在Web、移动计算、虚拟现实等方面的应用研究与开发，主要包括：3.1人机交互界面表示模型与设计方法（ModelandMethodology）为了设计人机交互界面模型，首先我们的了解何为人机交互的要素，人机交互技术主要由人的因素、交互设备和交互软件三方面组成。人机交互技术又可分为精确人机交互技术和非精确交互技术。前者是指：能完全地说明人—机交互的目的，系统能精确地确定用户的输入、键盘、鼠标、触摸屏都是能精确交互设备。后者的方法有语音、姿势、头部追踪等。人机交互界面作为计算机系统的一个重要组成部分，是计算机科学、认知心理学等的交叉研究领域。人机交互界面也叫用户界面，在人机系统中的位置是负责管理计算机的输入和输出，它决定了人们使用计算机的方式[4]。3.2可用性分析与评估（UsabilityandEvaluation）可用性是人机交互系统的重要内容，它关系到人机交互能否达到用户期待的目标，以及实现这一目标的效率与便捷性。人机交互系统的可用性分析与评估的研究主要涉及到支持可用性的设计原则和可用性的评估方法等。3.3多通道交互技术（Multi-Modal）在多通道交互中，用户可以使用语音、手势、眼神、表情等自然的交互方式与计算机系统进行通信。多通道交互主要研究多通道交互界面的表示模型、多通道交互界面的评估方法以及多通道信息的融合等。通道包括人表达意图，执行动作和感知反馈信息的各种通信方法。3.4认知与智能用户界面（RecognitionandIntelligentUserInterface）智能用户界面（IntelligentUserInterface，IUI）的最终目标是使人机交互和人－人交互一样自然、方便。上下文感知、眼动跟踪、手势识别、三维输入、语音识别、表情识别、手写识别、自然语言理解等都是认知与智能用户界面需要解决的重要问题。3.5虚拟环境（VirtualEnvironment）中的人机交互“以人为本”的、自然和谐的人机交互理论和方法是虚拟现实的主要研究内容之一。通过研究视觉、听觉、触觉等多通道信息融合的理论和方法、协同交互技术以及三维交互技术等，建立具有高度真实感的虚拟环境，使人产生“身临其境”的感觉[6]。3.6Web设计（Web-Interaction）重点研究Web界面的信息交互模型和结构，Web界面设计的基本思想和原则，Web界面设计的工具和技术，以及Web界面设计的可用性分析与评估方法等内容。3.7移动界面设计（MobileandUbicomp）移动计算（MobileComputing）、普适计算（UbiquitousComputing）等对人机交互技术提出了更高的要求，面向移动应用的界面设计问题已成为人机交互技术研究的一个重要应用领域。针对移动设备的便携性、位置不固定性和计算能力有限性以及无线网络的低带宽高延迟等诸多的限制，研究移动界面的设计方法，移动界面可用性与评估原则，移动界面导航技术，以及移动界面的实现技术和开发工具，是当前的人机交互技术的研究热点之一。其中普适计算也称为无所不在的计算，它所追求的目标是无所不在的信息访问和信息服务，它的物质基础是无处不在的设备和无所不在的网络连接。3.8群件（Groupware）群件是指帮助群组协同工作的计算机支持的协作环境，主要涉及个人或群组间的信息传递、群组中的信息共享、业务过程自动化与协调，以及人和过程之间的交互活动等。目前与人机交互技术相关的研究主要包括：群件系统的体系结构、计算机支持交流与共享信息的方式、交流中的决策支持工具、应用程序共享以及同步实现方法等内容。4发展趋势从命令行界面发展到WIMP界面，计算机到用户的输出带宽得到大幅提高，但是从用户到计算机的通信带宽仍然受到限制，即计算机呈现和加工视觉、听觉信息的能力与人机交互的能力是不相称的。这种不相称来自于硬件的限制和人的交互通道与对象操作间的不匹配。近年来，计算机输入输出装置在数量和能力上迅速增加，使得这种匹配成为可能。为适应目前和未来计算机系统的要求，人们开始探索各种非传统的用户界面从90年代初开始，研究者们将研究的焦点重新聚集到下一代用户界面的研究上，并且提出了人机自然交互的模型[6]。在未来的计算机系统中，将更加强调“以人为本”、“自然、和谐”的交互方式，以实现人机高效合作。4.1集成化人机交互将呈现出多样化、多通道交互的特点。桌面和非桌面界面，可见和不可见界面，二维与三维输入，直接与间接操纵，语音、手势、表情、眼动、唇动、头动、肢体姿势、触觉、嗅觉、味觉以及键盘、鼠标等交互手段将集成在一起，是新一代自然、高效的交互技术的一个发展方向。4.2网络化无线互联网、移动通信网的快速发展，对人机交互技术提出了更高的要求。新一代的人机交互技术需要考虑在不同设备、不同网络、不同平台之间的无缝过渡和扩展，支持人们通过跨地域的网络（有线与无线、电信网与互联网等）在世界上任何地方用多种简单的自然方式进行人机交互，而且包括支持多个用户之间以协作的方式进行交互。另外，网格技术的发展也为人机交互技术的发展提供了很好的机遇。4.3智能化目前，用户使用键盘和鼠标等设备进行的交互输入都是精确的输入，但人们的动作或思想等往往并不很精确，人类语言本身也具有高度模糊性，人们在生活中常常习惯于使用大量的非精确的信息交流。因此，在人机交互中，使计算机更好地自动捕捉人的姿态、手势、语音和上下文等信息，了解人的意图，并做出合适的反馈