人机交互技术 课件 第1、2章 什么是人机交互、人机交互概述和发展

人机交互技术第一章

人机交互概述1.1人机交互的概念1.1.1为什么要研究人机交互

自从上个世纪40年代计算机诞生以来，计算机和围绕计算机的信息产业蓬勃发展。当前，制造业、IT业、汽车行业等许多产业都有计算机的身影。人不但要跟电脑、平板、手机等看得见摸得着的计算机进行交互，而且要和嵌入到汽车、电视、微波炉等机器内部的计算机进行交互。现在很多人在研究人机交互，优秀的设计可以提高人们的工作效率，使人们的工作生活更加简洁，更加方便。什么是人机交互

人机交互(Human-ComputerInteraction，简称HCI)是一门研究计算机系统与用户之间交互关系的学问。美国计算机协会ACM人机交互兴趣小组（SpecialInterestGrouponComputer–HumanInteraction，简称SIGCHI）给出了人机交互的定义，人机交互是关于设计、评价和实现供人使用的交互式计算系统，以及围绕这些方法的主要现象进行研究的一门学科。

人机交互是与认知心理学、人机工程学、多媒体技术、虚拟现实技术等密切相关的综合学科，可以从不同的角度（计算机科学、机器和人）来研究人机交互。例如从计算机科学的角度，人机交互的焦点是交互，尤其是单个或多个用户与一个或多个计算机的交互，以及通过计算机系统的人际交互；而从机器的观点，计算机可能是独立运作的计算机，也可能是嵌入式计算机器，比如作为太空驾驶员座舱或者微波炉的一部分。从人类用户的角度看，需要考虑分布式系统，计算机辅助通讯，或依靠不同系统进行协同工作等特性。因此，人机交互既研究机械装置，也研究人的因素，人机交互是当代技术发展的一个重要支撑领域。人机交互的简史发展是人类亘古不变的主题，一个社会发展的关键在于其核心生产工具的发展。计算机作为新时代的核心生产工具，如何高效地与之交互一直是业界的研究热点。经过数十年的实践和发展，人机交互理念、技术和外围设备逐渐由萌芽走向发展和成熟。

手工操作和命令行交互阶段ENIAC是一个庞然大物，重30余吨，占地约170平方米，包含18000只电子管。研究者通过手工开闭计算机上的开关作为输入，通过机器上指示灯的明暗作为输出。如图所示，在埃尼阿克计算机中，每个功能表上有多个开关，用户通过操作功能表上的开关进行数据输入。工作人员在设置ENIAC的一个功能表上的开关组早期的五孔纸带上世纪50年代，人们开始使用穿孔纸带与计算机进行交互。穿孔纸带大约一寸宽，中间的一排小孔用来确定位置，两侧的大孔用来表示信息，穿孔或不穿孔表示1和0，计算机指令用大孔中的若干个孔表示，一条简单的程序通常都需要几米长的纸带，如图所示。但是，这种交互方式输入输出速度慢，可靠性低，逐渐被淘汰。

DECVT100，一个广泛应用的计算机终端（1978）

1956年，MIT开始研究使用键盘向计算机输入信息。60年代中期起，基于键盘的命令行接口成为大多数计算机的主要交互方式。操作人员在命令行界面中输入命令，界面接收命令行，然后把命令行文字翻译成相应的系统功能。整个70年代，甚至直到80年代，这种交互方式一直在持续使用。大家所熟知的Unix操作系统、微软的DOS系统、以及苹果的DOS系统都是采用命令行的方式。

图形化用户界面阶段进入70年代，计算机的使用范围日趋广泛，人机交互的设计理念随之前进。易用性（Usability）、用户友好逐渐成为人机交互设计的首要考虑要素，人机交互的理念进入以用户为中心（User-CenteredDesign，简称UCD）的时代。道格拉斯•恩格尔巴特拿着他发明的鼠标1968年，Stanford大学的道格拉斯·恩格尔巴特（DouglasEnglebart）博士发明了世界上第一个滑动鼠标，如图所示。设计的初衷是为了使计算机的操作更加简捷，代替在键盘上敲击繁琐的指令。恩格尔巴特制作的鼠标是一只小木头盒子，工作原理是由它底部的小球带动枢轴转动，从而使得内部的变阻器改变阻值来产生位移讯号，经计算机处理，鼠标的移动转化成了屏幕上的光标的移动。鼠标极大地改善了人机之间的交互方式，这个发明被电气与电子工程师协会（InstituteofElectricalandElectronicEngineers，简称IEEE）列为计算机诞生50年来最重大的事件之一。XeroxPalo于70年代中后期研制出原型机Star，形成了以窗口、图标、菜单和指示器为基础的图形界面，也称为WIMP界面，Apple公司最先采用了这种图形界面。1983年，苹果公司开发的Lisa桌面电脑配置了鼠标，并首次采用了图形化的用户界面（GraphicalUserInterface，简称GUI）。Lisa创造性地采用了桌面“隐喻(Metaphor)”，使用了位映射(bitamp)、窗口(window)、图符(icon)等图形化元素来代表对应的操作，用户可通过鼠标点击方便地与计算机进行交互，如图所示。Lisa由于售价高，市场接受度不高，但其成就了之后的苹果Macintosh计算机。这种基于鼠标便捷操作和直观的图形化界面的交互方式成为人机交互进化的历史性变革。(a)Lisa电脑

(b)Lisa的屏幕自然人机交互阶段80年代末，多媒体技术繁荣发展。声卡、图像卡等硬件设备的发明和实现使得计算机处理声音及视频图像成为可能，多媒体输入输出设备如扬声器、话筒和摄像头等逐渐为人机交互所用，如图所示。人机交互的内容更加丰富有趣，用户能以声、像、图、文等多种媒体信息方式与计算机进行信息交流。用户利用多媒体技术与计算机进行生动的交互自然人机交互输入设备的进展

自然人机交互更加注重用户的个人体验，以人为中心。在交互输入方面，从最开始的手工操作开关、鼠标键盘输入，发展到当前的体感交互等自然交互方式。1972年，NolanBushnell发明了第一个交互电子游戏Pong，首次将操控技术运用到了人机交互系统中。1977年，ToraDefanti和DanielSandin开发了一套手套式传感器系统SayreGlove，用户只需要带上这样特殊的手套就可以向计算机输入特定指令。交互显示设备的进展

在交互显示方面，人们追求身临其境的感觉。1838年，CharlesWheatstone研究发现人类大脑是通过处理左右眼看到的不同视角图像来产生三维感觉的，这一发现奠定了现代所有立体显示技术的理论基础，包括裸眼3D、眼镜式3D、沉浸式VR等。1961年，由Philco公司研发的Headsight问世，这是世界上第一款头戴式显示器，同时该设备首次融合了头部追踪功能，Headsight主要用于隐秘信息的查看。1985年，美国NASA研发出LCD光学头戴显示器，同时融合了头部、手部追踪功能，可实现更加沉浸的体验，其主要用于太空作业的模拟训练等。人机交互的新技术近年来，随着机器视觉、人工智能、模式识别技术的发展，以及相应的计算机软硬件技术的进步，以手势识别、动作识别、语音识别等为基础的自然人机交互技术不断涌现。交互的模式，也从单一通道输入向多通道输入改变，最终达到智能和自然的目的。多点触控多点触控技术是一种允许多用户、多手指同时传输输入信号，并根据动态手势进行实时响应的新型交互技术。该项技术采用裸手作为交互媒介，使用电学或者视觉技术完成信息的采集与定位。

多点触控技术经过了多年的积累和发展。该系统在大屏多点触控系统设计方面成本低、敏感度高，而且使用计算机视觉技术具有较好的扩展性。其系统效果图如下图所示，用户可以通过单手或者多手直接操控电脑。单手触控（左）与双手触控（右）

手势交互

手势交互是指人通过手部动作表达特定的含义和交互意图，通过具有符号功能的手势来进行信息交流和控制计算机的交互技术。例如，可以采用如下图所示的生活中的6种手势类型，将其语义分别定义为确定/抓取、返回/释放、锁定/解锁、右选、待转/移动、左选操作指令。

手势交互是一种新兴的交互技术，其技术核心是手势识别。根据识别对象可将手势识别技术分为静态手势识别和动态手势识别。数据手套是一种应用较为广泛的手势识别方式。右图形象地描述了数据手套的结构。

手势识别的另一种方式是通过摄像头采集手势数据。这种方式下，人不需要穿戴额外的手套，裸手即可与计算机互动。如下图所示，LeapMotion主要由两个摄像头和3个红外LED组成。LeapMotion的组成结构（左）与图像效果（右）

人体动作识别

人体动作是人表达意愿的重要信号，包含了丰富的语义。人体动作是指包括头、四肢、躯干等人的各个身体部分在空间中的姿势或者运动过程。下图展示了基于人体动作的人机交互应用。动作分析的人机交互应用

人体动作分析是人机交互交互系统的重要支撑技术，是一个多学科交叉的研究课题，使用了数学建模、图形图像分析、模式识别、人工智能等知识，具有重要的理论研究价值。一个完整的人体动作分析过程主要包括动作捕捉、动作特征描述和动作分类识别三大部分。与其他交互手段相比，人体动作交互技术无论是硬件还是软件方面都有了较大的提升，交互设备向小型化、便携化、使用方便化等方面发展。

语音交互

语音交互是人以自然语音或机器合成语音同计算机进行交互的综合性技术。机器通过识别和理解把语音信号转变为相应的文本或命令，人通过语音与机器进行对话交流，让机器明白用户的交互意图。下图给出了语音交互的示例商业产品。（a）AppleSiri

（b）amazonecho

语音交互需要对语音识别和语音合成进行研究，还要对人在语音通道下的交互机理、行为方式等进行研究。语音交互过程包括四部分：语音采集、语音识别、语义理解和语音合成。语音采集完成音频的录入、采样及编码；语音识别完成语音信息到机器可识别的文本信息的转化；语义理解根据语音识别转换后的文本字符或命令完成相应的操作；语音合成完成文本信息到声音信息的转换。

其它新兴的交互方式

人类的交互方式还有很多，当前眼球、意念、表情、唇读等更多的新兴手段被引入到人机交互的领域。这些方式针对不同的应用和人群，在特殊情况下更为有效。人机交互设计的标准、原则和指导方针人机交互设计的标准（1）ISO的人机工程学技术委员会ISO9241包含多个部分，对人机交互、以人为中心的设计、用户界面、用户体验、易用性等都有描述。右表是其各个子系列的基本标准号和标题。

近年来，以人为中心的人机交互设计是人机交互的一个研究热点。以人为中心的设计方法应该遵循以下原则。

（1)设计基于对用户、任务和环境的明确的理解。（2）用户参与整个设计和开发。（3）设计由以用户为中心的评估驱动和改进。（4）过程是不断迭代的。（5）设计表达了全部用户体验。（6）设计团队包括多学科的技能和视角。W3C的多通道交互工作组

2002年，万维网联盟W3C成立多通道交互工作组。工作组的目标是制定标准以使得种类繁多的通道之间能够交互。工作组描述了多通道交互生态系统一个典型示例，由多个框架组件构成，如下图所示。多通道交互生态系统示例

人机交互的原则和指导方针

Shneiderman的界面设计八个黄金法则：（1）尽力保持一致性（2）使用户能用快捷键操作频繁使用的项目（3）提供有帮助的反馈信息（4）会话和流程设计要走向一个完结（5）提供防止用户出错的机制，并提供简洁的错误提示信息（6）允许便捷的撤销操作（7）给用户掌控感（8）减少短时记忆负担Nilesen的10个易用性启发式方法：（1）系统状态可见（2）系统和真实世界相匹配（3）撤销重做原则（4）一致性原则（5）防错原则（6）易取原则（7）灵活高效原则（8）易快速浏览原则（9）容错原则（10）人性化帮助原则PeterMorville的用户体验蜂巢图：

在书中，PeterMorville给出了用户体验蜂巢图，对人机交互设计很有指导意义，如左图所示。用户体验蜂巢图自然人机交互设计的指导方针我们认为以下几点方针更符合自然人机交互系统设计思想。（1）非接触式的体感交互（2）多通道上下文感知融合（3）虚拟与现实的交互映射（4）注重反馈和限制因素（5）考虑通用性和扩展性THANKYOU人机交互技术人机交互概述和发展

人机交互的研究内容1

人机交互的发展历史2

最新应用3总结4目录CONTENTS

人机交互的研究内容1人机交互（Human-ComputerInteraction，HCI）是关于设计、评价和实现供人们使用的交互式计算机系统，且围绕这些方面的主要现象进行研究的学科。人机交互、人机互动（英文：Human–ComputerInteraction或Human–MachineInteraction，简称HCI或HMI），是一门研究系统与用户之间的交互关系的学问。人机交互的研究内容传统的人机交互（HumanComputerInteraction，HCI）是研究运用什么样的开发原理及方法，让人们可以方便地使用计算机系统的学科。20世纪90年代后期以来，随着高速处理芯片，多媒体技术和InternetWeb技术的迅速发展和普及，人机交互的研究重点放在了智能化交互，多模态（多通道）-多媒体交互，虚拟交互以及人机协同交互等方面，也就是放在以人为中心的人机交互技术方面。人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史。简单来理解就是研究用户和计算机之间交互的学科，如何让人们更加方便高效的运用计算机技术。新媒体技术的逐步发展，丰富了HCI这一领域的研究内容，从传统的人与计算机键盘、鼠标从而控制显示内容和文本的互动，转变为更多的自然交互形式，体现形态也从二维扩展到三维可视化的终端显示。在最初，很多学者和专家认为HCI可以通过网页设计、网站设计来体现，逐渐的发展至今，我们可以通过虚拟现实（VR）技术、增强现实（AR）技术、混合现实（MR）技术以及影像现实（CR）技术作为技术表现形式的手段，基于计算机及网络产生的内容和相对计算机及网络现实所产生的内容，针对内容、渠道的接受主体（人或其他物体），形成主体、内容、渠道这三个要素构成的人机交互产品。人机交互的研究内容笔式交互设备视觉交互设备虚拟环境中的交互

触觉交互设备课程内容介绍课程内容KT点课程内容KT点

人机交互发展历史2人机交互的发展过程，也是人适应计算机到计算机不断地适应人的发展过程。人机交互发展历史59年美国学者B.Shackel从人在操纵计算机时如何才能减轻疲劳出发，提出了被认为是人机界面的第一篇文献的关于计算机控制台设计的人机工程学的论文。1960年，Liklider

JCK首次提出人机紧密共栖（Human-Computer

Close

Symbiosis）的概念，被视为人机界面学的启蒙观点。1969年在英国剑桥大学召开了第