第13讲+人机交互的新进展与展望+.ppt

1、人机交互的新进展与展望,1 多通道人机交互 2 虚拟现实技术 3 计算机支持的协同工作简介 4 未来的界面,下一代界面的发展目标,自然方式的交互:各种新的输入、输出设备以及新的软件技术，将真正使人能用日常生活中的自然技能与计算机进行无障碍的自然交互。 即追求适人化的人机和谐的多维信息空间。,下一代界面的发展目标,更高的智能性:不要总是人去命令计算机做什么，更多地由计算机来感知人。减小人在使用界面时的负荷。,人机交互技术的发展趋势,发展趋势将体现在多媒体表现方式、多通道交互、计算机支持的协同工作（CSCW:Computer Supported Cooperative Work）和虚拟现实化等方面

2、。,人机交互技术的发展趋势,随着计算机网络尤其是因特网的迅猛发展，一种以网络为中心的用户界面出现在许多PC机网络计算机（NC）的屏幕上。 展望未来的界面，将是基于智能体、虚拟现实化的多通道因特网界面。,1 多通道用户界面,多通道（multi-modality）交互：使用多种感觉通道（模态）进行交互的方式。 是90年代才兴起的技术。它与多媒体用户界面一道共同提高人机交互的自然性和效率，同时，多通道用户界面主要关注人机界面中用户向计算机输入信息以及计算机对用户意图理解的问题。,1.1 多通道用户界面的定义与特点,在同一时刻用户可以用多个通道（如语音、自然语音、手势、手写、姿势、眼动等）与计算机交互

3、，一提高交互的自然性和高效性。,1.1 多通道用户界面的定义与特点,多通道用户界面的基本特点 a. 使用多个感觉和效应通道 b. 三维的和直接操纵的要求 c. 允许非精确的交互 d. 交互的双向性和隐含性,1.1 多通道用户界面的定义与特点,采用多通道交互的好处 可以利用各种通道、设备和交互方式的互补性：尤其对语音/听觉的强调有利于弥补现有界面的不足，还可把耳朵和触觉利用起来 ：可以发挥各个通道独特的优势，例如，语言用于交互时，它的优势主要是不受时间和空间的限制，即交互的发起无需以所涉及对象在当地的呈现为条件，也无需“触及”所涉及对象。,1.1 多通道用户界面的定义与特点,采用多通道交互的好处

4、 多通道可以提高交互的灵活性，实现更自然和效率更高的交互；多个通道在系统中并存的冗余性能够带来不小的鲁棒性、对环境与用户的适应性以及用户可选择性。还突出地表现在为残疾人服务方面。,1.1 多通道用户界面的定义与特点,多通道交互能够提高输入/输出带宽，利用多种交互手段的结合，能够帮助交互意图的有效传达。将多通道相结合进行交互，这种结合有助于提高识别率和交互效率。,1.1 多通道用户界面的定义与特点,目前发展的局限性 目前其发展受到手势识别、语音识别、面部表情识别等技术的限制，且还有许多理论问题待研究。 如何克服目前技术的限制，从而获得多通道输入的益处？ 怎样组合不同的模态使得人们使用自然、完成任

5、务好呢？,1.1 多通道用户界面的定义与特点,决定模态组合是否适宜的因素 操作部位有无冲突，若相同则组合困难，如鼠标与键盘都用手 完成任务的速度能否互补，例如手腕操作鼠标指定字符较快，但指点段落却不如颈部点头快,1.1 多通道用户界面的定义与特点,决定模态组合是否适宜的因素 误差是否能互补，不同的设备与任务误差不同，如同音词识别差； 桌面空间有无冲突，如写字板与鼠标冲突； 成本是否可承受。,1.2 多通道用户界面评价,）互补性（Complementary）：把若干通道必须以互补方式完成特定的交互任务，也就是说，当单个通道不能提供充分的任务信息时，需要其他通道补充，如手势指点补充语音命令。,1.

6、2 多通道用户界面评价,2）指派性（Assignment）：指某通道是完成特定交互任务唯一途径的情形，即某通道必须被用于实现特定交互任务而没有其他通道可以替代。,1.2 多通道用户界面评价,）等效性（Equivalence）：指在完成特定交互任务时至少有两种以上通道可以相互替代。 ）冗余性（Redundancy）：指在特定交互中多个通道同时使用并具有相同的表达作用。,1.3 多通道用户界面的概念模型,1.3 多通道用户界面的概念模型,用三元组（，）来表示多通道用户界面，其中，表示通道数目，表示输入信息的精确性，表示通道间的关系。 传统的用户界面的典型情况是（单通道），精确，串行；而典型的多通道

7、用户界面则允许多个交互通道，非精确交互动作以及并行、协作的通道配合。,1.3 多通道用户界面的概念模型,图形用户界面虽可支持键盘和鼠标器，但两者都需用手操作，一般难以同时配合使用，两者之间只存在交替和串行的关系，并且交互过程基于精确的输入信息。,1.3 多通道用户界面的概念模型,多通道界面实例中国象棋软件 四种输入方式同时使用：鼠标、汉王笔、语音、敲键盘。 单个通道均可完整走棋。 多个通道可配合完成走棋，如：用语音或手写或键盘输入棋子名及源位置，再用鼠标点中目的地。 可处理单个通道识别有误。如用户说“炮二”被识别为“炮四”，但他又用鼠标击了两下，那么由于鼠标优先于语音，于是语音识别错误无效。,

8、2 虚拟现实技术,虚拟现实是用计算机技术来生成一个逼真的三维视觉、听觉、触觉及嗅觉等虚拟的模拟真实世界的环境，使操作者产生亲临其境的感觉。,2.1 基本特征与应用领域,三个重要特点，即I3 沉浸感（Immersion） 交互性（Interaction） 构想性（Imagination）,2.1 基本特征与应用领域,虚拟现实技术是一种以集成为主的技术，其人机界面可以分解为多媒体和多通道界面，它有望彻底实现“和谐的、拟人化的”人机界面。 多媒体用户界面技术侧重计算机信息表现及输出的自然性和多样性问题，而多通道技术侧重解决计算机信息输入及识别的自然性和多样性问题。,2.1 基本特征与应用领域,虚拟现

9、实系统的应用十分广泛，几乎可用于支持任何人类活动和任何应用领域，主要用于仿真、游戏及基于传感信息的虚拟现实应用，涉及可视化、教育、训练、娱乐、图形、军事、医疗、建筑、视听艺术、商业、遥控机器人、通信等。,2.1 基本特征与应用领域,虚拟系统的组成 效应器，即效果输入输出器件，例如：头盔显示器、传感手套等 计算机系统，包括图形（图像）板、声源和三维声音处理器以及输入输出部件 应用软件 图形软件，用于表示要显示的各种几何形状。,2.2 分类与相关技术,桌面虚拟现实系统，成本低，主要用于CAD/CAM、建筑设计等领域； 沉浸式虚拟现实系统，用头盔显示器把用户的视觉、听觉及其他感觉封闭起来，产生一种身

10、临其境的错觉；目前“增强现实系统”正成为研究热点。,2.2 分类与相关技术,例1 新型的医学造像技术，可在病人的头颅上叠加大脑的数字图象。 例2 带上“眼镜”，在罗浮宫可见到有臂的维纳斯。 例3 带上Columbia大学的“移动增强现实系统”在该校走动，注视人或建筑物，其上方会出现人名、楼名及解释。以上系统具有GPS定位系统、视线捕作器、带半透明镜片的头盔、判断人头方向的陀螺仪等，当然还有计算机和通信工具。,2.2 分类与相关技术,分布式虚拟现实系统，它建立在沉浸式虚拟现实系统和分布式交互仿真的基础上。 例如：虚拟空间会议系统，将分布在不同地点的局部会场合成一个所有终端都能感知与交互的会议空间

11、。,2.2 分类与相关技术,虚拟现实系统必须解决的问题 动态环境建模技术，这是核心技术； 实时三维图形生成技术，足够的刷新频率和清晰度，并开发宽视场立体显示技术； 传感器技术，尤其是触觉、力觉等传感器技术； 应用系统开发工具； 系统集成技术。,2.3 三维人机交互设备,三维交互技术采用六自由度输入设备。所谓六自由度，指沿X，Y，Z轴平移和绕X，Y，Z轴旋转。 现有的三维输入设备 ： 浮动鼠标 手持式操纵器 力矩球 数据手套 眼动交互技术和手势识别是研究热点。,3 计算机支持的协同工作,CSCW（Computer Supported Cooperative Work）符合信息时代人们工作的群体性

12、、交互性、分布性和协同性。这种支持协作的系统也叫做群件（Groupware）。,3.1 CSCW工作模式,同步模式：在同一地点和同一时间进行同一任务的合作方式，如共同决策、共同编辑文件、CAD、室内会议等。 分布式同步模式：在同一时间不同地点进行同一任务的合作方式，如联合设计、联合编辑、群体决策、电视会议等。,3.1 CSCW工作模式,异步模式：在不同时间，但在同一地点进行同一任务的合作方式如轮流作业等。 分布式异步模式：在不同时间和不同地点进行同一任务的合作方式，如电子邮件、工作流、大规模开发项目的支持。,3.1 CSCW工作模式,CSCW必须具有的功能和特性 是一个分布式的计算机系统，其分

13、布结构可以是同构性，也可以是异构性的； 以多媒体方式通信交互，并具有较高的实时性； 具有并发处理和控制功能，可实现共享媒体的互斥互访； 具有良好的人机界面和人人界面。,3.2 CSCW界面特点（协作的多用户界面）,分布性，支持多种显示：支持在不同CSCW结点上显示共享的协作信息。 人人交互，通过人机、机机、人机三步骤实现。 协作与自治性。 多媒体表现，仿佛“面对面” 。 开放性，能适合多种平台和协议、规模可灵活配置。,3.2 CSCW界面特点（协作的多用户界面）,支持不同要求的耦合：对应于不同级别的信息共享。 表示级共享（紧耦合）：为同一信息提供统一的显示输出方式，也称为“你见即我见” 视图级

14、共享（中等耦合）：每个用户使用的显示数据相同，但显示方式不同 对象级共享（松耦合）：每个用户使用的显示数据都不相同。,4 未来的界面,网络用户界面（NUI） 以网络为中心的用户界面出现在许多PC机网络计算机（NC）的屏幕上。大公司纷纷推出相应的产品，为了统一起见，“BYTE”杂志推荐了一个新名称，叫做网络用户界面，被称为“1984年以来GUI（图形用户界面）的又一革命”。,4.1 网络用户界面（NUI）,NUI兴起的原因 可执行的内容：几千公里之外的服务器立刻就可以把应用传送过来。 现有代码：没有必要让程序员再去重复开发已有的应用软件，NUI应提供通向已有的应用软件的数据库存的“网关”。它一般

15、是仿真已有终端的Java Applet。,4.1 网络用户界面（NUI）,NUI兴起的原因 新用户的原因：他们不需要功能很完善的GUI 对GUI的重新审视：要摒弃那些容易给非专业用户带来麻烦的功能，如，“双击”、难以理解的“按钮”等。 远程访问： NUI使远距离复制、移动用户间的电子邮件以及与企业网的连接等操作变得容易。,4.1 网络用户界面（NUI）,NUI的要点 NUI可以把网络资源看作本地资源。通常，访问远程Web服务器要比访问内置硬盘费时间。但是，NUI可以进一步缩小这一差别。NUI实现这一目标的方法之一是提供所有的资源及其图形视图。另一 个方法是把联网操作集成到通常的桌面操作中。,4

16、.1 网络用户界面（NUI）,NUI的要点 NUI能提供一种功能选择，来将客户端的本地状态存储或镜像到服务器上。对于客户机来说，通过把客户端的复杂应用转移到专门进行管理的服务器上，可以大大削减管理费用。这就使用户能通过连到网络上的所有计算机自由地远程访问某些应用。,4.2 智能网络界面,NUI应具有高度的智能，可称其为INUI。 计算机能使用自然语言理解等智能技术，采用基于内容的搜索方法上网，去自动搜寻用户感兴趣的信息，并能对搜索到的结果进行筛选、组织、总结等再加工，之后按用户习惯或要求生成一份定制的报告或电子报刊；或者为用户的进一步阅读提供参考意见，甚至也可进一步辅助用户的决策。,4.3 基

17、于因特网的多通道用户界面,利用因特网的分布式计算模式为信息检索提供多通道用户界面。 即采用Client/Server结构。Client端接受来自用户的语音、手势、笔输入等，对其进行一些预处理后将待识别的特征信息传送到远程的Server端。由Server端对其进行运算密集型的识别工作，并对多通道进行整合，获得用户交互意图。然后，按用户要求进行信息的检索或查询，将结果通过网络传回Client端。,4.4 未来界面的特点,小型与隐性的趋势。 佩带式计算机，用语音输入 智能冰箱，它会根据储存的食品显示各种食谱。 服务方式的兴起：计算机在人的工作中“悄悄地”主动为人服务。,4.4 未来界面的特点,对界面

18、无障碍特点的强调：有障碍的界面或设备的问题在于干扰用户的正常活动，不自由也不自然。CMU利用多通道整合，在给人以充分的活动自由的同时，进行语音识别和视线跟踪。,4.4 未来界面的特点,虚拟与现实的结合：如果用白光全息技术代替立体眼镜、用摄像跟踪技术或者其它无障碍的技术代替手套，那么人们就可以“完全自由”地享受虚拟的乐趣。,4.4 未来界面的特点,与Internet连接。未来的世界人机界面也将无处不在。一种levi夹克衫，配有全集成的计算机网络，使得穿戴者能够完全连接互联网。,4.4 未来界面的特点,自然交互：人们将以日常技能来与计算机打交道。 下一代界面将呈现出多样化的特点，将抛弃遵循同一种界面范式的原则，倾向于根据各