人机交互和用户界面ppt课件

.,袁涌湖北理工学院计算机学院,人机交互技术第0章概述,.,一概述二回顾三进展四挑战五结论,提纲,.,一概述,.,人机交互与用户界面,人机交互（Human-ComputerInteraction,HCI):是研究人、计算机以及它们间相互影响的技术用户界面:是人与计算机之间传递、交换信息的媒介和对话接口，是计算机系统的重要组成部分人机交互与用户界面是两个有着紧密联系而又不尽相同的概念人机交互强调的是技术和模型，用户界面是计算机的关键组成部分,.,人机交互技术与计算机始终相伴发展,计算机的发展历史，不仅是处理器速度、存储器容量飞速提高的历史，也是不断改善人机交互技术的历史。人机交互技术,如鼠标器、窗口系统、超文本、浏览器等等，已对计算机的发展产生了了巨大的影响，而且还将继续影响整个人类的生活。人机交互技术是当前信息产业竞争的一个焦点，世界各国都将人机交互技术作为重点研究的一项关键技术。,.,人机交互技术的目标,美国总统信息技术顾问委员会的“21世纪的信息技术报告”中列出了新世纪四项重点发展的信息技术研制能听、能说、能理解人类语言的计算机使计算机更易于使用，操作起来更愉快，从而提高使用者的生产率,人机交互和信息管理软件可伸缩信息基础设施高端计算,.,计算机的三个作用,ACM图灵奖1992年获得者、微软研究院软件总工程师ButlerLampson在题为“二十一世纪的计算研究”报告中指出“计算机有三个作用：模拟;帮助人们进行通信;互动：与实际世界的交流”“人们希望计算机能够看、听、讲，甚至比人做得更好，并能够进行实时处理。”,.,两个重要的应用趋势,计算机系统的拟人化以虚拟现实为代表计算机的微型化、随身化和嵌入化以手持电脑、智能手机为代表人机交互技术是面临这种趋势的瓶颈技术。以人为中心、自然、高效将是新一代人机交互的主要目标。,.,二回顾,.,人机交互的历史,人机交互的发展历史，是从人适应计算机到计算机不断地适应人的发展史人机交互的发展经历了几个阶段：,早期的手工作业阶段作业控制语言及交互命令语言阶段图形用户界面（GUI）阶段网络用户界面的出现多通道、多媒体的智能人机交互阶段,.,6、虚拟现实和三维交互以虚拟现实为代表的计算机系统的拟人化为交互提供了新的交互方式。7、计算机支持的协同工作CSW标志着计算机从支持个体工作像支持躯体工作的方向发展。（1）协作的用户界面（2）协作过程中的冲突与协调（3）标准与规范,.,DouglasC.Engelbart,什么造就了计算机辉煌历史?,NationalMedalofTechnology,2000IEEE,JohnVonNeumannMedalAward,1999ACM,A.M.TuringAward,1997影响几代人，创造计算机的历史,.,最有影响的事件和成果,1963年发明鼠标器的美国斯坦福研究所的D.Engelbart，他预言鼠标器比其他输入设备都好，并在超文本系统、导航工具方面做了杰出的成果(AugmentedHumanIntellectproject)，而获1997年ACM图灵奖。10年后鼠标器经不断改进，成为影响当代计算机使用的最重要成果。,.,计算机是什么?无处不在的计算,DesktopPC,TabletPC,PocketPC,PhonePC,WristPC,无线连接,.,计算机是什么?PC手写设备,.,计算机是什么?Roomware,.,1950年，大型机计算时代多人一机1975年，PC计算时代信息交流一人一机2000年，普适计算时代服务一人多机,字符用户界面键盘图形用户界面鼠标，GUI，WIMP新世纪用户界面(?)笔、语音(?),计算机是什么?计算的三次革命(计算空间、角色、界面),.,计算机是什么?计算的三次革命,.,一只眼睛十一个指头,计算机能做什么?不能做什么?,.,计算机计算模式,人,环境,活动,Desktop,无处不在的计算,Mainframe,.,大型机,台式机,移动环境,三维空间,Postdesktop,键盘,鼠标,?,文本命令,GUI命令/WIMP,PostWIMP,NonWIMP?,NonWIMP?,人机环境,虚拟现实VR,无处不在的计算AR,办公自动化,科学计算,用户界面的发展历史,.,人机交互和用户界面-计算机应用的主要障碍,硬件：摩尔定律(18个月翻一倍)软件：每五年升一代界面：15-20年换一代60年代一70年代：键盘，字符界面80年代一90年代：鼠标，图形界面21世纪:新一代界面,.,“凡有助于缩小人机隔阂，建立和谐人机环境的理论、方法、技术和产品都具有强大的生命力”,什么是今后计算机应用的障碍?,计算机硬件技术已不是阻碍人机交互和用户界面-计算机应用的主要障碍人机交互技术一21世纪重大信息技术,计算机研究发展的主干:计算如硬件技术，计算机软件技术，智能接口技术-863计划计算机发战研讨会2002.1.18,一,.,普适计算的认识(1),UbiquitousComputing(ubicopm)MarkWeiser1991Avision:(人+环境)*计算资源基础设施(Net)+Devicesatvaryingscales任何时间任何地点提供信息和服务Anewparadigmsofinteraction,.,普适计算的认识(2),UbiquitousComputing多人可以使用的计算，计算环境如交互墙(会议室)、电子白板(教室)普遍、到处无处不在的计算PervasiveComputing(Computingpervasive)个人所拥有的计算，日用品如可穿戴计算设备扩散、渗透,.,普适计算的认识(3)人机融合过程,人,计算机,人适应计算机,计算机适应人,主机时代,PC时代,普适时代,.,普适计算中人机交互的三个主题,自然界面(naturalinterfaces)上下文感知应用(context-aware)基于物理和计算环境感知到的信息的行为。简单的上下文、重用性、和复杂的上下文自动捕捉及访问(automatedcaptureandaccess)无处不在计算的应用试图自动捕捉生活经历,提供以后对这些经历的灵活访问,.,普适计算中人机交互的三个特征,自然化多通道模糊非结构连续,人性化显式感知(符号、动作、表象、情感)隐式感知-用户意图捕捉智能化学习能力数据挖掘,.,普适计算的理解(1)三个层次,计算为基础层次，提供必要的软硬件技术计算机科学信息交流计算设备之间的交流：计算机网络人机交流：人机界面计算机科学、心理学等学科服务没有感觉计算的存在，却无处不在的享受着服务。计算主要以服务的形态提供人们，并自然地融入社会计算机科学、社会科学,.,从社会科学的角度出发从根本上彻底改造技术以适应人目标是使人获得真正的效率使得计算机“Invisible”“最好的仆人是看不见的仆人”多种多样的服务形式，更为自然信息获取,普适计算的用户界面,.,普适计算的用户界面,充分利用人们在现实生活中获得的生活体验，易学习自然直观的用户界面直接将人们在现实生活中和物体的交互动作映射为和信息空间的交互过程,.,信息技术的尴尬(HUI的动机),传统的计算工具结绳记事沙漏计时算盘简单，可触摸，易学习触觉和肌肉运动知觉现在的数字技术功能强大，学习门槛高人们必须不断学习适应其发展原因：生活经验毫无用处，界面本身就是新生事物,.,信息空间和物理空间(Bits&Atoms),我们生活在两个世界里：现实的物理世界和虚拟的信息世界两种身份之间却缺少一种无缝的、自然的转换和交互方式人们和信息空间的交互被局限于传统的图形用户界面(GUI)中实际上，正是GUI把我们生活的物理世界和我们要访问的信息世界隔离开来。,.,人机交互技术的进展,自然、高效的多通道交互虚拟现实和三维交互可穿戴计算机和移动手持设备的人机交互智能空间及智能用户界面物理界面TUI,.,自然、高效的多通道交互,.,通道与多通道交互,多通道交互(Multi-ModalInteraction)：一种使用多种通道与计算机通信的人机交互方式。采用这种方式的计算机用户界面称为“多通道用户界面”。通道(Modality)：源于心理学的概念，涵盖了用户表达意图、执行动作或感知反馈信息的各种通信方法，如言语、眼神、脸部表情、唇动、手动、手势、头动、肢体姿势、触觉、嗅觉或味觉等。,.,多通道交互,多通道交互是近年来迅速发展的一种人机交互技术，它既适应了“以人为中心”的自然交互准则，也推动了互联网时代信息产业（包括移动计算，移动通信、网络服务器等）的快速发展。多通道交互的各类通道（界面）技术中，有不少已经实用化、产品化、商品化。其中我国科技人员做出了不少优异的工作。,.,视线跟踪（眼动）技术,视线跟踪（眼动）技术由于其可能代替键盘输入、鼠标移动的功能，可能达到“所视即所得”(WhatYouLookatisWhatYouGet),因而对残疾人和飞行员等使用有极大的吸引力。视线跟踪技术，一是研究高质量的眼动跟踪设备，二是如何构造易于操作的用户界面。眼动跟踪设备有强迫式与非强迫式、穿戴式与非穿戴式、接触式与非接触式之分。眼动跟踪设备的精度和对用户的限制和干扰是一对尖锐的矛盾。,.,视线跟踪（眼动）技术,目前一类产品是采用头戴微型摄像头的设备，它用来获取两眼瞳孔（或角膜）中视点。其采样率、精度高，可靠。,另一类是在PC机前装了两个微型摄像头的设备，精度不高，适合残疾人操作计算机使用。,.,眼球运动控制电脑根据人眼眼球运动的特点和形式。在人眼解剖学和生理学研究的基础上，根据控制眼球运动的神经回路，建立了可实现人眼功能的仿生型机器人眼三维眼球运动控制系统的数学模型。,.,“注视用户界面(AttentiveUserInterfaces,AUI)”,.,触觉通道的力反馈装置,新一代力反馈感应技术主要有TouchSense触觉感应技术和G-ForceTilte动作感应技术两种。TouchSense触觉感应技术主要用在鼠标/轨迹球等产品中，而动作感应技术(G-ForceTilte)则主要用在动感游戏控制器中。用在非游戏的高精度触觉反馈装置中，最著名的是由MIT人工智能实验室MassieandSalisbury开发、美国SensAbleTechnologies公司生产的Phantom触觉反馈（6自由度）设备和Ghost软件开发包。由于高精度，它已广泛用于军事、医学、机器人、教学、虚拟现实等各类应用中。,.,这个触觉设备仅在一个接触点而不是许多不同接触点上模拟触觉信号。它通过连接在机械臂上的触针来实现这一目的。三个小型发动机在触针上施加压力，从而将力度反馈给使用者。因此，使用者可以感受到虚拟气球的弹性，或是砖墙的坚硬。他也可以感受到这些物体的材质、温度和重量。,触觉通道的力反馈装置,.,生物特征识别技术,生物特征识别技术(Biometrics)是受到广泛关注的一类新兴识别技术。早期通过对人的指纹识别来确定人的身份，因而指纹识别被广泛应用于安全、公安等部门。随着反恐斗争的日显重要，各国正在对其他人体特征进行广泛研究，希望尽快找到快速、准确、方便、廉价的身份识别方法。眼睛虹膜、掌纹、笔迹、步态、语音、人脸、DNA等的人类特征研究和开发正引起政府、企业、研究单位的广泛注意。,.,掌形识别,.,人脸识别,XID人脸识别技术可重构3D画面,.,.,中科院人脸识别技术成功用于奥运会开幕式,.,虹膜识别,虹膜是人体中一个最具有独特性的特征器官。虹膜独特的图样在人出生后的10个月时间内便完全形成，并且一生中都将保持不变。而且由于虹膜的复杂，想要找到两个特征相同的虹膜基本上是不可能的。在这一点上，虹膜识别的安全性远高于指纹识别,.,.,唇读、人脸表情识别,唇读、人脸表情识别是又一个人机交互技术的热点。唇读将人们说话的语音和嘴唇变化的形态结合起来，以便更准确地获取人们表达的意图、感情和愿望等。人脸表情识别的模型和方法也在不断改进。,.,英国研制出可以分辨不同语言的唇读计算机，通过对23位掌握两种或三种语言的人的唇部动作进行统计建模而开发的。识别单个讲话者所说的语言，很高的准确性。,.,人脸表情识别,人脸跟踪与表情识别系统,中国科学院自动化研究所模式识别国家重点实验室,.,自然语言理解,自然语言理解始终是自然人机交互的最重要目标，虽然目前在语言模型、语料库、受限领域应用等方面均有进展外，由于它的难度（自然语言的不规范性等），自然语言理解仍是计算机科学家和语言学家的一个长项研究目标。,.,多通道的整合问题,多通道的整合问题是多通道交互的一个核心研究内容。1995年由北京大学、杭州大学、中科院软件所承担的自然基金重点项目“多通道用户界面研究”是当时我国最大的HCI项目，探索了多通道用户界面的模型、设计、实现、评估和应用，取得了重要的成果。,.,多通道交互的标准工作,2002年2月W3C国际组织成立了“多通道交互”工作小组（MultimodalInteractionWorkingGroup），它开发W3C新的一类支持移动设备多通道交互的协议标准。目前它已开展了五项标准的制订，并已在互联网上发布不同阶段的正式草稿，供补充、完善。,多通道交互框架（MultimodalInteractionFramework）多通道交互需求（MultimodalInteractionRequirements）多通道交互用例（MultimodalInteractionUseCases）可扩展多通道注释语言需求（EMMA-ExtensibleMultiModalAnnotationlanguageRequirements）数字墨水需求（InkRequirements）,.,虚拟现实和三维交互,.,虚拟现实和三维交互设备,立体眼镜头盔式显示器（HMD）双目全方位监视器（BOOM）墙式显示屏的自动声像虚拟环境（CAVE）三维鼠标三维跟踪球三维游戏杆头动位置检测器数据手套数据衣服,三维显示设备,三维输入设备,位置跟踪设备,.,虚拟现实和三维交互设备,三维扫描设备：有接触式和非接触式、手持和固定、不同精度之分，可按不同应用环境和精度要求来选取。为使用方便，非接触式三维手持激光扫描仪很受一般用户青睐。,触觉和力反馈装置：触觉和力反馈装置已经有大批不同价位的产品出现在市场，成为军事、医学、游戏等应用领域的新型交互设备。,.,三维扫描仪,.,真”三维Volumetric显示器,.,虚拟现实和三维交互设备,三维显示界面：多伦多大学和AliasWavefront公司合作研究的新三维显示界面，采用了新型的“真”三维Volumetric显示器。它不需要戴立体眼镜或戴上装有显示器的头盔，而是直接用肉眼看到真三维效果。,.,名为HOLOCUBE的公司发布了一款桌面全息三维显示器。它利用先进的的全息投影技术在一个“小盒子”里面投影出三维影像，从而为人们提供最为真实的三维视频。,.,IO2的气体投影系统，可以在空气中投影出三维画面。,.,虚拟现实和三维交互设备,无障碍虚拟现实环境：由于数字摄像技术在价格和精度方面的快速发展，同时由于各种识别技术的进展，目前采用多方位、多角度、多台数字摄像机构建的无障碍虚拟现实环境（智能空间，SmartX），已广泛用于室内条件下的虚拟现实系统（如；智能办公室，智能教室等）。各类三维交互设备仍有相当的发展空间，尤其是在可靠性、价格、性能等方面需不断改进。非强制、无障碍、高精度、低价格是今后交互设备的发展趋势。,.,虚拟现实和三维交互设备,北京航空航天大学等六单位联合承担的“分布式虚拟现实应用系统开发与支撑环境”是我国第一个大型虚拟现实研究项目，取得了优异的成果。浙江大学CAD图形学国家重点实验室在CAVE设备上，做了许多创新的研究工作。,.,CAVE虚拟现实环境,CAVE设备,.,可穿戴计算机和移动手持设备的人机交互,.,可穿戴计算机,可穿戴计算机可广泛应用于在野外的作业。它设计的主要问题是，如何在有限的工作空间内提供各种信息工具的无缝集成。为了达到这个目的，系统必须通过一种自然、非强制的方法来提供功能，以便让用户的注意力集中在手上的任务，而不是被系统所分心。在可穿戴计算机的人机交互中，应特别重视自然的多通道界面（如语音、视线跟踪、手势等）、上下文感知应用（如位置、环境条件、身份等传感器）、经验的自动捕捉及访问（如采用增强现实AR的see-through头盔显示来交流信息）。在我国，哈尔滨工业大学、重庆大学等单位已成立了研究组织，进行可穿戴计算新技术和产品的研究开发。,.,.,中国电子科技大学的工作人员在展示可穿戴计算机的目镜显示器和多功能摄像头。这套可穿戴计算机由便携主机、目镜显示器、多功能摄像头、单握式键盘等部分组成，总重量不超过1500克,.,移动手持设备的交互,移动手持计算设备是指具有计算功能的PDA、掌上电脑、智能手机这类小型设备。将计算功能嵌入手机、通信功能加入掌上电脑已成潮流。移动计算环境下的人机交互的特点：,必须自然交互，自然感知。应充分利用上下文感知的特点，自动简化信息的复杂性。重视不同设备、不同网络、不同平台之间的无缝过度和可扩展性。,.,移动手持设备的交互,北京大学人机交互和多媒体研究室，开发了移动导游系统TGH，对移动设备多通道交互框架、上下文感知的设计实现、移动互联网上Client/Server结构对语音和笔通道整合的处理等进行广泛的研究，并取得了一定的成果。,.,智能空间及智能用户界面,.,智能空间及智能用户界面,智能空间（SmartSpace）是指一个嵌入了计算、信息设备和多通道传感器的工作空间。由于在智能空间里，用户能方便地访问信息和获得计算机的服务，因而可高效地单独工作或与他人协同工作。,.,智能空间及智能用户界面,国际上已开展了许多智能空间的项目,MITIntelligentRoomStanfordInteractiveWorkspaceGeorgiaTech.AwareHomeUIUCActiveSpaceMicrosoftEasyLivingIBMBlueSpaceGMDiLand清华大学智能教室,.,MITIntelligentRoom,.,清华大学智能教室,.,智能空间及智能用户界面,将智能技术结合到用户界面中，而构成“智能用户界面（IntelligentUserInterface,IUI）”。智能技术是它的核心。智能用户界面的最终目标是使人机交互成为和人-人交互一样自然、方便。智能环境是指用户界面的宿主系统所处的环境应该是智能的。智能环境的特点是它的隐蔽性、自感知性、多通道性及强调物理空间的存在。智能空间是“智能环境”的一种。,.,智能空间及智能用户界面,上下文(Context)是指计算系统运行环境中的一组状态或变量，其中的某些状态和变量可以直接改变系统的行为，而另一些则可能引起用户兴趣从而通过用户影响系统行为。上下文感知计算是指系统自动的对上下文、上下文变化以及上下文历史进行感知和应用，根据它调整自身的行为。上下文感知是提高计算智能性的重要途径。,.,智能空间及智能用户界面,Agent是一个计算性的独立系统，它具有以下特征：智能体(agents)在智能技术中具有极其重要的作用。SRI提出的开放智能体结构(OpenAgentArchitecture，OAA)和OGI提出的AAA(adaptiveagentarchitecture)是当今开发多agent系统使用得比较广泛的两个通用框架。,具有感知外界环境的能力具有对环境有自动采取行动的能力具有成功（最优）地达到目的的能力具有有关于周围环境的一部分知识,.,从桌面环境到物理世界GUI到TUI,1991年，MarkWeiser提出了“普适计算”：计算是无处不在的，是不可见的物理世界本身就是界面,1981年，施乐公司提出了GUI概念“Star”是第一个采用“WIMP”界面,.,TUI的目标,实物操作界面通过使得数字信息可触摸而达到无缝集成物理世界和信息世界的目的。三个关键的概念：交互式表面信息和物体的链接环境反馈,.,和TUI相关的工作,1.UbiquitousComputing（普适计算）计算无处不在计算之间，设备之间的通讯是“透明”的例子：会议桌、便签条二者差别：普适计算更大程度上是把GUI的交互隐喻分布到了物理环境中的各种交互设备中，GUI的拓展（适应）TUI界面则试图摒弃GUI界面范式，力图使物理环境成为界面本身，更多的借鉴了在计算机出现以前的人们的交互方式（回归）。,.,人机交互模型和设计方法,模型在人机交互领域中十分重要，用得很多，类型也很多。一类是从系统的结构出发，讨论界面在系统中的地位和分解，我们称它为“界面结构模型”。其典型的例子是将界面分成三部分（表示部件、对话控制、应用接口）的Seeheim模型。另一类是从系统设计的角度来了解用户的“用户特性模型”。它分析不同用户的特点，以提高系统的针对性和适应性，增强界面个性化和提高效率。其典型例子是按照用户对系统、领域的知识、经验、技能的不同，将用户分为偶然、生疏、熟练、专家型等四类用户。,.,行为模型的一种用户任务分析模型GOMS,从认知科学出发，分析用户如何和计算机互动的“人机交互模型”，即行为模型。GOMS(Goal,Operator,Methods,Selectionrule)模型,这个模型的理论基础是认知心理学家创立的问题解决理论。,.,CPM-GOMS模型,1996年美国卡内奇-梅隆大学的B.John等又在GOMS模型的基础上进一步提出了CPM(CognitivePerceptualMotor)-GOMS模型。这是一个并行处理的多层次模型,它也称作“关键路径方法”。CPM-GOMS模型从人的因素处理器各个层面上提供感知、认知和运动的操作功能，它可以在任务的要求下进行并行操作，可以同时执行多个活动目标。,.,以用户为中心的设计方法,“以用户为中心的设计”(UserCentredDesign,UCD)方法近年来已被国际上广泛采用。主要特征：主要设计活动：,用户的积极参与，对用户及其任务要求的清楚了解在用户和技术之间适当分配功能反复设计解决方案多学科设计,了解并确定使用背景确定用户和组织要求提出设计解决方案根据要求评价设计,.,基于剧情的设计方法,J.Carroll的“基于剧情的设计方法”（Scenario-BasedDesign）目前在具体交互设计中被广泛使用。该方法从用户的观点详细地给出：由于该方法符合人的认知过程，在较高层次上描述了用户的意图，又便于实现，因而在大量交互系统设计中被采用。,交互过程的全部角色（人、设备、数据源、系统等）各种场景的假设剧情的描述某种形式（如用事件表来刻画用户动作、设备响应、事件叙述、事件处理、动作结果等）的人机对话逐步分解其他各种条件（如：协议，同步，例外事件等）,.,基于知识的概念模型,近年来采用上下文、基于知识的概念模型逐渐受人重视。这种建模方法吸取了“以用户为中心的设计”方法和“基于剧情的设计方法”的一些特点，期望在更高层次上建模。,.,标准化及其它,在人机交互领域ISO已正式发布了许多的国际标准：我们国家标准化管理委员会已经或正在制订相应的国家标准，以便推动我国的标准化工作，为我国经济发展服务。,ISO10075:1991人类工效学与心理负荷相关的术语ISO6385:1981工作系统设计的人类工效学原则ISO/IEC10741:1995信息技术系统用户界面交互对话ISO/IEC11581:2000信息技术系统用户界面图标符号及功能ISO13406:(1999-2001)使用平板视觉显示器工作的人类工效学要求ISO9241:(1992-2000)使用视觉显示终端办公的人类工效学要求ISO13407:1999以人为中心的交互系统设计过程,.,标准化及其它,在工业设计中运用可用性工程是近年来为国际上所公认。所谓“可用性”是指“某产品在特定使用背景下，为特定用户、用于特定目的时，所具有的有效性、效率和满意度。在ISO9241-11可用性指南中对如何实施“可用性”给出了原则和指南。,.,四挑战,.,挑战,1。无所不在的计算2。虚拟现实和科学计算可视化3。图形用户界面4。Moore定律5。眼花缭乱的新名词,.,1。无所不在的计算,无所不在的计算（Ubiquitous