自然人机交互

自然人机交互普适计算以人为中心的特点迫切需要和谐、自然的人机交互方式，即，能利用人的日常技能进行交互、具有意图感知能力，与传统的人机交互方式相比，它更强调交互方式的自然性、人机关系的和谐性、交互途径的隐含性、及感知通道的多样性。普适计算环境中，交互场所将从计算机面前扩展到人们生活的整个三维物理空间，交互方式应适合于人们的习惯并且尽可能不分散用户对工作本身的注意力。和谐自然的人机交互是实现普适计算环境，使其脱离桌面计算模式的关键所在。2.3. 无缝的应用迁移计算实体与用户在物理空间中的高度移动性是普适计算环境的一个重要特征。为了实现能“随时随地”为用户提供透明的数字化服务，必须解决无缝的应用迁移这个核心问题，即随着用户的移动，伴随发生的任务计算必须一方面保证持续执行，另一方面任务计算可灵活地无干扰地移动。“移动计算”的研究以解决物理链路层面上可靠的移动互联为目标，而无缝的应用迁移则需在“移动计算”的基础上，着重从软件体系的角度解决由于计算实体与用户的高度移动带来的服务级的计算移动与软件流动。2.4. 2.4. 上下文感知普适计算环境最终必须有自适应、自配置、自进化的能力，所提供的服务能和谐地辅助人的工作，最大程度地减少人对行为方式及环境的关注，而把注意力集中在人所要完成的工作本身。为此，系统首先必须知道整个物理环境、计算环境、用户状态等方面的静态和动态信息，即上下文(context)。只有具有上下文感知能力，才有可能根据具体情况采取最合适的动作自主、自动地为人们提供透明式的服务。为此，需重点研究上下文感知技术，包括上下文的采集、建模、推理及融合等。上下文感知技术是实现服务自发性和无缝移动性的关键。2005 年国家自然科学基金委同时资助了两个以普适计算为主题的重点项目“普适计算的关键理论与技术研究”和“普适计算研究手语无障碍信息服务的普适计算”，分别由上海交通大学、浙江大学、香港大学联合获得，以及北京工业大学、中山大学、中科院计算所联合获得。国家自然科学基金委在 2004 年与2005 年两年中还资助了四个面上项目，分别为：浙江大学的“普适计算中的网格接入：轻量级Portal、动态协同及语义支持”(2004)北京大学的“普适计算中基于上下文感知的个性化智能人机交互研究”(2004)西安交通大学的“基于普适环境的上下文感知共享模型研究”(2005)浙江大学的“面向普适环境的协同编辑中若干基础问题的研究”(2005)5.2. 自然人机交互随着普适计算中信息空间与物理空间的融合，人与计算环境的交互将从计算机面前扩展至人们生活的整个三维物理空间，人之活动场所，时时处处皆有交互。在普适计算环境中，人机交互的目标是利用人们的日常技能与习惯进行交互，同时尽可能不分散用户对工作本身的注意力。终极目标是使得人与计算环境的交互变得和人与人之间的交互一样自然、一样方便。3）基于视觉的交互虽然人们可不利用视觉进行相互交流沟通，如，仅通过谈话或仅用文字，但人们通常更乐于面对面地沟通，原因在于，通过相互所见，沟通可变得更加丰富、更加直接。人的意图和情感通常都是通过行为以及一些形体的微小变化而表现出来，肢体语言如表情、点头、个性化手势、身体移动方式、眼神等都是人与人沟通的重要信息，这些都是人与人交互的重要组成部分。通过视觉通道感知人的行为与意图，是自然人机交互必然要追求的目标。基于视觉的交互，重点即在于让计算设备也能感知人们通过行为、肢体语言等视觉通道表达出来的意图、情感等高层个体化信息，其远期目标是能理解人们在日常生活中的任何活动与行为，从而使得人的任一动作与行为都成为交互的一部分，达到无时无刻、无处不在的实时感知。由此可以知，基于视觉的交互其核心在于解决计算设备的视觉通道输入问题。基于视觉的交互可通过多种计算机视觉技术实现交互的视觉通道输入39，当前的研究热点包括：存在与位置判别：场景中是否有人？多少人？具体位置在哪里？身份识别：用户到底是谁视线跟踪：用户正在看什么?姿势识别：在语义上理解头/手/人运动的具体含义。行为识别：用户正在做什么事情？表情识别：用户当前的情感状态如何？高兴还是沮丧？愤怒还是哭泣？5.4. 上下文感知由于普适计算系统运行在极其动态和异构的计算环境中，智能实体需要能够感知环境变化，并根据动态场景自适应地调整服务状态。上下文感知计算（context-aware computing）即指能够根据上下文的变化自动地作相适应的改变和配置，为用户提供合适的服务在上下文感知计算中，有四个主要问题：上下文信息的获取、上下文信息的建模、上下9文信息的管理、上下文信息的推理。当前上下文获取中研究最多的是如何获取设备和用户所处的位置信息。了解设备和用户的位置，非常有助于我们提供更有针对性的服务。这种对位置信息的获取被称为位置感知。位置感知目前已成为普适计算领域中一个非常活跃的研究方向，UbiComp05录用的22篇论文中有8篇是关于位置感知4，占三分之一，其热门程度可见一斑。当前已有多种技术与设备解决不同条件下的位置测定与位置信息的跟踪，如使用红外线、无线射频、超声波、计算机视觉技术等23。6. 面临的挑战随着研究的不断深入，普适计算正面临着更深层次的技术需求。围绕人活动行为的“随时随地”与“以人为本”是普适计算理念中最关键的两点。随着用户活动的时空范围的扩大，普适计算环境将表现出前所未有的动态性、异构性以及多样性、设备的种类繁多、彼此功能和能力各异、网络通信协议多样、资源状态动态变化等等都要求系统能够自动做出适当调整以继续服务。因此，用户的高度移动性将对普适计算带来多重挑战：（1） 迫切需要一种比智能空间更为自然、有效的、具有高度流动性的普适计算模型，在该信息化生活服务环境中，应直接以人为中心，在任意时刻，所需服务都会像影子一样以最佳方式出现在用户身边；（2） 上下文的建模及其感知目前还处于比较浅的层次，而对时序、空间、多尺度上下文的建模并进行深入的加工处理，提供对用户高度流动性的支持，是当前极为迫切的问题。如何对上下文深层次多尺度的建模，使用新的分析组织使用手段，以便更好的减少普适计算中对用户的干扰，是当前极其重要的研究课题；（3） 人机交互理论和技术需要突破。目前的计算技术不是以人为中心的，其交互方式不是自然的。普适计算从根本上改变了人使用计算机的方式，要使计算机服务于人，提供新型的、行为感知理论和技术具有重要意义，在这一方面，目前的研究成果还12不能满足需要。（4） 为满足普适计算环境中对用户无缝的应用迁移、无线、Ad-Hoc 方式、上下文驱动和非连续性服务QoS 保障等方面的要求，迫切需要构建一种自适应的、高度动态、强可扩展性的、支持无缝移动性的、更加有效的软件基础设施。普适计算已成为继桌面计算后的又一次计算模式的革命。欧美各国的政府、学术界、工业界都已高瞻远瞩地投入了巨大的人力、财力进行相关研究。但是与国外普适计算的科研水平相比，我国尚有很大差距，原因是多方面的。第一，普适计算本身是建立在移动计算、无线通讯、嵌入式系统、人机交互、数据管理等众多领域基础上的一种全新的计算模式，基础要求较高，尤其需要多学科交叉与合作；第二，普适计算也是实践性很强的学科领域，它需要一定的产业基础，需要与工业界的交流与合作；第三，普适计算所涉及的一些关键技术需要较为长期深入地研究，更需要一些有远见的有力度的科研投入。变革也是一种机遇，我国的计算机界和产业界有必要、也完全可能在此领域中做出高水平的研究成果，从而在普适计算时代到来时掌握主动。_普适计算的现状与趋势（转载）技术讨论 2008-10-25 20:39:29 阅读67 评论0 字号：大中小 随着计算机、网络等技术的蓬勃发展，信息技术的软件和硬件环境均发生了巨大的变化，这种变化使得由通信和计算机构成的信息空间与人们生活和工作的物 理空间逐渐融为一体。在这种背景下，普适计算应运而生。南开大学计算机系教授辛运帏博士等对国内外普适计算的现状与趋势，以及天津普适计算研究的切入点进 行了分析。 一、普适计算的提出 普适计算(Pervasive Computing)也称无处不在计算(Ubiquitous Computing)，它集移动通信技术、计算技术、小型计算设备制造技术、小型计算设备上的操作系统及软件技术等多种关键技术于一体，通过将普适计算设 备嵌入到人们生活的各种环境中，使通信服务以及其它基于信息网络的各种“以人为中心”的计算和信息访问服务在任何时候、任何地点都成为可能，许多计算设备 通过全球网络为使用者提供更加人性化的服务。 普适计算技术彻底地改变了“人使用计算机”的传统方式，让人与计算环境更好地融合在一起，在不知不 觉中达到“计算机为人服务”的目的。普适计算技术以人的需求为中心，从根本上改变了人去适应机器计算的被动式服务思想，强调用户能在不被打扰的前提下主 动、动态地接受网络服务。它改变了计算只局限于桌面进行的传统，使用户能以各种灵活的方式享受计算能力和系统资源。它将计算嵌入到人们的日常生活中，实现 任何地点、任何时候、任何人都能访问任何信息的交互，能在真正意义上实现以人为本的生活方式。 二、普适计算体系结构 普适计算体系结构主要包括普适计算设备、普适计算网络、普适计算中间件、人机交互和觉察上下文计算四个方面。 1普适计算设备：一个智能环境可以包含不同类型的设备，如传统的输入输出设备、无线移动设备和智能设备。理想状态下，普适计算应该包括全球范围内嵌入的具有主动或者被动智能型的每一个设备，能够自动搜集、传递信息，并且根据信息采取相应行动。 2普适计算网络：随着计算机软硬件技术的发展，普适计算设备的数量将成倍增长，这对现有技术提出了更高的要求。除了扩展基本结构以适应需要之外，全球化网络也必须修改现有的应用来完成普适计算设备到现实社会系统的集成。 3普适计算中间件：除了分布式计算和移动计算，普适计算还需要中间件来完成网络内核与运行在泛化设备上的终端用户应用程序之间的交互。普适计算中间件应从用户的角度出发协调网络内核和用户行为间的交互，并且保持用户在泛化计算空间的自然感。 4人机交互和觉察上下文计算：普适计算使计算和通信能力无处不在的融合在人们生活和工作的现实环境中，人机交互的不可见性是必需的。因此，普适计算提出 了一种新的人机交互方式蕴涵式人机交互，它需要系统能觉察在当时的情景中与交互任务有关的上下文，并据此做出决策和自动地提供相应的服务。普适计算模 式下上下文将随任务而变化，而且由于工作环境是现场，其中的背景情况不但复杂而且是动态变化的，使上下文的动态性问题更加突出。 三、应用领域 普适计算最重要的应用方向就是各类信息终端产品。普适计算的应用概念最早被IBM公司提出，其目标就是发展更具实用意义的各类信息终端产品，从而真正实现 电子商务向信息终端产品的延伸。随着人们对信息服务的需求越来越多样化，信息终端产品的形式也将多姿多彩，功能越来越完善，并且在一个小设备中往往集成多 种功能。 智能空间也是普适计算的重要运用，如智能会议室、作战指挥室、智能教室、能照料老人的智能家居等，它们将极大改变人们未来的生活方式，使人们学习、生活变 得更加美好，工作效率更高。数字家庭能通过家庭网关将宽带网络接入家庭，家庭内部的网络可以是无线或有线的。在家庭内部，手持设备、PC或者家用电器通过 有线或者无线的方式连接到网络，从而形成了一个无缝、交互和普适计算的环境。 普适计算的的第三个应用领域是普遍信息访问，就是使用户能够在任何时间和地点，以任何方式访问到他们认为有用的信息。由于普适计算系统中的信息设备可随身 携带，因此当这样的设备进入到新环境中时，它能自动地发现环境中可用的资源和服务，并与它们进行交互，从而给用户提供方便的服务。 普适计算的另一个应用领域是商业识别用RFID芯片。RFID芯片可代替现在商品上的条形码，它不仅能够提供商品的价格、名称，还能够提供更多有用的信 息。例如药瓶上的芯片可以给消费者提供药厂的相关信息、药品的成份、药品的适用症、药品禁忌等，水果蔬菜上的芯片还可以提供农药的喷施情况及残留情况，贴 在衣服上的芯片可以提供衣服的材料、产地、规格等等。 四、发展趋势 普适计算描述了具有丰富计算资源和通信能力的人和环境之间关系的场景，这个环境与人们逐渐地融合在一起。它把计算机嵌入到各种类型的设备中，建立一个将计 算和通信融入人类生活空间的交互环境，从而极大地提高个人的工作及与他人合作的效率，但这种能嵌入的计算机不再是传统意义上的计算机了。随着微电子工艺的 发展，电子设备越来越向微小型化发展，同时它的价格也越来越低。这使得将微小型计算设备嵌入到环境中成为可能。 普适计算所需的软件技术也基本成熟，而在基于自然语言理解的普适计算环境中，人和计算机的交互将更加自然，使得普适计算环境更人性化。人机交互研究也将是普适计算研究的一个重要领域。 普适计算的计算机网络正在形成以互联网为核心，以多种无线网以及移动网为接入的更加广泛的异构集成网络。计算机网络协议功能更强，以满足不同数据通信特点 的应用，同时IPv6的应用会大大增加网络地址范围，在可预见的未来为每个设备提供网络地址。从网络带宽上来看，有线主干网逐渐采用光纤，802.11、 蓝牙(Bluetooth)逐渐成为无线局域网的常用标准，移动网正在向3G、4G甚至5G演变。这些情况表明，一种高带宽、覆盖全球的统一网络，即无处 不在网络(Ubiquitous Network)正在形成。这种网络可允许任何具有IP地址的设备上网，任何上网设备都可享受网络服务。 为适应普适计算环境下各种设备上网的需求，面向21世纪的嵌入式系统要求配备标准的一种或多种网络通信接口，嵌入式系统将不再是“信息孤岛”。针对外部联 网要求，嵌入设备必需配有通信接口，相应需要TCP/IP协议簇软件支持；由于家用电器相互关联及现场设备的协调工作等要求，新一代嵌入式设备还需具备 IEEE1394、USB、CAN、蓝牙等通信接口，同时也需要提供相应的通信组网协议软件和物理层驱动软件等。 普适计算是对计算模式的革新，对它的研究虽然还刚刚开始，但是它已显示了巨大的生命力和深远的影响。普适计算的新思维极大地活跃了学术思想，推动了对新型 计算模式的研究。目前已出现了许多诸如平静计算(Calm Computing)、日常计算(Everyday Computing)、主动计算(Proactive Computing)等新的研究方向。南开大学计算机系教授辛运帏博士等对国内外普适计算的现状与趋势，以及天津普适计算研究切入点进行的分析。 五、国内目前的研究进展 目前国内非常重视普适计算的研究，并将其列入国家自然科学基金委信息科学部2003年资助的18个重点项目之一。国内的研究主要在普适计算环境中间件、普 适计算中私有信息保护问题、普适计算环境的协调管理、软件结构、觉察上下文计算、人机界面几方面展开，各主要研究机构都在积极开展有关普适计算的研究。 中国科学院软件研究所正开展“无处不在计算环境下智能人机交互研究”，它从计算智能和分布式认知心理学着手，研究通过计算智能来处理人机交互的上下文信息 感知问题，建立无处不在计算环境下人机交互动态行为的描述方式和用户意图获取模型。自动化研究所也有一些相关的研究，如对无处不在计算环境中的身份鉴别与 行为理解的研究，对人脸、指纹、虹膜、笔迹、步态等的识别来进行身份鉴别，支持人脸跟踪，研究智能机器人自然语言交流，同时在手写体识别、语音识别方面都 有不错的研究成果。计算所在高性能计算和网格技术的研究方面也取得了显著的成果。心理所对注意维度转移进行了一系列的相关研究。 清华大学从人机系统对无处不在计算开展了工作，着重研究人和计算机一起工作的方式和技术，从人机系统的层次研究人机交互。交互与媒体集成研究所对普适计算 展开了研究，比较著名的有Smart Class项目。该项目将普适计算和远程教育相结合，建立智能远程教室。在智能教室中，教师的操作包括调用课件、在电子黑板上作注释、与远方的学生交流 等。系统能根据对教师动作的理解，在不同的场景下向远方的学生转发相应的视频镜头或电子黑板内容，并自动记录上课的内容。 北京大学成立了普适计算实验室(Ubiquitous Computing Laboratory)。目前开展的研究侧重在开发和设计通用的信息访问和传送平台，存在论工程(Ontology Engineering)和基于存在论的语义网页(Semantic Web)，自适应代理(Adaptive Agent)系统的结构，应用于科学、工程和国防的基于知识的系统。 六、天津普适计算研究的切入点 普适计算研究内容主要包括两个方面：自然的人机交互和网络计算。目前极需要搭建一个普适计算实验研究环境，这是研究的基础和前提。该环境要求高速、可靠、 稳定、大容量、网络化、智能化、个性化并重，并解决网络接入问题。同时选择普适计算中的几个关键技术展开研究，研究在嵌入式计算、无线通信和分布式计算技 术的支持下，把由计算和通信结点及系统组成的信息空间与人类生活的物理空间集成为和谐的人机交互信息环境的理论和技术，并以此为基础带动相关研究。所有这 些研究可为天津数字化城市的建设打下必备基础，同时使得天津能在国内普适计算研究中处于较领先的地位。结合天津的实际情况，可以选择下面几个方面作为研究 的切入点： 1智能普适计算设备及其支撑软件。重点开展应用于普适计算环境中手持普适计算设备的研究，特别是通用性强、功能完备、体积小、功耗低的智能设备的预研， 并带动相关产业的发展。保留目前智能卡等产品的方便性，并根据实际需要扩展完善功能，满足无处不在的使用要求。借鉴目前各种卡类系统及“一卡通”项目研究 中已经取得的成果和经验，开发配套的应用系统，提高工作效率，改善生活方式和质量。结合嵌入式设备的开发，提升面向行业的嵌入式软件自主研发能力，形成行 业标准与规范。 2人机交互理论。重点开展人机交互方式的基础性研究。智能普适计算设备使用的前提是人机交互瓶颈的根本突破。目前普适计算的研究还停留在实验室范围内， 虽然取得了一些成果，但还没有形成统一的、规范的普适计算体系结构，其最大的问题之一就是还没有解决其中的人机交互问题。人机交互的研究重点是上下文感知 和人与普适计算交互的环境。应重点研究新的人机交互模式，突破传统的“人使用计算机”的模式，尽量采用自然、和谐的手段，将人与计算机共同包融于计算环境 中，在自然语言理解、认知感知、知识理解等理论方面有所突破。 3网络环境的搭建。普适计算得以实施，其前提是要建立一个比较完备的基础网络设施，形成一个良好的网络环境，包括有线网络及无线网络。由于普适计算设备 的数量庞大，并且需要有识别及定位功能，所以需要研制新一代的网络设备，包括建设Ipv6网络，研究网络协议及操作系统对可移动性的支持，重点解决带宽问 题(这需要巨大的无线带宽)和网络接入问题，以满足实时的、快速的、大数据量的信息传输需要。另外网络安全等问题也是不能忽视的。 4软件方法研究。普适计算是一种新的计算模式，其基础性、战略性、前瞻性和重大关键共性的软件研发技术是另一个受关注的热点。在一个无所不包的环境中，集中式数据中心研究、数据标准的制订、软件体系架构及软件系统开发方法等应成为首要研究目标。 5中间件产品系列研究。普适计算环境中的设备多为异构的，且数量庞大，将这些设备无缝集成仍具有很大挑战。考虑到大量日常和消费类设备的接入，以及设备 智能程度的差别(如实验室的PC机与街边的自动售货机)，开发普适计算系统的中间件显得愈发急迫和必要。中间件技术是解决产品异构的一个很好途径，可以屏 蔽设备的不均衡性，是目前研究的热点。文章来源：/rdjj/rdjj_68.html2感知用户界面综述MBPUI是感知用户界面的一种重要形态，具有感知用户界面的基本特征。了解感知用户界面是进行MBPUI设计和开发方法研究的前提。本章力图对感知用户界面的概念、组成、交互隐喻、基本特征和相关研究进行系统地分析和论述。21感知用户界面概述（博士论文-基于运动的感知用户界面模型及其应用）感知用户界面概念由MatthewTurk在上世纪八十年代末提出32】。Turk指出：二十世纪八、九十年代期间人机交互技术几乎没有根本性的突破，大部分研究工作都集中在6UI方面。虽然GUIWIMP为用户提供了一个稳定、统一的界面，但是以移动指针、点击、键入为主要交互方式的WIMP界面从长远来看很难满足未来各种形式、各种情景下交互应用的需求，也不能体现自然交互、无处不在的计算等用户界面发展的趋势。人类最为自然的交互方式就是与其它人或与现实世界的交流、互动，人们通过自身的感知和活动能力、社交和生活常识来完成这一切。因此用户界面的终极形态将以人与人、人与现实世界的互动为原型，在人类自然、社会能力的基础上建立