人机交互技术和智能信息处理实验室.ppt

戴国忠人机交互技术和智能信息处理实验室,人机交互技术和实物操作界面(TUI)TangibleUserInterface,人机交互技术和用户界面无处不在计算及其用户界面实物操作界面(TUI),提纲,DouglasC.Engelbart,什么造就了计算机辉煌历史?,NationalMedalofTechnology,2000IEEE,JohnVonNeumannMedalAward,1999ACM,A.M.TuringAward,1997影响几代人，创造计算机的历史,PCplusGUImadethehistory,ThingsbehindGUIDesktopmetaphorWIMP(Windows,icons,menu,andpointer)DirectmanipulationandWYSIWYGKillerapplicationWordprocessingElectronicspreadsheet,什么造就了计算机辉煌历史?,计算机是什么?无处不在的计算,DesktopPC,TabletPC,PocketPC,PhonePC,WristPC,无线连接,计算机是什么?PC手写设备,计算机是什么?Roomware,1950年，大型机计算时代多人一机1975年，PC计算时代信息交流一人一机2000年，普适计算时代服务一人多机,字符用户界面键盘图形用户界面鼠标，GUI，WIMP新世纪用户界面(?)笔、语音(?),计算机是什么?计算的三次革命(计算空间、角色、界面),计算机是什么?计算的三次革命,一只眼睛十一个指头,计算机能做什么?不能做什么?,计算机计算模式(1.2),人,环境,活动,Desktop,无处不在的计算,Mainframe,大型机,台式机,移动环境,三维空间,Postdesktop,键盘,鼠标,?,文本命令,GUI命令/WIMP,PostWIMP,NonWIMP?,NonWIMP?,人机环境,虚拟现实VR,无处不在的计算AR,办公自动化,科学计算,用户界面的发展历史(1.3),人机交互和用户界面-计算机应用的主要障碍,硬件：摩尔定律(18个月翻一倍)软件：每五年升一代界面：15-20年换一代60年代一70年代：键盘，字符界面80年代一90年代：鼠标，图形界面21世纪:新一代界面,“凡有助于缩小人机隔阂，建立和谐人机环境的理论、方法、技术和产品都具有强大的生命力”,什么是今后计算机应用的障碍?,计算机硬件技术已不是阻碍人机交互和用户界面-计算机应用的主要障碍人机交互技术一21世纪重大信息技术,计算机研究发展的主干:计算如硬件技术，计算机软件技术，智能接口技术-863计划计算机发战研讨会2002.1.18,一,普适计算的认识(1),UbiquitousComputing(ubicopm)MarkWeiser1991Avision:(人+环境)*计算资源基础设施(Net)+Devicesatvaryingscales任何时间任何地点提供信息和服务Anewparadigmsofinteraction,FocusonApplicationsTherealpurposeforubiquitouscomputing,ofcourse,aretheapplications.”MarkWeiser,普适计算的认识(2),普适计算的认识(3),UbiquitousComputing多人可以使用的计算，计算环境如交互墙(会议室)、电子白板(教室)普遍、到处无处不在的计算PervasiveComputing(Computingpervasive)个人所拥有的计算，日用品如可穿戴计算设备扩散、渗透,普适计算的认识(4)人机融合过程,人,计算机,弱智十奇才,人适应计算机,计算机适应人,主机时代,PC时代,普适时代,普适计算中人机交互的三个主题,自然界面(naturalinterfaces)上下文感知应用(context-aware)基于物理和计算环境感知到的信息的行为。简单的上下文、重用性、和复杂的上下文自动捕捉及访问(automatedcaptureandaccess)无处不在计算的应用试图自动捕捉生活经历,提供以后对这些经历的灵活访问,普适计算中人机交互的三个特征,自然化多通道模糊非结构连续,人性化显式感知(符号、动作、表象、情感)隐式感知-用户意图捕捉智能化学习能力数据挖掘,自然界面（1）,IntegrateintohumanlifePeninputGestureSpeechPerceptualUITangibleUI脱离桌面,自然界面（2）,第一类自然数据类型（First-ClassNaturalDataTypes）视觉、听觉、笔画、作为基本数据类型，并支持对这类数据类型的操作。基于识别交互的容错技术识别的准确度/纠错的复杂度及有效度1）减少错误2）发现错误3）可修正错误,location,identity,objects,上下文感知（1）,上下文感知（2）,上下文定义,为什么?(结果),谁使用?(用户十环境十它人),做什么?(用户行为),何时?,何地?,上下文表示上下文融合,自动捕捉及访问生活经历,信息获取：听/看-记录-提取听/看-提取-记录目的：计算机擅长十人擅长主要应用：会议室、课堂环境、个人note-takingPhoneslaveXcaptureClassroom2000捕捉：源信息流记录十关健信息的捕捉访问：多捕捉流同步重放,普适计算面临的其它挑战,评估人的需求使用的可信度方法(以任务为中心的评估技术是不合适)社会问题安全性，可视性，可控制性，个人隐私,普适计算的理解(1)三个层次,计算为基础层次，提供必要的软硬件技术计算机科学信息交流计算设备之间的交流：计算机网络人机交流：人机界面计算机科学、心理学等学科服务没有感觉计算的存在，却无处不在的享受着服务。计算主要以服务的形态提供人们，并自然地融入社会计算机科学、社会科学,普适计算的理解(2)三个层次,mobility,Interfacetransparency,Desktopcomputing,MobileComputing,WearableComputing,UbiquitousComputing,计算信息交流服务,从社会科学的角度出发从根本上彻底改造技术以适应人目标是使人获得真正的效率使得计算机“Invisible”“最好的仆人是看不见的仆人”多种多样的服务形式，更为自然信息获取,普适计算的用户界面,普适计算的用户界面,充分利用人们在现实生活中的获得的生活体验，易学习自然直观的用户界面直接将人们在现实生活中和物体的交互动作映射为和信息空间的交互过程,信息技术的尴尬(TUI的动机),传统的计算工具结绳记事沙漏计时算盘简单，可触摸，易学习触觉和肌肉运动知觉现在的数字技术功能强大，学习门槛高人们必须不断学习适应其发展原因：生活经验毫无用处，界面本身就是新生事物,信息空间和物理空间(Bits&Atoms),PO,PO,PO,EY,PO:Physicalobject,EY:Entity,EY,EY,Mouse,信息空间(Bits),物理空间(Atoms),信息空间和物理空间(Bits&Atoms),我们生活在两个世界里：现实的物理世界和虚拟的信息世界两种身份之间却缺少一种无缝的、自然的转换和交互方式人们和信息空间的交互被局限于传统的图形用户界面(GUI)中实际上，正是GUI把我们生活的物理世界和我们要访问的信息世界隔离开来。,从桌面环境到物理世界GUI到TUI,1991年，MarkWeiser提出了“普适计算”：计算是无处不在的，是不可见的物理世界本身就是界面,1981年，施乐公司提出了GUI概念“Star”是第一个采用“WIMP”界面,实物操作界面简介(TUI),定义(TangibleUserInterface)直接将人们在现实生活中和物体、环境的交互动作映射为和信息空间的交互过程的用户界面。特点:充分利用生活体验，易学习，自然目标:尽可能的把生活体验用到人机交互中，降低计算机技术的学习门槛，增加交互的自然性。,TUI的目标,实物操作界面通过使得数字信息可触摸而达到无缝集成物理世界和信息世界的目的。三个关键的概念：交互式表面信息和物体的链接环境反馈,和TUI相关的工作,1.UbiquitousComputing（普适计算）计算无处不在计算之间，设备之间的通讯是“透明”的例子：会议桌、便签条二者差别：普适计算更大程度上是把GUI的交互隐喻分布到了物理环境中的各种交互设备中，GUI的拓展（适应）TUI界面则试图摒弃GUI界面范式，力图使物理环境成为界面本身，更多的借鉴了在计算机出现以前的人们的交互方式（回归）。,和TUI相关的工作,AugmentedReality（增强现实）研究如何集成现实世界和虚拟世界的问题二者的区别输入手段不同。TUI强调把直接抓取实物作为输入手段；AR是重叠显示现实世界和虚拟信息的投影。,TUI的研究现状,MITMediaLabTUIGroup斯坦福大学InteractivityLab华盛顿大学DesignMachineGroup加州大学GroupforUserInterfaceResearch多伦多大学DepartmentofComputerScience,TUI的研究原型,.,ClearBoardHiroshiIshii1994,最早把现实中的表面做为物理空间和信息空间的集成媒介的系统支持CSCW一个背投的显示器充当了物理动作和虚拟信息之间的媒介,LiveWireWeiser1995,一个给用户提供环境反馈的例子塑料绳就会抖动和发声，这样就跟用户提供了声音反馈,Bricks:GraspableUserInterfaces（可抓取界面）Fitzmaurice1995,方块（Bricks）和虚拟物体链接并同步动作方块的数目不限，可以同时操纵多个方块TUI界面中借鉴了这个系统的思想,PassiveReal-WorldInterfacePropsHINCKLEY1998,用于神经外科手术规划的一个双手交互系统反馈触觉和肌肉运动知觉二者区别：TUI界面不但是实物操作输入，还能输出环境反馈,MITMediaLab的研究工作,三个原型系统metaDESK和transBOARD抓取的实物ambientROOM环境反馈,MetaDESK,有Windows中界面构件（如窗口、菜单、图标）的实物对应，也有嵌入了数字信息的现实生活中的物体,MITMediaLab:IPNetworkSimulation,用于网络结构设计基于早期的TUI平台:Sensetable无线跟踪pucks的位置方位,TangibleGeospace,在metaDesk上开发的一个实物操作的三维地图系统用真实的路标模型(phicon:实物图标)就可以直接编辑地图,TransBOARD,支持协同工作的白板系统经过编码的卡片(hyperCARDs-phicon)可以记载笔迹单向转换：从物理世界转换到信息世界白板表面作为信息集成媒介,ambientROOM,人们获取信息的两个渠道：前景:注意力集中的动作背景：周围环境信息光效，声音，气流，阴影都是人们可以感知的背景信息,斯坦福的研究工作iStuffRafaelBallagasCHI2003,PhysicalUserInterfaceToolkit主要思想：把GUI中的界面构件用实物来代替，如笔，滑动杆，按钮，玩具狗，铁笔，麦克风,斯坦福的研究工作iStuff,支持多用户，多个设备，多个应用间的协同工作平台无关实时配置各个物理交互设备通过无限网络连接,瑞典Goteborg大学交互实验室开发的Nostalgia,带有传感器的织物消除了老人们对计算机的排斥感点击三角块激活老歌曲和音乐,多伦多大学ShapeTape,自由弯曲的带有弹性的带子每隔6厘米共分布了32个传感器带子(实物)和自由曲线(虚拟对象)的连接,带子的形状直接映射为曲线的形状,华盛顿大学DMG：NavigationBlocks,用于数据库查询四个方盒子when,who,what,where小盒子之间还能通过红外发射通讯,日本ATR实验室：筷子,数据手套跟踪手部运动精确操作,中科院软件所人机交互技术和智能信息处理实验室,实物笔、纸习惯、自然,中科院软件所人机交互技术和智能信息处理实验室,Anote专利技术瑞典AnoteAB公司在年代末开发出了使用数码笔的电脑输入专利技术Anote数码纸和Anote数码笔。,中科院软件所人机交互技术和智能信息处理实验室,Anote数码笔(普通的圆珠笔)微型摄相头_读入笔尖高速书写的笔迹和Anote数码纸的微点坐标微处理器_分析处理后通过兰牙无线或USB等方法转送到电脑或携带手机之中。,Anote数码纸(一般纸)纸上印刷了Anote专利的核心技术Anote微细点状形坐标。利用这种微细点状形坐标可以定位识别相当于地球表面大小面积的区域,Anote技术必将带来新世纪的革命人们只需用Anote数码笔在Anote数码纸上与平常一样书写与记录、就可以将信息简便的输入电脑。这将给办公室自动化及信息产业带来新一轮的革命。,中科院软件所人机交互技术和智能信息处理实验室,VR指挥捧VR导游化身,中科院软件所人机交互技术和智能信息处理实验室,TUI的关键技术,心里学上注意机制环境反馈不应把用户的注意力从实物操作中吸引开来，反馈应该是隐式的注意的平滑转换协同设计和三维交互技术多用户协同工作时，每个用户在自己的小环境中分别操纵自己的实物,但是共享信息空间如果实物在三维空间种运动需要三维交互技术,TUI的关键技术,实物和虚拟对象的链接链接的建立与取消实物和虚拟对象间的映射机制通讯和环境反馈实物和系统无线通讯和定位环境实时、隐式信息反馈,TUI的关键技术,传感和无线通讯目前跟踪实物的两种实现方案：自带传感器和三维位置跟踪实物之间，实物与系统之间的通讯大多数时候无线的，不干扰用户的空间动作多通道交互技术TUI中的输入虽然比较单一，输出却是多样化的允许同时操作多个实物多种感觉通道的输出,关键技术：双手交互方式,双手同时操纵两个Puck典型应用虚拟装配肌肉运动知觉和本体感受解决复杂任务的有效途径符合认知特点，无需视觉注意,开展TUI研究的关键设备,并没有一种固定的硬件配置从构造原型系统的角度出发，大致需要以下几种设备：位置跟踪器和无线通讯设备投影仪或者背投显示器各种经过定制的实物：是用户直接抓取的各种物体。如metsDesk中的phicon,Lens，iStuff中的滑动杆，电子狗等,实物的两种类型,GUI扩展型meaDesk中的各种物理菜单、图标，滑动杆都是这种类型。IStuff中的物理界面中的物理界面工具箱也是这种类型自己定制型华盛顿大学的方盒子，瑞典Goteborg大学的点播怀旧歌曲的织物。一般都会安装有传感器甚至还有通讯设备,总结(1),人机交互技术和用户界面是竞争性技术无处不在计算是未来主要的计算模式TUI是无处不在计算的主要的界面范式,实物操作界面通过使得数字信息可触摸而达到无缝集成物理世界和信息世界的目的。三个关键的概念：交互式表面信息和物体的链接环境反馈,总结(2),总结(3),直接将人们在现实生活中和物体的交互动作映射为和信息空间的交互过程充分利用人们在现实生活中的获得的生活体验，易学习，自然直观自然直观的用户界面,总结(4),欢迎讨论!,总结(2),直接将人们在现实生活中和物体的交互动作映射为和信息空间的交互过程充分利用人们在现实生活中的获得的生活体验，易学习，自然直观自然直观的用