人机交互技术和智能信息处理实验室

1、人机交互技术和智能信息处理实验室人机交互技术和实物操作界面(TUI)Tangible User Interface1人机交互技术和用户界面无处不在计算及其用户界面实物操作界面(TUI)提纲2Douglas C. Engelbart 什么造就了计算机辉煌历史?National Medal of Technology , 2000IEEE, John Von Neumann Medal Award , 1999ACM, A. M. Turing Award , 1997影响几代人，创造计算机的历史3PC plus GUI made the historyThings behind GUIDeskt

2、op metaphorWIMP (Windows, icons, menu, and pointer)Direct manipulation and WYSIWYGKiller applicationWord processingElectronic spreadsheet什么造就了计算机辉煌历史?4计算机是什么?无处不在的计算Desktop PCTablet PCPocket PCPhone PCWrist PC无线连接5(a)：Wacom Intuos(b)：Wacom Cintiq PL550与桌面PC相连的Tablet交互设备（Wacom公司产品）Wacom计算机是什么?PC手写设备6

3、（a）交互墙DynaWall（b）交互椅CommChair（c）交互桌InteracTable由GMD IPSI设计的Roomware计算机是什么?Roomware71950年，大型机计算时代 多人一机1975年，PC计算时代 信息交流一人一机2000年，普适计算时代 服务一人多机字符用户界面键盘图形用户界面鼠标，GUI，WIMP新世纪用户界面(?)笔、语音(?)计算机是什么?计算的三次革命(计算空间、角色、界面)8计算机是什么?计算的三次革命9一只眼睛 十一个指头计算机能做什么?不能做什么?10计算机计算模式(1.2)人环境活动Desktop无处不在的计算Mainframe11大型机台式机移

4、动环境三维空间Post desktop键盘鼠标?文本命令GUI 命令 / WIMPPost WIMPNon WIMP?Non WIMP?人机环境虚拟现实VR无处不在的计算AR 办公自动化科学计算用户界面的发展历史(1.3)12人机交互和用户界面-计算机应用的主要障碍硬件：摩尔定律(18个月翻一倍)软件：每五年升一代界面：15-20年换一代 60年代一70年代：键盘，字符界面 80年代一90年代：鼠标，图形界面 21世纪: 新一代界面13“凡有助于缩小人机隔阂，建立和谐人机环境的理论、方法、技术和产品都具有强大的生命力”什么是今后计算机应用的障碍?计算机硬件技术已不是阻碍人机交互和用户界面-计算

5、机应用的主要障碍人机交互技术一21世纪重大信息技术计算机研究发展的主干: 计算如硬件技术，计算机软件技术，智能接口技术 -863计划计算机发战研讨会 2002.1.18一14普适计算的认识(1)Ubiquitous Computing(ubicopm)Mark Weiser 1991A vision: (人+环境)*计算资源基础设施 ( Net) + Devices at varying scales任何时间任何地点提供信息和服务 A new paradigms of interaction15Focus on ApplicationsThe real purpose for ubiquito

6、us computing, of course, are the applications.”Mark Weiser普适计算的认识(2)16普适计算的认识(3)Ubiquitous Computing多人可以使用的计算，计算环境如交互墙(会议室)、电子白板(教室)普遍、到处 无处不在的计算Pervasive Computing(Computing pervasive)个人所拥有的计算，日用品如可穿戴计算设备扩散、渗透17普适计算的认识(4)人机融合过程人计算机弱智十奇才人适应计算机计算机适应人主机时代PC时代普适时代18普适计算中人机交互的三个主题自然界面(natural interfaces

7、 )上下文感知应用(context-aware ) 基于物理和计算环境感知到的信息的行为。 简单的上下文、重用性、和复杂的上下文 自动捕捉及访问 (automated capture and access) 无处不在计算的应用试图自动捕捉生活经历, 提供以后对这些经历的灵活访问19普适计算中人机交互的三个特征自然化多通道模糊非结构连续人性化显式感知(符号、动作、表象、情感)隐式感知-用户意图捕捉智能化学习能力数据挖掘20自然界面（1）Integrate into human lifePen inputGestureSpeechPerceptual UITangible UI脱离桌面21自然界面

8、（2）第一类自然数据类型 （First-Class Natural Data Types） 视觉、听觉、笔画、作为基本数据类型，并支持对这类数据类型的操作。基于识别交互的容错技术 识别的准确度/ 纠错的复杂度及有效度 1）减少错误 2）发现错误 3）可修正错误 22locationidentityobjects上下文感知（1）23上下文感知（2）上下文定义 用户行为的介释WhatWhyWhoWhereWhen为什么?(结果)谁使用?(用户十环境十它人)做什么?(用户行为)何时?何地?上下文表示上下文融合24自动捕捉及访问生活经历信息获取：听/看-记录-提取 听/看-提取-记录目 的：计算机擅长

9、十人擅长主要 应 用：会议室、课堂环境、个人note-taking Phoneslave Xcapture Classroom 2000捕捉：源信息流记录十关健信息的捕捉访问：多捕捉流同步重放25普适计算面临的其它挑战评估人的需求使用的可信度方法(以任务为中心的评估技术是不合适)社会问题 安全性，可视性，可控制性，个人隐私26普适计算的理解(1) 三个层次计算为基础层次，提供必要的软硬件技术计算机科学信息交流计算设备之间的交流：计算机网络人机交流：人机界面计算机科学、心理学等学科服务没有感觉计算的存在，却无处不在的享受着服务。计算主要以服务的形态提供人们，并自然地融入社会计算机科学、社会科学2

10、7普适计算的理解(2) 三个层次mobility Interface transparencyDesktopcomputingMobile ComputingWearable ComputingUbiquitous Computing计算 信息交流 服务28从社会科学的角度出发从根本上彻底改造技术以适应人目标是使人获得真正的效率使得计算机“Invisible”“最好的仆人是看不见的仆人”多种多样的服务形式，更为自然信息获取普适计算的用户界面29普适计算的用户界面充分利用人们在现实生活中的获得的 生活体验，易学习自然直观的用户界面直接将人们在现实生活中和物体的交互动作映射为和信息空间的交互过程3

11、0信息技术的尴尬(TUI的动机)传统的计算工具结绳记事 沙漏计时 算盘简单，可触摸，易学习触觉和肌肉运动知觉现在的数字技术功能强大，学习门槛高人们必须不断学习适应其发展原因：生活经验毫无用处，界面本身就是新生事物31信息空间和物理空间( Bits & Atoms )POPOPOEYPO:Physical objectEY:EntityEYEYMouse信息空间(Bits)物理空间(Atoms)32信息空间和物理空间(Bits & Atoms )我们生活在两个世界里：现实的物理世界和虚拟的信息世界 两种身份之间却缺少一种无缝的、自然的转换和交互方式 人们和信息空间的交互被局限于传统的图形用户界面

12、(GUI)中实际上，正是GUI把我们生活的物理世界和我们要访问的信息世界隔离开来。33从桌面环境到物理世界GUI到TUI1991年，Mark Weiser提出了“普适计算”：计算是无处不在的，是不可见的 物理世界本身就是界面1981年，施乐公司提出了GUI概念“Star”是第一个采用“WIMP”界面34实物操作界面简介(TUI)定义(Tangible User Interface)直接将人们在现实生活中和物体、环境的交互动作映射为和信息空间的交互过程的用户界面。 特点:充分利用生活体验 ， 易学习 ， 自然目标:尽可能的把生活体验用到人机交互中，降低计算机技术的学习门槛，增加交互的自然性。35

13、TUI的目标实物操作界面通过使得数字信息可触摸而达到无缝集成物理世界和信息世界的目的。三个关键的概念：交互式表面信息和物体的链接环境反馈36和TUI 相关的工作 1. Ubiquitous Computing（普适计算） 计算无处不在计算之间，设备之间的通讯是“透明” 的例子：会议桌、便签条 二者差别：普适计算更大程度上是把GUI的交互隐喻分布到了物理环境中 的各种交互设备中，GUI的拓展（适应）TUI界面则试图摒弃GUI界面范式，力图使物理环境成为界面本身，更多的借鉴了在计算机出现以前的人们的交互方式（回归）。 37和TUI 相关的工作Augmented Reality（增强现实）研究如何集

14、成现实世界和虚拟世界的问题二者的区别输入手段不同。TUI强调把直接抓取实物作为输入手段；AR是重叠显示现实世界和虚拟信息的投影。38TUI的研究现状 MIT Media Lab TUI Group斯坦福大学 Interactivity Lab华盛顿大学 Design Machine Group加州大学 Group for User Interface Research多伦多大学 Department of Computer Science 39TUI的研究原型.40ClearBoard Hiroshi Ishii1994最早把现实中的表面做为物理空间和信息空间的集成媒介的系统 支持CSCW一个

15、背投的显示器充当了物理动作和虚拟信息之间的媒介 41Live Wire Weiser 1995一个给用户提供环境反馈的例子 塑料绳就会抖动和发声，这样就跟用户提供了声音反馈 42Bricks: Graspable User Interfaces（可抓取界面）Fitzmaurice 1995 方块（Bricks）和虚拟物体链接并同步动作 方块的数目不限，可以同时操纵多个方块 TUI界面中借鉴了这个系统的思想 43Passive Real-World Interface Props HINCKLEY 1998用于神经外科手术规划的一个双手交互系统反馈触觉和肌肉运动知觉 二者区别：TUI界面不但是实

16、物操作输入，还能输出环境反馈 44MIT Media Lab的研究工作 三个原型系统metaDESK 和 transBOARD 抓取的实物ambientROOM 环境反馈45MetaDESK 有Windows中界面构件（如窗口、菜单、图标）的实物对应，也有嵌入了数字信息的现实生活中的物体 46MIT Media Lab : IP Network Simulation用于网络结构设计基于早期的TUI平台:Sensetable无线跟踪pucks的位置方位47Tangible Geospace 在metaDesk上开发的一个实物操作的三维地图系统 用真实的路标模型(phicon:实物图标)就可以直接

17、编辑地图 48TransBOARD 支持协同工作的白板系统 经过编码的卡片(hyperCARDs-phicon)可以记载笔迹单向转换：从物理世界转换到信息世界白板表面作为信息集成媒介49ambientROOM 人们获取信息的两个渠道：前景: 注意力集中的动作背景：周围环境信息光效，声音，气流，阴影都是人们可以感知的背景信息50斯坦福的研究工作 iStuff Rafael Ballagas CHI2003Physical User Interface Toolkit 主要思想：把GUI中的界面构件用实物来代替，如笔，滑动杆，按钮，玩具狗，铁笔，麦克风 51斯坦福的研究工作 iStuff支持多用户

18、，多个设备，多个应用间的协同工作 平台无关实时配置 各个物理交互设备通过无限网络连接 52瑞典Goteborg大学交互实验室开发的Nostalgia带有传感器的织物消除了老人们对计算机的排斥感 点击三角块激活老歌曲和音乐53多伦多大学 ShapeTape 自由弯曲的带有弹性的带子 每隔6厘米 共分布了32个传感器 带子(实物)和自由曲线(虚拟对象)的连接 ,带子的形状直接映射为 曲线的形状 54华盛顿大学DMG：Navigation Blocks用于数据库查询四个方盒子when, who , what, where 小盒子之间还能通过红外发射通讯 55日本ATR实验室：筷子 数据手套跟踪手部运

19、动 精确 操作56中科院软件所 人机交互技术和智能信息处理实验室实物笔、纸 习惯、自然57中科院软件所 人机交互技术和智能信息处理实验室Anote专利技术 瑞典Anote AB公司在年代末开发出了使用数码笔的电脑输入专利技术Anote 数码纸和Anote 数码笔。58中科院软件所 人机交互技术和智能信息处理实验室Anote 数码笔( (普通的圆珠笔)微型摄相头_读入笔尖高速书 写的笔迹和Anote 数码纸的微 点坐标微处理器_分析处理后通过兰 牙无线或USB等方法转送到 电脑或携带手机之中。 Anote 数码纸 (一般纸)纸上印刷了Anote 专利的核心技术Anote 微细点状形坐标。利用这种

20、微细点状形坐标可以定位识别相当于地球表面大小面积的区域Anote 技术必将带来新世纪的革命 人们只需用Anote 数码笔在Anote 数码纸上与平常一样书写与记录、就可以将信息简便的输入电脑。这将给办公室自动化及信息产业带来新一轮的革命。59中科院软件所 人机交互技术和智能信息处理实验室VR 指挥捧VR 导游化身60中科院软件所 人机交互技术和智能信息处理实验室61TUI的关键技术心里学上注意机制 环境反馈不应把用户的注意力从实物操作中吸引开来，反馈应该是隐式的 注意的平滑转换协同设计和三维交互技术 多用户协同工作时，每个用户在自己的小环境中分别操纵自己的实物 ,但是共享信息空间如果实物在三维

21、空间种运动需要三维交互技术 62TUI的关键技术实物和虚拟对象的链接链接的建立与取消实物和虚拟对象间的映射机制通讯和环境反馈实物和系统无线通讯和定位环境实时、隐式信息反馈63TUI的关键技术 传感和无线通讯 目前跟踪实物的两种实现方案：自带传感器和三维位置跟踪 实物之间，实物与系统之间的通讯大多数时候无线的，不干扰用户的空间动作 多通道交互技术 TUI中的输入虽然比较单一，输出却是多样化的允许同时操作多个实物多种感觉通道的输出64关键技术：双手交互方式双手同时操纵两个Puck典型应用虚拟装配肌肉运动知觉和本体感受解决复杂任务的有效途径符合认知特点，无需 视觉注意65开展TUI研究的关键设备并没

22、有一种固定的硬件配置 从构造原型系统的角度出发，大致需要以下几种设备 ：位置跟踪器和无线通讯设备 投影仪或者背投显示器 各种经过定制的实物 ：是用户直接抓取的各种物体。如metsDesk中的phicon,Lens，iStuff中的滑动杆，电子狗等 66实物的两种类型 GUI扩展型 meaDesk中的各种物理菜单、图标，滑动杆都是这种类型。IStuff中的物理界面中的物理界面工具箱也是这种类型 自己定制型 华盛顿大学的方盒子，瑞典Goteborg大学的点播怀旧歌曲的织物。一般都会安装有传感器甚至还有通讯设备 67总结(1)人机交互技术和用户界面是竞争性技术无处不在计算是未来主要的计算模式TUI是无处不在计算的主要的界面范式68实物操作界面通过使得数字信息可触摸而达到无缝集成物理世界和信息世界的目的。三个关键的概念：交互式表面信息和物体的链接环境反馈总结(2)69总结(3)直接将人们在现实生活中和物体的交互动作映射为和信息空间的交互过程充分利用人们在现实生活中的获得的生活体验，易学习，自然直观自然直观的用户界面70总结(4)欢迎讨论!71总结(2)直接将人们在现实生活中和物体的交互动作映射为和信息空