人机自然交互技术.ppt

1、人机自然交互技术提纲人机交互概述-定义，内涵与外延-研究内容-历史、现状人机自然交互技术我的工作HCI是什么?用户：我又错了？-用户必须不断地适应计算机，而不是相反!人机交互定义(ACM, 1992)一 Human-computer interaction is a discipline concerned with the design, evaluation and implementation of interactive computing systems for human use and with the study of major phenomena surrounding t

2、hem.- 一门研究人类所使用的交互式计算系统的设计、 实施、评估及相关主要现象的学科HCI简化模型HCI简化模型控制信息HCI目标使得用户在完成任务时，能够达到一安全性(Safely)-有效性(effectively)-高效率(Efficiently)-愉悦感(Enjoyably)-高可用性(Usability)高可用性(Usability)易于学习如何使用一 Ease of learning, free of training用户可高速执行任务-High speed of user task performanee低的用户错误率-Low user error rate用户的主观满意度-Su

3、bjective user satisfaction对用户持久的吸引力一 User retention over timeHCI主要研究内容(ACM 1992)Use and ContextU1社会组织与工作U3人机交S安装与凋整U2应用领域Ht人类信 息处理H2语言,通信与 交互计算机C2对话扌支 术 nC3対话风 格C4计算机制 图SBD3评估技 巧H3人类T效学C4输入输出 设备C 5对话构建D2实施技巧与工具D1设计开发过程D4实例系统与 案例分析HCI研究内容N人机交互的本质- N1人机交互(元-)模型U计算机的应用及情景-U1人类社会组织和工作- U2应用领域一 U3 人机适应(F

4、it and Adaptation)H人类特征- H1人类信息处理-H2语言，通信与交互一 H3 工效学(Ergonomics )HCI研究内容(续)C计算机系统和界面构建- C1输入和输出设备- C2对话技术- C3对话风格Genre- C4计算机图形学一 C5 对话架构(Architecture)D开发过程- D1设计方法- D2实施技术- D3评估技巧- D4实例系统和案例研究 P项目展示和测试U2 HCI应用领域面向文档的应用-文字处理，文档格式化， 插图，电子表格，超文本面向通信的应用- email,视频会议，电话/声音 信息系统设计开发环境类一开发环境，CAD/CAM在线帮助和指南

5、多媒体信息亭连续控制系统-过程控制系统，虚拟 现实系统，仿真器， 座舱，视频游戏嵌入式系统-复印机，电梯，消费 电子，家用电器（TVs, VCRs,微波炉.）U3人机适应实现人机适应的可变化技术手段自适应系统的本质，适应冗余系统的错误本质， 用户对例程改进的经验发现，成功系统的关键点系统选择：系统采用理论系统适应：定制与裁剪技术用户选择：用户和系统特性的兼容性用户适应：易学习，训练方法（在线指南），与 系统设计的关系用户指导：帮助技术，文档，错误处理技术H1人类信息处理认知机理模型-符号主义，连接主义，工程模型诸多认知过程的现象和理论-记忆，知觉，运动技巧，注意和警惕，问题求 解，学习和技巧获

6、得，动机等用户的概念模型用户行为模型人类的多样性（包括残障人士）C1输入和输出设备输入设备-特定设备的结构，性能特性，残障人专用设备，手写, 手势，语音输入，眼动跟踪，其他设备（如脑电扫描 设蓄，3D扫#苗仪，其施测量生物信号的设备）输出设备-特定设备的结构，向量式设备，光栅设备，帧缓存， 图像存储，事件处理，残障人专用设备，声音和语音 输出，3D显示器，运动等等输入输出设备特性-重量，便携性，带宽，感觉模态虚拟显示设备C2对话技术对话输入-输入目的类型（如选择，具体参数指定，连续控制） -输入技术 键盘技术（e.g, comma nds, menus）基于鼠标的技术（e.g，选择）基于pen

7、的技术（e.g.,字符识别，手势等）基于语音的技术对话输出-输出目的女口：传达精确信息，信息摘要，过程展示，信息可视化 -输出技术滚动条显示，窗口，动画，鱼眼显示，画中画等一屏幕布局问题焦点，杂乱，视觉逻辑C2对话技术（续）对话交互技术-对话种类和技术文字技术，表格填充，菜单选择，图标和直接操作， 自然语言等-对话审嘉航和指向，错误管理-多媒体和非图形对话语音输入/输出，语音信箱，视频信箱，主动文档， 视频磁盘-智能代理，AI-多人对话HCI简史D4实例系统和案例研究Why History?读史使人明智-理解我们从哪里走过来的，有助于指明我们继 续前进的方向！Understanding whe

8、re you've come from can help a lot in figuring out where you're going.-领域知识意味着对其历史的准确评价！ Knowledge of an area implies an appreciation of its history.HCI 范式(Paradigms)里程碑式的理论框架或科学世界观-如物理学上的亚里士多德时代、牛顿时代、爱 因斯坦时代对HCI历史的理解，可以通过对计算机应 用范式变迁的认识来完成-HCI的历史，基本上就是计算机发展的历史！计算机的诞生回溯-数字计算机的概念在18世纪提出-在20世纪4

9、0年代技术上称为现实早期模拟计算机一 1943年1月：Mark I,自动顺序控制计算机在美国研制 成功，被用来为美国海军计算弹道火力表-1943年12月：Alan Turing参与设计制造的最早的可编 程计算机Colossus在英国推出，目的是为了破译德国 的密码，每秒能翻译大约5000个字符ENIAC, 1946开始研制于1943年，完成于1946年2月15日一 Electronic Numerical Integrator A nd Computer 电子 数字积分计算机第一台真正意义上的数字电子计 算机-占地面积170平方米，30个操作台，约相当于10间普 通房间的大小，重达30吨，耗电

10、量150千瓦，造价48 万美元。它使用18000个电子管，70000个电阻， 10000个电容,1500个继电器，6000多个开关-每秒执行5000次加法或400次乘法，是继电器计算机 的1000倍、手工计算的20万倍-负责人是John W. Mauchly和J. Presper EckertENIAC用途：计算弹道和氢弹的研制。P1: V.Bush & Memex 1945促成了美国NSF, ARPA等的创立 “As We May Think" - 1945年 Memex device理论模型/概念-能够存储所有记录、文章和通信-内存巨大-按索引，关键词，相互参照获取信息-

11、相互连接管理（提出的概念非常类似 于 Hypertext）Memex 1945P2: J.R. Licklider心理学家t计算机科学家一 1960年，发表了 “人机共生”(“ma rrcomputer symbiosis”)的论文计算机如何更好的帮助人做事情-1962年,J.C.R.Licklider和W.CIark 发表论文On Line Man Computer Communication，讨论分布式社 交行为的全球网络概念一 Batch processing T time-sharing-Internet先驱人物之一P3:1.Sutherland & SketchPad 196

12、3 SketchPad"编程”系统-信息论先驱Shannon的学生一 1963 PhD thesis at MIT-1988 Turing Award-可以通过使用手持物体（如光 笔）直接在显示屏幕上创建图 形图像。可视的图样随即被存 入计算机内存，它们可以被重 新调用，并同其他数据一样可 以进行后期的处理。-CAD先驱，后期致力于设计头 盔式3D显示器（1967年开始）P3: Ivan Sutherland Sketchpad是第一个可以在显示屏幕上直 接构造图形图像的系统，不用再通过键盘 向计算机输入代码和公式更具革命性的是，它考虑到了在显示屏幕 上作某些改动后，存储在计算机中的

13、信息 可以被改变和更新。 Sketchpad开创了计算机辅助设计的一个 新领域，即我们所熟知的CAD新的范式:Video Display Units视频显示部件VDU- Sutherland's Sketchpad是里程碑式的系统 -计算机从此可以用于信息可视化和数据操作之前：主要用于数据计算P4: Douglas Engelbart道格拉斯恩格尔巴特“人机交互”大师-因发明鼠标而闻名，鼠标最初的名字：显示系统的X-Y位置指示器（19637965）P4: Douglas Engelbart鼠标器只不过是他所有成果中的一个小发明。但 他提出的那些气魄辉宏的计算机理论却远远不及 他发明的鼠

14、标器广为世人所知晓-发明涉及视窗、文字处理系统、在线呼叫集成系统、 共享屏幕的远程会议、超媒体、电脑交互输入设备、 群件，层次超文本，多媒体，鼠标20世纪60年代初，他就发表了一篇题为放大人 类智力(Augmenting the Human Intellect)的文 章，提出了把计算机作为人类智慧放大器的观点1997年，ACM图灵奖P5: Alan Kay最早的图形用户界面(GUI)电脑Alto -在施乐PARC,与同事构建了Alto, 成为M acintosh和Windows的先驱 2003年度图灵奖得主(for OOP)-发明了 “Object Oriented”这个术语，第一个完全面向对

15、象的动态计算机程序设计语言Smalltalk的发明者 Smalltalk源自Alan Kay “使用一组独立的互相通信的对象来 解决问题”的思想，它可以说是目前主流语言C+, Java和 C#的刖身O 1972年，他来到施乐PARC,开始将Smalltalk作为一种儿童 教育工具P5: Alan Kay个人计算之父- 1968年，提出Dynabook设想 “ Notebook sized computer loaded withmultimedia and can store everything"将是一款如同书籍般，既为可携式且具互动功能的 多媒体个人式电脑，它的主要规格如下：1.

16、 大小如A4纸张之易携带；2. 显示器的解析度必须优于报纸文字；3. 必须具有声音输入的功能且易操作；必须能够网路化和作无线通讯新的范式：个人计算因易于使用而更强大小而强大的计算机器为个人用户而做互联和分时的重要性先驱者一 Kay5s Dynabook, 196J-IBM PC, 1970年代文本和命令方式具有GIN的PC Xerox PARC id 19705s-AltoBravo WYSIWYG文本编辑. BravoX Microsoft Word的祖先.Laurel电子邮件.Neptune磁盘文件管理. Press文件打印.Sil画图程序.Xerox Star -1981第一台为商务应用

17、设计的商用pc一具有了桌面电脑的主要特征 Pointing, WYSIWYG, high degree of consistency and simplicity采用了可用性工程方法-有原型设计和分析-好用性测试，迭代式的改进Xerox Star天才的概念，商业失败-$15k cost一 Closed architecture一 Lacking key functionality1981 IBM PC1981年8月120, IBM正式发布了历史上第一台PC,从此人类就进入了个人电脑时代！ IBM PC 改变了我们的生活和工作方式-IBM PC之父：埃斯特利奇，13人小组Apple Lisa -

18、 Based on ideas of Star更加个人化，而不全是 办公工具- LisaWrite:字处理-LisaCalc:表格-LisaGraph:图形-LisaList:规划管理工具-LisaProject:项目计划-LisaDraw:绘图程序LisaTerminal:现代通信软件 失败©1982"MM"tua Fz&fffogy2 fdiftt 16 :曲 m Er!.14 trodwnfcUisic18 bold/ itciticf?4 minrM*W：MrvMGrapturs1?4FI1 I討Apple Macintosh -1984并非先驱，

19、但非常聪明的拷贝一 Not trailblazer, smart copier 优点一 Aggressive pricing $2500-界面友好-支持第三方应用-高质量图像和激光打印-高质量的应用系统，MacWritev Mac Draw 一新的应用：Pagemaker, Word, Excel新的HCI范式：WIMP Windows, Icons, Menus, Pointers-并行操作 Can do several things simultaneously-图形用户界面实例Xerox Alto, Star; early ApplesP6: Ben ShneidermanDr. Shn

20、eiderman的著作有软件心理学：计算机和信息系统中的人类要素,1980-发明了直接操作DM (Direct Manipulation)概念在1983年首次设计了选中条目点击转到另一页的方法创立并任马里兰大学HCI实验室主任新的范式：直接操作Direct Manipulation直接操作的特点-对象可见-渐进动作和快速反馈-可逆性鼓励探索-使用动作代替语言-对动作进行句法修正一 WYSIWYGWhat You See Is What You Get.P7: Donald A. Normar20世纪60年代他就是一流的认知心理学家，是认 知科学的开拓者之一发展了HCI应用科学，涉 及到认知学、

21、工程和;殳计，在HCI方面做出了大 量创造性的成就，提出的“以人为中心的设计” 概念。 “Design of Everyday Things55-已成了设计人员的必备，以人迦本，可用性、易用性， 还有情感影响，新的理念指导薯很多白勺设计 Emotional Design: Why we love (or hate) everyday things情感化设计-强调情感在产品设计中的重要作用新的范式：多模态用户界面模态是人类交流的通道-不仅仅是感官例如：语音（听觉通道）和唇读（视觉通道）多模态融合-多通道同时使用共同协作完成输入/输出功能新的范式：HypertextP8: Ted Nelson H

22、ypertext （超文本）5 hypermedia （超媒 体）等概念的（合作）提出者新的范式：Hypertext WWW, 1993超文本-将信息看作互联的节点，而不是线性流 Think of information not as linear flow but as interconnected nodes源头一 Nelson's hypertext-Bush's MEMEX非线性的浏览结构一 Non-linear browsing structure新的范式：Hypertext麴臍需欝境闢翩在一起。P9: Mark Weiser提出普适计算是21世纪的计算模式一 Mar

23、k Weiser于 1988年在Xerox PARC的 计算机科学实验室首次提出了这个概念-无处不在的计算描述了具有丰富计算资源和通信能力 的人和环境之间关系的场景，能够在需要的何时何地*不见的仆人”1还提出了乃宁静技术calm technology55的概念-充分利用人体丰富多彩的感知和动作器官，以及人们 与日常物理世界打交道时所形成的自然交互技能来获 得计算机提供的服务人机自然交互技术HCI简史人适应计算机的历史！-1960年代一70年代：键盘，字符界面-1980年代一90年代：鼠标，图形界面目前-仍然以鼠标，图形界面为主，书写、听觉等为辅未来计算机适应人的未来！-到2015年左右，我们会

24、如何使用计算机？下一代自然人机界面会是什么？需要大家的想象力！人们对于现存的人机交互方式并不满足，因为人与 人的交互不是通过人手操作来实现的，而是通过听觉与 视觉以语言、表情、手势和体势进行的。人们期望新一 代的人机交互能像人与人交互那样自然、准确和快捷。 于是在20世纪90举代人机交互的研究进到了多模态的阶 段，称为人机自然交互(Human-Computer Nature lnteraction3HCNIcHuman-Machine Nature Interaction， HMNI)O人机自然交互与前几代人机交互的方式有本质上的差 别，这是一种人机交互的革命，是摆脱人手操作，赋予 势單以智能，通过听觉和视觉通道来实现的新一代交互2机自然交互的基本特征是只动嘴不动手，赋予计算 机听觉与视觉智能，使计算机能认识交互的对象，理解 以语言形式表达的说话内脊，理解交互对象的情感-按 人的要求去做，或回答人鍵出的问题，达到交互的自的。主要功能-识别交互对象，即知道在与谁对话，以称为说话人识别，这可以由视觉和听觉信息通道获取的知识中进行识别和判断;-要理解对话的内容，以便执行人发出的指令，或回答 人提出的问题，这是主要由听觉信息通道获取知识， 但由于语言本身是双模态的，由视觉信息通道获取的 唇动知识对某些语音识别是非常重要的；-蠶解鬍勰籍蟲評于理解对方的对话内容'