自然人机交互技术

自然人机交互技术陶建华中国科学院自动化研究所模式识别国家重点实验室HCI简化模型控制信息显示信息计算机的诞生回溯数字计算机的概念在18世纪提出在20世纪40年代技术上称为现实早期模拟计算机1943年1月:MarkI，自动顺序控制计算机在美国研制成功，被用来为美国海军计算弹道火力表1943年12月:AlanTuring参与设计制造的最早的可编程计算机Colossus在英国推出，目的是为了破译德国的密码，每秒能翻译大约5000个字符ENIAC，1946开始研制于1943年，完成于1946年2月15日ElectronicNumericalIntegratorAndComputer电子数字积分计算机——第一台真正意义上的数字电子计算机占地面积170平方米，30个操作台，约相当于10间普通房间的大小，重达30吨，耗电量150千瓦，造价48万美元。它使用18000个电子管，70000个电阻，10000个电容，1500个继电器，6000多个开关每秒执行5000次加法或400次乘法，是继电器计算机的1000倍、手工计算的20万倍负责人是JohnW.Mauchly和J.PresperEckertENIAC用途：计算弹道和氢弹的研制。I.Sutherland&SketchPad1963SketchPad“编程”系统

信息论先驱Shannon的学生1963PhDthesisatMIT1988TuringAward可以通过使用手持物体（如光笔）直接在显示屏幕上创建图形图像。可视的图样随即被存入计算机内存，它们可以被重新调用，并同其他数据一样可以进行后期的处理。CAD先驱，后期致力于设计头盔式3D显示器（1967年开始）IvanSutherlandSketchpad是第一个可以在显示屏幕上直接构造图形图像的系统，不用再通过键盘向计算机输入代码和公式更具革命性的是，它考虑到了在显示屏幕上作某些改动后，存储在计算机中的信息可以被改变和更新。Sketchpad开创了计算机辅助设计的一个新领域，即我们所熟知的CADDouglasEngelbart道格拉斯·恩格尔巴特——“人机交互”大师因发明鼠标而闻名，鼠标最初的名字：显示系统的X-Y位置指示器（1963~1965）AlanKay最早的图形用户界面(GUI)电脑Alto在施乐PARC，与同事构建了Alto,

成为Macintosh和Windows的先驱2003年度图灵奖得主(forOOP)发明了“ObjectOriented”这个术语，第一个完全面向对象的动态计算机程序设计语言Smalltalk的发明者AlanKay个人计算之父1968年，提出Dynabook设想“Notebooksizedcomputerloadedwithmultimediaandcanstoreeverything”将是一款如同书籍般，既为可携式且具互动功能的多媒体个人式电脑，它的主要规格如下：

1.

大小如A4纸张之易携带；

2.

显示器的解析度必须优于报纸文字；

3.

必须具有声音输入的功能且易操作；

4.

必须能够网路化和作无线通讯

具有GUI的PCXeroxPARC-mid1970’sAltoBravoWYSIWYG文本编辑.BravoXMicrosoftWord的祖先.Laurel电子邮件.Neptune磁盘文件管理.Press文件打印.Sil画图程序.XeroxStar-1981第一台为商务应用设计的商用PC具有了桌面电脑的主要特征Pointing,WYSIWYG,highdegreeofconsistencyandsimplicity天才的概念，商业失败$15kcostClosedarchitectureLackingkeyfunctionality1981IBMPC1981年8月12日，IBM正式发布了历史上第一台PC，从此人类就进入了个人电脑时代！IBMPC改变了我们的生活和工作方式IBMPC之父：埃斯特利奇，13人小组AppleLisa-1982更加个人化，而不全是

办公工具LisaWrite:字处理LisaCalc:表格LisaGraph:图形LisaList:规划管理工具LisaProject:项目计划LisaDraw:绘图程序LisaTerminal:现代通信软件失败AppleMacintosh-1984并非先驱，但非常聪明的拷贝Nottrailblazer,smartcopier优点Aggressivepricing-$2500界面友好支持第三方应用高质量图像和激光打印高质量的应用系统，MacWrite、MacDraw新的应用：Pagemaker，Word，Excel新的HCI范式：WIMPWindows,Icons,Menus,Pointers并行操作Candoseveralthingssimultaneously图形用户界面实例XeroxAlto,Star;earlyApples17输入输出方式输入信息输出信息18用户界面人机自然交互技术HCI简史——人适应计算机的历史！1960年代一70年代：键盘，字符界面1980年代一90年代：鼠标，图形界面目前仍然以鼠标，图形界面为主，书写、听觉等为辅未来——计算机适应人的未来！到2015年左右，我们会如何使用计算机？下一代自然人机界面会是什么？需要大家的想象力！每一次交互技术的变革，都使计算机变得更容易操作，也使计算机被更广泛使用；每一次交互技术的变革，由人机交互方式的变化，促使人与人交流方式的变化，产生深远的社会影响；每一次交互技术的简化和变革，催生了计算机产业的发展，带来了巨大的经济效益；HCI是什么？用户：我又错了？用户必须不断地适应计算机，而不是相反！首先人们想到的是“人机对话”22语音交互2324252627口语翻译服务器

MSC移动交换中心User2无线接入网Santa,mayIgetaBarbiedollasChristmasgift?圣诞老人，我可以要一个芭比娃娃做圣诞礼物吗？NodeBNodeB网管RNC无线网络控制器3G核心网SGSN服务GPRS支持节点User1口语翻译新的方式：多模态用户界面模态是人类交流的通道不仅仅是感官例如：语音（听觉通道）和唇读（视觉通道）多模态融合多通道同时使用共同协作完成输入/输出功能多模态融合的自然人机对话多模态融合的自然人机对话多模态融合的自然人机对话系统结构30脸部跟踪Classifier1Classifier2FusionGlobalLocal31表情跟踪与识别33姿态及脸部表情姿态识别3435多模态融合的自然人机对话多模态融合的自然人机对话针对自然人机对话模型，建立新型多模态融合方法在连续情感状态空间建模方法基础上，实现自然情感的准确识别和高表现力的情感生成建立面向移动终端的新型自然多通道交互界面在超大状态空间和长历史跨度基础上，建立有效的用户意图理解模型和高性能自然口语对话模型某个侧面、一种可能拟人的类比人和人之间如何交互？看、听、读、说、写、触、嗅…自然人机交互的目标:改变目前机器的准聋哑盲状态,使其具有视、听、触、嗅等感觉、知觉能力具有学习、记忆乃至情感等认知能力具备说话、绘画等表达能力本体感觉、自我意识比尔盖茨曾预言，电脑毫无表情的时代即将结束，21世纪将是情感电脑大行其道的时代。让人机之间的交互能够像人与人交流一样自然！MarkWeiser提出普适计算是21世纪的计算模式MarkWeiser于1988年在XeroxPARC的

计算机科学实验室首次提出了这个概念无处不在的计算描述了具有丰富计算