人机交互技术简介PPT课件

.,1,第二讲人机交互技术及其应用,.,2,人机交互?.,.,3,多点触控设备,Iphone、Ipad、Note、,.,4,键盘与鼠标Windows界面,图形用户界面,.,5,游戏设备,多通道交互界面,微软XboxControllerKinect,LeapMotion,.,6,桌面PC,平板PC,PocketPC,PhonePC,WristPC,无线连接,无处不在的交互,.,7,终端用户始终处于联网状态支持不同的设备（如可佩戴式设备、智能家庭设备等）在一个给定的区域内支持无数台设备支持更高的端到端使用率超快的数据传输速度电池寿命的大幅提升,5G网络,.,8,人机交互的定义?,.,9,定义：人机交互及交互界面,人机交互、人机互动(HCI或HMI)，是一门研究系统与用户之间的互动关系的学科。系统可以是各种各样的机器，也可以是计算机化的系统和软件。人机交互界面通常是指用户可见的部分。用户通过人机交户界面与系统交流，并进行操作。小如收音机的播放按键，大至飞机上的仪表板或是发电厂的控制室。,.,10,人机交互概念的其它表述,HCI是研究人、计算机以及它们之间相互影响的技术。人机界面是人与计算机之间传递、交换信息的媒介和对话接口，是计算机系统的重要组成部分。人机交互的功能主要靠可以输入输出的外部设备和相应的软件来完成。人机交互部分的主要作用是控制有关设备的运行和理解并执行通过人机交互设备传来的各种命令和要求。,.,11,人机交互（HumanComputerInteraction）是关于设计、评价和实现供人们使用的交互式计算机系统且围绕这些方面进行研究的科学（ACMSIGCHI1992，第6页）。简单地说，是研究人与计算机之间交互的技术。人机交互界面（UserInterface）：计算机与人之间交流的接口。,ACM：人机交互及交互界面,.,12,人机交互的发展历史,人机交互方式的发展输入设备输出设备人机界面的发展,人机交互的多个阶段,与交互式计算机的发展相伴,.,13,人机交互方式-输入设备,键盘输入:传统方式鼠标输入:图形用户界面的重要输入方式手写输入:手写汉字识别、“平板电脑”语音输入触摸屏输入数字化仪输入:适用于CAD/CAM系统扫描输入:条形码、扫描仪、光电阅读器三维输入：数据手套、三维鼠标、力矩球等视觉输入：摄像设备,返回,.,14,人机交互方式-输出设备,显示终端输出：重要工具声响输出：声波打印输出：标准输出设备之一三维输出：产生三维输出的设备有投影显示器、头盔显示器、立体眼镜等3D打印,返回,.,15,人机界面的发展,由指示灯和机械开关组成的操纵界面由终端和键盘组成的字符界面(80年代)由多种输入设备和光栅图形显示设备构成的图形用户界面(GUI)(90年代)网络用户界面：浏览器（90年代）多通道自然人机交互界面（90年代起）,返回,.,16,人机交互阶段,手工交互阶段字符用户交互阶段图形用户界面阶段(WIMP)后WIMP阶段多通道、多媒体交互阶段人机自然交互阶段人机情感交互阶段,.,17,手工交互阶段,1945年,Harvard使用的MARKI,55英尺长,8英尺高,5吨重.,.,18,字符用户交互阶段,键盘的出现将计算机带入了字符用户交互阶段。此阶段的界面以语言命令方式实现。语言经历了机器语言-汇编语言-高级语言的发展过程。这个过程也可以看作早期人机交互的一个发展过程。,.,19,图形用户界面阶段,图形显示器的诞生以及光笔的出现造就了Sketchpad,1962,MIT林肯实验室，I.E.Sutherland发表博士论文“Sketchpaddrawingsystem:人机对话图形通信系统”,.,20,图形用户界面阶段,鼠标的诞生推进了人机交互方式的变革,1963年，美国斯坦福研究所的恩格尔巴特D.Engelbart，他预言鼠标器比其他输入设备都好10年后鼠标器经不断改进，成为影响当代计算机使用的最重要成果。获1997年ACM图灵奖。,.,21,图形用户界面阶段,上世纪70年代施乐(Xerox)研究中心的AlanKay提出了Smalltalk面向对象程序设计等思想，并发明了重叠式多窗口系统,.,22,图形用户界面阶段,输入、输出设备以及界面技术的发展，催生了使用图形用户界面的个人计算机(PC)！,Mac是全球首款使用图形用户界面驱动的个人计算机；是今天所有PC界面的基础,PC的出现使人机交互界面的需求面临多样化的选择，并向多通道、多媒体、智能化的方向发展。,.,23,多通道、多媒体交互阶段,多通道交互语音交互手势、表情、体势交互基于视线追踪的人机交互其他传感器类的交互多通道交互方式的两种集成交互方式:触控交互体感交互,.,24,VoicePhoto语音交互举例,返回,.,25,手势识别,基于数据手套的识别手的位置、方向和手指弯曲度对手势分类基于视觉的识别采用摄像机采集的图像序列手势识别主要技术模板匹配、统计分析、机器学习、深度学习等,.,26,面部表情识别,基于特征的人脸检测直接利用人脸信息，如肤色、人脸几何结构轮廓规则器官分布规则肤色、纹理规则对称性规则运动规则基于图像的人脸检测模板匹配法特征脸方法神经网络法,返回,.,27,眼动跟踪,VR中，头部运动时生成的虚拟场景将随之改变。利用图像处理技术，使用锁定眼睛的特殊摄像机。,返回,.,28,多通道交互-手势语音集成,手势语音集成项目的研究集中在对多通道输入信息的联合解释。例子:日程安排用户操纵情景是：用户口述：“在星期一安排一个会议”，同时用笔在日历上划一条线指示会议的开始时间和持续时间。,返回,.,29,人机交互传感器技术,传感器是一种物理装置或生物器官，能够探测、感受外界的信号、物理条件（如光、热、湿度）或化学组成（如烟雾），并将探知的信息传递给其他装置或器官。基于传感器的交互设备头部跟踪设备手部跟踪设备躯体、姿态跟踪设备声音交互设备,.,30,触控交互,多点触控技术始于1982年由多伦多大学发明的感应食指指压的多点触控屏幕。1984年，贝尔实验室研制出一种能够以多于一只手控制改变画面的触屏。1999年出现多点触控产品包括iGesture板和多点触控键盘。在2005年被苹果电脑收购。2007年，“苹果”及“微软”分别发表了应用多点触控技术的产品及计划，令该技术开始进入主流的应用。,返回,.,31,体感交互,Wii：2006，日本任天堂公司推出的家用游戏主机特色：标准控制器WiiRemote.指向定位；如同光线枪或鼠标可以控制萤幕上的光标；动作感应。可侦测三维空间当中的移动及旋转。结合两者可以达成所谓的“体感操作”。WiiRemote在游戏软件当中可以化为球棒、指挥棒、鼓棒、钓鱼杆、方向盘、剑、枪、手术刀、钳子等工具；使用者可以挥动、甩动、砍劈、突刺、回旋、射击等各种方式来使用。,.,32,体感交互,Kinect：2010.11美国微软公司推出XBOX360游戏机体感周边外设，2014.10推出2.0版。,实际上是一种3D体感摄影机；利用即时动态捕捉、影像辨识、阵列麦克风输入、语音辨识、社群互动等功能让玩家摆脱传统游戏手柄的束缚，通过自己的肢体控制游戏(youarethecontroller)，并且实现与互联网玩家互动，分享图片、影音信息。,.,33,体感交互,LeapMotion,返回,Leapmotion视频,.,34,?设备的易用性VS.高性能,TricyclesVersusBicycles,.,35,实物交互,例1：热气球,例2：拼卡学汉语,眼动控制车,.,36,人机交互技术的发展趋势,在未来的计算机系统中，将更加强调“以人为本”、“自然、和谐”的交互方式，以实现人机高效合作集成化网络化智能化标准化,.,37,集成化,人机交互将呈现出多样化、多通道交互的特点桌面和非桌面界面，可见和不可见界面，二维与三维输入，直接与间接操纵，输入与输出、语音、手势、表情、眼动、唇动、头动、肢体姿势、触觉、嗅觉、味觉以及键盘、鼠标等交互手段将集成在一起,.,38,网络化,无线互联网、移动通信网的快速发展，对人机交互技术提出了更高的要求。新一代的人机交互技术需要考虑在不同设备、不同网络、不同平台之间的无缝过渡和扩展，支持人们通过跨地域的网络（有线与无线、电信网与互联网等）。在世界上任何地方用多种简单的自然方式进行人机交互，而且包括支持多个用户之间以协作的方式进行交互。,.,39,智能化,目前，用户使用键盘和鼠标等设备进行的交互输入都是精确的输入，但人们的动作或思想等往往并不很精确，人类语言本身也具有高度模糊性，人们在生活中常常习惯于使用大量的非精确的信息交流。在人机交互中，使计算机更好地自动捕捉人的姿态、手势、语音和上下文等信息，了解人的意图，并做出合适的反馈或动作，提高交互活动的自然性和高效性，使人机之间的交互像人人交互一样自然、方便。,.,40,标准化,在人机交互领域，ISO已正式发布了许多的国际标准，以指导产品设计、测试和可用性评估等。但人机交互标准的设定是一项长期而艰巨的任务，并随着社会需求的变化而不断变化。,.,41,人机交互的研究内容,人机交互的研究内容十分广泛，涵盖了建模、设计、评估等理论和方法以及在计算机支持的协同工作、信息搜索与可视化、超媒体与万维网、普适计算与增强现实等方面的交互设计技术，主要包括：,人机交互界面表示模型与设计方法（ModelandMethodology）一个交互界面的好坏，直接影响到软件开发的成败。友好人机交互界面的开发离不开好的交互模型与设计方法软件系统开发方法：MDDMDA,.,42,人机交互的研究内容（续）,多通道交互技术（Multi-Modal）在多通道交互中，用户可以使用语音、手势、眼神、表情等自然的交互方式与计算机系统进行通信。多通道交互主要研究多通道交互界面的表示模型、多通道交互界面的评估方法以及多通道信息的融合等。智能用户界面（IntelligentUserInterface，IUI）智能用户界面的最终目标是使人机交互和人人交互一样自然、方便。上下文感知、眼动跟踪、手势识别、三维输入、语音识别、表情识别、手写识别、自然语言理解等都是认知与智能用户界面需要解决的重要问题。,.,43,人机交互的研究内容（续）,计算机支持的协同工作“计算机支持的协同工作已成为一个多学科交叉的新兴的研究领域CSCW是要研究在计算机技术支持的环境下(CS)，特别是在计算机网络环境下，一个群体如何协同工作完成一项共同的任务(CW)。它的目标是要设计出能支持各种各样的协同工作的工具、环境与应用系统,.,44,人机交互的研究内容（续）,信息搜索与可视化随着数据量和数据多样性的增加，对信息集合的搜索和可视化日益重要。信息搜索包括：数据库查询、文本文档的短语搜索、照片搜索、地图搜索、图案或图标的搜索、声音搜索、视频搜索和动画搜索等。信息可视化是一种计算方法，它将符号形式转化为几何形式，使研究人员能够观察所做的模拟与计算。可视化提供了一种查看原来不可见事物的方法