人机交互、体感互动技术

1、PPT模板下载： 行业PPT模板： 节日PPT模板： PPT素材下载： PPT背景图片： PPT图表下载： 优秀PPT下载： PPT教程： Word教程： Excel教程： 资料下载： PPT课件下载： 范文下载： 试卷下载： 教案下载： 人机交互、体感互动技术介绍 主讲人：于智伟 市场部 目 录 人机交互人机交互1 体感互动体感互动2 人机交互 6、发展前景、发展前景1、发展历程、发展历程 5、发展现状、发展现状 4、交互界面、交互界面 2、交互技术、交互技术 3、交互系统、交互系统 人机 交互 人机交互人机交互 人机交互：英文名称：Human-Computer Interaction，简称

2、：HCI。 是指人与计算机之间使用某种对话语言，以一定的交互方式，为完成确定任 务的人与计算机之间的信息交换过程。(人机交互视频） 涉及学科涉及学科 信息技术计算机科学社会学 智能科学神经科学语言学 生理学心理学图形设计 工业设计 发展历程发展历程 键盘、字符显示器键盘、字符显示器 第一代第一代 键盘、鼠标、图形显示器键盘、鼠标、图形显示器 第二代第二代 多媒体技术多媒体技术 第三代第三代 多模信息、三维虚拟多模信息、三维虚拟 第四代第四代 ？上世纪上世纪7070年代年代上世纪上世纪8080年代年代至今至今 1808 发展历程发展历程 第一代人机交互技术：基于键盘和字符显示器的交互阶段第一代人

3、机交互技术：基于键盘和字符显示器的交互阶段 自1808年意大利人佩莱里尼图里发明出第一台打字 机以来至20世纪60年代为第一代人机交互时期。这一阶段 所使用的主要交互工具为键盘及字符显示器，交互的内容 主要有字符、文本和命令，交互过程显得呆板和单调。 第二代人机交互技术：基于鼠标和图形显示器的交互阶段基于鼠标和图形显示器的交互阶段 20世纪70年代，随着图形显示器的开发以及鼠标的 发明，标志着人们进入到第二代人机交互时期。这一阶段 所使用的主要交互工具为鼠标及图形显示器，交互的内容 主要有字符、图形和图像。即使在窗口系统大量使用的今 天几乎是必不可少的输入设备。 发展历程发展历程 第三代人机交

4、互技术：基于多媒体技术的交互阶段第三代人机交互技术：基于多媒体技术的交互阶段 20世纪80年代末出现的多媒体技术，使计算机产业出 现了前所未有的繁荣，声卡、图像卡等硬件设备的出现使 得计算机处理声音及视频图像成为可能，从而使人机交互 技术开始向声音、视频过渡。 第四代人机交互技术：人机自然交互与通信第四代人机交互技术：人机自然交互与通信 它是一种以多模信息交互为输入输出，以Agent（代 理）为交互通信界面，具有基于知识对话的网络信息交互 和检索能力，并具有二维和三维虚拟交互环境可视化显示 的人机交互技术。 交互技术交互技术 人机交互技术，英文名称Human-Computer Interact

5、ion Techniques。 是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。 1、机器通过输 出或显示设备给人提 供大量有关信息及提 示请示等。 人机交互技术人机交互技术 2、人通过输入 设备给机器输入有关 信息回答问题或机器 给出的提示请示等。 交互技术交互技术 人机交互技术是未来计算机用户界面设计中的重要内容之一，也许在不 远的将来人们可以通过电极将神经信号与电子信号互相联系，达到人脑与电 脑互相沟通的技术。可以预见，电脑甚至可以在未来成为一种媒介，到达人 脑与人脑意识之间的交流，即通常听说的心灵感应。 瘫痪病人用大脑控制机器臂喝啤酒 现在 脑机互联网实现“心灵感应

6、” 未来 交互技术交互技术 人机交互技术人机交互技术 组成组成 虚拟现实虚拟现实 （VRVR） 三维交互三维交互 技术技术 多通道交互多通道交互 技术技术 WIMP界面界面非精确交互非精确交互 技术技术 交互技术交互技术WIMP界面界面 WIMP（Windows+IIS+Mysql+PHP）界面由Xerox Palo（施乐帕洛阿尔托）研 究中心于70年代中后期研制出原型机Star，形成了以窗口（Windows）、菜单 （Menu）、图符（Icons）和指示装置（Pointing Devices）为基础的图形用户 界面。（WIMP界面视频） windows 2000 Windows XP Win

7、dows 7 Windows 10 交互技术交互技术虚拟现实（虚拟现实（VR） 虚拟现实技术（ 英文名称：Virtual Reality，简称，VR）是一种可以创建和 体验虚拟世界的计算机仿真系统。它利用 计算机生成一种模拟环境是一种多源信息 融合的交互式的三维动态视景和实体行为 的系统仿真使用户沉浸到该环境中。 虚拟现实技术是仿真技术的一个重 要方向，是仿真技术与计算机图形学、人 机接口技术、多媒体技术、传感技术和网 络技术等多种技术的集合。是一门富有挑 战性的交叉技术前沿学科和研究领域。 交互技术交互技术虚拟现实（虚拟现实（VR） 虚拟现实技术(VR)主要包括模拟环境、 感知、自然技能和传

8、感设备等方面。模拟 环境是由计算机生成的、实时动态的三维 立体逼真图像。感知是指理想的VR应该具 有一切人所具有的感知。除计算机图形技 术所生成的视觉感知外，还有听觉、触觉、 力觉、运动等感知，甚至还包括嗅觉和味 觉等，也称为多感知。 虚拟现实技术是仿真技术的一个重 要方向，是仿真技术与计算机图形学、人 机接口技术、多媒体技术、传感技术和网 络技术等多种技术的集合。是一门富有挑 战性的交叉技术前沿学科和研究领域。 （虚拟现实视频） 交互技术交互技术非精确交互技术非精确交互技术 交互技术由于受交互装置和交互环境的影响，不可能也不必要对用户 的输入做精确的测量，而是一种非精确的人机交互（模糊控制）

9、。 非精确交互技术非精确交互技术 视觉跟踪视觉跟踪头部跟踪头部跟踪 语音语音姿势姿势 交互技术交互技术非精确交互技术非精确交互技术 语音（语音（Voice) Voice) ：主要以语音 识别为基础，但不强调很高的 识别率，而是借助其它通道的 约束进行交互。 姿势（姿势（Gesture) Gesture) ：主要利用 数据手套、数据服装等装置， 对手和身体的运动进行跟踪， 完成自然的人机交互。 交互技术交互技术非精确交互技术非精确交互技术 头部跟踪（头部跟踪（HeadTrackingHeadTracking）：）： 主要利用电磁、超声波等方法， 通过对头部的运动进行定位交 互。 视觉跟踪（视觉跟

10、踪（Eye-TrackingEye-Tracking）：）： 对眼睛运动过程进行定位的交 互方式。 （非精确交互技术视频） 交互技术交互技术三维人机交互技术三维人机交互技术 三维交互技术三维交互技术指在计算机中创建产品的三维模型，然后通过交互设计软 件设定交互程序，使用户可以通过鼠标等交互设备实施人机交互的新兴技术。 深度深度 三维空间三维空间 技术技术 转动角转动角 高度高度俯仰角俯仰角 宽度宽度偏转角偏转角 交互技术交互技术三维人机交互技术三维人机交互技术 通过控制上述六个参数，用户可 以在屏幕上平移三维对象或光标，也 可沿三个坐标轴转动三维对象。 用户用户 改变改变 比较比较 操作操作观

11、察观察 （三维人机交互视频） 交互技术交互技术多通道交互技术多通道交互技术 为适应目前和未来的计算机 系统要求，人机界面应能支持时 变媒体，实现三维、非精确及隐 含的人机交互，而多通道人机界 面是达到这一目的的重要途径。 综合采用视线、语音、手势等新的 交互通道、设备和交互技术，使用户利用 多个通道以自然、并行、协作的方式进行 人机对话，通过整合来自多个通道的、精 确的和不精确的输入来捕捉用户的交互意 图，提高人机交互的自然性和高效性。 交互技术交互技术多通道交互技术多通道交互技术 多通道用户界面主要关注人机界面中用户向计算机输入信息以及计算 机对用户意图的理解，所要达到的目标可归纳为如下方面

12、： 1 1、交互的自然性：、交互的自然性：使用户尽可能多地利用已有的日常技能与计算机交互， 降低认识负荷。 2 2、交互的高效性：、交互的高效性：使人机通讯信息交换吞吐量更大、形式更丰富，发挥人 机彼此不同的认知潜力。 3 3、交互的兼容性：、交互的兼容性：与传统的用户界面特别是广泛流行的WIMP/GUI兼容。 交互技术交互技术多通道交互技术多通道交互技术 语音识别多媒体 表情识别虚拟现实 手写识别眼动跟踪 数字墨水手势识别 三维输入 涉及的技术涉及的技术 （多通道技术视频） 人机交互系统人机交互系统 人机交互系统是研究人与计算机之间通过相互理解的交流与通信，在 最大程度上为人们完成信息管理，

13、服务和处理等功能，使计算机真正成为人 们工作学习的和谐助手的一门技术科学。 数学数学 信息科学信息科学 智能科学智能科学 神经科学神经科学 生理科学生理科学 心理科学心理科学 涉及学科涉及学科 人机交互系统人机交互系统基本组成基本组成 以第四代自然交互与通信为例，介绍该概念模型的主要组成部分。 （1） 多模态输入/输出：多模态输入/输出是第四代人机交互与通信的主要 标志之一。多模态输入包括键盘、鼠标、文字、语音、手势、表情、注视等 多种输入方式；而多模态输出包括文字、图形、语音、手势、表情等多种交 互信息。 （2） 智能接口代理：智能接口代理是实现人与计算机交互的媒介。 （3） 视觉获取：视觉

14、系统主要用于实时获取外部视觉信息。 人机交互系统人机交互系统基本组成基本组成 （4） 视觉合成：使人机交互能够在一个仿真或虚拟的环境中进行，仿佛现 实世界中人与人之间的交互。 （5） 对话系统：目前主要由两种研究趋势，一种以语音为主，另一种从某 一特定任务域入手，引入对话管理概念，建立类似于人人对话的人机对话。 （6） Internet信息服务：扮演信息交流媒介的角色。 （7） 知识处理：自动地提取有组织的，可为人们利用的知识。 人机交互系统人机交互系统基本功能基本功能 基本基本 功能功能 多模感知功能 知识处理功能 智能代理交互功能 可视化显示功能 人机交互界面人机交互界面 人机界面，又称用

15、户界面或使用者界面，是人与计算机之间传递、交换 信息的媒介和对话接口，是计算机系统的重要组成部分。是系统和用户之间 进行交互和信息交换的媒介，它实现信息的内部形式与人类可以接受形式之 间的转换。凡参与人机信息交流的领域都存在着人机界面。 人机结合面是人机系统中的中心一环节，主要由安全工程学的分支学科安全安全 人机工程学人机工程学去研究和提出解决的依据，并过安全工程设备工程学安全工程设备工程学，安全管理安全管理 工程学工程学以及安全系统工程学安全系统工程学去研究具体的解决方法。 人机交互界面人机交互界面 人机交互界面人机交互界面 主要应用于工业和主要应用于工业和 商业商业 输入输入 输出输出 输

16、出指的是 由机械或设备发 出来的通知，如 故障、警告、操 作说明提示等。 输入指的是 由人来进行机械 或设备的操作， 如把手、开关、 门、指令（命令） 的下达或保养维 护等。 人机交互界面人机交互界面 人机交互与人机界面的关系人机交互与人机界面的关系 人机交互人机交互界面 人机交互是指人与机器的交互， 本质上是人与计算机的交互。或者从 更广泛的角度理解：人机交互是指人 与含有计算机的机器的交互。具体来 说，人机交互用户与含有计算机机器 之间的双向通信，以一定的符号和动 作来实现，如击键，移动鼠标，显示 屏幕上的符号/图形等。这个过程包括 几个子过程：识别交互对象-理解交互 对象-把握对象情态-

17、信息适应与反馈等； 人机界面是指用户与含有计算机 的机器系统之间的通信媒体或手段， 是人机双向信息交互的支持软件和硬 件。这里界面定义为通信的媒体或手 段，它的物化体现是有关的支持人机 界面用液晶屏、软件和硬件，如带有 鼠标的图形显示终端等。 人机交互界面人机交互界面 人机交互与人机界面的关系人机交互与人机界面的关系 人机交互人机交互界面 交互是人与机-环境作用关系/状况 的一种描述 界面是人与机-环境发生交互关系 的具体表达形式。 交互是实现信息传达的情境刻画。 界面是实现交互的手段。 交互和界面，都只是解决人机关系的一种手段，不是最终目的，其最终目 的是解决和满足人的需求。 （人机交互界面

18、视频） 人机交互发展现状人机交互发展现状 1、触摸式显示屏实现 的“桌面”计算机， 2、能够随意折叠的柔 性显示屏制造的电子 书， 3、从电影院搬进客厅 指日可待的3D显示器， 4、使用红绿蓝光激光 二极管的视网膜成像 显示器； 人机交互人机交互 现有产品现有产品 多通多通 道道 多媒多媒 体体 1、汉王笔”手写汉字识别 系统 2、结合在微软的Tablet PC 操作系统中数字墨水技术 3、广泛应用于Office/XP的 中文版等办公、应用 中的IBM/Via Voice连续 中语音识别系统 4、输入设备为摄像机、 图像采集卡的手势识别技术 5、以IPHONE手机为代表 的可支持更复杂的姿势识

19、别 的多触点式触摸屏技术，以 及基于传感器的捕捉用户意 图的隐式输入技术。 人机交互发展前景人机交互发展前景 智能化自然化 自然化的人机交互 用户借助必要的设备以自 然的方式与虚拟环境中的对象 进行交互作用、相互影响，从 而产生亲临真实环境的感觉和 体验。虚拟现实是多媒体发展 的高级阶段，是人与机器无障 碍交互的自然境界。 智能化的人机交互 让电脑认识你，懂得你的 需求，了解你的言辞，表情和 肢体语言。 体感互动体感互动 体感互动是通过硬件互动设备硬件互动设备、体感互动系统软件体感互动系统软件以及三维数字内容三维数字内容， 来感应站在窗口前的观看者，当观看者的动作发生变化时，窗口显示的画面 同

20、时发生变化。 体感互动视频体感互动视频 体感技术体感技术 体感技术，在于人们可以很直接地使用肢体动作，与周边的装置或环境 互动，而无需使用任何复杂的控制设备，便可让人们身历其境地与内容做互 动。 惯性惯性 感测感测 体感技术体感技术 光学光学 感测感测 惯性光学惯性光学 联合检测联合检测 体感技术体感技术惯性检测惯性检测 主要是以惯性传感器为主，例如用重力传感器，陀螺仪以及磁传感器等 来感测使用者肢体动作的物理参数，分别为加速度、角速度以及磁场，再根 据此物理参数来求得使用者在空间中的各种动作。 重力传感器重力传感器 陀螺仪陀螺仪 磁传感器磁传感器 感测 加速度加速度 角速度角速度 磁场磁场

21、捕获 手势手势 肢体肢体 表情表情 体感技术体感技术光学感测光学感测 早在 2005年以前，Sony 便推出 了 光学感应套件EyeToy，主要是通过光 学传感器获取人体影像，再将此人体影像 的肢体动作与游戏中的内容互动，主要是 以2D平面为主，而内容也多属较为简易类 型的互动游戏。 主要代表厂商为 Sony 及Microsoft。 直到 2010年，Microsoft发表了跨世代 的全新体感感应套件Kinect，号称无需 使用任何体感手柄，便可达到体感的效果， 而比起 EyeToy更为进步的是，Kinect 同时 使用激光及摄像头（RGB）来获取人体影像 信息，可捕捉人体3D全身影像，具有比起 EyeToy更为进步的深度信息，而且不受任何 灯光环境限制。 体感技术体感技术联合感测联合感测 Nin