人机交互、体感互动技术课件.ppt

PPT模板下载 人机交互 体感互动技术介绍 主讲人 于智伟 市场部 目录 人机交互 人机交互 人机交互 英文名称 Human ComputerInteraction 简称 HCI 是指人与计算机之间使用某种对话语言 以一定的交互方式 为完成确定任务的人与计算机之间的信息交换过程 人机交互视频 发展历程 上世纪70年代 上世纪80年代 至今 1808 发展历程 第一代人机交互技术 基于键盘和字符显示器的交互阶段自1808年意大利人佩莱里尼 图里发明出第一台打字机以来至20世纪60年代为第一代人机交互时期 这一阶段所使用的主要交互工具为键盘及字符显示器 交互的内容主要有字符 文本和命令 交互过程显得呆板和单调 第二代人机交互技术 基于鼠标和图形显示器的交互阶段20世纪70年代 随着图形显示器的开发以及鼠标的发明 标志着人们进入到第二代人机交互时期 这一阶段所使用的主要交互工具为鼠标及图形显示器 交互的内容主要有字符 图形和图像 即使在窗口系统大量使用的今天几乎是必不可少的输入设备 发展历程 第三代人机交互技术 基于多媒体技术的交互阶段20世纪80年代末出现的多媒体技术 使计算机产业出现了前所未有的繁荣 声卡 图像卡等硬件设备的出现使得计算机处理声音及视频图像成为可能 从而使人机交互技术开始向声音 视频过渡 第四代人机交互技术 人机自然交互与通信它是一种以多模信息交互为输入输出 以Agent 代理 为交互通信界面 具有基于知识对话的网络信息交互和检索能力 并具有二维和三维虚拟交互环境可视化显示的人机交互技术 交互技术 人机交互技术 英文名称Human ComputerInteractionTechniques 是指通过计算机输入 输出设备 以有效的方式实现人与计算机对话的技术 交互技术 人机交互技术是未来计算机用户界面设计中的重要内容之一 也许在不远的将来人们可以通过电极将神经信号与电子信号互相联系 达到人脑与电脑互相沟通的技术 可以预见 电脑甚至可以在未来成为一种媒介 到达人脑与人脑意识之间的交流 即通常听说的心灵感应 瘫痪病人用大脑控制机器臂喝啤酒 现在 脑机互联网实现 心灵感应 未来 交互技术 虚拟现实 VR 三维交互技术 多通道交互技术 WIMP界面 非精确交互技术 交互技术 WIMP界面 WIMP Windows IIS Mysql PHP 界面由XeroxPalo 施乐帕洛阿尔托 研究中心于70年代中后期研制出原型机Star 形成了以窗口 Windows 菜单 Menu 图符 Icons 和指示装置 PointingDevices 为基础的图形用户界面 WIMP界面视频 windows2000 WindowsXP Windows7 Windows10 交互技术 虚拟现实 VR 虚拟现实技术 英文名称 VirtualReality 简称 VR 是一种可以创建和体验虚拟世界的计算机仿真系统 它利用计算机生成一种模拟环境是一种多源信息融合的交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中 虚拟现实技术是仿真技术的一个重要方向 是仿真技术与计算机图形学 人机接口技术 多媒体技术 传感技术和网络技术等多种技术的集合 是一门富有挑战性的交叉技术前沿学科和研究领域 交互技术 虚拟现实 VR 虚拟现实技术 VR 主要包括模拟环境 感知 自然技能和传感设备等方面 模拟环境是由计算机生成的 实时动态的三维立体逼真图像 感知是指理想的VR应该具有一切人所具有的感知 除计算机图形技术所生成的视觉感知外 还有听觉 触觉 力觉 运动等感知 甚至还包括嗅觉和味觉等 也称为多感知 虚拟现实技术是仿真技术的一个重要方向 是仿真技术与计算机图形学 人机接口技术 多媒体技术 传感技术和网络技术等多种技术的集合 是一门富有挑战性的交叉技术前沿学科和研究领域 虚拟现实视频 交互技术 非精确交互技术 交互技术由于受交互装置和交互环境的影响 不可能也不必要对用户的输入做精确的测量 而是一种非精确的人机交互 模糊控制 非精确交互技术 交互技术 非精确交互技术 语音 Voice 主要以语音识别为基础 但不强调很高的识别率 而是借助其它通道的约束进行交互 姿势 Gesture 主要利用数据手套 数据服装等装置 对手和身体的运动进行跟踪 完成自然的人机交互 交互技术 非精确交互技术 头部跟踪 HeadTracking 主要利用电磁 超声波等方法 通过对头部的运动进行定位交互 视觉跟踪 Eye Tracking 对眼睛运动过程进行定位的交互方式 非精确交互技术视频 交互技术 三维人机交互技术 三维交互技术指在计算机中创建产品的三维模型 然后通过交互设计软件设定交互程序 使用户可以通过鼠标等交互设备实施人机交互的新兴技术 交互技术 三维人机交互技术 通过控制上述六个参数 用户可以在屏幕上平移三维对象或光标 也可沿三个坐标轴转动三维对象 三维人机交互视频 交互技术 多通道交互技术 为适应目前和未来的计算机系统要求 人机界面应能支持时变媒体 实现三维 非精确及隐含的人机交互 而多通道人机界面是达到这一目的的重要途径 综合采用视线 语音 手势等新的交互通道 设备和交互技术 使用户利用多个通道以自然 并行 协作的方式进行人机对话 通过整合来自多个通道的 精确的和不精确的输入来捕捉用户的交互意图 提高人机交互的自然性和高效性 交互技术 多通道交互技术 多通道用户界面主要关注人机界面中用户向计算机输入信息以及计算机对用户意图的理解 所要达到的目标可归纳为如下方面 1 交互的自然性 使用户尽可能多地利用已有的日常技能与计算机交互 降低认识负荷 2 交互的高效性 使人机通讯信息交换吞吐量更大 形式更丰富 发挥人机彼此不同的认知潜力 3 交互的兼容性 与传统的用户界面特别是广泛流行的WIMP GUI兼容 交互技术 多通道交互技术 语音识别 多媒体 表情识别 虚拟现实 手写识别 眼动跟踪 数字墨水 手势识别 三维输入 涉及的技术 多通道技术视频 人机交互系统 人机交互系统是研究人与计算机之间通过相互理解的交流与通信 在最大程度上为人们完成信息管理 服务和处理等功能 使计算机真正成为人们工作学习的和谐助手的一门技术科学 人机交互系统 基本组成 以第四代自然交互与通信为例 介绍该概念模型的主要组成部分 1 多模态输入 输出 多模态输入 输出是第四代人机交互与通信的主要标志之一 多模态输入包括键盘 鼠标 文字 语音 手势 表情 注视等多种输入方式 而多模态输出包括文字 图形 语音 手势 表情等多种交互信息 2 智能接口代理 智能接口代理是实现人与计算机交互的媒介 3 视觉获取 视觉系统主要用于实时获取外部视觉信息 人机交互系统 基本组成 4 视觉合成 使人机交互能够在一个仿真或虚拟的环境中进行 仿佛现实世界中人与人之间的交互 5 对话系统 目前主要由两种研究趋势 一种以语音为主 另一种从某一特定任务域入手 引入对话管理概念 建立类似于人人对话的人机对话 6 Internet信息服务 扮演信息交流媒介的角色 7 知识处理 自动地提取有组织的 可为人们利用的知识 人机交互系统 基本功能 人机交互界面 人机界面 又称用户界面或使用者界面 是人与计算机之间传递 交换信息的媒介和对话接口 是计算机系统的重要组成部分 是系统和用户之间进行交互和信息交换的媒介 它实现信息的内部形式与人类可以接受形式之间的转换 凡参与人机信息交流的领域都存在着人机界面 人机结合面是人机系统中的中心一环节 主要由安全工程学的分支学科安全人机工程学去研究和提出解决的依据 并过安全工程设备工程学 安全管理工程学以及安全系统工程学去研究具体的解决方法 人机交互界面 输出指的是由机械或设备发出来的通知 如故障 警告 操作说明提示等 输入指的是由人来进行机械或设备的操作 如把手 开关 门 指令 命令 的下达或保养维护等 人机交互界面 人机交互界面 人机交互界面视频 人机交互发展现状 1 汉王笔 手写汉字识别系统2 结合在微软的TabletPC操作系统中数字墨水技术3 广泛应用于Office XP的中文版等办公 应用中的IBM ViaVoice连续中语音识别系统4 输入设备为摄像机 图像采集卡的手势识别技术5 以IPHONE手机为代表的可支持更复杂的姿势识别的多触点式触摸屏技术 以及基于传感器的捕捉用户意图的隐式输入技术 人机交互发展前景 智能化 自然化 自然化的人机交互 用户借助必要的设备以自然的方式与虚拟环境中的对象进行交互作用 相互影响 从而产生亲临真实环境的感觉和体验 虚拟现实是多媒体发展的高级阶段 是人与机器无障碍交互的自然境界 智能化的人机交互 让电脑认识你 懂得你的需求 了解你的言辞 表情和肢体语言 体感互动 体感互动是通过硬件互动设备 体感互动系统软件以及三维数字内容 来感应站在窗口前的观看者 当观看者的动作发生变化时 窗口显示的画面同时发生变化 体感互动视频 体感技术 体感技术 在于人们可以很直接地使用肢体动作 与周边的装置或环境互动 而无需使用任何复杂的控制设备 便可让人们身历其境地与内容做互动 体感技术 惯性检测 主要是以惯性传感器为主 例如用重力传感器 陀螺仪以及磁传感器等来感测使用者肢体动作的物理参数 分别为加速度 角速度以及磁场 再根据此物理参数来求得使用者在空间中的各种动作 感测 捕获 体感技术 光学感测 早在2005年以前 Sony便推出了光学感应套件 EyeToy 主要是通过光学传感器获取人体影像 再将此人体影像的肢体动作与游戏中的内容互动 主要是以2D平面为主 而内容也多属较为简易类型的互动游戏 主要代表厂商为Sony及Microsoft 直到2010年 Microsoft发表了跨世代的全新体感感应套件 Kinect 号称无需使用任何体感手柄 便可达到体感的效果 而比起EyeToy更为进步的是 Kinect同时使用激光及摄像头 RGB 来获取人体影像信息 可捕捉人体3D全身影像 具有比起EyeToy更为进步的深度信息 而且不受任何灯光环境限制 体感技术 联合感测 Nintendo在2006年推出了Wii空间手柄 在2009年推出了Wii手柄的加强版 WiiMotionPlus 主要为在原有的Wii手柄上再插入一个三轴陀螺仪 如此一来便可更精确地侦测人体手腕旋转等动作 强化了在体感方面的体验 主要代表厂商为Nintendo 任天堂 及