移动平台上的模式识别.pdf

腾讯研究院 人机交互中心 陈波 新一代移动平台下的模式识别应用新一代移动平台下的模式识别应用 主要内容 移动互联网发展移动互联网发展现状现状 1 改变输入体验改变输入体验 2 pr改变生活改变生活 3 基于基于pr的娱乐应用的娱乐应用 4 增强现实增强现实 5 手机产生 移 动 互 联 网 大脑变大 眼变长 手变长 移动无线互联网带来移动无线互联网带来信息沟通的信息沟通的革命革命 手机俨然成为了我们生活的亲密伙伴 移动互联网的演变 4 移动互联网终端 手机、上网本、平板电脑等 移动互联网： 包括2g/3g-4g 用户规模 中国已经拥有6亿以上手机用户 应用层的创新百花齐放应用层的创新百花齐放 移动互联网发展特点和pr的机会 日益增大的网络带宽 可以用云服务方式提供 不断增强的终端能力 让复杂的pr运算成为可能 不断增加的移动应用 pr可以改善移动应用体验 低成本无中心给应用层提供了无限的创新和发展空间 主要内容 改变输入体验改变输入体验 2 移动互联网发展现状移动互联网发展现状 1 pr改变生活改变生活 3 基于基于pr的娱乐应用的娱乐应用 4 增强现实增强现实 5 移动互联网下的模式识别应用点 如何改善输入体验？ 如何用pr技术改善移动终端体验？ 手写识别 手势应用 语音输入 输入法联机手写单字识别 平板电脑上的手写输入 可连续手写的输入法 连续手写多个汉字，一气呵成 手写中 局部调整 * 手写中功能按键全部消隐，确保输入空间足够大 * 自动切分手写轨迹，点击轨迹可调整单字辨识结果 平板电脑上的手写输入 可连续手写的输入法 连续手写英文单词，提高纯英文手写的效率 叠加手写改善手机屏幕小的缺陷 英文单词手写 中文叠加手写 英文全键盘上通过滑动轨迹，输入英文单词 qqqq输入法创新应用：滑动输入法创新应用：滑动英文输入英文输入 qqqq输入法创新应用：滑动英文输入输入法创新应用：滑动英文输入 视频视频 滑动输入识别流程滑动输入识别流程 手势识别方便快捷操控手机 全新的手机手势识别引擎，可灵活扩展增加修改，支持多出点触摸 手写识别应用手写识别应用手势搜索手势搜索 手势快速查找手机联系人和应用程序，并对结果进行手势过滤 视频 手写识别应用手写识别应用手势搜索手势搜索 视频视频 改变输入体验 qq手机输入法 改变输入体验 语音搜索 语音输入语音输入 结合用户词库，优化用户声学模型，越用越准确 ，语音输入法截图 定制用户的语言模型 学习用户的声学特征 识别不同的应用情景 更准确 更聪明 主要内容 pr改变生活改变生活 3 移动互联网发展现状移动互联网发展现状 1 改变输入体验改变输入体验 2 娱乐应用娱乐应用 4 增强现实增强现实 5 pr改变生活 让你的手机摄像头成为一台成熟的扫描仪 让你的声音和脸蛋可以替代密码 qq慧眼带你 世界 视频 qq慧眼让你的手机变成成熟的图像扫描仪 qq慧眼 1.0 文字识别即时拍照翻译 人脸认证 密码锁、开机锁 shazam 听到的好歌曲不容错过 用人脸识别做眼镜试镜 基于pr的其他生活应用 语音导航、语音操作 听歌搜歌、哼唱搜歌 语音登陆、认证 商务助手 名片识别 拍照处理软件 主要内容 基于基于pr的娱乐应用的娱乐应用 移动互联网发展现状移动互联网发展现状 1 改变输入体验改变输入体验 2 pr改变生活改变生活 4 增强现实增强现实 5 3 pr的娱乐应用 pr的娱乐应用 基于pr的其他娱乐应用 手势打地鼠（基于二维cameral的应用） 人脸avator 趣味视频聊天 音乐类游戏 基于图像跟踪和识别的其他游戏 主要内容 增强现实增强现实 5 移动互联网发展现状移动互联网发展现状 1 改变输入体验改变输入体验 2 基于基于pr的娱乐应用的娱乐应用 4 pr改变生活改变生活 3 什么是增强现实（ar） 增强现实（augemnted reality）是 将现实世界和计算机生成的信息融 合在一起的技术，这些信息可以是 图像、文字或者三维模型等 增强现实系统框架 增强现实的三个特性 虚实结合 实时交互 显示设备位姿确定 移动增强现实系统应实时跟踪手机在真实场景 中的位置及姿态，并根据这些信息计算出虚拟 物体在摄像机中的坐标，实现虚拟物体画面与 真实场景画面精准匹配 增强现实应用场景 博物馆导游 地图 购物指南 工业设计 炫彩游戏 新一代的广告模式 移动增强现实研究现状 移动增强现实（mar）研究主要是两类方法： 基于硬件传感器的方法 常见的有磁场、声学、光学、惯性 等四类传感器 跟踪技术。 基于视觉的方法 1）基于marker的方法 2）基于自然特征的方法 移动增强现实基于传感器的应用 layer 、wiketude 采用这种方式的增 强现实应用，手机 是最为合适的实现 平台。因为实现简 单，目前智能手机 上gps、摄像头和 指南针的搭配已经 可以初步实现增强 现实将镜头对 准餐馆，关于这个 餐馆的评价会浮现 在画面之上 移动增强现实基于传感器的应用 必备设备： 摄像头、显示屏、gps、电子指南针 原理: 通过gps取得纬度、经度和高度信息，通过电子指南 针取得面向的方向，确定搜索的范围； 指定搜索内容，发送搜索范围的数据； 通过无线互联，将从网络获取的信息叠加在显示屏上。 基于视觉的增强现实 通过在视频图像对检测到的特征进行分析，得到空 间点和图像点的对应关系，计算相机的位置和姿态 两类： 基于标记的增强现实 基于自然特征的增强现实（难点） 基于人工标记的ar 基于自然特征的ar 自然特征而不是人工marker 例如sift、harris 传统ar是在平面物体上叠加虚拟信息 未来ar的研究方向应为三维场景下虚拟信息的 叠加。 移动ar应用举例 aurasma. 48 移动 终端 增强 现实 钱景 乐趣 移动装置增强现实( ar )=乐趣与钱景 创意