手控人机交互技术综述

-精选财经经济类资料- -最新财经经济资料-感谢阅读- 1 手控人机交互技术综述 （国家知识产权局专利局专利审 查协作湖北中心 湖北省 武汉市 4300470） 中国论文网 /8/view-12882286.htm 摘 要：人手作为仅次于语言的 一种自然交流方式，通过手势控制人机 交互的应用取得了较大发展，本文从手 势控制人机交互方向切入，首先根据全 球的申请量变化分析本领域的专利申请 趋势，进而对其技术分支进行分析。 1 概述 人机交互技术通过输入、输出设 备，以有效的方式实现交互主体与交互 客体的对话。传统的交互方式要求用户 通过键盘、鼠标等进行信息传递，这导 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 2 致传统方式不够高效自然。近年来，针 对传统交互的弱点，逐步发展了一些新 的交互方式，如：人脸识别、语音识别、 手势识别等，它们以人为中心，以多媒 体、多通道为交互模式实现对人机交互 技术的升级。 作为一种不需要中间媒介非常人 性化的人机交互方式，手势是一种表达 用户的意图的理想且自然的方式。通过 手势表达信息能够降低人们的认知负担， 越来越多的应用系统以手势识别控制作 为人机交互的接口，下面对手势识别控 制的人机交互发展作一个综述。 2 国内外研究发展分析 手控人机交互研究根据采集设备 的不同可以分为基于视觉技术的手控人 机交互技术和基于传感器技术的手控人 机交互技术。前者是通过摄像设备采集 手势信息来完成交互任务；后者则是要 求用户通过佩戴传感器来获取数据信息 以完成交互工作。 从图 1 给出了全球专利按年度分 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 3 布的分布情况，可以看出 2000-2010 年 两者的申请量较小，在此阶段人机交互 还处于传统借助设备的阶段，以用户为 中心的人机交互手段开始兴起。从全球 申请量逐年增长比较平稳。在 2011 年 之后进入迅猛增长期，具有优良性能的 电子产品面世为手控人机交互研究带来 机遇，总体来看，基于视觉的手控人机 交互相较于基于传感器的手控人机交互 更受青睐，原因是后者需要用户佩戴感 应装置导致用户的体验不够自由，人们 更倾向于自然手的交互方式。但是基于 视觉的手控人机交互受环境影响较大， 算法较复杂，实时性相对较差，而基于 传感器的手控人机交互却可弥补这些不 足，所以后者的研究仍然得以继续。 基于视觉的 基于视觉的手控人机交互方法是 应用摄像机拍摄图像或视频，从中检测 和分割获取目标，然后提取特征识别。 早期基于视觉的交互方法主要是 利用一个图像采集设备获得手势的平面 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 4 模型，与预先建立的手势数据进行匹配 识别，由此可通过手势控制计算机进行 指令切换的操作，即基于二维成像的手 控人机交互。以索尼公司申请号为 JP2003193738 的申请专利为例，提出了 一种个人计算机的用户控制系统。在这 个系统中，利用摄像机拍摄用户手部或 手指在屏幕前的运动，然后该系统根据 拍摄到的用户手指或者手部的运动识别 出这个手势所代表的真实含义，并将其 转换成计算机能够识别的指令予以执行， 实现非接触式指令控制，利用手势进行 计算机的远程控制所带来了极大便利性。 二维成像方法采集简单、计算速 度较快，但是由于光照、遮挡等问题对 其所限制，随着三维成像技术的推动， 产生了基于三维成像的交互技术，该方 法利用立体成像设备获得手势的三维空 间信息。三维成像根据其成像原理又可 分为基于多角成像的、基于深度相机的。 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 5 （1）基于多角成像是使用至少 两台摄像机同时拍摄图像，通过比对这 些在不同位置上的摄像机在同一时刻获 得图像视差，根据几何原理计算深度信 息。以松下电器申请号为 JPH11174948 的申请专利为例，提出了一种手势识别 装置。在该装置中，使用至少两台摄像 机同时拍摄图像，通过比对这些摄像机 获得图像视差，计算用户的三维空间信 息，进而检测用户手部的三维移动，提 取特征执行分类识别多个种类的手语手 势。 （2）基于深度相机是利用激光 通过光栅发生折射位移后检测图样变化 计算得到深度信息或者利用光子反射回 来的飞行时间计算物体距离，代表产品 为 Kinect 一代、 TOF 相机。以中兴通 讯申请号为 CN201210264265 的申请专 利为例，提出了一种三维手势识别方法。 实时获取深度图像，使用阈值分割出目 标位置，计算深度图像轮廓的深度特征， 形成特征向量，基于概率算法抽取手部 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 6 的运动轨迹，与预定义的模板进行匹配， 识别出动作类型，适用于一般计算性能 的终端。 基于传感器的 基于传感器的手控人机交互方法 是用户通过佩戴可感知运动状态的设备 采集跟踪手部相关信息进行分析识别。 按照传感器的类型大致可以分为加速度 传感器、表面肌电信号传感器以及数字 传感器数据手套三类。 （1）加速度传感器可以采集人 手的运动信息，并通过设备传输到信息 解析模块实现手势识别。以浙江大学申 请号为 CN200910154018 的申请专利为 例，提出了一种基于加速度的手势识别 的方法。利用三维加速度传感器检测手 持该传感器的用户整个手势变化过程中 的三维加速度数据序列，即前后方向 x 轴、左右方向 y 轴、上下方向 z 轴的三 个正交方向的加速度数据列，得到整体 特征描述，训练测试得到手势数据的识 别，以实现对家电设备的控制。 -精选财经经济类资料- -最新财经经济资料-感谢阅读- 7 （2）表面肌电信号数字传感器 是根据人体不同肌肉群收缩所产生的微 弱电生理信号，可以反映出肌肉的活动 状态、强度等信息，进而识别手势。以 中国科技大学申请号为 CN200910252098 的申请专利为例，提 出了一种盲人用移动电话交互装置。利 用放置在盲人手前臂皮肤表面作为信号 采集模块，用于检测相关肌肉活动而产 生电信号，基于电信号传输给信号处理 模块以获取手势动作输入集，手机系统 可根据输入集理解其表达的控制意 D，继而执行相应的指令。 （3）数据手套是利用传感器传 输手部的参数信息，利用这些信息内容 进行手势的识别。以 NAVIGATION 科 技公司申请号为 US20020045804 的申请 专利为例，提出了一种基于数据手套实 现数据收集的方法。操作人员能够通过 在手上佩戴数据手套并做出手势动作来 实现数据的输入，传感器收集动作数据 经由数据手套传输到收集系统中，进而 -