基于opencv的动态手势识别

电 子 科 技 大 学 2011 级 本科毕业设计（论文）开题报告表 学 号： 2011080040011 姓名：吴明 学院：机械电子工 程学院 专业：机械设计制造 及其自动化 学位论文题目基于基于 Opencv 的动态手势识别技术的动态手势识别技术 学位论文题目来源： 1.科研 2.生产 3.教学（含实验） 4.其它 （在选项上打勾选择） 学位论文成果形式： 1.硬件 2.硬件+软件 3.软件 4.纯论文 （在选项上打勾选择） 学位 论文 研究 内容 1.1.研究现状及发展态势研究现状及发展态势 目前，手势识别方面的研究已经进行了几十年，并已经取得了一些阶段性的 成果。国内外从事这一领域研究的主要机构有：美国的 MIT 媒体实验室、麻省 理工大学、密歇根州立大学计算机系，以及国内的哈尔滨工业大学等。 “机器学习 ” 是较多用的手势识别方法 。 该方法可找到手势 与高维特征集的关系， 解决特征搜索问题。如 HMM 法。由于 HMM 是一种时间尺度不变量，能较好的提取和识别手势的时空动 态模型，还能在每个时间步上输出一个观测特征，可用密度函数来 表示其概率分布。Jeong 等提出将 HMM 模型和线性状态空间模 型混合的耦合双开关线性模型 ( Coupling Switching Linear Model) ， 能够同时识别双手。它通过平面拟合将数据降到 2D 空间后作 为 HMM 的输入，然后用主轮廓线方法把手的轮廓参数化为形状 向量作为模型的状态向量。Chunglin Huang 等提出将边缘特征作 为空间信息，运动特征作为时间信息来提取图像特征的手势识别系 统， 训练时的空间形状变化用主成分分析法来刻划， 采用 HMM 刻划时间形状变化， 用改进的 Hausdorff 距离来描述特征图像与 PCA 模型间的相似程度; 由输入的图像序列产生识别测量模型， 经 Viterbi 算法处理确定手势。 omer osales 在其博士论文中提出一种随机非线性的监督学 习模型( Specialized Mappings Architecture， SMA )，通过使用“分 而治之”的方法降低问题空间的复杂度 。 SMA 由几个特定的前 向映射函数和一个已知的反馈函数所组成，前向映射函数可以从训 练集数据通过学习自动得到 。输出空间由一些函数对输入空间 ( 例如图像特征空间) 的某些域映射得到，实验表明，SMA 可以比 较好地处理病态问题 。 Wachs 等以 12 个基本手势训练集模型，作为 Fuzzy C Means Clustering 算法的输入。Ghahramani 和 Kervrann 等针对可 形变的模型进行无监督的学习 ， 根据模型形变量的统计信息， 对形变量进行优化估计 。 可见，HMM 被广泛用于手势识别系统中，它的理论基础非常成 熟，但它存在的主要问题是: 由于它只有一个隐离散状态变量，不 易作多过程交叉处理，不能处理有相关性的时间序列。 在手语识别的研究方面， 早在 1991 年，TAKAHASHI 就开始 了手势符号的研究工作， 并能识别 46 个手势符号。他们的手势输 入系统是戴在指尖上的视觉手套，其本身产生的高亮标记， 能够 识别 7 种手 势。在美国研究人员对手势的研究中，Starner 等对 40 个词汇随机组成的句子进行识别，正确率为 99. 2%。哈尔滨工 业大学的吴江琴等在中国手语研究中，使用 18 个传感器的 Cyber Glover 数据手套，结合人工神经网络( Artificial Neural Network， ANN)与 HMM 两种方法， 增强识别方法的分类特性，减少模型 估计参数的个数， 对孤立词的识别率为 90% ，简单语句级识别 率为 92% 。 随后又采用动态高斯混合模型作为系统的识别技术， 可识别出中国手势字典中的 274 个词条， 识别率达到 98.2%。上 海海事大学的研究人员 ， 利用几何特征及距离特征等对手势图像 进行特征提取,对静态手势的识别进行了大量的研究,较好的解决了 手势的旋转、缩放和尺度变换等问题，达到静态手势识别的较高稳 定性。兰州理工大学、北京交通大学、浙江大学、哈尔滨工业大学 及华中师范大学等的研究人员，对静态手势识别的研究，也得到较 好的结果。清华大学祝远新和徐光祐等的图像运动估计方法， 是 基于视觉的动态孤立手势识别技术。图像的运动参数， 是手势的 表观特征模型，以最大和最小优化算法创建手势参考模板， 使用 基于模板的分类技术识别手势 。 之后又将手势的运动信息及皮肤 颜色信息融入， 提出动态时间规整算法， 识别连续动态的 12 种 3D 手势等，辨识率达 97%。剑桥大学的 Stenger 等利用截去两头 的圆锥体、圆柱体及椭圆体构造的三维人手模型， 以树形滤波器 和分层的贝叶斯滤波器对三维手势进行跟踪和识别， 识 别率达到 97% 。 对于 3 D 动态手势的识别，相关研究还比较少，清华大学任海 兵等将动态时空规整算法用于手势识别 。 马赓宇等对特定的浏览 三维物体的手势集，采用 HMM 模型建模各类手势序列， 并引入 过渡模型方法，对连续输入的手势序列自动进行切分和识别， 达 到实时在线识别的目的。 山东大学孔晓明等58 通过 HMM 模型， 设计出动态手势的训练和识别算法， 其识别结果基本能实 现控制远程机器人。李文生等定义了以指尖运动轨迹的动态手势模 型，使用 BP 神经网络进行动态手势的训练和识别，取得了较好的 效果。黄季冬等使用 Kinect 传感器， 改进了动态时间 规整算法( Dynamic Time Warping，DTW)，用于三维场景下的动态手势识别， 取得了较好的效果 。 包加桐等62 提出基于加速鲁棒特征跟 踪 ( Speeded Up obust Feature SUF) 的动态手势识别算法。李 文生等提出基于 Hermite 神经网络的动态手势学 习和识别算法， 都取得了不错的效果。 参考文献参考文献 1 路凯，李小坚.手势识别研究概述J.西安文理学院学报: 自然科学版， 2006， 9(2) : 93 96. 2 冯志全.运动人手的三维跟踪方法研究D 山东: 山东大学 计算机科学与技术学院，2006. 3 ALI E，GEOGREB，MIRCEAN，etalVision-based hand pose estimation:a reviewJ.Computer Vision and Image Understanding， 2007(8) : 52 73 4 ROMER RSpecialized mappings architecture with applications to vision-based estimation of articulatedJ International Journal of Computer Vision， 2006， 66(1 ) : 83 101 2 2选题依据及意义选题依据及意义 人机交互技术已成为当今重大科学技术之一。在国家 973 计 划和中长期科技发展纲要中均支持“和谐人机交互理论和智能信息 处理基础研究” ，重点和优先发 展“虚拟现实技术” 和 “智能感 知技术” 。 “人机交互”( Human Computer Interaction，HCI) 的核心课题是基于视觉的接口问题 ( Vision Based Interface， VBI)，其中计算机跟踪与识别自然人手是一 项重要内容。以“手势 ”作输入图像信息，完成人与计算机的智 能交互功能， 成为感知用户界面的重要组成部分 。键盘和鼠标作 为机械式输入设备，在某些方面来说， 很难进行 3 D 和高度自由 的输入，这种交互方式对人来说并不方便，需要一个学习和适应的 过程。随着研究工作的深入，越来越多的人开始关注人脸识别、人 眼跟踪、人体跟踪与识别及手势跟踪与识别等符合人类习惯的人机 交互技术。 基于视觉的手势识别技术，涉及图像处理、模式识别和计算机 视觉等研究内容，是当前的热点研究课题， 国内外学者在“基于 手语手势的识别”领域，已开展诸多研究工作。 3 3课题研究内容课题研究内容 手势识别系统包含两个主要技术环节，如图 1 所示。一是人 手的检测和定位， 即从输入图像中找到人手存在的位置， 并将人 手从背景中分割出来， 二是对找到和分割出的人手图像进行特征 提取与识别. 图像或 人手图像手势信息 图像序列 图 1 手势识别系统 目前有 2 种手势输入设备: 数据手套; 摄像头或摄像机 。 4.4. 拟解决的关键问题和最终目标，以及拟采取的主要理拟解决的关键问题和最终目标，以及拟采取的主要理 论、技术路线和实施方案等论、技术路线和实施方案等 （1）手势输入设备：拟采用摄像头，该设备使用方便，价格便 宜，且现在流行的移动设备上都配备有较高像素的摄像头。 （2）手势的检测与定位：拟采用背景差分结合改进颜色直方图 特征的运动检测方法，来实现动态手势的实时检测。在背景更新的 基础上，对实时提取到的运动手势图像进行一些特殊的处理，如灰 度化、二值化、滤波以及图像形态学处理等，可以使最终得到的运 动手势检测呈现出较为理想的效果。 （3）实时手势跟踪：拟采用基于改进颜色直方图信息的粒子滤 波跟踪算法来实现运动手势的实时跟踪。将颜色直方图信息作为观 测模型来求解动态模型的运动目标中心，此处对于颜色直方图信息 做手势检测阶段同样的改进处理。 （4）手势识别：拟采用于基于隐马尔可夫模型算法隐马尔可夫 模型( Hidden Markov Model， HMM)是一种统计分析模型，能非常 细致的描述手势信号的时空变化，适用于动态手势的识别。 （5）应用系统的实现：在微软的 VS2010 平台上，使用 C+语言 进行软件开发，在图像处理相关方面使用的是计算机视觉库 (