手势识别开题报告.ppt

1、基于手势识别的移动机器人控制研究,硕士论文开题报告,开题报告主要内容,人-机器人交互方式：随着智能机器人技术的发展，自然的、符合人类习惯的人机交互方式逐渐成为人们研究的热点。,选题背景与研究现状,传统方式 鼠标 键盘 手柄 数据手套,新型方式 视觉 语音 力觉 触觉,这些在灵活性和实现精确控制方面存在限制,符合人类交流习惯,缺乏灵活性,方便、直接、易于使用,选题背景与研究现状,国外： 英国Essex大学通过识别人脸，比较当前人脸形状和模板人脸形状来估计人脸方向，从而控制智能轮椅。 美国CMU机器人实验室实现了一种能够按人体手势及手臂动作做出简单动作的清扫机器人。 2007年，Md.Al-Ami

2、n Bhuiyan等人研究的通过人脸及人脸角度控制机器人AIBO的动作或者姿势。 2010年印度学者已经实现应用手势远程控制机器人的运动状态为前进、后退、左转、右转和停止五个状态。,国内： 天津大学研究了汉语语音识别系统并用来控制机器人。 上海大学研究识别手势系统并将其成功地用于远程机器人控制系统。 天津大学实现了依据操作者的体态动作图像信息控制机器人的状态。 清华大学研究了一个手势识别系统，选择其中识别率较高的十种手势类别作为人机互动信号应用于电脑游戏中代替手柄。,选题背景与研究现状,人-机器人交互方式实例,选题背景与研究现状,语音方式： 适应性差（语音学上的差异、生理上的差异及发音习惯的差

3、异）、强噪声干扰环境下语音技术面临较大困难，很难将控制信号识别出来。,视觉方式：手势、体态、人脸姿态 手势适应性强，最为直观、方便、自然,研究难点： 手势本身具有多样性、多义性及时间和空间上的差异性； 人手是复杂变形体； 背景复杂时，很容易将非手势区域误认为手势区域，如何去除非手部分。,研究内容,本课题以轮式移动机器人为实验平台，通过单个摄像头对手势进行识别，进而完成对移动机器人的运动状态控制。主要的研究内容可分为如下三个部分：,（1）建立本课题手势模板库分为训练集和测试集两类，在VC+环境下调用OpenCV机器视觉库实现对模板库中不同背景下图片手势分割。 （2）编写可视化软件界面，并根据手势

4、轮廓、形状或者纹理等提取手势特征，应用模式识别分类方法实现对手势的分类及识别，并达到实时性，识别率达到95%以上。 （3）应用移动机器人平台，选取手势模板库中识别率最高的七种手势作为移动机器人的运动状态控制信号，分别控制移动机器人的前进、后退、直线加速、直线减速、左转、右转和停止七种状态。在不同实验环境（如光照、背景）下，对系统进行整体调试。,研究方案,系统构成图,研究方案手势模板库,手势分割:把图像中的人手区域（前景）与其他区域（背景区域）划分开。基于肤色信息检测方法主要步骤是颜色空间变换和肤色建模。,研究方案手势分割方法,肤色建模方法,阈值化 （肤色范围）,参数化 （高斯密度函数估计）,所

5、需存储空间小,需要考察所选颜色空间中肤色分布的形态,学习速度快,非参数化 （统计直方图）,皮肤纹理检测,基于统计模型方法 （局部二值模式，LBP）,基于信号处理方法 （傅里叶变换或者小波变换）,简单易行,选择合适的颜色空间,需要大量统计样本 需要存储空间大,是一种表述灰度图像某像素点与周围像素点大小关系的二进制描述,研究方案特征提取方法,手势特征:能刻画手势的本质特征，要求对目标的位移、旋转及尺度缩放具有不变性。,全局几何特征,变换域几何特征,紧密度,区域形状偏心率,区域形状实心率,矩函数,小波描绘子,傅里叶描述子,对几何矩进行非线性组合，得到一组对于图像平移、旋转、尺度缩放都不变矩,物体边界

6、点集合，进行傅立叶变换,形状特征,面积,研究方案分类方法,手势分类:通过特定的方法将提取的被识别对象的特征信息归为某一类别，从而实现手势识别。,分类方法,模板匹配方法,基于统计理论方法,欧式距离分类方法,最大最小距离 （ Hausdorff距离）,神经网络方法,支持向量机（SVM）,Boosting以及AdaBoost算法,随着维数的增大，计算量会增大，准确度也会下降,学习时间过长，甚至可能达不到学习的目的；体系结构通用性差；推广性差,可能出现过分配,避免过学习、维数灾难、局部极小等问题,研究方案控制部分,UP-Voyager IIA移动机器人,硬件通讯层完成软件与硬件之间的数据交互工作,将硬

7、件指令解析换算成控制算法中数据变量；调用控制函数生成对应的硬件控制指令,UP-Voyager系统数据流,第一步：获取手势图像，建立手势模板库，并分为训练集及测试集两个大类,实验方案设计,第二步：利用肤色信息和纹理特征完成手势分割,第三步：利用不变矩和傅里叶描述子方法得到特征向量,第四步：利用训练集应用支持向量机的方法进行训练，然后测试手势识别效果,第五步：应用轮式移动机器人平台进行实验，验证手势识别的实时控制性能,在VC+环境中编写程序，能够实时对采集的视频图像完成手势分割及特征提取； 利用手势模板库应用支持向量机方法完成对手势特征的学习，实现对视频实时手势识别，达到“速度快，精度高”； 在不

8、同实际环境下，能够利用定义的手势控制移动机器人的七种运动状态； 发表一至二篇EI学术论文。,预期成果,(1) 本人对VC+运行环境和C+语言都有一定的基础； (2) 本人曾学习过相关图像处理知识，写过相关图像处理程序； (3) 实验室在图像处理方面的研究已取得相当多的积累与成绩；,研究基础,简单背景阈值分割手势,利用傅里叶变换得到的相关特征参数： 0.034551; 0.070123; 0.038968; 0.042986; 0.003900; 0.017425; 0.010688; 0.007627; 0.010348; 0.007532;,研究基础,实验室已经具备条件： （1）计算机 （2）轮式移动机器人 （3）机器人控制器 （4）数字CCD摄像机 （5）开发软件,进度安排,2011年5月2011年6月 查阅资料，完成开题报告。 2011年7月2011年8月 准备资料，学习相关知识，并建立相关手势库 2011年9月2012年3月 通过编程完成对标准手势库的训练，初步实现手