国家级大学生创新创业训练计划

国家级大学生创新创业训练计划 创新训练项目申请书 项目名称： 课堂交互手势识别系统 项目负责人： 张慧杰 指导老师： 董维科 所在院系： 技术物理学院 研究起止时间： 2012 年 6 月 至 2013 年 6 月 西安电子科技大学教务处 二一二年三月制 填 表 说 明 一、填写申请书前，请先查阅教务处网站关于国家级大学生创 新创业训练项目管理办法及申请通知。 二、申请书的各项内容，要实事求是，表达要明确、严谨。第 一次出现的缩写词，需注出全称。 三、 项目申请书要按顺序逐项填写，空缺项要填“无” 。要求 一律用 A4 纸双面打印，于左侧装订成册。可网上下载、自行复印 或加页，但格式、内容、大小均须与原件一致。电子版填表字体用 小四号宋体，单倍行距，申请书一式五份交到各学院办公室。 四、 项目申请书中栏目“一至九”由学生填写，栏目“十至十二” 由教师填写，栏目“十三、十四”由项目负责人所在学院填写。 项目名称 课堂交互手势识别系统 项目来源 导师课题 自主选题 竞赛项目 其它来源 申请经费 12000 项目完成时间 2013.6 姓名 学号 性别 身份证号 码 专业班级 手机 E-mail 张慧 杰 05101 203 男 140226199 10627703X 电子科学与技 术xidianzhang 申请人(团队) 常文 静 05101 136 女 412702199 105036027 电子科学与技 术565848673 李佳 05101 186 女 610115199 20320528 X 电子科学与技 术1058713154 一、项目组成员情况介绍（包括自身具备的知识条件，有何特长、兴趣，参加哪些 科技事件创新活动等） 张慧杰：技术物理学院电子科学与技术专业大二学生，对数字逻辑电路设计有浓厚 的兴趣。系统学习过 51单片机，能熟练使用 Keil、Autium Designer 等软件，英 语四级优秀，能够阅读英文科技文献、软件和芯片手册，初步了解 Verilog语言和 FPGA。曾参加过星火杯并获得院二、三等奖，获得过二次二等奖学金。获得过 “大学生心理健康工作积极分子”、“雷锋标兵”等荣誉称号。大一参加技术物理 智能光电实验室。善于深入思考问题、做事认真负责，具有一定的团队协调合作的 经验和能力。 李佳：技术物理学院电子科学与技术专业大二学生，具有一定的单片机与 Autium Designer 基础，熟悉 C语言，曾参加过星火杯，与队友合作“手势识别爵士鼓” 并获得校二等奖，获得过二次三等奖学金。动手能力强,团队合作能力强，善于与 人沟通。英语较好，四级通过，能够阅读英文科技文献、软件和芯片手册。大一参 加技术物理智能光电实验室。 常文静：技术物理学院电子科学与技术专业大二学生，熟练掌握 C#语言、熟练 Visual studio 2008 开发环境、熟悉 C语言、了解图像处理算法，曾做过基于数 字图像处理技术的非接触式工件测量，手机车牌识别系统，学习能力强，曾参加过 星火杯获得校一等奖，获得过两次三等奖学金，获得过“暑期社会实践优秀个人” “雷锋标兵”等荣誉称号。英语较好，四级通过，能够阅读英文科技文献、软件和 芯片手册。大一参加技术物理智能光电实验室。 二、项目研究背景（可以是已有的基础，与本项目有关的研究积累和已取得的成 绩，已具备的条件，尚缺少的条件及方法等） 我们项目提出的背景有以下三点： 1、 手势识别作为当下的热点研究方向，随着计算机技术的发展，人机交互的中心 开始从计算机向人的方向转移。基于计算机视觉的手势识别方法能够提供更加 友好的人机交互方式，是手势识别技术发展的趋势和目标。手势识别研究可以 应用于课堂辅助教学、电子书阅读、远程控制计算机上软件以及游戏娱乐等多 个方面，具有广泛的应用前景。同时，通过对计算机手势识别的研究，可以在 一定程度上促进心理学、计算机图形学、医学以及机器人工程等诸多学科的发 展。 2、 目前基于数据手套的识别系统穿戴复杂，价格昂贵，大量推广比较困难；基于 表面肌电和加速度的手势识别穿戴仍然复杂而且不美观；基于软件的识别系统 速度比较慢，不能实时反映出当前的手势。 3、 图像处理的特点是数据量大和实时性，而且图像处理的算法一般比较复杂，在 一个系统时钟周期内不可能完成实时处理的算法，所以常常采用流水线设计， 这种结构正是 FPGA 的强项，而且 FPGA 的并行处理速度快，FPGA 可以有很 快的采样速率，从而保证了实时性。除此之外，FPGA 在功耗、成本、小型化 和开放时间也有一定的优势。 三、国内外的研究现状及研究意义 研究现状： （1） 基于数据手套的识别系统 （2） 基于表面肌电和加速度的手势识别 （3） 基于图像的手势识别交互系统（软件识别） 研究意义： 人与计算机的交互活动越来越成为人们日常生活的一个重要组成部分.特别是 最近几年，随着计算机技术的迅猛发展，研究符合人际交流习惯的新颖人机交互技 术变得异常活跃，基于图像的手势识别研究正是顺应了这一潮流。采用基于图像处 理的手势识别系统可以解决基于数据手套系统的穿戴复杂、价格昂贵、大量推广比 较困难的缺点，而且系统识别速度快，可以保证实时性，而且该方法的最大优点是 简单易行，对设备要求低。 四、项目研究的目标及主要内容 研究目标: 用多个摄像机在复杂背景下实时识别多种手势，并对计算机发出正确的指令， 从而控制电脑上 ppt 等的播放，实现课堂上灵活的交流、互动。并且促成一些新的 应用，增强现有的人机交互模式。 主要内容: 手势建模 图 1 手势模型分类 手势模型 基于 3D 手（臂）模型的手势模型 基于表现的手势模型 纹 理 模 型 网 格 模 型 骨 架 模 型 几 何 模 型 基于灰度 图像本身 的表现模 型 基于 2D 变形模板 的表现模 型 基于图像 运动的表 现模型 基于图 像属性 的表现 模型 手势模型对于手势识别系统至关重要，特别是对确定识别范围起关键性作用,模型 的选取根本上取决于具体应用。对于某个给定的应用，一个非常简单并且粗糙的模 型可能就是充分的。然而，如果要实现自然的人机交互，那么必须建立一个精细有 效的手势模型，使得识别系统能够对用户所做的绝大多数手势作出正确的反应（识 别或拒识） 。从目前的文献来看，几乎所有的手势建模方法都可以归结为两大类： 基于表观的手势建模和基于 3D 模型的手势建模。基于表观的手势模型是建立在手 （臂）图像的表观之上，它通过分析手势在图像(序列)里的表观特征去给手势建模。 基于 3D 模型的手势建模方法考虑了手势产生的中间媒体（手和臂） ，一般遵循两 步建模过程：首先给手和臂的运动以及姿态建模，然后从运动和姿态模型参数估计 手势模型参数。 手势分析 特征检测 手势分析阶段的任务就是估计选定的手势模型的参数。分析阶段一般由特征 检测和参数估计两个串行任务组成。在特征检测过程中，首先必须定位到做手势的 主体（人手） 。根据所用的线索不同，可以把定位技术分为基于颜色定位、基于运 动定位、以及多模式定位等三种。绝大多数颜色定位技术依赖于直方图匹配，利用 皮肤的训练数据建立查找表的方法 。尽管不同手势模型的参数各不相同，但是用 于计算模型参数的图像特征基元通常是非常相似的。常用的图像特征基元包括灰度 图像 、二值影像等。 模型参数 3D 手模型通常涉及到两组参数：角度参数（关节角度等）和直线参数（指骨 长度和手掌尺度等） 。从检测出的特征去估计这些运动学参数通常包括两个环节： 初始参数估计和参数随时间的更新。 手势识别的实现 手势识别就是把模型参数空间里的轨迹（或点）分类到该空间里某个子集的过 程。静态手势对应着模型参数空间里一个点，而动态手势则对应着模型参数空间里 的一条轨迹，因此它们的识别方法有所不同。静态手势识别算法包括基于经典参数 聚类技术的识别和基于非线性聚类技术的识别。 五、项目创新特色概述 1.由以前的基于软件变为基于硬件 FPGA芯片； 2.只需做手势，手上不需带任何器械； 3.将手势识别技术应用在远程自动控制领域。 4.将手势识别与软件图像处理技术相结合，通过手势远程放大、缩小图片或者图像 的更换，使讲演者或操作者在不与计算机直接接触的情况下，方便的进行人机交互。 六、项目实施方案及实施计划 项目方案 主要分为如下三部分的工作： 1)用户手势图像的采集 对摄像头采集到的基于 RGB 分量的图像，在通过人手作为参照物进行 自动白 用户手势 手形特征提取 取 手势轨迹提取 手势识别摄像机 图像分割 手势建模 平衡后，将其变换到 HSV 颜色空问，并对肤色区域进行聚类。再进行二值图像标 号后，估计出可能的手势区域。通过单通道差分运动分析得到运动手势部分的中心 区域，并通过卡尔曼滤波估计出实际手势区域中心，结合先前得到的可能手势区域， 在复杂的环境中提取出有效的手势区域。 2)手势图像的分割 先获取背景图像，然后将采集的手势图像同背景图像进行差影法处理，然后进 行彩色半阈值分割，再进行灰度阈值分割，最后进行平滑化处理。 实验证明该方法可以在比较复杂背景条件下较好的对手势图像进行分割。此外， 对于复杂背景下基于肤色模型进行了实验，在基于肤色聚类特征，提出利用 RGB 空间进行粗分割，用改进的 HSV 空间进行细分割的手势分割新方法。实验结果表 明，这种方法算法简单，易于实现，分割效果较好，并可用于实时图像处理。 3)手势识别 图 2 连续动态手势识别系统构成图 手势识别就是把模型参数空间里的轨迹（或点）分类到该空间里某个子集的过 程.静态手势对应着模型参数空间里一个点，而动态手势则对应着模型参数空间里 一个或多 个摄像机 手势 分割 手势 分析 手势 识别 基于手势 识别的应 用 用户 手势建模 语法、语义及 其他约束 视频 信号 手势 的开 始和 结束 模型参数 手势 模型 手势 手势模型 的一条轨迹，因此它们的识别方法有所不同.静态手势识别算法包括基于经典参数 聚类技术的识别和基于非线性聚类技术的识别.我们借鉴成功应用在语音识别中的 隐马尔可夫模型的方法，对动态手势轨迹进行识别，并且，对包含手形的动态手势 的识别进行了初步研究，提出了一种关键帧序列识别和轨迹识别相结合的方法。实 验结果表明，这种方法具有一定的实用价值。 实施计划： 前期（2012 年 6 月2012 年 9 月） a、查阅有关论文，整理和收集国内外手势识别技术研究现状的资料。 b、学习并熟悉 FPGA 的调试开发。 c、与相应公司联系，获得他们的技术支持。 d、讨论项目各个模块的功能设置及所选用的控制器件，撰写项目的详细实施计划。 中期（2012 年 10 月2013 年 2 月） a、依据前期准备，与已取得联系的公司的技术支持画出原理框图，进行技术评估。 再画出原理图，进而画出 PCB，然后投板，并购买相关器件，进行电路的前期 准备工作。 b、对相关模块进行调试，实现图像的采集。 c、研究图像算法。 d、首先实现静态手势和单摄像头的识别并对手势识别正确率进行测试。 e、实现动态手势和多摄像头的识别并对手势识别正确率进行大量的测试并不断的 进行代码优化。 f、通过测试结果不断改进图像算法，使动态手势识别更加精确。 后期（2013 年 3 月2013 年 6 月） a、通过测试，进行软硬件的改进，以迎合市场的需求，最终实现远程手势控制。 b、完成展示模型的制作。 c、撰写相关文档和论文，进行专利申请。 七、成员分工情况 1、张慧杰负责前期资料的阅读和收集，以及利用 FPGA 完成视频采集,完成中期原 理图和 PCB 的制作，及最后的整体调试。 2、常文静、李佳负责图像处理和相关算法的实现，并进行代码的优化。 3、由张慧杰、李佳、常文静共同负责申请材料的撰写以及答辩 PPT 的制作。 八、预期成果及成果形式 预期成果： 手在摄像头前做一个手势，摄摄头采集到图像后，将摄取的图像传给 FPGA，FPGA 通过处理，将分析结果对应的命令操作符发给计算机，从而控制计 算机中的软件，实现手势远程放大、缩小图片或者图像页面的更换等的操作，使讲 演者或操作者在不与计算机直接接触的情况下，方便的进行课堂人机交互。 成果形式： 1、 完整硬件系统功能展示 2、撰写项目报告（上交项目审查组） ，争取发表相关论文（递交到有关部门） ，产 品技术转让并推向市场，申请相关专利。 九、资助经费使用计划（支出项目、计算根据及理由） 资金安排 单价（元） 数量 预算金额 （元） 说明 高清摄像头 800 2 1600 图像及视频采集 DE2 FPGA实验平 台 + 视频采集系统 6000 1 6000 学习并调试出视 频采集的效果 PCB制版费用 500 2 1000 自行设计电路需 投板 实验耗材费 800 常用电路元件 其他资料费 1000 资料的相关检索， 复印，购买书本 资料的费用 论文发表费 1000 在杂志期刊发表 相关论文 其他费用 600 交通费、电话费 合计 12000 申请人签名： 年 月 日 姓名 董维科 性别 男 出生年 月 1973.10 职称/职 务 副教授 研究领域 光电图