种简单手势识别.ppt

简单手势识别,一、背景,随着计算机的发展，人机交互技术由传统的鼠标键盘时代发展到了以语音输入、动作识别等技术为代表的自然交互时代n1。特别是视觉计算技术的发展，使计算机获得了初步视觉感知的能力，能“看懂”用户的动作。手势识别作为一种直观自然的输入方式，把人们从传统接触性的输入装置中解放出来，可以以一种更自然的方式与计算机交互，使计算机界面变得更加易引。 手势主要分为静态手势和动态手势两种，动态手势可以看作是连续的静态手势序列。动态手势具有丰富和直观的表达能力，与静态手势结合在一起，能创造出更丰富的语义。利用动态手势识别构建新型的交互界面，是新一代的人机交互界面对输入方式自然性的要求，可以弥补传统交互方式的不足。基于视觉和手势识别研究正处于蓬勃发展的阶段，仍存着的许多值得研究的问题。研究基于视觉的动态手势识别对于构建更加好友的人机交互界面很有意义。,二、手势识别概述,手势是姿势的一个子集，姿势这个概念没有精确的定义。一般认为，手势概念经过人的手转化为的手势动作，观察者看到的是手势动作的图像。手势的产生过程如图2-1所示。 图2-1 手势的产生过程 手势识别的过程则找一个从图像V到概念动作G的变换而，如图2-2所示。,2.1、手势识别的概念,2.2、手势识别流程,随着计算机的发展，人机交互技术由传统的鼠标键盘时代发展到了以语音输入、动作识别等技术为代表的自然交互时代n1。特别是视觉计算技术的发展，使计算机获得了初步视觉感知的能力，能“看懂”用户的动作。手势识别作为一种直观自然的输入方式，把人们从传统接触性的输入装置中解放出来，可以以一种更自然的方式与计算机交互，使计算机界面变得更加容易。 手势主要分为静态手势和动态手势两种，动态手势可以看作是连续的静态手势序列。动态手势具有丰富和直观的表达能力，与静态手势结合在一起，能创造出更丰富的语义。利用动态手势识别构建新型的交互界面，是新一代的人机交互界面对输入方式自然性的要求，可以弥补传统交互方式的不足。基于视觉和手势识别研究正处于蓬勃发展的阶段，仍存着的许多值得研究的问题。研究基于视觉的动态手势识别对于构建更加好友的人机交互界面很有意义。,2.3、手势建模,在手势识别框架中，手势模型是一个最基本的部分。根据不同的应用背景，手势识别采用的模型会有不同，而对于不同的手势模型，采用的手势检测与跟踪算法、特征提取、识别技术也会有差别。手势建模主要分为基于表观的手势模型与基于三维的手势模型。,2.4、手势特征提取,手势特征的提取是与手势模型密切相关的，不同的手势模型会有不同有手势特征。例如基于模型的手势模型有手的每个关节的状态特征，基于表观模型的手势特征是轮廓特征、位置特征等。静态手势识别和动态于势识别的特征也不同，静态手势的特征只是描述的手的静态信息，例如轮廓、面积等。动态手势特征是连续的静态特征序列。,三、手势识别,常用的静态手势特征有轮廓、位置、面积、分布等。 本文主要利用对手势面积大小的识别来达到手势识别的目的，这里直接比较手型面积有交大困难。在手势的定位与分割时，产生了手势区域的方框，我们运用这个面积来代替手势的面积，具有较好的效果。当用摄像头采集到手势时，先将采集到的手势与采集到的手势库进行比较，比较得出与摄像头所得手势较吻合的的手势，在屏幕上显示相关手势的名称。,3.1、设计思路,3.2、手势采集,对于手势识别，首先得要求有用来对比识别的手势，我们采集的简单的手势有以下几种：拳头、布、剪刀。如下图所示：,3.3、相关程序,本文的识别程序是在“肤色识别”的基础上进行一定修改形成的。通过读程序，我们发现原程序较慢，我们删除了一部分无关程序，提高了识别的速度。通过了Cr和Cb来判断Y的值，再利用Y的面积来判断不同的手势。程序详见报告。,三、手势识别,常用的静态手势特征有轮廓、位置、面积、分布等。 本文主要利用对手势面积大小的识别来达到手势识别的目的，这里直接比较手型面积有交大困难。在手势的定位与分割时，产生了手势区域的方框，我们运用这个面积来代替手势的面积，具有较好的效果。当用摄像头采集到手势时，先将采集到的手势与采集到的手势库进行比较，比较得出与摄像头所得手势较吻合的的手势，在屏幕上显示相关手势的名称。,3.1、设计思路,3.4、识别结果,对于不同的手势所得识别结果如下：,由识别结果可以看出：在合适位置随着手势的变换，在屏幕上显示的文字作相应变化。实验中发现，在不同摄像头背景下，实验结果存在较大差别，于是，我们采取了纯黑色的背景进行实验。,四、实验总结,手势识别技术的实现使人机交互更近一步，提高了人机交互的能力，对生产生活有很大的好处。通过查阅相关资料，我们认识到了手势识别在各方面的实际意义。本次实验实现了较为简单的手势识别，但不足之处较多，还有许多需完善的部分。 通过这次DSP课程学习，我们觉得在做实验时我们应该先确定自己实验的目标，本次实验我们欠缺一定讨论，一开始对实验的方向不太明确，之后是在实验过程中才慢慢发现运用面积大小对手势进行识别能产生较好效果。 -田伟民,以前也学过一点图像处理的的基本知识，也学过PHOTOSHOP的软件，也对图像的处理比较感兴趣，所以选择了这个课程。在DSP图像处理里面也学到了很多的东西尤其是图像的显示的最基本的知识，从采集，编码，到输出。对我来说意义最大的是用程序来实现了图像的处理，以前都是用软件来处理的，这是我接近计算机的方法更近了一步。DSP课程对我来说最难的是C语言编程，我们花了很多的时间在C语言的编程上，开始的时候总是在改子程序，读程序，后来开始尝试一些自己写字程序。在不断的尝试中摸索出来了一些方法和技巧，收获了不少的东西无论是图像处理上还是在编程上。我们总是在不断地尝试中，不断地努力中，渐渐形成了自己的想法和思路。 -温兴泵,通过这次实验，我们几个人分工合作，达到了很好的效果！首先，通过对程序的熟悉掌握相关的知识点，并能运用其知识点进行自己的设计，把前面几次的实验的讨论的结果成果运用在了这次的实验中，我们从显示字到画矩形边框，再到比较框里面的白色的面积比例确定显示哪个字符，这个完全是不断比较程序实践出来的，同时，我们对以前的显示轮廓的程序进行改进，实现了能够快速切换摄像头的功能，从而使界面平滑流畅，可以方便快捷地进行测试，达到了很好的效果！这次实验，几个人搞了很长的时间，首先是程序的熟悉方面就花了大概半天的时间，然后反复实验反复修