基于摄像头手势识别技术初步版本.doc

基于摄像头的手势识别技术1、手势识别的概念手势是姿势的一个子集，姿势这个概念没有精确的定义。一般认为，手势概念经过人的于转化为的于势动作，观察者看到的是于势动作的图像雎1。手势的产生过程如图 1-1所示。 图1-1手势识别的过程则找一个从图像V到概念动作G的变换而，如图下所示。 2、 手势识别流程手势识别流程包手势图像获取、手势分割、手势特征提取、手势识别四大部分，如图2-1所示。 图2-13. 手势建模在手势识别框架中，手势模型是一个最基本的部分。根据不同的应用背景，于势识别采用的模型会有不同，而对于不同的手势模型，采用的手势检测与跟踪算法、特征提取、识别技术也会有差别。手势建模主要分为基于表观的手势模型与基于三维的于势模型。基于表观的手势建模是一种二维建模，从二维平面观察得到的平面图像信息描述于的特征。 基于表观的手势模型主要包括基于颜色的模型与基于轮廓的模型两种。基于颜色的手势模型是把手势图像看作像素颜色的集合，通过提取手部的颜色的特征来描述手势。基于颜色的手势模型的常用特征是颜色直方图。基于轮廓的手势模型是把手看作一个轮廓，通过提取手部图像中手的轮廓的几何特征来描述手势。4. 手势检测与跟踪手势检测与跟踪是手势识别处理流程中最前端的处理部分，它处理从摄像头获取到手势图像(序列)，从中检测和分割手势对象。如果是动态手势识别，还要对手进行跟踪。基于运动信息的方法：基于运动信息的方法是假设在视频中只有手是运动物体。其中一种方法是背景减法。它要求背景静止不变，把视频中的每帧与背景相减，背景相同的部分变为零，不同的部分就认为是运动的物体，即手。另一种方法是帧间差分法 帧间差分，也称时域差分，是计算机视觉中最为简单快速的前景目标(特是运动前景目标)检测方法。它是基于背景象素点的灰度值和位置都不变的这一则来检测前景目标的。对同一手势序列中相邻两帧图像进行差分运算，这样能有的保留发生变化的部分，滤除图像中保持不变的大部分背景区域。帧间的方法有很多变种，但最简单的就是在连续的视频图像帧间取绝对分。 S=|R1-R2|+|G1-G2|+|B1-B2|其中，R1, G1, B1和R2, G2, B2分别是当前图像和前一帧图像中各像素点的RGB分量，通过计算S值并与事先给定的某一阂值k进行比较，当Sk时，认为此像素点属于变化的区域，当Sk时，则认为该像素点属于未变化的区域，从而将其滤除，这样便得到了一个新的输出图像。5. 手势特征提取手势特征的提取是与手势模型密切相关的，不同的手势模型会有不同手势特征。5.1 静态手势特征常用的静态手势特征有轮廓、位置、面积、手指分布等。手的轮廓特征可以连续的点来表示。通过边缘检测算法，把图像区域的边缘检测出来，经过进行平滑和多边形拟合算法处理，得到多边形的顶点的序列。在提取于的轮廓比较困难的情况下，或者为了提高计算效率，也可以通过计算轮廓的特征作为手势特征。例如AWilkowski通过以手部图像的外包矩形的边为坐标轴进行投影计算得到轮廓的直方图作为手的轮廓的特征，如图5-1所示。图5-1 手的轮廓特征手的位置特征是指手掌的质心位置，质心位置可以按公式5-1、公式5-2、公式5-3、公式5-4计算。手的面积特征通过计算手的轮廓的多边形面积即可。对于二维图像，质心是通过计算零阶距和x、Y的一阶距得到的。假设二值化之后的图像为I(x，Y)，质心(Xc，Yc)的计算公式如下： 5-1 5-2 5-3, 5-4于指特征的提取是一个关键的技术。经典的手指提取方法是利用手指距离手掌中心最远这个规律，把于的轮廓点的坐标转换成为以手掌中心位置为原点的极坐标系，然后分析轮廓曲线中的局部最大值(如图5-2所示)，最后通过映射规则把点的位置映射为手指。由于我们通过手势的动作实现冰雕或雪雕的“捏，挤”等动态的动作，所以下面我们着重讲解动态手势。 动态手势特征在动态于势中，由于于在空间和时间两个维度是都会发生变化，所以动态手势特征包含于的位置变化和手的形状变化。手的位置变化可以通过计算手势的当前位置与上一个位置之间和位置偏移量得到。假设手的运动前后位置为()和()，则可以计算出运动方向的角度，最后把进行量化得到对应的方向编码。 图：5-1手势运动方向编码通过计算于势运动轨迹相邻点之间位移，得到运动的方向编码，组成手势运动向量特征。基于模板匹配的方法基于模板匹配的方法是采集静态手势作为样本，提取特征作为模板特征库。在识别时把输入的手势特征与模板库的模板进行匹配。其中比较经典的使用弹性图匹配(Elastic Graph Matching)方法。在基于模板的识别方法中比较重要的是定义特征的距离函数。距离函数需要根据特征的特点来选取的。张国良、吴江琴、高文等人采用改进的Hausdorff距离来进行手势识别。Hausdorff距离是用来度量两个集合之间的相似度，它的数学定义如下：A和B是两个集合，元素个数分别是n和m。其中表示元素a和b的距离。6、动态手势识别动态手势是具有时间和空间变化，手势特征量化编码之后成为时间上的符号序列。目前有许多方法可以对时间序列数据进行分类。直方图(Histogram)图像处理领域最基本的直方图技术在某些情况下用于动态手势识别是非常有效的。直方图能反映手势序列的整体特征。虽然它丢失了序列的时间特征，但是在一些手势种类少而且运动轨迹区别明显的手势识别应用，不失为一种好选择，它的识别处理效率很高。动态时间规整(DTlr，Dynamic Time Warping)经典方法动态时间规整(DTW，Dynamic Time Warp