手势识别跟踪

1、基于单目视觉手势识别跟踪算法重建与研究1基于单目视觉手势识别跟踪算法重建与研究研究背景关键技术基于几何特征手势识别基于距离串的轮廓描述手势识别重建及跟踪设计实验结果分析 21.研究背景1.1介绍：手势交互是一种简单的、直观的交互方式人机交互在当今计算机技术猛烈发展的今天逐渐人们日常生活中的一部分增强现实发展，基于手势增强现实发展成为必要31.1 研究现状识别分类：基于数据手套（数据量小、速度快、不方便、昂贵）基于计算机视觉（摄像头、前景光明）算法分类：人工神经网络（自主学习、抗噪、处理时序能力差，用于静态手势识别）HMM（时空能力强，用于动态手势识别，速度慢）几何特征（边缘和区域特征）基于视觉

2、问题：识别率低实时性低手势变化不能太快42.关键技术预处理轮廓提取特征提取识别52.1预处理与轮廓提取色彩平衡平滑处理肤色提取（YCbCr、Otsu）轮廓提取Otsu（自适应阈值）对于Image,记T为阈值。前景点占比例为w0，平均灰度为u0，背景为w1，平均灰度为u1。图像的总平均灰度为u=w0*u0+w1*u1。从最小灰度到最大灰度遍历t，当t使得g=w0*(u0-u)2+w1*(u1-u)2达到最大时t即为分割的最大阈值。62.2特征提取常用特征：幅度特征：灰度值、三色值等等统计特征：直方图特征、统计性特征（均值、方差、熵等等）几何特征：特征点、面积、周长、分散度（面积/周长）、伸长度（

3、面积/宽度）等等Hu矩描述子（面积、重心、外接椭圆、投影峰度）傅立叶描述子73.基于几何特征手势识别3.1 几何特征选取：手势面积手势重心最小外接矩形（长宽比例、手势大致方向）指尖指根候选点83.1.1指尖指根候选点提取1.轮廓凸性缺陷结构体CvConvexityDefect：typedef struct CvConvexityDefect CvPoint* start; / 凹陷开始点 CvPoint* end; / 凹陷结束点 CvPoint* depth_point; / 谷底 float depth; / 深度 CvConvexityDefect; 93.1.1指尖指根候选点提取去掉深

4、度过小的凹陷从将轮廓起始点加入到指尖候选点将轮廓终点与已有的指尖候选点比较，符合的假如指尖集合凹陷最深点即为指根候选点103.1.2特征效果图蓝点为指根候选点黄蓝点为指尖候选点白点为手势重心黄点为指尖平均点白色矩形为最小外接矩形浅绿色为凸包线113.13手势模板系统识别110十个手势。123.14 几何特征识别算法无手势输入：当手势面积过大或者过小；外接矩长宽比例过小轮廓个数过多手势面积与外接矩形面积比值过小13按指尖个数将手势分类没有指尖：7和10的手势4个指尖：4的手势5个指尖：5的手势2个指尖：1、6、9手势3个指尖：2、3、8手势14分辨出7和10按外接矩形长宽比例box_leng7手

5、势（1.6,2.2）10手势（1.0，1.6）15分辨出1、6、9计算出两个指尖的距离记作绝对dis将绝对dis与外接矩形长轴做比值得到相对dis1手势（0.42，0.69）6手势（0.69，）9手势（- ，0.42）16分辨出2、3、8算出指尖平均点求出指尖平均点与指尖间最短距离将最短距离与外接矩形短轴做比值处理按距离比值分离出3手势（ - ，0.15 ）按外接矩形长宽比例分离出2、8按手势面积与外接矩形面积比例分离2、8174 基于距离串轮廓描述手势识别一种基于轮廓线的形状描述与匹配方法电子与信息报,2008,30(4):945-952.王斌：博士后舒华忠：博士生导师施朝健：博士生导师罗立

6、民：博士生导师东南大学、复旦大学184.1介绍将待匹配的两个目标轮廓等弧长分割成相同弧段用直线连接相邻割点构成多边形多边形顶点到轮廓几何中心的距离与两个后继顶点的距离构成3个距离串来描述形状满足唯一性、紧致性和不变性。计算简单对形状全局和局部特性能很好描述19图形说明找出重心Pc计算直径DPc到Si距离iSi到Si+1距离iSi+1到Si+2距离i对距离串归一化20证明引理设A，B，C为平面上不共线的三点，已知点D到这三点的三个距离串，那么点D被唯一确定。21证明22证明23证明24描述能力距离串能唯一刻画形状，满足唯一性利用几何重心，具有全局特征若干弦长刻画弧段，具有局部特征平移旋转并不影响

7、弧段划分对距离串用直径做比值，具有缩放不变性25匹配方法26实验9*11个图像125*125像素局部变形，局部遮挡全局相似性匹配99*99次求出第N个最好匹配准确率274.2基于距离串轮廓描述手势识别10个手势作为模板，K=10每个手势轮廓采用50点，M=50系统初始化时计算10个手势的距离串视频每捕捉一帧计算每个手势的距离串每帧距离串与10模板比较，找出距离最小的模板，即为识别结果当最小距离比较大时，定义为未识别出手势285.1 手势模型通用模型： 大拇指4自由度 其他手指各5自由度 骨骼模型本系统模型： 大拇指5自由度 其他手指4自由度 骨骼模型295.2 手势约束静态约束：防止模型在无干

8、扰情况下刻画出不规则手势因人而异动态约束：指间约束指内约束（简化）主要采用静态和指间约束305.2 手势重建采用OpenGL三维图形库重建手势角度驱动模型模拟手势动作动画31手势重建图32手势跟踪手势大小（缩放）手势角度（旋转）手势空间位置（平移）每帧抓取，具有空间位置和角度连续性手势变化快，不具备动作连续性单目，不能实现Z方向跟踪336 实验分析基于手势几何特征：具有平移、旋转、缩放不变性计算简单，实时性最好（0.022秒每帧）识别稳定，准确率高若添加手势，需调出新手势参数添加手势，对实时性影响不大基于距离串描述：具有平移、旋转、缩放不变性计算简单，实时性非常好（0.025秒每帧）识别稳定，准确率最高便于往模板库添加手势若模板库手势过多，对识别速度有影响34本系统算法实时性分析几何特征实时性最好（0.022秒）30点距离串约为0.023秒，50点为0.025秒，100点为0.0287秒预处理所占时间比重比较大距离串方法增加点数时间变化不是很大，可塑性好35对照实验Hu不变矩：速度较快（0.0845秒每帧）7个不变矩，特征太