手势识别总结PPT课件

1、.,手势识别技术介绍,基于不同传感器,手势识别的分类,手势类型,静态手势识别（手型） 动态手势识别（动作及轨迹）,RGB相机 红外相机（主动、被动） 加速度传感器 深度相机（双目、 结构光、 TOF）,.,静态手势识别方法,基于手势分割,基于手势检测,选择合适的特征 准备大量训练样本 算法复杂度较高,算法复杂度低 难于分割完整的手势 对光照比较敏感,.,手势识别-基于手势分割,手势识别,手势输入,特征提取,误差补偿、 滤波、,预处理,手势分割、 手势跟踪、,分类、建模 训练、匹配,.,手势识别-基于手势分割,.,手势识别-基于手势检测,手势分类器,采集手势样本,选择分类算法,选择特征,训练,训

2、练过程：,识别过程：,手势类别及位置,采集图像,手势分类器,多尺度处理,分类,.,手势识别常用特征-HAAR,HAAR特征,图中黑色矩形所有像素值的和减去白色矩形所有像素值的和。,.,手势识别常用特征-LBP,LBP特征,将一幅图片划分为若干的子区域，对每个子区域内的每个像素点都提取LBP特征。 在每个子区域内建立LBP特征的统计直方图。整个 图片就由若干个统计直方图组成,.,手势识别常用特征-HOG,.,手势识别算法-SVM,.,手势识别算法-Adaboost,.,手势识别算法-Adaboost训练,.,OpenCV中Adaboost算法,训练程序,opencv_traincascade.e

3、xe -data data -vec pos/pos.vec -bg neg/neg.dat -numPos 15200 -numNeg 27000 -numStages 19 -w 18 -h 30 -precalcValBufSize 1024 -precalcIdxBufSize 1024 -featureType LBP -minHitRate 0.9999 -maxFalseAlarmRate 0.5 -mode ALL,训练样本,opencv_createsamples.exe -info pos.dat -vec pos.vec -num 15400 -w 18 -h 30 pa

4、use,.,Adaboost训练要点,积极样本多样性,积极样本背景随机性,消极样本结合场景,积极样本旋转,特征选择,.,手势样本采集,获取手势的抠图,将手势抠图合成到随机背景,缩放到合适尺寸,.,Adaboost手势识别优点,速率较快（30-50ms）,对光照不敏感,对不同摄像机适用性强,对图像质量要求不高,.,Adaboost手势识别缺点,样本处理要求高（尺寸，背景，光照，多样）,后期升级训练困难（手工裁剪或标注样本）,存在一定程度误判率（过拟合与泛化）,特征不具有旋转不变形（识别固定姿态手势）,.,Adaboost优化方法,采集多样性样本（20k）,将误判图片作为消极样本再训练,收集实际识别图片手工裁剪样本,使用其他的方法进行二次判断（肤色验证及SVM）,.,手势识别的其他方法,深度相机,可分割出手型的二值图像（手型轮廓），进而通过轮廓特征进行手势及动作识别。,深度神经网络,通过CNN卷积神