答辩ppt基于计算机视觉的手势识别技术.ppt

指导教师：,论文题目：,学院：专业：姓名：学号：,基于计算机视觉的静态手势识别技术,手势识别技术的研究背景,手势识别技术的研究背景及意义,随着计算机技术的飞速发展，人机交互技术成为了当前最热门的研究课题之一，并且人机交互技术正在从以计算机为中心逐步转移到以人为中心。由于人手的特殊性，所以在人类日常交际活动中发挥重要作用的手势，已经被当做一种最自然、直观而又易于学习的人机交互手段进行广泛研究。,手势识别技术的发展历程,基于数据手套的手势识别技术基于标记手的手势识别基于视觉的手势识别,手势识别技术的研究背景及意义,手势识别技术研究的意义,手势识别的研究可以应用于计算机辅助哑语教学、电视节目双语播放、虚拟人的研究、电影制作中的特技处理、动画的制作、医疗研究、游戏娱乐等诸多方面，同时也有助于改善和提高聋哑人的生活学习和工作条件，为他们供更好的服务；另外，手势的研究涉及到教学、计算机图形学、机器人运动学、医学等多学科。因此，手势识别的研究是一个非常有意义的课题。,静态手势识别的基本流程,全文介绍,本文主要研究内容,手势图像预处理,手势图像分割,手势特征提取,手势图像分类识别,手势图像预处理,图像的平滑,空域平滑滤波：,均值滤波法：用所选窗口的所有像素点的平均值来代替窗口中心点的灰度值。,中值滤波法：把邻域中的图像的像素按灰度级排序后选择该组的中间值作为像素值。,维纳滤波法：维纳滤波器是一种自适应滤波器，主要根据区域内的方差来调整滤波器输出,图像锐化,图像锐化就是补偿图像的轮廓，增强图像的边缘灰度有跳变的部分，使图像的边缘、轮廓线以及图像的细节变的清晰。,手势图像预处理,平滑滤波结果,手势图像预处理,图像锐化结果,手势图像分割,色彩空间,RGB色彩空间,YCrCb彩色空间,HSI色彩空间,图像分割算法,基于HSI色彩空间的分割算法,H,S,I三分量之间的相关性较小，可由色调H和饱和度S完成独立于亮度的彩色区域分割。,RGB空间图像转换到HIS空间,经过多次试验确定色调和饱和度上下阈值,根据阈值分类像素点,手势图像分割,基于YCrCb色彩空间的分割,利用以下两式进行色彩空间的转换，在转换后的YCrCb色彩空间中进行彩色阈值分割。,基于改进的RGB色彩空间的分割算法,利用传统的方法在RGB空间进行手势分割，需分别设定R、G、B三个分量的阈值。,由于亮度值为RGB三分量的平均(左式)，所以传统方法受光照影响较大。,手势图像分割,经大量研究发现，虽然RGB色彩模型易受光照影响，但是RGB三种色彩对应三分量的色差值却保持在一定的范围之，即受光照影响不大。所以本文的改进方法是基于三分量的色差的阈值分割。,经过大量的测算，得出如下式的阈值适合于本次实验手的肤色。,以上阈值可以得到较为理想的分割手势,下面对三种分割算法的分割效果进行分析比较,手势图像分割,分割出的手势图像,分割前图像,HSI空间彩色分割结果,HSI空间二值分割结果,YCrCb空间二值分割结果,改进的RGB空间二值分割结果,手势特征提取,特征提取的目的,降维，减小数据量,特征提取算法,基于小波变换的特征提取算法,首先要对手势图像进行N级小波分解，得到3N+1幅子图像，然后利用含有高频成分的3N幅子图像，求得一个长度为3N的向量。,基于Hu不变矩的图像特征提取,Hu矩是一组经典的几何矩不变量，对图像旋转、比例和平移具有不变性。,手势特征提取,Hu矩组是图像中心矩前七个矩的函数，Hu将七个不变矩用作图像特征向量，Hu矩组反映了图像的本质属性。,基于Bamieh不变矩的特征提取算法,为了减少计算量，Bamieh提出了Bamieh不变矩，其特征矢量的大小比其他不变矩的要小很多，用以下四个量值作为特征提取时的特征量。,手势特征提取,实验结果及分析,(a),(b),(c),(d),(e),(f),(a)原始图像128*128,(b)64*64图像,(c)256*256图像,(d)旋转30,(e)旋转45,(f)添加0.01的高斯噪声,手势特征提取,小波变换特征提取结果,手势特征提取,Hu不变矩特征提取结果,手势特征提取,Bamieh不变矩的特征提取结果,手势特征提取,三种手势特征提取方法的比较,Hu不变矩的特征提取结果显示：不变矩满足大小和旋转不变性，但Hu不变矩提取的特征向量在有噪声存在时会发生较大变化；,小波变换特征提取结果对噪声不太敏感，但是各个特征量之间差别较小，分类效果低。,Bamieh不变矩特征提取结果：满足大小和旋转不变性，对噪声也不敏感。,手势图像分类识别,人工神经网络,BP学习算法,工作信号正向传播,误差信号反向传播,概率神经网络算法,求和层,输入层,模式层,输出层,手势图像分类识别,手势图像分类识别,Bamieh不变矩提取特征送入PNN