（物理电子学专业论文）基于头势的智能轮椅无障碍人机交互.pdf

重庆邮电大学硕士论文第三章基于唇部检测的头势识别方法研究 i - r 1i o 2 9 9 o 5 8 7o 11 4 1 r r l lgi - - 10 2 9 9 0 5 8 70 1 1 4l lgi ( 3 1 ) 【曰jl - 0 2 9 9 o 邡7 o i i ；4 j l ；j 砌 。 3 1 2 光照补偿 图3 4r g b 色彩空间 在唇部检测研究中，由于光照条件的不同，唇部产生颜色的明暗变化或光斑、 光亮度不均匀及光照条件的变化，将会降低唇部检测与头势识别的精度【2 4 1 ，因此， 在进行唇部检测与头势识别前对图像进行光照补偿处理是非常有必要。 本系统在消除光照影响方面主要采用非线性变换改变图像的对比度来进行 的，具体方法如下【2 5 】： 设f ( x ，y ) 为原图像中的像素亮度值，表示原图中图像的像素个数，原图像 中共有三个灰度级，图像中第k 个灰度级的灰度值为气，气出现的频数为，第k 个灰度级出现的概率为b ( ) ，它的定义如下： 砟( 咯) = ，k n ，0 吃l ，k = 0 ，1 ，l - 1 ( 3 2 ) 其中： 2 z , t 如咖爱。二卿2 五n i i - ( 3 3 ) 乙枷所坼j 一 己。吩 当s k 1 0 时，若m k 1 2 5 ，且f ( x ，y ) 靠近灰度值0 ，则令 b = f ( x ，y ) ，它的意思是将整个图像中所有像素的亮度从低到高排列，取前1 0 的 像素，如果这些像素的数目大于1 2 5 ，就将这些像素的最低亮度值记为曰。 1 3 重庆邮电大学硕士论文第三章基于唇部检测的头势识别方法研究 当殴 1 0 ，若m t 1 2 5 ，且f ( x ，y ) ) 靠近灰度值2 5 5 ，则令 e = f ( x ，y ) ，它的意思是将整个图像中所有像素的亮度从高到低排列，取前1 0 的 像素，如果这些像素的数目m 。大于1 2 5 ，就将这些像素的最低亮度值记为e 。 下面是对图像进行光照补偿的参数值： 1 ) r g b 的取值范围：h i s t o g r a m = 2 5 6 ： 2 ) 以的比例系数：t h r e s h o l d c o = 0 1 ，即1 0 ； 3 ) m 1 2 1 2 5 ； 4 ) 灰度值：g r a y = ( r 譬2 9 9 + g 木5 8 7 + b 木l1 4 ) 1 2 5 0 ； 5 ) 满足条件的象素总的灰度值：a v e r a g e g r a y + = h i s t o g r a m i 木i - 6 ) 光线补偿系数：c o = 2 5 5 0 a v e r a g e g r a y 。 下图3 5 是光照补偿前后的图像： 光照补偿系数为：1 2 5 3 1 + , 图3 5 光照补偿前后对比 图3 5 中左边图像c 锄e r a 中的图像为光照补偿前的图像，右边的图像 i l l u m i n a t i o nc o m p e n s a t i o n 中的图像为光照补偿后的图像，从图片中现实的不同背 景、不同光照方向的光照补偿系数是不同的，而且从图3 5 右边的图像中可以看到， 1 4 重庆邮电大学硕士论文第三章基于唇部检测的头势识别方法研究 部检测时，唇部检测窗口可能会超过人脸检测窗口下边缘部分。唇部检测在人脸 检测后分割出来的窗口进行，目的是为了缩短唇部检测时间，提高唇部检测效率 避免唇部误检，图3 1 1 是进行唇部检测时，唇部、人脸、感兴趣区域的分布示意图： 摄像头窗口 。4 人脸窗口 2 0 ： 爪： 丧! 十 1r 素i2 4 0个氇2 素 口 jl 唇部窗口 l 2 1 r 索： 碡关趣区域。一事。 - 3 2 0 个像蟊 图3 1 1 唇部人脸感兴趣区域的分布示意图 图3 1 1 中，外边的矩形窗口表示的是整个摄像头的窗口，粗实线的矩形窗口是 检测到的人脸窗口( 在实际的系统中，检测到的人脸位置并没有标记出来，本部分 用粗实线标记出来仅仅是为了能够更加明白的介绍唇部、人脸、感兴趣区域的关 系) ，虚线窗口是进行唇部检测时的感兴趣区域，虚线窗口中的细实线小矩形窗口是 检测到的唇部窗口。 3 2 4 实验结果 为了检测使用a d a b o o s t 算法检测唇部，并进行头势识别的有效性，本实验中 将实验环境分为两种：一种为日光灯打开，窗帘打开的的室内环境；另一种为日 光灯关闭、窗帘紧闭，较暗的室内环境。这样选取实验环境的目的是为了检测在 光照充足条件下与光照不足条件下使用a d a b o o s t 算法检测唇部，进而识别头势的 可行性与精确度。本部分将分为两个小部分来介绍：第一，不同光照条件下头势 识别精确度；第二，不同光照条件下头势识别时间。下边是两种环境下头势识别 的具体实验情况。 光照充足与否条件下头势识别精确度 在本实验中，保存了摄像头获取5 秒钟所处理的图像，本文所选取的是这5 秒钟的部分图像，在图像选取过程中，按照每隔3 帧图像选取一帧的方法进行采 样，用于检测本章中所使用的a d a b o o s t 算法进行头势识别的可行性。 2 1 重庆邮电大学硕士论文第三章基于唇部检测的头势识别方法研究 a d a b o o s t 算法检测出的唇部窗口左上角坐标位置，并将检测结果作为k a l m a n 滤波 器中运动目标的初始状态，然后建立卡尔曼滤波器的运动模型，对当前已经被提 取的唇部窗口左上角坐标位置进行下一步的运动预测，以缩小唇部搜索匹配范围， 从而加速唇部匹配的速度，然后在下一帧指定范围内进行唇部匹配，建立目标的 关联关系，最后更新运动模型，形成目标运动跟踪链，使得唇部检测更加精确【4 5 】。 根据以上讨论，将卡尔曼滤波预测模型分几部分：唇部窗口左上角坐标位置 的确定、运动状态确立，建立k a l m a n 滤波器的系统运动模型，定义唇部预测时的 初始状态向量，预测下一帧唇部窗口左上角坐标位置可能出现的位置。然后对唇 部左上角的位置进行特征匹配，定义唇部窗口左上角坐标位置的相似函数，利用 相对帧间唇部窗口左上角坐标位置的变化对运动模型进行更新，并作为下一个卡 尔曼滤波运动模型的输入【4 5 1 。图3 1 5 是采用k a l m a n 滤波器与a d a b o o s t 算法混合 进行唇部预测的示意图m j ： 图3 1 5k a l m a n 滤波器与a d a b o o s t 算法混合进行唇部预测的示意图 使用k a l m a n 滤波器进行唇部预测的处理过程具体如下：首先通过u s b 摄像 头获得视频图像，从视频中抓取每一帧视频图像，对采集到的图像进行预处理， 然后调用a d a b o o s t 算法得到唇部的级联分类器，检测到唇部，用一个矩形窗口标 记出检测到的唇部的位置，然后将唇部矩形窗口的左上角的坐标作为k a l m a n 滤波 器的初始状态，对下一帧中唇部矩形窗口可能出现的位置进行预测，预测后再返 回到唇部分类器中，对下一帧图像继续进行唇部的检测【4 引。具体的检测过程如下： 设定唇部的初始搜索窗口为2 0 x 2 0 ，在第一帧待检测窗口中移动搜索窗e l ，通过搜 索被检测窗口中的每一个位置来确定可能的唇部位置，检测到唇部以后用一个绿 色的矩形窗口标记出来，调用k a l m a n 滤波器，将第一帧中检测得到的唇部矩形窗 1 ：3 的左上角的坐标点a ( x ，y ) 作为k a l a m n 滤波器的状态向量和观测向量，对下一帧 图像中唇部矩形窗口中可能出现的位置进行预测，并将预测结果反馈给唇部分类 器，进行下一帧唇部的检n t 4 引。 3 3 4 实验结果 k a l m a n 滤波器与a d a b o o s t 算法混合进行唇部检测与头势识别的精确度 2 9 重庆邮电大学硕士论文第三章基于唇部检测的头势识别方法研究 为了检测混合k a l m a n 滤波器与a d a b o o s t 算法的唇部检测与头势识别结果， 本实验的实验环境依然使用的是上一节的实验环境，摄像头在5 秒钟所处理的图 像，图像选取依然按照每隔3 帧图像选取一帧的方法进行采样。 1 ) 光照充足的条件下头势识别精确度 第1 帧第5 帧 第9 帧 第1 3 帧第1 7 帧第2 1 帧 第2 5 帧第2 9 帧第3 3 帧 第3 7 帧第4 l 帧第4 5 帧 第4 9 帧第5 3 帧第5 7 帧 3 0 重庆邮电大学硕士论文第三章基于唇部检测的头势识别方法研究 第6 l 帧第6 5 帧第6 9 帧 第7 3 帧第7 7 帧第8 l 帧 图3 1 6 光照充足条件下k a l m a n 滤波器与a d a b o o s t 算法 混合进行唇部检测与头势识别 从图3 1 6 可以看到在光照充足的室内环境情况下，将a d a b o o s t 算法与k a l m a n 滤波器混合进行唇部检测进而进行头势的识别时，头势识别效率比仅仅使用 a d a b o o s t 算法提高了。在上面的2 1 帧中，头势识别正确的有1 7 帧，错误的有3 帧，没有识别到的l 帧，可以算出头势识别率为8 0 9 5 ，这样使用头势控制智能 轮椅时，智能轮椅的鲁棒性增强了。 2 1 光照不足条件下头势识别精确度 第1 帧 圈 第5 帧第9 帧 第1 3 帧第1 7 帧 第2 1 帧 3 1 重庆邮电大学硕士论文第三章基于唇部检测的头势识别方法研究 第2 5 帧第2 9 帧第3 3 帧 第3 7 帧第4 1 帧第4 5 帧 第4 9 帧第5 3 帧第5 7 帧 第6 l 帧第6 5 帧第6 9 帧 第7 3 帧 第7 7 帧第8 1 帧 图3 1 7 光照不足条件下k a l m a n 滤波器与a d a b o o s t 算法 混合进行唇部检测与头势识别 从图3 1 7 可以看到在光照条件不足的条件下，使用k a l m a n 滤波器与a d a b o o s t 算法混合进行唇部检测与头势识别时，上面的2 1 帧中识别结果正确的只有1 3 帧， 错误的有帧4 ，没有识别到的有4 帧，可以看到头势识别率为6 1 9 0 ，识别效率 有所提高。 k a l m a n 滤波器与a d a b o o s t 算法混合唇部检测与头势识别时间 3 2 重庆邮电大学硕士论文第三章基于唇部检测的头势识别方法研究 ( a ) 光照充足( b ) 光照不足 图3 1 8k a l m a n 与a d a b o o s t 混合光照充足与否条件下 唇部检测与头势识别时间 图3 。1 8 ( a ) 是加入k a l m a n 滤波器后光照充足的条件下的头势识别时间，从实验 结果可以看到头势识别时间相对上一节是比较短的，在1 0 8 9 m s 0 6 4 7 m s 之间，而 且检测时间大部分在0 7 5 m s 左右；图3 1 8 ( b ) 是光照不足的条件下进行头势识别的 时间，头势识别的时间也比较短，大概在0 8 4 0 m s 0 4 9 8 m s ，并且大多数头势识别 时间在o 。6 0 m s 左右。另外，在图3 1 8 ( b ) 中可以看到一些非常小的检测时间，如0 0 0 2 等，出现这些值的原因是摄像头根本就没有采集到人脸图像。 进一步实验分析 为了验证改进的算法对任何人都有效，本文对三组实验者在不同光照条件下 进行了实验，将摄像头采集到的不同实验者的图像每1 0 帧进行一次采样( 本实验对 两秒钟的摄像头采集的6 0 帧图像进行采样) ，图3 1 9 是头势识别的实验结果： 3 3 重庆邮电大学硕士论文第三章基于唇部检测的头势识别方法研究 第5 帧第1 5 帧 第3 5 帧 第2 5 帧 第4 5 帧第5 5 帧 图31 9 ( a ) 第5 帧 第3 5 帧 第1 5 帧第2 5 帧 第4 5 帧第5 5 帧 图3 1 9 ( b ) 第5 帧第1 5 帧 第2 5 帧 重庆邮电大学硕士论文第三章基于唇部检测的头势识别方法研究 第3 5 帧第4 5 帧 第5 5 帧 图3 1 9 ( c ) 图3 1 9 头势识别实验结果 从实验结果可以看出，加入k a l m a n 滤波器之后，对于不同性别，不同光照、 不同表情条件下的头势识别，正确率基本是1 0 0 的。但是由于这部分试验在统计 结果时，仅仅统计6 帧，不能代表整个实验结果。因此，为了进一步检测本算法 的精确度，本文分别对上面三组实验者在不同光照条件下进行实验，并对实验结 果进行统计，摄像头采集了8 秒钟，每组采集样本数均为2 3 5 4 帧，表3 2 是实验 结果的统计： 表3 2 实验结果的统计 第一组第二组第三组 光照充光照不光照充光照不光照充光照不 平均值 足足足足足足 正确识别 8 9 3 8 9 5 9 1 2 8 8 4 8 9 7 9 0 1 8 9 7 概率( ) 错误识别 8 1 7 2 7 4 8 3 6 5 7 2 7 4 5 概率( ) 未识别的 2 6 3 3 1 4 3 3 3 8 2 7 2 8 5 概率( ) 最长识别 1 0 9 10 9 8 71 0 3 20 8 4 90 9 7 80 9 1 30 9 7 5 时间( m s ) 最短识别 0 6 3 70 6 4 1o 6 1 50 4 3 50 3 1 90 4 2 5o 5 1 1 时间( m s l 大量实验结果显示，使用改进的混合k a l m a n 滤波器与a d a b o o s t 算法进行唇 部检测与头势识别，头势识别的精确度明显提高了，识别时间也显著降低。对比 上一节的结果可以看出头势识别的精确度是原来的1 6 9 倍，识别时间也降为原来 的1 5 0 1 1 4 4 。 3 5 重庆邮电大学硕士论文第四章头