基于Matlab平台人脸面部表情识别的疲劳检测.ppt

基于面部特征识别的疲劳检测 系统设计实现,指导老师：杨阳 学院：信息科学与工程学院 专业：电子信息科学与技术,目录,研究背景与意义 系统软件设计及实现 总结及展望 致谢,1.研究背景与意义,疲劳检测在现实生活中具有很大的意义和实用价值，也是一个值得进一步完善研究的课题。,列车员疲劳提醒,疲劳检测,特定岗位防瞌睡,汽车防止疲劳驾驶,防止质检员打盹,研究目标,本设计目标在于利用Matlab强大的图像处理能力和实用便捷的编程方法，通过处理包含人脸的视频图像，识别分析面部特征，从而得到比较准确的疲劳状况。,2.系统软件设计框架,2.1基于肤色的人脸检测与提取算法流程,转换色彩空间,肤色提取,提取人脸轮廓,原始图像,得到人脸范围,内部填充,2.1基于肤色的人脸检测与提取算法流程,图2-1为待处理的原图,图2-1,2.1基于肤色的人脸检测与提取算法流程,图2-2为在HSV色彩空间中提取到的肤色范围。,图2-2,2.1基于肤色的人脸检测与提取算法流程,把图2-2中的肤色范围设置为白色，非肤色范围取黑，并且进行内部填充，可以得到如图2-3所示的人脸范围的黑白模版。,图2-3,2.1基于肤色的人脸检测与提取算法流程,把图2-3与原图2-1乘操作就可以得到整个人脸范围,图2-4,2.2基于霍夫变换的人眼定位与统计,人脸图像,灰度化,边缘检测,检测圆,统计对象 面积,膨胀,2.2基于霍夫变换的人眼定位与统计,把得到的人脸图像转换为灰度图像，如图2-5,图2-5,2.2基于霍夫变换的人眼定位与统计,使用Prewitt算子进行边缘检测，得到人眼的边缘曲线如图2-6所示。,图 2-6,2.2基于霍夫变换的人眼定位与统计,由边缘图像进行霍夫变换检测圆，得到人眼的边缘曲线如图2-7所示。,图2-7,2.2基于霍夫变换的人眼定位与统计,得到的人眼边缘曲线不是很完整，因此做一下膨胀处理，得到人眼范 围，便于统计大小信息，如图2-8所示。,图2-8,2.2基于霍夫变换的人眼定位与统计,不同闭合度人眼检测结果对比如图2-9,图2-9,2.3疲劳判断,每一帧 人眼大小,归一化,判断疲劳,统计 眨眼频率,画出人眼 变化曲线,2.3疲劳判断,对得到的每一帧图像中的人眼信息统计，得到人眼闭合的帧数与总数 的比例，判断疲劳。,如果得到的PERCLOS值大于阈值20%，则判定为疲劳状态。,图2-10,一次实验结果如图2-10所示。,总结及展望,本设计简单易行，但是运行速度比较慢，主要是霍夫变换运算量比较大。为了减少运算量，可以进一步减少人眼搜索范围。 对于人脸，可以确定，人眼一般位于头部中间偏上的位置，加上是下方的脖子等区域，可以认为人眼在头部上半部分，如此就可以把搜索范围减少一半，运算速度也可以加快一倍。,总结及展望,减小人脸范围后实验结果：,感谢您的关注！,相关概念,HSV色彩空间 色彩空问，即色彩模型，是指颜色在三维空问中的排列方式。肤色由于其特殊性，在不同的色彩空间表现形式也不同，对肤色的辨识能力和处理效果也不同。 HSV色彩属性模式是三原色光模式的一种非线性变换，根据色彩的三个基本属性：色相、饱和度和明度来确定颜色。色相（H）是色彩的基本属性，取0-360度的数值。饱和度（S）是指色彩的纯度，明度（V）也叫“亮度”，取0-100%。 在对色彩信息的利用中，HSV模型的优点在于它将亮度和反映色彩本质特性的两个参数分开。在提取一类物体(如人脸)在色彩方面的特性时，可以获得比较好的效果。,相关概念,边缘检测算子 几种边缘算子处理实验待测图片的效果对比：,相关概念,膨胀 膨胀是将与目标区域接触的背景点合并到该目标中，是目标边界向外部扩张的处理。膨胀可以用来填补目标区域中存在的某些空洞，以及消除包含在目标区域中的小颗粒噪声。 由于得到的人眼边缘不是很完整，难以统计大小信息，需要做膨胀处理。,相关概念,眨眼与疲劳 眨眼，是一种快速的闭眼动作，称为瞬目反射。 据统计，正常人平均每分钟要眨眼十几次，通常26秒就要眨眼一次，每次眨眼要用0.20.4秒钟时间。20-40岁之间的正常人每分钟眨眼约20次，而在睁眼凝视变动快速的电脑屏幕时，或者人的注意力相对十分集中时，眨眼次数可能会减少到每分钟4-5次。 而人出现疲劳后，眨眼频率往往会加快，每次眨眼经历时间也会相应的变长，因此可以依据人的眨眼频率判断人是否疲劳。,肤色在HSV色彩空间的子空间,研究背景与意义,比如说疲劳驾驶，就是诱发严重交通事故的重要原因之一。据公安交管部门统计，60%以上的交通事故与疲劳驾驶有关，防范疲劳驾驶刻不容缓。这不但需要驾驶员自己做到尽量控制不疲劳驾驶，也需要一个实时的疲劳检测系统监测驾驶员的疲劳状态，随时提醒驾驶员保持清醒，才能最大限度的防止疲劳驾驶的出现，减少交通事故的发生。,相关概念,霍夫变换(Hough变换) 霍夫变换(Hough变换)是一种用于区域边界形状描述的方法，常常被用于直线段、圆和椭圆的检测。其基本思想是将图像的空间域变换到参数空间，用大多数边界点满足的某种参数形式来描述图像中的曲线。Hough变换检测技术根据局部度量来计算边界曲线参数，因而，对于区域边界噪声干扰或被其它目标遮盖而引起边界发生间断的情况，具有比较好的容错性和鲁棒性。 设计中采用了霍夫变换检测圆的方法定位人眼的位置，得到人眼的轮廓，进而确定人眼，,在所有的帧中找到人眼区域面积最大的值max，以此为基准，其他值依次除以max得到相对大小值，取值理论范围在0-1之间，但是由于闭眼时仍然存在一些面积信息，故得到的一般都是大于0，实验中可以取小于0.3就可以判断为闭眼状态。,人眼大小归一化,相关概念,人脸检测 人脸检测是指在输入图像中确定所有人脸（如果存在）的位置、大小和姿态的过程。人脸检测系统输入的是可能包含人脸的图像，输出的是图像中是否存在人脸和人脸数目、位置、尺度等信息的参数化描述。 常见的人脸检测方法有：基于统计的方法，基于模版匹配的方法，基于知识匹配的方法等。其中基于知识匹配方法又可以分为一下三种规则：轮廓规则，器官分布规则，肤色纹理规则和对称性规则。 本次设计主要