复杂驾驶条件下司机驾驶疲劳度检测的研究

1、复杂驾驶条件下司机驾驶疲劳复杂驾驶条件下司机驾驶疲劳 度检测的研究度检测的研究 本科毕设结题答辩本科毕设结题答辩 电子与信息学院电子与信息学院 郑伟龙郑伟龙 0808级电联班级电联班 指导教师：秦华标教授指导教师：秦华标教授 蒸脸器哪个牌子好蒸脸器哪个牌子好 http:/ 课题研究背景与意义课题研究背景与意义 1 课题研究内容与系统框架课题研究内容与系统框架 2 复杂驾驶条件下人脸检测方法复杂驾驶条件下人脸检测方法 3 复杂驾驶条件下人眼检测和状态识别复杂驾驶条件下人眼检测和状态识别 4 基于眼部特征的驾驶员疲劳状态检测基于眼部特征的驾驶员疲劳状态检测 5 课题总结与实验效果演示课题总结与实验

2、效果演示 6 2 课题研究背景与意义 3 n 在欧洲，在欧洲， 10-20的司机死亡和受伤是由于疲劳导的司机死亡和受伤是由于疲劳导 致驾驶员警戒水平降低所引发。致驾驶员警戒水平降低所引发。 n 在美国，每年有在美国，每年有10万起万起撞车事故是由于驾驶员困倦撞车事故是由于驾驶员困倦 所造成的，所造成的，造成造成4万万的非致命性伤害和的非致命性伤害和1550死亡死亡 n 在我国，在在我国，在2007年至年至2009年我国由疲劳驾驶导致的年我国由疲劳驾驶导致的 死亡人数分别占机动车驾驶人交通肇事总死亡人数死亡人数分别占机动车驾驶人交通肇事总死亡人数 的的11.35%、10.91%和和12.5%，平

3、均每年约有，平均每年约有9000人人 死于疲劳驾驶死于疲劳驾驶。 蒸脸器品牌排行榜蒸脸器品牌排行榜 http:/ 课题研究背景与意义 4 本课题的提本课题的提出出是基于以下几点问题：是基于以下几点问题： n 我们能否在交通事故发生之前检测到司机疲劳我们能否在交通事故发生之前检测到司机疲劳 状态；状态； n 对于疲劳检测技术，什么技术和方法是最可靠对于疲劳检测技术，什么技术和方法是最可靠 有效的；有效的； n 如何在不分散驾驶员注意力的情况下有效地检如何在不分散驾驶员注意力的情况下有效地检 测驾驶员精神状态并作出判断。测驾驶员精神状态并作出判断。 蒸脸器有用吗蒸脸器有用吗 http:/ 课题研究

4、背景与意义 5 疲劳检测试验性产品疲劳检测试验性产品 课题研究内容与系统框架 6 研究内容研究内容 本课题研究本课题研究复杂驾驶环境下驾驶员疲劳度的检复杂驾驶环境下驾驶员疲劳度的检 测方法测方法，利用近红外主动光源获取驾驶员人脸图，利用近红外主动光源获取驾驶员人脸图 像，进一步进行像，进一步进行人脸定位、人眼定位、人眼状态人脸定位、人眼定位、人眼状态 跟踪跟踪，通过实时跟踪人眼状态，进行睁闭眼判断，通过实时跟踪人眼状态，进行睁闭眼判断 ，判断驾驶员当前是否处于疲劳状态。由于驾驶，判断驾驶员当前是否处于疲劳状态。由于驾驶 环境的多变性，环境的多变性，本课题重点研究本课题重点研究光照预处理以及光照

5、预处理以及 人眼状态识别方法人眼状态识别方法。 蒸脸器的好处和坏处蒸脸器的好处和坏处 http:/ 读取红外视读取红外视 频频 光照预处理光照预处理人脸检测人脸检测 人眼定位人眼定位 眼睛状态识眼睛状态识 别别 疲劳检测疲劳检测 课题研究内容与系统框架 7 复杂驾驶条件下人脸检测方法 8 人脸检测中的光照问题人脸检测中的光照问题 根据驾驶员所处地理位置、根据驾驶员所处地理位置、 所驾驶方向、以及驾驶的时所驾驶方向、以及驾驶的时 间不同，阳光可能从多个方间不同，阳光可能从多个方 向照射过来，也可能没有阳向照射过来，也可能没有阳 光（夜晚）；车顶棚在中午光（夜晚）；车顶棚在中午 的时候会在驾驶员脸

6、上投下的时候会在驾驶员脸上投下 阴影。阴影。 （多光照）（多光照） 复杂驾驶条件下人脸检测方法 9 人脸检测中光照问题方法初探人脸检测中光照问题方法初探 n 主动近红外图像传感器主动近红外图像传感器获取红外图像获取红外图像 n 基于基于光照估计光照估计的近红外的近红外图像增强图像增强算法算法 复杂驾驶条件下人脸检测方法 10 （1）单尺度）单尺度Retinex算法（算法（SSR） Retinex是是一个合成词，是由一个合成词，是由Retina（视网膜）和（视网膜）和 Cortex（大脑皮层）组合而成的。（大脑皮层）组合而成的。Retinex理论解释理论解释 了了相同的物体在不同的光线底下颜色恒

7、定性相同的物体在不同的光线底下颜色恒定性(Color Constancy)机理机理 ),(),(),(yxLyxRyxS 亮度图像亮度图像 反射图像反射图像 图 2- 单尺度Retinex的实验效果图 复杂驾驶条件下人脸检测方法 11 （2）多尺度）多尺度Retinex算法（算法（MSR） 多尺度多尺度Retinex实质是将多个单尺度实质是将多个单尺度Retinex的结的结 果进行加权求和果进行加权求和 图图 2- 10 多尺度多尺度Retinex的实验效果图的实验效果图 金稻蒸脸器金稻蒸脸器 http:/ 复杂驾驶条件下人脸检测方法 12 （3）单尺度自商图像（单尺度自商图像（SSQ） 自商

8、图像与自商图像与Retinex算法相似，它也是利用平滑核算法相似，它也是利用平滑核 函数对输入图像进行卷积来估计亮度图像，利用输入函数对输入图像进行卷积来估计亮度图像，利用输入 图像与亮度图像的比值得到光照鲁棒的自商图像。图像与亮度图像的比值得到光照鲁棒的自商图像。 ),(* ),( ),( yxIF yxI yxQ I(x,y)是输入图像，是输入图像，F是平滑卷积核函数是平滑卷积核函数，这里我们用，这里我们用 的是的是低通高斯函数低通高斯函数 图 2- 单尺度自商图像效果图 复杂驾驶条件下人脸检测方法 13 （4）多尺度自商图像（）多尺度自商图像（MSQ） 多尺度自商图像实质是将多个单尺度自

9、商图像的多尺度自商图像实质是将多个单尺度自商图像的 结果进行加权求和。结果进行加权求和。 图图 2- 12 多尺度自商图像效果图多尺度自商图像效果图 复杂驾驶条件下人脸检测方法 14 （5）离散余弦变换（）离散余弦变换（DCT） 将图像进行将图像进行离散余弦变换离散余弦变换后，低频部分对应图像后，低频部分对应图像 的亮度分量，反应的是光线变化部分。因此将的亮度分量，反应的是光线变化部分。因此将DCT低低 频分量置零频分量置零就可以得到光照鲁棒的反射图像，达到减就可以得到光照鲁棒的反射图像，达到减 小光照的影响。小光照的影响。 图图 2- 13 离散余弦变换效果图离散余弦变换效果图 复杂驾驶条件

10、下人脸检测方法 15 （6）小波变换（）小波变换（WA） 对输入图像进行对输入图像进行离散小波变换离散小波变换，然后处理得到的，然后处理得到的 子带图像。它对子带图像。它对小波系数矩阵进行加权小波系数矩阵进行加权，对变换的，对变换的相相 似系数进行直方图均衡化似系数进行直方图均衡化，再利用，再利用反小波变换反小波变换将独立将独立 的子带图像重建后得到归一化的图像。的子带图像重建后得到归一化的图像。 图图 2- 14 小波变换效果图小波变换效果图 复杂驾驶条件下人脸检测方法 16 （7）非局部均值法（）非局部均值法（NLM） 这种方法基于一种想法，就是每个小的图像窗口这种方法基于一种想法，就是每

11、个小的图像窗口 都能找到与之相似的其他图像窗口，利用这些窗口就都能找到与之相似的其他图像窗口，利用这些窗口就 可以进行去噪处理。可以进行去噪处理。 )( ),(),()( xIx nd n xIxzxI 表示加权函数，计算原始图像的空间位置表示加权函数，计算原始图像的空间位置z,x像素像素 局部相似性局部相似性 ),(xz 图图 2- 15 非局部均值法（非局部均值法（NLM）效果图）效果图 复杂驾驶条件下人脸检测方法 17 （8）直方图均衡（）直方图均衡（HE） 图图 2- 16 直方图均衡化（直方图均衡化（HE）效果）效果 复杂驾驶条件下人脸检测方法 18 测试测试图图（原图、（原图、SS

12、R、MSR、SSQ、MSQ、DCT、WA、NLM、HE） 复杂驾驶条件下人脸检测方法 19 基于基于Adaboost的人脸检测的人脸检测 Adaboost是一种迭代算法，其核心思想是针是一种迭代算法，其核心思想是针 对同一个训练集训练不同的分类器对同一个训练集训练不同的分类器(弱分类器弱分类器)，然，然 后把这些弱分类器集合起来，构成一个更强的最后把这些弱分类器集合起来，构成一个更强的最 终分类器终分类器(强分类器强分类器)。 优点：优点：1)构建简单子分类器，利用构建简单子分类器，利用Adaboost 算法将这些分类器进行级联，构造强分类器；算法将这些分类器进行级联，构造强分类器；2) Ad

13、aboost算法即使训练次数很多，也不会出现过算法即使训练次数很多，也不会出现过 拟合的问题拟合的问题；3）随着训练迭代次数增加，分类器随着训练迭代次数增加，分类器 识别错误率会逐渐下降识别错误率会逐渐下降。 复杂驾驶条件下人脸检测方法 20 基于基于Adaboost的人脸检测的人脸检测 n 训练过程训练过程 使用使用类类Haar矩形特征矩形特征作为输入，利用作为输入，利用积分图积分图 像像加速矩形图像值的计算，训练各个加速矩形图像值的计算，训练各个弱分类器弱分类器， 最后将弱分类器节点组成筛选式级联方式。最后将弱分类器节点组成筛选式级联方式。 n 检测过程检测过程 通过加载分类器，根据训练所

14、得到的分类器特通过加载分类器，根据训练所得到的分类器特 征对输入图像进行检测征对输入图像进行检测 图图 2- 28 Adaboost人脸检测实验测试图人脸检测实验测试图 人眼检测和状态识别研究 21 人眼检测定位方法研究人眼检测定位方法研究 n 眼睛定位是较难的研究课题，因为人的眼睛的面眼睛定位是较难的研究课题，因为人的眼睛的面 积比例比较小，另外由于人脸区域眉毛、眼镜等积比例比较小，另外由于人脸区域眉毛、眼镜等 干扰也会造成眼睛定位算法的错误识别。干扰也会造成眼睛定位算法的错误识别。 n 人眼检测定位方法：人眼检测定位方法： n 基于基于Adaboost的眼睛检测定位方法的眼睛检测定位方法

15、n 基于人脸三庭五眼比例特征人眼检测定位方法基于人脸三庭五眼比例特征人眼检测定位方法 人眼检测和状态识别研究 22 基于基于Adaboost的眼睛检测定位方法的眼睛检测定位方法 图图 3- 2 基于基于Adaboost的眼睛检测定位方法效果图的眼睛检测定位方法效果图 人眼检测和状态识别研究 23 基于三庭五眼比例特征人眼检测方法基于三庭五眼比例特征人眼检测方法 人眼检测和状态识别研究 24 人眼状态识别方法研究人眼状态识别方法研究 本课题对以下几种眼睛状态识别方法进行研究和比较本课题对以下几种眼睛状态识别方法进行研究和比较 n 基于基于眼睑曲率眼睑曲率的眼睛状态识别的眼睛状态识别 n 基于基于

16、分段眼睑曲率分段眼睑曲率的眼睛状态识别的眼睛状态识别 n 基于基于椭圆拟合椭圆拟合的人眼状态识别的人眼状态识别 n 基于基于水平投影及比例特征水平投影及比例特征的人眼状态识别的人眼状态识别 n 判断判断黑色像素比例黑色像素比例进行人眼状态识别进行人眼状态识别 人眼检测和状态识别研究 25 基于眼睑曲率的眼睛状态识别基于眼睑曲率的眼睛状态识别 人眼睁开时，上眼睑向上弯曲，曲率为正；而人眼睁开时，上眼睑向上弯曲，曲率为正；而 在闭合时，上眼睑基本呈扁平状，曲率基本为零在闭合时，上眼睑基本呈扁平状，曲率基本为零 。因此可以通过提取人眼的上眼睑，通过计算上。因此可以通过提取人眼的上眼睑，通过计算上 眼

17、睑的曲率来判断当前人眼状态。眼睑的曲率来判断当前人眼状态。 人眼检测和状态识别研究 26 基于眼睑曲率的眼睛状态识别基于眼睑曲率的眼睛状态识别 上眼睑曲率提取过程：上眼睑曲率提取过程： （1）边缘检测）边缘检测 较好保持边缘连续性的较好保持边缘连续性的Canny算子算子 （2）上眼睑轮廓提取）上眼睑轮廓提取 上眼睑基本上位于边缘图像的最上部，按列扫上眼睑基本上位于边缘图像的最上部，按列扫 描图像取出每列的最上面的点，即为上眼睑。描图像取出每列的最上面的点，即为上眼睑。 （3）中点和边界点提取）中点和边界点提取 提取上眼睑的边界点以及中点。提取上眼睑的边界点以及中点。 （4）计算曲率）计算曲率

18、（5）阈值判断）阈值判断 AC BD K 人眼检测和状态识别研究 27 基于眼睑曲率的眼睛状态识别基于眼睑曲率的眼睛状态识别 曲率曲率 阈值阈值 睁眼样本（睁眼样本（124）闭眼样本（闭眼样本（130） 正确正确 数数 错误数错误数 正确率正确率 （%） 正确正确 数数 错误数错误数 正确率正确率 （%） 0.1141131191.11052580.7 0.1151121290.31072382.3 0.1161121290.31092183.8 0.1171011381.51102084.6 0.1181091587.91121886.1 0.10.1050.110.1150.120.125

19、0.13 0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 曲率阈值 识别正确率 睁眼识别正确率 闭眼识别正确率 人眼检测和状态识别研究 28 基于分段眼睑曲率的眼睛状态识别基于分段眼睑曲率的眼睛状态识别 这种方法与上面方法类似。这种方法与上面方法类似。 主要区别在于：主要区别在于：（1）眼睑曲线的拟合）眼睑曲线的拟合，眼睑，眼睑 曲线原先利用提取的边缘曲线，而这里利用的是曲线原先利用提取的边缘曲线，而这里利用的是 三阶多项式对眼睑曲线进行拟合。三阶多项式对眼睑曲线进行拟合。（2）曲率的计）曲率的计 算算，前面的方法考虑的是上眼睑的整体特性，只，前面

20、的方法考虑的是上眼睑的整体特性，只 计算一次曲率，而本方法是将眼睑曲线分成若干计算一次曲率，而本方法是将眼睑曲线分成若干 段，再分别计算这几段的曲率，将这些曲率进行段，再分别计算这几段的曲率，将这些曲率进行 求和后，作为判断眼睛状态参数。求和后，作为判断眼睛状态参数。 眼睑轮廓曲线拟合 上眼睑边界点提取 人眼检测和状态识别研究 29 基于分段眼睑曲率的眼睛状态识别基于分段眼睑曲率的眼睛状态识别 曲率曲率 阈值阈值 睁眼样本（睁眼样本（124）闭眼样本（闭眼样本（130） 正确正确 数数 错误数错误数 正确率正确率 （%） 正确正确 数数 错误数错误数 正确率正确率 （%） 0.12108168

21、7.1646649.2 0.131071786.3755557.7 0.141071786.3814962.3 0.151051984.7943672.3 0.16992579.81062481.5 80.190.2 0.4 0.5 0.6 0.7 0.8 0.9 1 分段曲率求和阈值 识别正确率 睁眼识别正确率 闭眼识别正确率 人眼检测和状态识别研究 30 基于椭圆拟合的人眼状态识别基于椭圆拟合的人眼状态识别 人眼轮廓与椭圆非常近似，人眼在睁开状态下人眼轮廓与椭圆非常近似，人眼在睁开状态下 的圆形度要高于闭眼状态下的，通过对

22、人眼进行的圆形度要高于闭眼状态下的，通过对人眼进行 椭圆拟合，然后判断椭圆长半轴以及短半轴的比椭圆拟合，然后判断椭圆长半轴以及短半轴的比 例关系可以作为人眼状态判断的参数。例关系可以作为人眼状态判断的参数。 图 3- 上眼睑轮廓曲线拟合 人眼检测和状态识别研究 31 基于椭圆拟合的人眼状态识别基于椭圆拟合的人眼状态识别 b/a 睁眼样本（睁眼样本（124）闭眼样本（闭眼样本（130） 正确正确 数数 错误数错误数 正确率正确率 （%） 正确正确 数数 错误数错误数 正确率正确率 （%） 0.21117794.3755557.7 0.221121290.3874366.9 0.231051984

23、.7923870.8 0.241022282.31003076.9 0.25992579.81042680.0 50.260.270.280.290.3 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 长半轴与短半轴比值阈值 识别正确率 睁眼识别正确率 闭眼识别正确率 人眼检测和状态识别研究 32 基于水平投影及比例特征的人眼状态识别基于水平投影及比例特征的人眼状态识别 当人眼睁开时，水平投影直方图高度比较低，宽当人眼睁开时，水平投影直方图高度比较低，宽 度比较长，而人眼闭合状态时，水平投影直方图度比较长，而人眼闭合状态时

24、，水平投影直方图 高度比较高，宽度比较短。高度比较高，宽度比较短。 人眼图像二值化效果 0510152025303540 0 2 4 6 8 10 12 14 16 18 20 水 平 投 影 0102030405060 0 5 10 15 20 25 30 35 40 45 50 水 平 投 影 左图是睁眼图像直方图投影，右图是闭眼图像直方图投影左图是睁眼图像直方图投影，右图是闭眼图像直方图投影 人眼检测和状态识别研究 33 基于水平投影及比例特征的人眼状态识别基于水平投影及比例特征的人眼状态识别 高度高度/ 宽度宽度 睁眼样本（睁眼样本（124）闭眼样本（闭眼样本（130） 正确正确 数数

25、 错误数错误数 正确率正确率 （%） 正确正确 数数 错误数错误数 正确率正确率 （%） 4982679.01191191.5 51032183.41091191.5 61061885.51161489.2 71081687.11042680.0 33.544.555.566.577.58 0.6 0.65 0.7 0.75 0.8 0.85 0.9 0.95 1 直方图投影高度与宽度比值阈值 识别正确率 睁眼识别正确率 闭眼识别正确率 人眼检测和状态识别研究 34 判断黑色像素比例进行人眼状态识别判断黑色像素比例进行人眼状态识别 人眼图像二值化效果人眼图像二值化效果 该方法判断的依据是当睁眼

26、时，人眼区域的黑该方法判断的依据是当睁眼时，人眼区域的黑 色像素比例会大于闭眼的情况。色像素比例会大于闭眼的情况。 人眼检测和状态识别研究 35 人眼状态识别方法结果分析人眼状态识别方法结果分析 人眼状态识别方法人眼状态识别方法 睁眼样本睁眼样本 识别率识别率 闭眼样本闭眼样本 识别率识别率 处理时间处理时间评价评价 基于眼睑曲率的方法基于眼睑曲率的方法87.9%87.7%11ms好好 基于分段眼睑曲率的方法基于分段眼睑曲率的方法79.8%81.5%12ms较好较好 基于椭圆拟合的方法基于椭圆拟合的方法80%80%10ms较好较好 基于水平投影及比例特征方基于水平投影及比例特征方 法法 85%91%14ms好好 判断黑色像素比例的方法判断黑色像素比例的方法76.6%65.4%8ms较差较差 基于眼部特征的疲劳状态检测 36 基于基于PERCLOS与眨眼频率的疲劳检测与眨眼频率的疲劳检测 n PERCLOS准则准则 n PERCLOS(Percentage of Eyelid Closure Over the Pupil Time)是指是指单位时间内眼睛闭合的时间的单位时间内眼睛闭合的时间的 百分比百分比。通过大量实验数据表明，。通过大量实验数据表明，PERCLOS与疲与疲 劳程度具有良好的相关性，劳程度具有良好的相关性，美国公路管理局推荐将美国公路管理局推荐将 PER