CN110532887A 一种基于面部特征融合的疲劳驾驶检测方法及系统 （郑州大学）

一种基于面部特征融合的疲劳驾驶检测方本发明涉及一种基于面部特征融合的疲劳于采集的图像信息中的一帧图像进行面部区域位的面部区域为目标对其余各帧图像进行动态用耗时少的动态跟踪算法实现了对其他各帧图像的人脸位置识别，不仅能够准确检测人脸位23)对获取的驾驶员各帧图像的面部区域进行面部特征点提取，得到包括眼睛和/或嘴4)根据得到面部特征点的坐标确定PERCLOS指4.根据权利要求1或3所述的基于面部特征融合的疲劳骤4)中头部位姿判断驾驶员的处于疲劳状态的标准是头部前后改变超过第一设定度数或8.根据权利要求1所述的基于面部特征融合的疲劳驾驶检测方法，其特征在于，所述PERCLOS指标采用P80疲劳指标，P80疲劳指标指的是眼睛一次闭合过程中眼睑遮住瞳孔的80％以上的持续时间与眼睑遮住瞳孔小于所述存储器相耦合，所述处理器执行所述计算机程序时实现权利要求1-9中任一项所述的3法和基于车辆行驶行为变化的方法。基于生理信息的方法是疲劳驾驶中准确率最高的方(electromyogram,EMG)等生理信号可以及时准确的反映驾驶员疲劳程度，缺点是测为的方法是非侵入性的对驾驶员正常驾驶不构成干扰实用性强，缺点是正常驾驶行为与够在存在上述干扰的情况下准确地实现对人脸位置的检测，但是该检测方法对硬件要求[0005]本发明为解决上述技术问题而提供一种基于面部特征融合的疲[0008]3)对获取的驾驶员各帧图像的面部区域进行面部特征点提取，得到包括眼睛和/4器与所述存储器相耦合，所述处理器执行所述计算机程序时实现本发明基于面部特征融[0011]本发明首先通过精度较高的人脸检测算法对于采集的图像信息中的一帧图像进[0012]进一步地，为了提高检测准确性和实时性，所述步骤2)中的人脸检测算法采用中头部位姿判断驾驶员的处于疲劳状态的标准是头部前后改变超过第一设定度数或者头80疲劳指标指的是眼睛一次闭合过程中眼睑遮住瞳孔的80％以上的持续时间与眼睑5的图像信息中的一帧图像进行面部区域定位，以定位的面部区域为目标区域对后续的各得到面部特征点的坐标确定眨眼频率和/或哈欠频率，根据眨眼频率和/或哈欠频率判断了使后续的人脸检测更加准确，需要对各帧图像进行预处理，预处理的手段包括灰度变[0053]MTCNN算法是一种基于深度学习的人脸检测与对齐的方法，能同时进行人脸检测6级网络分别是P-Net(ProposalNetwork)、R-Net(RefineNetwork)和O-Net(Output与全连接层之后的链接的激活层使用PreLU(ParametericRectifiedLinearUnit)作为界坐标进行非极大值抑制(Non-MaximumSuppression,NMS)合并回归向量距离相近的人[0057]第一部分是人脸分类器(faceclassification)，主要作用是判断输入窗口区域[0058]R-Net是MTCNN的第二个网络，是对由P-Net产生的包含人脸的区域进行进一步的在训练时MTCNN需要针对三种任务(三种损失函数)在具有三种任务特征(标定特征)的数7[0061]根据交并比(Intersection-over-union,IoU)将数据库按照3:1:1:2的比例分为[0062]交并比是用来衡量在数据库中检测人脸准确度的标准值，经过MTCNN网络最终会输出一个边界框将图像中的人脸区域框出，而产生的候选框与数据库中标记的真实候选[0073]其中是经过网络计算后输出的候选框的四维坐标，是数据库中样本的真8[0081]下面以一张包含人脸的照片为例对MTCNN算法的过程进行说明，其流程如图6所[0082](1)调整图片尺寸根据缩放因子将图像展开成图像金字塔，也就是原图像在各种[0083](2)将得到的不同尺度上的图像输入P-Net中，一个12*12的窗口在图像上进行滑[0087]采用上述MTCNN算法能够准确地识别出各帧图像上的人脸区域，为了实现对驾驶员疲劳检测，需要确定驾驶员视频数据中各帧图像的人脸区域，若对每一帧图像均采用因此本发明在识别出人脸区域后利用目标跟踪算法来确定其余各帧图像的人的方法是将跟踪问题作为状态预测问题处理，对跟踪目标在下一帧中的位置进行最优估9进而来的，DSST在MOSSE基础上设计了两个相互独立的相关滤波器，分别为位置滤波器(translationfilter)和尺寸滤波器(scalefilter)，分用于目标位置定位和目标当前尺度大小的判定，其原理如图7-a和图7-b所示。与MOSSE采用图像块灰度特征有所不同，DSST采用方向梯度直方图(HistogramofOrientedGradient，HOG)特征，从输入的某一[0101]通过上述方式可确定出上一帧通过MTCNN算法检测到的人脸在其他图像帧中的位[0104]人脸特征点检测算法主要有三类：基于模型的ASM(ActiveShapeModel)和AAM(ActiveAppearnceModel)、基于级联形状回归CPR(Cascadedposeregress[0105]ERT(EnsembleofRegressionTrees)特征点提取算法是一种基于回归的方法，[0106]假设xi∈R2是图像面部特征点中第i个特征的x,y坐标系中2维坐标值，量结果与真实值的差值。在γt的训练中使用基于平方误差和(sumofsquareerror)作为损失函数的增强梯度树(thegradienttreeb[0116](1)设训练数据集学习速率为0<ν<1[0128]通过上述过程可以得到训练后的ERT模型，利用该模型进行特征点的检测过程如[0129](1)从输入点的人脸候选区域中检测面部特征点，并将特征点的坐标值以[0136]通过步骤4可以获取包括眼睛和嘴巴的特征点，根据这些特征点可以实现对驾驶地实现对驾驶员的疲劳状态判断，本发明还需要根据检测到人脸特征点确定驾驶员头部[0137]疲劳驾驶判断的主要标准是基于头部姿态估计在欧拉角坐标中三个坐标轴偏转[0138]EPnP算法的基础是将三维空间坐标系中所有特征点的坐标使用四个虚拟控制点[0139]设三维空间n个特征点的坐标分别为"(i=1,2,…,n),四个控制点的坐标为的坐标为cj=1,2,3,4),四个控制点的坐标是通过张正友相机标定方法得到，将特征点[0149]其中x=[c",c2",c,",c:'T,x就是控制点在相机坐标系中的坐标。从而可以确(PercentageofEyelidClosureOverthePupilOverTime)指的是在一段时间内眼睛闭合超过某一阈值的时间占总时间的比值，是目前被普遍接受和[0160]本发明利用VahidKazemi和JosephinSullivan于2014年在CPVR(IEEEConferenceonComputerVisionandPatternRecognition)上提出的一种基于回[0161]在组成人脸形状的68维向量中，第36/37/38/39/40/41等特征点形成了驾驶员面据围绕眼部边缘分布特征点的坐标就可以准确计算P80指标的精确值。面部不同器官边缘位置描述了左眼的边缘与位置信息。通过对这六个特征点位置信息的计算就可以获得左[0167]本发明通过眼睛纵横比EAR(EyeAspectRatio)来判断眼睛所处状态，实现眨眼频率与眼部闭合状态的检测。根据步骤4获取的人脸特征点可以精确的得到眼睛边缘位律就能清晰的提取出眼睛当前状态。对相机采集视频中的每一帧都提取驾驶员面部特征过计算得到的EAR值设定一个阈值为0.2，当其小于这一值时就可以判定眼睛当前[0172]正常人在清醒状态下每分钟眨眼次数约为10-20次，每次眨眼的时间约为0.2-段时间内眨眼频率的变化进行疲劳驾驶预警检测的依据。当每分钟的眨眼次数大于20次[0176]嘴部开合度和眼睛开合度的计算类似，嘴部开合度是通过嘴部纵横比MAR(Mouth[0178]M1-M8为嘴部形状中的内轮廓点的二维向量坐标，嘴部形状中的内轮廓点定义如显可以发现两种状态下的特征存在显著的差异性。根据这种特征就可以对哈欠次数进行[0180]本发明将MAR值从小于阈值到大于阈值，从大于阈值到小于阈值记为一次哈欠过本发明采用文献中通过对收集到的1000多张人们打哈欠的照片进行统计得到的阈值0.75[0183]成年人头部前后运动(Pitch方向)的平均活动范围为[-60.4,69.6]，水平转动[0184]目前基于头部姿态进行疲劳驾驶判别并没有统一的国际标准，本发明借鉴PERCLOS与MAR的相关检测标准将对应方向上的角度变化程度超过视野的20％作为指标，哈欠频率和头部姿态中的任一指标进行判断，也可以从中选择两个及以上的指标进行判所述处理器执行所述计算机程序时实现上述方法实施例中的基于面部特征融合的疲劳驾图像处理单元选用由英国树莓派慈善基金会开发目前最新的图像处理单元选用由英国树莓派慈善基金会开发目前最新的Raspiberry3B+作图像采集设备安装在驾驶员驾驶位置的正前方，并将图像处理单元与声音警告装置放在打哈欠、闭眼等各种情况。其中实际疲劳状态的认定是根据眼睛状态指示指标EAR小于疲劳状态检测方法采用眼睛状态检测准确率为92.04嘴巴状态检测准确率为62.26%;中第二行测试环境为：从摄像头获取图像，在获取人脸区域后对DSST追踪器进行初始化初始化后，不在进行人脸区域的检测，直接使用DSST算法对驾驶员面部区域进行实时跟个指标收到干扰无法准确获得时，基于