CN119495164A 一种基于多维特征融合的疲劳驾驶监测预警方法 （无锡凌物智能科技有限公司）

道中惠大道1777号奥凯城市广场7-一种基于多维特征融合的疲劳驾驶监测预本申请公开了一种基于多维特征融合的疲模型对采集到的车辆驾驶员的面部图像进行特终得到多维特征后利用多层感知机进行融合得练得到的疲劳状态检测模型对连续多个采样时刻的面部特征时间序列进行检测从而检测是否多维数据融合结合时序分析算法能够更准确的性和可靠性。即使在光照变化或复杂驾驶环境2通过车载的图像采集模组按照采样频率采集车辆驾驶根据面部关键点分别计算当前采样时刻的眼睛闭合率、嘴巴提取当前采样时刻及其之前的多个连续采样时刻的融合面部特征构成的面部特征时分别计算眉心关键点与两侧眉尾关键点之间沿着人脸长根据历史监测过程中的疲劳指数的变化曲线以及报警反馈触发记录确定误警次数和3获取历史监测过程中的行为模式数据，行为模式数据包括各个采率阈值和张开率阈值以及动态调整多层感知机和疲劳状态检测7.根据权利要求1所述的疲劳驾驶监测预警方法，其在利用环境光照度传感器检测到实时光照条件满足光照要求时，根据实节RGB摄像头的相机参数并利用RGB摄像头获取RGB格式的面部图像，并利用第一特征提取在利用环境光照度传感器检测到实时光照条件不满足光照要求时二特征提取模型是预先基于卷积神经网络利用红外根据车辆驾驶员出现疲劳驾驶状态的频率和每次疲劳驾驶状态的疲劳驾驶状态的频率达到频率阈值和/或疲劳驾驶状态的持续时长达到时长阈值时，输出4睛闭合率来判断是否处于疲劳状态，然而眼睛闭合率很难准确表征驾驶员的实际疲劳情[0005]一种基于多维特征融合的疲劳驾驶监测预警方法，该疲劳驾驶监测预警方法包[0010]提取当前采样时刻及其之前的多个连续采样时刻的融合面部特征构成的面部特5[0013]分别计算眉心关键点与两侧眉尾关键点之间沿着人脸长度方向的垂直距离；以[0018]根据历史监测过程中的疲劳指数的变化曲线以及报警反馈触发记录确定误警次闭合率阈值和张开率阈值以及动态调整多层感知机和疲劳状态检测件调节RGB摄像头的相机参数并利用RGB摄像头获取RGB格式的面部图像，并利用第一特征提取模型对面部图像进行特征提取，第一特征提取模型是预先基于卷积神经网络利用RGB征提取模型是预先基于卷积神经网络利用红外图[0032]根据驾驶场景动态调整采样频率，车辆行驶速度越高和/或车辆连续行驶时间越6出现疲劳驾驶状态的频率达到频率阈值和/或疲劳驾驶状态的持续时长达到时长阈值时，[0040]本申请公开了一种基于多维特征融合的疲劳驾驶监测预警方法，请参考图1所示件调节RGB摄像头的相机参数并利用RGB摄像头获取RGB格式的面部图像。调节的相机参数[0044]步骤2，利用基于卷积神经网络的特征提取模型对面部图像进行特征提取得到面7[0047]该特征提取模型预先基于卷积神经网络使用大规模驾驶员面部图像数据集进行[0048]另外由于本申请的图像采集模组集成了RGB摄像头和红外摄像头，因此预先训练的特征提取模型也包括预先基于卷积神经网络利用RGB图像训练得到的第一特征提取模8化特征向量进行特征融合得到当前采样时刻的融合面部特征。该步骤使用多层感知机[0055]步骤5，提取当前采样时刻及其之前的多个连续采样时刻的融合面部特征构成的及各个采样时刻得到的融合面部特征和检测得到的疲劳指数，以及误警次数和漏警次数。然后根据行为模式数据动态调整闭合率阈值和张开率阈值以及动态调整多层感知机和疲[0058]上述基于行为模式数据的自适应校准过程可以通过实时监测并反馈驾驶员的生9有不同的生理差异(某些人眼睛闭合率较低但不疲劳)、驾驶习惯(频繁低头或长时间睁状态的持续时长，并在出现疲劳驾