CN113420624B 一种非接触式疲劳检测方法及系统 （华中师范大学）

本发明提供一种非接触式疲劳检测方法及征信号的时频域特征、非线性特征以及时序特2线性特征依次放入卷积神经网络CNN与双向长短期记忆神经网络BiLSTM组合的模型，提取获取待检测者的脸部视频图像，基于所述脸部将融合后的待检测者特征输入到预训练好的分类器，进行待检测者的疲劳状态识别，3时频域特征、非线性特征以及时序特征与所述待检测者人脸的时域特征和空域特征融合，采用多项式特征生成和深度特征合成技术，融合滑动将初步融合特征与生命体征信号的时频域特征、非线性采用Transformer模型，基于注意力机制分别筛选滑动检测窗口及其子窗口的所述合4.根据权利要求1至3任一项所述的非接触式疲劳检测方确定训练样本，所述训练样本包括多个训练在每个训练者的融合特征对应的数据集中加入状态标签，组将每个训练者的训练数据集输入到分类器中，以结合其中的状态标签训练学习分类毫米波特征确定单元，用于向待检测者发送毫米波雷达4的时域特征、频域特征和非线性特征依次放入卷积神经网络CNN与双向长短期记忆神经网脸部视频特征确定单元，用于获取待检测者的脸部视特征融合单元，用于将所述生命体征信号的时频域特征、非疲劳检测单元，用于将融合后的待检测者特征输入到预训练好8.根据权利要求5至7任一项所述的非接触式疲56[0004]针对现有技术的缺陷，本发明的目的在于提供一种非接触式疲劳检测方法及系干扰，现有基于毫米波雷达的疲劳检测技术易受环境噪声及被试肢体运动等因素干扰问7[0013]将对齐后的脸部视频图像数据集调整为预设大小的图片，以L帧图像为一组生成提取的相关特征依次放入卷积神经网络CNN与双向长短期记忆神经网络BiLSTM组合的模8体征信号的时频域特征、非线性特征以及时序特征和待检测者人脸的时域特征和空域特[0025]采用Transformer模型，基于注意力机制分别筛选滑动检测窗口及其子窗口的所9为大于0的整数；将所述数据集输入到残差网络ResNet50中，提取脸部视频图像的空间特[0036]在一个可选的示例中，所述毫米波特征确定单元对所述回波分析和深度学习提取毫米波雷达的非线性特征和时序特征，进一步提高疲劳检测的精度。帧关联特征和帧间关联特征，并执行特征融合；将融合后的特征输入GRU单元提取时间特脉冲)，调频带宽为B的锯齿波，其帧周期(即锯齿波重复周期，每个帧周期内包含多个的能量和，E(m)=E⃞-1IR,(m)l2,me[1,M].第三，找出最大能量和所在的列mm该列所表征的距离单元即为被试到疲劳检测系统之间的距离。第四，从矩阵Q中提取其第H[0070](3-1)特征计算。计算滑动检测窗口内呼吸和心率信号的特征。其具体操作流程间特征；其次，采用混合注意力模块(该模块由自注意力模块和空间注意力模块两部分组(无视频特征输出，删除滑动检测窗口内视频数据)基于毫米波雷达特征进行疲劳检测；(ii)若毫米波存在异常(如被试在测试过程中持续性晃动或存在其他强干扰Transformer模型，基于注意力机制分别筛选滑动检测窗口及其子窗口相关合并特征。其其中准确率值和AUC面积越大，识别的效果越好；混淆矩阵显示具体每种类别的预测准确测试、另一次为非疲劳状态下测试)。每次测试前，被试均需填写卡罗林斯卡嗜睡量表