CN119475259A 疲劳驾驶检测模型的训练方法、疲劳驾驶检测方法及装置 （中电信数字城市科技有限公司）

本发明提供了一种疲劳驾驶检测模型的训似度以及驾驶员状态对疲劳驾驶检测模型进行2基于深度卷积神经网络提取所述红外图像和所述音频信号的基于所述红外图像样本和所述声谱图样本的相似度以及所述驾驶员状态对疲劳驾驶将所述红外图像和所述音频信号进行同步处理，并获取同步后基于所述红外图像的特征向量和所述音频信号的特征向量计算所述红外图像样本和确定所述无向图的初始节点特征矩阵，并基于所述初始节点特基于所述红外图像样本和所述声谱图样本的相似度构将所述第一损失函数和所述第二损失函数的和确定为目标损失函数3将与所述红外图像样本的驾驶员状态相同且相似度最高的声谱图样本确定为正样本，并将与所述红外图像样本的驾驶员状态不同且相似度最高的声谱基于所述红外图像样本与所述正样本和所述负样本之间的相似度构建第二损失函数；基于深度卷积神经网络提取所述实时红外图像和所述实时音频将所述实时红外图像和所述实时音频信号的特征向量输入到预先训练好的疲劳驾驶第一特征提取模块，用于基于深度卷积神经网络提取所模型训练模块，用于基于所述红外图像样本和所述声谱图样本的相第二特征提取模块，用于基于深度卷积神经网络提取所述实疲劳驾驶检测模块，用于将所述实时红外图像和所述实时音频信号的特征向4理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求15[0001]本发明涉及机器学习技术领域，尤其是涉及一种疲劳驾驶检测模型的训练方法、6wij表示节点i和节点j之间的权重，Rj为用于提升红外图像样本和声谱图样本之间相像和实时音频信号；基于深度卷积神经网络提取实时红外图像和实时音频信号的特征向量；将实时红外图像和实时音频信号的特征向量输入到预先训练好的疲劳驾驶检测模型78[0031]在一种实施方式中，首先通过红外摄像头以预设采样速率采集驾驶员的红外图t采集的一帧红外图像与对应麦克风阵列采集的t_1s到当前时刻t的1s音频信号为一组数9种不同模态下的疲劳驾驶检测精度，本实施例中提出了一种自适应联合图嵌入优化方法，前述自适应联合图嵌入优化方法和负样本发掘策略对疲劳驾驶检测模型进行优化训练即相似度以及驾驶员状态对疲劳驾驶检测模型进行训练时，可以采用包括但不限于以下方步骤（1基于红外图像的特征向量和音频信号的特征向量计算红外图像样本和[0041]在具体实施时，首先基于声谱图样本和红外图像样本的相似度构建一个无向图驶员状态的红外图像样本或声谱图样本的相似度。或者同属于非疲劳状态则在节点vi和vj之间建立一条边ejeE，并使用余弦相似度来计算边的权重wij。[0047]其中，H(+1)表示第l+1层的节点特征矩阵，表示第l层的节点特征矩阵，wij表示节点i和节点j之间的权重，Rj为用于提升红外图像样本和声谱图样本之间相[0054]本发明实施例中，可以通过最小化图卷积网络的损失函数来优化节点的嵌入表首先，使用余弦相似度计算红外图像模态A中的样本zi,a本zj,B的相似度：zj,B作为负样本zhard,i（即将与红外图像样本的驾驶员状态不同且相似度最高的声谱图[0065]本发明实施例中，最终的目标损失函数将负样本挖掘损失与跨模态对比损失结得到红外图像模态A的嵌入zi,a。到声谱图模态B的嵌入zi,B。合嵌入空间模块分别进行自适应联合图嵌入优化和[0076]本发明还提供了一种疲劳驾驶检测方法，参见图3所示的一种疲劳驾驶检测方法[0077]步骤S302：基于深度卷积神经网络提取实时红外图像和实时音频信号的特征向[0079]本发明提供的上述疲劳驾驶检测方法，利用疲劳驾驶检测模型进行疲劳驾驶检驾驶检测模型的训练装置，参见图4所示的一种疲劳驾驶检测模型的训练装置的结构示意第一特征提取模块402，用于基于深度卷积神经网络提取红外图像和音频信号的模型训练模块403，用于基于红外图像样本和声谱图样本的相似度以及驾驶员状第二特征提取模块502，用于基于深度卷积神经网络提取实时红外图像和实时音疲劳驾驶检测模块503，用于将实时红外图像和实时音频信号的特征向量输入到[0084]本发明提供的上述疲劳驾驶检测装置，利用疲劳驾驶检测模型进行疲劳驾驶检理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器