CN119416003B 一种基于多模态融合的驾驶状态识别方法及系统 （山东科技大学）

一种基于多模态融合的驾驶状态识别方法发明通过非侵入性的生理手环采集驾驶员的手重要性能够根据不同驾驶状态发生调整，利用Transformer模块实现不同模态数据的深度交互2驾驶绩效数据则是由车辆的踏板传感器和惯性导航步骤2.针对预处理后的多模态数据进一步进行特征提取，并通过Friedman检验和每个输入LSTM模块的特征，在LSTM模块中都会经历时序建模过程，LSTM模块将每个特征在不同时间步的隐藏状态向量输出；将L将四类隐藏状态向量输入交叉注意力机制模块，交叉注意力机制将交叉注意力机制模块的输出特征输入Transformer模块，进一步利用Trans融合后的全局特征Zfinal上，进行特征加个特征的时序模式中学习驾驶员在不同行为状态下3步骤II.从计算得到的四个查询矩阵Q中任取一个查询矩阵Q，并且从计算得到的四个键矩阵K中选择一个与上述查询矩阵Q特征来源不同的交叉注意力机制利用选出的查询矩阵Q和键矩阵K之间的其中查询矩阵Q与键矩阵K之间的点积表示它们之间的相似度，应用softmax来得到归将交叉注意力机制模块的输出特征Zfusion输入到Transformer模块，最后通过softmax函数得到注意力分布A,，使其成为一个概率分布，表示每个特征的重要首先用输入特征样本均值生成一个初始模型，初始模型看作4i决策树的构建从根节点开始，依次选取特征和分裂点，通过增新的决策树被构建出来用于拟合残差，每一棵新增的树都会通过分"=""+n·f(x):k所述步骤4中，定义损失函数，XGBoost使用目标函数来衡量预测值与真5各个手腕运动信息特征分别为X轴加速度平均值、X轴加速度标准差、Y轴加速度平均非侵入性生理手环用于采集生理、心理信号数据和手腕运动信所述存储器中存储有可执行代码，当所述处理器执行所述可执行代码权利要求1至9任一项所述基于多模态融合的驾驶状态识67[0013]步骤2.针对预处理后的多模态数据进一步进行特[0014]步骤3.搭建特征动态加权模型征的时序模式中学习驾驶员在不同行为状态89[0049]步骤2.针对预处理后的多模态数据进一步进行特验和Bonferroni修正，从特征提取结果中筛选出在不同驾驶状态下具有显著性差异的特正常驾驶和疲劳驾驶，在疲劳驾驶状态时，meanEDA、medianEDA、maxEDA、trimeanEDA、不良驾驶状态之间存在差异，进一步说明EDA特征在识别不良驾驶状态的有效性。使用Bonferroni法进一步两两比较显示，除了meanEDA和medianEDA中正常和疲劳以及minEDA、[0066]对于驾驶绩效特征，Friedman检验表示在分心驾驶状态时，除了ya_mean、xa_显著差异。V_std和SWA_std在分心驾驶状态时的值大于正常驾驶和疲劳驾驶，使用通过Friedman检验和Bonferroni修正，筛选出在不同驾驶状态下具有显著性差异的特征。征间的关联性并根据特征状态变化实时调整特征的[0074]Transformer模块的多头自注意力机制，用于实现不同模态数据的深度交互和特征的时序模式中学习驾驶员在不同行为状态每个特征的时序模式中学习驾驶员在不同行为状态[0085]LSTM的输出是每个时间步的隐藏状态hmu，它保留了时间序列中的动态变化信[0091]将LSTM模块输出的四类隐藏状态向量，即四类特征均输入交叉注意力机制模块[0092]Cross_Attention模块首先会对四类特征进行交互处理，具体而言是将不同模态[0096]交叉注意力机制利用选出的查询矩阵Q和键矩阵K之间的相似度来计算注意力权[0097]其中查询矩阵Q与键矩阵K之间的点积表示它们之间的相似度，应用softmax来得vn=whnt。km、vnr分别表示查询矩阵Q来自[0101]Cross_Attention模块通过计算查询矩阵和键矩阵之间的相似度来计算注意力权[0102]查询矩阵Q与键矩阵K之间的点积表示了它们之间的相似度。应用softmax来得到其中融合特征znaon的表达形式为：znaon=concat(zm-m,zmr-nr,zm-ma…)。[0115]Cross_Attention模块能够有效地计算多个模态之间的注意力权重，动态调整每B[0132]X'=XOW。[0133]其中表示原始特征值，表示加权后的特征值，[0134]通过LCA_Transformer模型，系统能够根据驾驶员状态的变化动态调整各特征的每一轮树的训练都会根据上一轮的残差进行调整，学习不同特征的贡献。在训练过程中，XGBoost会评估每个特征对分类结果的影响，较重要的特征会在树的分裂节点上得到更大[0153]增益函数Gain的计算公式为：[0156]增益表示分裂后对损失函数的优化程度，模型会选择增益最大的特征及其分裂驶；表示样本属于类别j的得分，表示样本在类别k上的得分；通过Softmax函数，变化可能影响疲劳驾驶的区分，目标函数的优化能够捕捉这些特征对分类任务的实际贡[0173]本发明通过多模态特征的综合分析和XGBoost分类模型的优化，能够高效且准确[0181]本实施例2述及了一种基于多模态融合的驾驶状态识别系统，包括传感设备以及化驾驶体验以