CN117818632B 基于多模态数据的驾驶人员的驾驶状态预测方法和装置 （北京津发科技股份有限公司）

请求不公布姓名请求不公布姓名基于多模态数据的驾驶人员的驾驶状态预本发明公开了一种基于多模态数据的驾驶员的驾驶状态预测方法结合驾驶人员的生理状高驾驶状态的预测准确性，从而提高驾驶安全2基于所述初始预测结果和车辆行驶数据，得到针对车辆的驾驶状态的目标预测结果，所述基于所述初始预测结果和车辆行驶数据，得到针对车辆的确定车辆当前横向行驶速度是否小于等于预设速度阈值，在所述横向速度值小于等于预设速度阈值的情况下，基于在所述初始预测结果和所述横向速度偏移信息均表示驾驶状态为风险驾驶的情况下，所述初始预测结果表征了在驾驶过程中驾驶人员是否分心，所述目基于所述初始横向速度偏移值和平滑系数，确定所在所述第二横向速度偏移值处于风险置信区间的情况下基于所述运动学信息的真实值和所述运动学信息的预测值，得到运在所述第一横向速度偏移值大于预设速度偏移阈值基于与所述多个空间状态模型对应的权重，对所述多个预测值进3在所述初始预测结果表示目标数量个时间段内的所述驾驶人员的驾驶状态为风险驾述目标数量确定风险驾驶级别，其中，所述目标数量与风险驾驶级别的级数成正相关将所述眼动数据和所述脑电数据中的至少之一，输入训练好去除所述眼动数据中表示扫视角速度大于预设角对多通道的脑电数据进行平均得到均值，保留每个通道的脑电数据与均值之间的差去除所述脑电数据中因眨眼或肌体运动造成在所述目标预测结果表征车辆处于风险驾驶状态时，将车辆的在所述舒适度信息表征所述驾驶人员的舒适等级小于预设等级驶模式从所述自动驾驶模式切换为辅助驾驶模式或者在车辆基于所述自动驾驶模式行驶的情况下，采集驾驶人414.一种基于多模态数据的驾驶人员的驾驶状态预测装置，所述装置应用于权利要求第一获得模块，用于基于驾驶人员的生理状态数据，得第二获得模块，用于基于所述初始预测结果和车辆行驶数所述处理器执行所述计算机程序时实现权利要求1_13中任一项所述的方被处理器执行时实现权利要求1_13中任一项所述的5[0003]本申请实施方式旨在至少在一定程度上解决相关技术中6预测结果表征了在驾驶过程中是否因为驾驶人员分心导致车辆驾7[0022]本申请另一实施方式提供一种基于多模态数据的驾驶人算机程序被处理器执行时实现上述任一项实施方式[0025]本申请另一实施方式提供一种计算机程序产品，所述计算机程序产品中包括指[0027]图1为本申请实施方式提供的基于多模态数据的驾驶人员的驾驶状态预测方法的[0034]图8为本申请实施方式提供的基于多模态数据的驾驶人员的驾驶状态预测装置的8如，可以通过搭建用于检测驾驶人员疲劳状态的长短期记忆网络(LongShort_Term构建模拟驾驶实验设计不同驾驶场景，通过驾驶人员的刹车反应时间来评价注意力状态，[0042]在一示例中，随着计算机硬件的不断发展和大批量的驾电的功率谱和驾驶场景结合作为输入特征，结合支持向量机(SupportVectorMachine，散检测模型。例如，可以提取脑电数据的频域特征，并基于主成分分析(PrincipalComponentAnalysis，PCA)降低特征维度，将降维后的特征分别输入最大高斯似然估计9[0043]可以理解，通过驾驶人员驾驶分心监测系统对驾驶人员驾驶状态进行监测和预数据，并把监测信息反馈给先进驾驶辅助系统(AdcanceDriverAsistanceSystem，[0045]图1是本发明一个实施例的基于多模态数据的驾驶人员的驾驶状态预测方法的流状态信息，采集的驾驶人员的生理状态信息在一定程度上能够反映驾驶人员的注意力信一个模块可以用于获取不同分心状态下的生理状态数据，作为训练集数据进行模型训练，送至第一个模块所训练好的认知分心分类模型中进固定滤波器(VelocityThresholdIdentificationfixationfilter，I_VT)提取注视和45Hz，即去除超出该波段的信号。再通过主成分分析(IndependentComponent结果表征了在驾驶过程中是否因为驾驶人员分心移信息进行判断的结果同样也是风险驾驶时，则针对驾驶状态的目标预测结果为风险驾[0073]S402，在初始预测结果和横向速度偏移信息均表示驾驶状态为风险驾驶的情况横向速度值，若初始预测结果和横向速度偏移信息均表示驾驶状态为风险驾驶的情况下，差包括上文中的车辆位置预测错误率)，将预测得到的下一时刻的预测值与采集得到的真_1表示截至t_1时刻时所有q维车辆运动预测t时刻车辆运动学信息的预测值，记预测得到的t时刻运动学信息的预测值为(到第一横向速度偏移值。速度(ConstantTurnRateandVelocity，CTRV)、恒转弯率和加速度(ConstantTurnRateandAcceleration，CTRA)、恒转向角和速度(ConstantSteeringAngleandVelocity，CSAV)以及恒曲率和加速度模型(ConstantCurvatureandAcceleration，个不同状态下该车道位置偏差的加权平均值得到公式(2)中的为正方向上的第i个时间窗口的第一横向速度偏移值，是正方向上的第0个时间窗口的第一横向速度偏移上的第一横向速度偏移值和负方向上的第一横向速度偏移值当第一横向速度偏移值大于预设速度偏移阈值的情况包括正方向上的第一横向速度偏移值和负方向上的第一横向速度偏移值中至少一者大于预设速度偏移阈值的情况。预设速度偏移阈值可设括第二横向速度偏移值；基于多模态数据的驾驶人员的驾驶状态预测方法还包括S701_度值得到初始横向速度偏移值，初始横向速度偏移值是由多个窗口内的横向速度值得到。Di＝1：表示第i个时间窗口对应的预测标签结果为1(第i个时间窗口中的生理状态数据表果为1(第i个时间窗口和第i_1个时间窗口的生理状态数据表示驾驶人员均为分心状态)，且横向速度偏移信息表示驾驶状态为风险驾驶的情况下，ADAS系统预警风险驾驶等级二模态数据的驾驶人员的驾驶状态预测方法可结合驾驶人员的生理状态数据和车辆行驶数人员进行操作驾驶，辅助驾驶模式可以在自动驾驶模式的基础上由驾驶人员进行辅助驾表征了在驾驶过程中是否因为驾驶人员分心导致车辆[0150]示例性地，第一切换模块还用于在目标预测结果表征车员的生理信息和车辆行驶信息中的至少一个；基于生理信息和车辆行驶信息中的至少一程序被处理器执行时实现上述任一项实施方式中的程序，处理器执行计算机程序时实现上述基于多模态数据的驾驶人员的驾驶状态预测方的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信驶人员的驾驶状态预测方法可被实现为计算机软件程序，其被有形地