CN117022305B 人因智能驾驶行为预测方法、系统、终端设备及存储介质 （北京津发科技股份有限公司）

请求不公布姓名请求不公布姓名维骨干网络层对上述多尺度三维特征进行分析释层和驾驶行为推理层对上述目标特征进行文2对所述生理信号进行快速傅里叶变换，生成对应的幅频特性，并获取根据所述采集频率的周期对所述生理信号进行多周期分解，生成对应根据多元时序数据编码层分别对所述数据分解结果样本进行二维根据车辆道路场景视频帧预测层对车辆道路场景根据多模态同步数据融合层对所述二维空间数据、所述目标连续帧根据三维骨干网络层对所述多尺度三维特征进行特征分析处理，根据人因智能驾驶行为解释层和人因智能驾驶行为推理层分别对所述目标输出特征获取所述三维骨干网络层中对应的三维特征分割获取所述三维骨干网络层中对应的线性编码3空间拓展模块(4)，用于根据多元时序数据编码层分别对所述数据分解结果样本进行预测模块(5)，用于根据车辆道路场景视频帧预测层对车辆道路场景视频对应的目标特征分析模块(7)，用于根据三维骨干网络层对所述多尺度三维特征进行特征分析处行为解释推理模块(8)，用于根据人因智能驾驶行为解释层和人因智能驾驶行为推理求1至7中任一项所述的一种人因智能驾驶行4[0003]Transformer模型是一种基于自注意力(Self_Attention)机制的深度学习模型，实际中的应用；(3)基于Transformer的端到端智能座舱模型会根据不同传感器的数据特5[0010]根据车辆道路场景视频帧预测层对车辆道路场景视频对应的目标连续帧进行预输出特征；根据驾驶行为解释层和驾驶行为推理层分别对所述目标输出特征进行分析处对应的第二目标特征，所述VideoSwinTransformerblocks操作对应模型中的MPL层为16半，同时可将多尺度三维特征的通道数扩展为原来的两倍，以及执行VideoSwin[0037]多周期分解模块，用于根据所述采集频率的周期对所述生理信号进行多周期分空间拓展模块对车辆驾驶人生理数据进行采集分析，可以更准确地了解驾驶人的生理状7件还未发生的条件下进行人因智能驾驶行为预测，而不是等待事件发生后进行分类和预[0051]图1是本申请一种人因智能驾驶行为预测方法中步骤S101至步骤S108的流程示意[0053]图3是本申请一种人因智能驾驶行为预测方法中步骤S201至步骤S202的流程示意8[0054]图4是本申请一种人因智能驾驶行为预测方法中步骤S301至步骤S302的流程示意[0063]S103.根据采集频率的周期对[0064]S104.根据多元时[0065]S105.根据车辆道路场景视频帧预测层对车辆道路场景视频对应的目标连续帧进[0066]S106.根据多模态同步数据融合层对[0067]S107.根据三维骨干网络层标输出特征；S108.根据驾驶行为解释层和驾驶行为推理层分别对目标输出特征进行分析9对应的幅频特性，并标记X1对应幅频特性中符合预设振幅频率选取标准的采集频率为K1m，X2的预设振幅频率选取标准为选取X2对应的振幅最大的前MX3的预设振幅频率选取标准为选取X3每个分量对应的振幅最大的前M个频率分别记为：其中包括第一个采集通道对应的前M个采集频率K311、1对应预设振幅频率选取标准中M的设期的成分来得到的，每个样本中的数据表示了相应周期的信号成分在原始信号中的贡献。景视频帧预测层对车辆道路场景视频对应的目标连续帧Ii和Ii+1进行预测，生成对应的迭型参数的集合，车辆道路场景视频帧预测模型使得预测的下一帧Ii+2与数据集中的真实地中的真实下一帧视频帧Ii+2与预测下一帧视频帧I得预测的下一帧视频帧Ii+2与真实的下一帧视频帧之间[0095]在步骤S107中，可根据三维Transformer骨干网络层对上述得到的多尺度三维特[0097]在实际应用中，三维Transformer首先会通过自注意力机制(Self_Attention多层的全连接网络和规范化层对编码后的特征进行进一步的并且驾驶人的心率正在上升，那么驾驶行为推理层可能会推理出“驾驶人可能会紧急刹数设为6的整除，那么可以利用并行计算的优势，更好地使用swinTransform中的网络架[0117]具体地，前三维H×W×3定义了每一个帧的大小和格式，即每个帧包含H×W个像[0122]S202.根据三维特征分割规则，[0123]在步骤S201至步骤S202中，据上述可知，三维骨干网络层具体可设置为三维深度相机捕获的三维点云，或者一个由某种机器学习模型生成的三维特征地图)分割成多规则，将多尺度三维特征划分为H/4×W/4×((2+N+5×3)/6)个子特征之后还包括以下步[0131]在步骤S301至步骤S302中，三维Transformer骨干网络层还包括线性编码规则对[0132]在本实施方式中，根据上述线性编码操作将三维特征分割操作后得到的每个[0135]本实施方式提供的人因智能驾驶行为预测方法，将高维特征映射到低维向量C有的第二目标特征，VideoSwinTransformerblocks操作对应模型中的MPL层为1×1卷积SwinTransformerblocks操作，这有助于模型从不同的角度和尺度提取出更丰富和复杂[0152]空间拓展模块4，用于根据多元时序数据编码层分别对数据分解结果样本进行二[0153]预测模块5，用于根据车辆道路场景视频帧预测层对车辆道路场景视频对应的目[0156]行为解释推理模块8，用于根据驾驶行为解释层和驾驶行为推理层分别对目标输与上述任意一种人因智能驾驶行为预测方法的逻辑功能或逻辑步骤所对应的各个模块和/用其他通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列也可以为终端设备的外部存储设备，例如，终端设备上配备的插接式硬盘