CN114970321B 一种基于动态轨迹流的场景流数字孪生方法及系统 （长安大学）

一种基于动态轨迹流的场景流数字孪生方本发明公开了一种基于动态轨迹流的场景2对道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟道基于目标耦合关系模型与真实道路布局构建交通基于交通力约束模型和道路布局交通语义网格编码矢量基于交通力耦合关系约束的长短时记忆轨迹预测网络，对目标的运动轨迹进行预测，基于轨迹提取和语义辨识以及预测的运动轨迹，对中观层面交通所述基于交通场景中的其他目标对某一目标产生的基于径向核函数建立目标间作用力，通过目标类型及目标间距离建立目标间影响权交通力为目标间耦合关系与真实道路布局对目标形成的共同作为辨识子网络所给出的运动目标类型，用于表达相同道路布局对不同类型目标影响的差所述检测跟踪一体化多模态融合感知增强网络包括多模态融合感知增强模块和检测3所述分辨率注意力增强模块用于学习不同模态信息的不所述特征融合增强模型通过定义特征关联张量池，将各个模态卷积所述检测跟踪一体化网络包括主网络与三个子网络；所述主网络为3D参所述三个子网络分别为运动推理子网、驾驶行为辨识子网和遮挡识别遮挡识别子网用于对目标遮挡部位进行识别。道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟道路布局基于交通场景中道路拓扑结构与交通参与目标运行轨迹的耦合关构建真实场景参数化的虚拟道路布局顶视图提取级联网基于真实交通场景图像与训练后的虚拟道路布局顶视图提取级联网络的像素空间映根据交通场景内主道始终点位置以及辅道距离、线形和位置道路交叉关系的拓扑属所述构建真实场景参数化的虚拟道路布局顶视图提取级联网络，采集道路交通的RGB图像，并通过语义分割网络对道路交通的RGB图像分别对真实道路语义顶视图和模拟道路顶视图进行特征提取，基于虚实结合混合训其中，LSUP表示真实数据监督下的损失函数，表示模拟数据下监督下的损失函r和λs表示了真实数据和模拟数据重要性权值。4于真实交通场景图像与训练后的虚拟道路布局顶视图提取级联网络的像素空间映射关系，根据运动目标类型与虚拟道路布局顶视图给出的道路布局语义编将其他交通目标对被预测目标的影响与道路布局对被预测目标额度作用力进行拼接，于轨迹提取和语义辨识以及预测的运动轨迹，进行中观层面交通态势的时序演变规律建将真实交通场景中的目标历史轨迹和预测的运动轨迹还原到实际交通运行环境的虚所述时序演变规律建模具体为：根据轨迹、速度以及交通力约所述虚拟实体为将高度参数化仿真道路布局顶视图导入三维仿真工具生成道路场景第一构建模块，所述第一构建模块用于构建检测跟踪一体化多模态融合感知增强网提取模块，所述提取模块用于对道路交通语义进行提取得到与真实交通获取模块，所述获取模块基于虚拟道路布局顶视图，获取道路布第二构建模块，所述第二构建模块基于交通场景中的其他目标对某一目标产生的影5第三构建模块，所述第三构建模块基于目标耦合关系模型与轨迹预测网络构建模块，所述轨迹预测网络构建模块基于交通力约束预测模块，所述预测模块基于交通力耦合关系约束的长短时数字孪生模块，所述数字孪生模块基于轨迹提取和语义辨识以及中观层面交通态势的时序演变规律建模，获取基于真实目标动态轨迹流的场景流数字孪所述基于交通场景中的其他目标对某一目标产生的基于径向核函数建立目标间作用力，通过目标类型及目标间距离建立目标间影响权交通力为目标间耦合关系与真实道路布局对目标形成的共同作6可实现特殊工况下车辆的完全控制)预计在未来五年内实现。高级驾驶辅助系统(ADAS)作件的不确定性给视觉感知精度及算法鲁棒性[0009]构建检测跟踪一体化多模态融合感知增强网络，对目标语义轨迹进行提取与辨[0010]对道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚7[0018]构建检测跟踪一体化多模态融合感知增强网络，对目标语义轨迹进行提取与辨[0019]所述检测跟踪一体化多模态融合感知增强网络包括多模态融合感知增强模块和遮挡识别子网用于对目标遮挡部位进行识别。[0024]道路交通语义进行提取得到与真实交通场景具有映射关系的高度参数化的虚拟[0027]基于真实交通场景图像与训练后的虚拟道路布局顶视图提取级联网络的像素空通语义高度参数化，通过虚实结合混合训练参数化的虚拟道路布局顶视图提取级联网络，8[0031]采集道路交通的RGB图像，并通过语义分割网络对道路交通r和λs表示了真实数据和模拟数据重要性权值。[0038]基于真实交通场景图像与训练后的虚拟道路布局顶视图提取级联网络的像素空[0040]所述检测跟踪一体化网络所提供的真实交通场景中的目标历史轨迹为获取的轨i,当t时刻下，交通场景中的其他目标对某一目标i产生的9[0054]将其他交通目标对被预测目标的影响与道路布局对被预测目标额度作用力进行[0055]将被预测目标自身历史运动状态与所有交通力拼接，进入LSTM网络进行时序建[0057]将真实交通场景中的目标历史轨迹和预测的运动轨迹还原到实际交通运行环境[0061]所述虚拟实体为将高度参数化仿真道路布局顶视图导入三维仿真工具生成道路[0069]预测模块，所述预测模块基于交通力耦合关系约束的长短时记忆轨迹预测网络，[0070]数字孪生模块，所述数字孪生模块基于轨迹提取和语义辨识以及预测的运动轨遮挡识别子网用于对目标遮挡部位进行识别。模态融合的检测跟踪一体化端对端网络，该网络可以在跟踪器中隐式地检测出目标对象，[0103]基于真实交通场景图像与训练后的虚拟道路布局顶视图提取级联网络的像素空r和λs表示了真实数据和模拟数据重要性权值。[0115]提出虚实结合混合训练的高度参数化道路布局顶视图提取网络。通过真实RGB图[0116]基于真实交通场景图像与训练后的虚拟道路布局顶视图提取级联网络的像素空[0118]所述检测跟踪一体化网络所提供的真实交通场景中的目标历史轨迹为获取的轨[0134]将其他交通目标对被预测目标的影响与道路布局对被预测目标额度作用力进行[0135]将被预测目标自身历史运动状态与所有交通力拼接，进入LSTM网络进行时序建[0138]将真实交通场景中的目标历史轨迹和预测的运动轨迹还原到实际交通运行环境[0141]其中，与vf分别表示在t时刻目[0142]所述虚拟实体为将高度参数化仿真道路布局顶视图导入三维仿真工具生成道路[015