CN116229448B 三维目标检测方法、装置、设备及可读存储介质 （东风汽车股份有限公司）

设备及可读存储介质，包括基于DORN算法对RGB图像进行处理得到深度估计图及其预测目标中目标中心点深度值对预设神经网络模型进行训失函数用于约束回归二维包围框与三维框的关2测模型中的损失函数用于约束回归二维包围框与三2表示权重，表示SmoothL1损失函数，表示预测目标中心点深度值，[zl,表示真实目标中心点深度值；支特征提取网络和下支卷积核生成网络，所述上支特征提取网络包括改进后的ResNet_503.如权利要求2所述的三维目标检测方法，其特将所述RGB图像作为改进后的ResNet_50网络的输入，改进后的ResNet_50网络中的卷积模块基于所述RGB图像和所述深度特征所述深度引导卷积模块对所述深度特征图和所述上支特征图进行融基于所述融合特征图和所述预测目标中心点深度值对所述RPN网络进行三维目标检测32表示权重，表示SmoothL1损失函数，表示预测目标中心点深度值，[zl,表示真实目标中心点深度值；支特征提取网络和下支卷积核生成网络，所述上支特征提取网络包括改进后的ResNet_508.一种计算机可读存储介质，其特征在于：4是自动驾驶前提，其采集数据的精度和效率直接影响行为决策系统和运动控制系统的操知层将向行为决策层提供目标物体在路面上的真法模型鲁棒性较差且正确性较低，从而造成感知结果特别是针对于远处目标以及小目标[0007]通过RGB图像、深度估计图以及预测目标中心点深度值对预设神经网络模型进行标检测模型中的损失函数用于约束回归二维包围框与三维框的关[0010]一些实施例中，所述改进后的ResNet_50网络包括由残差模块构成的4个卷积模5[0013]将所述RGB图像作为改进后的ResNet_50网络的输入，改进后的ResNet_50网络中[0015]基于所述融合特征图和所述预测目标中心点深度值对所述RPN网络进行三维目标6决相关技术中3D目标检测算法模型鲁棒性单目图像(即RGB图像)进行处理，生边界框，其扩展包nuScenes_lidarseg中的40000个点云和1000个场景(即包括用于训练和73D标注物体的图像组成，对于3D目标检测，标签细分为car、van、truck、pedestrian、[0045]进一步的，所述预设神经网络模型包括上支特征提取网络和下支卷积核生成网括上支特征提取网络和下支卷积核生成网络，而上支特征提取网络主要包括改进后的训练得到。[0051]将所述RGB图像作为改进后的ResNet_50网络的输入，改进后的ResNet_50网络中[0053]基于所述融合特征图和所述预测目标中心点深度值对所述RPN网络进行三维目标8[0055]将RGB图像作为改进后的ResNet_50网络的输入，经过改进后的ResNet_50网络处为c2的上支特征图F2；然后再将上支特征图F2和深度特征图H2输入至改进后的ResNet_50[0057]然后将预测目标中心点深度值作为深度损失分支以及融合特征图输入至RPN网[0058]本实施例将faster_RCNN的2D_3D单级检测作为检测头，对RPN网络所输出的特征虑实例目标3D信息与图像中二维包围框之间存在的几何约束关系，为提高RPN网络对3D候选框的正确率，将利用下支卷积核生成网络中的深度图实例目标中心点Z值输入RPN网络9[0080]进一步的，所述预设神经网络模型包括上支特征提取网络和下支卷积核生成网[0081]进一步的，所述预设神经网络模型包括上支特征提取网络和下支卷积核生成网述下支卷积核生成网络包括由残差模块构成的3个[0085]将所述RGB图像作为改进后的ResNet_50网络的输入，改进后的ResNet_50网络中[0087]基于所述融合特征图和所述预测目标中心点深度值对所述RPN网络进行三维目标[0097]存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘、智能存储卡计算机存储器、只读存储器(Read_Onlymemory，ROM)、随机存取存储器(RandomAccess计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产在流程图一个流程或多个流程和/或方框