CN114723955B 图像处理方法、装置、设备和计算机可读存储介质 （上海人工智能创新中心）

取车辆上多个不同视角的采集装置所捕获的多合时序特征和空间特征生成当前时刻的鸟瞰图过考虑当前时刻的空间信息和上一时刻的历史前时刻的鸟瞰图特征能够支持多个不同的感知2获取车辆上多个不同视角的采集装置所捕获的多个视角图像，根据预设的鸟瞰图询问向量，从所述上一时刻的鸟瞰图特征提取时所述根据预设的鸟瞰图询问向量，从所述上一时刻的鸟瞰图特征提取在所述预设的鸟瞰图询问向量和所述上一时刻的鸟瞰图在所述多个视角图像特征中，对所述第一鸟瞰图询问向量中二维位所述在所述多个视角图像特征中，对所述第一鸟瞰图询问向量中二将所述第一鸟瞰图询问向量中的每个二维位置点，转化为多个三根据所述内参矩阵和所述外参矩阵，将所述各个二维位置点对应的多个三维空间点，根据所述各个二维位置点的多个投影点，在所述多个视角图像特征中进行密集采样，根据所述车辆的运动状态，将所述上一时刻的鸟瞰图特征与所述预对所述预设的鸟瞰图询问向量中各个位置点预测两组偏移量，第根据所述两组偏移量，在所述预设的鸟瞰图询问向量和所述第一鸟将所述各个位置点对应的多个采样点，在所述预设的鸟瞰图询问向33.根据权利要求2所述的方法，其特征在于，所述采样点包括第一采样点和第二采样所述根据所述两组偏移量，在所述预设的鸟瞰图询问向量和所述第根据所述各个位置点和所述第一组偏移量，在所述预设的鸟瞰根据所述各个位置点和所述第二组偏移量，在所述第一鸟瞰图4.根据权利要求3所述的方法，其特征在于，所述将所述各个位置点对应的多个采样根据所述各个位置点对应的多个所述第一采样点和所述预设的鸟根据所述各个位置点对应的多个所述第二采样点和所述第一鸟将所述各个位置点的第一图像特征和所述各个位置点的第二图像特征进行将所述各个位置点的融合特征作为所述第一鸟根据所述各个位置点对应的多个所述第一采样点，在所述预设的根据多个所述第一采样点的预设权重，将所述各个位置点对应的根据所述各个位置点对应的多个所述第二采样点，在所述第一鸟瞰图特征中提取特根据多个所述第二采样点的预设权重，将所述各个位置点对应的将初始时刻的鸟瞰图询问向量作为初始时刻根据所述初始时刻的鸟瞰图询问向量，从所述初始时刻的鸟瞰4针对每个二维位置点，根据所述各个投影点的位置信息，确根据所述各个投影点对应的采样范围，在所述各个投影点对应的将对应于同一个二维位置点的投影点的图像特征进行融合，得到将以所述各个投影点为中心构成的几何范围，确定为所述各个投影点对应的采样范在所述预设的鸟瞰图询问向量和所述上一时刻的鸟瞰图在所述多个视角图像特征中，对所述第一鸟瞰图询问向量中二维位对所述目标鸟瞰图询问向量进行预设信息加强，结合所述目标鸟瞰图询问向在所述多个视角图像特征中，对所述预设的鸟瞰图询问向量中在所述第二鸟瞰图询问向量和所述上一时刻的鸟瞰图特征5将所述预设的鸟瞰图询问向量中的每个二维坐标点，转化为多个根据所述内参矩阵和所述外参矩阵，将所述各个二维坐标点对应的多个三维空间点，根据所述各个二维坐标点的多个投影点，在所述多个视角图像特征中进行密集采样，根据所述车辆的运动状态，将所述上一时刻的鸟瞰图特征与所对所述第二鸟瞰图询问向量中各个坐标点预测第三组偏所述第二鸟瞰图特征中所述该坐标点对应的多根据所述第三组偏移量和所述第四组偏移量，分别在所述第二将所述各个坐标点对应的多个采样点，在所述第二鸟瞰图询问向量根据所述当前时刻的鸟瞰图特征进行至少两个感知任务预测获取模块，用于车辆上多个不同视角的采集装置所捕获的多个生成模块，用于根据预设的鸟瞰图询问向量，从所述上一时刻对应于所述当前时刻现实场景中距离所述车辆预预测模块，用于根据所述当前时刻的鸟瞰图特征进行感知任所述生成模块，还用于在预设的鸟瞰图询问向量和上一时刻的鸟瞰图特6所述生成模块，还用于对所述多个视角图像进行特征提取，得到处理器，用于执行所述存储器中存储的可执行计算机程序时，实现权利要求7问向量对应于所述当前时刻现实场景中距离所述车辆预设范围的三维物理世界；预测模8本申请实施例提供的方案，获取车辆上多个不同视角的采集装置所捕获的多个视角图像，[0024]图12B为本申请实施例提供的另一种多种感知任务可视化结果的示例性的示意[0025]图12C为本申请实施例提供的另一种多种感知任务可视化结果的示例性的示意9说明，示例一、一阶全卷积目标检测(FullyConvolutionalOne-StageObjectDETR(Transformersforend-to-endobjectdetection)三维检测器是基于DETR的原理，[0036]相关技术中地图语义分任务是在鸟瞰图视角下识别出周围的道路和车道线等信过为每个像素点预测出深度分布，从而将二维平面上的像素点通过相机参数(内参矩阵和可变性注意力机制的时空融合算法能够有效的结合时序信息和空间信息生成鸟瞰图特征。自动驾驶感知任务处理，可以对驾驶场景内的物体的运动速度和位置进行更加精确的估[0051]示例性的，在通过地图语义分割任务分支对鸟瞰图特征进行语义分割的任务处够同时让不同的感知任务共享鸟瞰图特征，每个感知任务只需要一个轻量级的任务卷积本申请实施例提供的另一种图像处理方法的可选的步骤瞰图询问向量和上一时刻的鸟瞰图特征中找到表征同样三维物理世界的相同位置点，例如，在预设的鸟瞰图询问向量和上一时刻的鸟瞰图特征中均表征同一个十字路口的位置过车辆的IMU获取从时刻t-1到时刻t车辆的运动状态，运动状态可以包括但不限于车辆在前后时刻产生的旋转和平移，其中，运动状态中的平移也可以通过全球定位系统(Global[0066]需要说明的是，本申请实施例中当前时刻和当前时刻的上一时刻之间的差值的1[0072]需要说明的是，一组偏移量中包括有多对偏移坐标(偏移[0089]S2015c、将各个位置点的第一图像特征和各个位置点的始时刻的鸟瞰图询问向量作为初始时刻的鸟瞰图特征；根据初始时刻的鸟瞰图询问向量，时刻的鸟瞰图特征用于进行下一时刻的鸟瞰图特征[0094]在本申请实施例中，上述当前时刻的鸟瞰图特征可以是视角图像特征进行空间特征提取(参见上述图3中S202的描述)，并对上一时刻的鸟瞰图特征进行时序特征提取(参见上述图3中S201的描述)，然后融合空间特征和时序特征生成当当的、能够用于进行空间信息提取和时序信息提取的神经网络(NeuralNetworks，NN)模经网络(ConvolutionalRecurrentNeuralNetwork，CRNN)、卷积神经网络[0096]在本申请实施例中，鸟瞰图特征生成器的结构可以包括自注意力层(Self-码结构或者DeformableDETR(DeformableTransformersforend-to-endobject行示意，在实际应用中包括多个视角图像)对应的多个视角图像特征，进行空间特征提取图特征用于进行时刻t的鸟瞰图特征的预测，时刻t的鸟瞰图特征用于进行时刻t+1的鸟瞰问向量作为初始时刻的鸟瞰图特征，其他步骤与上述图6中任意时刻的鸟瞰图特征的确定本申请实施例提供的又一种图像处理方法的可选的步骤23)和(x图9中仅是以每组三维空间点包括四个为例进行示例机中有四个坐标系，分别为世界坐标系(world)，相机坐标系(camera)，图像坐标系[0113]S2025、根据各个二维位置点的多个投影点，在多个视角图像特征中进行密集采得到该二维位置点的图像特征，将多个二维位置点的图像特征作为当前时刻的鸟瞰图特[0131]在本申请实施例中，通过各个投影点的位置信息对投影点的采样范围进行补增加高度值得到的多个三维空间点，以及多个投影点的采样范围(几何范围或多个采集络得到多个视角图像特征，以及通过可变性注意力机制的时空融合算法得到的鸟瞰图特[0140]在本申请实施例中，基于鸟瞰图特征的三维目标检测分过一个时序自注意力机制之后，将提取的时序特征结合鸟瞰图询问向量Q进行残差连接和了当前时刻的空间信息和上一时刻的历史时序信息的像特征的实现过程可参见上述图8的描述，图11中空间交叉注意力机制的实现过程可参见请实施例提供的一种多种感知任务可视化结果的示例性的示意图。图12A中示出了左前方出了左后方摄像头、后视摄像头和右后方摄像头所捕获的视角图像的真实结果和预测结[0147]示例性的，图12C中还示出了鸟瞰图下的三维目标检测结果以及地图语义分割结本申请实施例提供的又一种图像处理方法的可选的步骤供的另一种鸟瞰图生成器的可选的结构示意图。图3提供的图像处理方法以及图11提供的时序信息的提取，再使用空间交叉注意力机制从多个视角图像特征中进行空间信息的提果详见可参见上述图7-图9，上述图13和图14在提取时序信息时的具体实现过程及有益效果详见可参见图4-图6；上述图13和图14在进行多个感知任务处理时的具体实现过程及有[0155]为实现本申请实施例的图像处理方法，本申请实施例还瞰图询问向量对应于当前时刻现实场景中距离车辆预设范围的三维物理世界；预测模块图像特征中，对第一鸟瞰图询问向量中二维位置点经过转化后在多个视角图像上的投影两组偏移量，第一组偏移量表征预设的鸟瞰图询问向量中该位置点对应的多对偏移坐标，在预设的鸟瞰图询问向量中提取特征，得到各个位置点对应的多个第一采样点的图像特多个第二采样点的预设权重，将各个位置点对应的多个第二采样点的图像特征进行融合，[0177]在本申请实施例中，图16为本申请实施例提出的图像处[0178]在本申请实施例中，总线1604用于连接通信接口1603、处理器1601以及存储器两个磁盘存储器。在实际应用中，上述存储器1602可以是易失性存储器(volatilevolatilememory)，例如只读存储器(Read-OnlyMemory，ROM)，快闪存储器(flash[0181]集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的[0183]示例性的，本实施例中的一种图像处理方法对应的程序(包括但不限于磁盘存储器和光学存储器等)上执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或[0186]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或