CN114119749B 一种基于密集关联的单目3d车辆检测方法 （同济大学）

(19)国家知识产权局(12)发明专利(10)授权公告号CN114119749B(65)同一申请的已公布的文献号(73)专利权人同济大学地址200092上海市杨浦区四平路1239号(74)专利代理机构上海科盛知识产权代理有限公司31225专利代理师彭瑶ObjectDetectionbyReconstructionaUncertaintyPropagatioRecognition(CVPR).2021,正文第1节，第2节，(54)发明名称一种基于密集关联的单目3D车辆检测方法本发明提供一种基于密集关联的单目3D车辆检测方法，包括以下步骤：通过车载相机采集单张的前视图像；计算前视图像中的各像素点在相机坐标系下的2D坐标；映射并计算前视图像中的各像素点在目标局部坐标系下的3D坐标；通过自下而上的实例分割方法划分前视图像中的各目标车辆在前视图像上所占的2D空间区域，并根据2D空间区域选取各目标车辆的像素点及其对密集2D-3D关联构建PnP问题并求解，获取目标车辆的位置和角度；由网络分支预测车辆的长、宽、高尺寸，并结合获取的目标车辆的位置和角度，获取目标车辆的3D检测框。与现有技术相比，该像素点3D坐标2D-3D关联点求解PnP问题得到车车辆3D框像素点2D坐标(相机坐标系)21.一种基于密集关联的单目3D车辆检测方法，用于自动驾驶车辆对交通场景中车辆的S1:通过车载相机采集单张的前视图像；S2:计算所述前视图像中的各像素点在相机坐标系下的实际2D坐标；S3:对所述前视图像进行处理，依次获取多尺度特征、高分辨率特征图，以及由高斯混合模型描述的高分辨率特征图上各像素点的3D坐标向量的概率分布，将各像素点的3D坐标向量的概率分布处理为各像素点在各局部坐标系下的动态3D坐标的概率分布，训练时再将3D分布投影为相机坐标系下的2D坐标的概率分布，并采用负对数似然损失函数训练网络以最小化重影误差，使各像素点实际的2D坐标在2D坐标概率分布下的负对数似然最小化，进而使得每一个像素点生成一组2D-3D关联；S4:设置第一网络分支，根据所述高斯混合模型，判定各像素点对应的唯一目标车辆，并对各像素点对应的唯一目标车辆的中心位置进行聚类，实现自下而上的实例分割，进而使得S3中构建的2D-3D关联被划分为各个车辆的密集2D-3D关联；S5:由所述密集2D-3D关联构建PnP问题并进行求解，获取所述目标车辆的位置和角度；S6:根据S4的实例分割结果，设置第二网络分支，获取各像素点对应的唯一目标车辆的尺寸，并结合S5获取的目标车辆的位置和角度，获取包含位置、角度、尺寸信息的车辆3D检所述局部坐标系为以每个所述目标车辆的底面中心点为原点，以每个所述目标车辆的前方为x轴，以每个所述目标车辆的下方为y轴，以每个所述目标车辆的左方为z轴而建立的所述S3包括以下步骤：S3.1:依次通过残差网络和特征金字塔网络对前视图像进行处理，获取前视图像的多尺度特征；S3.2:对所述多尺度特征依次进行变形卷积、双线性插值重采样和拼接处理，获取多尺度融合的高分辨率特征图；S3.3:通过由卷积层构成的分支网络输出高分辨率特征图上各像素点的3D坐标向量，并采用高斯混合模型描述各像素点的3D坐标向量的概率分布；S3.4:从多尺度特征中提取各目标车辆的区域特征，根据S3.3中的高斯混合模型获取各像素点在各局部坐标系下的动态3D坐标的概率分布，将各像素点在各局部坐标系下的动态3D坐标的概率分布转换为相机坐标系下的2D坐标的概率分布，采用负对数似然损失函数训练网络以最小化重影误差，即使各像素点实际的2D坐标在2D坐标概率分布下的负对数似然最小化，进而使得每一个像素点生成一组2D-3D关联；所述S4包括以下步骤：S4.1:划分前视图像中的各目标车辆在前视图像上所占的2D空间区域，并设置第一网络分支，在高分辨率特征图中回归各像素点所属目标车辆的几何中心点的2D位置相对于像素点位置的偏移量，使得每一个像素点都能定位其所属目标车辆的中心位置；S4.2:通过最小重投影误差准则判定各高斯混合模型对应的目标车辆，进而获取高斯混合模型对应的目标车辆的实际中心位置xgt;3S4.3:计算每一个像素点所属的目标车辆的中心位置和高斯混合模型对应的目标车辆S4.4:设置前景网络分支用以在高分辨率特征图上分割前景像素，通过交叉熵损失函S4.5:根据前景网络分支和S3中建立的高斯混合模型，对各像素点对应的唯一目标车像素点在各局部坐标系下的动态3D坐标的概率分布投影为相机坐标系下的2D坐标的概率式中，R和t分别为局部坐标系向相机坐标系转换的旋转矩阵与位移向量，中间变量式中，W为权重归一化参数，满足,用以动态平衡损失函数的权4S6.1:设置第二网络分支，按照与S4.2相同的规则寻找各像素点对应的目标车辆的尺5技术领域[0001]本发明涉及计算机视觉与智能驾驶汽车领域，尤其是涉及一种基于密集关联的单背景技术[0002]在众多应用于智能汽车的传感器中，相机这一视觉传感器具有分辨率高、成本较低、部署方便等优点。利用相机获得的RGB图像数据进行3D车辆检测，可以成为在精度要求稍低的场合代替基于激光雷达的高成本方案。使用单张图像进行3D车辆检测，即单目3D车辆检测，是其中核心技术之一，在智能汽车领域有着广泛的需求。辆检测方法有两类，一类是通过深层网络直接估计车辆的距离，另一类是构建2D-3D关联并通过几何推理间接估计车辆的距离。其中，前者往往存在依赖特定场景和相机内参，存在泛化性能差的问题。后者对于不同场景和相机内参下数据的迁移更加稳健，实用性更好，但现有方法仍然存在部分问题，主要体现如下：[0004]第一，部分方法在训练模型时需要用到额外的人工标注，例如关键点、车辆3D模型[0005]第二，现有方法一般需要单独的目标检测或实例分割模块，先完成检测，再生成2D-3D关联并进行几何推理，未能将二者充分结合；[0006]第三，现有方法往往采用固定数量的关键点或区域栅格形成2D-3D关联，不能自适应地去除车辆被遮挡区域的不可靠关联，易使部分被遮挡车辆的定位精度下降。发明内容[0007]本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于密集关联的单目3D车辆检测方法，该方法能够精确地对交通场景的车辆进行识别和定位。[0008]本发明的目的可以通过以下技术方案来实现：[0009]本发明提供一种基于密集关联的单目3D车辆检测方法，用于自动驾驶车辆对交通场景中车辆的识别和定位，包括以下步骤：[0010]S1:通过车载相机采集单张的前视图像；[0011]S2:计算所述前视图像中的各像素点在相机坐标系下的实际2D坐标；[0012]S3:对所述前视图像进行处理，依次获取多尺度特征、高分辨率特征图，以及由高斯混合模型描述的高分辨率特征图上各像素点的3D坐标向量的概率分布，将各像素点的3D坐标向量的概率分布处理为各像素点在各局部坐标系下的动态3D坐标的概率分布，训练时再将3D分布投影为相机坐标系下的2D坐标的概率分布，并采用负对数似然损失函数训练网络以最小化重影误差，使各像素点实际的2D坐标在2D坐标概率分布下的负对数似然最小化，进而使得每一个像素点生成一组2D-3D关联；[0013]S4:设置第一网络分支，根据所述高斯混合模型，判定各像素点对应的唯一目标车63D检测框。[0018]S3.1:依次通过残差网络和特征金字塔网络对前视图像进行处理，获取前视图像[0020]S3.3:通过由卷积层构成的分支网络输出高分辨率特征图上各像素点的3D坐[0021]S3.4:从多尺度特征中提取各目标车辆的区域特征，根据S3.3中的高斯混合模型[0024]式中，S为预先设置的高斯混合模型的数量，φ为第i个高斯混合模型的混合权重，∑为第i个高斯混合模型的协方差矩阵，μ为第i个高斯混合模型的均值，φ,2,μ均x²为转换后的相机坐标系下的一组坐标向量。7[0034]S4.1:划分前视图像中的各目标车辆在前视图像上所占[0035]S4.2:通过最小重投影误差准则判定各高斯混合模型对应的目标车辆，进而获取高斯混合模型对应的目标车辆的实际中心位置9[0036]S4.3:计算每一个像素点所属的目标车辆的中心位置和高斯混合模型对应的目标的中心位置xt与唯一目标车辆的实际中心[0037]S4.4:设置前景网络分支用以在高分辨率特征图上分割前景像素，通过交叉熵损[0038]S4.5:根据前景网络分支和S3中建立的高斯混合模型[0044]S6.1:设置第二网络分支，按照与S4.2相同的规则寻找各像素点对应的目标车辆8的尺寸，通过平滑L1损失函数训练所述第二网络分支，并输出高分辨率特征图的各像素点对应的目标车辆的尺寸；[0045]S6.2:根据S4.4的实例分割结果，确定各像素点对应的唯一目标车辆的尺寸；[0046]S6.3:根据S5中的目标车辆的位置和角度，以及S6.2获取的目标车辆的尺寸，获取[0047]与现有技术相比，本发明具有[0048]1、本发明设计的基于密集关联的单目3D车辆检测方法不必采用车辆的包括关键点和3D模型的3D几何信息，而是通过构建2D-3D关联，并通过最小化重投影误差来训练网络，使其预测各像素点所对应的3D坐标，避免了现有技术中在训练模型时需要用到额外的人工标注，增加数据标注成本的问题。[0049]2、本发明通过预测2D-3D关联点对其进行聚类获取物体级别的信息的手段，解决了现有技术中先完成检测，再生成2D-3D关联进行几何推理，无法将二者充分结合的问题。[0050]3、本发明通过聚类划分属于不同目标车辆的2D-3D关联点，每个目标车辆最终获得的关联点数量由实际情况确定，且每个像素点不能同时属于两个目标车辆，因此可以解决现有技术中因不能自适应地去除车辆被遮挡区域的不可靠关联，使得部分被遮挡车辆的定位精度下降的问题。附图说明[0051]图1为本实施例一种基于密集关联的单目3D车辆检测方法的流程示意图；[0052]图2为本实施例中所用网络结构的一个具体实施例的示意图；[0053]图3为本实施例中目标局部坐标系定义的一个具体实施例的示意图；[0054]图4为本实施例中相机坐标系和目标局部坐标系的关系示意图。具体实施方式[0055]下面结合附图和具体实施例对本发明进行详细说明。[0056]本实施例提供一种基于密集关联的单目3D车辆检测方法，用于自动驾驶车辆对交通场景中车辆的识别和定位，包括以下步骤：[0057]S1:通过车载相机采集单张的前视图像；[0058]S2:通过相机内参矩阵计算所述前视图像中的各像素点在相机坐标系下的实际2D[0060]式中，为各像素点在相机坐标系下的实际2D坐标，K为相机内参矩阵，(u,v)为像素索引坐标，即为前视图像中第v行第u列的像素坐标。[0061]S3:对前视图像进行处理，依次获取多尺度特征、高分辨率特征图，以及由高斯混合模型描述的高分辨率特征图上各像素点的3D坐标向量的概率分布，将各像素点的3D坐标向量的概率分布处理为各像素点在各局部坐标系下的动态3D坐标的概率分布，训练时再投影为相机坐标系下的2D坐标的概率分布，并采用负对数似然损失函数训练网络以最小化重影误差，使各像素点的实际2D坐标在2D坐标概率分布下的负对数似然最小化，进而使得每9[0063]混合密度网络(MixtureDensityNetworks,MDN)输出的变量为高斯混合模型(GaussianMixtureModel)的参数，共包括n个高斯混合模型的均值、协方差和其混合权[0064]S3.1:依次通过残差网络和特征金字塔网络对前视图像进行处理，获取前视图像[0067]通过3x3变形卷积对多尺度特征进行处理，将各级特征通过双线性插值重采样为原图1/4的尺寸，并在通道方向拼接，获取多尺度融合后的高分辨率特征图；通道维度为[0068]S3.3:通过由卷积层构成的分[0071]式中，S为预先设置的高斯混合模型的数量，φ为第i个高斯混合模型的混合权重，∑为第i个高斯混合模型的协方差矩阵，μ为第i个高斯混合模型的均值，φ,2,μ均组坐标向量[x,y,z]。络预测的x³应满足投影约束，即由S3.4.2步骤得到的x²D应与其对应的相机坐标系下的实。网络实际预测的不是单个x³,而是x³的概率分μ₁三个参数描述。分支网络由卷积层构成，将高分辨率特征图映[0079]S3.4:从多尺度特征中提取各目标车辆的区域特征，根据S3.3中的高斯混合模型该分支输出每个目标车辆的区域内各像素点的动态混合权重ψ,进而根据S3.3中的高斯混[0082]式中，S为预先设置的高斯混合模型的数量，φ为第i个高斯混合模型的混合权重，∑为第i个高斯混合模型的协方差矩阵，μ为第i个高斯混合模型的均值，φ,2,μ均[0083]S3.4.2:将各像素点在各[0087]对于高斯混合分布，采用局部线性化的方法计算变换后的2D高斯混合模型的参[0091]S3.4.3:采用负对数似然损失函数训练网络以最小化重影误差，即使得各像素点[0097]S4.1:划分前视图像中的各目标车辆在前视图像上所占的2D空间区域，并设置第[0099]S4.2:通过最小重投影误差准则判定各高斯混合模型对应的目标车辆，进而获取[0100]S4.3:计算每一个像素点所属的目标车辆的中心位置和高斯混合模型对应的目标[0101]S4.4:设置前景网络分支用以在高分辨率特征图上分割前景像素，通过交叉熵损[0103]S4.5:根据前景网络分支和S3.3中建立的高斯混合模型，对各像素点对应的唯一μ=μi*,∑=∑i,xctr=xtr[0106]对各像素点对应的唯一目标车辆的中心位置xctr进行聚类，实现自下而上的实例分割，进而使得S3.4中所构建的2D-3D关联划分为各个车辆的密集2D-3D关联。[0107]作为一种可选的实施方式，采用DBSCAN算法对所有的前景像素点的中心点进行聚[0108]S5:由所述密集2D-3D关联构建PnP问题并求解，获取所述目标车[0110]式中，β,t分别为经过初始化后的目标车辆的横摆角[0111]该优化问题为寻找马氏距离度量下重投影误差最小的车辆角度和位置，从而实现对车辆的3D定位。[0112]在进行S5之前，采用EPnP算法对目标车辆的横摆角和位移偏量t进