CN113989797B 一种基于体素点云融合的三维动态目标检测方法及装置 （清华大学苏州汽车研究院（相城））

一种基于体素点云融合的三维动态目标检本发明提出了一种基于体素点云融合的三维动态目标检测方法及装置，采用两阶段的多云直接处理提78取关键点特征和划分体素空间最终特征输入检测模块,实现预选框的优化.另外,针对分类和定位置信度不一致的问题,提出的准确性.本发明的算法在Kitti,Waymo,Nuscene数据集中与其他算法进行了对比,并且通过实物车辆平台进行了可移植性和消融性研究,结果表明,本发明算法针对三维动态目标检2Z轴分别等距划分6个点即在空间中统一生成6×6×6个参考点，表示为N＝(n1，n2，...，r")=max(c(r(3))》,(13)lsc--log(nx⃞)(15)eh-ur(F,Ar"),(16)h-ur(LF,Ar"),(18)3合，得到点云空间中关键点的高级特征；第二阶段在基于体素生成的ROI区域中选取参考得到的各个局部特征进行卷积和池化操作，得到的多分辨率特征作为该中心点的局部特1)网络有两次卷积过程，第一次使用128个1×256×1大小的卷积核与输入特征进行卷积，Fi"-v(fi")-"4VFE特征提取层使用VFE层对体素进行特征编码，对于包含t≤T个点的非上述过程得到该体素t个128维的特征向量，最后通过最大池化得到该体素128维的全局特5合为对应的3D坐标集合为由三维空间中的体素坐标索引和实际体素尺寸大小计算得出，其中Nk代表第k级体素特征中非空体素的通过公式(9)可以得到原始点云特征和鸟瞰图特征进一步得到关键点pi的8.一种基于体素点云融合的三维动态目标检测的装置，用于权利要求1所述基于体素6可执行权利要求1所述基于体素点云融合的三维动态目标检测方法；一种存储计算机指令的计算机可读存储介质，所述计算机指令使得计算机执行权利要求1所述基于体素点云融7[0002]近年来，自动驾驶在三维空间下的目标检测算法引起学术界和工业界的广泛关检测在自动驾驶领域的应用，提出了一种提出了基于结构感知的候选区域生成模块方法，这为本发明利用实物平台进行算法的评估提供多尺度局部特征与深度特征的三维目标匹配算法并将基于双目图像的深度图转换为雷达边界框。深度相机是利用计算发射和接收经过调制的红外脉冲的飞行时间(ToF)来推测深体素的方法也是点云目标检测中的一种常用思路。Zhou等开创性的提出VoxelNet的框架，8[0004]针对目前三维目标检测领域采用的方法在特征提取上普遍存在目标上下文特征点云融合的三维动态目标检测算法。在Kitti，Waymo，Nuscene数据集以及实物车辆平台[0008](1)采样层：以往随机采样的方式难以获取到点云的全局信息，本发明引入FPS[0010](3)特征提取层：使用基于PointNet网络对聚类层得到的各个局部特征进行卷积9[0021](2)VFE特征提取层使用VFE层对体素进行特征编码，对于包含t≤T个点的非空编码为一个axm的特征矩阵Mn和一个哈希表Hn，Mn中存放中所有非零的特征向axn野的大小为r"(指一个边长为f的d维立方体)，以中某元素为中中N代表第k级体素特征中非空体素的数量。以关键点pi为中心，R为半径检测相邻的非[0033]其中r()表示从集合中随机采样最多T个体素进行计算，而c()表示多层感知机网络，用于对体素特征和相对位置进行编码。通过最大池化操作量的特征向量映射为r)[0039]本发明中，第二阶段中，预选框优化从关键点特征中提取融合得到每个ROI的特划分6个点即在空间中统一生成6×6×6个参考点，表示为，以参考点为中[0043]其中G()和T()与公式(9)中定义相同；标位置和方向的丰富信息，通过一个关键点预测加权层(PKW)对特征提取层得到的关键点[0064](1)将直接处理点云方法中感受野灵活和划分空间体素方法中计算效率较高的优进行编码和高维特征的提取。并且引入FPS迭代最远点采样的方法弥补划分体素无法对整其周围区域的特征，最后将关键点在对应体素空间的特征与关键点周围区域特征进行融合，得到点云空间中关键点的高级特征。第二阶段在基于体素生成的ROI区域中选取参考两个点，因此计算剩余n-2个点到集合K中两个点的距离，取最短的作为该点到点集的距[0084](3)特征提取层：使用基于PointNet网络对聚类层得到的各个局部特征进行卷积大小的卷积核进行卷积，得到n个1×256的特征向量，通过维度变换将特征向量变为n×,每个体素的大小为。接处理所有的点不仅会增加计算成本，而且由于点密度不均匀可能会导致检测出现误差。[0099]如图1中基于体素的方法描述了使用VFE层对体素进行特征编码过程，对于包含数据集点云空间大小以及每个体素的大小信息可计算出，沿着Z，X，Y轴将空间划分为[0101]空间稀疏卷积主要原理是在点云空间中若没有相关的输中所有非零的特征向量，m表示特征向量的维度，Hm是一个键值对(Key-Value)组成的量为s=axmxn其中a是感受野范围内的非零值，m和n分别是输入和输出的特征维度，而传入框生成网络，即根据生成的回归图(regressionmap)和可能性概率图(probablyscore次卷积，得到1倍，2倍，4倍的下采样特征，定义3D卷积第k级的体素特征向量集合为,对应的3D坐标集合为，由三维空间中的体素坐标索[0117]该过程的目的是以关键点为中心，将Rr范围内不同尺度的非空体素特征进行聚同感受野的关键点特征以获得更为丰富的多尺度特征信息.在获取ROI区域内关键点聚合[0133]损失函数本发明的损失函数由三个部分组成：预选框损失Im，关键点提取损失[0139](2)关键点的提取损失LW在上文前景点分割部分给出，同样使用焦点损失函数[0144]本发明使用Kitti,Waymo和Nuscene的3D目标检测数据集对提出的算法框架进行示了本发明提出的方法在Kitti测试数据集上与其他优秀的方法的mAP对比，其中Second,量的创新改进.PointRCNN是基于直接处理点云的方法，其主干网络是以PointNet为基础可以看到本发明提出的方法在简单和中等难度上具备优势，分别将平均准确率(mAP)提高据集中与本发明提出的方法对比，检测每一帧点云数据的检测时间，得到的结果如表2所[0156]由表2可知，本发明提出的算法相比较其他三种算法时间效率提升明显，达到了结合了直接处理点云并提出了前景点分割模块(PKW)和划分体素空间的方法并引入子流形的特征能够有效获取更准确的上下文信息以改善3D检测性能。使用4个GTX1080ti的GPU进[0162]为了证明本发明提出的算法拥有良好的泛化能力，在Nuscene数据集也进行了检CNN算法[J].计算机辅助设计与图形学学报，2019，31(07):1095-1101.[0166]15.GeigerA，LenzP，StillerC，etal.Visionmeetsrobotics:Thekittidataset[J].TheInternationalJournalofRoboticsResearch，2013，32[0167]20.ShiS，WangZ，WangX，etal.Part-aˆ2net:3dpart-awareandaggregationneuralnetworkforobjectdetectionfrompointcloud[J].arXiv[0168]21.ShiS，WangX，LiH.Pointrcnn:3detectionfrompointcloud[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2019:770-779.[0169]22.KuJ，MozifianM，LeeJ，etal.Joint3dproposalgenerationandobjectdetectionfromviewaggregation[C]//2018IEEE/RSJInternational[0170]24.QiCR，YiL，SuH，etal.Pointnet++:Deephierarchicalfeaturelearningonpointsetsinametricspace[提出的算法，由于本发明提出的算法对点云进行处理，因此使用激光雷达传感器进行实[0173]本发明进行了消融研究，将本发明提出的特征提取模块[0177]最后采用基于ROS的操作平台，并将点云数据输入已经训练好的模型中进行实时确的问题，并且在此基础上提出强制性一致损失函数，针对置信度不一致问题进行了优