点云物体检测-Louis

讲师：Louis自动驾驶技术基于点云的物体检测Louis哈尔滨工业大学计算机专业博士，法国卡昂大学研究员研究方向：计算机视觉，模式识别和机器学习研究成果：IJCV，ICCV，CVPR等发表论文20余篇德国知名Tier1，高级算法工程师10年自动驾驶感知算法研发经验，取得10余项相关专利授权。参与并领导基于视觉，激光雷达，毫米波雷达的多个研发项目参与欧洲和中国多个车企的量产合作项目02算法详解03代码实践01发展概述发展概述了解点云物体检测的基本概念和发展历程什么是点云物体检测输入点：X,Y,Z和反射强度R单帧点云：多个点的集合多帧点云：多帧数据的集合输出目标的类别和置信度目标的BoundingBox2D检测：中心点2D坐标，长宽，旋转角度3D检测：中心点3D坐标，长宽高，旋转角度目标的其它信息比如速度，加速度等算法点云物体检测的发展历程20102016深度学习2021点云->图结构或深度图像节点或像素聚类地平面检测（规则或分类器）物体分类(传统分类器)Douillardetal.,

Onthesegmentationof3DLIDARpointclouds,

2011Zhuetal.,Segmentationandclassificationofrangeimagefromanintelligentvehicleinurbanenvironment,2010.Groundplanesegment+Clustering+ClassificationRangeimage+Clustering+Classification传统方法点云物体检测的发展历程2010传统方法2016深度学习2021点云数据库DataistheKing2012年：ImageNet+AlexNet自动驾驶技术的快速发展：来源于基于深度学习的感知技术点云数据库（1/3）KITTI(/datasets/kitti/index.php)德国卡尔斯鲁厄大学和丰田工业大学芝加哥分校2012年发布Velodyne64线激光雷达，每帧约10万个点城市道路环境，物体类别包括车辆，行人和骑车的人，共8万个标注训练集：7481帧，测试集：7518帧根据物体大小和遮挡程度，分为Easy,Moderate,Hard三种测试子集AP和mAP作为算法准确度指标，FramePerSecond(FPS)作为速度指标点云数据库（2/3）NuScenes()Motional公司（前身为nuTonomy）2019年3月发布传感器:

1xLiDAR,

5xRadar,6xCameraBoston和Singapore的1000段道路场景，每段20秒(20Hz)39万帧LiDAR点云数据，23个物体类别，140万个3D物体框标注(4万关键帧)点云数据库（3/3）WaymoOpenDataset(WOD)(/open)Waymo公司2019年8月发布传感器:

1x中距LiDAR,

4x近距LiDAR,5xCamera1950段美国城市道路场景，每个20秒（10Hz）39万帧LiDAR点云数据，4个物体类别，1200万个3D物体框标注点云数据库对比KITTINuScenesWOD创建者学术界工业界工业界发布时间2012年2019年2019年传感器LiDAR+CameraLiDAR+Camera+RadarLiDAR+CameraLiDAR点云帧数15K390K390K标注类别3234标注数量80K1.4M12M算法详解了解四个发展阶段中的典型算法萌芽期（-2017）借鉴视觉领域的成功经验VeloFCN数据表示3D点云->正视图优点数据格式与图像类似借鉴图像物体检测算法缺点多个点映射到图像同一位置物体三维信息部分丢失/wiki/cylindrical-coordinates/方位角(Azimuth)仰角(Elevation)圆柱坐标系输入数据（正视图）Lietal.,Vehicledetectionfrom3dlidarusingfullyconvolutionalnetwork,Robotics,2016.point(x,y,z)=>(θ​,Φ)=>(r,c)=>imagerc借鉴视觉领域的成功经验俯视图特征Bird’sEyeViewBEV正视图特征RGB图像萌芽期（-2017）MV3D数据表示3D点云->正视图+俯视图多视图融合俯视图数据生成3DProposal生成多视图Proposal多视图下ROI-Pooling多层级融合Chen,etal.,Multi-view3dobjectdetectionnetworkforautonomousdriving,CVPR,2017借鉴视觉领域的成功经验MV3D数据表示3D点云->正视图+俯视图多视图融合俯视图数据生成3DProposal生成多视图Proposal多视图下ROI-Pooling多层级融合Chen,etal.,Multi-view3dobjectdetectionnetworkforautonomousdriving,CVPR,2017多视图Proposal和ROI-Pooling多层级融合萌芽期（-2017）起步期（2017）点云检测的开山之作:VoxelNet和PointNet++起步期（2017）点云检测的开山之作90%emptyVoxelNet数据表示3D点云->3D网格数据端对端学习FeatureLearningNetworkConvolutional

Middle

LayersRegionProposalNetwork来自苹果公司ZhouandTuzel,Voxelnet:End-to-endlearningforpointcloudbased3dobjectdetection,CVPR,2018优点框架结构非常简洁自动学习特征PointFeature:x,y,z,dx,dy,dz,r起步期（2017）点云检测的开山之作3DConvVoxelNet数据表示3D点云->3D网格数据端对端学习FeatureLearningNetworkConvolutional

Middle

LayersRegionProposalNetwork来自苹果公司ZhouandTuzel,Voxelnet:End-to-endlearningforpointcloudbased3dobjectdetection,CVPR,2018优点框架结构非常简洁自动学习特征128x10x400x352OutputofFeatureLearningNetwork128,64,3,

(2,1,1)64,64,3,

(1,1,1)64,64,3,

(2,1,1)64x2x400x352OutputofConvMiddleLayers128x400x352Grid:Channel,Height,Length,WidthConvKernel:Inputchn,Outputchn,Size,Stride起步期（2017）点云检测的开山之作VoxelNet数据表示3D点云->3D网格数据端对端学习FeatureLearningNetworkConvolutional

Middle

LayersRegionProposalNetwork来自苹果公司ZhouandTuzel,Voxelnet:End-to-endlearningforpointcloudbased3dobjectdetection,CVPR,2018RegionProposalNetworkBackbone（U-ShapeNet）Cls/RegHeads优点框架结构非常简洁自动学习特征起步期（2017）点云检测的开山之作PointNet++数据表示原始数据点端对端学习Clustering+PointNetPointNet来自斯坦福大学Qietal.,Pointnet++:Deephierarchicalfeaturelearningonpointsetsinametricspace,NeurIPS,2017.可以看作一个点云分类器/特征提取器优点无需进行空间量化避免空白区域无效计算起步期（2017）点云检测的开山之作从分类（PointNet）到检测（PointNet++）PointNet++：可以看作Clustering+PointNet分类PointNet++数据表示原始数据点端对端学习Clustering+PointNet来自斯坦福大学Qietal.,Pointnet++:Deephierarchicalfeaturelearningonpointsetsinametricspace,NeurIPS,2017.优点无需进行空间量化避免空白区域无效计算发展期（2018-2020）Voxel方法的问题Point方法的问题数据表示低效，大量空白区域三维卷积计算量巨大邻域特征提取困难无法利用成熟的检测框架点云处理难以并行对网格量化超参数敏感发展期（2018-2020）Voxel方向的改进数据表示低效，大量空白区域SECOND中间层采用稀疏卷积其余模块与VoxelNet类似缺点3D卷积依然存在Yanetal.,Second:Sparselyembeddedconvolutionaldetection,Sensors,2018.稀疏卷积避免无效计算/?p=3257a0a8fd1

关于稀疏卷积发展期（2018-2020）Voxel方向的改进PIXOR手工设计特征3D->2D

H维度变通道缺点高度方向上信息损失Yangetal.,Pixor:Real-time3dobjectdetectionfrompointclouds,CVPR,2018Occupancy：LxWxH(H维度作为特征通道)Intensity：LxWx1(H方向压缩为1维)IntotalLxWx(H+1)三维卷积计算量巨大发展期（2018-2020）Voxel方向的改进PointPillarH维度变通道3D->2D网格内的点叠放成PillarPointNet学习Pillar特征Langetal.,Pointpillars:Fastencodersforobjectdetectionfrompointclouds,CVPR,2019三维卷积计算量巨大数据表示低效，大量空白区域X-Y平面网格量化一个网格=一个Pillar97%Pillar为空（KITTI,0.16m）Point9D特征x,y,z,r,xc,yc,zc,xp,ypStackedPillar:Tensor（D,P,N）D=9,P=非空Pillar数量，N=Pillar中的点数PointNet提取点特征（D,P,N）=>(C,P,N)MaxPooling(C,P,N)=>(C,P)Pillar映射回X-Y平面(C,P)+PillarIndex=>(C,H,W)发展期（2018-2020）Voxel方向的改进PointPillar优点避免空白区域无效计算避免了3D卷积避免手工设计特征缺点点特征学习在网格内领域信息的提取受限Langetal.,Pointpillars:Fastencodersforobjectdetectionfrompointclouds,CVPR,2019三维卷积计算量巨大数据表示低效，大量空白区域发展期（2018-2020）Point方向的改进无法利用成熟的检测框架Point-RCNNPointNet++特征提取Point分类+3DProposalProposal内部点特征提取Yangetal.,3dssd:Point-based3dsingle

stageobjectdetector,CVPR,2020PointProcessing+FasterRCNN与图像上的FasterRCNN相比，PointRCNN只在前景点上生成ProposalPointNet++和ROIPooling部分依然比较耗时PointNet++被用来提取点特征。点特征被用来进行前景分割，以区分物体上的点和背景点。每个前景点也会输出一个3D候选BBox。候选BBox内的点做进一步的特征提取，输出BBox所属的类别，并且对其BBox进行细化。发展期（2018-2020）Point方向的改进3DSSDPoint方法速度分析改进聚类方法避免RegionPoolingYangetal.,3dssd:Point-based3dsinglestageobjectdetector,CVPR,2020.点云处理难以并行PointRCNN运行速度瓶颈

PointNet++中的FeaturePropagationRefinement中的RegionPoolingFP层：将层抽象后的点特征再映射回原始的点云，可以看做Point-RCNN的PointCloudDecoder为什么要FP层：抽象后的点(cluster)，无法覆盖所有的物体发展期（2018-2020）Point方向的改进3DSSDPoint方法速度分析改进聚类方法避免RegionPoolingYangetal.,3dssd:Point-based3dsinglestageobjectdetector,CVPR,2020.点云处理难以并行（1）改进的聚类算法(2)避免Pooling中的点搜索同时考虑点与点之间在几何和特征空间的相似度聚类的输出可以直接用来生成物体Proposal聚类输出中心点和邻域点不用全局搜索落到Proposal内的点发展期（2018-2020）Point方向的改进PointGNN图模型表示点云图神经网络计算量过大ShiandRajkumar,Point-gnn:Graphneuralnetworkfor3dobjectdetectioninapointcloud,CVPR,2020.邻域特征提取困难Step

1：根据一个预设的距离阈值来建立图模型Step2：更新每个顶点以获取邻域点的信息，用来检测物体类别和位置Step3：融合多个顶点输出的3D物体框，作为最终的检测结果发展期（2018-2020）Voxel和Point融合PointPillar点云按照类似Voxel的方式量化点特征用PointNet方式得到发展期（2018-2020）Voxel和Point融合PointPillar点云按照类似Voxel的方式量化点特征用PointNet方式得到Voxel和Point方法对比（KITTICarDetection）发展期（2018-2020）Voxel和Point融合Voxel：网格大损失信息，网格小计算量高Point：邻域信息提取困难，内存访问不规则融合策略在较低分辨率的Voxel上提取上下文特征（比如PV-CNN

）生成物体候选（FastPointRCNN

）二者兼有（比如PV-RCNN

，SA-SSD）再与原始的点云结合同时保留单个点的特征和点之间的空间关系发展期（2018-2020）Voxel和Point融合PV-CNN低分辨率的Voxel上

提取上下文特征Liuetal.,Point-voxelCNNforefficient3ddeeplearning,NeurIPS,2019.分支1：采用低分辨率的Voxel来提取具有邻域信息的特征，然后再通过插值的方法映射回每个点上。分支2：直接从原始点出发，利用MLP来提取点特征。虽然没有邻域信息，但是单个点的特征提取是相对精确的分支1+2作为下一步的输入发展期（2018-2020）Voxel和Point融合PV-RCNN低分辨率的Voxel上

提取上下文特征生成物体候选Shietal.,PV-RCNN:point-voxelfeaturesetabstractionfor3dobjectdetection,CVPR,2019.分支1：采用低分辨率的Voxel来提取具有邻域信息的特征，并生成物体候选。分支2：类似PointNet++：中心点还是原始点，但是邻域点是Voxel的cell，因此兼顾了单点和邻域的信息。Proposal+点特征=>ROIPooling落地期（2020-）实用性和可落地性自动驾驶系统的感知信号来源作为辅助传感器用来进行数据标注追求准确度和速度的平衡一定速度前提下最大化准确度Voxel+单阶段检测器融合Voxel和Point+两阶段检测激光雷达点云物体检测任务目标方法落地期（2020-）实用性和可落地性SIENetVoxel和Point融合两阶段检测方法SIENet:SpatialInformationEnhancementNetworkfor3DObjectDetectionfromPointCloud,2021.融合策略与PV-RCNN相似解决远处物体点云相对稀疏的问题采用了一个附加分支，将Voxel的网格看做额外的点，以此来对远处物体进行补全。落地期（2020-）实用性和可落地性SIENetVoxel和Point融合两阶段检测方法SIENet:SpatialInformationEnhancementNetworkfor3DObjectDetectionfromPointCloud,2021.落地期（2020-）实用性和可落地性VoxelR-CNNVoxel特征两阶段检测方法结构非常简洁Dengetal.,VoxelR-CNN:TowardsHighPerformanceVoxel-based3DObjectDetection,AAAI，2021.VoxelROIPooling模块从3D数据而不是2D数据中提取特征该方法可以进一步提高物体检测的精确度落地期（2020-）实用性和可落地性CIA-SSDVoxel特征单阶段检测Zhengetal.,CIA-SSD:ConfidentIoU-AwareSingle-StageObjectDetectorFromPointCloud,AAAI，2021.特征提取与VoxelNet相似但是用网格内的均值作为起始特征，而没有采用多层MLP借鉴图像物体检测领域的最新成果FeaturePyramidNetwork（FPN）：提取语义特征IoU预测分支：解决单阶段检测器分类置信度和定位准确度之间的差异问题，修正分类置信度，辅助NMSlow-levelspatialfeaturehigh-levelabstractsemanticfeatures落地期（2020-）实用性和可落地性PointPillarPV-RCNNSIENetVoxelR-CNNCIA-SSD特征表示Voxel+PointVoxel+PointVoxel+PointVoxelVoxel检测器单阶段两阶段两阶段两阶段单阶段准确度（AP）74.31%81.43%81.71%81.62%80.28%速度（FPS）62.012.512.525.233KITTICarDetectionPointPillar代码实践了解PointPilllar算法的具体实现过程PointPillar开源代码源代码：/tyagi-iiitv/PointPillars

（Python+Te