CN113887349B 一种基于图像和点云融合网络的道路区域图像识别方法 （浙江大学）

neuralnet-workforbidirectiondirectlyfusingpointcloudswith一种基于图像和点云融合网络的道路区域本发明公开了一种基于图像和点云融合的的难题，将原始点云直接输入到道路区域网络22)然后使用Upsampling、2D卷积层和Re所述的融合主干网络包括图像处理分支、点云处理分支和融合模块，所述的点云处理分支包括了四个依次连接的SA层，原始点云输入到第一safr()为第j+1个SA层的操作；通过循环上述操作得到各个融合模块的输出结果，组成融合后特征图集合{F1,出第j个SA层输出的特征点云Pj中的每个点在第i个特征提取块输出的图像特征Ii的图像坐Pj的齐次坐标，Qij为特征点云Pj在图像特征图Ii的图像坐标系下的齐次坐32.根据权利要求1所述的一种基于图像和点云融合的道路区域图像识别方法，其特征融合主干网络使用图像处理分支和点云处理分支分别从原始图像和原始点云中提取3.根据权利要求2所述的一种基于图像和点云融合的道路区域图像识别方法，其特征4.根据权利要求2或3所述的一种基于图像和点云融合所述的图像和点云对齐步骤，通过预先标定激光雷达和相机的外参矩阵特征点云融合到图像步骤，利用点云投影到图像坐标系5.根据权利要求1所述的一种基于图像和点云融合的道路区域图像识别方法，其特征在于：所述的解码网络包括五个解码层，每个解码层均由上采样Upsampling+2D卷积+BN+ReLU+2D卷积+BN+ReLU依次级联连接构建而成，其中上采样Upsampling为使用双线性插值五个解码层分别和融合后特征图集合{F1,F2,F3,F4,F5}中的五个融合后特征图一一对加结果依次进行2D卷积+BN+ReLU+2D卷积+BN第5个融合后特征图F5作为初始的解码特码特征U4，直接对第4个解码特征U4依次进行2D卷积+BN+ReLU+2D卷积+BN+ReLU的操作得到6.根据权利要求1所述的一种基于图像和点云融合的道路区域图像识别方法，其特征在于：所述的逐点卷积具体是将解码网络输出的解码特征结果依次经卷积操作和Sigmoid4道路区域识别任务。该类方法(典型代表：G.L.Oliveira,W.BurgardandT.Brox,"Efficientdeepmodelsformonocularroadsegmentation,"2016IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems(IROS),Daejeon,在图像中所识别的道路区域。但此类方法面临着仅依赖RGB图像难以应对室外光照条件多[0004]为了解决这一问题，另一类方法采取同时利用单目相机拍摄的RGB图像和激光雷LiDARadaptationforroaddetection,"inIEEE/CAAJournalofAutomatica提取特征点云并与从RGB图像中提取的特征进行融合。但此类方法均需要将点云转为伪图5[0012]融合主干网络使用ResNet-101的图像处理分支和PointNet++的点云处理分支分[0018]所述的图像外观特征是指使用ResNet网络作为特征提取网络，以RGB图像作为输三维坐标信息和反射前途信息的点云作为输入处理输出获得的特一个特征提取块，经五个特征提取块依次处理后输出各自的图像特征；特征提取块为[0022]所述的点云处理分支包括了四个依次连接的SA层，原始点[0023]将各个特征提取块输出的结果以及各个SA层输出的结果和原始点云通过多个融对应的SA层输出的特征点云/原始点云通过融合模块进行融合传递处理并反馈到下一个特取块块输出的结果和第二个SA层输出的特征点云通过融合模块进行融合传递处理并反馈结果和第四个SA层输出的特征点云通过融合模块进行融合传递处理并6[0025]I=(I0)4的内参矩阵K，求出第j个SA层输出的特征点云Pj中的每个点在第i个特征提取块输出的图Pj的齐次坐标，Qij为特征点云Pj在图像特征图Ii的图像坐标系下的齐该集合中的所有点的特征值取平均值，得到图像特征Ii的该像素从特征点云Pj中获取的特个解码层均由上采样Upsampling+2D卷积+BN+ReLU+2D卷积+BN+ReLU依次级联连接构建而7[0042]第i+1个解码层具体步骤为，对第i+1个解码特征Ui+1进行上采样个解码特征U4，直接对第4个解码特征U4依次进行2D卷积+BN+ReLU+2D卷积+BN+ReLU的操作[0044]所述的逐点卷积具体是将解码网络输出的解码特征结果依次经卷积操作和[0051]图4是本发明的实施例中针对典型场景的实验结果图，图中每一行代表一个示例[0055]1.1、使用ResNet-101构建图像处理分支，其中包含五个特征提取块，记作每特征提取块的操作记作如下：()为第i个特征提取块的操作，Iin是输入一张图像特征或者原始图像，Iout表示经过特征提取块的操作输出的一张图像特征，其长宽尺寸减少为Ii[0058]1.2、使用PointNet++构建点云处理分支，其中包含四个SA层，分别记作各个SA层构建所需要的参数如下表给出：8[0063]将输入的原始点云P0和四个SA层分别得到的四个特征点云，构对应的SA层输出的特征点云/原始点云通过当前的融合模块进行融合传递处理并反馈到下fr()为第j+1个SA层的操作；4的内参矩阵K，求出第j个SA层输出的特征点云Pj中的每个点在第i个特征提取块输出的图Pj的齐次坐标，Qij为特征点云Pj在图像特征图Ii的图像坐标系下的齐该集合中的所有点的特征值取平均值，得到图像特征Ii的该像素从特征点云Pj中获取的特9[0082]2D卷积使用卷积核尺寸为3x3，padding尺寸为1的卷积操作；BN为批标准化层，[0087]第i+1个解码层v'rr()具体步骤为，对第i+1个解码特征Ui+1进行上采样个解码特征U4，直接对第4个解码