CN116704504B 一种基于解耦动态卷积核的雷达全景分割方法 （浙江大学）

WO2022206414A1,2022.10.06一种基于解耦动态卷积核的雷达全景分割PanopticDKNet将实例目标和背景类别的动态SemanticKITTI基准数据集上表现出较好的全景2S1、构建点云特征提取器，基于体素化表示和3D稀S3、构建动态卷积核解码模块，利用实例动态核预测实Transformer为动态核加权融合点云特征，最后采取动态核与点云特征卷积的方式预测掩S5、利用所述基于解耦动态卷积核的雷达全景分割方法对新的点云进行全景分割预S43、利用服务器执行步骤S3中的kNN_Transformer利匹配算法来匹配预测的实例框和真实标签，使用Foca督实例对象的分割掩码，使用交叉熵损失(Lce)以及Lovaszsoftmax损失(Lls)监督背景类3S12、构建3D稀疏特征编码器和多尺度全局注意力模块，提取稀疏的体素特征表达所述稀疏的体素特征表达与点级的特征嵌入的提取过程为：首先采用具有Bo后基于BEV特征预测实例中心点热力图MeR"和背景区域图步骤S21中的所述基于BEV特征预测实例中心点热力图的具体方式为：在F步骤S21中的所述基于BEV特征预测背景区域图M,eR"t的具体方式为：在Fbe用小型的U_Net结构预测BEV视角下的2D背景区域分割结果，其中Nst是背景类的语义类别步骤S22中的基于实例中心点热力图Mth和BEV特征Fbev生成实例动态核的具步骤S22中的基于背景区域图Mst和BEV特征Fbev生成背景类动态核的具体方4应实例目标的3D边界框和重叠度交并比IoU；然后采用非极大值抑制方法消除冗余的边界例得到目标对象的搜索区域，将搜索区域内的点的特征嵌入与动态核执行点积和sigmoid激活函数预测掩码得分，位于相同搜索区域中且掩码得分大于0.5的点被分配相同的实例步骤S32中的所述注意力机制加权融合相邻其中为位置感知的实例动态核和背景类动态核，键/值k,reR","是k步骤S41中所述实例中心点热力图Mth的真实标签是使用高斯核生成的，将Y,e[0,1I"是将每个背景类的点映射到BEV图的相应通道上。S52、将体素特征输入到训练好的动态卷积核生5汽车和人)的语义标签和实例ID。由于它能够在一个网络架构中同时实现的语义和实例分要包括一个动态核生成器和一个动态核解码器，它们分别负责生成带有语义类别的动态动态核相对应的分割掩码。本发明提出的实例/背景动态卷积核在统一的流程中实现了雷[0005]为了实现上述目的，本发明提供一种基于解耦动态卷积kNNTransformer为动态核加权融合点云特征，最后采取动态核与点云特征卷积的方式预6[0012]S11、对输入的稀疏点云peR3利用体素化操作将点云转换为体素，然后提取每同时获得点级的特征嵌入i[0015]所述稀疏的体素特征表达与点级的特征嵌入的提取过程为：首先采用具有一个编码器的特征作为稀疏的体素特征Fv，其稠密空间分辨率为LxHxW，点级的特征嵌入[0019]S21、将所述稀疏的体素特征Fv在Z轴上进行Max_Pooling，得到BEV特征然后基于BEV特征预测实例中心点热力图和背景区域图的相应位置提取BEV特征，得到初始的实例动态核和背景类动态核K,e".[0022]步骤S21中的所述基于BEV特征预测背景区域图M,eR"ts的具体方式为：在Fbev上采用小型的U_Net结构预测BEV视角下的2D背景区域分割结果，其中Nst是背景类的语[0023]步骤S22中的基于实例中心点热力图Mth和BEV特7取Fbev上对应位置的特征来生成每个实例对象[0024]步骤S22中的基于背景区域图Mst和BEV特征Fbev生成背景类动态核的具核对应实例目标的3D边界框和重叠度交并比IoU；然后采用非极大值抑制方法消除冗余的核也从中剔除，以获得一个精简的实例动态核集合其中N'thNth定比例得到目标对象的搜索区域，将搜索区域内的点的特征嵌入与动态核执行点积和的实例ID；对于背景类点，将它们的特征嵌入与背景类动态卷积核执行卷积，然后使用8[0039]S43、利用服务器执行步骤S3中的kNN_Transformer为动[0044]优选的，步骤S41中所述实例中心点热力图Mth的真实标签是使用来监督实例对象的分割掩码，使用交叉熵损失(Lce)以及Lovaszsoftmax损失(Lls)监督背[0051]本发明提供的一种基于解耦动态卷积核的雷达全景分割方法，基于实例/背景类的流水线中完成激光雷达点云全景分割，在室外自动驾驶场景数据集SemanticKITTI上实[0052]图1为本发明提供的一种基于解耦动态卷积核的雷达全景分割方法的整体算法框9kNN_Transformer为动态核加权融合点云特征，最后采取动态核与点云特征卷积的方式预云的体素特征和点级特征嵌入。如图1(a)所示为本发明构建的点云特征提取器的骨干网[0065]S11、对输入的稀疏点云peR3利用体素化操作将点云转换为体素，然后提取每F,eR"",同时获得点级的特征嵌入具体的，所述稀疏的体素特征表达与点级[0070]S21、将所述稀疏的体素特征Fv在Z轴上进行Max_Pooling，得到BEV特征然后基于BEV特征预测实例中心点热力图M,e""和背景区域图M,e"".具体的，步骤S21中的所述基于BEV特征预测实例中心点热力图景区域图的具体方式为：在Fbev上采用小型的U_Net结构预测BEV视角下的2D的相应位置提取BEV特征，得到初始的实例动态核和背景类动态核K,e",取Fbev上对应位置的特征来生成每个实例对象[0072]步骤S22中的基于背景区域图Mst和BEV特征Fbev生成背景类动态核的具用kNN_Transformer为动态核加权融合点云特征，最后采取动态核与点云特征卷积的方式核对应实例目标的3D边界框和重叠度交并比IoU；然后采用非极大值抑制方法消除冗余的e",其中N'thNth被索引为关注点；对于背景类动态核，计算的每个像素特征与动态核之间的余弦相似reR""定比例得到目标对象的搜索区域，将搜索区域内的点的特征嵌入与动态核执行点积和的实例ID；对于背景类点，将它们的特征嵌入与背景类动态卷积核执行卷积，然后使用基于解耦动态卷积核的雷达全景分割方法。如图1所示为本发明提供的一种基于解耦动态[0086]S43、利用服务器执行步骤S3中的kNN_Transformer为动类别分割掩码使用交叉熵损失(Lce)以及Lovaszsoftmax损失[0097](1)本发明提出了一种新型的PanopticDKNet网络模型，以在具有解耦动态卷积[0098](2)PanopticDKNet将实例目标和背景类