CN116630975B 一种基于特征表示分解和鸟瞰图融合的语义场景补全方法 （浙江大学）

一种基于特征表示分解和鸟瞰图融合的语一种基于特征表示分解和鸟瞰图融合的语特征分别映射到鸟瞰图视角后输入预训练好的语义补全分支进行特征融合得到语义场景补全2步骤S4：所述语义特征和几何特征分别映射到鸟瞰所述预训练好的语义分支、预训练好的补全分支、预训练好的bev+Ls+LcLlovasz和Lce分别表示语义补全监督的Lovasz损失和Llovasz,i和Lbce,i分别表示几何监督第i个Lovasz损失和第i个2.根据权利要求1所述的一种基于特征表示分解和鸟瞰图融合的语义场景补全方法，模块用于融合鸟瞰图视角下的语义特征和鸟瞰图视角下3.根据权利要求2所述的一种基于特征表示分解和鸟瞰图融合的语义场景补全方法，步骤S3中所述补全分支包括N个几何特征提取模块；所述N步骤S4中所述语义补全分支包括N个自适应特征融合模块；块分别与N个语义特征提取模块相对应；所述N个自适应特征融合模块分别与N个几何特征征和几何特征分别映射到鸟瞰图视角后输入对应的自适应特征融合模块进行特所述N个自适应特征融合模块之间以串联方式连接，每个自适应特征融合模块输出一块中输入的鸟瞰图视角下的语义特征和鸟瞰图视角下的几何特征进行特征融合后输出下34.根据权利要求3所述的一种基于特征表示分解和鸟瞰图融合的语义场景补全方法，步骤S2中所述语义分支包括体素化层，所述N个语义特征提取模块包括第一稀疏编码步骤S22：将所述体素特征先输入第一稀疏编码块后输出第一语义特征和第一体素特二几何特征和第二占用体素，第二占用体素最后输入第三稠密残差块后输出第三几何特步骤S4中所述语义补全分支包括第一自适应特征融合步骤S41：将所述待补全目标点云数据映射到鸟瞰图视角后得到待补全目标鸟瞰图特步骤S42：所述第一语义特征和第一几何特征分别映射到鸟瞰图视角后与待补全目标第二语义特征和第二几何特征分别映射到鸟瞰图视角后与第一阶段融合特征一起输入第何特征分别映射到鸟瞰图视角后与第二阶段融合特征一起输入第三自适应特征融合模块5.根据权利要求4所述的一种基于特征表示分解和鸟瞰图融合的语义场景补全方法，p46.根据权利要求2所述的一种基于特征表示分解和鸟瞰图融合的语义场景补全方法，步骤S4c：将所述鸟瞰图视角下的语义特征和鸟瞰图视角下的几何特征输入自适应特全结果yeR(ct1)L)XHXW,(L,H,W)为3D体素化空间的尺寸，C为prev7.根据权利要求3所述的一种基于特征表示分解和鸟瞰图融合的语义场景补全方法，prevprevprevcom}8.根据权利要求1_7任一权利要求所述的一种基于特征表示分解和鸟瞰图融合的语义步骤S54：语义特征和几何特征分别映射到鸟瞰图视角后输入语义补全分支进行特征9.根据权利要求1所述的一种基于特征表示分解和鸟瞰图融合的语义场景补全方法，567[0013]步骤S3中补全分支包括N个几何特征提取模块；N个几何特征提取模块分别与N个别与N个语义特征提取模块相对应；N个自适应特征融合模块分别与N个几何特征提取模块分别映射到鸟瞰图视角后输入对应的自适应特征融合模[0015]N个自适应特征融合模块之间以串联方式连接，每个自适应特征融合模块输出一块中输入的鸟瞰图视角下的语义特征和鸟瞰图视角下的几何特征进行特征融合后输出下[0019]步骤S22：将体素特征先输入第一稀疏编码块后输出第一语义特征和第一体素特二几何特征和第二占用体素，第二占用体素最后输入第三稠密残差块后输出第三几何特[0026]步骤S41：将待补全目标点云数据映射到鸟瞰图视角后得到待补全目标鸟瞰图特[0027]步骤S42：第一语义特征和第一几何特征分别映射到鸟瞰图视角后与待补全目标8语义特征和第二几何特征分别映射到鸟瞰图视角后与第一阶段融合特征一起输入第二自别映射到鸟瞰图视角后与第二阶段融合特征一起输入第三自适应特征融合模块进行特征点，它的体素索引v;=(lxi/s],ly:/s],lzz/s]),其中s为体素化的分辨率，l.」为向下取整操作；pppp[0035]步骤S4c：将所述鸟瞰图视角下的语义特征和鸟瞰图视角下的几何特征输入自适prevprevprevprev角后的语义特征和几何特征分别用Fsem和Fcom表示；首先计算它们各自的通道注意力权重，[0038]Ff=φ{σ[MLPcom}9全监督以促进几何信息的学习，几何监督损失函数由Lovasz损失和二分类交叉熵损失组[0044]步骤S54：语义特征和几何特征分别映射到鸟瞰图视角后输入语义补全分支进行i够从语义/几何特征中获得有效线索并充分融合语义上下文和几何细节，大大提升了特征[0064]设计了N个语义特征提取模块和几何特征提取模块分别对语义特征和几何特征进可视化结果比较时，本发明所提出的方法在运动目标和平坦物体上都有更好的补全效果，用3个轻量级的稠密残差块来获得几何特征，使用语义补全分支(BEV融合网络)来融合语[0066]图1为本发明一种基于特征表示分解和鸟瞰图融合的语义场景补全方法的整体算[0076]步骤S4：语义特征和几何特征分别映射到鸟瞰图视角(BEV)后输入预训练好的语[0081]步骤S4c：将所述鸟瞰图视角下的语义特征和鸟瞰图视角下的几何特征输入自适够从语义/几何特征中获得有效线索并充分融合语义上下文和几何细节，大大提升了特征[0084]步骤S3中补全分支包括N个几何特征提取模块；N个几何特征提取模块分别与N个别与N个语义特征提取模块相对应；N个自适应特征融合模块分别与N个几何特征提取模块特征分别映射到鸟瞰图视角后变成2D的语[0086]N个自适应特征融合模块之间以串联方式连接，每个自适应特征融合模块输出一块中输入的鸟瞰图视角下的语义特征和鸟瞰图视角下的几何特征进行特征融合后输出下prevprevprevprev[0093]设计了N个语义特征提取模块和几何特征提取模块分别对语义特征和几何特征进可视化结果比较时，本发明所提出的方法在运动目标和平坦物体上都有更好的补全效果，点，它的体素索引其中s为体素化的分辨率，为向下取整操pppp[0101]步骤S22：将体素特征先输入第一稀疏编码块后输出第一语义特征和第一体素特二几何特征和第二占用体素，第二占用体素最后输入第三稠密残差块后输出第三几何特[0106]多尺度稀疏语义特征和多尺度稠密几何特征的设计使语义特征和几何特征的提[0109]步骤S41：将待补全目标点云数据映射到鸟瞰图视角后得到待补全目标鸟瞰图特[0110]步骤S42：第一语义特征和第一几何特征分别映射到鸟瞰图视角后与待补全目标语义特征和第二几何特征分别映射到鸟瞰图视角后与第一阶段融合特征一起输入第二自别映射到鸟瞰图视角后与第二阶段融合特征一起输入第三自适应特征融合模块进行特征融合得到第三阶段融合特征；三个阶段的融合特征经过解码器后得到语义场景补全结果，用3个轻量级的稠密残差块来获得几何特征，使用语义补全分支(BEV融合网络)来融合语[0117]Llovasz,i和Lce,i分别表示语义监督第i个语义阶段的Lovasz损失和多分类交叉熵损全监督以促进几何信息的学习，几何监督损失函数由Lovasz损失和二分类交叉熵损失组[0121]Llovasz,i和Lbce,i分别表示几何监督第i个补全阶段的Lovasz损失和二分类交叉熵[0122]步骤S54：语义特征和几何特征分别映射到鸟瞰图视角后输入语义补全分支进行i表示学习过程。本发明提供的基于特征表示分解和鸟瞰图融合的点云语义场景补全方法，基于特征表示分解设计语义分支和补全分支来分别提取语义特征和几何特征来加速网络大尺度数据集Semanti