CN116229079B 一种基于视觉辅助和特征增强的三维点云语义分割方法及系统 （重庆邮电大学）

一种基于视觉辅助和特征增强的三维点云及一种基于视觉辅助和特征增强的三维点云语计一个重建辅助网络来显式地提取视觉颜色特2云语义分割深度学习模型并训练，将待分割三维点云数据输入训练好的点云语义分割模S2、将预处理后的点云数据分别输入到分割S5、分割网络将几何编码和特征编码得到的特S7、在分割网络中使用通道注意力机制融合2.根据权利要求1所述的一种基于视觉辅助和特征增强的三维点云语义分割方法，其3.根据权利要求1所述的一种基于视觉辅助和特征增强的三维点云语义分割方法，其4.根据权利要求1所述的一种基于视觉辅助和特征增强的三维点云语义分割方法，其计算每个邻居点与中心点的相对坐标，将得到的相对计算中心点与邻居点特征差的绝对平均值，将邻居点特征5.根据权利要求1所述的一种基于视觉辅助和特征增强的三维点云语义分割方法，其36.根据权利要求1所述的一种基于视觉辅助和特征增强的三维点云语义分割方法，其所有邻居点的绝对特征差进行求和；经MLP提取特征后与中心点特征逐元素相加得到增强7.根据权利要求1所述的一种基于视觉辅助和特征增强的三维点云语义分割方法，其行特征编码得到与s(fi)拼接起来，通过自注意力机制计算邻居点的注意力8.根据权利要求1所述的一种基于视觉辅助和特征增强的三维点云语义分割方法，其9.根据权利要求1所述的一种基于视觉辅助和特征增强的三维点云语义分割方法，其利要求1所述的一种基于视觉辅助和特征增强的三维点云语义分割方法，包括数据预处理共享MLP模块，用于提取点的局部上下文特征，以及对整个三维点云进行逐点特征提4池化模块，用于对重建网络中的局部特征进行最5接对不规则的点云进行处理，然而通过MLP提取的逐点特征不能捕获点的局部几何和点与点云数据已有的信息来提升语义分割效果，并且在分割不同语义类边界点方面的能力有[0004]有鉴于此，本发明提供一种基于视觉辅助和特征增强的三维6离计算得到全局体积，基于局部体积与全局体积之比利用MLP学习得到三维点云的全局上最近邻算法得到每个点的K个邻居点，以邻居点特征减去对应中心点特征的方式得到绝对邻域进行特征编码得到s(;s(pi)与is(fi)78[0059]本实施例提出了一种基于混合局部聚集的三维点云语义9为采样后的类别。之后，为了快速地查找近邻，再分别对每一个场景的subxyz建立一个[0061]S2.将预处理后的点云数据分别输入到分割几里得距离使用最近邻算法找到每个点的K个邻居点的索引，再根据索引得到每个点对应何编码后得到的局部几何特征。看起来s(p:)是从多余的点进行位置编码[0071]S5.分割网络将两个编码后的特征确的逐点特征。重建网络则一方面直接从K个邻居中收集最显著(最大)特征用于表示整个表示取K个局部邻域点中的特征最大值，θi是K个邻居的一组可学习权重，meanr.o,(f)表示对K个局部邻域点特征加权平均(即使用softmax函数计算局[0078]S6.在分割网络每一编码层中，利用g)g[0087]S8.在解码层，分割网络对(KNN)得到每个点的K个邻居点，以邻居点特征减去对应中心点特征的方式得到绝对特征[0089]计算每个点与第i个点之间特征值之差的绝对值，将所有绝对值相加并利用多层[0090]S9.对于分割网络使用交叉熵损失函[0094]以输入到分割网络三维点云数据中的每一个点为中心点，使用K最近邻算法找到[0096]在分割