CN119478409A 一种基于密度感知与特征增强的点云语义分割方法及模型 （华北电力大学（保定））

一种基于密度感知与特征增强的点云语义本发明涉及一种基于密度感知与特征增强判断模块。将本发明方法在公开数据集S3DIS与74.8相对基线模型分别提升了2.6％与22.根据权利要求1所述的一种基于密度感知与特征增强的点云语义分割方法，其特征3通过动态采样与分组，得到了每个中心点的邻域范围rij表示在第i个组的第j个点，同时有对应的组特征其中C3.根据权利要求2所述的一种基于密度感知与特征增强的点云语义分割方法，其特征变:d为最大池化后的特征。4.根据权利要求3所述的一种基于密度感知与特征增强的点云语义分割方法，其特征根据深层次采样点Nc获得Q矩阵，通过原始包含丰富位置信息的KK将A*与QKT的特征图一起进行softmax归一化处理得到矩阵M:d是特征维度，QKT是转置45.根据权利要求4所述的一种基于密度感知与特征增强的点云语义分割方法，其特征排列，该过程用reshape表示，可以得到一个的矩阵，最后，经过最大池化得到注意力图中的元素被视为相应邻域特征集的权重，通过计算为:ppkcl与Vcl对应自注意力5将不断重复d次，以恢复矩阵大小，变成beR",将此结果与σ相减再与Vcl相乘得到6.根据权利要求5所述的一种基于密度感知与特征增强的点云语义分割方法，其特征7.根据权利要求6所述的一种基于密度感知与特征增强的点云语义分割方法，其特征8.一种基于密度感知与特征增强的点云语义分割模型69.根据权利要求8所述的一种基于密度感知与特征增强的点云语义分割模型，其特征7常一个点云场景包含几十万个点及其标签数据，但其中包含大量重复语义特征的冗余数FPS方法首先随机选择初始采样点，然后计算所有点到该采样点欧式距离最大的点作为新的是邻域点的空间分布为距离中心点近的占大多数，这些近点对中心点的密度影响更大，8致精确位置信息丢失。为解决这个问题，本发明模型提出了位置特征增强(position积核将特征尺度对齐失(对齐失是指为了统[0005]基于Transformer的三维点云语义分割方案采用端对端的“编码一解码”结构，Transformer能够帮助网络捕捉全局和局部特征，学习每个点在语义分割中的重要性；PointTransformer将自注意力机制引入到三维点云语义分割的任务中，在局部范围进行[0006]因此需要提出一种融合点级别Transformer(pointleveltransformer，PLT)与特征通道级别Transformer(channelleveltransformer，CLT)的双Transformer模块[0007]本发明需要解决的技术问题是提供一种基于密度感知与特征增强的点云语义分割方法及模型，使Transformer结构能学习基于密度感知的深层采样点不同级别的语义特9[0033]根据点云语义分割中处理数据的方式不同，分割方法使用多层感知机(multi_度特征提升对不同尺度的适应性；该方法缺少对不同点之间的相互交互进行建模，为此，[0035]基于点卷积的方法倾向于设计更有效的卷积算子；PCNN[0036]基于注意力机制的方法主要采取Transformer中的编码器_解码器结构；Point的拉普拉斯矩阵的启发，PCT提出改进的自注意力模块能够改进注意力权重并减少噪声的StratifiedTransformer将密集的局部点和稀疏的远处点作为每个查询向量的关键向量，能够把立方窗口之间的消息传递以及全局信息捕获；但以上这些模型只是限制在逐点的过突出不同通道之间的交互作用来改进上下文信息[0037]本发明受双向Transformer与高斯核密度估计的启发，提出一种基于动态尺度采在编码器中通过动态采样分组DSG与基于自注意力机制的双向Transformer对点云提取深[0060]通过动态采样与分组，得到了每个中心点的邻域范围，采样点用集合Q＝{q1,通过最大池化得到,e";此时用Nc代表采样点，其特征维度d为最大池化后的特征。[0068]在通过多层编码器进行深层次语义特征提取后，每个采样点包含的特征更加丰[0069]根据深层次采样点Nc获得Q矩阵，通过原始包含丰富位置信息的点得到K矩阵和VKKK[0073]上一节计算得到的A*与QKT的特征图一起进行softmax归一化处理得到矩阵M:d是[0079]本发明设计的双向自注意力Transformer模块包含两个子块，分别为点级别的Transformer与通道级别的Transformer；在图5中，展现了两个子块的相互作用与相互关c覆盖了每个中心点对应的k个不同的邻域点所包含d维特征，将每个中心为:[0094]通道级别Transformer子块的主要关注对象是通道空间，因此有必要降低由点空[0099]o-k2t:化层BN(BatchNormalization)和ReLU激活函数(RectifiedLinearUnit，也叫线性整流[0115]在本节中，我们用S3DIS与ScanNet_v2数据集进行室内场景三维点云语语义分割ii表示预测错误的负样本数。[0122]在S3DIS数据集Area5中的语义分割结果如表1所示，本发明提出的方法在OA、mAcc、mIou三个评价指标上均领先于其他方法；三个指标分别达到了92.4％、79.2％和窗户的准确率超过了75均达到了较高的实验结果；本发明提出的模型在多个类别展现Transformer有缩小的趋势，黑色杂物部分的分割边界更加明显，整体结构更接近真实标的模型在验证集的结果超过PointTransformer了4.2在测试集中超过PointTransformer了4.5同时领先KPConv模型3.3取得了具有竞争力的检测效果；ScanNet线模型的交并比为70.4单独存在①的情况下提升