CN114066772B 一种基于transformer编码器的牙体点云补全方法及系统 （南京理工大学）

一种基于transformer编码器的牙体点云补本发明公开了一种基于transformer编码器局部特征F得到特征矩阵F';S2、对聚类中心P和围绕各关键点的局部特征F进行编码，挖掘出用于描述缺失部位牙齿的潜在向量并从潜在向量预测出缺失牙齿的低分辨率点云Yc；构特征R,从R和Yc恢复出高分辨率点云Yf，组Ypred和对应真实缺失牙齿金标准Ygt之间的切夫并应用在了不完整牙体的点云补全上。2心P,并提取出P中关键点的局部特征F;并根据聚类中心P和局部特征F得到特征矩阵F';S2、利用transformer编码器对聚类中心p和围绕各关键点的局部特征F进行编码，挖掘出用于描述缺失部位牙齿的潜在向量V,使用一个多层感知机MLP从潜在向量预测出缺S3、将低分辨率点云Yc和潜在向量V结合构成重构特征R,使用多尺度点云生成器从R多尺度点云生成器包括第四多层感知机和第五多层感在向量V和低分辨率点云从第一维度连接在一起作为重构特征R,第四多层感知机从R预S4、通过最小化Ypred和对应真实缺失牙齿金标准Ygt之pred,Ygt)表示最终预测牙体点云与金标准之间2.根据权利要求1所述的一种基于transformer编码器3FPS将牙体点云数据集中所有样本采样到相同的点数，并对其进行正则化得到尺度相同的S12、使用动态图卷积神经网络DGCNN对步骤S11最终得到的统一尺度后的牙齿点云数键点的局部特征F;F'=M(P)+M,(F)(1):3.根据权利要求1所述的一种基于transformer编码transformer编码器根据步骤S1中获取的特征矩阵按照聚类中心中的关键点坐标提供语义特征信息和编码器学习结构特征信息，信息结合起来，将transformer编码器的结果作为潜在向量v,该潜在向量描述了缺失部位4.根据权利要求1所述的一种基于transformer编码器的牙体点云F_score被定义为预测结果的精度和召回率之间的5.一种基于transformer编码器的牙体点云补全系统，其特征在于，包括数据处理模4聚类中心中的关键点的局部特征F,然后将P和F分别处理并相加得到不完整牙体点云的特征矩阵F';编码模块根据获取的特征矩阵按照P中的关键点坐标进行查询，然后通过预测出低分辨率点云Yc；多尺度点云生成器通过潜在向量和低分辨率点云Yc预测出高分过最小化Ypred和对应真实缺失牙齿金标准Ygt之间的切夫距离，完成牙体补全网络的训练；多尺度点云生成器包括第四多层感知机和第五多层感在向量V和低分辨率点云从第一维度连接在一起作为重建特征R,第四多层感知机从R预g和s分别表示第四多层感知机和第五多层感知机，表示矩pred,Ygt)表示最终预测牙体点云与金标准之间6.根据权利要求5所述的一种基于transformer编码器的牙处理器，用于在运行所述计算机程序时，执行如权利要求1_4任一项所述一种基于5至少一个处理器执行时实现如权利要求1_4任一项所述一种基于transformer编码器的牙6[0005]发明目的：本发明的一个目的是提供一种基于transformer编码器的牙体点云补类中心P,并提取出P中关键点的局部特征F;并根据聚类中心P和局部特征F得到特征7矩阵F';[0009]S2、利用transformer编码器对聚类中心p和围绕各关键点的局部特征F进行编点采样FPS将牙体点云数据集中所有样本采样到相同的点数，并对其进行正则化得到尺度[0015]S12、使用动态图卷积神经网络DGCNN对步骤S11最终得到的统一尺度后的牙齿点各关键点的局部特征F;[0017]F'=M,(P)+M,(F)(1):和M,分别是处理P和F的第一多层感知机和第二多层感知机，r'[0020]transformer编码器根据步骤S1中获取的特征矩阵r"按照聚类中心p中的关键点特征信息结合起来，将transformer编码器的结果作为潜在向量D,[0022]Y=M,(V)(3);的潜在向量v和低分辨率点云从第一维度连接在一起作为重建特征R,第四多层感知机从8度拼接在一起作为最终的预测点云Ypred；重建特征和最终的预测点云Ypred的公式表示R=VOY:(4):gt)表示最终预测牙体点云与金标准之间的距离；低分辨率点云表征了征矩阵r'；编码模块根据获取的特征矩阵r'按照p中的关键点坐标进行查询，然后通过线9测出低分辨率点云Yc；多尺度点云生成器通过潜在向量和低分辨率点云Yc预测出高分辨[0043]优选的，编码模块包括transformer编码器和多层感知机，多层感知机用于对[0044]本发明的一种基于transformer编码器的牙体点云补全装置，包括存储器和处理至少一个处理器执行时实现上述一种基于transformer编码器的牙体点云补全方法的步[0048]有益效果：与现有技术相比，本发明将transformer编码器应用到牙齿点云补全[0054]S1、使用动态图卷积神经网络DGCNN对不完整牙体点云进行处理，得到聚类中心P,并提取出P中关键点的局部特征F；并根据聚类中心P和局部特征F得到特征矩阵F';点采样FPS将牙体点云数据集中所有样本采样到相同的点数，并对其进行正则化以统一不[0057]F'=M,(P)+M,(F)(1):[0059]S2、利用几何结构敏感的transformer编码器对聚类中心和围绕各关键点的局从潜在向量V预测出缺失牙齿的低分辨率点[0061]Transformer中的自注意力用于解决训练不完整牙体点云数据时候存在的归纳偏感transformer编码器由六个连续的模块构成，编码器根据步骤S1中获取的特征矩阵r'按两种信息结合起来，将编码器的结果作为潜在向量V,该潜在向量描述了缺失部位的几何量V和低分辨率点云Yc从第一维度连接在一起作为重建特征R，第四多层感知机从R预测[0069]ya=G,(G(R)+R)BX(5);[0070]其中，R表示重建特征，g和s分别表示多尺度点云生成器中的第四多层感知机c习率设置为0.0001，每经过40个回合学习率衰减70设置批次大小为64，总训练回合为为了评估牙齿补全结果的表现，本方法选择切夫距离、推土机距离(EarthMover[0085]F_score被定义为预测结果的精度和召回率之间的调和平均值；精度是指与金标表性的算法：PointCompletionNetwork(PCN)、PointFractalNetwork(PF_Net)、VariationalRelationalPointCompletionNetwork(VRCNet)、Geometry_Aware加得到不