CN118691742B 一种基于自训练条件扩散模型的三维点云重建方法 （哈尔滨工程大学）

CloudReconstructionMethodWitTrainingConditionalDiffusion.R一种基于自训练条件扩散模型的三维点云本发明涉及一种基于自训练条件扩散模型点云重建网络模型作为教师子模型和学生子模所述待重建图像和所述高斯噪声输入所述自训2构建三维点云重建网络模型，引入条件聚合模块和所述形状自然度模块，用于挖掘重建点云与无标签图像数据的内在结构自然且与所述无标签图像数据保持一致的伪标签点云，以扩充三维点云重建训练集，多尺度卷积子模块，用于将所述第一图像特征将所述待重建图像和所述高斯噪声输入所述自训练条件扩散的三维点云重建网络模学生子模块，用于动态更新所述教师子模型的参数，根据所述待3若干组卷积单元，用于将拼接级联后的特征图进行卷积处理，45[0009]将所述待重建图像和所述高斯噪声输入所述自训练条件扩散的三维点云重建网6的内参与外参矩阵，将所述噪声点云中任意一点的坐标转化为所述插值特征图的像素坐7[0054]图3为本发明实施例的基于扩散模型的三维点云重建网络模型中图像特征提取模[0055]图4为本发明实施例的基于扩散模型的三维点云重建网络模型中噪声估计模块详[0056]图5为本发明实施例的基于扩散模型的三维点云重建网络模型中噪声估计模块点[0058]图7为本发明实施例的条件扩散的三维点云重建网络模型中条件聚合使用的双线[0059]图8为本发明实施例的条件扩散的三维点云重建网络模型与其他先进三维点云重[0061]图10为本发明实施例的自训练条件扩散的三维点云重建网络模型中形状自然度[0062]图11为本发明实施例的自训练条件扩散的三维点云重建网络模型中形状自然度[0063]图12为本发明实施例的自训练条件扩散的三维点云重建网络模型中形状自然度模块的图像特征提取部分所使用的残差块详细结[0064]图13为本发明实施例的自训练条件扩散的三维点云重建网络模型中形状自然度[0065]图14为本发明实施例的自训练条件扩散的三维点云重建网络模型中形状自然度[0066]图15为本发明实施例的自训练条件扩散的三维点云重建网络模型中学生网络引[0067]图16为本发明实施例的自训练条件扩散的三维点云重建网络模型与其他先进三8pp9三维点云重建网络模型中的学生网络，由训练完成的所述学生网络输出三维点云重建结去噪损失函数以及所述重建一致性损失函数对学[0082]构建所述基于扩散模型的三维点云重建网络模型包括：构建图像特征提取模块、pIp[0087]本实施例所提供的一种基于自训练条件扩散模型的三维点云重建方法，如图1所[0088]S1.构建基于扩散模型的三维活计算操作。以尽可能使原始图像X与输出的图像数据保持一致作为预训练图像特征提[0090]原始图像表示为X，经过编码器重建的图像表示为文,定义重建损失计算公式如一致性损失。整体损失函数为利用整体损失函数预训练图像特征提取模块，pp到U＝W1Z+b1,me"是第一个线性层的权重，r是降维比率，C/r表示输出通道数，C是输 用于将权重归一化到0和1之间，seRC是每个通道的权重，最后利用得到的权重对三维的性能与泛化能力。到的嵌入向量TE输入两个全连接层及一层激活函数计算[0109]S2.在基于扩散模型的三维点云重建网络[0110]条件扩散的三维点云重建网络模型如图6所示，构建条件扩散的三维点云重建网2yD倒角距离(CD)和推土机距离(EMD)作为评价指标进行定量分析，对比分析基于扩散模型的[0124]表1为ShapeNet数据集上各模型重建质量的CD对比表。其中CD值越小说明重建的[0128]表2为ShapeNet数据集上各模型重建质量的EMD对比表。其中EMD值越小说明重建3D_LMNet、PSGN重建结果进行可视化分析，图8为点云可视化结果对比图，从图8中可知，物体的几何特征。例如在对飞机的重建上，CDPRN能更好地描绘出机翼的边缘与尾翼的形[0134]S3.基于条件扩散的三维点云重[0135]自训练条件扩散的三维点云重建网络模型结构如图9所示，构建自训练条件扩散[0136]首先以条件扩散的三维点云重建网络模型CDPRN为基础构建教师和学生网络，随III和dI分pp为点云特征中每p为重塑后点云特征图的深度。将调整后的点云特征与图像特征通过拼接级联得到融合特征图[wI,hI,[0144]经过多尺度特征融合的结果k,为进一步挖掘其中的关键特征，采用自注意力的的查询键和值i-i"。利用和计算分数，并采用k的维度dk的平中重要的部分被进一步提取。最后通过全连接层及激活函数层对重标定特征进行综合分的一致性，其通过最后一个单神经元的全连接层以及sigmoid激活函数，输出自然度结果[0150]训练形状自然度模块时，采用有标签图像及其点云数据n()为时间步t相关的权重函数。噪声最后计算去噪损失利用梯度V,,更新网络参数。+(1-α)θs的训练集进行划分，即按照254560％的比例对ShapeNet数据集进行划分，对自条件扩散的三维点云重建网络模型进行三组实验，并于其它模型在100％比例的性能表现型ST_CDPRN在2545％以及60％比例训练集训练得到的结果分别命名为ST@25ST@充分利用无标签数据信息，在有限的有标签数据训练下也能实现质量较好的三维点云重建。尽管过少的数据会限制模型捕捉细节和形状的能力，但随着可用数据量的增加，ST_CDPRN能够更准确地捕获细节和保持对象的几何一致性，显示其对不同复杂性级别的对象[0193](3)消融形状自然度模块及重建一致性损失，分析仅采用自训练方法对模型性能[0194](4)消融自训练方法，仅在少量标注数据下训练条件扩散的三维点云重建网络模[0203]分析表6可知，ST_CDPRN的重建点云与真实点云之间的EMD在各个类别上都优于