CN117115588B 一种基于扩散模型的3d预训练方法与系统 （上海人工智能创新中心）

本发明实施例提供了一种基于扩散模型的中，所述遮蔽点云分词特征由获取的点云块生成；通过条件嵌入模块对所述拼接特征进行编型的指导条件和多阶段均匀采样策略确定损失不增加计算量的前提下，实现对点云的全面理2将针对每个预设的点云数据的时间步长区间[1,T]划分{[dxi+1,dx(i+1)I⃞,其中从h个阶段中随机采样一个时间步长t，计算h次损失并将h次损失进行平均运算对所述点云分词特征进行随机遮蔽，生成所述可见点云分词特征和所述遮特征，其中，所述可见点云分词特征表示为所述遮蔽点云分词特征表示为为所述遮蔽点云分词特征{F"1的个数，g＝s_r为所述可见点云3.根据权利要求2所述的方法，其特征在于，所3通过带参数φ的简化版PointNetξφ(·)将更新的点云块嵌入到分词特征{F1中，表示为：将输出的所述可见点云分词特征的位置特征pos"与所述可见点云分词特征连第一编码模块，用于通过编码器对可见点云分词特征进行拼接模块，用于将所述深层可见点云分词特征与遮蔽点云分词特征进行第二编码模块，用于通过条件嵌入模块对所述拼接特征进确定模块，用于根据所述扩散模型的指导条件和多阶段均匀采样策略确定损失函数，将针对每个预设的点云数据的时间步长区间[1,T]划分{[dxi+1,dx(i+1)⃞,其中从h个阶段中随机采样一个时间步长t，计算h次损失并将h次损失进行平均运算4其中，所述程序包括指令，所述指令在由所述处理器执行时5云分词特征由获取的点云块生成；将深层可见点云分词特征与遮蔽点云分词特征进行拼特征表示为遮蔽点云分词特征表示为为遮蔽点云分词6括通过带参数φ的简化版PointNetξφ(·)将更新的点云块嵌入到分词特征{F1可见点云分词特征，包括将可见点云分词特征的位置信息输入至带参数τ的位置嵌入公式将输出的可见点云分词特征的位置特征pos'与可见点云分词特征连接，得到组合{[dxi+1,dx(i+1)l⃞,其中[0019]从h个阶段中随机采样一个时间步长t，计算h次损失并将78[0037]在现有技术中的许多研究，包括VisualChatGPT[1]WuC,YinS,QiW,etal.Visualchatgpt:Talking,drawingandeditingwithvisualfoundationmodels[J].arXivpreprintarXiv:2303.04671,2023.以及SAM[2]KirillovA,MintunE,RN,etal.Segmentanything[J].arXivpreprintarXiv:2304.02643,2023.已经证明了预[0039]在3D点云领域PointContrast[3]XieS,GuJ,GuoD,etal.Pointcontrast:Unsupervisedpre_trainingfor3dpointcloudunderstanding[C]//ComputerVision–ECCV2020:16thEuropeanConference,Glasgow,UK,August23–28,2020,Proceedings,PartIII16.SpringerInternationalPublishing,2020:574_591[0040]DepthContrast[4]ZhangZ,GirdharR,JoulinA,etal.Self_supervisedpretrainingof3dfeaturesonanypoint_cloudInternationalConferenceonComputerVision.2021:10252_10263.仅使用单视图的深[0041]CrossPoint[5]AfhamM,DissanayakeI,DissanayakeD,etal.Crosspoint:Self_supervisedcross_modalcontrastivelearningfor3dpointcloudunderstanding[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2022:9902_9912.提出一种跨模态对比学习方法，将点云和渲[0042]然而上述基于对比学习的方法往往需要设计负样本和大的批大小(batchsize)，[0044]Point_BERT[6]YuX,TangL,RaoY,etal.Point_bert:Pre_training3dpointcloudtransformerswithmaskedpointmodeling[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2022:19313_19322.通过dVAE[7]RolfeJT.Discretevariationalautoencoders[J].arXivpreprintarXiv:9[0045]更近一步地，Point_MAE[8]PangY,WangW,TayFEH,etal.Maskedautoencodersforpointcloudself_supervisedlearning[C]//ComputerVision–ECCV2022:17thEuropeanConference,TelAviv,Israel,October23–27,2022,Proceedings,PartII.Cham:SpringerNatureSwitzerland,2022:604_621.直接对点云[0046]Point_M2AE[9]ZhangR,GuoZ,GaoP,etal.Point_M2AE:multi_scalemaskedautoencodersforhierarchicalpointcloudpre_training[J].arXivpreprint[0047]Joint_MAE[10]GuoZ,LiX,HengPA.Joint_mae:2d_3djointmaskedautoencodersfor3dpointcloudpre_training[J].arXivpreprintarXiv:[0048]然而Point_M2AE和Joint_MAE是通过修改层次化的网络架构进行多层次几何知识特征表示为遮蔽点云分词特征表示为为遮蔽点云分词括通过带参数φ的简化版PointNetξφ(·)将更新的点云块嵌入到分词特征{F1可见点云分词特征，包括将可见点云分词特征的位置信息输入至带参数τ的位置嵌入公式将输出的可见点云分词特征的位置特征pos"与可见点云分词特征连接，得到组合ρρρρ[0077]{[dxi+1,dx(i+1)1⃞,其中d=IT/h:[0078]从h个阶段中随机采样一个时间步长t，计算h次损失并将[0080]应理解，在微调阶段，将编码器(encoder)与扩散模型分离，引入特定的解码器络Encoder可以替换为任意2D/3[0084]图3B为本发明另一实施例的语义分割结果比较图，展示了关于S3DIS数据集上语[0085]参见图4为与图1实施例对应的基于扩散模型的3D预训练系统400的结构框图，基[0089]确定模块440，用于根据扩散模型的指导条件和多阶段均匀采样策略确定损失函为本申请的服务器或客户端的电子设备500的结构框图，其是可以应用于本申请的各方面[0093]该电子设备500可以包括：处理器(processor)502、通信接口(Communications[0097]处理器502可能是处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific[0100]此外，程序510中各步骤的具体实现