CN117745944B 预训练模型确定方法、装置、设备以及存储介质 （北京百度网讯科技有限公司）

点云重建目标和掩码后点云数据上的未掩码区几何属性特征进行重建，以生成点云预训练模2对所述掩码后点云数据中体素内的三维点云坐标进行平均值计算，基于预先确定的内外参矩阵，确定所述三维点云坐标平均值和根据所述对应关系，将所述掩码后点云数据中的点云投影到所根据所述图像坐标对应的图像语义特征和所述掩码后点云数据，确定根据所述点云重建目标和所述掩码后点云数据上的未掩码区域其中，确定所述掩码后点云数据的掩码区域的点云重根据所述下采样倍率定义的最小掩码单元内的点云，确定2.根据权利要求1所述的方法，其中，所述对多帧所述原始点云数据进行随机掩码运基于所述位置编码信息，确定所述掩码后点云数据的掩码多帧所述时序图像是采用图像传感器采集到的，多帧采用点云特征提取算法，对所述掩码后点云数据中的未掩码区域进行特征37.根据权利要求1至3中任意一项所述的方根据所述点云重建目标和所述掩码后点云数据上的未掩码区域掩码处理单元，用于对多帧所述原始点云数据进行随机掩码运算，投影处理单元，用于将所述掩码后点云数据中的点云投影到确定单元，用于根据所述图像坐标对应的图像语义特征，生成单元，用于根据所述点云重建目标和所述掩码后点云数第五确定子单元，用于根据上述下采样倍率定义的最小对所述掩码后点云数据中体素内的三维点云坐标进行平均值计算，基于预先确定的内外参矩阵，确定所述三维点云坐标平均值和根据所述对应关系，将所述掩码后点云数据中的点云投影到所第一处理子单元，用于对所述原始点云数据进行体素特征编码第二处理子单元，用于对所述处理后点云数据进行随机4第三确定子单元，用于基于所述位置编码信息，确定所述掩码对齐处理单元，用于采用语义损失函数，将所述未掩码区域的未掩特征提取单元，用于采用点云特征提取算法，对所述掩码后点重建子单元，用于根据所述点云重建目标和所述掩码后点云数所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被5[0003]Transformer是一种基于自注意力机制的深度神经网络结构，在自然语言处理领缺乏大规模的标注数据集，以及Transformer缺乏对点云的归纳偏置，导致直接应用6[0028]采用点云特征提取算法，对所述掩码后点云数据中的未7[0046]计算模块，用于对所述掩码后点云数据中体素内的三维点云坐标进行平均值计8[0065]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特[0073]图7是根据本公开实施例所提供的一种可选的预训练模型确定装置的框架示意[0077]CLIP(ContrastiveLanguage_ImagePre_Training，以下简称CLIP)模型是[0078]体素化(Voxelization)是将物体的几何形式表示转换成最接近该物体的体素表9[0092]如图2所示，获取到的多帧时序图像，以及多帧时序图像对应的多帧原始点云数[0098]一种可选的示例中，图3是根据本公开的实施例所提供的一种可选的预训练模型的已经标定且进行过时钟同步的图像数据和点云数据作为输入，对于输入的离散点云数[0104]作为一种可选示例，图4是根据本公开的实施例所提供的一种可选的预训练模型确定方法的流程图，如图4所示，上述将上述掩码后点云数据中的点云投影到上述特征图[0107]本公开使用预训练好的CLIP模型中的图像分支进行特征提取，得到的特征图Himg云和上述图像语义特征之间的对应关系，可以将掩码后点云数据中的点云投影到特征图[0109]一种可选的示例中，图5是根据本公开的实施例所提供的一种预训练模型确定方个3D卷积神经网络或者2D卷积神经网络来对voxel或者pillar进行特征提取，得到重新编[0115]一种可选的实施例，图6是根据本公开的实施例所提供的一种预训练模型确定方以训练模型从可见的点云局部结构预测被掩盖的[0123]本公开示例中，将提取到的未掩码特征以及位置编码信息，作为一个基于Transformer结构的解码器的输入，来对掩码区域的图像语义特征和几何属性特征进行重[0125]本公开使用2D/3D特征提取网络(点云特征提取器)实现特征提取，特征提取的同‘2经过一个MLP层处理之后得到维度为3的预测几何中心点，并由线性层2预测几何中心点与[0145]采用点云特征提取算法，对上述掩码后点云数据中的未[0150]根据本公开的实施例，图7是根据本公开实施例所提供的一种预训练模型确定装[0155]确定单元705，用于根据上述图像坐标对应的图像语义特征和上述掩码后点云数[0156]生成单元706，用于根据上述点云重建目标和上述掩码后点云数据上的未掩码区[0164]计算模块，用于对上述掩码后点云数据中体素内的三维点云坐标进行平均值计[0173]根据本公开的一个或多个示例，多帧上述时序图像是采公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执因特网的计算机网络和/或各种电信网络与其他设备交换信序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到设备800上。机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0187]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端_服务器关系的计云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("如，本发公开中记载的各步骤可以并行地执行也