CN119445449A 基于三维高斯溅射技术的开放词汇3d分割方法 （广东博华超高清创新中心有限公司）

道黄阁坑社区腾飞路9号创投大厦基于三维高斯溅射技术的开放词汇3D分割本发明提供了一种基于三维高斯溅射技术S8.通过比较查询文本的CLIP特征与高斯体的语2嵌入特征l的嵌入；2.根据权利要求项1所述的基于三维高斯溅射技术的开放词汇3D分割方法，其特征在3.根据权利要求项1所述的基于三维高斯溅射技术的开放词汇3D分割方法，其特征在4.根据权利要求项1所述的基于三维高斯溅射技术的开放词汇3D分割方法，其特征在5.根据权利要求项1所述的基于三维高斯溅射技术的开放词汇3D分割方法，其特征在6.根据权利要求项1所述的基于三维高斯溅射技术的开放词汇3D分割方法，其特征在7.根据权利要求项1所述的基于三维高斯溅射技术的开放词汇3D分割方法，其特征在3其中li是嵌入到第i个高斯体的开放词汇特征，L(u)代表像素u处渲染的开放词汇特征8.根据权利要求项1所述的基于三维高斯溅射技术的开放词汇3D分割方法，其特征在9.根据权利要求项1所述的基于三维高斯溅射技术的开放词汇3D分割方法，其特征在luss=1-⃞y(L())·f(i)(3)。10.根据权利要求项1所述的基于三维高斯溅射技术的开放词汇3D分割方法，其特征获得一个相关性热图，其中相关性得分低于预先确定的阈值的高斯体将被过滤掉，剩余区域通过光栅化渲染形成一个用于预测被查询对象的掩码。4[0003]现有公开技术中，论文《OpenScene:3DSceneUnderstandingwithOpen5三维场景的多视图图像视为视图逐渐变化的视频序列，采用预训练的视频跟踪分割模型其中代表第i个实例的第j个2D掩码CLIP特征，将高维CLIP特征F压缩到低维嵌其中li是嵌入到第i个高斯体的开放词汇特征，L(u)代表像素u处渲染的开放词汇渲染特征图中的每个掩码随机选取m个像素来代表该掩码，然后通过可训练的解码器Ψ渲染的特征图L中每个2D掩码的潜在特征恢复到CLIP空间，然后最小化恢复的潜在CLIPluss=1-⃞y(L())·f(i)(3)。6余区域通过光栅化渲染形成一个用于预测被查询先进的2D分割模型就能够对三维场景进行开放词7视图的2D掩码一致性，即不同视图下同一实例的2D掩码代表的语义信息应该相同或相似，压缩编码器对高维CLIP特征进行降维（图2中的特征压缩形成该实例的代表性开放词低维嵌入特征（代表性开放词汇特征定义为其中代表可学习的压缩编码将低维嵌入特征当作高斯体的一个参数进行渲染，处理渲染过程类似于三维高斯溅射中8其中li是嵌入到第i个高斯体的开放词汇特征，L(u)代表像素u处渲染的开放词汇过可训练的解码器Ψ来恢复潜在CLIP特征，并与原始RGB图得到的CLIP特征进行损失计[0037]luss=1-⃞y(L())·f(i)(3)S8.通过比较查询文本的CLIP特征与高斯体的语义特征，得到相关性高的高斯余区域通过光栅化渲染形成一个用于预测被查询[0041]下面通过具体实例应用简述本发明基于三维高斯溅射技术的开放词汇3D分割方[0043]随后使用SAM分割模型和视频跟踪分割模型SAM2对多视图集合中的每个图像进行9[0046]本发明的仿真实验的软件平台为：CentOS7.6操作系统，Pytorch2.0.1框架，[0048]在上述仿真实验条件下，分别用本发明方法和三个基线方法OV_Seg、ResNet50、78.687.870.464.880