CN119295651B 三维动态场景的重建方法、装置和存储介质 （清华大学）

到的{D}构成动态高斯溅射点集(P):结合相机的内外参对按照高斯溅射的渲染管线进行渲能够在分钟级的时间内完成训练并且在训练后2S3、根据每个匹配点的深度构建稀疏点云，根据该针对所有视频的其余帧图像，计算每个视角视频的像素点其与高斯溅射点集{p}的刚体约束以及其与其余帧图像的渲染损失更新各动态点在其余帧由高斯溅射点集{p}、静态点集{S}和最终得到的动态点集{D}构成动态高斯溅射点集i分别为第i个高斯溅射点的位对于每一个视角视频的首帧图像，将高斯溅射点集{p0}中各高斯溅射点均分别投影到相应视角的成像平面上，投影后的各二维高斯溅射点按照深度从小到大依次进行可微渲3在优化过程中的每一次迭代时，根据所述渲染图像与首帧图像之其按照高斯分布的概率密度采样进行分裂，对于自身体积小于等于体积阈值的高斯溅射和λ2分别为损失函数LD-SSIM和LLP对多视角视频的每一个连续视频，计算各视频的像素点随通过对变化体素场V(x,y,z)的可微渲染并将所述各视频的像素点随时间的变化方差作为表示利用光线r处由变化体素场V(r(yi))4按照最近邻原则找到高斯溅射点集{p}中各高斯溅射点对应的体素，并且按照体素是斯溅射点，否则该高斯溅射点为静态高斯溅射点，从而将高斯溅射点集{p}分为静态点集斯溅射点与高斯溅射点集{p}中第l个高斯溅射点的刚体约束为其中，和分别表示动态点集{D}中第k个高斯溅射点在第t帧时刻的位置和旋转角度，和e"分别表示高斯溅射点集{p}中第l个高斯溅射点在第t帧时刻的位置和旋转角度；wk,l表示损失函数权重，与两个高斯溅射点之间的距离负相关，具体表示为Wx!=exp(-和分别表示第k个和第l个高斯溅射点在首帧第一模块，其内存储有训练数据，所述训练数据为使用多个第三模块，用于根据每个匹配点的深度构建稀疏点云，根据该斯溅射点并通过高斯分布计算三维空间点的颜色辐射值，根据该颜色辐射值得到渲染图高斯溅射点集{p0}进行高斯致密化处理，将高斯溅射点集{p0}中体积大于体积设定阈值的针对所有视频的其余帧图像，计算每个视角视频的像素点5其与高斯溅射点集{p}的刚体约束以及其与其余帧图像的渲染损失更新各动态点在其余帧由高斯溅射点集{p}、静态点集{S}和最终得到的动态点集{D}构成动态高斯溅射点集第五模块，用于结合相机的的内外参对动态高斯溅射点集{P按照高斯溅射的渲染管10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指6点云数据转换为体素或表面表示的有效方法，其基本思想是将每个三维点作为高斯核中7的像素点变化方差优化变化体素场，根据变化体素场的值将高斯溅射点集{p}分为静态点根据其与高斯溅射点集{p}的刚体约束以及其与其余帧图像的渲染损失更新各动态点在其[0014]由高斯溅射点集{p}、静态点集{S}和最终得到的动态点集{D}构成动态高斯溅射[0015]S5、结合相机的内外参对动态高斯溅射点集按照高斯溅射的渲染管线进行渲iiiiii8别表示2-范数损失函数和结构相异性损失函数，均用于约束图像之间的像素级相似度；1和λ2分别为损失函数LD-SSIM和LLPIPS的权重。9[0036]按照最近邻原则找到高斯溅射点集{p}中各高斯溅射点对应的体素，并且按照体[0039]其中，和分别表示动态点集{D}中第k个高斯溅射点在第t帧时刻的位置和旋转角度，和ef"分别表示高斯溅射点集{p}中第l个高斯溅射点在第t帧时刻的位置和旋转角度；wk,l表示损失函数权重，与两个高斯溅射点之间的距离负相关，具体表示为"[0043]本公开第二方面提供的一种基于本公开第一方面任一实施例所述重建方法的重否对高斯溅射点集{p0}进行高斯致密化处理，将高斯溅射点集{p0}中体积大于体积设定阈值的高斯点、所有视角都不可见的高斯点及透明度小于透明度设定阈值的高斯点均删除，的像素点变化方差优化变化体素场，根据变化体素场的值将高斯溅射点集{p}分为静态点根据其与高斯溅射点集{p}的刚体约束以及其与其余帧图像的渲染损失更新各动态点在其[0049]由高斯溅射点集{p}、静态点集{S}和最终得到的动态点集{D}构成动态高斯溅射[0050]第五模块，用于结合相机的的内外参对动态高斯溅射点集按照高斯溅射的渲[0056]图1是本公开第一方面实施例提供的一种三维动态场景的重建方法的整体流程高斯溅射点集{p0}进行高斯致密化处理，将高斯溅射点集{p0}中体积大于体积设定阈值的的像素点变化方差优化变化体素场，根据变化体素场的值将高斯溅射点集{p}分为静态点根据其与高斯溅射点集{p}的刚体约束以及其与其余帧图像的渲染损失更新各动态点在其[0066]由高斯溅射点集{p}、静态点集{S}和最终得到的动态点集{D}构成动态高斯溅射[0067]S5、结合相机的内外参对动态高斯溅射点集(P?按照高斯溅射的渲染管线进行渲的其余帧图像对得到的高斯溅射点集{p}进行动态扩展，从得到扩展高斯溅射点集tp}:最后由高斯溅射点集{p}和扩展高斯溅射点集tp}构成动态高斯溅射点集步骤S4具体包斯溅射点在渲染图像I中的投影后的协方差矩阵。这样的渲染过程可以按照图像分块进行渲染，每一块图像的渲染由一个CUDA(ComputeUnifiedDeviceArchitecture)进程块完这100次迭代中记录的每个高斯溅射点的二维投影的梯度的平均值；对于每一个高斯溅射点，如果其过去100个迭代的二维点梯度平均值大于分裂阈值thresh2D(本实施例中，(本实施例中面积阈值设置为0.2)的高斯点，同时移除所有训练视角都不可见的高斯溅射点集fp},具体过程如下：[0093]S424、使用从第二帧到最后一帧的多视角视频数据按照步骤结合以下的刚体正则化约束更新动态点集{D}中和分别表示第k个和第l个高斯溅射点在首帧{p}中选取该动态高斯溅射点的20个近邻点对动态高斯溅射点进行体刚约束，从而动态点集{D}与高斯溅射点集{p}间的刚体约束Lrig[0099]其中，K表示动态点集{D}中高斯溅射点的总数，KNwi"表示由从高斯溅射点集计模型中的分层设计，令一个包含256个线程的线程块负责图像中一个大小为16×16图像MINUS_DST_ALPHA以实现在OpenGL框架中的实时[0108]进一步地，对于支持网页端的计算设备，使用WebGL框架，使用和上述可以应用OpenGL的计算设备采用相同的图元着色器和片段着色否对高斯溅射点集{p0}进行高斯致密化处理，将高斯溅射点集{p0}中体积大于体积设定阈值的高斯点、所有视角都不可见的高斯点及透明度小于透明度设定阈值的高斯点均删除，的像素点变化方差优化变化体素场，根据变化体素场的值将高斯溅射点集{p}分为静态点根据其与高斯溅射点集{p}的刚体约束以及其与其余帧图像的渲染损失更新各动态点在其[0115]由高斯溅射点集{p}、静态点集{S}和最终得到的动态点集{D}构成动态高斯溅射[0116]第五模块，用于结合相机的的内外参对动态高斯溅射点集按照高斯溅射的渲可以根据存储在只读存储器(ROM)102中的程序或者从存储装置108加载到随机访问存储器设备与其他设备进行无线或有线通信以交换数据。虽然图2示出了具有各种装置的电子设该计算机程序可以通过通信装置109从网络上被下载和安装，或者从存储装置108被安装，[0126]可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结连接部(电