CN118982611B 场景重建高斯模型生成方法以及场景重建方法 （上海人工智能创新中心）

US2022351463A1,2022.11.03场景重建高斯模型生成方法以及场景重建本发明公开了一种场景重建高斯模型生成对待训练图像序列进行分区并确定每个图像分根据待训练图像序列和三维高斯参数确定训练2针对每个待训练图像序列，根据所述待训练图像序列确定训练根据所述待训练图像序列确定点云数据，并根据所述点云数据构建对所述待训练图像序列进行分区，得到图像分区，确定每个所根据所述待训练图像序列和三维高斯参数确定所述训练图像序列中每张待训练图像将每个图像分区的训练集以及对应的约束表达作所述对不同层次的锚高斯集合中的锚点进行投影，确定每个所述图针对每个图像分区中的每个图像采集装置，确定图像分区内的所针对每个备选锚点，确定所述备选锚点对应的锚高斯集合和层根据每个所述图像分区对应的所有图像采集装置的所有可观察锚点确定图像分区对根据所述待训练图像和三维高斯参数进行图像渲染，确定渲染图根据所述待训练图像对应的深度图和表面法线图确定深度图和表面法线图的几何一将所述待训练图像对应的渲染图像进行灰度转换，得到灰度图根据高斯核的最小轴、外观损失、深度图和表面法线图的几何3根据所述三维高斯参数确定所有三维高斯球的根据预先确定的外观模型对所述渲染图像及其对应的嵌入进针对所述待训练图像中的每个像素点，从对应的深度图中获取所从对应的表面法线图中获取所述像素点对应的基于各所述像素点的几何一致性确定深度图和表面法线其中，所述场景重建高斯模型采用如权利要求1_6任一项所述的场景重建高斯模型生模型生成模块，用于针对每个待训练图像序列，根据所述待训练锚高斯集合构建单元，用于根据所述待训练图像序列确定点云4训练数据确定单元，用于将每个图像分区的训练集以及对应的约束表达作为训练数场景重建模块，用于将所述待构建图像序列输入到预先生成的场景重建高斯模型中，其中，所述场景重建高斯模型采用如权利要求1_6任一项所述的场景重建高斯模型生其中，所述存储器存储有可被所述至少一个处理器执序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1_6中任一项所述的场景重建高斯模型生成方法或者权利要求7所述的场令，所述计算机指令用于使处理器执行时实现权利要求1_6中任一项所述的场景重建高斯算机程序在被处理器执行时实现根据权利要求1_6中任一项所述的场景重建高斯模型生成5[0003]三维高斯散射(3DGaussianSplatting，3DGS)是神经渲染领域的另一种创新方[0012]根据所述待训练图像序列和三维高斯参数确定所述训练图像序列中每张待训练6所述的场景重建高斯模型生成方法或者的场7所述待训练图像序列和三维高斯参数确定所述训练图像序列中每张待训练图像的约束表[0036]应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特[0042]图4b是根据本发明实施例二提供的另一种损失项对最终优化过程的影响的示例[0043]图4c是根据本发明实施例二提供的另一种损失项对最终优化过程的影响的示例[0044]图4d是根据本发明实施例二提供的另一种损失项对最终优化过程的影响的示例[0045]图4e是根据本发明实施例二提供的另一种损失项对最终优化过程的影响的示例[0049]图8是根据本发明实施例四提供的一种场景重建高斯模型生成装置的结构示意8员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范[0055]图1为本发明实施例一提供的一种场景重建高斯模型生成方法的流程图，本实施9序列中的待训练图像的数据转换为三维的点云数据，例如，可以通过structure_from_根据获得的点云数据构建不同层次的锚高斯个图像分区对应的可观察锚点，将图像分区对应的可观察锚点作为此图像分区的训练集，[0074]步骤3、根据待训练图像序列和三维高斯参数确定训练图像序列中每张待训练图[0075]在本实施例中，约束表达可以理解为用于约束建模过程中数据之间关系的表达[0081]图2为本发明实施例二提供的一种场景重建高斯模型生成方法的流程图，本实施[0083]对于每个待训练图像序列，通过S202_S214的步骤进行处理确定其对应的训练数将图像分区内的所有锚点作为图像采集装置可见度upper_level(d)是根据其与视点的位k-1),……(2)[0097]其中，参数dmax代表点云数据中点与点之间的最大距离，可以在训练前计算出平面上，并通过锚高斯集合和层次的可见度将所有可见锚点添加至对应分区的训练集中。[0110]在本实施例中，渲染图像可以理解为场景重建过程中通过图像渲染得到的图[0111]通过三维高斯参数对待训练图像进行图像渲染，三维高斯参数可以包括位置坐[0122]本申请实施例学习在低维潜在空间中对每幅图像的外观变化进行建模，例如曝,…(6);训练图像中的各像素点在共同平面的互相关联性计算深度图和表面法线图的几何一致性。[0138]PGSR(Chenetal,2024)为原始3DGS方法引入了特定的形状和分布约束。该方法[0145]获得平面的距离和法线后，PGSR通过射线与这些平面的相交来确定相应的深度[0159]根据像素点的坐标从待训练图像对应的表面法线图中获取此像素点对应的法线综合运算得到的结果确定为深度图和表面法[0167]其中，Pi,j是相邻像素j在摄像机坐标系中相对于像素i的上下左右的三维位置，次坐标确定多视角几何一致性约束；将多视角光度约束和多视角几何一致性约束进行运所=HmnF,……(12)然后，利用参考帧和邻近帧中的斑块的归一化交叉相关性(NCC)作为评估光度一致性的指mv=Lncc+Lgeo,…(16)[0184]L=Lrlat的方法，而SuGaR则是一种依赖于3DGS的方法。此外，作为对上述方法的补充，还将VastGaussian(Linetal,2024)和MegaNeRF(Haithemetal,2022)作为额外的比较方法，供了另一种损失项对最终优化过程的影响的示例图，其中，损失项为W/(app+flatten+4b_4e为本申请实施例中的损失项对最终优化过程的影响的示例图，损失项逐步增加。最图像为来自同一视角的相应深度图，第三行的图像为来自同一视角的相应法线图；其中，提供的方法显著改善了现有曲面重建方法的渲染定量结果，同时取得了与NVS方法相当的[0197]各种数据集上进行的综合实验证明了本申请实施例所提出的方法在大场景表面一种在细节等级(LevelofDetails,LoD)框架内利用多视角光度和几何一致性约束的新[0200]图7为本发明实施例三提供的一种场景重建方法的流程图，本实施例可适用于进[0205]预先按照本申请任一实施例提供的场景重建高斯模型生成方法生成场景重建高[0209]图8为本发明实施例四提供的一种场景重建高斯模型生成装置的结构示意图。如锚点对应的锚高斯集合和层次的可见度，如果层次的可见度小于锚高斯集合对应的层次，[0221]外观损失确定子单元，用于根据所述待训练图像和三维[0223]多视角一致性确定子单元，用于将所述待训练图像对应的渲染图像进行灰度转点的几何一致性确定深度图和表面法线图的[0229]本发明实施例所提供的场景重建高斯模型生成装置可执行本发明任意实施例所[0236]本发明实施例所提供的场景构建装置可执行本发明任意实施例所提供的场景构被至少一个处理器执行的计算机程序，处理器61可以根据存储在只读存储器(ROM)62中的计算机程序或者从存储单元68加载到随机访问存储器(RAM)63中的计算机程序，来执行各如因特网的计算机网络和/或各种电信网络与其他设[0241]处理器61可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器61程序的部分或者全部可以经由ROM62和/或通信单元69而被载入和/或安装到电子设备60机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0244]用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合机器上执行且部分地在远程机器上执行或完全在远程机器或服务[0245]本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。