第6章 纹理表面重建

智能驾驶与多维重建

第6章

纹理表面重建

1三维物体的表面表达方式6神经辐射场重建

2基于图像分割的表面重建73D高斯溅射

3基于隐函数的表面重建

4基于多视角的网格细化5纹理图像重建8案例：智能驾驶中的稠密点云重建

三维物体表面表达方式三维物体表面可通过边界表示法（三角形Mesh最常用）、空间划分法（Voxel/八叉树）和构造体素法表达。边界表示法：离散化（三角形Mesh最稳定）、参数化（规则物体）、非参数化（隐式曲面/符号距离函数）。三维物体表面表达方式三维物体表面可通过边界表示法（三角形Mesh最常用）、空间划分法（Voxel/八叉树）和构造体素法表达。空间划分法：均匀划分（简单但内存大）、八叉树（自适应分辨率）、BSP（二叉树划分）。三维物体表面表达方式三维物体表面可通过边界表示法（三角形Mesh最常用）、空间划分法（Voxel/八叉树）和构造体素法表达。构造体素法：通过并/交/差组合规则形状，仅适用于简单实体。三维物体表面表达方式三维物体表面可通过边界表示法（三角形Mesh最常用）、空间划分法（Voxel/八叉树）和构造体素法表达。三角形Mesh：顶点（位置/法线/纹理坐标）+面+边，是图形学中最常用的表达方式。基于图像分割的表面重建图像分割法通过空间划分（德劳内三角剖分）和二分类（最小割）提取物体表面。德劳内三角剖分：最大化最小角、空圆特性、与维诺图对偶。增量算法逐步插入点并进行劳森翻转。基于图像分割的表面重建图像分割法通过空间划分（德劳内三角剖分）和二分类（最小割）提取物体表面。最小割二分类：建立有向图（顶点=四面体，边=三角面），添加source/sink顶点，划分代价=可视性约束+光度一致性约束+面积约束。优势：适用于室内外场景，可处理复杂表面；缺点：依赖剖分质量，受噪声影响。基于隐函数的表面重建隐函数重建通过符号距离函数（SDF）的零势面提取物体表面，分为局部（速度快）和全局（抗噪强）两类。空间划分：八叉树非均匀划分，点密集区域高分辨率，稀疏区域低分辨率。基于隐函数的表面重建隐函数重建通过符号距离函数（SDF）的零势面提取物体表面，分为局部（速度快）和全局（抗噪强）两类。符号距离函数（SDF）：f(x)=d(x,∂Ω)（内部为正，外部为负），零势面即为物体表面。基于隐函数的表面重建隐函数重建通过符号距离函数（SDF）的零势面提取物体表面，分为局部（速度快）和全局（抗噪强）两类。局部隐函数：每个点的SDF由邻域点加权得到。鲁棒方法在局部坐标系中定义符号距离和权重，对噪声更鲁棒。全局隐函数：RBF重建、泊松重建，全局拟合但可能过度平滑。基于隐函数的表面重建隐函数重建通过符号距离函数（SDF）的零势面提取物体表面，分为局部（速度快）和全局（抗噪强）两类。MarchingCube：查表法从SDF场提取三角网格。DualMarchingCube处理八叉树相邻体素分辨率不同的情况。网格细化与纹理图像网格细化通过光度一致性优化网格顶点位置，纹理贴图通过视角选择和颜色调整提升真实感。网格细化：连续梯度流离散化，以光度一致性误差作为能量函数，结合平滑约束优化网格顶点位置。网格细化与纹理图像网格细化通过光度一致性优化网格顶点位置，纹理贴图通过视角选择和颜色调整提升真实感。纹理贴图：视角选择（多标签分配，数据项=图像质量/尺度，平滑项=相邻面标签一致性）→纹理坐标计算（投影→包围盒→归一化）→纹理图像创建。神经辐射场（NeRF）重建NeRF通过MLP学习5D辐射场（位置+方向→颜色+密度），实现高保真新视角合成。基本原理：F(x,θ,φ)→(c,σ)。位置编码γ(v)增强高频信息。体积渲染沿射线累积颜色和密度。NeuS：将表面表示为SDF零集，改进体积渲染权重函数（无偏性+遮挡自适应），提高表面重建精度。后续改进：Voxurf（粗到细训练）、VMesh（混合隐式/显式表示）、DMTet（直接优化重建表面）。神经辐射场（NeRF）重建NeRF通过MLP学习5D辐射场（位置+方向→颜色+密度），实现高保真新视角合成。基本原理：F(x,θ,φ)→(c,σ)。位置编码γ(v)增强高频信息。体积渲染沿射线累积颜色和密度。NeuS：将表面表示为SDF零集，改进体积渲染权重函数（无偏性+遮挡自适应），提高表面重建精度。后续改进：Voxurf（粗到细训练）、VMesh（混合隐式/显式表示）、DMTet（直接优化重建表面）。神经辐射场（NeRF）重建NeRF通过MLP学习5D辐射场（位置+方向→颜色+密度），实现高保真新视角合成。基本原理：F(x,θ,φ)→(c,σ)。位置编码γ(v)增强高频信息。体积渲染沿射线累积颜色和密度。NeuS：将表面表示为SDF零集，改进体积渲染权重函数（无偏性+遮挡自适应），提高表面重建精度。后续改进：Voxurf（粗到细训练）、VMesh（混合隐式/显式表示）、DMTet（直接优化重建表面）。神经辐射场（NeRF）重建NeRF通过MLP学习5D辐射场（位置+方向→颜色+密度），实现高保真新视角合成。基本原理：F(x,θ,φ)→(c,σ)。位置编码γ(v)增强高频信息。体积渲染沿射线累积颜色和密度。NeuS：将表面表示为SDF零集，改进体积渲染权重函数（无偏性+遮挡自适应），提高表面重建精度。后续改进：Voxurf（粗到细训练）、VMesh（混合隐式/显式表示）、DMTet（直接优化重建表面）。3D高斯溅射（3DGS）3DGS通过大量可微3D高斯基元显式表示场景，实现实时高质量渲染（>100FPS），是NeRF的有力竞争者。3DGS表示：每个基元参数=均值μ、协方差Σ（缩放s+旋转q）、不透明度θ、颜色c（球谐函数）。渲染（Splatting）：基元投影到2D→按深度排序→Alpha混合合成像素颜色。动态场景处理：PVG（时间相关均值/不透明度）、StreetGaussians（BBOX控制动态车辆）、HUGS（语义/光流监督）、DrivingGaussian（LiDAR先验+增量静态高斯解决大场景累积误差）。3D高斯溅射（3DGS）3DGS通过大量可微3D高斯基元显式表示场景，实现实时高质量渲染（>100FPS），是NeRF的有力竞争者。3DGS表示：每个基元参数=均值μ、协方差Σ（缩放s+旋转q）、不透明度θ、颜色c（球谐函数）。渲染（Splatting）：基元投影到2D→按深度排序→Alpha混合合成像素颜色。动态场景处理：PVG（时间相关均值/不透明度）、StreetGaussians（BBOX控制动态车辆）、HUGS（语义/光流监督）、DrivingGaussian（LiDAR先验+增量静态高斯解决大场景累积误差）。3D高斯溅射（3DGS）3DGS通过大量可微3D高斯基元显式表示场景，实现实时高质量渲染（>100FPS），是NeRF的有力竞争者。3DGS表示：每个基元参数=均值μ、协方差Σ（缩放s+旋转q）、不透明度θ、颜色c（球谐函数）。渲染（Splatting）：基元投影到2D→按深度排序→Alpha混合合成像素颜色。动态场景处理：PVG（时间相关均值/不透明度）、StreetGaussians（BBOX控制动态车辆）、HUGS（语义/光流监督）、DrivingGaussian（LiDAR先验+增量静态高斯解决大场景累积误差）。3D高斯溅射（3DGS）3DGS通过大量可微3D高斯基元显式表示场景，实现实时高质量渲染（>100FPS），是NeRF的有力竞争者。3DGS表示：每个基元参数=均值μ、协方差Σ（缩放s+旋转q）、不透明度θ、颜色c（球谐函数）。渲染（Splatting）：基元投影到2D→按深度排序→Alpha混合合成像素颜色。动态场景处理：PVG（时间相关均值/不透明度）、StreetGaussians（BBOX控制动态车辆）、HUGS（语义/光流监督）、DrivingGaussian（LiDAR先验+增量静态高斯解决大场景累积误差）。案例：智能驾驶中的稠密点云重建（StreetSurf）StreetSurf将驾驶场景划分为近景（NeuS，几何精度）、远景（NeRF++，渲染质量）和天空（MLP），实现高质量场景