第5章 多视图稠密重建

智能驾驶与多维重建

第5章

多视图稠密重建

1多视图稠密重建

2基于学习方法3基于COLMAP的多视图稠密重建4三维占用重建5案例：驾驶场景中的稠密点云重建法向估计与视角选择法向估计联合估计深度和法线（PatchMatch），视角选择通过几何先验（三角化/分辨率/入射角）选择最优视图。法向估计：PatchMatch采样和传播深度与法线信息。视角选择：三角化先验（夹角越大越好）、分辨率先验（分辨率相近）、入射角先验（越小越好）。蒙特卡洛视图采样：综合几何先验计算概率分布，随机采样选择最优视图。时空平滑、光度一致与几何一致时空平滑减少遮挡振荡，光度一致（NCC）和几何一致（像素级视角选择）共同提升重建质量。时空平滑：空间平滑（相邻像素遮挡状态相似）+时间平滑（当前迭代与前一次迭代相似），减少遮挡状态振荡。光度一致：归一化互相关（NCC）度量图像块相似度。双边滤波降低噪声影响，保留边缘。几何一致：像素级视角选择，结合光度先验（颜色相似）和几何先验（三角化角度/入射角/分辨率），用PatchMatch优化深度和法线。集成与点云融合通过联合似然函数统一优化深度/法线/遮挡状态，过滤不可靠点云后融合生成完整三维模型。联合优化：EM算法迭代优化（E步更新遮挡，M步更新深度和法线）。点云过滤：光度一致性和几何一致性过滤不可靠像素。点云融合：将可靠像素视为图节点（共视关系为边），聚类成簇，计算平均深度和法线，融合成完整点云。基于深度学习的MVSMVSNet是首个将深度学习应用于MVS的方法，通过可微单应性变换和三维代价体实现端到端深度估计。输入：已知相机姿态的多视角图像（SfM获取）。核心步骤：特征提取（CNN）→可微单应性变换构建代价体→代价体正则化（3DCNN）→深度回归→深度图优化。优势：处理低纹理/反射/透明表面，端到端训练；缺点：3D卷积计算量大。基于2D卷积的MVSSimpleRecon通过2DCNN+4D元数据替代3D卷积，大幅提升效率，实现实时处理。创新点：①2DCNN（代替3D卷积，提升效率）；②4D元数据（集成关键帧、几何元数据到4D张量，经MLP降维）。流程：参考图像+源图像+内外参→特征提取匹配→代价体+MetaData→MLP→2DEncoder-Decoder→稠密深度图。5.3COLMAP多视图稠密重建实践COLMAP提供完整的SfM+MVS流水线，从图像输入到稠密点云输出，是三维重建的常用开源工具。安装与编译：通过apt安装依赖，gitcloneCOLMAP源码，cmake编译。运行SfM：feature_extractor（特征提取）→sequential_matcher（顺序匹配）→mapper（SfM重建）→bundle_adjuster（BA优化）。COLMAPMVS：在SfM结果基础上运行MVS模块，但计算量大（30s数据需数十~数百GPU时）。5.3COLMAP多视图稠密重建实践COLMAP提供完整的SfM+MVS流水线，从图像输入到稠密点云输出，是三维重建的常用开源工具。RoMe路面重建：基于SfM结果，通过Nerf可微分渲染重建高精度路面曲面。三维占用重建三维占用（Occupancy）将空间划分为体素并预测占据状态，是深度估计从2D到3D的演进。SurroundDepth：环视深度估计→后处理得到占用。核心：Cross-ViewTransformer（跨视角特征交互）、SfM预训练（恢复真实尺度）、联合位姿估计（利用外参）。三维占用重建三维占用（Occupancy）将空间划分为体素并预测占据状态，是深度估计从2D到3D的演进。SurroundOcc（端到端）：2D骨干提取多尺度特征→2D-3D空间注意力→3D卷积上采样→占用预测。真值自动标注：多帧点云融合→泊松重建填补空洞→体素化。三维占用重建三维占用（Occupancy）将空间划分为体素并预测占据状态，是深度估计从2D到3D的演进。占用流（EmerNeRF）：静态场+动态场+光流场分解，4D时空表示，不依赖有监督分割或光流估计。案例：驾驶场景中的稠密点云重建MVS在驾驶场景面临动态物体、光照变化、视角单一、算力限制四大挑战，需针对性解决。挑战：动态物体（语义分割剔除）、光照变化与阴影（特征映射、Block-NeRF可控光照）、视角