计算机视觉 课件 第6章三维场景重建

1第六章三维场景重建§6.1由运动到结构§6.3深度估计§6.2稠密三维重建§6.4神经辐射场2三维场景重建概述三维场景重建目标输入：一系列图像或传感器数据输出：三维结构表示（如点云、Mesh网格等）应用：AR/VR、三维高精地图、自动驾驶、智能机器人3§6.1由运动到结构一、对极几何约束二、本质矩阵估计与分解三、三角测量四、PnP问题与求解方法由运动到结构概述4什么是由运动到结构（StructurefromMotion,SFM）？运动：相机的运动，指的是不同图像所对应相机的位姿（Pose）相机的位姿通常由三维平移向量

t

与旋转矩阵

R构成结构：3D几何位置信息，即重建的点云由运动到结构：基于输入的图像，恢复相机位姿关系并进行重建一般对应于稀疏重建：特征点匹配重建的稀疏点云符号定义图像：I

相机内参：K相机中心：O（匹配）特征点：p对极几何约束5对极几何约束用于描述两幅图像之间的几何关系。当两幅图像由相对运动的相机拍摄时，同一三维场景在两幅图像中的投影点之间存在一种特定的约束关系，这种关系反映了两相机之间的相对位置和姿态假设相机从O1经过旋转平移运动到达O2，I1和I2为相机所在的成像平面，空间的任意一点P，在两个成像平面上的投影分别为p1和p2极平面：O1O2P极点：e1，e2基线：O1O2极线：l1，l2对极几何约束6对极约束推导针孔相机模型投影公式：归一化坐标关系：矢量外积变换：对极约束本质矩阵（EssentialMatrix）：基础矩阵（FundamentalMatrix）：本质矩阵的分解7求解本质矩阵根据对极约束，给定任意一组对应特征点归一化坐标

与八点法（Eight-point-algorithm）：给定八组点，可以求解本质矩阵：本质矩阵的分解8根据本质矩阵求解相机位姿根据SVD分解：

根据本质矩阵的定义与奇异值性质：可以求得

4

组解，仅有图（1）中的解符合实际三角测量9三角测量目标：基于已经求解的相机运动估计对应特征点在三维空间中的位置根据对极几何中的关系：左侧叉乘

x2可求解

s1：在实际应用的过程中存在噪声

从而转换为优化问题：PnP问题与求解方法10PnP问题的定义与解法类别本质矩阵分解与三角测量存在的不足：多个匹配点对、噪声误差等PnP问题：当我们知道

n

个三维空间点的三维坐标以及它们的投影位置和对应的二维图片时，估计相机所在的位姿的问题PnP问题的解法类别线性求解方法直接线性变换，EPnP（EfficientPnP），UPnP非线性求解方法光束平差法PnP问题与求解方法11直接线性变换法（DirectLinearTransform，DLT）相机的位姿的求解可表示为增广矩阵

的求解对于三维空间点

，其在图像上的归一化坐标为

，则有消去系数

s，得到以下约束条件：拥有至少6个已知特征点时，对应有12个约束，可以求解增广矩阵各个元素：PnP问题与求解方法12光束平差法（BundleAdjustment，BD）：更为通用的求解方法核心特点：相机位姿与三维空间点的联合优化对于

n

个三维空间点

与图像上的像素坐标

在理想状况下，根据相机成像方程，其满足以下条件：实际情况下存在噪声等因素影响，上述方程不严格成立转换为优化问题，使用最小二乘法等方式求解：13§6.2稠密场景重建一、稠密场景重建概述二、基于传统几何方法三、基于深度学习方法14稠密场景重建概述什么是稠密场景重建？稀疏重建：往往在相机位姿未知的情况下，依据多视图的特征匹配，求解位姿与匹配点，从而给出稀疏的三维点云稠密重建：大部分情况下对应于多视图立体几何(MultipleViewStereo,MVS)问题，即在给定多视图与对应相机内外参条件下，对于每张图像中每个像素点，重建出对应的三维稠密点云为什么需要稠密场景重建？稀疏重建仅仅能够完成初步的定位与匹配问题稠密重建能够给出更为丰富的几何信息，适应于更为复杂的下游应用15基于传统几何的稠密场景重建方法基本方法稀疏重建基于特征描述子，仅考虑描述子提取的特征点稠密重建无法将每个像素点作为特征点计算描述子基于匹配的方法进行多视图位置确定：极线搜索与块匹配极线搜索在给定相机位姿与某一像素点

p1时，在另一视图

上能够确定对应点

p2可能的位置区间——极线根据像素值，在极线上进行逐像素匹配，即为

最基本的极线搜索存在问题：单像素匹配极不可靠16基于传统几何的稠密场景重建方法块匹配技术针对问题：单个像素匹配缺少区分度使用多个邻域像素组合的像素块（patch）进行匹配选取

p1

周围邻域构成的像素块

将极线上某一点为中心对应的相同大小的像素块

与之进行相似性度量选取度量结果最好的像素块中心作为匹配点

p2

常用的度量指标归一化互相关（NormalizedCrossCorrelation,NCC）p2patch?p1patch17基于传统几何的稠密场景重建方法PatchMatch方法目标：在超过2张图像的多视图情况下进行优化，得到每个像素点的深度输入：1张参考图像

与一组无序多视图图像使用EM算法迭代优化

中第

l个像素的深度Estep:对于每一张多视图图像，在考虑遮挡的情况下建立与

有关的像

素块匹配概率，并引入空域遮挡连续性给出联合匹配概率Mstep:使用变分推断对上述概率分布求解并给出解处的深度值18基于传统几何的稠密场景重建方法COLMAPMVS方法目标：在

PatchMatch方法的基础上进一步优化核心优化点：同时估计逐像素的深度与表面法向量，依据表面法向量进行局部平滑加入先验来对无序多视图图像进行有效筛选加入在迭代过程中前后步的平滑考虑多视图之间几何一致性关联使用加权的NCC度量指标替代原始的NCC度量指标实际应用中最为常用的方法19基于深度学习的稠密场景重建方法Atlas方法使用二维卷积神经网络对多视图图像进行特征提取并映射回三维空间通过三维空间中体素的特征累积并经过三维特征提取网络得到截断符号距离函数（TruncatedSignedDistanceFunction,TSDF）并进行重建TSDF值表征了空间中的某一个体素到实际物体表面的截断距离值，该值为0则代表处于表面，大于0代表在表面外，小于0代表在表面内基于深度学习的稠密场景重建方法20NeuralRecon方法使用关键帧选择模块对足够的运动视差同时保持有效的视点以进行重建与Altas类似，使用TSDF进行重建，区别是Altas使用了所有图像进行全局特征提取后重建，而NeuralRecon直接进行局部的TSDF输出与重建，保证实时性21§6.3场景深度估计一、单目场景深度估计二、多目场景深度估计三、环视场景深度估计22场景深度估计场景深度估计通过单个或多个视图中的视觉数据，来推断场景中每个像素的深度信息，从而还原三维场景的几何形状深度信息表示了物体与相机之间的距离，是理解三维空间结构的关键23

场景深度估计24单目深度估计单目深度估计是指利用单个摄像头的图像信息，通过算法推断场景中物体与相机之间的距离由于深度信息在图像中通常是隐含的，单目深度估计面临从二维图像还原三维结构的挑战思路一：将场景深度估计视为回归任务，即将网络的输出直接映射到深度值场景深度估计25场景深度估计

26自监督场景深度估计与传统单目深度估计方法不同，自监督场景深度估计方法没有标签，属于非监督场景深度估计方法主要思想是利用训练数据自身的特性，通过几何关系如立体几何和结构运动（SFM），创造出标签来进行训练根据使用的训练数据类型分为两类：使用图像对训练的方法和使用视频（图像序列）训练的方法场景深度估计27自监督单目深度估计基于图像对训练的自监督方法：将任务转化为图像重建问题。首先通过网络预测左（右）视图或视差图，然后利用预测出的视图或视差图与另一边的视图进行重建。最后通过原视图和重建图之间的误差作为监督信号，引导网络进行训练场景深度估计28场景深度估计自监督单目深度估计基于图像序列训练的方法：利用图像帧对和自我运动估计结果，构建深度估计网络的训练样本。训练样本通常包括当前图像帧及其对应的深度图。训练深度估计网络时，通常采用自监督学习的方法，通过最小化当前帧预测深度图和相邻帧之间的重投影误差来学习深度估计网络的参数

29多目深度估计多目深度估计通过利用多张互相重叠的图像恢复出原始三维场景的几何结构和纹理信息，是现实中拍摄照片的逆过程，常用于三维重建、虚拟现实、增强现实和自动驾驶等应用中场景深度估计30场景深度估计

31场景深度估计

32环视深度估计自动驾驶汽车的多相机（环视相机）系统可以更全面地感知和理解周围环境，提高对复杂交通场景的适应能力，从而增强安全性和驾驶性能。与依赖昂贵的深度传感器如激光雷达来提取结构信息不同，从环视图像中获取的三维感知成为一种具有潜力的替代方法。以特斯拉为代表的多家自动驾驶公司主张视觉导向的方法，摒弃了激光雷达，完全依赖图像进行三维感知。场景深度估计33

场景深度估计34§6.4神经辐射场一、从“场”的概念开始二、图形学基本概念三、神经辐射场和新视角合成四、神经辐射场和表面重建五、神经辐射场的其他进展从“场”的概念开始35什么是“场”场（Field）在数学/物理中的定义：在所有空间和/或时间坐标上定义向量或数字计算机视觉中的场：将时空坐标映射到通常是标量或向量的函数：神经辐射场（NeuralRadianceFields）：基神经网络完全或部分参数化的场特点：隐式表示，连续输入/输出输出标量/向量场（函数）时空坐标可学习/优化的参数图形学基本概念36渲染（Rendering）从对象的3D描述得到2D图像的过程目标：用计算机把3D世界“照”出2D图像光线追踪（RayTracing）实现渲染任务的经典方法考虑从相机中心（视点）发出并穿过图像每个像素的光线：若与场景中的任何对象相交：计算颜色并渲染若不存在任何相交：不进行渲染图形学基本概念37体渲染（VolumeRendering）：渲染的重要分支目标：光线穿过存在烟雾、果冻等密度较小的非刚性介质的渲染建模光线穿过体积云介质时，部分光线被吸收需要通过特殊的混合方式得到最终渲染的颜色α-混合（α-blending）：体渲染普遍使用的混合方式对于

n种颜色，考虑每一种颜色的不透明度α并进行加权得到最终颜色神经辐射场和新视角合成38NeRF（NeuralRadianceField）：新视角合成的里程碑工作新视角合成：在已知相机位姿和多视角图片的情况下渲染得到未知视角下的视图建模方式：利用神经辐射场将场景建模为空间中任何点体密度值与辐射率体密度σ，标量，表示光在空间中某点处碰到粒子而被吸收的概率辐射率c，三维向量，和观察视角有关，但是和像素的RGB颜色不同空间坐标x三维向量观察视角d二维向量神经辐射场和新视角合成39NeRF的体渲染方程建模光沿直线穿过介质粒子群时，光和介质粒子群的四种作用吸收：光子被粒子吸收，会导致入射光的辐射强度减弱放射：粒子具有能量后本身可能发光，进一步增大辐射强度外散射：光子在撞击到粒子后，可能会发生弹射，减弱入射光的辐射强度；内散射：其他方向的光子在撞到粒子后，可能和当前方向上的光子重合，从而增强当前光路上的辐射强度神经辐射场和新视角合成40NeRF的体渲染方程建模以吸收作用为例，辐射强度I(s)的微分方程与解：若介质是均匀的，那么入射光在经过介质后，辐射强度会呈指数衰减，这个规律称作比尔-朗伯吸收定律(Beer-Lambertlaw)，同时有透射比(transmittance)：将四种作用导致的辐射强度变化进行综合，有：神经辐射场和新视角合成41NeRF的体渲染方程建模关于光强的体渲染方程可以进一步替换为关于辐射率（颜色)的假设

，即有：在不考虑最后一项背景光的情况下，即可得到NeRF最终使用的体渲染方程：

即为体密度函数，考虑到在计算机种需要进行离散化，即有：神经辐射场和新视角合成42NeRF的整体流程对于某张图片，使用光线追踪的方式，对每个像素构建光线进行渲染在每条光线上进行点采样，将点的坐标与方向给入神经场得到体密度与辐射率使用体渲染方程进行最终图像的渲染，并使用二范数损失进行监督神经辐射场和表面重建43表面重建任务目标：通过多视角图片和对应相机参数获得场景或物体的表面三维模型特点：多用面片（mesh）表示，相比点云更符合建模需求一般使用有符号距离函数（SignedDistanceFunction，SDF）确定表面SDF函数SDF函数值表示三维空间中的某点距离空间中最近的表面的距离当点在物体表面外时，这一距离符号为正；

而点在表面内时距离则为负SDF函数可以表示为：

相应的，物体表面可表示为SDF的零水平集：神经辐射场和表面重建44NeuS方法传统表面重建使用网格显式离散存储SDF函数：精