第4章 运动恢复结构

智能驾驶与多维重建

第4章

运动恢复结构

1三角测量

2透视n点问题3光速法平差非线性优化4运动恢复结构框架5运动恢复结构的加速处理6案例：智能驾驶场景中的SfM重建三角测量三角测量利用多视角投影约束恢复三维点坐标，宽基线有利于提高精度。原理：从光心O_i沿图像点x_i发射射线，多条射线交点即为三维点X。数学推导：每1个观测点提供2个约束，至少2条射线确定1个三维点。构建AX=0，SVD分解求解。宽基线策略：按基线排序，优先选择宽基线匹配对进行三角化，减少求解误差。成像透视n点问题（PnP）PnP问题通过已知三维点和对应二维投影求解相机内外参，DLT是基本方法。问题定义：已知N个三维点X_i和对应二维投影x_i，求解相机投影矩阵P（12自由度）。DLT求解：每对匹配点提供2个约束，至少6对匹配点。构建矩阵A，SVD分解求最小二乘解。参数分解：P=(KR|Kt)，对KR进行QR分解得到R和K，再求解t。光束法平差（BA）

非线性优化BA通过最小化重投影误差同时优化所有相机参数和三维点，是SfM后端优化的核心。无约束优化方法：最速下降法（一阶，收敛慢）、牛顿法（二阶，计算量大）、Levenberg-Marquardt（信赖域，效率/稳定性平衡）。BA数学模型：待优化变量θ=(C_1,...,C_m,X_1,...,X_n)。目标函数g(θ)=1/2·Σχ_ij·||û_ij-u_ij(C_j,X_i)||²。稀疏性：雅可比矩阵J和Hessian矩阵H为稀疏矩阵，利用Schur补可高效求解（先解相机增量δ_C，再解点增量δ_X）。SfM框架——增量式SfM增量式SfM从初始图像对开始逐步添加新视角，鲁棒性强但计算量大。流程：特征提取与匹配→图像连接图构建→初始化（选择最佳图像对）→重建新视角（RANSAC-PnP+局部BA）→全局BA。SfM框架——增量式SfM增量式SfM从初始图像对开始逐步添加新视角，鲁棒性强但计算量大。流程：特征提取与匹配→图像连接图构建→初始化（选择最佳图像对）→重建新视角（RANSAC-PnP+局部BA）→全局BA。SfM框架——增量式SfM增量式SfM从初始图像对开始逐步添加新视角，鲁棒性强但计算量大。Tracks：同一三维点及其多视角二维投影的集合。需过滤无穷远点和重投影误差过大的Tracks。SfM框架——增量式SfM增量式SfM从初始图像对开始逐步添加新视角，鲁棒性强但计算量大。场景图：顶点=图像，边=匹配关系。末梢顶点可能不稳定，可过滤提升精度。全局式与分层式SfM全局式SfM一次性估计所有相机姿态（先旋转后平移），效率高但对噪声敏感；分层式SfM通过树状层次实现并行重建。步骤：先优化全局旋转→滤波错误连接→优化全局平移→滤波→三角化→全局BA。分层式SfM：凝聚式聚类创建树状图→局部重建（两视图→添加新视角→局部BA）→融合局部模型（相似性变换对齐）→全局BA。三种方法对比：增量式（鲁棒但慢），全局式（快但鲁棒性差），分层式（并行高效但规则复杂）。全局式与分层式SfM全局式SfM一次性估计所有相机姿态（先旋转后平移），效率高但对噪声敏感；分层式SfM通过树状层次实现并行重建。步骤：先优化全局旋转→滤波错误连接→优化全局平移→滤波→三角化→全局BA。分层式SfM：凝聚式聚类创建树状图→局部重建（两视图→添加新视角→局部BA）→融合局部模型（相似性变换对齐）→全局BA。三种方法对比：增量式（鲁棒但慢），全局式（快但鲁棒性差），分层式（并行高效但规则复杂）。SfM加速处理SfM加速通过图像检索（NetVLAD）、高效匹配（FLANN/LightGlue）和并行BA（PBA/DeepLM）大幅提升效率。图像连接图构建加速：VLAD/NetVLAD/NeXtVLAD压缩局部特征为全局特征，快速检索相似图像对。匹配和几何校验加速：FLANN近似最近邻搜索；LightGlue（SuperGlue改进版）提升匹配效率。BA并行加速：PBA（多设备共轭梯度）、DeepLM（GPULevenberg-Marquardt）、分散式BA（高斯信念传播/ADMM）解决大规模场景通信瓶颈。案例：智能驾驶场景中的SfM重建WaymoOpenDataset为SfM研究提供大规模多模态数据支持，可用于自动驾驶三维场景重建。WaymoOpenDataset：感知数据集（高分辨率