第3章 帧间运动估计

智能驾驶与多维重建

第3章

帧间运动估计

1相机模型及成像

2帧间运动理论模型3帧间运动模型求解4基于深度学习的里程计估计5案例：智能驾驶中的里程计估计相机模型及成像相机成像由光学成像（内参）和相机姿态（外参）共同决定，三维重建是相机成像的逆过程。内参矩阵K：将相机坐标系三维点映射到像素坐标，包含焦距(fx,fy)和主点(cx,cy)。外参：世界坐标系到相机坐标系的变换(R,t)。相机模型及成像相机成像由光学成像（内参）和相机姿态（外参）共同决定，三维重建是相机成像的逆过程。畸变模型：径向畸变（桶形/枕形，Brown-Conrady模型）和切向畸变（光轴与成像平面不垂直）。帧间运动理论模型对极约束通过本质矩阵E和基础矩阵F描述两视图间的几何关系，将匹配搜索从全图缩减到极线。对极几何：两相机光心O1/O2、空间点X和像点x1/x2构成极平面，极线与像平面相交于极线。本质矩阵E（已标定）：E=t×R，满足x̂₂^T·E·x̂₁=0。基础矩阵F（未标定）：F=K₂^{-T}·E·K₁^{-1}，满足x₂^T·F·x₁=0。极线搜索：已知x1，匹配点x2在极线l2上，大幅缩小搜索空间。帧间运动模型求解当场景点位于同一平面或相机纯旋转时，帧间映射退化为单应性变换（2D→2D直接映射）。应用：全景拼接、平面检测、RANSAC中同时估计F和H选择更优模型。8点法：每对匹配点提供1个约束，至少8对匹配点求解F。对F进行SVD分解并重构满足奇异值约束。本质矩阵分解：分解得到4组(R,t)解，选择三角化点同时位于两个相机前方的解。RANSAC：随机采样→模型估计→验证内点→迭代优化。内点比例越高收敛越快。可用Lowe算法过滤错误匹配、语义引导匹配、SuperGlue提高匹配准确度。基于深度学习的里程计估计深度学习里程计通过无监督学习（SfMlearner）、视觉-惯性融合（DeepVIO）和几何优化（BA-Net）提升帧间运动估计性能。SfMlearner：DepthNet（单帧深度）+PoseNet（相邻帧位姿），重投影误差自监督，开创无监督里程计方向。DeepVIO：视觉分支（CNN）+惯性分支（RNN）融合，引入IMU数据提升动态场景鲁棒性。基于深度学习的里程计估计深度学习里程计通过无监督学习（SfMlearner）、视觉-惯性融合（DeepVIO）和几何优化（BA-Net）提升帧间运动估计性能。BA-Net：CNN估计初始深度→BA-Net端到端优化，将传统BA转化为神经网络学习模块。基于学习的视觉重建DROID-SLAM通过稠密束调整（DBA）实现高精度重建，DPVO通过稀疏特征块大幅降低显存消耗。DROID-SLAM：完全基于神经网络的SLAM框架。DBA模块将稠密光流优化分解为姿态和深度优化，参考RAFT架构设计，泛化能力强。基于学习的视觉重建DROID-SLAM通过稠密束调整（DBA）实现高精度重建，DPVO通过稀疏特征块大幅降低显存消耗。DPVO：参考DSO思路，将匹配从稠密图像优化为稀疏特征块（SparsePatch），有效减少特征总量，大幅降低显存消耗。特征点法vs直接法：特征点法最小化重投影误差，分步求解；直接法最小化光度误差，数据关联与位姿估计统一优化。深度学习方法结合两者优势。案例：智能驾驶中的里程计估计特斯拉FSD采用多相机+IMU+轮速计的VIO系统，结合深度神经网络特征点、地面分割、车道线等提供视觉约束。系统架构：参考经典SLAM框架（前端Tracking+后端局部优化），保证实时性。输入：多视角视频、IMU、轮速