第1章 智能驾驶中的三维重建

智能驾驶与多维重建

第1章

智能驾驶中的三维重建

1智能驾驶简介

2智能驾驶传感器3智能驾驶感知4SLAM与VLN中的三维重建5智能驾驶仿真6案例：特斯拉视觉重建与仿真智能驾驶简介三维重建是智能驾驶感知、定位、建图、仿真和标注的核心技术，贯穿数据驱动全链条。智能驾驶不但涵盖传统意义上的自动驾驶，还包含智能座舱、自动泊车及ADAS。三维重建在高精地图制作、障碍物检测与识别、路径规划与决策、仿真测试与验证中均发挥关键作用。驾驶自动化分级（GB/T40429—2021）：0级（应急辅助）→1级（部分驾驶辅助）→2级（组合驾驶辅助）→3级（有条件自动驾驶）→4级（高度自动驾驶）→5级（完全自动驾驶）。视觉传感器摄像头是智能驾驶最核心的传感器，按布置方式分为单目、双目、三目和环视四种。单目：算法成熟，但视野与远距离不可兼得，测距精度低。双目：通过像素偏移量和基线计算深度，标定要求高。三目：三个不同焦距（窄视野250m、主视野150m、宽视野60m），弥补视野与距离矛盾，特斯拉AutoPilot2.0采用。环视：鱼眼镜头，安装于前后保险杠和左右后视镜，拼接成俯视图（AVM），用于5~10m内障碍物检测和泊车。激光雷达激光雷达具有测距精度高（毫米级）、探测距离远（最远300m）的特点，但成本高且易受天气影响。工作原理：发射激光脉冲，接收反射信号，获取距离、方位、高度、速度等参数。激光雷达激光雷达具有测距精度高（毫米级）、探测距离远（最远300m）的特点，但成本高且易受天气影响。机械式vs固态：机械式线束多（16/32/64线），360°扫描，精度高但体积大成本高；固态式尺寸小成本低（MEMS/OPA方案）。点云数据处理：预处理→聚类→特征提取→分类。应用：障碍物检测与分割、可通行空间检测、高精地图制图与定位、障碍物轨迹预测。毫米波雷达与超声波传感器毫米波雷达全天候工作但缺高度信息，超声波传感器成本低但探测距离短，两者在智能驾驶中各有定位。毫米波雷达：频率10~200GHz，探测距离200m。24GHz（短距，盲点检测）、77GHz（长距，ACC/AEB）、79GHz（更高分辨率）。数据组成：回波强度、障碍物ID、角度、距离、径向速度、运动状态、宽度。超声波传感器：UPA（前后保险杠，15~250cm，120°）和APA（侧面，30~500cm，80°）。对温度敏感，无法精确描述障碍物位置。应用：泊车库位检测（APA传感器距离-时间关系计算库位长度）、高速横向辅助。GPS与IMUGPS+IMU是自动驾驶的"黄金搭档"，GPS提供全局修正，IMU提供高频位姿推算。GPS：三角定位法，差分GPS精度从10m提升至米级。高楼存在遮挡和多路径信号问题，频率仅10Hz。IMU：以牛顿力学定律为基础，测量加速度和角速度，积分得速度和位置。频率>100Hz，短期精度高但累积误差大。融合机制：每100ms用GPS修正，中间IMU预测9次，实现100Hz高频稳定定位。多传感器融合多传感器融合通过卡尔曼滤波等算法，将GPS/IMU/轮速计/LiDAR等数据融合，提升定位精度和鲁棒性。融合条件：误差不相关性（单传感器失败不影响其他）、传感器相互补充。卡尔曼滤波：预测阶段（状态方程）+更新阶段（观测方程）。状态误差协方差矩阵P和观测误差协方差矩阵S是核心。多传感器融合框架：状态方程（IMU/轮速计预测）+观测方程（GNSS/LiDAR/视觉匹配更新）。BEV感知BEV感知通过将多摄像头特征转换至鸟瞰视角进行融合，已成为智能驾驶感知的主流方案。BEV流程：2D特征提取→视图变换（IPM/LSS/Transformer）→3D解码器输出。IPM：利用相机内外参实现BEV坐标系到像素坐标系的转化，依赖地面平坦假设。BEV感知BEV感知通过将多摄像头特征转换至鸟瞰视角进行融合，已成为智能驾驶感知的主流方案。LSS：生成深度特征→BEV坐标转换（VoxelPooling）→生成视锥点云特征。BEVDepth增加显式深度监督、相机感知深度预测、多帧融合。BEV感知BEV感知通过将多摄像头特征转换至鸟瞰视角进行融合，已成为智能驾驶感知的主流方案。Transformer-based：BEVFormer（DeformableAttention+TemporalSelf-Attention+SpatialCross-Attention），泛化性好但部署难度高。SLAM与VLN中的三维重建视觉SLAM和VLN技术分别通过几何约束和语言理解实现定位导航，神经表达SLAM（NeRF/3DGS）正成为新趋势。视觉SLAM（ORB-SLAM3）：跟踪→局部建图→回环检测→地图融合→全局优化。挑战：光照变化、动态环境、尺度模糊、累积漂移。SLAM与VLN中的三维重建视觉SLAM和VLN技术分别通过几何约束和语言理解实现定位导航，神经表达SLAM（NeRF/3DGS）正成为新趋势。神经表达SLAM：NeRF-based（iMap，隐式神经表征，高真实感渲染但实时性差）和3DGS-based。SLAM与VLN中的三维重建视觉SLAM和VLN技术分别通过几何约束和语言理解实现定位导航，神经表达SLAM（NeRF/3DGS）正成为新趋势。VLN（Vision-LanguageNavigation）：Uni-NaVid将视觉语言导航、对象目标导航、跟随、具身问答统一在同一框架，视觉编码器+LLM生成动作或回答。智能驾驶仿真智能驾驶仿真通过场景库构建、新场景合成和真实感渲染，为算法提供安全、高效的测试环境。场景库构建：规则方式（效率高，真实感差）和三维重建方式（真实感强，技术难度高）。NeRF技术开始用于场景重建。新场景合成：2D图像编辑（锥桶检测数据合成）和3D场景合成（GeoSim结合图形学+神经网络合成动态物体行为）。真实感渲染：传统图形学（Mesh）和神经网络渲染（NeRF）。UniSim采用多个NeRF场分别建模静态背景、动态物体和区域外物体。智能驾驶仿真智能驾驶仿真通过场景库构建、新场景合成和真实感渲染，为算法提供安全、高效的测试环境。真实感渲染：传统图形学（Mesh）和神经网络渲染（NeRF）。UniSim采用多个NeRF场分别建模静态背景、动态物体和区域外物体。特斯拉视觉重建与仿真特斯拉采用众包建图路线（车端单次重建+云端聚合），并将仿真数据用于AutoPilot和FSD算法提升。车端单次重建：8路Camera提取特征（Keypoints/Polylines/Pano-seg/Ground），里程计输出100Hz位姿和3D结构。精度RTE=1.3%，RRE=0.14°/100m。云端聚合：Co