第8章 纯视觉四维标注

智能驾驶与多维重建

第8章

纯视觉四维标注

1智能驾驶数据需求2静态场景四维标注3动态场景四维标注4通用障碍物四维标注5案例：人工与半自动标注平台案例智能驾驶数据需求智能驾驶算法从Software1.0（规则驱动）演进到Software3.0（端到端数据驱动），对数据质量和标注精度要求持续提升。第一代（Software1.0）：2D图像检测/分割+后处理转3D，依赖人工规则。第二代（Software2.0）：BEV感知+Transformer，深度学习主导感知和预测。第三代（Software3.0）：端到端（感知到规划），神经网络覆盖全栈。两类方案：①快慢系统（系统1直觉+系统2LLM/VLM推理）；②模仿学习（开环仿真训练）。静态场景四维标注静态场景四维标注通过重建（LiDAR/视觉）和定位两大技术路线，实现高精度路面/空中要素标注。特斯拉：纯视觉方案，端上SLAM→多趟云端聚合→新数据通过定位自动标注。地平线LiDAR中心：LIO单趟重建（去除运动物体）→PoseGraph全局聚合（相邻帧/回环帧/Clip间约束）→点云地图标注。静态场景四维标注静态场景四维标注通过重建（LiDAR/视觉）和定位两大技术路线，实现高精度路面/空中要素标注。地平线视觉中心：WIGO（Wheel-IMU-GNSS）→SfM稀疏重建（优化效率）→稠密重建或目标区域重建（RoMe路面重建+VMA矢量标注）。灯牌重建：SfM稀疏点+语义→SAM提取2D角点→3D-2D重投影优化包围盒姿态。通用障碍物四维标注通用障碍物标注通过深度估计（空间/时序几何约束）和占用网络（Occupancy）实现非白名单障碍物的感知真值生成。深度标注：空间几何约束（双目立体匹配）和时序几何约束（MVS）。DeFlowSlam同时建模动静态，SceneFlow描述动态物体运动。占用标注（地平线）：LiDAR点云运动分割→静态聚合+动态ICP配准→动静态融合→体素化→图像语义校准。Occ3D数据集：多帧点云聚合→网格重建填充空洞→Ray-casting遮挡推理→图像引导Voxel优化。通用障碍物四维标注通用障碍物标注通过深度估计（空间/时序几何约束）和占用网络（Occupancy）实现非白名单障碍物的感知真值生成。深度标注：空间几何约束（双目立体匹配）和时序几何约束（MVS）。DeFlowSlam同时建模动静态，SceneFlow描述动态物体运动。占用标注（地平线）：LiDAR点云运动分割→静态聚合+动态ICP配准→动静态融合→体素化→图像语义校准。Occ3D数据集：多帧点云聚合→网格重建填充空洞→Ray-casting遮挡推理→图像引导Voxel优化。通用障碍物四维标注通用障碍物标注通过深度估计（空间/时序几何约束）和占用网络（Occupancy）实现非白名单障碍物的感知真值生成。深度标注：空间几何约束（双目立体匹配）和时序几何约束（MVS）。DeFlowSlam同时建模动静态，SceneFlow描述动态物体运动。占用标注（地平线）：LiDAR点云运动分割→静态聚合+动态ICP配准→动静态融合→体素化→图像语义校准。Occ3D数据集：多帧点云聚合→网格重建填充空洞→Ray-casting遮挡推理→图像引导Voxel优化。案例：人工与半自动标注平台主流标注平台（Scale.ai/MindFlow/Easydata等）提供2D/3D/4D标注工具，Polygon-RNN等人机回圈方案大幅提升标注效率。Scale.ai：2D/3D点云/地图标注，地图标注最具特色（物理层+逻辑层）。MindFlowSEED：2D/3D点云/语音/文本，支持四维标注。Easydata：一站式平台，智能标注降低90%成本。火山引擎：字节旗下，模版丰富，边标边训。倍赛：内嵌18种工具，周期缩短60%，成本节约50%。Vende：自动预处理167小类，准确率90%+。V7Labs：自动标注强，支持数据集管理。Polygon-RNN：人机回圈标注，比传统快4.7倍，IoU达78.4%。案例：人工与半自动标注平台