《智能网联汽车场景自动化标注规范》

1智能网联汽车场景自动化标注规范本文件规定了智能网联汽车点云数据自动化标注要求、自动化标注性能评测要求。本文件适用于智能网联汽车点云数据的自动化标注场景，以及车端、路端及车路协同平台采集的场景数据自动化标注。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB14887-2011道路交通信号灯GB5768.2-2022道路交通标志和标线第2部分：道路交通标志GB7258-2017机动车运行安全技术条件GB/T24720-2009交通锥GB/T28650-2012公路防撞桶GB/T3730.1—2022汽车、挂车及汽车列车的术语和定义第1部分：类型GB/T36100—2018机载激光雷达点云数据质量评价指标及计算方法GB/TXXXXX-XXXX道路车辆自动驾驶系统测试场景数据采集和分析方法GB/TXXXXX-XXXX《智能网联汽车自动驾驶系统设计运行条件》ISO8855Roadvehicles—Vehicledynamicsandroad-holdingability—VocabularyT/CSAE213智能网联汽车场景数据点云标注要求及方法3术语和定义GB/T36100、T/CSAE213界定的以及下列术语和定义适用于本文件。3.1三维边界框3Dboundingbox用于定位目标在点云中位置，由中心点坐标、长度、宽度、高度和航向角构成的长方体。3.2点云pointcloud以离散、不规则方式分布在三维空间中的点的集合。点云数据可来源于单一传感器或多源传感器融合结果，包括激光雷达点云、基于相机图像的三维重建点云、毫米波雷达点云等形式。[来源：GB/T36100—2018,3.2，有修改]23.3鸟瞰图bird’s-eyeview,BEV在智能网联汽车场景与感知领域中，BEV指通过坐标变换或特征映射，将三维环境信息投影至地面平面（通常为x-y平面）后形成的二维表示。3.4智能网联汽车行驶环境中，可能会对智能网联汽车的决策规划造成影响的物体，主要是移动的交通参与者和静止的障碍物等。[来源：T/CSAE213－2021]3.5平均精度meanaverageprecision在所有类别与阈值条件下，检测结果精确率与召回率的综合性能度量。3.6位置误差averagetranslationerror预测框与真实框在三维空间中心点位置上的平均偏差（单位：米）。3.7尺寸误差averagescaleerror预测框与真值框对齐后，由二者尺寸计算的三维IoU在匹配对中的平均值。3.8角度误差averageorientationerror预测框与真实框在朝向角度上的平均偏差（单位：弧度）。3.9人工校准参与率humancalibrationratio自动标注结果中需要人工审核或修正的比例。4自动化标注要求4.1自动化标注工具要求自动化标注工具应能在无需人工逐帧操作的情况下，通过模型自动完成检测、跟踪与属性赋值，实现从输入数据到标注结果输出的全流程自动化处理。标注工具可基于神经网络训练的人工智能模3型，也可采用其他自动化系统，但其核心要求是在标注过程中不依赖人工干预，自动化标注参考流程见附录A。工具输入输出数据宜采用JSON格式进行存储和交互。4.2自动化标注输入要求4.2.1输入数据基本要求自动标注模型的输入应以点云数据为主，宜同步融合环视相机图像、毫米波雷达数据、语义文本等多源异构数据，不要求仅依赖单一激光雷达点云区分物体类别。4.2.2点云数据基本要求点云数据应在统一的车辆坐标系下进行描述与存储。坐标系采用ISO8855中的右手坐标系定义：a)x轴：指向车辆前方；b)y轴：指向车辆左侧；c)z轴：指向车辆顶方向（垂直向上）。在以传感器安装位置为原点的坐标系中，单个点云数据由若干点构成，每个点至少应包含以下属性：a)x：点的x轴坐标（单位：米）；b)y：点的y轴坐标（单位：米）；c)z：点的z轴坐标（单位：米）；d)反射值（Intensity）：传感器回波强度。e)时间戳（Timestamp记录点的采样时间（单位：秒）。自动标注模型的点云输入范围应不小于：[-50,-50,-3,50,50,3]；宜覆盖：[-70,-70,-5,70,70,5]。其中数值分别表示[x_min,y_min,z_min,x_max,y_max,z_max]，以传感器安装位置为原点的三维空间在方向[x,y,z]的最小与最大坐标（单位：米）。在该范围内的点云均应被模型纳入处理与标注。4.2.3相机图像数据基本要求相机图像数据应与点云数据在时间和空间上保持同步。每帧相机图像数据至少应包含以下基本信a)图像像素数据：原始图像或经过去畸变处理后的图像（格式宜为JPEG或PNG）。b)时间戳（Timestamp）：记录该帧图像的采集时间，应与点云数据时间戳对齐（单位：秒）。c)相机内参（IntrinsicMatrix）：包含焦距（fx,fy）和光心坐标（cx,cy）。d)相机外参（ExtrinsicMatrix相机相对于车辆坐标系的位姿变换矩阵（包含旋转矩阵和平移向此外，相机图像数据可选包含以下扩展属性：e)畸变系数（DistortionCoefficients）：镜头畸变校正参数。f)曝光时间（ExposureTime图像采集时的曝光时长。环视相机系统应覆盖车辆周围360°水平视场范围，单相机水平视场角（FOV）不宜小于60°。图像分辨率不宜低于1920×1080像素。4.2.4毫米波雷达数据基本要求毫米波雷达数据应在与点云相同的车辆坐标系下进行描述与存储，坐标系定义与本文件4.2.2中相同。毫米波雷达输出的每个检测点至少应包含以下属性：a)x：检测目标在车辆坐标系下的x轴坐标（单位：米）。b)y：检测目标在车辆坐标系下的y轴坐标（单位：米）。4c)径向速度（RadialVelocity）：目标相对于传感器的径向速度（单位：米/秒）。d)雷达散射截面（RCS,RadarCrossSection）：目标的雷达反射强度（单位：dBsm）。此外，毫米波雷达数据可选包含以下扩展属性：e)z：检测目标在车辆坐标系下的z轴坐标（单位：米）。f)时间戳（Timestamp）：记录检测点的采样时间（单位：秒）。g)信噪比（SNR,SignaltoNoiseRatio）：检测信号的信噪比。毫米波雷达探测范围应不小于前向200米、侧向和后向80米，数据应与点云在时间上对齐。4.2.5语言文本数据基本要求语言文本数据用于以自然语言形式描述当前驾驶场景的语义信息，辅助模型理解场景上下文。每条文本数据至少应包含以下属性：a)场景描述文本（SceneDescription）：对当前帧或场景片段的自然语言描述，内容应涵盖关键交通参与者、道路环境及其交互关系。b)时间戳（Timestamp）：文本所对应的场景时间，应与点云数据帧对齐（单位：秒）。此外，语言文本数据可选包含以下扩展属性：c)天气环境（Weather）：当前场景的天气条件描述（如晴天、雨天、雾天等），符合GB/TXXXXX-XXXX《智能网联汽车自动驾驶系统设计运行条件》。d)道路类型（RoadType）：场景所处道路类型描述（如城市道路、高速公路、乡村道路等）。e)交通密度（TrafficDensity）：当前场景中交通流量的定性描述（如稀疏、中等、拥堵等）。文本数据应采用UTF-8编码格式存储，单条描述长度不宜超过512个字符。4.3自动化标注输出要求自动化标注输出要求应符合T/CSAE213中4的规定，自动化输出结果应满足规则、分段式端到端、一段式端到端的模型训练需求。4.3.1标注内容自动化标注输出标注内容应包含以下信息：a)目标物的类别：用于表征目标在交通场景中的角色或类型，如行人、机动车、非机动车、障碍物等，以区分不同类别的交通参与实体，符合GB/TXXXXX-XXXX《智能网联汽车自动驾驶系统设计运行条件》；b)目标物的状态：表示目标当前是否处于运动或静止状态，为判断交通参与者的动态行为提供基础信息；c)目标物的身份识别号（ID通过唯一的识别编号区分不同目标，实现多帧间的目标关联与轨迹连续性维护；d)目标物的置信度：用于衡量系统在检测或识别该目标时的可信程度，反映结果的可靠性；e)目标物的三维边界框：描述目标在三维空间中的位置与形态，包括中心坐标、尺寸参数及航向角等，用于精确刻画目标的空间分布特征；f)目标物的速度：描述目标在空间中的运动速率，用于量化其动态变化特征。4.3.1.1目标物类别每个目标都有一个类别属性，场景数据点云标注的目标共分为13类，如下所示：a）乘用车：包括基本型乘用车（轿车）、多用途车（MPV）、运动型多用途车（SUV）、专用乘用车和交叉型乘用车（面包车）；5b）客车：乘坐9人以上（含驾驶员位）、具有方形车厢、用于载运乘客及其随身行李的商用车；c）货车：主要为载运货物而设计和装备的商用车；d）半挂牵引车：装备有特殊装置用于牵引半挂车的商用车；e）特殊车辆：包括救护车、警车、洒水车、消防车等；f）自行车：包括两轮脚踏车、两轮电动车以及骑两轮脚踏车和两轮电动车的人；g）摩托车：包括两轮摩托车以及骑摩托车的人；h）三轮车：包括带有动力、人力的三轮车辆以及骑三轮车的人；i）成人：包括行走、路边站立、坐着的成人；j）儿童：包括行走、路边站立、坐着的儿童；k）动物：需要避让的动物；l）路障：栅栏、锥桶等物体；m）未知类别：需要避让的未知目标。4.3.1.2目标行为每个目标都有一个行为属性代表当前目标的动作状态，如下所示：a）交通工具运动状态：交通工具目标（乘用车、客车、货车、半挂牵引车、特殊车辆、自行车、摩托车、三轮车）处于运动状态，符合GB/TXXXXX-XXXX《智能网联汽车自动驾驶系统设计运行条件》；b）交通工具停泊状态：交通工具目标（乘用车、客车、货车、半挂牵引车、特殊车辆、自行车、摩托车、三轮车）处于停车状态，符合GB/TXXXXX-XXXX《智能网联汽车自动驾驶系统设计运行条件》；c）交通工具暂停状态：交通工具目标（乘用车、客车、货车、半挂牵引车、特殊车辆、自行车、摩托车、三轮车）处于暂时停止状态，有驾驶人在车上，随时可能发生运动，符合GB/TXXXXX-XXXX《智能网联汽车自动驾驶系统设计运行条件》；d）行人站立状态：行人目标（成人、儿童）处于站立状态；e）行人运动状态：行人目标（成人、儿童）处于运动状态；f）行人坐或者躺状态：行人目标（成人、儿童）处于坐或者躺状态；g）动物静止状态：动物目标处于静止状态；h）动物运动状态：动物目标处于移动状态。4.3.1.3目标身份识别号自动化标注应根据场景片段中前后帧的信息标注目标ID，同一个目标物只有一个目标ID，且目标ID不可复用。4.3.1.4目标置信度由于环境产生的点云噪声以及物体遮挡而导致点云信息的缺失，点云标注结果存在不确定性。置信度应采用0.0~1.0的连续浮点数表示，与模型输出及JSON格式保持一致。其中0.0表示最低置信度，1.0表示最高置信度，具体划分如下：a）目标属性内容十分准确，置信度设置为0.75~1.0；b）目标属性内容大概率准确，置信度设置为0.5~0.75；c）目标属性内容可能准确，置信度设置为0.0~0.5。4.3.1.5目标三维边界框自动化标注输出的目标物标注形式应为三维边界框，其中三维边界框尺寸应表示目标物的实际物理大小，三维边界框位置应表示该边界框长方体的几何中心位置，其他属性的具体定义应按照本标准相6关条款执行。具体属性定义如下：点云坐标系定义与本文件4.2.1中定义相同。每个目标都要分配一个航向角，该航向角应符合T/CSAE213-2021中4.1.5第十一段的定义：三维边界框以传感器前方为基准的水平旋转角度（图1中α),以顺时针旋转为正方向，以弧度4.3.1.6目标速度每个目标物应标注其在当前帧的速度信息，用于刻画其运动状态和行为特征。速度应包含在点云坐标系下的x轴和y轴两个方向的分量即x轴速度和y轴速度，单位为米每秒（m/s）。其中，沿x轴正向和y轴正向运动记为正值。4.3.2结构化格式输出自动标注模型的输出结果应采用标准的结构化JSON数据格式。输出数据应按照帧级样本ID进行组织，并按时间序列顺序排列。输出形式示例见附录B。4.4性能要求自动化标注应满足表1的规定，用模型检测质量反映模型性能，性能指标具体计算方法见附录C：表1性能要求性能名称指标平均精度大于0.7位置误差小于0.3m7尺寸误差角度误差小于0.3rad人工校准参与率ID切换率多目标跟踪精度大于0.6运行帧率大于等于5hz5自动化标注性能评测要求5.1评测方法自动化标注工具的性能应通过其标注结果进行反映和评测。5.2测试数据要求1)测试数据应独立于训练集，从自动标注模型的训练数据集之外的数据中选取，采用随机抽样方式抽取，比例为训练数据总量的1/10。2)测试数据应覆盖训练数据集所包含的全部类别，并同时覆盖本文件4.3.1.1中确定的输出类别，覆盖各类场景与天气。3)测试数据不得参与模型训练过程，仅用于模型性能的验证与评估。5.3评测流程5.3.1数据预处理每帧自动标注