《智能驾驶 多传感器联合标定接口规范》

Q/LB.□XXXXX-XXXX智能驾驶多传感器联合标定接口规范范围本文件规定了智能驾驶中多传感器数据联合标定的交互方式、传输协议、数据格式的定义与描述。本文件适用于智能驾驶中多传感器数据联合标定的接口。规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。DB34/T4101-2022智能驾驶激光雷达与摄像头的感知数据融合接口规范术语、定义和缩略语DB34/T4101-2022界定的以及下列术语和定义适用于本文件。术语和定义多传感器multi-sensor不同型号的激光雷达和摄像头。联合标定jointcalibration建立激光雷达数据和摄像头数据之间的空间映射关系。缩略语下列缩略语适用于本文件。CFSU 配置文件存储单元（ConfigurationFileStorageUnit）JCU 联合标定单元（JointCalibrationUnit）SDAU 传感器数据采集单元（SensorDataAcquisitionUnit）方式多传感器联合标定系统内配置文件存储单元、传感器数据采集单元、联合标定单元间的数据交互方式应符合图1的规定。标定启动端，发出消息请求，请求获取配置文件中的数据，标定执行端中的CFSU接收到消息后返回配置文件数据结果。标定启动端，发出消息请求，请求获取传感器数据，标定执行端中的SDAU接收到消息后返回传感器数据结果。标定启动端，发出请求标定消息，并发送配置文件和传感器数据到标定执行端中的JCM，JCM接收到消息后返回标定参数结果。图1多传感器联合标定系统内的数据交互方式协议数据传输应符合下列要求：经纬度等坐标信息采用GCJ-02坐标系；所有字符串采用UTF-8编码格式；所有时间戳为东八区UTC时间；有线传输遵循TCP/IP协议。格式基础数据格式基础数据格式要求应符合表1的规定。基础格式及其描述序号数据类型描述1STRING以UTF-8编码的字符串2BOOL二进制数字用来表示真假。其中，1为真，0为假3UINT8无符号单字节整型（字节，8位）4UINT32无符号单字节整型（字节，32位）5ARRAY不固定长度的存储相同数据类型的数据结构。6TIMESTAMP字符序列，唯一地标识某一刻的时间。摄像头数据格式摄像头数据格式要求应符合表2的规定。摄像头数据格式及其描述序号字段描述数据类型取值说明1sensor_id设备idSTRING唯一设备标识，表示摄像头的序号，如“0”2sensor_type设备类型STRING摄像头类型，如“0”3timestamp图像生成的时间戳TIMESTAMP图像数据时间戳，如162563573.33777774data图像像素数值ARRAY图像数据矩阵，如[1,1,….,1,1,….,…1,1,….]5resolution图像分辨率，不低于130万ARRAY1×2矩阵，如[640,480]6intrinsic内参矩阵，包含摄像头的光学中心和焦距信息，表示摄像头坐标系到图像坐标系的映射关系ARRAY3×3矩阵，如[[1,1,1],[1,1,1],[0,0,1]]7distortion畸变参数ARRAY5×1矩阵，如[1,1,1,1,1]激光雷达数据格式激光雷达数据格式要求应符合表3的规定。激光雷达数据格式及其描述序号字段描述数据类型取值说明1sensor_id设备IDSTRING唯一设备标识，表示激光雷达的序号，如“1”2sensor_type设备类型STRING激光雷达类型，如“1”3timestamp点云生成的时间戳TIMESTAMP点云数据时间戳，如162563573.33777774num点云中点的个数UINT32如1000，点云中点的个数5data点云中点的数值ARRAY如[1,1,1,0.8]，浮点数组，每4个浮点数表示点云中的一个点，依次表示x,y,z(单位为米)，reflectivity（无量纲量），即三维坐标和反射率6beam激光雷达线束个数，不低于16线UINT8如16，激光雷达在垂直方向上具有发射器/接收器的个数配置文件数据格式配置文件数据格式要求应符合表4的规定。配置文件数据格式及其描述序号字段描述数据类型取值说明1type标定类型STRING如“0_1”：0表示摄像头，1表示激光雷达2cam_id标定摄像头的编号STRING如“1”：表示第一个摄像头3lidar_id标定激光雷达的编号STRING如“1”：表示第一个激光雷达4time_to_live标定有效期UINT8如30天，以天为单位5timestamp时间戳TIMESTAMP如“162563573.3377777”标定参数数据格式标定参数数据格式要求应符合表5的规定。标定参数数据格式及其描述序号字段描述数据类型取值说明1calib_status标定状态BOOL如0:标定成功；1:标定失败2lidar_id激光雷达IDSTRING如“0”，表示激光雷达的id3cam_id摄像头IDSTRING如“1”，表示摄像头的id4extrinsic外参矩阵ARRAY如[[1,1,1,1],[1,1,1,1],[1,1,1,1],[0,0,0,1]]5timestamp外参生成时间TIMESTAMP如“162563573.3377777”6parent_id父坐标系STRING如“0”，应是lidar_id或者cam_id7child_id子坐标系STRING如“1”，应是lidar_id或者cam_id参考文献

[1]GB/T7408.1-2023日期和时间信息交换表示法第1部分：基本原则[2]GB/T30269.702-2016 信息技术传感器网络第702部分:传感器接口:数据接口[3]GB/T36480-2018信息技术紧缩嵌入式摄像头通用规范[4]GB/T41784-2022信息技术实时定位视觉定位系统数据接口[5]GB/T43047-2023物流机器人控制系统接口技术规范标准名称《智能驾驶多传感器联合标定接口规范》任务来源（项目计划号）安徽省市场监督管理局《关于下达2023年第三批安徽省地方标准制修订计划的通知》（皖市监函〔2023〕622号），计划编号为2023-3-62。第一起草单位（盖章）合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）单位地址安徽省合肥市高新区望江西路5089号参与起草单位中国科学技术大学、科大国创(上海)汽车科技有限公司标准起草人（全部起草人，应与标准文本前言中起草人排序一致）序号姓名单位职务职称电话1张露合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）/博士后136370621392张昱中国科学技术大学/教授138661316893王贝贝合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）/博士后152124287714黄晶晶合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）/高级工程师180199759455曹泓合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）/副研究员177551093596张燕咏中国科学技术大学执行院长教授187213614367吉建民中国科学技术大学/副教授132056059628史兴领科大国创(上海)汽车科技有限公司董事长/总经理高级工程师138667500789檀杰科大国创(上海)汽车科技有限公司副总经理中级工程师1366157153110赵晓东科大国创(上海)汽车科技有限公司副总经理正高级工程制情况1、编制过程简介一、成立起草组2023年12月6日，收到安徽省市场监督管理局发布的《关于下达2023年第三批安徽省地方标准制修订计划的通知》（皖市监函〔2023〕622号）下发后，为确保高质量的推进标准编制工作，标准起草单位合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）组织各参编单位立即成立标准编制工作组，拟订了工作计划，明确了起草组成员及相关职责等。其中，起草组成员有张昱、张露、张燕咏、吉建民、曹泓、黄晶晶、王贝贝、史兴领、赵晓东、檀杰。二、形成标准讨论稿2023年12月，工作组查阅了国家法律法规等相关政策文件和相关资料，赴江淮汽车、北路智控、科大国创等企业公司开展调研，根据收集到的有关资料，工作组起草了标准，2023年12月25日，经过3轮修改讨论，形成草案。2024年1月19日，在合肥综合性国家科学中心人工智能研究院（安徽省人工智能实验室）召开了第一次大范围标准研讨会，参与单位主要有安徽省公安厅科技信息化处、中国电子科技集团公司三十八所、中国科学院合肥物质科学研究院、安徽省质量和标准化研究院、合肥美的电冰箱有限公司等。与会专家充分讨论了标准的内容，提出了修改意见，工作组对标准进行修改完善后，形成了标准讨论稿。三、形成征求意见稿2024年7月19日，标准归口部门安徽省工业和信息化厅邀请5位专家组织召开了标准预审会议，工作组根据专家意见进行修改，形成标准征求意见稿。四、形成送审稿*年*月*日-*月*日期间，标准在安徽省市场监督管理局网站公开征求意见，收到意见*条，其中采纳*条，未采纳*条。同时，工作组也通过微信、电子邮件等方式，向*家单位公开征求意见，共收到*家单位*条反馈意见，最终采纳*条，不采纳*条，形成送审稿。五、形成报批稿**年*月*日，在**召开了《**》标准的专家预评审会，会议邀请了**专家。专家听取汇报，审议了资料，经质询讨论，提出了**条修改意见，建议修改完善后报批。工作组对《标准文本》、《编制说明》、《征求意见汇总表》进行了修改完善，**年*月*日，经组长复核通过后，形成报批稿，提交归口部门安徽省经济和信息化厅。2、制定标准的必要性和意义一、必要性智能汽车已成为全球汽车产业发展的战略方向，政府在其发展规划《智能汽车创新发展战略》中明确提出，到2025年，实现有条件自动驾驶的智能汽车达到规模化生产。基于车载摄像头、激光雷达等传感器，智能汽车通过采用先进算法，自主感知周围交通环境信息，实现汽车的自动驾驶。围绕智能汽车全产业链，《智能汽车创新发展战略》明确要构建六大体系，其中之一是构建系统完善的法规标准体系。多传感器联合标定是汽车实现自主感知的前提。尽管国内外的智能汽车标准体系正在逐步完善，但在多传感器联合标定这一细分领域，尚缺乏一套与国际接轨、符合国内实际的统一标准。这一空白不仅制约了智能驾驶技术的规范化发展，也影响了智能汽车产业的整体竞争力。目前，企事业单位根据自家智能汽车的需求和实际情况，采用不同的标定方法，导致标定过程缺乏统一性和规范性。此外，由于缺乏统一的标定接口规范，不同厂商的传感器和系统之间存在兼容性问题，增加了研发成本。因此，制定多传感器联合标定接口规范显得十分必要。二、意义本标准的制定能够统一智能驾驶中多传感器数据联合标定的交互方式、传输协议、数据类型等，填补我国在多传感器标定接口标准的缺口，确保不同传感器之间的标定结果的可操作性和一致性，减少因接口差异导致的技术障碍，降低算法开发和测试的成本，提高智能驾驶系统的安全性和可靠性。同时，也为我省智能网联汽车行业提供技术指导，也有助于促进不同企事业单位之间的合作，从而推动行业生态系统的建立和完善，更好地满足市场需求。3、制定标准的原则和依据，与现行法律法规、标准的关系一、编制原则：1、符合性与协调性原则。本标准的编制符合国家法律法规的规定，同时也与现行的国家标准、行业标准等保持相互协调、一致。2、体现“规范性、兼容性、适用性、前瞻性”。本标准的编制严格遵循国家及行业的标准化工作导则，确保其规范性；本标准可以兼容不同型号的激光雷达和摄像头，以适应不同设备进行标定的场景；本标准在应用过程中对用户友好，易于理解和操作；本标准提供灵活的接口和模块化的设计，支持整合先进标定算法，为技术升级和应用提供了便利。二、编制依据：1、《关于促进道路交通自动驾驶技术发展和应用的指导意见》；2、《国家车联网产业标准体系建设指南（智能网联汽车）（2023版）》；3、GB/T1.1-2020《标准化工作导则第1部分：标准化文件的结构和起草规则》。与现行法律法规、标准的关系本标准是《关于促进道路交通自动驾驶技术发展和应用的指导意见》的贯彻落实，符合《国家车联网产业标准体系建设指南（智能网联汽车）（2023版）》的相关要求，是在产品与技术应用标准方面的细化和执行；本标准完全按照标准GB/T1.1-2020《标准化工作导则第一部分：标准化文件的结构和起草规则》的要求进行编制，因此在术语定义、相关要求等方面，与现行标准协调一致。4、主要条款的说明，主要技术指标、参数、试验验证的论述（详细说明）本文件规定了智能驾驶中多传感器数据联合标定的交互方式、传输协议、数据格式的定义与描述。本文件适用于智能驾驶中多传感器数据联合标定的接口。本标准的章节由：范围、规范性引用文件、术语、定义和缩略语、方式、协议和格式组成。其中“方式”、“协议”和“格式”是本标准的主要技术内容。1、交互方式：本标准明确了定义了“标定启动端”和“标定执行端”，其中，“标定执行端”包括有配置文件存储单元、传感器数据采集单元、联合标定单元。我们调研了大量论文，总结出了激光雷达和摄像头的标定流程，如图1所示：图1激光雷达和摄像头的标定流程针对传感器的标定，基本上有两类：一是利用传统算法进行特征提取、特征匹配，进而求解出激光雷达和摄像头的标定参数，如图2所示；二是利用神经网络算法直接求出标定参数，如图3所示。图2利用传统算法获取标定参数图3利用神经网络算法获取标定参数因此，基于上述标定流程以及标定算法的调研和论文研读，我们总结出传感器标定的系统只需要三个模块即可完成标定任务：一是配置文件，存储标定需要用到的设置信息；二是采集需要标定的传感器数据；三是标定计算单元，用于输出标定参数。2、传输协议：智能汽车内部是采用有线网络传输的形式，如图4所示，且标定需要把采集到的传感器数据准确无误地传递给标定单元，因此，依据计算机网络中的TCP协议的特点，且智能汽车内部我们安装有交换机，我们选择TCP/IP协议族作为标定系统的传输协议。图4智能汽车内部网络连接3、数据格式：我们主要是定义了交互过程中的数据格式，包括配置文件数据格式、摄像头数据格式、激光雷达数据格式、标定参数数据格式。这些数据格式是我们经过大量标定实验测试得出的。我们在中国科大先研院园区内部署有25根智慧灯杆，每一根智慧灯杆都配置有摄像头和激光雷达，我们通过对25根灯杆上的传感器进行标定，获取了如图5和图6的标定参数。图5不同摄像头的属性（以2根灯杆为例）图6不同智慧灯杆上摄像头和激光雷达的标定参数（以2根灯杆为例）由于我们有25根智慧灯杆，每根灯杆上都有摄像头、激光雷达等传感器，因此我们在进行数据格式定义的时候，首先需要定义设备id、设备的类型以及当前产生数据的时间戳。其次，针对摄像头，会生成图像数据，图像数