CN119417912A 一种外参标定方法、装置及电子设备 （上海砹芯科技有限公司）

自由贸易试验区张江路505号1幢5楼数据计算相机与激光雷达之间的预测外参标定于图优化框架求解匹配误差值最小时对应的目2获取相机采集的图像数据和激光雷达采集的点云数据，所基于所述图像数据和所述点云数据计算所述相机与所述激光雷达之间的预测外参标基于所述预测外参标定参数和所述当前外参标定参数计在所述外参误差值满足校正条件时，提取所述图像数据基于所述匹配误差值和所述外参误差值构建图优化框架，所述图优基于所述图优化框架求解所述匹配误差值最小时对应的目基于相邻两帧的图像数据计算所述相机的第一外参，所述基于相邻两帧的点云数据计算所述激光雷达的第二外参；所述第二外3获取多个基于相邻两帧的图像数据计算得到的将所述图像数据输入特征提取模型，所述特征提取模型为基于标记通过所述特征提取模型提取所述图像数据中目标对象的视基于所述目标对象的几何特性在非地面点提取所述目标对象的特征在所述图像数据中提取关键图像数据，以及在所述点云数述关键图像数据为提取到目标对象的视觉语义特征且视觉语义特征符合特征质量要求的计算所述关键图像数据对应的视觉语义特征与所述关键点云数据对应的点云语义特基于所述预测外参标定参数，将所述点云语义特征中的特征点根据所述视觉语义特征中特征点的像素坐标和所述第二投影特征点的像素坐标计算4εε；基于所述代价函数迭代求解所述匹配误差值最小时对应的目获取相机采集的新图像数据和激光雷达采集基于所述目标外参标定参数，将所述新点云数据中的特征点由所述激根据所述新图像数据中特征点的像素坐标和所述目标投影特征点的像素坐标计算目影特征点的像素坐标加和后取平均得到；如果所述目标匹配误差值小于匹配误差值阈值，将数据采集模块，用于获取相机采集的图像数据和激光雷达参数监测模块，用于基于所述图像数据和所述点云数据计算所基于所述预测外参标定参数和所述当前外参标定参数计参数校正模块，用于在所述外参误差值满足校正条件时，提取所象的视觉语义特征以及所述点云数据中目标对基于所述匹配误差值和所述外参误差值构建图优化框架，所述图优基于所述图优化框架求解所述匹配误差值最小时对应的目所述处理器和所述存储器通过所述总线完成获取相机采集的图像数据和激光雷达采集的点云数据，所基于所述图像数据和所述点云数据计算所述相机与所述激光雷达之间的预测外参标5基于所述预测外参标定参数和所述当前外参标定参数计在所述外参误差值满足校正条件时，提取所述图像数据基于所述匹配误差值和所述外参误差值构建图优化框架，所述图优基于所述图优化框架求解所述匹配误差值最小时对应的目6高。智驾数据采集系统是实现高级辅助驾驶系统(AdvancedDrivingAssistanceSystems，ADAS)的关键组成部分。该智驾数据采集系统集成多种传感器，如激光雷达[0004]传感器的外参标定方法可以在特定环境下使用特定标定设施(如标定板)手动进[0008]基于所述图像数据和所述点云数据计算所述相机与所述激光雷达之间的预测外7标对象的视觉语义特征以及所述点云数据中目标对象的点云[0028]基于所述图像数据和所述点云数据计算所述相机与所述激光雷达之间的预测外8[0044]图7为本申请实施例提供的相机与激光雷达之间的外参发生变动时杆子的位置偏[0045]图8为本申请实施例提供的外参标定参数迭代优化后杆子的位置对齐重合示意高。智驾数据采集系统是实现高级辅助驾驶系统(AdvancedDrivingAssistanceSystems，ADAS)的关键组成部分。该智驾数据采集系统集成多种传感器，如激光雷达9[0051]传感器外参的标定方法可以在特定环境下使用特定标定设施(如标定板)手动进集成在智驾数据采集系统中，通过获取相机与激光雷达在车辆行驶过程中采集的环境数[0057]例如，可以使用硬件时间戳同步器或全局同步网络(PrecisionTim[0064]可以利用激光雷达里程计(LiDAROdometry)基于两帧点云数据估算激光雷达的[0067]由于图像数据和点云数据可能是相机和激光雷达在不同的时间戳下采集的，因此，可以利用IMU与轮速计算的连续位姿差分并通过插值方法将图像数据和点云数据同步分别对比旋转误差值εi，rot与旋转误差阈值Trot，以及平移误差值εi，trans与平移误差阈值[0087]对于杆子的点云语义特征提取，可以基于点云数据的Z轴坐标在点云数据中分割同时检测到对应的语义特征且语义特征的特征质量满足要求的图像数据和点云数据作为特征符合特征质量要求的点云数据，关键图像数据的时间戳和关键点云数据的时间戳相预测外参标定参数，将点云语义特征中的特征点由激光雷达的坐标系投影至相机的坐标影矩阵Pcam和预测外参标定参数Tca[0093]设pzn为基于特征提取模型提取到的视觉语义特征中该特征点的2D像素坐标，可εε；j，corr为所述视觉语义特征与所述点云语义特征之间第j个特征点对应的匹配误差值，ε[0105]可以基于该代价函数按照下式通过迭代优化算法迭代求解匹配误差值最小时对关键帧数据后，对关键帧中图像数据提取的语义特征和点云数据提取的特征进行关联匹机投影矩阵Pcam和目标外参标定参数Tcalib，将点云数据中特征点的3D像素坐标投影到相机的计算方法，计算图像数据中特征点的2D像素坐标与投影得到的2D像素坐标之间的误差间的外参发生变动导致杆子的激光点云投影到图像中与图像中杆子的2D像素点存在位置偏离，图8为展示了通过对外参标定参数迭代优化后杆子的激光点云与图像中杆子的位置视觉语义特征以及点云数据中目标对象的点[0128]基于上述外参标定方法，本申请的部分实施例中还提供一种电子设备，如图9所于实现这些组件直接的连接通信，通信接口302用于与其他节点设备进行信令或数据的通器901与存储器903之间通过总线904通信，处理器901调用存储器903中存储的计算机程序并执行该计算机程序可以实现本申请实施例提供的外参[0130]基于上述外参标定方法，本申请的