CN116381649B 联合标定方法、设备和存储介质 （烟台艾睿光电科技有限公司）

设备的内参参数确定红外拍摄设备与所述激光设备与激光雷达设备针对同一目标场景分别采准且简便的红外拍摄设备与激光雷达设备的联2获取红外拍摄设备采集的针对温控标定板的粗配准红外图像、以及激基于所述粗配准红外图像和所述粗配准点云，确定所述红外拍根据所述红外拍摄设备的内参参数确定所述红外拍摄设备与所述激光雷达设备之间的粗获取所述红外拍摄设备与所述激光雷达设备针对同一目标场景分别采集且时间同步基于所述精配准红外图像和所述精配准点云，对所述粗配准外参参数进行迭代优化，得到所述红外拍摄设备与所述激光雷达设备之间的检测每帧所述粗配准红外图像中的角点坐标，基于每帧所述角点坐标确针对每帧所述粗配准点云中提取温控标定板成像区域的标定板基于每帧所述角点坐标以及所述温控标定板的尺寸，得到每帧所述根据所述像素坐标系与世界坐标系的第一转换关系以及每帧所将所述旋转参数进行罗德里格斯变换，得到各帧所述粗配准红外图粗配准点云对应的所述温控标定板在雷达坐标系下的第二法向量和第二中心点坐标，包对每帧所述粗配准点云进行滤波，得到各帧所述粗配准点云中温3根据各帧所述标定板平面点云，得到所述各帧所述粗配准点云对根据所述温控标定板的几何尺寸以及各帧所述标定板平面点云，根据所述第一法向量和所述第二法向量之间的旋转角度确定原始基于所述初始旋转参数以及所述红外拍摄设备的内参参数，将每对所述精配准红外图像进行特征提取，确定目标特征区域，对所基于所述目标特征区域和所述目标特征点云构建损失函数，并利通过预训练的语义分割模型对所述精配准红外图像进行特征根据目标对象的类型对应的特征提取方法，从所述感兴趣区域的在所述目标对象包括地面标志线的情况下，对所述感兴趣区域内的点云进行平面拟在所述目标对象包括路边的柱状物体的情况下，将所述感兴4任一项所述红外拍摄设备与激光雷达设备的5而，如何实现一种精准且简便的红外拍摄设备与激光雷达设备的联合标定已成为当务之[0006]第一方面，本申请实施例提供一种红外拍摄设备与激光雷达设备的联合标定方拍摄设备的内参参数确定红外拍摄设备与所述[0009]获取红外拍摄设备与激光雷达设备针对同一目标场景分别采集且时间同步的精[0011]第二方面，本申请实施例提供一种红外拍摄设备与激光雷达设备的联合标定装6如本申请任一实施例所述的红外拍摄设备与激光雷达设[0018]本申请上述实施例提供的红外拍摄设备与激光雷达设备的联合标定方法、装置、[0019]图1示出本申请实施例提供的一种红外拍摄设备与激光雷达设备的应用系统的示[0020]图2示出本申请实施例提供的一种红外拍摄设备与激光雷达设备的联合标定方法[0021]图3示出本申请实施例提供的另一种红外拍摄设备与激光雷达设备的联合标定方[0024]图6示出本申请实施例提供的一种红外拍摄设备与激光雷达设备的联合标定装置7技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，[0032]图1示出本申请实施例提供的一种红外拍摄设备与激光雷达设备的应用系统的示采集的点云执行本申请任一实施例提供的红外拍摄设备与激光雷达设备的联合标定方法。车载显示设备13可以用于显示智能处理设备12[0033]本申请实施例一方面，提供一种红外拍摄设备与激光雷设备采集的与粗配准红外图像同步的粗配准8的点云与红外图像分别作为粗配准点云和粗红外拍摄设备的内参参数确定红外拍摄设备与激光雷达设备之间[0045]S23，获取红外拍摄设备与激光雷达设备针对同一目标场景分别采集且时间同步[0050]这里，精配准外参参数可以为激光雷达和红外拍摄设备9[0051]由于精配准红外图像和精配准点云是针对同一目标场景同步采集的数据。理论采集且时间同步的精配准红外图像和精配准点云，并基于精配准红外图像和精配准点云，从红外拍摄设备的角度描述物体位置而定义。相机坐标系为xyz轴构成的直角坐标系，其需要满足右手法则。[0070]在上述实施例中，可以通过对温控标定采集的每帧粗配准红外图像进行角点检配准红外图像对应的温控标定板在相机坐标系下的第一法向量和在像素坐标系下的第一红外图像中第3行第3列角点的像素坐标作为每帧第x[0085]在本申请实施例中，根据公式(3)可以将每帧粗配准红外图像对应的对应旋转参[0087]在一些实施例中，针对每帧粗配准点云中提取温控标定板成像区域的标定板点[0093]平面拟合的方法有多种，如最小二乘平面拟合法，基于随机抽样一致(RANdom[0095]第二法向量的计算过程可以为，根据各帧标定板平面点云计算各帧的协方差矩cl的转换关系可以表示为：就是，第一法向量与经过旋转后的第二法向量之间的乘积为1。第一优化函数f1可以表示[0117]粗配准外参参数可以包括旋转参数Rcl和平移参数Tcl。第二优化函数可以根据第特征点云落入目标特征区域的点数与目标特征点云的总点[0128]损失函数可以基于目标特征点云落入目标特征区域的点数与目标特征点云的总函数可以为1与目标特征点云落入目标特征区域的点数与目标特征点云的总点数的比值之外参参数与内参参数，将一帧精配准点云中的目标特征点云投影至对应的精配准红外图[0140]在本申请实施例中，通过预训练的语义分割模型对精配准红外图像进行特征提[0151]根据基于目标特征点云落入蒙版图像的目标特征区域的点数与目标特征点云的度阈值筛选方法可以准确提取地面标志物的特供另一种红外拍摄设备与激光雷达设备的联合标定方法。图3示出本申请实施例提供的另一中心点坐标，同时利用角点坐标根据公式(2)可以计算内参矩阵和标定板在相机坐标系据棋盘格的几何尺寸和棋盘格的点云可以计算得到棋盘格中心点在雷达坐标系下的第二[0202]利用像素坐标系与激光雷达坐标系之间的关系将雷达标定板中心点投影至红外采集且时间同步的精配准红外图像和精配准点云，并基于精配准红外图像和精配准点云，[0243]粗配准外参参数得到单元，用于基于初始旋转参数以及红外拍摄设备的内参参到红外拍摄设备与激光雷达设备之间的粗配趣区域的点云中提取表征对应目标对象的目标特设备与前述实施例提供的红外拍摄设备与激光雷达设备的联合标定