CN119399291A 一种矿用激光雷达与相机的外参标定方法及系统 （西安科技大学）

一种矿用激光雷达与相机的外参标定方法本发明公开了一种矿用激光雷达与相机的雷达融合帧点云和2D_3D有效目标质心对应关全景信息匹配度目标函数，对目标函数进行优可以有效提高矿用激光雷达与相机外参自动标2根据原始点云数据，将历史帧点云数据通过基于RANSAC的方法和基于获得的激光雷达融合帧点云和构建的2D_3D有效目标质心对应关系，通过全景分逆距离变换后的分割掩码上；通过对投影在匹配图上有效目标的点数分配不同的权重参根据构建的有效目标全景信息匹配度目标函数，通过对目标函数进行基于随机抽样一致性的粗配准，对历史帧点云数据和当前帧点云p’ti基于迭代最近点方法，对基于随机抽样一致性的粗3k为当前的变换矩阵，记最近邻点对为(qsi,qyr),通过最小化误差函数，更新变通过全景分割为每个像素点和点云分配类别标签和实例ID，选定义有效目标m在激光雷达坐标系下的三维根据有效目标m的二维质心和在激光雷达坐标系下的三维质心，得到有效目通过RANSAC中的EPnP算法对激光雷达与相机的初始外参进行估计，4对应得到相机坐标系下的Icf用控制点线性组合表示为：vc根据欧式变换的保距性，通过求解相机坐标系下的四个控制点i为像素点af的匹配值；将有效目标的像素VCR2和其他像素OCR2分别设置为1和0：对掩码LS进行逆距离变换，通过距离变换来奖励投影在掩码边缘附近的有效目标点5不同的有效目标点云个数不同，在目标函数中每个有)Txiyizixiyixiyixi)6采集数据集的原始点云数据来自16线GUJ50矿用本安型激光雷达，采集数据集目标场原始点云融合模块，用于根据原始点云数据，将历史帧点云数据通过原始图像目标提取模块，用于对原始图像进行全景分割提取有效目标全景信息匹配度目标函数构建模块，用于基于获得在匹配图上有效目标的点数分配不同的权重参数，构建有效目标全景信息匹配度目标函外参最优解获取模块，用于根据构建的有效目标全景信息7矿用无人驾驶车辆的三维目标检测以及SLAM建图现矿用无人驾驶中的矿用本安型激光雷达和相机外[0007]为解决上述技术问题，本发明公开了一种矿用激光雷达8[0011]基于获得的激光雷达融合帧点云和构建的2D_3D有效目标质心对应关系，通过全9[0039]根据有效目标m的二维质心和在激光雷达坐标系下的三维质心，得到有效目标的[0053]通过图像的全景分割，生成逐像素有效目标/背景分割，构建目标匹配图R2→R:[0068]不同的有效目标点云个数不同，在目标函数中每个有效目标占有的重要性也不z)Txiyizixiyixiyi大值为目标，得到粒子群算法截至第k代所得到的个体最优位置和全局最优位置[0094]采集数据集的原始点云数据来自16线GUJ50矿用本安型激光雷达，采集数据集目[0112]图10为本发明实施例提出的精校准方法不同点云输入与方法组合在数据集上的[0113]图11为本发明实施例提出的精校准方法的投影结果与外参真实值的投影结果对数据进行初步对齐，获取初步对齐结果；基于ICP的精细配准方法对初步对齐结果进行优点云数据的目标场景包括室内车库以及矿区室外环境，该数据集以10Hz的速率同步并校[0124]点云表示为n代表点云的总[0125]pf=R(r)pf+tx[0131]通过投影函数K:R3→R2,可以将相机坐标系中的三维点pf投影到像素坐标[0132]投影函数K利用相机的内在参数如焦距或畸变等计算像素坐标，具体的投影过程[0139]本发明的多帧点云融合算法流程如图3所示，首先将历史帧点云数据通过基于随机抽样一致性RANSAC的粗配准的方法和当前帧点云数据进行初步对齐，获得初步对齐结变换矩阵进行优化，获取随机抽样一致性的粗配准的初始化变换矩阵T0的历史帧点云位[0156]通过上述基于随机抽样一致性的粗配准和基于迭代最近点ICP的精配准，能够有以对于一个无目标完全自主标定的方法来说要实现更准确的外参标定就必须对外参进行[0160]定义有效目标m的二维质心为同一实例或语义类别像素计算它们的坐标之和，再2),lehl为有效目标m的像素点的个数。[0164]定义有效目标m在激光雷达坐标系下的三维质心为同一实例的所有点的坐标之[0168]根据有效目标m的二维质心和在激光雷达坐标系下的三维质心，得到有效目标的[0169]RANSAC中的EPnP算法是通过PCA构建四个控制点，使得有效目标的三维质心坐标维质心点Icf:(f,,)共计12[0185]通过图像的全景分割，生成逐像素有效目标/背景分割，构建目标匹配图R2→R:[0190]将有效目标的像素VCR2和其他像素OCR[0192]对掩码LS进行逆距离变换(IDT)，以防止二值图在相机的观[0195]将匹配图LS(qf)重新定义为LP(q):[0197]为表示有效目标点云的投影像素与其对应掩码在图像中的一致性，将有效目标m[0200]不同的有效目标点云个数不同，在目标函数中每个有效目标占有的重要性也不z)Txiyizixiyixiyi大值为目标，得到粒子群算法截至第k代所得到的个体最优位置和全局最优位置[0227]本发明使用的粒子群算法的流程图如图6所示，可以利用该算法对目标函数实施[0234]本申请提出的该外参标定方法方法有助于实现矿用无人驾驶中矿用本安型激光在自制数据集上进行了大量实验，该数据集通过如图7所示的实验采集仪器安装在无轨胶并且通过手动测量得到传感器之间的外参作为实[0237]本发明采用目前分割性能较好的OneFormer模型和P3Former模型，分别对当前帧[0238]将自制数据集中的原始图像和融合帧点云制作为Cityscape和Semantic_KITTI格使用了两个模型分别在Cityscape数据集和Semantic_KITTI数据集上的预训练权重文件，[0242]此外，通过计算平移的三个分量(X,Y,Z)的平均绝对误差MAE，以及三个欧拉角[0243]通过在一台使用Intel酷睿i7_8700CPU和Nvidia3090GPU的台式计算机上用c++[0248]在进行粗校准后，从数据集中的两个场景中选择100帧图像和融合点云进行精校[0254]由表2可以得知，扰动后的标定参数经过精校准后均能够将误差控制在小于粗校[0255]本发明还对比分析了本发明提出的方法与基于语义信息两种方法使用相同的初[0259]为了更直观地显示校准结果，通过利用表1中的外参将有效目标点云投影到的图法预测的外参投影结果与真实值投影结果两旋转误差Δθ(°)[0264]通过分析表3的数据可得，考虑权重系数后平移误差降低了36.05旋转误差降