CN118011365B 一种用于掘进机的相机与激光雷达校准装置及方法 （中国矿业大学）

一种用于掘进机的相机与激光雷达校准装本发明公开一种用于掘进机的相机与激光设置在掘进机顶部并且可以根据掘进机上设置的相机雷达融合模块位置移动并作为校准的校准板下方设有能够自由移动并兼顾掘进机上所镂空圆之间位于棋盘格的四个边角外侧在校准板上分别设有四个ArUco码。能够更加适应矿下2(22)下方设有能够自由移动并兼顾掘进机上所有设置的激光雷达(7)与工业相机(9)的万圆(23)之间位于棋盘格(24)的四个边角外侧在校准板(22)上分别设有四个ArUco码(25)，光雷达(7)利用棋盘格(24)求取外参校准的初始校准参数；工业相机(9)利用ArUco码(25)相机雷达融合模块将采集到的点云与图像数据通过无线方式上传，工业相机(9)的内对工业相机(9)采集到的校准板图像进行ArUco码(25)检测，使用Opencv的ArUco模块外参校准的过程为：首先根据工业相机(9)与激光雷达(7)的相对程序内输入预设的初始外参，工业相机(9)利用Harris算法对上传的采集到校准板(22)的图像中的棋盘格(24)进行角点检测，激光雷达(7)利用激光在不同颜色上的反射率不同对上传的点云进行棋盘格(24)角点检测，接着利用ICP特征点匹配算法对提取到的校准板再者，利用激光雷达(7)获取校准板(22)的镂空圆(23)处的深度变化，提取激光雷达(7)获取的点云中镂空圆(23)的边缘特征：设立深度阈值dL,设任意一点的深度为P",3根据深度阈值dL判断该点云的深度差是否符合利用工业相机(9)拍摄图像在镂空圆(23)处的梯度强度变化，提取圆形点云的边缘像将第一阶段外参值作为第二阶段的迭代开端，利用kabsch的配准方法将采集镂空圆(23)圆心在雷达坐标系中的坐标与镂空圆(23)圆心在图像像素坐标系中的坐标进行外参机雷达融合模块包括传感器连接块(8)，传感器连接块(8)上左右两侧分别设有激光雷达雷达融合模块通过俯仰旋转平台固定在掘进机主体(1)上方，所述俯仰旋转平台包括固定息、镂空圆(23)的圆心信息与四个ArUco码的ID信息；校准板转动模块通过旋转圆盘底座4(18)与驱动电机b(20)实现校准板(22)进行不同角度的调节，使校准板一种6.一种使用上述权利要求1_5中任一一条权利要求所述用于掘进机的相机与激光雷达远程控制俯仰旋转平台的旋转底座(2)与俯仰支架(3)进行旋转，实远程控制圆台旋转平台的旋转圆台(11)进行旋转，实时调节校准板(2远程控制万向机械臂的上摇臂(15)与下摇臂(13)的转动角度、液压伸远程控制校准板转动模块的旋转盘(18)与驱动电机b(20)转动，从而调节校准板在上在通过俯仰旋转平台、圆台旋转平台、机械臂摆动机构、校准对视角情况下进行点云数据与图像数据的采集，且工业相机(9)在进行校准板(22)图像数据采集与激光雷达(7)在进行点云数据采集的过程中，需要确保校准板(22)的角点全部处校准时需要注意激光雷达(7)与工业相机(9)在当前位置下的噪声，5保持相机雷达模块的位置不变，通过调整校准板(22)位置，从而改变方向上进行校准板(22)的相机图像与雷达点云采相机雷达模块采集完校准板(22)的图像数据与点云数据后，通过6[0002]矿山掘进技术在矿业领域的发展中占据着重要的地位，[0003]相机与激光雷达的校准是将两者数据融合的基础，是保证数据一致性和精确性、设置在掘进机顶部并且可以根据掘进机上设置的相机雷达融合模块位置移动并作为校准7动机构与校准板转动模块在水平方向上进行角供校准所需的棋盘格，包括棋盘格的角点信息、镂空圆的圆心信息与四个ArUco码的ID信8保相机雷达融合模块能够在距离校准板(22)不同远近距离下进行上述倾斜方向上进行校[0018]相机雷达模块采集完校准板(22)的图像数据与点云数据后，通过圆台旋转平台、校准板上的ArUco码，识别每个ArUco码的ID信息并获取其在校准板像素坐标系下ArUco是9[0026]首先根据工业相机与激光雷达的相对位置关系向外参校准程序内输入预设的初始外参，工业相机利用Harris算法对上传的采集到校准板的图像中的棋盘格进行角点检[0030]利用工业相机拍摄图像在镂空圆处的梯度强度变化，提取圆形点云的边缘像素圆圆心在雷达坐标系中的坐标与镂空圆圆心在图像像素坐标系中的坐标进行外参约束的[0032]Rf-o,+f=o,[0036]图2为本发明用于掘进机的相机与激光雷达校准装置的俯仰旋转平台结构示意[0037]图3为本发明用于掘进机的相机与激光雷达校准装置的相机雷达融合模块结构示[0038]图4为本发明用于掘进机的相机与激光雷达校准装置的圆台旋转平台结构示意掘进机主体1上方的俯仰旋转平台、圆台旋转平台，俯仰旋转平台上设有相机雷达融合模色上的激光反射率不同完成对校准板22角点的提取，提取到的特征角点坐标将通过ICP算[0053]俯仰旋转平台位于掘进机主体1上，通过旋转底座2实现俯仰支架3在水平面内进[0054]圆台旋转平台位于掘进机主体1上，由一个可转动的旋转圆台11与支撑底座10构雷达7与工业相机9利用镂空圆23的深度差进行边缘提取；棋盘格24用于工业相机9的内参[0058]如图8所示，一种用于掘进机的相机与激光雷达校准装置的工作方法，其步骤如雷达7与工业相机9在当前位置下的噪声，若在当前位置下因粉尘等环境因素造成噪声突[0065]相机雷达融合模块将采集到的点云与图像数据通过无线方式上传，工业相机9的低于20张，通过matlab的相机校准工具箱提取棋盘格24上的特征角点来计算工业相机9内雷达7利用激光在不同颜色上的反射率不同对上传的点云进行棋盘格24角点检测，接着利设立深度阈值dL,设任意一点的深度为Pid，同一