CN115965692B 激光雷达与相机联合标定的方法及装置 （浙江华睿科技股份有限公司）

US2018218537A1,2018.08.02本申请公开了激光雷达与相机联合标定的板得到的图像数据，计算出在相机的坐标系下V平面和第二平面的平面法向量；基于雷达扫描V2基于相机拍摄V型标定板得到的图像数据，计算出在所述相机的坐所述第二预设点均不在所述两块板的所述主表面所在基于雷达扫描所述V型标定板得到的单线激光点云，确定在所述雷达的坐标系下第一基于所述两块板的所述主表面、第一平面和第二平面的平面法向2.根据权利要求1所述的标定的方法，其特征基于所述单线激光点云确定所述两块板的所述主表面上的激光线基于所述两块板的所述主表面上的激光线段点集，确定在连接所述单线激光点云中第一个点和最后一个在当前直线的起点和终点之间的所有激光点到所述当前直线的距离中的最大值超过将两条子线段中每一子线段分别作为当前直线，并执行所述在当从所述点云线段集合中选取两个点云线段作为所述两块板的所述主表面上的激光线段集合中未被选取的点云线段的中心点与雷达坐标4.根据权利要求2或3所述的标定的方法，其特征在于，所述在沿着激光扫描方向、所述第一边缘线所属的板位于所述第的情况下，将所选取的两个点云线段中中心点Y坐标大的点云线段作为所述第一边缘线所3属的板的主表面上的激光线段，将所述中心点Y坐标大的点云线段中最后一个扫描点的坐标作为所述第一交点坐标，将所选取的两个点云线段中中心点Y坐标小的点云线段作为所述第二边缘线所属的板的主表面上的激光线段，将所述中心点Y坐标小的点云线段中第一5.根据权利要求1所述的标定的方法，其特征在于，的图像数据，计算出在所述相机的坐标系下所述V型标定板中两块板各自朝向所述相机的基于所述图像数据计算出所述两块板各自的主表面的平面点基于所述两块板各自的主表面的平面点云，确定出所述第一利用所述第一边缘线的方向向量和所述第一预设点的坐标计算出所述第一平面的平从所述图像数据中提取出三个平面的平面点从所提取的三个平面点云中确定出所述两块板各自的所述主表面的平面点云以及平计算出由所述地平面的平面点云中第三预设点和除地平面以外的两个平面的交线构个平面的平面点云中的非交线点与所述两个平面中另一个平面的平面点云中的非交线点基于所述第一向量和所述第三平面的平面向量的内积确认两个平面各自对应于哪个基于所述内积和所述V型标定板的摆放方式从所述三个平面中计算出第二向量，所述第二向量为第四预设点与所述基于所述地平面对应的平面法向量和所述第二向量的内积的正负属4利用三点确定平面的方法从点云数据逐个提取出所述三个平面的平面点云及其对应采用ransac算法结合三点确定平面的方法粗提取平面，得到所述三个基于所述待提取平面对应的平面方程和所述粗提取平面点云确定出所述待提取平面基于交汇线的方向向量和所述三个平面的交点坐标，确定二边缘线所属的板的主表面的平面点云中所有点到预设交线的距离中的最大值和最小值，所述预设交线为所述第一边缘线或所述第二边缘线所属的板的主表面和所述三个平面中确定出所述第一边缘线或所述第二边缘线对应的所述最小值和所述最大值之间的各个距离范围内的所有点与所述交汇线距离最大的汇总所述第一边缘线或所述第二边缘线对应的所述最小值和所述最大值之间的所有基于所述第一边缘线或所述第二边缘线的点集计算出所述第一边缘线或所述第二边第一交点坐标和所述第一边缘线所属板的主表面的平面法向量构建出第二点面约束方程，第三交点坐标分别和所述两块板的所述主表面的平面法向量构建出第五点面约束方程和56[0003]本申请主要解决的技术问题是提供一种激光雷达与相机[0004]为解决上述技术问题，本申请第一方面提供一种激光雷达与相机联合标定的方[0013]在当前直线的起点和终点之间的所有激光点到当前直线的距离中的最大值超过7况下，将所选取的两个点云线段中中心点Y坐标大的点云线段作为第一边缘线所属的板的主表面上的激光线段，将中心点Y坐标大的点云线段中最后一个扫描点的坐标作为第一交点坐标，将所选取的两个点云线段中中心点Y坐标小的点云线段作为第二边缘线所属的板的主表面上的激光线段，将中心点Y坐标小的点云线段中第一个扫描点的坐标作为第二交[0021]利用第一边缘线的方向向量和第一预设点的坐标计算出[0022]其中，基于图像数据计算出V型标定板中两块板各自朝向相机的主表面的平面点[0024]从所提取的三个平面点云中确定出两块板各自的主表面的平面点云以及平面法[0028]计算出由地平面的平面点云中第三预设点和除地平面以外的两个平面的交线构平面点云中的非交线点与两个平面中另一个平面的平面点云中的[0029]基于第一向量和第三平面的平面向量的内积确认两个平面各自对应于哪个板的[0032]计算出第二向量，第二向量为第四预设点与地平面的平面点云中的点之间的向8[0034]其中，第四预设点为三个平面中除地平面以外的一个平面的平面点云中的中心[0036]利用三点确定平面的方法从点云数据逐个提取出三个平面的平面点云及其对应[0041]基于待提取平面对应的平面方程和粗提取平面点云确定出待提取平面的平面点为第一边缘线或第二边缘线所属的板的主表面和[0044]确定出第一边缘线或第二边缘线对应的最小值和最大值之间的各个距离范围内[0045]汇总第一边缘线或第二边缘线对应的最小值和最大值之间的所有距离范围的至[0046]基于第一边缘线或第二边缘线的点集计算出第一边缘线或第二边缘线的方向向9[0058]图5是本申请激光雷达与相机联合标定的方法中V型标定板中两块板对应的主表[0059]图6是本申请激光雷达与相机联合标定的方法中激光雷达对V型标定板中两块板[0060]图7是本申请激光雷达与相机联合标定的方法中构建约束方程的约束信息示意图像数据计算出V型标定板中两块板各自朝向相机的主表面、第一平面和第二平面的平面[0072]获得相机拍摄到的包含V型标定板的图像数据后，可以基于获得的图像数据计算[0073]其中，可基于获得的图像数据计算出V型标定板中两块板各自朝向相机的主表面(例如图2所示的A板朝向相机的面积最大的表面和B板朝向相机的面积最大的表面)的平面方法从第二点云数据提取出第三个平面的平面点云以及确定第三个平面对应的平面法向化处理得到最终的平面向量计算Cloud0中的每个点到该平面的距离并排[0083]4>从Ck中过滤掉平面点云Cloud[0084]5>从Ck中继续过滤掉平面点云Cloud2，重复2>平面点云中确定出两块板各自的主表面的平面[0086]而从所提取的三个平面点云中确定出两块板各自的主表面的平面点云以及平面个平面中一个平面的平面点云中的非交线点到两个平面中另一个平面的平面点云中的非[0087]因为需要基于内积从三个平面中确定出地平面及其法向量，所以对于V型标定板标定板中两块板各自朝向相机的主表面的平面点云和[0092]接着可基于两块板各自朝向相机的主表面的平面点云确定出第一边缘线和第二出位于左侧的板的主表面的平面点云中所有点到位于左侧的板的主表面和地平面的交线交线的距离在筛选后的范围中的各个距离范围内的所有点中与交汇线距离最大的至少一的主表面的平面点云中所有点到位于右侧的板将位于左侧的板的主表面和地平面的交线称为第二交线)的距离中的最大值和最小值；确定出位于右侧的板的主表面的平面点云中到第二交线的距离在最小值和最大值之间的各[0097]基于两块板各自朝向相机的主表面的平面点云确定出第一边缘线和第二边缘线[0102]可以基于激光雷达扫描V型标定板得到的单线激光点云数据，确定在雷达的坐标系下单线激光与第一边缘线、第二边缘线以及交汇线的交点坐标与在相机的坐标系下V型第一边缘线以及第二边缘线的交点坐标，并确定两块板各自的主表面上的激光线段的方线段集合中中心点X坐标最小的两个点云线段作为两块板各自的主表面上的激光点云线描方向为从左往右扫描，则可以将中心点Y坐标大的点云线段作为位于右侧的板的主表面上的激光点云线段，且可以将中心点Y坐标大的点云线段中最后一个扫描点的坐标作为在雷达的坐标系下单线激光与第二边缘线的交点坐标，将中心点Y坐标小的点云线段中第一光扫描方向为从右往左扫描，则可以将中心点Y坐标小的点云线段作为位于右侧的板的主表面上的激光点云线段，且可以将中心点Y坐标小的点云线段中第一个扫描点的坐标作为在雷达的坐标系下单线激光与第二边缘线的交点坐标，将中心点Y坐标大的点云线段中最后一个扫描点的坐标作为在雷达的坐标系下单线激光与第一边缘线[0106]当然不限于通过上述方法确定在雷达的坐标系下单线激光与第一边缘线以及第将标定板上的激光点云数据中的极大值点和第一个扫描点之间的点云数据作为其中一个[0109]可选地，可以利用第一交点坐标和第一平面的法向量构建出第一点面约束方程、利用第一交点坐标和第一边缘线所属板的主表面的平面法向量构建出第二点面约束方程，第六点面约束方程计算得到相机与激光雷达之的坐标系下V型标定板中两块板各自朝向相机的主表面、第一平面和第二平面的平面法向[0120]地面法向量和点云Cloudg，平面A法向量,和点云CloudA，以及平面B法向量量归一化处理得到最终的平面向量万=[a,h,CI',计算Cloud0中的每个点到该平面的距离gg[0133]因为平面A和平面B与地面几乎垂直(实际中不会绝对垂直，肯定会存在一些误[0138]计算Cloudg、CloudA以及CloudB各自的中心点Pmeang、PmeanA以及PmeanB，其中，gg[0148]计算点PmeanA到点PmeanB的向量还求1--n与iw的内积[0152]1＞通过公式计算CloudA中的每个点PA∈CloudA到直线离dist2选取最大的两个点添加到平面A的边缘点集[0160]3＞计算斜边QS，采用最小二乘方法最小化点到直线距离，构建如下残差方程基于残差方程计算得到QS的方程a0x+b0y+c0＝0，且QS的方向向量选取x坐标最小的两个点和则对应的激光线段为Lq和Lr，假设激光B＝Lr；B＝Lq。[0178]假设激光到TOF坐标系的外参转换旋转矩阵为偏移向量为则上述法向[0197]