CN114730472B 车载相机的外部参数的标定方法及相关装置 （深圳引望智能技术有限公司）

2022.05.19PCT/CN2021/1158022021.08.31WO2023/028880ZH2023.03.09道万科城社区华为公司华为总部办公车载相机的外部参数的标定方法及相关装置本申请公开了相机标定技术领域中一种车M条第一平行线在车载相机的实际相机坐标系中的坐标和第一图像的鸟瞰图中M条第二平行线的机的虚拟理想相机坐标系之间的变换关系，M为大于或等于3的整数，M条第二平行线与M条第一系与车载相机的虚拟理想相机坐标系之间的变换关系以及虚拟理想相机坐标系与世界坐标系2获取第一图像中的M条第一平行线在所述车载相机的实际相机坐标系中的坐标，所述标道路上包含平行的N条车道线，所述N条车道线中的任意两条车道线之间的距离是已知根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述第一图像的鸟瞰图中M条第二平行线的约束，确定所述车载相机的实际相机坐标系与所述车载相机行线中的任意一条第二平行线与所述虚拟理想相机坐标系的x轴方向垂直，所述间距比例约束包括所述M条第二平行线中的任意两个第二平行线之间的距离比例与所述任意两个第二平行线对应的M条车道线之间的距离比例相同，所述间距约束包括所述任意两个第二平行线之间的距离与所述任意两个第二平行线对应的M条车道线之间的距离的根据所述车载相机的实际相机坐标系与所述车载相机的虚拟理想相机坐标系之间的的实际相机坐标系与所述世界坐标系之间的变2.根据权利要求1所述的方法，其特征在于，相机的实际相机坐标系中的坐标和所述第一图像的鸟瞰图中M条第二平行线的约束，确定所述车载相机的实际相机坐标系与所述车载相机的虚拟理想相机坐标系之间的变换关系，根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述平行约根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述竖直约根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述间距比例根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述间距约向的夹角，为所述M条第二平行线中的第it1条第二平行线与所述虚拟理想相机坐标系4.根据权利要求1至3中任一项所述的方法，其特征在于，所述竖直约束还包括：3第s+2条第二平行线之间的距离，为所述M条第二平行线中第s条第二平行线对应的车道线与第s+1条第二平行线对应的车道线之间的实际距离，为所述M条第二平行线中第s+1条第二平行线对应的车道线与第s+2条第二平行线对应的车道线之间的实际距6.根据权利要求1至3、5中任一项所述的方法，其特征在于，所述间距约束还包括二平行线之间的距离，为所述M条第二平行线中第条第二平行线对应的车道线与第获取车辆的定位信息，所述车辆的定位信息包括所述车辆当前的位置信息和/或所述根据所述车辆的定位信息和所述车载相机在所述世界坐标系中的y轴平移量建立所述根据所述车辆的观测模型获取所述车辆当前时刻的航根据所述车载相机的实际相机坐标系与所述世界坐标系之间的变换关系中的航向角将所述车载相机的实际相机坐标系与所述世界坐标系之间的变换关系中的航向角更获取模块，用于获取第一图像中的M条第一平行线在所述车载相机的实际相机坐标系处理模块，用于根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述第一图像的鸟瞰图中M条第二平行线的约束，确定所述车载相机的实际相机坐标系4所述M条第二平行线中的任意一条第二平行线与所述虚拟理想相机坐标系的x轴方向垂直，所述间距比例约束包括所述M条第二平行线中的任意两个第二平行线之间的距离比例与所述任意两个第二平行线对应的M条车道线之间的距离比例相同，所述间距约束包括所述任意两个第二平行线之间的距离与所述任意两个第二平行线对应的M条车道线之间的距离的所述处理模块，还用于根据所述车载相机的实际相机坐标系与所述车想相机坐标系之间的变换关系以及所述虚拟理想相机坐标系与世界坐标系之间的变换关根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述平行约根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述竖直约根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述间距比例根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述间距约向的夹角，为所述M条第二平行线中的第it1条第二平行线与所述虚拟理想相机坐标系11.根据权利要求8至10中任一项所述的装置，其特征在于，所述竖直约束还包括：第s+2条第二平行线之间的距离，为所述M条第二平行线中第s条第二平行线对应的车道线与第s+1条第二平行线对应的车道线之间的实际距离，为所述M条第二平行线中第s+1条第二平行线对应的车道线与第s+2条第二平行线对应的车道线之间的实际距5二平行线之间的距离，为所述M条第二平行线中第条第二平行线对应的车道线与第获取车辆的定位信息，所述车辆的定位信息包括所述车辆当前的位置信息和/或所述根据所述车辆的定位信息和所述车载相机在所述世界坐标系中的y轴平移量建立所述根据所述车辆的观测模型获取所述车辆当前时刻的航根据所述车载相机的实际相机坐标系与所述世界坐标系之间的变换关系中的航向角将所述车载相机的实际相机坐标系与所述世界坐标系之间的变换关系中的航向角更所述处理器用于调用所述存储器中的程序指令执行如权利要求1至7中任一项所述的6第一图像中的M条第一平行线在所述车载相机的实际相机坐标系中的坐标，所述第一图像所述第一图像的鸟瞰图中M条第二平行线的约束，确定所述车载相机的实际相机坐标系与述间距比例约束包括所述M条第二平行线中的任意两个第二平行线之间的距离比例与所述任意两个第二平行线对应的M条车道线之间的距离比例相同，所述距离约束包括所述任意两个第二平行线之间的距离与所述任意两个第二平行线对应的M条车道线之间的距离的差7机的实际相机坐标系与所述世界坐标系之间的变换关[0007]本方法中，先根据获取的第一图像中的M条第一平行线在车载相机的实际相机坐标系中的坐标和第一图像的鸟瞰图中M条第二平行线的约束，确定车载相机的实际相机坐的所属车辆在目标道路上的行驶过程中拍摄得到的图像，目标道路上包含平行的N条车道在车载相机的实际相机坐标系中的坐标和第一图像的鸟瞰图中M条第二平行线的平行约拟理想相机坐标系之间的变换关系，不需要对目标道路中的N条车道线设置其它特定的约[0008]在一种可能的实现方式中，所述根据所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述第一图像的鸟瞰图中M条第二平行线的约束，确定所述车载相所述M条第一平行线在所述车载相机的实际相机坐标系中的坐标和所述平行约束，确定所的坐标和所述间距约束，确定所述虚拟理想相机坐标系相对于所述实际相机坐标系的z轴[0009]该实现方式中，依次根据M条第一平行线在车载相机的实际相机坐标系中的坐标系相对于实际相机坐标系的z轴平移距离，得到车载相机的实际相机坐标系与车载相机的8为所述M条第二平行线中的第i+1条第二平行线与所述虚拟理想相机坐标系的x轴方向的夹θi+1小于或等于90度。θi+1)2最小作为平行约束确定虚拟理想相机坐标系相条第二平行线中第j条第二平行线与所述虚拟理想相机坐标系的x轴方向的夹角，j为大于M条第二平行线中的第s条第二平行线与第s+1条第二平行线之间的s，s+1为所述M条第二平行线中第s条第二平行线对应的车道线与第s+1条第二平行线机坐标系相对于实际相机坐标系的z轴旋转角，提高了虚拟理想相机坐标系相对于实际相[0016]在一种可能的实现方式中，所述间距约束还包括0.5∑(ωi，i+1-Wi，i+1)2最小，ωi，i+1为所述M条第二平行线中的第i条第二平行线与第i+1条第二平行线之间的距离，)2最小作为间距约束确定虚拟理想相机坐标系相对于实际相机坐标系的z轴平移距离，提高了虚拟理想相机坐标系相对于实际相机坐机在所述世界坐标系中的y轴平移量建立所述车辆的观测模型；根据所述车辆的观测模型之间的变换关系中的航向角对所述车辆当前时刻的航向角进行补偿，得到补偿后的航向为所述补偿后的航向角。9[0019]该实现方式中，根据由车辆的定位信息和车载相机在世界坐标系中的y轴平移量和所述至少一个处理器通过线路互联，所述至少一个处理器用于运行计算机程序或指令，计算机上运行时，使得计算机执行如第一方面或其中任意一种可能的实现方式所述的方[0038]图11为本申请一个实施例的一种车载相机的外部参数的标定装置的示意性结构[0039]图12为本申请另一个实施例的一种车载相机的外部参数的标定装置的示意性结[0040]下面将结合本申请的实施例中的附图，对本申请实施例[0044]图3为本申请的实施例的一种实际相机坐标系和虚拟理想相机坐标系的示意图。Zr[0049]图6为本申请的实施例的一种车载相机的外部参数的标定方法的流程示意图。如的拍摄得到，第一图像中的M条第一平行线与该目标道路上的N条车道线中的M条车道线一[0053]提取第一图像中的M条第一平行线，得到该M条第一平行线在像素坐标系中的坐[0056]S602，根据M条第一平行线在车载相机的实际相机坐标系中的坐标和第一图像的鸟瞰图中M条第二平行线的约束，确定车载相机的实际相机坐标系与车载相机的虚拟理想[0057]车载相机的实际相机坐标系与车载相机的虚拟理想相机坐标系之间的变换关系[0058]在一种可能的实现方式中，根据M条第一平行线在车载相机的实际相机坐标系中与虚拟理想坐标系的x轴方向的夹角，ω12为第二平行线L1与第二平行线L2之间的距离，ω23为第二平行线L2与第二平行线L3之间的距离。意两个第二平行线之间的距离比例与任意两个第二平行线对应的M条车道线之间的距离比[0061]在一种可能的实现方式中，采用虚拟理想相机坐标系相对于实际相机坐标系的x实际相机坐标系与车载相机的虚拟理想相机坐标系之间[0062]根据M条第一平行线在车载相机的实际相机坐标系中的坐标和平行约束，通过优化等方法确定虚拟理想相机坐标系相对于实际相机坐标系平行线中的第i+1条第二平行线与所述虚拟理想相机坐标系的x轴方向的夹角，i为大于或θi+1小于或等于90度。[0064]根据M条第一平行线在车载相机的实际相机坐标系中的坐标和竖直约束，通过优化等方法确定虚拟理想相机坐标系相对于所述实际相机坐标系[0066]根据M条第一平行线在车载相机的实际相机坐标系中的坐标和间距比例约束，通过优化等方法确定虚拟理想相机坐标系相对于实际相机坐标系的z轴二平行线中第s条第二平行线对应的车道线与第s+1条第二平行线对应的车道线之间的实s+1，s+2为M条第二平行线中第s+1条第二平行线对应的车道线与第s+2条第二平行[0068]根据M条第一平行线在车载相机的实际相机坐标系中的坐标和间距约束，通过优化等方法确定虚拟理想相机坐标系相对于实际相线中第i条第二平行线对应的车道线与第i+1条第二平行线对应的车道线之间的实际距离，[0070]使用该实现方式提供的虚拟理想相机坐标系相对于实际相机坐标系的x轴旋转角[0071]在另一种可能的实现方式中，M条第二平行线在鸟瞰图中的约束包括使得损失函应的车道线与第m+1条第二平行线对应的车道线之间的实际距离，n为大于或等于1且小于[0074]虚拟理想相机坐标系与世界坐标系之间的变换关系为世界坐标系相对于车载相机的实际相机坐标系的一种示例可以为图3所示的车载相机的实际相机坐标系，车载相机的虚拟理想相机坐标系的一种示例可以为图3或图4所示的车载相机的虚拟理想相机坐标标系与车载相机的虚拟理想相机坐标系之间的变换关系转换为虚拟理想相机坐标系与世界坐标系之间的变换关系，得到车载相机的实际相机坐标系与世界坐标系之间的变换关相机在世界坐标系中的y轴平移量；并从车载相机的所属车辆的传感器中获取车辆的定位车辆的定位信息包括车辆当前的位置信息和/或车辆的加速度和/或车辆的轮[0077]根据车辆的定位信息和车载相机在世界坐标系中的y轴平移量建立车辆的观测模[0079]在另一种可能的实现方式中，缓存车载相机的多个完成航向角补偿后的外部参[0086]直到得到的每种类型的外参的最优值的标准差小于特定阈值时，则标定结果收[0087]本申请提供的技术方案中，根据车载相机获取的第一图像中的M条第一平行线在车载相机的实际相机坐标系中的坐标和第一图像的鸟瞰图中M条第二平行线的平行约束、机坐标系与车载相机的虚拟理想相机坐标系之间的变换关系以及虚拟理想相机坐标系与车载相机的虚拟理想相机坐标系之间的变换关系(即车载相机的外部参数[0088]图10为本申请的实施例的另一种车载相机的外部参数的标定方法的流程示意[0089]S1001，获取第一图像中的M条第一平行线在车载相机的实际相机坐标系中的坐鸟瞰图中M条第二平行线的约束，确定车载相机的实际相机坐标系与车载相机的虚拟理想[0092]S1003，根据车载相机的实际相机坐标系与车载相机的虚拟理想相机坐标系之间[0093]虚拟理想相机坐标系与世界坐标系之间的变换关系为世界坐标系相对于车载相机的实际相机坐标系的一种示例可以为图3所示的车载相机的实际相机坐标系，车载相机的虚拟理想相机坐标系的一种示例可以为图3或图4所示的车载相机的虚拟理想相机坐标标系与车载相机的虚拟理想相机坐标系之间的变换关系转换为虚拟理想相机坐标系与世[0095]S1004，根据车载相机的实际相机坐标系与车载相机的虚拟理想相机坐标系之间包括车辆当前的位置信息和/或车辆的加速[0101]S1007，根据车载相机的第一外部参数中的航向角对车辆当前时刻的航向角进行张第一图像得到车载相机的多个第一外部参数，对车载相机的多个第一外部参数进行缓数量(如10帧)缓存的车载相机的第一外[0115]直到得到的每种类型的外参的最优值的标准差小于特定阈值时，则标定结果收[0118]图11为本申请一个实施例的一种车载相机的外部参数的标定装置的示意性结构[0121]图12为本申请另一个实施例的一种车载相机的外部参数的标定装置的示意性结存储器