CN112567264B 用于获取坐标变换信息的装置和方法 （Sk电信有限公司）

2021.02.10PCT/KR2019/0065572019.05.31WO2020/036295KO2020.02.20US2014347484A1,2014.11.27装在车辆上的激光雷达获取包括与邻近于车辆过安装在车辆上的摄像装置获取包括与车道对以及通过使用基于周围图像获取的俯视图图像2通过安装在车辆上的激光雷达获取包括与邻近于所述车辆的车道对应的第一车道信通过将响应于拟合所述平面的误差等于或小于所述预定参考误差而从所述周围图像通过使用基于所述周围图像获取的俯视图图像变换信息和所述车辆的通过使用基于周围图像获取的扩展焦点来获取所述车辆的通过使用从所述第一车道信息获取的所述车道的宽度和所述车道的方向来获取所述基于所述俯视图图像变换信息的逆信息和所述车辆的行驶方向来获取所述第二坐标获取在不同时间处获取的多个周围图像中的相应通过使用所确定的扩展焦点和所述摄像装置的固有参数来获取所述车辆的基于所述车辆的转向角和横摆率中的至少一个来确定所述车辆是否正在直线向前行基于多个特征点之中的各个不同特征点组的所获取的运动矢量的交点来获得多个候将所述多个候选扩展焦点之中的以下候选扩展焦点确定为所述周围图像中的扩展焦其中，所述俯视图图像变换信息包括用于将所述周围图像变换其中，所述变换矩阵使所述俯视图图像中的车道的宽度与的宽度之间的差异以及所述俯视图图像中的车道的方向与所述周围图像中的对应车道的38.根据权利要求2所述的方法，还包括基于所述第一坐标系变换信息和所述第二坐标车道信息获取单元，其被配置成从通过安装在车辆上的激光雷达所述车辆的车道对应的第一车道信息的三维信息中提取所述水平地面识别单元，其被配置成基于所提取的第一车道信息来识别所述车第一坐标系变换信息获取单元，其被配置成将关于所述第二车道信息是响应于拟合所述平面的误差等于或小于预定参考误差而从通过安装在所述车辆上的摄像装置获取的所述车辆的周围图其中，响应于拟合所述平面的误差等于或小于所述预定参考误差，10.一种用于存储指令的计算机可读记录介质，所述指令在由处理器执行时使所述处通过安装在车辆上的激光雷达获取包括与邻近于所述车辆的车道对应的第一车道信通过将响应于拟合所述平面的误差等于或小于所述预定参考误差而从所述周围图像4申请要求基于2018年8月17日提交的韩国专利申请(No.10-2018-0096210)的优先权，该韩可以通过获取与它们的安装位置和姿态角对应的图像或点云而术人员根据以下描述清楚理解的其他问题也将包括在本公开内容要解决的问取的俯视图图像变换信息和车辆的行驶方向来获取关于车辆和摄像装置的第二坐标系变5在不需要设备或人工操作的情况下获取用于行驶车辆的激光雷达和摄像装置的坐标系变[0013]图4是根据一个实施方式的坐标系变换信息获取方法中的如何识别车辆是否正在[0014]图5是用于说明根据一个实施方式的从通过车辆的激光雷达获取的三维信息提取[0015]图6是根据一个实施方式的坐标系变换信息获取方法中的用于获取第一坐标系变[0016]图7是用于说明根据一个实施方式的从通过车辆的摄像装置获取的周围图像提取[0017]图8是根据一个实施方式的坐标系变换信息获取方法中的用于获取第二坐标系变[0018]图9是用于说明根据一个实施方式的从通过车辆的摄像装置获取的周围图像提取[0019]图10是根据一个实施方式的通过的车辆的摄像装置获取的周围图像的俯视图图[0020]根据下面结合附图对实施方式作出的描述将清楚地理解本公开内容的实施方式[0021]在下面的描述中，如果公知的功能和/或配置将不必要地使本公开内容的特征模[0022]图1和图2示出了根据各个实施方式的坐标系变换信息获取系统的功能框图。图3[0023]参照图1，根据一个实施方式的坐标系变换信息获取系统1可以包括车辆V和坐标[0024]车辆V可以指在沿着道路或轨道行驶时允许人、物体或动物从一个地方移动到另6取的点云中过滤有意义的数据并且然后在每个点云中标记界标来系统可以指提供诸如车辆V的状态、驾驶员的状态和周围环境信息之类的驾驶环境信息或于该方向上的对象反射的回声脉冲来检测驾驶环境，所述超声传感器围绕车辆V发射超声处理过程获取诸如车道或道路标志以及车辆V周围的对象之类的信面向车辆V的后方的摄像装置C捕获的后方图像，以及由被配置成面向车辆V的侧方的摄像7沿车辆V的行驶方向的Xv轴、沿垂直于地球表面的方向的Zv轴、以及垂直于Xv轴和Zv轴的Yv标系是指从通过摄像装置C获取的图像变换而来的俯视图图像的坐标系，其中，Or用作原r轴和Yr轴存在于地球表面上，并且Zr轴被限定为沿车辆坐标系中的Zv轴的相反方向。辆V停在预定位置处，并且然后可以获取从该位置预先感知的校准点的图像和点云。接下间和金钱来实现高精确度。此外，如果摄像装置和/或激光雷达被替换或它们的位置被改[0040]为了解决这个问题，根据一个实施方式的坐标系变换信息获取装置100可以在行驶车辆上实时地执行校准。返回参照图1，根据一个实施方式的坐标系变换信息获取装置100可以通过使用从行驶车辆V接收的信息来获取车辆V、摄像装置C与激光雷达L之间的坐通过依据各种公知的通信方法与车辆V通信来交换信息。根据一个实施方式的坐标系变换[0042]坐标系变换信息获取装置100可以基于通过安装在车辆V上的摄像装置C获取的周[0043]车道信息获取单元140可以通过安装在车辆V处的激光雷达L获取与邻近于车辆V车道信息获取单元140可以提取车辆V的周围环境的三维信息上的关于车道的第一车道信[0044]以上实施方式已经以车道信息获取单元140直接从本车辆V接收通过激光雷达L获8了第一车道信息并且然后将提取到的第一车道信息发送至水平地面识别单元110，则水平[0045]另外，车道信息获取单元140可以通过车辆V的摄像装置C获取包含与车道对应的元110可以基于通过车辆V的激光雷达L获取的车辆V的周围环境的第一车道信息来识别车坐标系变换信息之前通过水平地面识别单元110识别车辆V是否正在水平地[0049]第一坐标系变换信息获取单元120可以将车辆V的周围图像中的第二车道信息与当车辆V正在水平地面上行驶时执行用于第一坐标系变换信根据一个实施方式的第一坐标系变换信息获取单元120可以提取关于在由车道信息获取单元120可以通过将提取到的第二车道信息与先前提取的第一车道信息进行匹配来获取第一[0051]以上实施方式已经以第一坐标系变换信息获取单元120仅被提供有由车道信息获变换信息获取单元120提供第二车道信息以及周围图像，并且第一坐标系变换信息获取单元120可以通过使用第二车道信息来判定车辆V是否正在水平[0052]第二坐标系变换信息获取单元130可以通过使用周围图像的俯视图图像变换信息9换信息获取单元120类似，第二坐标系变换信息获取单元130可以仅当车辆V正在水平地面[0053]具体地，根据一个实施方式的第二坐标系变换信息获取单元130可以从通过安装在车辆V上的摄像装置C获取并且从车道信息获取单元140提供的周围图像来获取扩展焦点[0054]以上实施方式已经以第二坐标系变换信息获取单元130通过车道信息获取单元式的第二坐标系变换信息获取单元130可以通过车道信息获取单元140从车辆V接收扩展焦140，则车道信息获取单元140向第二坐标系变换信息获取单元130提供接收到的周围图像和扩展焦点的位置，并且第二坐标系变换信息获取单元130在接收到周围图像和扩展焦点[0055]同时，尽管图1示出了坐标系变换信息获取装置100与车辆V分开配置并且构成坐标系变换信息获取系统1，但坐标系变换信息获取装置100也可以被包括作为车辆V的一个[0057]根据图1和图2的实施方式的坐标系变换信息获取装置100的部件中的每一个可以被实现为包括微处理器——例如，中央处理单元(CPU)和图形处理单元(GPU)中的至少一将描述由坐标系变换信息获取系统1执行的坐标系变换[0060]坐标系变换信息获取系统1可以基于通过车辆V的激光雷达L获取的车辆V的周围[0061]图4是根据一个实施方式的坐标系变换信息获取方法中的如何识别车辆是否正在水平地面上行驶的方法的流程图。图5是用于说明根据一个实施方式的从通过车辆的激光雷达获取的三维信息中提取第一车道信息的方[0064]由于车辆V周围的道路上的车道区域的激光反射比高于其周围区域，所以在通过激光雷达L获取的三维信息中，与车道区域对应的点的亮度值可以高于周围区域中的亮度[0065]图5是通过在与中央的矩形区域对应的车辆V中配置的激光雷达L获取的三维信息[0066]为了提取第一车道信息，根据一个实施方式的水平地面识别单元110可以使用公[0067]尽管以上实施方式假定通过坐标系变换信息获取装置100的水平地面识别单元装置100，并且然后坐标系变换信息获取装置100的车道信息获取单元140可以从接收到的地面识别单元110可以通过使用构成第一车道信息的至少四个点(假设它们具有坐标(x,y,[0073]如果拟合平面中的误差超过参考误差，则坐标系变换信息获取装置100的水平地参考误差，则坐标系变换信息获取装置100的水平地面识别单元110可以确定车辆V正在水[0075]图6是根据一个实施方式的坐标系变换信息获取方法中的用于获取第一坐标系变换信息的方法的流程图。图7是用于说明根据一个实施方式的从通过车辆的摄像装置获取[0076]首先，根据一个实施方式的坐标系变换信息获取装置100的第一坐标系变换信息获取单元120可以识别车辆V是否正在水平地面上行驶(S200)。如果车辆V没有在水平地面[0078]图7是通过正在水平地面上行驶的车辆V的摄像装置C获取的周围图像的示例图。[0079]为了提取第二车道信息，根据一个实施方式的第一坐标系变换信息获取单元120可以使用公知的模式识别技术中的一种或者可以使用诸如深度[0080]尽管以上实施方式假定步骤S210由坐标系变换信息获取装置100的第一坐标系变[0081]一旦提取了第二车道信息，第一坐标系变换信息获取单元120可以通过将提取的息获取单元120可以将相应车道的第一车道信息和第二[0082]具体地，第一坐标系变换信息获取单元120可以根据数学式2获取摄像装置C与激上的点的坐标变换为摄像装置C的坐标系中的坐标值，然后查找周围图像中与第二车道信息对应的像素，并且然后通过使用数学式2获得表示激光雷达L相对于摄像装置C的坐标系的至少之一，例如，高斯牛顿算法(GaussNewtonalgorithm)或莱文伯格-马夸特算法[0088]在通过上述方法获取第一坐标系变换信息之后，坐标系变换信息获取装置100可[0089]图8是根据一个实施方式的坐标系变换信息获取方法中的用于获取第二坐标系变换信息的方法的流程图。图9是用于说明根据一个实施方式的从通过车辆的摄像装置获取[0090]参照图8，坐标系变换信息获取装置100的第二坐标系变换信息获取单元130可以130可以基于车辆V的转向角和横摆率中的至少一个来判定车辆V是否直线向前行驶。如果信息获取单元130可以通过基于卢卡斯-卡纳德(Lukas-Kanade)方法使用光流来提取周围[0092]接下来，第二坐标系变换信息获取单元130可以获取多个周围图像中相同特征点假设与车辆的行驶方向垂直的方向被称为参考侧方向，在摄像装置C被安装成相对于参考二坐标系变换信息获取单元130可以找到周围图像中的特征点的通过第一步中获取的候选[0097]在基于周围图像确定了扩展焦点之后，第二坐标系变换信息获取单元130可以基据以下数学式3获取车辆V相对于摄像装置C变换信息可以指示表示摄像装置C相对于地球表面的坐标系的姿态角的变换矩阵，变换矩K-1Xmoriginal[0105]第二坐标系变换信息获取单元130可以基于变换矩阵R(r,c)的[0110]在求解了针对车道的线性方程之后，第二坐标系变换信息获取单元130可以通过激光雷达L获取的三维信息中的第一车道信息包括关于车道的实际宽度信息，并且第二坐[0114]第二坐标系变换信息获取单元130可以通过将由数学式6获取的变换矩阵R(r,c)代二坐标系变换信息获取单元130可以获得当俯视图图像中的多条车道彼此平行并且多条车道之间的宽度与实际车道间距离非常相似时获取的变换矩阵R*(r,c)作为数学式以基于俯视图图像变换信息的逆信息和车辆V的行驶方向最终获取第二坐标