CN115135963B 用于在场景地图中生成3d参考点的方法 （大陆汽车有限责任公司）

2022.07.21PCT/EP2020/0833782020.11.25WO2021/105218EN2021.06.03EP3447448A1,2019.02.27US10390003B1,2019.08.20GNSS和IMU中的至少一者的样本来收集和记录数行处理来生成初始位姿，以提供车辆位姿的轨的至少一个数据集以及在该数据集之后记录的未来特征点和过去特征点与处理点处的特征点一起使用的特征点的融合和优化来生成3D参考技术的SLAM或VIO方法明显更好的结果，因为第SLAM或VIO算法只能访问过去的数据，在这些步2接收包括由至少一个传感器采样的数据的数据集，所述至少一个处理所述数据集以及确定初始车辆位姿轨迹，其中，所述初始车辆位姿基于SLAM算法对所述数据集中的一部分以及所述初始车辆位姿的3D参考点和经优化的车辆位姿中的每一者是基于与所述处理点中的相应的一个处理点相理点之后的所述关键帧以及经改进的车辆位姿中的至少一所述确定包括基于所述数据集中的包括由所述非光学传感器采样的数据的第一子集，基于由所述光学传感器采样的图像数据来生成所述初始车辆位基于将扩展Kalman滤波器应用到由所述非光学传感器采样的数据以及由所述光学传所述方法还包括：从所述图像序列中提取特征，以及基于对光流的评所述确定包括基于对所述光流的所述评估生成所述初始所述方法还包括：基于所述图像数据和接收的除了所述数据集之外的3所述方法还包括基于所述特征点描述符的匹配以及对所述特征点的三角测量来执行生成所述3D参考点包括基于对所述经改进的车辆位姿和来自所述特征点跟踪的结果所述方法还包括基于对所述特征点描述符的匹配以及对所述特征点的三角测量来执生成所述3D参考点包括基于对所述经改进的车辆位姿和来自特征点跟踪提取的结果通过对所述关键帧的一部分以及所述经改进的车辆位姿应用优化处理来生成所述3D执行以下操作：检查对所生成的3D参考点到由所述光学传感器采样的数据的重新投接收包括由至少一个传感器采样的数据的数据集，所述至少一个处理所述数据集以及确定初始车辆位姿轨迹，其中，所述初始车辆位姿基于SLAM算法对所述数据集中的一部分以及所述初始车辆位姿的3D参考点和经优化的车辆位姿中的每一者是基于与所述处理点中的相应的一个处理点相4非暂时性机器可读存储介质，其存储指令；以及耦合到所述通信接接收包括由至少一个传感器采样的数据的数据集，所述至少一个处理所述数据集以及确定初始车辆位姿轨迹，其中，所述初始车辆位姿基于SLAM算法对所述数据集中的一部分以及所述初始车辆位姿的3D参考点和经优化的车辆位姿中的每一者是基于与所述处理点中的相应的一个处理点相的一个处理点之后的所述关键帧以及所述经改进的车辆位姿中的至所述至少一个处理器还被配置为执行进行以下操作的指令：基于所基于由所述光学传感器采样的图像数据来生成所述初始车辆位基于将扩展Kalman滤波器应用到由所述非光学传感器采样的数据以及由所述光学传及所述至少一个处理器还被配置为执行用于以下操5及所述至少一个处理器还被配置为执行进行以下操从所述图像序列中提取特征点，以及通过匹配特征点描述符、特征点的三及所述至少一个处理器还被配置为执行进行以下操基于所述图像数据和接收的除了所述数据集之外的进一步的数据并且基于所述初始生成所述3D参考点包括基于对所述经改进的车辆位姿和来自所述特征点跟踪的结果及基于对所述经改进的车辆位姿、来自特征点跟踪提取的结果以及所述通过对所述关键帧的一部分以及所述经改进的车辆位姿应用优化处理来生成所述3D执行以下操作：检查对所生成的3D参考点到由所述光学传感器采样的数据的重新投67[0001]本公开的实施例涉及用于为场景的3D地图(例如可以由自主驾驶车辆使用的数据[0002]改进的驾驶员系统和自主驾驶汽车需要高精度的道路和车辆可以在其上行驶的要精确地确定车辆在所述车道中的一条车道种方法是传感器融合，其使用来自多个传感器8场景地图的一部分或在场景地图中的点地标/地图点[0011]权利要求1中详细说明了一个用于生成作为场景地图的一部分或在场景地图中的的GNSS(全球导航卫星系统)的位置数据以及来自IMU(惯性测量单元)的数据。收集和记录的进一步的传感器数据可以包括车轮刻度和/或转向角和/或指示车辆运动特性的任何其[0013]第二步骤包括：通过对收集的传感器数据进行处理来生成初始车辆位姿的轨迹。[0016]该第三步骤提供了比来自现有技术的已知SLAM或VIO(视觉里程计)方法(它们以实时方式处理最新数据)明显更好的结果，因为它基于第二步骤的记录和滤波的初始位姿[0017]第四步骤包括生成3D参考点。这种3D参考点有时被简称为3D点或地图点或点地一步使用至少一个关键帧及其在处理点之前的相关改进位姿和至少一个关键帧及其在处9[0018]可以通过特征点的融合和优化以及通过可选地使用改进的位姿来生成3D参考在步骤1中对各种传感器系统采样的数据在步骤2中生成平滑的轨迹和初始/初步但已经准系统/程序或视觉里程计系统/程序使用，以提供包括特征点和经改进的车辆位姿的关键过使用在步骤1中记录的至少一个光学传感器的图像序列的图像数据来生成光学传感器的[0023]根据另一实施例，可以在第二步骤中通过基于扩展Kalman滤波器(EKF)的框架使单元的数据的融合)已经不再高度取决于这些传感器中的特定一个传感器，从而导致系统[0027]在场景地图中生成3D参考点并将其用于车辆导航的方法可以应用在例如自主车[0031]图1示出了说明用于在场景地图中生成点地标/地图点/3D参考点的方法的方法步[0038]在第二步骤S2中，处理来自第一步骤的所收集的数据以提供初始车辆位姿的轨这种预先生成的初始车辆位姿的轨迹允许在下一步骤中对SLAM算法进行正确的初始化和(globalbundleadjustmentalgorithm))来优化生成的3D参考点和生成的改进车辆位姿[0046]与传统的以在线/实时方式使用数据的SLAM系统相比，根据用于在场景地图中生[0048]在一个实施例中，在步骤S2中通过使用惯性测量单元(IMU)和卫星导航系统滤波器(EKF)对惯性测量单元和卫星导航系统的数据以及光学传感器的图像序列的图像数进行评估来执行特征跟踪。可以在步骤S2中基于光流跟踪结果更新光学传感器的初始位(localbundleadjustmentalgorithm)来对生成的3D参考点和生成的光学传感器的改进基于经优化的生成的3D参考点来生成或补充场景地图的步骤以及所有其它处理步骤可以成点地标/地图点/3D参考点的方法可以实现为体现在计算机可读介质上的计算机程序产品。该计算机程序产品包括用于使计算机执行用于在场景地图中生成地标/3D参考点的方[