CN113916224B 通过多传感器融合来确定车辆位置的方法 （黑芝麻智能科技有限公司）

道1278号深国投中心/栋/单元27层US2018188032A1,2018.07.05承载的相机来接收相机图像序列和基于所述相基于由车辆承载的惯性测量单元来确定惯性移动信号，以及从车辆的车轮接收车轮编码器信号。该方法还包括基于在时间上同步的相机姿码器信号中的至少两者来确定车辆位置和车辆2从由车辆承载的相机来接收相机图像序列；所述相机图像序列基于所述相机的视觉测程来确定相机姿态，以确定其中基于由所述车辆承载的全球定位系统接收机来确定所基于由所述车辆承载的惯性测量单元来确定所述惯基于在时间上同步的一种类型的传感器数据与至少一种不同类型的传感器数据的融合来确定车辆位置和车辆速度中的至少一者，所述传感器数据的类型选自由所述相机姿其中利用基于所述相机的视觉测程和基于车轮编码器的车轮测程来补充惯性测量单其中利用在视觉测程跟踪环路中基于所述车轮编码一种不同类型的传感器数据的融合来初始化所述车辆位置和所述车辆速度中的至少一者，述惯性测量单元接收机能够接收所述车轮测程的输出以允许自3够利用先前的车轮编码器的姿态来初始化视觉测程系统，当全球定位系统/惯性测量单元从由车辆承载的相机来接收相机图像序列；所述相机图像序列基于所述相机的视觉测程来确定相机姿态，以确定其中基于由所述车辆承载的全球定位系统接收机来确定所基于由所述车辆承载的惯性测量单元来确定所述惯基于一种类型的传感器数据与至少一种不同类型的传感器数据的融合来确定车辆位其中利用基于所述相机的视觉测程和基于车轮编码器的车轮测程来补充惯性测量单其中利用在视觉测程跟踪环路中基于所述车轮编码所述惯性测量单元接收机能够接收所述车轮测程的输出以允许自动424.根据权利要求14所述的方法，其特征在于，够利用先前的车轮编码器的姿态来初始化视觉测程系统，当全球定位系统/惯性测量单元5[0001]本公开涉及自动车辆定位，更具体地涉及通过多传感器融合来提高车辆定位精[0008]图3是根据本公开的一个实施例的全球导航卫星系统/惯性测量单元接收机输出[0014]图9是根据本公开的一个实施例的用于相机和车轮编码器的束调整(bundle[0015]图10是根据本公开的一个实施例的用于相机和全球定位系统/惯性测量单元接收6[0016]图11是根据本公开的一个实施例的具有全球定位系统/惯性测量单元接收机、相机和车轮编码器的系统中的视觉测程初始化的示[0017]图12是根据本公开的一个实施例的用于全球定位系统/惯性测量单元接收机、相[0023]图1描绘了示例混合计算系统100，该混合计算系统100可用于实现与附图13至14统相关联的处理器包括现场可编程门阵列(FieldProgrammableGateArray，FPGA)122、图形处理器单元(GraphicalProcessorUnit，GPU)120和中央处理器(Central[0025]系统还可包含其他类型的处理器，诸如加速处理单元(AcceleratedProcessing置时间(leadtime)大约为一年的若干个季度，而不是处理器单元120、中央处理器118和现场可编程门阵列122连接到存储器接口控制器112。置是因为FPGA在非常大的带宽下运行并且为了使FPGA用以执行存储任务所利用的电路最7[0027]图1的系统可用于对FPGA进行编程和训练。GPU与非结构[0029]图2描绘了第二示例混合计算系统200，该混合计算系统200可用于实现与过程理器包括现场可编程门阵列(FPGA)210和中央处理器(CPU)DMA允许数据被写入适当的缓冲器以及从适当的缓冲器读还连接到SDRAM控制器224，该SDRAM控制器224允许将数据从CPU220传送到FPGA并且允许[0032]所提出的车辆定位解决方案利用诸如全球定位系统(GPS)、惯性测量单元(IMU)、基于相机的视觉测程(VisualOdometry，VO)和基于车轮编码器的车轮测程(Wheel[0033]图3描绘了全球定位系统(GPS)和/或全球导航卫星系统(GlobalNavigation的一个主要缺点是它们受到累积误差的影响并且对于在得的图像来确定相机的位置和方位。来自相机410的视觉测程输出允许确定待确定的以旋[0035]图5描绘了基于车轮编码器的车轮测程(WO)的示例500。车轮编码器510允许车轮[0036]基于融合的车辆定位解决方案可以由诸如全球定位系统(GPS)、惯性测量单元8出的解决方案对传感器进行结合以克服用于自动驾驶车辆中的每个单独类型的传感器的[0037]在全球定位系统(GPS)信号被阻挡或变得非常弱的情况下，集成有惯性测量单元方案是利用基于相机的视觉测程和基于车轮编码器的车轮测程来补充惯性测量单元接收机并减少IMU累积误差。在其中多个传感器(例如在非常暗的停车库中的GPS和基于相机的测程)可能不起作用的情况下，惯性测量单元接收机可以接收车轮测程输出以允许自动导[0039]图6描绘了用于自动车辆定位600的传感器融合的示例系统。该系统包括传感器[0040]集成有全球定位系统和惯性测量单元的接收机可以提供用于基于相机的视觉测程初始化的初始参考定位结果。可以通过GPS/IMU距离测量来校准基于相机的视觉测程标并且地心地固(Earth-CenteredEarth-Fixed，ECEF)坐标被转换714成一组东北天(East[0042]集成有全球定位系统和惯性测量单元的接收机可以提供用于基于车轮编码器的车轮测程初始化的初始参考定位结果。可以通过GPS/IMU距离测量来校准基于车轮编码器[0043]图8描绘了车轮编码器初始化800的示例。位置数据和速度数据由GPS/IMU810输输出用作车轮测程816的基础的数据。基于经转换的GPS/IMU坐标和车轮测程816的输入发转换成一组东北天坐标和/或一组北东地坐标码器的车轮测程可允许通过确定车轮编码器外部参数来校准视觉测程标度以将标度漂移9[0045]图9描绘了用于相机和车轮编码器的束调整(bundleadjustment)910的示例方法步916允许确定姿态优化920。车轮编码器外部参数918基于车轮编码器和相机校准过程将[0046]集成有全球定位系统和惯性测量单元的接收机可以为基于相机的视觉测程提供[0047]图10描绘了用于相机图像1014以及全球定位系统和惯性测量单元接收机数据[0048]可以在初始化期间由视觉测程系统以同时或接近同时的方式对经时间同步的传感器数据集进行处理。相机图像可以在GPS/IMU初始化或基于车轮编码器的车轮测程之前[0050]可以在导航期间由视觉测程系统以同时或接近同时的方式对经时间同步的传感测程来确定初始的相机姿态1218。来自GPS/IMU接收机1214的数据和基于车轮编码器数据输出以及全球定位系统和惯性测量单元接收机输出可以通过用于传感器融合的卡尔曼滤波器一起处理。来自扩展的卡尔曼滤波器的数据用于确定以GPS全球坐标表示的车辆位置[0052]可以通过同时或近似同时定位以及映射来确定两个相邻相机图像序列之间的相机姿态。两个相邻的相机图像序列之间的车轮编码器测量可以用于帮助校准视觉测程标[0053]在没有接收到GPS数据的情况下，基于车轮编码器的车轮测程可以用于初始化以[0054]如果全球定位系统/惯性测量单元接收机和相机具有数据中断，则基于车轮编码定位系统接收机来确定1314全球定位系统位置，基于由车辆承载的惯性测量单元来确定中的至少一者和/或车辆位置和车辆速度中的至少一者的扩展的卡尔曼滤波来校正相机姿或将一组全球定位系统地心地固坐标转换成一组东北天坐标，和/或将一组全球定位系统器信号的融合来初始化车辆位置和车辆速度中的中的至少一者和/或车辆位置和车辆速度中的至少一者的扩展的卡尔曼滤波来校正相机姿或将一组全球定位系统地心地固坐标转换成一组东北天坐标，和/或将一组全球定位系统[0061]提供先前的描述以使得本领域的任意技术人员能够实践本文所描述的各个方先前的描述提供了本主题技术的各种示例，并且本主题技术不限于这些示例。对这些方面的各种修改对于本领域技术人员而言将是明显的，并且本文中定义的一般原理可应用于其例如，被配置以监测和控制操作或部件的处理器也可意味着处理器被编程以监测和控制操作或处理器可被操作以监测和控制操作。同样地，被配置以执行代码的处理器可被解释为被编程以执行代码或可被操作以执行代码的处理器。方面或设计不必然被解释为比其他方面或设计更优选或