CN112313095B 用于确定拖车牵引联接器的中心的设备和方法 （大陆汽车系统公司）

2020.12.24PCT/US2019/0293102019.04.26WO2019/210142EN2019.10.31US2018081370A1,2018.03.22DE102017211395A1,2018US2015321666A1,2015.11.12用于确定拖车牵引联接器的中心的设备和基于所应用的滤波器组来确定每个图像内的感车辆自主操纵朝向真实世界坐标系中的位置移2在数据处理硬件处从定位在所述牵引车辆的背部并且与所述数据处理硬件通信的相从所述数据处理硬件将指令发送给由所述车辆支持并且与所述数据处理硬件通信的在所述数据处理硬件处接收存储在与所述数据处理硬件通信的硬件存储器中的训练在所述牵引车辆自主操纵朝向所标识的目标移动时，从所述数据处理硬件向所述驾驶系统发送更新的指令，所述更新的指令5.根据权利要求1所述的方法，进一步包括：由所述数据处理硬件标识所述目标的中6.根据权利要求1所述的方法，其中所述目标是由拖从定位在牵引车辆的背部并且与所述数据处理硬件通信的相机接收3基于所应用的滤波器组确定每个图像内的感兴趣的区，所述感兴趣的区包括所述目将指令发送给由车辆支持并且与所述数据处理硬件通信的驾驶牵引车辆自主操纵朝向所述真实世界坐标系13.根据权利要求12所述的系统，其中所述操作进一步包括在应用所述一个或多个滤16.根据权利要求15所述的系统，其中所述图像是所述牵引杆-联接器的自顶向下视4的拖车检测系统不能在多个拖车场景中区分特定[0005]本公开的一个方面提供了一种用于确定定位在牵引车辆后面的目标的位置的方于图像。该方法包括由数据处理硬件基于所应用的滤波器组来确定每个图像内感兴趣的5令使得牵引车辆自主操纵朝向真实世界坐标系[0006]本公开的实施方式可以包括以下可选特征中的一个或多[0010]本公开的另一方面提供了一种用于确定定位在牵引车辆后面的目标的位置的系6[0028]图10是用于确定目标并且使得牵引车辆朝向目标驾驶的示例性操作布置的示意7系统110也可以包括其它车轮配置。驾驶系统110还可以包括制动系统114和加速系统116，[0032]牵引车辆100可以通过相对于由牵引车辆100定义的三个相互垂直的轴的移动的8[0035]在一些实施方式中，传感器系统140包括由车辆支撑的一个或多个相机142，142训练器模块172，以用于教导卡尔曼MCCF跟踪器188如何检测联接器212和牵引杆214。参考考图4A，输入图像144包括图像144和联接器-牵引杆组合210内的联接器212中心的像素位中心的像素位置LCCP（图4A）或在牵引杆214处的拖车底部中心的像素位置LTCP是在训练/学心LCCP或拖车牵引杆214处的拖车底部中心LTCP保持在图像144内的相同位置。相机142a相对于路面定位在联接器-牵引杆组合210上方，因此由相机142a捕捉的联接器-拖车200第一距离处捕捉的图像144相关联的经校正图像146b，而图4C是与在距拖车200第9模块172将GSsum设置为零。训练器模块172通过对GSsum求平方根来获得最终的梯度总和HoG_f（HOG频率）。在步骤312处，训练器模块172分别计算自相关能量xxF和互相关能量[0056]在一些实施方式中，可以诸如例如在动态驾驶场景中以有监督方式在距拖车200特定距离处沿着具有零定向角的车辆中心线Y在原始鱼眼图像144上执行训练/训练和学习训练器172使用自顶向下视图来用于与联接器-牵引杆组合210相关联的滤波器学习，而拖储器154中。学习图像144可以包括处于挂接定位的拖车200和牵引车辆，其中卡车牵引球可以应用于校正图像146，以用于在实时操作期间确定拖车200的中心位置LCCP和在牵引杆[0057]在一些示例中，在训练和学习阶段170期间，经校正图像146中的拖车200和联接[0059]在一些示例中，在学习处理170期间学习到的滤波器组322用于估计拖车200的拖因此训练器模块172可以确定物理拖车组件和归一化ROI400之间的比例。在一些示例中，训练器模块172确定并学习拖车200和联接器-牵引杆组合或者牵引车辆100可以从在线系统接收附加的滤波器连接将所捕捉的图像144传输到云计算硬件设备。所述云计算硬件设备执行训练器模块器组322传输回牵引车辆100。牵引车辆100接收滤波器组322并将滤波器组322存储在存储拖车挂接装置210的定位来检查车辆牵引球高度改变。自适应车辆牵引球高度改变检测器界定位估计模块194基于真实世界坐标中的上述模块182-192来确定联接[0067]图5示出了方法500，该方法500由ROI建议确定器182执行，以基于所接收的图像144确定一个或多个ROI建议400p，并且通过在联接器-牵引杆组合210或拖车200周围应用RAG是一种用于分割算法的数据结构，并且提供表示区的顶点和表示邻接区之间的连接的车和联接器检测器184从存储器硬件152接收参数和经训练的MCCF滤波器322（由通过训练606处，拖车和联接器检测器184可以从其它模块接收拖车200或联接器-牵引杆组合210的姿态估计，或者姿态和比例估计器186可以基于MCCF322迭代地估计拖车200或联接器-牵引杆组合210的姿态和比例，以在特定视口姿态和视口中心处发现经训练的滤波器与感兴引车辆100之间的定向角并非与零完美对准，拖车200与牵引车辆100之间的距离也是变化校正视口中心可以以如下方式进行自适应：使得经校正图像中的拖车大小与经学习滤波器的单通道的大小相同。可以通过改变视口中心来避免估计比例。如果卡车和拖车在真实世界中没有完全对准，则校正视口偏航角可以自适应，以便使拖车在前视图中的外观维持与训练补片相同的定向和外观。可以通过利用经训练的滤波器找到峰值相关能量来迭代地确定视口偏航角。在拖车关键点定位期间，为了在经校正图像内维持拖车大小与单通道经学捕捉牵引车辆100和所附接的拖车200。图7D示出了视口700的不同视图中心和视角的顶视图像144包括如先前在图4B和4C中所示的拖车200的别为联接器-牵引杆组合210和拖车200中的每一个生成查找表（LUT其中查找表LUT包括底部中心的像素位置LTCP在框608处确定的动态视口图像的ROI建议400p内的峰值相关能量作为一个相对于另一个的像素位置的函数。ROI建议400p中的峰值相关能量对应于训练图定联接器-牵引杆组合210处的联接器中心LCCP或拖车底部中心的像素位置LTCP的峰值相关建议补片400p与频域中经训练滤波器322之间的像素位置的函数的相关能量图，并且变换接器-牵引杆组合210处的联接器中心LCCP或拖车底部中心的像素位置LROI建议400p内确定的联接器中心LCCP或在牵引杆214处的拖车底部中心的像素位置LTCP映牵引杆214处的拖车底部中心的像素位置LTCP，跟踪鱼眼图像144内的联接器-牵引杆组合心和视口姿态，并且根据原始图像中的预测关键点来预测新的视口中联接器-牵引杆组合视口700作为用以确定下一视口姿态和视口中心[0084]在一些实施方式中，置信度计算模块190确定与联接器-牵引杆组合210处所跟踪模块190可以使用联接器-牵引杆组合210处的联接器中心LCCP或拖车底部中心的位置LTCP来确定拖车200和联接器-牵引杆组合210在顶视图或3D视图中的定向，以检查拖车姿态置信其边缘以查明联接器中心的定位准确度。置信度计算模块190使用几种方法来估计一个度具有不同大小的纹理的关键点，并且置信度计算模块190还分析联接器的高分辨率边缘特球高度改变检测器192确定所附接的联接器-牵引杆组合210的特征的比例（基于一个或多高度改变检测器192裁剪具有不同比例因子的多个图像补片。可以在其中发现较大相关能量的方向上以迭代方式搜索比例因子。这些图像补片被调整到在训练和学习阶段170期间确定具有最大峰值能量的所捕捉图像144内的特征的比例是否不同于与经训练的ROI400c则自适应牵引球高度改变检测器192确定图像144不包括联接器-牵引杆组合210或者联接920处，自适应牵引球高度改变检测器192将更新的滤波器组322存储在存储器硬件154中。[0090]真实世界定位估计模块194确定在世界坐标系中由跟踪器188确定的拖车联接器拖车200的3D物理宽度是已知的，则可以确定拖车200的3D坐标与视口中心之间的关系。该依赖于纹理宽度以及真实世界拖车宽度的拖车3D距离估计方法对于其中存在不平坦表面TCP联接器中心与在牵引杆处的拖车底部中心之间的固定距离是优化联接器中心和联接器高度的3D距离估计的另一个有用的约束。辅助系统196确定牵引车辆100和拖车200之间的路径，引导牵引车辆100与拖车200对准以110自主操纵牵引车辆100以向后方向Rv朝向拖车200移动。在一些示例中，驾驶辅助系统[0092]图10提供了用于使用图1-9中描述的系统来确定定位在牵引车辆100后面的目标1000包括由数据处理硬件152基于所应用的滤波器组322来确定每个图像144内的感兴趣的[0093]在一些实施方式中，方法1000包括：在牵引车辆100自主操纵朝向所标识的目标[0094]在一些实施方式中，方法1000包括在数据处理硬件152处接收存储在与数据处理方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方的机器指令，并且可以以高级面向过程和/或面向对象的编程语言和/或以汇编/机器语言程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软