CN111937036B 用于处理传感器数据的方法、设备和具有指令的计算机可读存储介质 （大众汽车股份公司）

2020.10.16PCT/EP2019/0577012019.03.27WO2019/201565DE2019.10.24US2015336547A1,2015.11.26这些摄像机图像中的至少一个摄像机图像进行2其中将图像数据与所述3D测量点融合成虚-根据分别在所述3D测量点(MP)的测量时间点之前和之后的至少一个第一摄像机图像-基于所述光流(FL)根据如下公式来确定(32)在所述摄像机图像(I1、I2)中的至少一个摄像机图像中的应在测量的时间点被分配给所述3D测量点图像中的应在测量的时间点被分配给所述3D测量点-基于所述光流(FL)来对与所述3D传感器(62、64)的测量时间点在时间上接近的摄像图像中的应在测量的时间点被分配给所述3D测量点4.根据权利要求1至3中任一项所述的方法，其中针对6.根据权利要求1-3中任一项所述的方法，其中使所述3D测量点扩展来自所述摄像机8.根据权利要求7所述的方法，其中所述分割除了图像信息之外也考虑所述3D传感器9.根据权利要求1-3中任一项所述的方法，其中将对象跟踪算法应用于所述虚拟传感计算机实施时促使所述计算机实施根据权利要求1至10中任一项所述的用于处理传感器数3其中将图像数据与所述3D测量点融合成虚-根据分别在所述3D测量点(MP)的测量时间点之前和之后的至少一个第一摄像机图像-基于所述光流(FL)根据如下公式来确定(32)在所述摄像机图像(I1、I2)中的至少一个摄像机图像中的应在测量的时间点被分配给所述3D测量点13.一种机动车(60)，其特征在于，所述机动车(60)具有根据权利要求12所述的设备4[0002]如今，现代机动车已经具有大量用于各种各样的第2级(Level-2)辅助系统(半自[0003]例如，DE102011013776A1描述了一种用于检测或跟踪车辆周围环境中中所确定的距离小于借助于该测距传感器所[0005]对于第3级以及更高级的系统(高度自动化和自主系统)来说，所建造的传感器的测算法来估计该对象的所预期的位置和所预期的外观，以便生成针对该对象所预测的轨5算机来实施时促使该计算机实施如下步骤来对6于该光流来确定在这些摄像机图像中的至少一个摄像机图像中的应在测量的时间点被分[0030]-基于光流来对与3D传感器的测量时间点在时间上接近的摄像机图像进行换算；[0033]-基于光流和搜索方法，确定在该摄像机图像中的应在测量的时间点被分配给这所得到的速度矢量通常比仅根据该图像来估计直至碰撞的时间的情7[0052]为了更好地理解本发明的原理，随后依据附图更详细地阐述了本发明的实施方[0053]图1示意性地示出了传统的对象跟踪的流程。用于对象跟踪的输入参量是传感器8[0055]图3示意性地示出了将摄像机图像与3D测量点融合成虚拟传感器的数据。在第一[0056]图4示出了用于处理传感器数据的设备40的第一实施方式的简化示意图。设备40些3D测量点MP投影到经换算的摄像机图9CPU上运行的软件。输入端41和输出端47可以实现为分开的接口或者可以实现为组合式双[0059]图5示出了用于处理传感器数据的设备50的第二实施方式的简化示意图。设备50拟传感器的数据。机动车60的其它组件是用于周围环境检测的超声传感器63和激光雷达[0064]替代在共同的模型中随时间对具有系统性误差的不同传感器的测量数据进行融通过数据融合单元43来进行传感器融合的输入参量是3D传感器(雷达62)的3D测量点以及光流、在分割的框架内对图像点进行分类或者借助于SfM算法(SfM：Structurefrom[0071]在考虑用TTC来表示的直至碰撞的时间(Timetocollision)的情况下(对该直至[0073]利用该算式(Ansatz)，可以将整个图像换算到3D传感器的测量时间点t上。紧接索算法现在只须考虑其中必须包含被搜索的像素的边经网络)的图像处理领域的最新进展，利用相对应的计算能力能够对图像进行像素精确的加地使这些3D测量点扩展由该分割所得到[0080]来自虚拟传感器的经扩展的3D测量点或者聚类或这些聚类紧接着被转交给积累[0082]从图像空间内的光流o可以确定直至碰撞的时间。该直至碰撞的时间描述了点何[0088]如果3D测量点应该来自雷达传感器，则可以附加地使用径向相对速度(多普勒速[0089]图8示意性地示出了具有分类器的虚拟传感器的概念。该概念在很大程度上对应[0103]该点由摄像机在时间点t0检测并且由3D传感器在时间点t1检www[0121]可以使用根据等式(7)的关于3D传感器的变换，以便在摄像机的坐标系CC中确定[0123]还可以借助于等式(6)来确定世界点的如下像素坐标，该世界点在时间点t1所拍[0130]即使不知道3D传感器与摄像机的测量之间的正确对应关系，也可以利用这种情