CN119399714A 一种3d车道线估计方法、装置、计算机可读存储介质、计算机设备及车辆 （广州汽车集团股份有限公司）

骨干网络对获取的车辆前视角的车道线图像进逆透视变换将图像空间下的二维车道线分割图的车道分割监督信号对投影到伪BEV空间下的二实BEV空间下的车道线特征图；使用3D车道线预测头对真实BEV空间下的车道线特征图进行解2通过骨干网络对获取的车辆前视角的车道线图像进行特征编码，生成图根据车载相机内外参数，采用逆透视变换将图像空间下的二维车通过BEV空间下的车道分割监督信号对投影到伪BEV空间下的二维车道线分割图与多2.根据权利要求1所述的3D车道线估计方法，其分割监督信号对投影到伪BEV空间的二维车道线分割图与多层次特征进行校正，得到真实BEV空间下的二维车道线分割图与多层次特征进行处理，学习并提取出包含车道线三维坐在提取的初步特征基础上，采用预设的分割头对车道对真实BEV空间下的车道线特征图进行解码，输出3D车道线的网络模型通过仿真3D数据训算图像和BEV空间下的分割损失以及3D车道损失；当输入只有目标域中带有2D标注的车道多层次特征的网络模型函数，fp为执行所述使用3D车道线预测头对真实BEV空间下的车道源域的3D数据和来自目标域的2D数据将交替地指导函数fθ学习公共域下的特征Fa，当输入下一个源域数据时，Fa将从fθ输出到fnr完成从6.根据权利要求4所述的3D车道线估计方法，其特征在于，所述网络模型的损失函数3其中，Lsrc、Ligt分别表示源域和目标域不同输入下的总损失函数；Lseg、Lbev分给定三维车道预测结果(xi,zi,vi,ci)及它对应的真实标注L3a按下式9.一种计算机可读存储介质，其特征在于，所述权利要求1～8任一项所述的3D车道线估第一网络模型，用于通过骨干网络对获取的车辆前视角的车道线图像进行特征编码，第二网络模型，用于根据车载相机内外参数，采用逆透视第三网络模型，用于通过BEV空间下的车道分割监督信号对投影4一个或多个应用程序，其中所述一个或多个应用程序被存储为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行如权利要求1_8任一5检测方法，首先对图像进行逐像素分类或逐行分类，再通过后处理方法输出2D车道结果；(2)车道曲线预测方法，通过对车道线曲线的多项式参数估计直接输出2D度和速度方面取得了良好的结果，但由于缺少垂直高度信息而不合理地强行设置平面假车道分割结果的限制，特别是在极端或未知的场景下；通过逆透视变换IPM(Inverse6[0010]通过BEV空间下的车道分割监督信号对投影到伪BEV空间下的二维车道线分割图对伪BEV空间下的二维车道线分割图与多层次特征进行处理，学习并提取出包含车道线三[0015]在提取的初步特征基础上，采用预设的分割头对车道线并结合真实BEV空间下的车道线分割标注进行监督，得到真实BEV空间下的车道线特征图，[0017]优选地，执行所述通过骨干网络对获取的车辆前视角的车道线图像进行特征编2D数据训练而成；执行所述使用3D车道线预测头对真实BEV空间下的车道线特征图进行解使用3D车道线预测头对真实BEV空间下的车道线特征图进行解码，输出3D车道线的网络模从图像空间到BEV空间最后到3D车道线的7[0028]L3a=L读存储介质所在的设备执行所述的3D车道[0038]第四网络模型，用于使用3D车道线预测头对真实BEV空间下的车道线特征图进行8用预设的分割头对车道线三维坐标信息进行校正，并结合真实BEV空间下的车道线分割标使用3D车道线预测头对真实BEV空间下的车道线特征图进行解码，输出3D车道线的网络模从图像空间到BEV空间最后到3D车道线的[0053]L3a=L9[0062]实施本发明具有如下有益效果：提供了一种3D车道线估计的高解耦的组件式结进行校正得到真正的BEV空间，从而给模型下游的特征编码提供有效参考；在模型训练阶[0073]通过BEV空间下的车道分割监督信号对投影到伪BEV空间下的二维车道线分割图c会较水平方分割图可以为网络下游提供图像空间中的像素级车道参考，从而获得更好的3D车道表示。捉车道线的细微边缘信息以及与周围环境的纹理和几何对[0090]本发明实施例采用经典的IPM方法将二维车道线分割图与多层次特征从图像空间[0091]需要说明的是，在IPM变换前还需要对车道线分割结果的内部像素值作归一化平[0093]经过IPM后得到的是伪BEV空间下的二维车道线分割图与多层次特征。在此基础更高精度的车道线信息以及空间位置信息，从而让其输出结果尽可能地从伪BEV空间向真[0095]通过类似于Gen_LaneNet中的3D车道线预测头对真实BEV空间下的车道线特征图[0096]以下再介绍本发明实施例的3D车道线估计方法在实施时所基于的网络模型的训的输出作监督，模块可以在伪BEV空间下的二维车道分割图和多层次特征中学习到有关三(图像空间)与俯视图(BEV空间)的二维分割标注，由三个标注与模型输出结果可以计算出θ3D数据和来自目标域的2D数据将交替地指导函数fθ学习到公共域下的特征Fa。当输入下一个源域数据时，Fa将从fθ输出到完成从图像空间到BEV空间最后到3D车道线的跨域表[0111]二是只需要大量的2D真实数据(不依赖3D真实数据)进行训练便可以在真实场景和BEV空间中的分割损失，以及最终的3D车道预测损失。当具有2D注释的目标域图像输入[0120]真实标注L3a可计算如下：他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field_[0136]第四网络模型，用于使用3D车道线预测头对真实BEV空间下的车道线特征图进行用预设的分割头对车道线三维坐标信息进行校正，并结合真实BEV空间下的车道线分割标使用3D车道线预测头对真实BEV空间下的车道线特征图进行解码，输出3D车道线的网络模从图像空间到BEV空间最后到3D车道线的[0147]给定三维车道预测结果[0148]L3a=L