CN113039579B 一种生成高分辨率高精度点云的系统、设备和方法 （华为技术有限公司）

2021.05.15PCT/CN2019/119356201WO2020/103814EN2020.05.28WO2017122529A1,2017.07.20系统的相机点云以及来自激光雷达(Light所述校正函数，基于所述相机点云生成修正点述计算机视觉系统基于所述相机系统提供的相2（a）接收来自具有第二分辨率的第二LiDAR系统的第二LiDAR点云，其中，所述第二LiDAR系统的第二分辨率高于所述第一LiDA（f9）使用所述修正点云通过损失函数确定所述点云应用算法的输出的误差的第二损3.根据权利要求1或2所述的计算机视觉在所述以所述第一LiDAR点云为参考，确定所述相机点云的误差并基于所确定的误差3在所述以所述第一LiDAR点云为参考，确定所述修正点云的训练误差并基于所确定的5.根据权利要求1所述的计算机视觉系统，其特或多个64光束LiDAR单元，所述第一LiDAR系统包括一个或多个8光束、16光束或32光束6.根据权利要求1至5任一项所述的计算机视觉系统7.根据权利要求1至5任一项所述的计算8.根据权利要求1至5任一项所述的计算机视觉系（a）接收来自具有第二分辨率的第二LiDAR系统的第二LiDAR点云，其中，所述第二4LiDAR系统的第二分辨率高于所述第一LiDA（f9）使用所述修正点云通过损失函数确定所述点云应用算法的输出的误差的第二损所述以所述第一LiDAR点云为参考，确定所述相机点云的误差并基于所确定的误差确所述以所述第一LiDAR点云为参考，确定所述修正点云的训练误差并基于所确定的训16.根据权利要求9至12中任一项所述的方法，其特征在于，在情况B时重复执行操作直到所述损失小于损失阈值。53D)表示的机器学习算法，包括对象检测算法、动态对象移除算法、同步定位与地图构建成的点云分辨率低或基于表示立体相机捕获的图像的图像数据生成的点云精度低会对任意使用这些点云生成对环境的理解的机器学习算法带来率/高精度LiDAR收集的传感器数据生成的点云以及基于高分辨率立体相机收集的传感器6[0006]另一种生成高分辨率/高精度点云的技术是将低分辨率LiDAR(光束少)生成的低[0008]本发明提供一种基于传感器数据生成高分辨率高精度点云的系统、设备和方的目的在于提供一种有效和/或高效的方案，用于采用较便宜的传感器组合生成高分辨率其是需要高分辨率和/或高精度点云进行有效运行的点云应用算法。可以使用高分辨率高时，使所述计算机视觉系统执行若干操作：从所述相机系统接收相机点云；从所述第一[0011]在前述方面及实施例的一些实现方式中，当所述用于以所述第一LiDAR点云为参练误差并基于所确定的训练误差更新所述校正函数的可执行指令被所述处理器系统执行7述计算机视觉系统：(a)接收来自所述第二LiDAR系统的第二LiDAR点云；(b)以所述第二[0014]在前述方面及实施例的一些实现方式中，所述第二LiDAR系统包括一个或多个64从所述相机系统接收相机点云；从所述第一LiDAR系统接收第一LiDAR点云；以所述第一并使用所述第一LiDAR点云计算所述点云应用算法的输出；使用所述修正点云通过损失函[0019]在前述方面及实施例的一些实现方式中，当所述用于以所述第一LiDAR点云为参[0020]在前述方面及实施例的一些实现方式中，当所述用于以所述第一LiDAR点云为参述计算机视觉系统：(a)接收来自所述第二LiDAR系统的第二LiDAR点云；(b)以所述第二8所述点云应用算法的输出的误差的第二损失；(g)基于所确定的第二损失更新所述校正函[0023]在前述方面及实施例的一些实现方式中，所述第二LiDAR系统包括一个或多个64[0027]在前述方面及实施例的一些实现方式中，所述点云应用算法包括对象检测算法、[0030]根据本发明第二方面，提供了一种对预处理模块进行训练以生成修正点云的方9[0038]图3A和图3B为根据本发明示例性实施例的一种用于对预处理模块进行训练以生[0039]图4A和图4B为根据本发明示例性实施例的一种用于对预处理模块进行训练以生[0040]图5A和图5B为根据本发明其它示例性实施例的一种用于对预处理模块进行训练[0041]图6A和图6B为根据本发明其它示例性实施例的一种用于对预处理模块进行训练[0042]图7为根据本发明一示例性实施例的一种生成高分辨率高精度点云的方法的流程通信系统100包括内置于车辆105中的车辆控制系统115形式的用户设备。详情如图2所示，所述车辆控制系统115耦合至所述车辆105的驱动控制系统150和机械系统190，如下文所[0049]所述车辆105包括多个基于电磁(electromagnetic，EM)波的传感器110以及多个述车辆传感器111收集与所述车辆105的运行条件相关的数据。所述基于EM波的传感器110每种基于EM波的传感器110，对各单元进行安装或放置使其具有不同的视场(fieldof每种基于EM波的传感器110，部分或所有相邻的基于EM波的传感器110的FOV或覆盖范围部[0050]车辆传感器111可包括：使用加速器和陀螺仪的组合对所述车辆的比力和角速度述车辆控制系统115可以使用从卫星接收器132及所述IMU118接收的信号收集与所述车辆通信网络220接入驾驶辅助服务器等服务器240。所述服务器240可实现为数据中心中的一统115使用的补充数据资源等网络资源2收器132从所述卫星网络260中的多个卫星接收的信号确定其位置。所述卫星网络260通常260可以是GNSS卫星的集合。示例性GNSS包括美国NAVSTAR全球定位系统(GlobalPositioningSystem，GPS)或俄罗斯全球导航卫星系统(GLObalNAvigationSatelliteMemory，ROM)124、闪速可擦除可编程只读存储器(erasableprogrammablereadonly多个中央处理器(centralprocessingunit，CPU)、一个或多个图形处理器(graphical[0054]所述一个或多个无线收发器130可包括一个或多个通过不同无线数据通信协议和[0055]所述一个或多个无线收发器130还可包括通过WLAN接入点(accesspoint，AP)与可包括符合IEEE802.11x标准(有时称为wi-Fi8)或其它通信协议的Wi-Fi无线网络。[0056]所述一个或多个无线收发器130还可包括与智能手机或平板电脑等移动计算设备它短距离无线收发器，包括但不限于近场通信(Nearfieldcommunication，NFC)、[0057]所述实时时钟134可包括提供准确实时时间数据的晶振器。可以根据通过所述卫星接收器132接收的时间数据或根据从执行网络时间协议的网络资源250接收的时间数据，管(light-emittingdiode，LED)显示器或有源矩阵有机发光二极管(active-matrix[0059]所述车辆控制系统115还包括一个或多个扬声器138、一个或多个麦克风140以及USB)数据端口)。所述车辆控制系统115还可包括其它传感器，如胎压传感器(tire[0060]所述驱动控制系统150用于控制所述车辆105的运动。所述驱动控制系统150包括车单元154以及节流单元156进程从自主驾驶系统170(用于自主驾驶模式)或驾驶辅助系统[0061]所述机电系统190从所述驱动控制系统150接收控制信号，以操作所述车辆105的[0062]所述处理器系统102对所述车辆控制系统115的图形用户界面(graphicaluser[0063]除了所述GUI，所述车辆控制系统115的所述存储器126上还存储有多个软件系统主驾驶系统170。所述驾驶辅助系统166以及所述自主驾驶系统170都可以包括导航规划及上还存储有可由所述驾驶辅助系统166或所述自主驾驶系统170调用的软件模块168。所述[0064]虽然所述计算机视觉模块172示为可被所述用于半自主驾驶的驾驶辅助系统166以及其它类型的数据和/或信息。所述车辆控制系统115接收的数据也可以存储在所述RAM视觉系统300从包括一个或多个LiDAR单元114的LiDAR系统310等高分辨率高精度传感器系[0068]所述计算机视觉系统300还包括基于学习的预处理模块330(以下称为预处理模块330)和点云处理模块340。所述计算机视觉系统300用于以训练模式训练所述预处理模块述预处理模块330可用在包括相机系统等低精度传感器系统和/或低分辨率LiDAR子系统时间安装在所述生产车辆的车辆控制系统115中的的LiDAR单元，并使用本领域公知的技术提供高分辨率LiDAR点云。在一些示例中，所述310要生成的LiDAR点云的期望分辨率高于可用LiDAR单元原始生成的LiDAR点云(例如，单述多个LiDAR单元中每个LiDAR单元生成的各LiDAR点云进行合并，生成超分辨率LiDAR点率LiDAR点云和低精度立体相机点云。所述预处理模块330以高分辨率高精度LiDAR点云为于所述低精度立体相机点云生成修正点云。所述预处理模块330将所述修正点云输出至所述计算机视觉系统300的其它校准程序同时进行。至少在一些实施例中，所述预处理模块基于其输入、权重(如果有)和偏差因子(若有)对数据进行转换或操作的激活函数(也称为[0076]所述输入层810中的每个节点从所述LiDAR系统310和所述相机系统320接收传感器数据。可以为所述神经网络800的中间层820和输出层830中的后续节点以及所述输入层和输出层830中的后续节点以及所述输入层810的输入中的每个输[0077]确定所述输入层810的每个输入与其各自的权重和偏差的标量积，并将其作为输层节点间的连接可能会随提供给所述处理模块340的输入(例如，传感器数据)和输出(例[0079]下文将参考图4A描述根据本发明一示例性实施例的一种对预处理模块330进行训练以生成修正点云的方法400。所述方法400的至少部分由车辆控制系统115的处理器系统102执行软件实现。在操作者激活(或采用)车辆105的计算机视觉系统300的点云地图学习模式时执行所述方法400。可以通过与所述车辆控制系统115的人机界面设备(human-键字组合的语音激活或其它用户交互，例如通过显示在触摸屏136上的所述计算机视觉系机系统320获取的数码图像生成所述第一点统320感知所述车辆105的环境，以使用本领域公知的计算机视觉技术生成所述第一点云。所述相机中心之间的线条称为基线。所述相机中心O1和O2与所述交点P之间的线条为投影对极线分别在所述图像平面的极点与所述基线相交。根据对应的图像点p和p,以及所述两可以使用中点法和直接线性转换等各种本领域公知的方式计算P(3D点)的坐标的代数公[0091]在操作406中，所述计算机视觉系统300通过第二传感器系统，例如，LiDAR系统统320生成所述第一点云时相同的环境(可以为测试室或基准室)中并基于所述环境中相同以使用上文所述的KNN算法将所述LiDAR点云的数据点与所述立体相机点云中的数据点进精度低于另一个。可以使用所述KNN算法找到所述低精度点云中每个点与该点在所述高精处理模块330为用于训练所述校正函数的神经网络时，可以通过更新所述神经网络的权重330进行训练以生成修正点云的计算机视觉系统350的简化框图。所述计算机视觉系统350述计算机视觉系统生成的高分辨率/高精度点云的某些误差或多或少比其它误差容错率更高，因此所述合并训练可以进一步改善使用所述修正点云的特定点云应用的最终结果(例通过用于训练所述预处理模块330的损失函数(或损失函数)确定所述损失。所述损失函数[0099]下文将参考图4B描述根据本发明另一示例性实施例的一种对预处理模块330进行训练以生成修正点云的方法420。所述方法420的至少部分由车辆控制系统115的处理器系用算法的输出和以所述第二点云为地面真值计算的所述特定点云应用算法的输出，确定预处理模块530(下文称为预处理模块530)进行训练以生成修正点云的计算机视觉系统500算机视觉系统500还包括具有一个或多个LiDAR单元114的低分辨率LiDAR预处理模块530使用所述低分辨率LiDAR系统510和相机系统320实时地或接近实时地生成分辨率LiDAR系统510较为便宜。训练后的所述预处理模块530可用于包括相机系统等低精度传感器系统和/或低分辨率LiDAR子系统510等低分辨率系统的生产车辆中，例如，车辆述计算机视觉系统500的其它校准程序同时进行。至少在一些实施例中，所述预处理模块的高分辨率/高精度数据对所述预处理模块530进行训练，以对所述预处理模块530的校正[0107]下文将参考图6A描述根据本发明另一示例性实施例的一种对预处理模块530进行训练以生成修正点云的方法600。所述方法600的至少部分由车辆控制系统115的处理器系[0109]在操作604中，所述计算机视觉系统500通过第二传感器系统，例如，LiDAR系统的环境(可以为测试室或基准室)中并基于所述环境中相同的参考位置(例如，相同的位置和方位)生成所述第二点云时，可以提前生成所述第二点云并将其提供给所述计算机视觉[0110]在操作606中，所述计算机视觉系统500通过第三传感器系统，例如，LiDAR系统系统510在与生成所述第一点云和所述第二点云时相同的环境(可以为测试室或基准室)中提前生成所述第三点云并将其提供给所述计算机视觉系统块530以所述高分辨率高精度LiDAR系统310的所述第二点云为地面真值，生成所述修正点预处理模块530为用于训练所述校正函数的神经网络时，可以通过更新所述神经网络的权530进行训练以生成修正点云的计算机视觉系统550的简化框图。所述计算机视觉系统550[0123]所述计算机视觉系统550包括所述计算机视觉系统500的所述高分辨率高精度但还包括与所述损失确定模块360类似的损失(或损失)[0124]下文将参考图6B描述根据本发明另一示例性实施例的一种对预处理模块530进行训练以生成修正点云的方法650。所述方法650的至少部分由车辆控制系统115的处理器系用算法的输出和以所述第三点云为地面真值计算的所述特定点云应用算法的输出，确定非所述第三点云计算的所述点云应用算法的输出法的输出与采用所述第二点云计算的所述特定点云应用算法的输出之间的均方差(mean块530以所述高分辨率高精度LiDAR系统310的所述第二点云为地面真值，生成所述修正点用算法的输出和以所述第二点云为地面真值计算的所述特定点云应用算法的输出，确定非所述第二点云计算的所述点云应用算法的输出[0135]下文将参考图7描述根据本发明一示例性实施例的一种使用训练后的预处理模块330或530生成高分辨率高精度点云的方法700。所述方法700的至少部分由车辆控制系统系统510各自的预训练校