CN114387322B 用于运载工具的方法、运载工具和存储介质 （动态Ad有限责任公司）

US10810445B1,2020.10.20US10366502B1,2019.07.30US11022693B1,2021.06.01US2021150230A1,2021.05.202022.04.22制使用LiDAR所识别的基于运载工具的对象的运于点云的点的所确定的各个类来识别运载工具2使用所述至少一个处理器，基于所述点云中的所述多个点来生成使用所述至少一个处理器，将所述第一视图作为输入提供至第一使用所述至少一个处理器，针对所述点云中的各点，成指示对象类的第一组类得分并且使用所述第二视图神经网络来生成指示所述对象类的使用所述至少一个处理器，确定所述点云中的至少一个点的确定是基于所述至少一个点的第一组类得分和所述至少一个点的使用所述至少一个处理器，至少部分地基于所述至少一个点的最终确定确定所述点云中的至少一个不确定点，其中该确定是使用融合神经网络，基于所述至少一个不确定点的第一组类得基于第三组类得分，使用所述至少一个处理器来确定所述至少一组类得分中所包括的至少一个类得分与对象7.根据权利要求1或2所述的方法，其中将所述第一视图数据作为输入提供至第一视图神经网络并且将所述第二视图数据作8.根据权利要求2所述的方法，其中，所述不确定点是相对于类得分的阈值差所确定3所述第二视图神经网络中的至少一个输出的类处理电路，其耦接至所述LiDAR装置，所述处理电路被配置用于进行根14.一种非暂时性计算机可读存储介质，其包括用于由第一装置的至少一个处理器执4数据通常采用用于构建周围环境的表示的点集合(也称为点云)的形式。LiDAR可用于检测述第一视图神经网络来生成指示对象类的第一组类得分并且使用所述第二视图神经网络5种要素表示的特征不能包括在一些实施例中或不能在一些实施例中6[0033]新方法的一些优点包括：使用并行训练并且部署单独视图网络(也称为视图神经网络以学习对象之间的空间关系。来自单次LiDAR扫描的数据增强增加了可用训练样本的7通信所用的门户并且可以与其它边缘节点和基于云的计算平台进行通信，以调度OTA更新[0050]在本文所描述的各种实施例的说明书中使用的术语仅用于描述特定实施例的目如本文所使用的“和/或”是指并且包括一个或多个相关清单项目的任何和所有可能的组8[0053]一般而言，本文件描述了适用于任何具有一种或多种自主能力的运载工具的技如所谓的第2级和第1级运载工具(见SAE国际标准J3016：道路上机动车自动驾驶系统相关[0054]自主运载工具与需要人类驾驶员的运载工具相比存在优势。一个优势是安全交通事故死亡人数已从约6人减少到约1人，部分是由于运载工具中所部署的附加安全措9件。在实施例中，与环境190有关的数据从远程数据库134通过通信信道传输到运载工具性传送到运载工具100。这些装置包括运载工具到运载工具(V2V)和运载工具到基础设施(V2I)通信装置以及用于通过点对点或自组织(adhoc)网络或两者进行无线通信的装置。实施例中为一种或多种其它类型的通信)的组合有时被称为运载工具对所有事物(V2X)通将从传感器121收集的数据或与运载工具100操作有关的其它数据传输到远程数据库134。数据可以存储在运载工具100上的存储器144中，或者通过通信信道从远程数据库134传输[0064]位于运载工具100上的计算机处理器146基于实时传感器数据和先验信息两者以[0066]在实施例中，AV系统120接收并强制执行例如由乘员指定的或者存储在与乘员相的以及/或者存储在云服务器136上且与乘员简档相关联的、与乘员相关联的特定信息(例使用乘员的指定隐私级别来确定是否可以将与时空地点有关的乘员输入呈现给第三方AV中心204a、204b和204c。数据中心204a、204b和204c为连接到云202的计算机系统206a、示的云数据中心204a)是指构成云(例如图2中所示的云202或云的特定部分)的服务器的物[0071]云202包括云数据中心204a、204b和204c以及用于连接云数据中心204a、204b和204c并有助于促进计算系统206a-f对云计算服务的访问的网络和网络资源(例如，网络设[0072]计算系统206a-f或云计算服务消费者通过网络链路和网络适配器连接到云202。算机系统、手持装置、网络装置或包含硬线和/或程序逻辑以实现这些技术的任何其它装存储在处理器304可访问的非暂时性存储介质中时，使计算机系统300变成一个专用机器，[0077]根据一个实施例，本文的技术由计算机系统300响应于处理器304执行主存储器一存储介质读入主存储器306。执行主存储器306中包含的指令序列使处理器304执行本文机系统300的本地调制解调器接收电话线路上的数据，并使用红外发射器将数据转换为红外信号。红外检测器接收红外信号中承载的数据，并且适当的电路将数据放置在总线302器306接收的指令可以可选地在处理器304执行之前或之后存储在存储装置31接至本地网络322的网络链路320的双向数据通信。例如，通信接口318是综合业务数字网链路320通过本地网络322提供与主计算机324或与由因特网服务提供商(ISP)326运营的云信网络来提供数据通信服务。本地网络322和因特网328两者都使用承载数字数据流的电、[0083]计算机系统300通过(一个或多个)网络、网络链路320和通信接口318发送消息和400包括感知模块402(有时称为感知电路)、规划模块404(有时称为规划电路)、控制模块任何模块是计算机软件(例如，计算机可读介质上所存储的可执行代码)和计算机硬件(例[0087]感知模块402使用例如也如图1所示的一个或多个传感器121来识别附近的物理对[0089]控制模块406接收表示轨迹414的数据和表示AV位置418的数据，并且以将使得运载工具100行驶轨迹414到达目的地412的方式来操作AV的控制功能420a～420c(例如，转载工具100在进行转弯之前暂停并等待经过的行[0091]图5示出感知模块402(图4)所使用的输入502a-502d(例如，图1中所示的传感器LiDAR数据是用于构造环境190的表示的3D或2D点(也相机系统产生照相机数据作为输出504c。照相机数据通常采用图像数据(例如，诸如RAW、可以采用相同类型的单个组合输出或多个组合输出(例如，使用相同组合技术或组合相同中，与LiDAR系统相关联的一个或多个数据处理系统生成表示LiDAR系统的视场614的图像像702的形式的照相机系统输出504c和采用LiDAR数据点704的形式的LiDAR系统输出504a[0105]最终确定(914)的标签是指派给点云中的点以指示该点是点的对象(例如，植被、[0106]融合网络(也称为融合神经网络)采用不确定点，并且通过融合(912)生成针对该[0107]在实施例中，点云中的点的最终确定的标签然后被传递到图4所示的感知电路[0108]图10示出用于对LiDAR扫描点进行分类的分类网络1000的框图。分类网络1000将标系上的球面坐标系中的三维点云数据，其中各x1030是映射到z轴被移除的xy坐标系上的xyz坐标系中的三维点云数据。RV数据1020和BeV[0110]将RV数据1020作为输入提供至范围视图网络1004或RV网络，并且将BeV数据1030[0111]RV网络1004和BeV网络1006是针对输入或计算彼此不依赖的独立神经网络。在实同时评估RV网络1004和BeV网络1006中的仅一个的计算资源来[0112]将点的第一组类得分1040和点的第二组类得分1050作为输入提供至得分比较器的曼哈顿距离或L1范数距离来计算两组类得分1040和10[0113]融合网络1010采用不确定点950作为输入，并且考虑到两组类得分1040和1050之间的差满足阈值差，基于第一组类得分1040和第二组类得分1050来生成针对不确定点950预测类被视为不确定点950的最终确定的标签1060。根据图12来说明与融合网络和融合网于诸如对象识别等的任务。例如，感知模块402应用基于点云的对象识别算法(诸如[0116]图11示出代表RV网络1004和BeV网络1006这两者的视图网络1100。视图网络1100采用代表RV数据1020或BeV数据1030的视图数据1120作为输入，并且将一组类得分1110作[0119]在连续的卷积层1102之间嵌入有使用递归层或多个连续的递归层实现的空间平失函数是被设计为计算实际输出和期望输出输入提供至特征提取器和级联器1206。不确定点950的相邻点1230是不确定点950附近的1206采用不确定点950作为输入，并且从相应的视图网络1100提取相邻点1230和不确定点量。在实施例中，特征是来自视图网络1100的最终层的输出、或者所输出的一组类得分[0128]点网络1210采用来自相邻点的级联特征1240和来自不确定点的级联特征1242作[0130]全连接层的输出是针对不确定点950的新的一组类得分1220。该新的一组类得分新的一组类得分1220与不确定点950的第一组类得分1040或不确定点950的第二组类得分[0132]图13示出用于基于经分类的LiDAR点来操作运载工具的处理1300的流程图。在实中，融合神经网络包括多层感知器和卷积层(诸如图12所示的多层感知器1212和图11所示实现中，最终确定的标签是与新的一组类得分1220中的元素(诸如图12所示的植被得分还使用针对图10所述的最终确定模块来确定至少一个经分类的点的最终确[0140]处理器至少部分地基于至少一个不确定点的最终确定的标签来识别(1316)运载于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用