CN115082914B 运载工具、用于运载工具的方法和存储介质 （动态Ad有限责任公司）

2022.09.20201911035567.12019.10.292通过所述运载工具的一个或多个传感器，接收传感器数据，其中从所述传感器数据提取语义数据和所述环境的使用所述一个或多个处理器，根据所述传感器数据生成使用所述一个或多个处理器，基于所述3D数据的强度值或颜色使用所述一个或多个处理器，将所述多个几何块叠加在所述3D使用所述一个或多个处理器，利用所述语义数据和包括所述7.如权利要求1所述的方法，其中所述多边形表示将所述可行驶区域的车道分成多个8.如权利要求1所述的方法，其中所述多边形表示将所述可行驶区域的多个车道合并9.如权利要求1所述的方法，其中所述多边形表示所述可行驶区域的多个车道的交叉315.如权利要求1所述的方法，其中使用所述语义数据对所述几何模型进行注释包括：从所述语义数据中提取与在所述可行驶区域内对所述运载工具进行导航相关联的逻辑行16.如权利要求1所述的方法，其中所述3D数据是光检测和测距点云数据即LiDAR点云一个或多个非瞬态存储介质，其存储有指令，所述指令在由通过所述运载工具的一个或多个传感器，接收传感器数据，其中从所述传感器数据提取语义数据和所述环境的基于所述3D数据的强度值或颜色模型，将所述至少一个可行驶段将所述多个几何块叠加在所述3D数据上，以生成包括所述多个几何20.如权利要求18所述的运载工具，其中所述颜色模型通过所述运载工具的一个或多个传感器，接收传感器数据，其中从所述传感器数据提取语义数据和所述环境的4基于所述3D数据的强度值或颜色模型，将所述至少一个可行驶段将所述多个几何块叠加在所述3D数据上，以生成包括所述多个几何22.如权利要求21所述的一个或多个非瞬态计算机可读存储介质，其中所述3D数据是23.如权利要求21所述的一个或多个非瞬态计算机可读存储介质，其中所述颜色模型个处理器运行时实现权利要求1至17中任一56[0014]在一个实施例中，几何模型的生成包括将多个几何块叠加到LiDAR点云数据上以方法进一步包括使用运载工具的控制模块在第二操作模式下使用地图在可行驶区域上对可行驶区域对运载工具进行导航相关联的运载工导航包括响应于带注释的几何模型的提取而将命令发送到运载78[0053]图16图示出根据一个或多个实施例的在运载工具的导航期间的示例自动注释的到的信息也能在本说明书中的其他地方被找到。本文中根据以下大纲来对实施例进行描9注释可以将环境中的新交通模式或新建设区域通知其他据流包括由AV运载工具上的一个或多个传感器检测到的或由在AV外部的源提供的一个或标记之间的大多数或全部空间，或可对应于车道标记[0086]在对本文中各种所描述的实施例的描述中使用的术语仅出于描述特定实施例的系统相关的术语的分类和定义(TaxonomyandDefinitionsforTermsRelatedtoOn_关运载工具的自主级别的分类的更多详细信息)。本文档中所描述的技术也可适用于部分3级、4级和5级运载工具系统中的一个或多个可以基于传感器输入的处理在某些操作条件全自主的运载工具到人工操作的运载工具的范围内的任何级别的运计算机处理器146的操作命令。在实施例中，计算处理器146与下文参照图3描述的处理器基础设施(V2I)通信设备以及用于通过点对点或自组织网络或通过这两者进行无线通信的空气和声学介质)进行通信。运载工具到运载工具(V2V)通信与运载工具到基础设施(V2I)接口将从传感器121收集的数据或与AV100的操作相关的其他数据传送到位于远程的数据[0098]在实施例中，位于远程的数据库134存储并传送有关运载工具的驾驶属性的历史信息(例如，速度和加速度分布)，该运载工具[0099]位于AV100上的计算设备146基于实时传感器数据和先前信息通过算法方式生成中，外围设备132与下文参照图3所讨论的显示器312、输入设备314以及光标控制器316类由云提供的服务的机器。现在参考图2，云计算环境200包括云数据中心204a、204b以及云数据中心204a)指的是组成云(例如，图2中示出的云202)或云的特定部分的服务器的物[0105]计算系统206a_f或云计算设备消费方通过网络链路和网络适配器被连接至云络设备或包含用于实现这些技术的硬接线和/或程序逻辑的任何存储器306被用来在用于处理器304执行的指令的执行期间存储临时变量或其他中间信息。此类指令在被存储在对于处理器304可访问的非瞬态存储介质中时将计算机系统300呈现[0110]在实施例中，计算机系统300经由总线302耦合至显示器312以向计算机用户显示于将方向信息和命令选择传送到处理器304并用于控制显示器312上的光标移动的光标控306中所包含的一条或多条指令的一个或多个序列而执行。此类指令从另一存储介质(诸输介质还可以采取声波或光波的形式，诸如那些在无线电波和红外数据通信期间生成的机系统300本地的调制解调器在电话线上接收数据，并使用红外发射器将该数据转换为红外信号。红外检测器接收红外信号中承载的数据，并且适当的电路将该数据置于总线302信接口318发送和接收承载表示各种类型的信息的数字数据流的电信号、电磁信号或光信网络链路320提供通过本地网络322到主机计算机324或到由互联网服务提供商(ISP)326运口318的信号是示例形式的传输介质，这些信号承载去往和来自计算机系统300的数字数[0117]计算机系统300通过(多个)网络、网络链路320和通信接口318发送消息并接收包[0119]图4图示出用于自主运载工具(例如，图1中所示的AV100)的示例架构以及410中的任一个是计算机软件(例如，存储在计算机可读介质上的可执行代码)以及计[0121]感知模块402使用一个或多个传感器121(例如，也如图1中所示)标识附近的物理括经分类的对象416的场景描述被提供给规划[0123]控制模块406接收表示轨迹414的数据以及表示AV位置418的数据，并以将使得AV该方式使得转向功能的转向角度将使得AV100左转且油门和制动将使得AV100在作出转[0125]图5图示出由感知模块402(图4)使用的输入502a_d(例如，图1中所示的传感器有关其视线内的物理对象的数据的技术。LiDAR系统产生LiDAR数据作为输出504a。例如，LiDAR数据是被用于构建环境190的表用广角透镜或鱼眼透镜)的相机以获得有关提供视觉导航信息的尽可能多的物理对象的信形式的相机系统输出504c以及LiDAR数据点704形式的LiDAR系统输出504a。在使用中，AV[0134]图9图示出规划模块404(例如，如图4中所示)的输入与输出之间的关系的框图例中，例如，如果AV100是具有越野能力的运载工具(诸如，四轮驱动(4WD)或全轮驱动用于如图4所示的目的地412)以及对象数据920(例如，由如图4所示的感知模块402感知的[0137]图10图示出在(例如，由规划模块404(图4)执行的)路线规划中使用的有向图的两个物理位置之间行驶)在AV100从第一节点行驶至第二节点或从第二节点行驶至第一[0141]在实施例中，规划模块404使用有向图1000来标识由起点1002与终点1004之间的[0142]边1010a_c具有相关联的成本1014a_b。成本1014a_b是表示如果AV100选择该边的物理距离，则第一边1010a的相关联的成本1014a可以是第二边1010b的相关联的成本模块根据控制器1102操作，该控制器1102包括例如与处理器304类似的一个或多个处理器404接收的数据。根据期望输出1104，控制器1102生成可用作油门输入1106以及转向输入期望输出之间的差异1113执行必要的调整。测量输出1114包括测量位置1116、测量速度制器1102接收并由速度分析器1202处理的反馈，速度分析器1202使用油门/制动器1206指[0151]控制器1102接收用于确定如何控制油门/制动器1206以及转向角致动器1212的若干输入。规划模块404提供由例如控制器1102使用以便当AV100开始操作时选择朝向并且当AV100到达交叉路口时确定要穿行哪个路段的信息。定位模块408向控制器1102提供例如描述AV100的当前位置的信息，从而使得控制器1102能够判定AV100是否位于基于油[0153]图13图示出根据一个或多个实施例的用于在AV1308的导航期间的、地图1361316是在环境1304之外或之内导航或停泊的其他AV、半自主运载工具或非自主运载导航。一个或多个其他运载工具1316可以是AV1308在环境1304的道路上经历的交通的一与此处所描述的方式不同的方式在各组件和/或不同的个实施例中，服务器1312实时存储由AV1308或其他天线或计算机装置生成的环境1304的部分发送到AV1308或运载工具1316，以辅助AV1308或运载工具1316对环境1304进行导[0156]运载工具1316是位于环境1304之内或之外的非自主、部分自主或自主运载工1340确定环境1304的特征并注释或更新地图1364的该部分。通过这种方式，在实时地图例中，运载工具1316可以生成地图1364的各部分或将地图1364的各部分发送到服务器[0157]对象1320、1324位于AV1308外部的环境1304内，如以上参考图4义信息将指示AV1308不要离靠近到来交通的AV1308执行碰撞预测并在需要时降低驾驶激进性。在映射模式下，对象1320、1324由AV[0165]传感器1336和1340接收传感器数据1344和1348以及与环境1304相关联的语义数[0166]一个或多个测程传感器1340感测AV1308相对于环境1304的状态，并将表示AV1308的状态的测程数据1348发送到地图注释器1328。测程传感器1340可以是以上参考图1示出和描述的传感器121的示例。测程传感器1340通信地耦合到地图注释器1328以发送测实施例中，由IMU报告的测程数据1348用于通过积分来自陀螺仪的角速率以计算角位置来[0169]地图注释器1328可以是图4所示的规划模块404的示例或者可以被包含在规划模[0170]几何模型生成器1352从传感器数据1344生成多个特征中的特征的几何模型136器1336的LiDAR束的数量，例如，来自图6中的LiDAR系统602的光发射器606的光604a_c(LiDAR束)的数量。几何模型生成器1352分析多个像素中的第一像素与第一像素的相邻像系列高度渲染多个像素中的每个像素。几何模型生成器1352确定目标对象1320的可见高[0172]几何模型生成器1352将特征与环境1304内的可行驶区域相关联。在一个实施例中，来自实时地图1364的现有信息和传感器数据1344被组合以将特征与可行驶区域相关[0173]几何模型生成器1352从可行驶区域提取可行驶段。基于AV1308的时空位标记之类的线索来提取可行驶段。几何模型生成器1352进一步使用LiDAR点的空间信息来行超像素分类以分割环境1304内的可行驶区域并提取可行驶[0174]在一个实施例中，几何模型生成器1352使用上述的测程数据1348来确定AV1308数据1348来通过分析相关联的传感器数据1344相对于初始时空位置估计AV1308的位置随1344的强度值或RGB值将提取的可行驶段分离成多个几何块。特征的几何模型1360包括多10)。车道连接件的面积基于沿着车道连接件包含的基线路径的曲率的源边缘和目的地边德平面(X_Y平面)中两个点的最短曲线。杜宾斯路径对路径的曲率以及路径的规定初始和[0182]在一个实施例中，几何模型1360的生成包括将多个几何块叠加到LiDAR点云数据块的基图。几何块的位置、大小和形状不等。将几何块的各个属性编辑到LiDAR点云数据或交通信号灯时)或路块连接件(当停止线为右块连接件1)U(路块连接件2)U…U(路块连接件N)。多边形表示是弯道包含的所有路块的并[0191]几何模型注释器1356执行语义注释以使用语义数据标记几何模型1360的像素或机可读语义注释来注释几何模型1360。为了执行注释，几何模型注释器1356将几何模型带时降低速度，在接近高速公路的出口时移至出口车道或减速以礼让正在超车的运载工描述的规划模块404或控制模块406可执行该计[0194]在一个实施例中，地图注释器1328从第二运载工具1316接收计算机可读语义注的几何模型1360嵌入地图1364中。在行驶模式中，AV1308从服务器1312接收实时地图1364。AV1308根据地图1364中的带注释的几何模型来确定如上面参考图11所述和所示的感器提供更高的准确性和可靠性。地图1364提供了对AV1308的时空位置的估计，并且AV1308的导航系统知道了预期的目的地。AV1308在AV1308的视线范围内确定本地导航目响应于带注释的几何模型1360的提取而将命令发送到AV1308的油门或制动器1206(如上信息的确定包括选择与小于阈值(例如1)的预的预测停止数相关联的行驶段，或选择与大于阈值的AV1308和对象1320之间的预测横向一运载工具1316。AV1308的控制模块406使用所确定的改道信息在可行驶区域上对AV信设备1332还与服务器1312、AV1308内的乘客或其他运载工具交流数据，诸如指令或AV1308或其他运载工具的状态和条件的测量或推断的属性。通信设备1332可以是图1所示的通信设备140的示例。通信设备1332跨网络通信地耦合到服务器1312并且可选地耦合到运能够执行指定由机器采取的动作的指令的任何机器的一部分。上文参考图1中的通信设备[0200]融合图像数据和LiDAR点以将特征与可行驶区域相关联，排除了训练步骤或手动[0202]图14图示出根据一个或多个实施例的在AV1308的导航期间的、地图136境特征的自动注释的示例环境1400。环境1400包括AV1308所位于的时空位置1404。环境[0203]AV1308的视觉传感器1336生成表示在时空位置1404处的环境1400的传感器数据轮扭矩传感器或转向角和角速度传感器。测程数据1348与时空位置1404和路段1408相关[0205]地图注释器1328使用传感器数据1344注释环境1400的地图1364。为了注释地图维LiDAR点云数据映射到二维图像来生成几何模型1360。地图注释器1328使用用于边缘检以提取对应于环境特征的多边形来将提取的边缘像素组装到建设区域1416(对象)的轮廓1336生成表示环境1400的第二传感器数据。AV1308将第二传感器数据与第二时空位置1432相关联从而使第二传感器数据有别于传感器数据1344。AV1308从而为环境1400中的[0210]图15图示出根据一个或多个实施例的在AV1308的导航期间实时地图1500中的环境特征的示例自动注释的几何模型。地图1500对应于以上参考图14示出和描述的环境语义注释1504是机器可解释的彩色结构化数字旁注。注释1504的颜色或纹理使AV1308能的颜色可以向AV1308指示特征1504是车道标记1424的一部分。由此使停留在车道内的规[0211]几何模型注释器1356从而通过将地图1500链接到提取的环境特征来用计算机可何形状1512相关联的颜色或其他注释向AV1308指示停放的运载工具1428的位置是停车无法观察到停放的运载工具1428。这由AV1308的导航系统或服务器1312解释为意味着停模式下，AV1308可以使用基于搜索的方法来确定两个位置(诸如图14中的1404和1432)之[0215]在一些实施例中，AV1308的一个或多个传感器1336用于生成包括环境13每个特征生成多边形表示。多边形表示线段和/或块的并集。生成叠加的多个几何块的并计算机可读语义注释。将计算机可读语义注释插入到地图1500中。在一些实施例中，AV以将来自几个不同的AV的更新的实时注释合并到[0219]在一些实施例中，传感器数据1344用于确定AV1308相对于可行驶区域空间位置。一个或多个传感器1336包括全球导航卫星系统(GNSS)传感器或惯性测量单元用于在操作模式下在可行驶区域上操作AV1308。带注释的多边形的嵌入是在映射模式下[0222]图16图示出根据一个或多个实施例的在AV1308的导航期间的示例自动注释的地几何形状1616的几何模型的生成包括将多个几何块叠加到LiDAR点云数据上以生成包括几的每个几何块代表可行驶区域的单个车道。几何形状1616因此是非相交路段内的车道块。[0228]图17图示出根据一个或多个实施例的在AV1308的导航期间的、地图136[0229]AV1308使用位于环境1304内的AV1308的一个或多个处理器来接收1704环境[0230]AV1308使用AV1308的一个或多个传感器来接收1708传感器数据1344和语义数云数据或根据时间索引的LiDAR点云数据。传感器还包括测程传感器1340以生成表示AV[0231]AV1308通过将特征与环境1304中的可行驶区域1604相关联，从传感器数据13的2D结构将特征(结构)与可行驶区域1604相关联。从传感器数据1344中提取特征的RGB像最小化传感器数据1344内的小区域的方差来确定可行[0233]AV1308将可行驶段分割1720成多个几何块。每个几何块对应于可行驶区域1[0237]图18图示出根据一个或多个实施例的在AV1308的导航期间的、地图136[0238]AV1308使用一个或多个传感器1336来生成1804包括环境1304的特征的传感器数[0239]AV1308使用传感器数据1344将特征映射1808到环境1304的地图1500内的可行驶[0240]AV1308使用地图1500内的可行驶区域提取1812包括多个几何块的多边形几何块对应于可行驶区域的可行驶段。将几何块的各个属性可被编辑到LiDAR