CN114815799B 运载工具、用于运载工具的方法和存储介质 （动态Ad有限责任公司）

2022.07.29的多个轨迹。从至少一个传感器接收传感器数束集合中的各其它约束上来确定运载工具的机一轨迹并根据第二轨迹穿过道路路段以进行机2运载工具根据所述多个轨迹中的第一轨迹在所述道路利用所述至少一个处理器，确定所述运载工具的用以避免所述潜在碰撞的约束集合，由所述至少一个处理器使用所述传感器数据随站点和时间而参数化的基于空间的约利用所述至少一个处理器，生成所述基于站点的约束和所述基于空间的约束的并集，定所述机动动作以生成所述第二轨迹是以比所述第一频率高利用所述至少一个处理器，根据精确度来预测所述运载工具在所述道路路段上的运3在根据所述各同伦穿过所述道路路段的同时所述乘员利用所述控制电路，将所述运载工具在穿过所述道路路段时定位在两个移动对象之存储有指令的一个或多于一个非暂时性存储介质，所述指令在基于所述运载工具所行驶的道路路段来生成所述运载工具从所述运载工具的至少一个传感器接收传感器数据，所述运载工具根据基于所述传感器数据和所述第一轨迹来预测所述运载工具和在所述道路路段上移动确定所述运载工具的用以避免所述潜在碰撞的约束集合，所通过将所述约束集合中的各约束叠加在所述约束集合中的各其它约束上来确定所述419.一个或多于一个存储有指令的非暂时性存储介质，所述指令在由一个或多于一个基于运载工具所行驶的道路路段来生成所述运载工具从所述运载工具的至少一个传感器接收传感器数据，所述运载工具根据基于所述传感器数据和所述第一轨迹来预测所述运载工具和在所述道路路段上移动确定所述运载工具的用以避免所述潜在碰撞的约束集合，所通过将所述约束集合中的各约束叠加在所述约束集合中的各其它约束上来确定所述路段的可驾驶区域和所述道路路段的车道标记其中至少根据权利要求1至16中的任一项所述的用于5[0002]运载工具从初始地点到最终目的地的操作通常需要用户或者运载工具的决策制法不实用。运载工具的至少一个处理器基于所述运载工具所行驶的道路路段来生成所述运载工具的于所述传感器数据和所述第一轨迹来预测所述运载工具和在所述道路路段上移动的对象束集合中的各约束叠加在所述约束集合中的各其它约束上来确定所述运载工具的机动动6[0021]图1是例示根据一个或多于一个实施例的具有自主能力的自主运载工具(AV)的示[0026]图5是例示根据一个或多于一个实施例的、感知模块可以使用的输入和输出的示[0030]图9是例示根据一个或多于一个实施例的规划模块的输入和输出之间的关系的框7种要素表示的特征不能包括在实施例中或不能在实施例中8[0051]本文介绍了用于使用机动动作生成来操作自主运载工具(AV)的方法、系统和设[0052]使用机动动作生成的AV操作的优点和益处包括确定AV的轨迹的计算复杂度降全地遵守的约束的组合)相对应的搜索空间的子集并且仅针对该子集生成候选轨迹，来减[0054]图1是例示根据一个或多于一个实施例的具有自主能力的自主运载工具100的示9[0066]在本文所描述的各种实施例的说明书中使用的术语仅用于描述特定实施例的目[0069]一般而言，本文件描述了适用于任何具有一种或多种自主能力的运载工具的技如所谓的第2级和第1级运载工具(见SAE国际标准J3016：道路上机动车自动驾驶系统相关工具系统可基于对传感器输入的处理，在某些操作条件下自动执行某些运载工具操作(例[0072]在实施例中，AV系统120包括用于测量或推断AV100的状态或条件的属性惯性测量单元(IMU)、用于测量或估计轮滑移率的轮传感器、轮制动压力或制动扭矩传感信装置以及用于通过点对点或自组织(adhoc)网络或两者进行无线通信的装置。在实施例或多种其它类型的通信)的组合有时被称为运载工具对所有事物(V2X)通信。V2X通信通常符合一个或多于一个通信标准，用于与自主运载工具进行的和在自主运载工具之间的通数据可以存储在AV100上的存储器144中，或者通过通信信道从远程数据库134传输到AV[0079]位于AV100上的计算装置146基于实时传感器数据和先验信息两者以算法方式生100的用户(例如，乘员或远程用户)提供信息和提醒并接收来自该用户的输入。在实施例中所示的云数据中心204a)是指构成云(例如图2中所示的云202或云的特定部分)的服务器[0084]云202包括云数据中心204a、204b和204c以及用于连接云数据中心204a、204b和204c并有助于促进计算系统206a-f对云计算服务的访问的网络和网络资源(例如，网络设[0085]计算系统206a-f或云计算服务消费者通过网络链路和网络适配器连接到云202。或多于一个专用集成电路(ASIC)或现场可编程门阵列(FPGA)的被持久编程为执行上述技硬线和/或程序逻辑以实现这些技术的任何[0091]根据一个实施例，本文的技术由计算机系统300响应于处理器304执行主存储器306中包含的一个或多于一个指令的一个或多于一个序列而执行。这些指令从诸如存储装主存储器306接收的指令可以可选地在处理器304执行之前或之后存储在存储装置3接至本地网络322的网络链路320的双向数据通信。例如，通信接口318是综合业务数字网网络链路320通过本地网络322提供与主计算机324或与由因特网服务提供商(ISP)326运营[0097]计算机系统300通过(一个或多于一个)网络、网络链路320和通信接口318发送消(有时称为规划电路)、控制模块406(有时称为控制电路)、定位模块408(有时称为定位电[0101]感知模块402使用例如也如图1所示的一个或多于一个传感器121来识别附近的物括经分类的对象416的场景描述提供至规划模块[0103]控制模块406接收表示轨迹414的数据和表示AV位置418的数据，并且以将使得AV车道改变；4)基于投影在路障上的(来自动态世界模型458的)的AV的状态来选择AV所在的路段；5)提取所选择的路段的基线路径(在期望车道改变的情况下其可被标记为“期望的”[0108]软约束是AV应遵循但可以违反以例如完成到目的地的行程或避免碰撞的约束。选择导致更低代价的约束集合。同伦提取器453从路线规划器451接收包含基线路径(也称的机动动作可能不是动态可行的，但同伦提取器453保证如此得到的描述机动动作的约束置(AV状态)开始且在终末状态结束的任何路径均可以连续地变形。为了找到这些机动动组合都可被消除。在2021年12月7日提交的标题为“Homotopic-BasedPlannerforAutonomousVehicles”的共同未决申请(代理人案部包含于此)中进一步详细描述了同伦提取器4ManeuverRealizer”的共同未决申请(代理人案号4包含于此)中进一步详细说明了基于样本的机动动作实现器价函数应用于与基于优先级或相对重要性的一个或多于一个规则手册中的规则的层级的[0115]1.碰撞：如果沿着所评分的轨迹存[0116]2.阻塞：如果终末同伦不包含期望目标状态并且轨迹的终末速度低于指定阈值合适的代价函数和规则手册(包括具有更多或更少规则的规则手册)都可用于[0120]对于机器学习实施例，轨迹得分生成器455可以实现一个或多于一个机器学习模[0122]在实施例中，将跟踪控制器456用公式表示为具有对控制输入和状态的约束的一[0125]图5是例示根据一个或多于一个实施例的、感知模块402(图4A-4B)所使用的输入用光(例如，诸如红外光等的一道光)来获得与其视线中的物理对象有关的数据的技术。诸如电荷耦接器件[CCD]等的光传感器的数字照相机)来获取与附近的物理对象有关的信统可以具有为了感知遥远的对象而优化的诸如传感器和用相同类型的单个组合输出或多个组合输出(例如，使用相同组合技术或组合相同输出或[0130]图6是例示根据一个或多于一个实施例的LiDAR系统602的示例(例如，图5所示的处理系统生成表示LiDAR系统的视场614的图像612。图像612包括表示物理对象608的边界[0131]图7是例示根据一个或多于一个实施例的操作中的LiDAR系统602的框图。在该图AV100基于数据点704的轮廓和密度来统602使用一致的间隔发射光，因此地面802将以相同的一致间隔将光反射回到LiDAR系统[0134]图9是例示根据一个或多于一个实施例的(例如，如图4A-4B所示的)规划模块404理区域的至少一部分上行驶的距离。在一些示例中，例如，如果AV100是诸如四轮驱动规划数据910以例如基于出口是否临近、多个车道中的一个或多于一个车道是否存在其它[0136]在实施例中，向规划模块404的输入包括(例如，来自图4A-4B所示的数据库模块4A-4B所示的目的地412的)目的地数据918和对象数据920(例如，如图4A-4B所示的感知模[0137]图10例示根据一个或多于一个实施例的在路径规划中(例如，由规划模块404(图中的表示AV100的视场中的物理地点的一部分[0140]节点1006a-1006d通过边1010a-1010c连接。如果两个节点1006a-1006b通过边1010a-1010c是单向的，从某种意义上，AV100可以从第一节点行驶到第二节点，然而AV路的单独车道，或者由于法律或物理约束因而仅能沿一个方向穿过的其它特征的情况下，[0141]在实施例中，规划模块404使用有向图1000来识别由起点1002和终点1004之间的[0142]边1010a-1010c具有关联成本1014a-1014b。成本1014a-1014b是表示在AV100选物理距离是另一边1010b所表示的物理距离的两倍，则第一边1010a的关联成本1014a可以404接收到的数据。根据期望输出1104，控制器1102产生可用作油门输入1106和转向输入望输出之间的差分1113来进行所需的调整。测量输出1114包括测量位置1116、测量速度[0148]在实施例中，例如通过诸如照相机或LiDAR传感器等的传感器预先检测与干扰分析器1202根据例如由控制器1102接收到并由速率分析器1202处理后的反馈，来指示油门/制动器控制器1204使用油门/制动器120[0150]控制器1102还具有影响方向盘控制器1210的操作的横向跟踪横向跟踪控制器1208根据例如由控制器1102接收到并由横向跟踪控制器1208处理后的反[0151]控制器1102接收用于确定如何控制油门/制动器1206和转向角致动器1212的若干输入。规划模块404提供控制器1102例如选择AV100开始操作时的航向并确达十字交叉路口时穿过哪个道路路段所使用的信息。定位模块408例如将描述AV100的当[0153]图13是例示根据一个或多于一个实施例的用于确定用于AV100的机动动作的示详细地例示和说明用于轨迹生成的处理。AV100从AV100的至少一更详细地例示和说明LiDAR输出数据504a。还参考图4B来更详细地说明AV100对传感器数据的使用。AV100根据属于多个初始轨迹的轨迹198正在车道1516中在道路路段1500上行器数据504a确定的。例如，如图13所示，同伦提取器453可以生成与AV100穿过道路路段一个乘员的预测安全性和/或AV100的安全100在穿越到目的地199时应尝试但不一定需要遵守软逻辑约束)。软逻辑约束可以与AV的包括约束集合1302的不同相应组合。同伦提取器453基于约束集合1302生成一个或多于一合1302中的两个或更多个的不同组合。确定AV100的机动动作是基于多个同伦1304a-与AV100的一个或多于一个乘员的舒适度有关的约束和/或规定AV100进行某些操作或任(与同伦1和同伦2一样)；(ii)参数C_2等于参数值Y_2的软逻辑约束(与同伦1和同伦2一器453确定为AV100不能在不会与另一对象碰撞的情况下进行指定的操作和任务，则同伦同伦提取器453确定为AV100可以进行指定的操作和任务、并且不会违反其它约束中的任中的一个或多于一个对象(例如，运载工具193或对象416)的运动的一个或多于一个方程于生成AV100的一个或多于一个轨迹的示例技术。参考图1来更详细地例示和说明环境个轨迹1306a(以确定机动动作)和与同伦N相对应的一个或多于一个轨迹1306b(这两个同的轨迹1520的空间分辨率；或者(ii)预测AV100的运动和/或生成AV1AV100的运动和/或生成AV100的轨迹1520的计算机模拟或动态模型的测AV100的运动和/或生成AV100的轨迹1520的精确度可以指：(v)与预测AV100的运动AV100的运动和/或可以如何生成AV100的轨迹1520的其它同伦生成一个或多于一个轨迹(以确定机动动作)。同伦提取器453可以首先根据更低的空间分辨率(例如，以10英尺为增量)针对各个同伦预测AV预测AV100的运动，并且随后根据更高的空间分辨率(例如，以1秒位增量)针对被确定为动和/或生成AV的一个或多于一个轨迹。[0174]在实施例中，同伦提取器453可以首先根据第一计算机模拟或第一动态模型针对少的数据输入和/或不太全面的数据输入来生成预测(但可以不那么精确)，而第一计算机模拟或动态模型可以需要更多的数据输入和/或更全面的数据输入来生成轨迹(但可以更其它约束上来确定机动动作。机动动作包括独立于多个初始轨迹(例如，轨迹198)的轨迹的处理基于道路路段1500针对AV100所生成的。同伦提取器453针对该机动动作选择所生以通过(利用参考图13所例示和说明的方法)针对所生成的各个轨迹计算质量得分或其它[0179]可以基于质量得分或度量来选择轨迹1520(例如，具有最高质量得分或度量的轨于实现样本的机动动作实现器454和/或轨迹得分生成器45[0180]在实施例中，AV机100通过将约束集合1320中的各约束叠加在约束集合1320中的各其它约束上来确定机动动作。机动动作包括独立于多个轨迹(例如，轨迹198)的轨迹[0181]图14例示根据一个或多于一个实施例的AV100的示例决策图1400。参考图穿过道路路段1500包括：利用至少一个处理器146，基于多个同伦的子集来生成决策图的节点前进)相关联的约束来确定AV100穿越到目的地199的可行性。参考图1来更详细地例示和说明目的地199。如果同伦提取器453确定为遵守与特定节点相关联的约束不可行，则同伦提取器453可以避免评估该节点的子穿越到目的地199是可行的。基于该确定，同伦提取器453随后评估各个子节点1402b和一个候选轨迹(以确定机动动作)。例如，参考图14，同伦提取器453可以针对各个节点同伦提取器503及其提取和约束分组有关的进一步细节。约束集合1302还包括由至少一个实施例中，基于站点的约束和基于空间的约束中的各约束均被作为度量进行存储和操纵。两个这样的度量的并集是通过将该运算应用于各对元素的条目以获得相应的矩阵并集来[0189]在实施例中，进行机动动作包括：利用控制电路4[0190]在实施例中，进行机动动作包括：利用控制电路4[0191]图16是例示根据一个或多于一个实施例的用于运载工具的操作的处理的流程和说明的AV100的同伦提取器453或基于样本的机动实现器45[0195]AV100使用处理器146，以确定(1616)AV100的用以避免潜在碰撞的约束集合1302。参考图13来更详细地例示和说明约束集合1302。约束集合1302是基于传感器数据[0196]AV100使用处理器146，以通过将约束集合1302的各约束叠加在约束集合13一步指示控制电路406根据轨迹1520穿过道路路段150于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用驶区域和所述道路路段的车道标记其中至少之理器使用所述传感器数据随站点和时间而参数化的基于空