CN113970924B 用于运载工具的方法和系统 （动态Ad有限责任公司）

US2020160033A1,202US2019258878A1,2019.08.22供用于来自图像语义网络的单目3D对象检测的技术。图像语义网络(ISN)是基于单帧检测器(SSD)的单阶段的单图像对象检测网络。在实施2使用运载工具的一个或多个处理器从所述运载工使用以所述图像作为输入的对象检测网络，基于二维预选框即2生成所检测到的所述对象的编码三维属性即编码3D属性，所述编使用所述编码3D属性和照相机内参数生成所检测到的该对象的使用所述运载工具的控制器使所述运载工具沿着所述存储指令的存储器，所述指令当由所述一个或多个处理器执行使用以所述图像作为输入的对象检测网络，基于二维预选框即2生成所检测到的所述对象的编码三维属性即编码3D属性，所述编3使用所述编码3D属性和照相机内参数生成所检测到的该对象的使用所述运载工具的控制器使所述运载工具沿着所述4距(LiDAR)和无线电探测和测距(RADAR)传感器。来自照相机的二维(2D)图像和来自LiDAR机内参数(cameraintrinsicparameters)生成该对象的3D边界框；至少部分地使用所生网络生成对象的3D边界框和编码3D属性，其可以由需要快速准确对象检测的各种应用(包出的对象的3D边界框和编码3D属性简化与来自3D对象检测器的输出(如LiDAR点云)的融5种要素表示的特征不能包括在一些实施例中或不能在一些实施例中6[0042]提供了用于来自图像语义网络的单目3D对象检测的技术。图像语义网络(ISN)是7[0055]在本文所描述的各种实施例的说明书中使用的术语仅用于描述特定实施例的目如本文所使用的“和/或”是指并且包括一个或多个相关清单项目的任何和所有可能的组8[0058]一般而言，本文件描述了适用于任何具有一种或多种自主能力的运载工具的技如所谓的第2级和第1级运载工具(见SAE国际标准J3016：道路上机动车自动驾驶系统相关[0061]在实施例中，AV系统120包括用于测量或推断AV100的状态或条件的属性一种或多种其它类型的通信)的组合有时被称为运载工具对所有事物(V2X)通信。V2X通信通常符合一个或多个通信标准，用于与自主运载工具进行的和在自主运载工具之间的通9数据可以存储在AV100上的存储器144中，或者通过通信信道从远程数据库134传输到AV[0068]位于AV100上的计算装置146基于实时传感器数据和先验信息两者以算法方式生100的用户(例如，乘员或远程用户)提供信息和提醒并接收来自该用户的输入。在实施例中心204a、204b和204c。数据中心204a、204b和204c为连接到云202的计算机系统206a、示的云数据中心204a)是指构成云(例如图2中所示的云202或云的特定部分)的服务器的物[0073]云202包括云数据中心204a、204b和204c以及用于连接云数据中心204a、204b和204c并有助于促进计算系统206a-f对云计算服务的访问的网络和网络资源(例如，网络设[0074]计算系统206a-f或云计算服务消费者通过网络链路和网络适配器连接到云202。算机系统、手持装置、网络装置或包含硬线和/或程序逻辑以实现这些技术的任何其它装[0080]根据一个实施例，本文的技术由计算机系统300响应于处理器304执行主存储器一存储介质读入主存储器306。执行主存储器306中包含的指令序列使处理器304执行本文机系统300的本地调制解调器接收电话线路上的数据，并使用红外发射器将数据转换为红外信号。红外检测器接收红外信号中承载的数据，并且适当的电路将数据放置在总线302器306接收的指令可以可选地在处理器304执行之前或之后存储在存储装置31接至本地网络322的网络链路320的双向数据通信。例如，通信接口318是综合业务数字网链路320通过本地网络322提供与主计算机324或与由因特网服务提供商(ISP)326运营的云信网络来提供数据通信服务。本地网络322和因特网328两者都使用承载数字数据流的电、[0086]计算机系统300通过(一个或多个)网络、网络链路320和通信接口318发送消息和[0090]感知模块402使用例如也如图1所示的一个或多个传感器121来识别附近的物理对[0092]控制模块406接收表示轨迹414的数据和表示AV位置418的数据，并且以将使得AV[0094]图5示出感知模块402(图4)所使用的输入502a-502d(例如，图1中所示的传感器LiDAR数据是用于构造环境190的表示的3D或2D点(也相机系统产生照相机数据作为输出504c。照相机数据通常采用图像数据(例如，诸如RAW、以具有为了感知遥远的对象而优化的诸如传感用相同类型的单个组合输出或多个组合输出(例如，使用相同组合技术或组合相同输出或中，与LiDAR系统相关联的一个或多个数据处理系统生成表示LiDAR系统的视场614的图像的形式的照相机系统输出504c和采用LiDAR数据点704的形式的LiDAR系统输出504a两者。一致的间隔发射光，因此地面802将以相同的一致间隔将光反射回到LiDAR系统602。在AV[0103]图9示出(例如，如图4所示的)规划模块404的输入和输出之间的关系的框图90规划数据910以例如基于出口是否临近、多个车道中的一个或多个车道是否存在其它运载工具、或者在几分钟或更少时间的过程中变化的其它因素来从这多个车道中选择某车道。类似地，在一些实现中，车道级路线规划数据908包括路线902的某路段特有的速率约束的地412的)目的地数据918和对象数据920(例如，如图4所示的感知模块402所感知的经分言，如图10所示的有向图那样的有向图1000用于确定任何起点1002和终点1004之间的路中的表示AV100的视场中的物理地点的一部分[0109]节点1006a-1006d通过边1010a-1010c连接。如果两个节点1006a-1006b通过边1010a-1010c是单向的，从某种意义上，AV100可以从第一节点行驶到第二节点，然而AV路的单独车道，或者由于法律或物理约束因而仅能沿一个方向穿过的其它特征的情况下，[0110]在实施例中，规划模块404使用有向图1000来识别由起点1002和终点1004之间的[0111]边1010a-1010c具有关联成本1014a-1014b。成本1014a-1014b是表示在AV100选物理距离是另一边1010b所表示的物理距离的两倍，则第一边1010a的关联成本1014a可以根据控制器1102而操作，该控制器1102例如包括：与处理器304类似的一个或多个处理器(例如，诸如微处理器或微控制器或这两者等的一个或多个计算机处理器)；与主存储器望输出之间的差分1113来进行所需的调整。测量输出1114包括测量位置1116、测量速度[0117]在实施例中，例如通过诸如照相机或LiDAR传感器等的传感器预先检测与干扰制动器控制器1204的操作的速率分析器1202。例如，速率分析器1202根据例如由控制器[0119]控制器1102还具有影响方向盘控制器1210的操作的横向跟踪横向跟踪控制器1208根据例如由控制器1102接收到并由横向跟踪控制器1208处理后的反[0120]控制器1102接收用于确定如何控制油门/制动器1206和转向角致动器1212的若干输入。规划模块404提供控制器1102例如选择AV100开始操作时的航向并确达十字交叉路口时穿过哪个道路路段所使用的信息。定位模块408例如将描述AV100的当[0122]图13是根据一个或多个实施例的图像语义网络(ISN)1300的框图。如先前所述，像1301中的每个像素的类别并且输出图像1301中的每个像素的语义分割数据(例如，分类forObjectDetectionfromPointClouds”所述，并且检测头是SSD，如由W.Liu，连同预选框和照相机内参数一起解码到运载工具坐标系中的3D2D和3D检测的任何网络或网络集合可以与所公开的实施例一起使用。多个3D边界框，包括边界框1401(SUV)、1402(行人/慢下面参考图15和图16描述根据图像数据计xδuvwh与P(xpppp)组合以得到2D边界框1501K是用于K个类别的类别(置信)分值。用“SmoothL1Loss”方法，如在FasterRCNN中所述：在20KaimingHe，RossGirshick，和JianSun，FasterR-CNN：Towdetectionwithregionproposaln于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求书中所使用