CN113228043B 移动平台基于神经网络的障碍物检测及关联的系统和方法 （深圳市卓驭科技有限公司）

2021.06.29PCT/CN2019/0727032019.01.22WO2020/150904EN2020.07.30道科技园社区科苑路8号讯美科技广移动平台基于神经网络的障碍物检测及关本文公开了检测与移动平台相邻的环境中得指示环绕移动平台的环境的至少一部分的传域指示所述环境内的障碍物的至少一部分；以选区域的至少一个子集馈送到障碍物检测神经2至少部分地基于将由所述激光单元获得的点云投影到与由所述相机获得的图像相对将所述特征图馈送到中间神经网络，以生成对环绕所述自动运将所述点云、所述特征图和所述多个候选区域的至少一个2.一种计算机实现的方法，所述方法用于使用述图像数据包括环绕所述自动运载工具的环境的至少一部分的将所述特征图馈送到中间神经网络，以生成对环绕所述自动运将所述深度图、所述特征图和所述多个候选区域的至少一个子集馈送3.一种计算机实现的方法，所述方法用于使从所述一个或多个传感器获得指示环绕所述移动平台的环境的至少一部分的传感器将所述深度信息、所述特征图和所述多个候选区域的至少一个子集一个或多个图像馈送到与所述障碍物检测神经网络分开的基础3分地基于直接或间接从立体相机或单目相机中的至少一个生是至少部分地基于将所述点云投影到根据所述一个或多个图像中的至少一个图像所定义423.一种存储计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令从由所述移动平台承载的一个或多个传感器获得指示环绕所述移动平台的环境的至将所述深度信息、所述特征图和所述多个候选区域的至少一个子集一个或多个图像馈送到与所述障碍物检测神经网络分开的基础24.根据权利要求23所述的计算机可读介质，其中，所述一个或多个传感器包括光雷度图是至少部分地基于直接或间接从立体相机或单目相机中的至少一个生成的视差数据馈送到与所述障碍物检测神经网络分开的深度估计神经所述一个或多个图像的至少一个传感器的非固有校准参数和/或固543.一种包括被编程的控制器的移动平台，所述被编程的控制器至少部分地控制所述从由所述移动平台承载的一个或多个传感器获得指示环绕所述移动平台的环境的至将所述深度信息、所述特征图和所述多个候选区域的至少一个子集一个或多个图像馈送到与所述障碍物检测神经网络分开的基础6至少部分地基于直接或间接从立体相机或单目相机中的至少一个生成的视差数据所确定特征图是至少部分地基于将所述点云投影到根据所述一个或多个图像中的至少一个图像个或多个图像的至少一个传感器的非固有校准参数和/或59.根据权利要求43所述的移动平台，其中，所述障碍物检测神经网络包括第一子网60.根据权利要求59所述的移动平台，其中，所述障碍物检测神经网络包括第二子网61.根据权利要求60所述的移动平台，其中，所述障碍物检测神经网络包括第三子网78[0001]本公开的技术大致针对检测与移动平台相邻的三维(3D)数据馈送到与所述障碍物检测神经网络分开的基础神经网络来生9云投影到根据所述图像数据定义的2D网移动平台承载的一个或多个传感器获得指示环绕所述移动平台的环境的至少一部分的传数据馈送到与所述障碍物检测神经网络分开的基础神经网络来生云投影到根据所述图像数据定义的2D网格数据馈送到与所述障碍物检测神经网络分开的基础神经网络来生云投影到根据所述图像数据定义的2D网格[0071]图1是具有根据本公开的技术的一些实施例所配置的元件的代表性系统100的示[0072]图2是示出根据本公开的技术的一些实施例的将人工神经网络(ANN)的分级结构[0073]图3是示出根据本公开的技术的一些实施例的将ANN的分级结构用于为移动平台[0074]图4A和图4B示出根据本公开的技术的一些实施例的2D网格和在其上识别的候选[0075]图5是示出根据本公开的技术的一些实施例的使用障碍物检测网络的障碍物检测[0077]图7是示出可以用于实现本公开的技术的各个部分的计算机系统或其他控制装置[0078]图8是示出根据本公开的技术的一些实施例的使用候选区域网络的候选区域确定[0079]图9示出根据本公开的技术的一些实施例的使用由移动平台承载的一个或多个传[0081]图11A和图11B示出根据本公开的技术的一些实施例的基础神经网络中所使用的点云数据可以用作检测环绕移动平台或从移动平台以其他方式可观察的环境中的障碍物器所收集的各种数据使用人工神经网络(ANN)的分级结构和基于区域的方法来检测障碍物个ANN互连的ANN分级结构的特定结构尤其对本公开的技术的各种优点和改进(例如，计算[0086]ANN通常基于被连接的被称作人工神经元的单元或节点的集合。人工神经元之间信号可能在多次穿过各层之后从第一个(输入)层行进到最后一个(输[0087]在一些实施例中，由本公开的技术所使用的一个或多个ANN包括卷积神经网络是基于其共享权重架构和平移不变特性的平移不变或空间不变人工神经网络(SIANN)。作为说明，CNN受到生物过程的启示，其中的神经元之间的连接模式与动物视皮层的组织相相机图像数据和/或单目图像数据，并且生成用于馈送到一个或多个其他神经网络中的中括由可编程计算机或控制器执行的例程。可编程计算机或控制器可以或可以不驻留在相应台相关联的单独但专用的计算机，或者是基于网络或基于云的计算服务的一部分。相关领域技术人员将会理解，除了下文所示和所述的那些之外，还可以在计算机或控制器系统上实施该技术。该技术可以体现在被专门编程、配置或构造为执行下文所述的一个或多个计器)的任何适当的显示介质上。用于执行计算机或控制器可执行任务的指令可以存储在任含在任何合适的存储装置中，包括例如闪存驱动器、通用串行总线(USB)装置和/或其他合[0093]图1是具有根据本公开的技术的一些实施例所配置的元件的代表性系统100的示[0094]移动平台110可以包括可以承载负载114的主体112。根据本文描述的实施例可以[0095]移动平台110可以被配置为从控制系统120接收控制命令和/或向控制系统120发一控制器122和/或定位为远离移动平台110并且经由通信链路128(例如，诸如基于射频器122可以包括执行引导移动平台110的动作的指令的计算机可读介质126，包括但不限于二控制器124可以被消除或仅被操作者用于无[0096]为了提供安全和高效的操作，能够自动或半自动地检测障碍物和/或参与用于避免障碍物的回避机动对于自动运载工具、UAV和其他类型的无人驾驶运载工具可以是有益施例中，移动平台包括被配置为测量物体和移动平台之间的距离的一个或多个传感器(例[0098]图9示出根据本公开的技术的一些实施例的使用由移动平台承载的一个或多个传候选区域指示所述环境内的障碍物的至少一[0102]参考图2，控制器可以使用由移动平台承载的一个或多个传感器来获得点云数据飞行时间(ToF)相机、立体相机或单目相机或其他传感器可以提供用于获得环绕或以其他方式相邻于移动平台但是不必邻接移动平台的环境的深度信息(例如，场景的不同部分和地基于直接或间接地从图像数据204生成的视差数据所确定的[0104]控制器将点云数据202馈送到预处理模块210(例如，一个(其可以被实施例中，特征图222可以采用在大小上小于初步特征212的基于2D网格的特征图的形式。池化层)，所述多个模块中的每个模块对输入特征(初步特征212和图像数据204)执行非线操作之后，初步特征可以被变换成6个特征图的第一集合。这个特征图的第一集合均具有[0116]图11A示出根据本公开的技术的一些实施例的基础神经网络中所使用的级联卷积层和池化层的示例。如图所示，基础神经网络包括具有以级联方式彼此串联的3个卷积层第六集合(C6)还可以被全连接层和/或高斯层变换成例如作为来自基础神经网络的输出的[0118]图8是示出根据本公开的技术的一些实施例的使用候选区域神经网络830(例如，域的2D网格回归模块860。来自可能性估计模块850和2D网格回归模块860的输出被馈送到滤模块870随后可以输出要被包括在候选区域数据832(例如，候选区域数据232)中的更少[0121]候选区域可以是包括具有基础块412的一组连接或不连接的网格块的2D区域。每得通过由运动中的移动平台承载的立体相机获取的立体彩色图像(例如，具有720*1280的参数将点云投影到图像的2D网格(例如，平面)上。投影可以导致与图像相同大小(例如，[0124]接着，(a)初步特征(例如，具有720*1280*3的维度)和(b)立体图像的左眼(或右基础神经网络可以包括依次级联的4个模块，所述模块中的每个模块执行非线性特征变换障碍物检测神经网络240(例如，包括一个或多个CNN)。如将在下文参考图5更详细地讨论测到的障碍物的一个或多个状态属性242和/或环境内的一个或多个障碍物中的已检测到[0128]图3是示出根据本公开的技术的一些实施例的将ANN的分级结构用于为移动平台[0129]参考图3，控制器可以使用由移动平台承载的相机或其他视觉传感器获得图像数方式与移动平台相邻但是不必邻接移动平台的环境的深度信息(例如，场景的不同部分和网络320可以基于图像数据302输出特征图322。特征图322可以采用大小上小于图像数据图像数据302中所包括的目标图像，深度估计神经网络310可以分析在目标图像之前和/或体相机或单目相机中的至少一个生成的视差数[0132]控制器可以将特征图322馈送到诸如候选区域神经网络330(例如，可以包括一个包括或指示候选区域的候选区域数据332。每个候选区域可以指示环境内的障碍物的至少[0133]如上文参考图4B所讨论的，候选区域可以是包括基础块412的一组连接的或不连准可以应用于候选区域、其相关联的基础块和/或用于选择用于输出的数据的子集的可能像素)且该图像包括包含障碍物A的一个或多个障碍物的2D表示。参考图8，特征变换模块[0135]继续参考图8，特征变换模块840还将经变换的特征图馈送到可以确定表示像素检测到的障碍物的其他属性。控制器可以基于已检测到的障碍物的状态属性342输出命令[0138]图5是说明根据本公开的技术的一些实施例的使用(例如，与在参考图2在上文描述的方法200中使用的障碍物检测神经网络240或在参考图3在上文描述的方法300中使用的障碍物检测神经网络340相对应的)障碍物检测神经网络540的障碍物检测过程500的流[0139]初始位置子网络510可以接收深度信息502(例如，如方法200中的点云数据202或如方法300中的深度信息312)和候选区域数据504(例如，如方法200中的候选区域数据2322D网格)，初始位置子网络510可以(a)使用深度信息312识别与候选区域相对应的3D区域中间值的均值)计算并输出包括所识别的3D区域的可能的障如方法200中的候选区域数据232或如方法300中的候选区域数据332)和特征图506(例如，如方法200中的特征图222或如方法300中的特征图322)作为输入；执行一个或多个层的线此每个区域特征可以是基于在特征图上所识别的相应减小的2D区域所计算的固定长度的[0142]3D预测子网络530可以接收来自初始位置子网络510和区域特征子网络520的输[0143]在一些实施例中，3D预测子网络530包括预测以下中的至少一项的一个或多个子[0146]作为说明，定向预测子模块可以将从-180度至+180度的范围划分成多个间隔(例[0147]作为说明，3D大小预测子模块可以使用每个语义类别的障碍物的3D表示(例如，[0151]在根据本公开的技术的实施例中所使用的各种ANN组件可以以本领域技术人员认用于方法200的点云和对应的图像、用于方法300的立体图像)和其相关联的被人工识别为ANN分级结构的一部分(例如，基础神经网络220和候选区域神经网络230)被联合训练，而境的深度测量，所以基础神经网络320和深度估计神经网络310可以基于图像(作为对基础神经网络320的输入)和其相关联的深度测量(作为来自深度估计神经网络310的输出)被联[0154]而且，障碍物检测神经网络540可以被单独训练或与本文所公开的其他神经网络表示障碍物的人工标记的3D区域。方法200的神经网络的联合训练可以基于图像及其对应[0156]图7是示出可以用于实现本公开的技术的各个部分的计算机系统700或其他控制机系统接口(SCSI)总线、通用串行总线(USB)、IIC(I2C)总线、或电气电子工程师协会器705可以是