CN112955897A 用于三维(3d)对象检测的系统和方法 （图森有限公司）

PCT/US2019/0560042WO2020/056431EN2020.03.本文公开了一种用于三维(3D)对象检测的得与关联于所述图像帧的特定环境相关的地质信息并获得与所述至少一个相机相关联的相机2从与自主车辆相关联的至少一个相机接收图像数据使用经训练的深度学习模块，以确定在所述图像帧中使用拟合模块，以获得与关联于所述图像帧的特使用所述拟合模块，以使用所述3D边界框、所述2.根据权利要求1所述的系统，还被配置成将所述对象的所述3D属性提供给自主驾驶3.根据权利要求1所述的系统，其中所述至少一个相机包括来自由以下各项组成的组4.根据权利要求1所述的系统，其中在所述对象周围的所述三维(3D)边界框的所述顶6.根据权利要求1所述的系统，其中所述相机校准信息包括具有相机非固有和固有矩从与自主车辆相关联的至少一个相机接收图像数据使用经训练的深度学习模块，以确定在所述图像帧中使用拟合模块，以获得与关联于所述图像帧的特使用所述拟合模块，以使用所述3D边界框、所述34[0002]该PCT申请要求2018年9月12日提交的美国专利申请第16/129,040号的优先权和权益。上文申请的全部公开内容以引用的方式被并入作为本专利文档的公开内容的一部[0008]该PCT申请中公开的技术可以被实施以提供用于三维(3D)对象检测的系统和方5得与关联于图像帧的特定环境相关的地质信息并获得与至少一个相机相关联的相机校准6[0017]图2图示了示例图像，该示例图像示出了图像平面中车辆的二维(2D)和三维(3D)[0018]图3和图4图示了包括来自广角相机的图像的第一图像样本集；图3图示了如由示例实施例的深度学习模块处理的第一图像集的广角图像；图4图示了如由示例实施例的拟[0019]图5和图6图示了包括来自中距相机的图像的第一图像样本集；图5图示了如由示例实施例的深度学习模块处理的第一图像集的中距图像；图6图示了如由示例实施例的拟[0020]图7和图8图示了包括来自远距相机的图像的第一图像样本集；图7图示了如由示例实施例的深度学习模块处理的第一图像集的远距图像；图8图示了如由示例实施例的拟[0027]图21图示了如在用于自主车辆的3D图像处理系统的上下文中所使用的示例实施集当被执行时可以使得机器执行本文中所讨7[0032]本文中所公开的示例实施例可以在车辆生态系统101中的车载控制系统150的上通技术人员将清楚的是，本文中所描述和要求保护的3D图像处理模块200也可以在各种其信息/数据源和相关服务传递给可以被安装在车辆105中的车载控制系统150和3D图像处理系统140的设备中的一个)可以生成可被车载控制系统150接收到的图像和定时数据。被安装在车辆105中或被安装在车辆105上的一个或多个相机可以配备有各种类型的相机镜头为车辆子系统140的子系统中的另一子系统。自主车辆控制子系统例如可以使用与对象特征相关联的实时3D信息来在现实世界的驾驶环境中安全且高效地导航和控制车辆105，同被提供以促进车载控制系统150与多个车辆子系统140之间的数据通信。车载控制系统150处理模块200用于处理从一个或多个车辆子系统140接收到的图像数据。数据处理器171可165可以被提供以促进数据处理器171与3D图像处理模块200之间的数据通信。在各种示例实施例中，类似于3D图像处理模块200被配置的多个处理模块可以被提供以供数据处理器图像处理模块200可以可选地被下载到车载控制系统150，或与车载控制系统150分开地被8[0035]车载控制系统150可以被配置成从广域网120和被连接到广域网120的网络资源动设备132可以被用于经由网络120进行通信。web启用设备接口131可以被车载控制系统[0036]生态系统101可以包括广域数据网络120。网络120表示一个或多个常规的广域数生成和/或分发数据，该数据可以经由车载web启用设备130或用户移动设备132在车辆105规信号接收机制将车载控制系统150和3D图像处理模块200与数据网络120连接。这种蜂窝模块200可以从车辆105内支持各种可联网的[0037]如图1中所示出，车载控制系统150和3D图像处理模块200还可以从用户移动设备这些标准移动设备可以产生、接收和/或传递用于车载控制系统150和3D图像处理模块200数据通信。移动设备132可以经由网络120从移动设备132本身的内部存储器组件或从网络和3D图像处理模块200都可以从移动设备132接收数据。车辆操作子系统140(例如车辆105的ECU)经由车辆子系统接口141传达到车载控制系统1509的数据信号可以包括关于车辆105的组件或子系统中的一个或多个组件或子系统的状态的方法的实施例可以基本上与使用如本文中所定义的CAN总线或相似的数据通信总线的任何[0039]仍然参考图1，生态系统101的示例实施例和其中的车辆操作子系统140可以包括且每个子系统可以包括多个元件。进一步地，车辆105的子系统和元件中的每个可以被互包括六个或更多个车轮的那些车轮几何形状。车辆105的车轮的任何组合可以可操作以相可操作以在车辆105中传送和控制电信号的元件。这些电信号可以被用于启动车辆105的[0043]车辆传感器子系统144可以包括多个传感器，这些传感器被配置成感测关于车辆设备。车辆传感器子系统144还可以包括被配置成监测车辆105的内部系统的传感器(例如[0044]IMU可以包括被配置成基于惯性加速度感测车辆105的位置和定向改变的传感器关于车辆105相对于地球的位置的信息。RADAR单元可以表示利用无线电信号来感测车辆[0046]转向单元可以表示可以可操作以调整车辆105的行进方向的机构的任何组合。节包括被配置成使车辆105减速的机构的任何组合。制动单元可以使用摩擦力以标准方式使单元可以被配置成合并来自3D图像处理模块200、GPS收发器和一个或多个预定地图的数置成在没有驾驶者的情况下控制车辆105进行操作，或在控制车辆105时提供驾驶者辅助。在一些实施例中，自主控制单元可以被配置成合并来自3D图像处理模块200、GPS收发器、[0048]在示例实施例中，乘员界面子系统148可以提供例如用于车辆105的用户/乘员与经由电容感测、电阻感测或表面声波过程来感测用户的手指的位置和移动中的至少一个。[0049]在其他实例中，乘员界面子系统148可以提供用于车辆105与车辆105的环境内的备可以包括车辆和/或路边站之间的公共或私有数据通信。[0050]车辆105的许多或全部功能可以被计算系统170控制。计算系统170可以包括至少器执行被存储在非暂时性计算机可读介质(诸如数据存储设备172)中的处理指令。计算系车辆105的各种功能(包括本文中结合图式所描述的那些功能)的处理指令(例如程序逻[0051]除了处理指令之外，数据存储设备172还可以存储数据，该数据诸如图像处理参主和/或手动模式操作期间被车辆105和计算系统1[0052]车辆105可以包括用于向车辆105的用户或乘员提供信息或从该用户或乘员接收[0053]计算系统170可以基于从各种车辆子系统(例如车辆驱动子系统142、车辆传感器子系统144和车辆控制子系统146)以及从乘员界面子系统148接收到的输入来控制车辆105以可操作以提供对车辆105及其子系统的许多方辆105的设备元件可以以有线或无线方式[0055]附加地，其他数据和/或内容(在本文中表示为辅助数据)可以通过如上文所描述的车载控制系统150从本地和/或远程源获得。辅助数据可以被用于基于多种因素(包括用的状态等))和可以从如本文中所描述的各种来源(本地和远程)获得的各种其他数据来增[0056]在特定实施例中，车载控制系统150和3D图像处理模块200可以被实施为车辆105络120与移动设备132和/或网络资源122的数据连接，车载控制系统150和3D图像处理模块统和方法可以包括3D图像处理系统210，该3D图像处理系统被配置成从与自主车辆相关联[0059]在本文中所描述的各种实施例中，3D图像处理系统210的3D图像处理模块200(参和固有矩阵的相机校准矩阵)来求解3D属性。相机非固有矩阵表示从3D世界坐标到3D相机并结合图21更详细地描述了深度学习模块212和拟合模块214。3D图像处理模块200可以跨具有如由如本文中所描述的3D图像处理模块200生成的2D边界框(黄色)和3D边界框(绿色)施例中，深度学习模块212增加要回归的点的数目(例如从2D模型中的2个角增加到3D模型块212的推理训练期间，训练图像集可以被输入到深度学习模块212的网络(例如神经网的训练之后，还应用了非极大值抑制(NMS)来细化边界框并提高预测质量。深度学习模块得的地形图，该地形图包含具有地形的高度的准确的全球定位系统(GPS)地点，拟合模块214可以从其获得与输入图像相关联的准确的地理信息。为了解决第二个问题，拟合模块置成最小化对应于来自深度学习模块212的对象的八个点的输出值与来自3D世界的如由拟用于车辆对象的变量的预定义界限可以全部大于1米且小于且50米。如本文中所描述的拟[0083]由示例实施例产生的3D对象检测数据结果220的样本图示在图3至图20中示出并[0084]图3和图4图示了包括来自广角相机的图像的第一图像样本集；图3图示了如由示[0085]图5和图6图示了包括来自中距相机的图像的第一图像样本集；图5图示了如由示[0086]图7和图8图示了包括来自远距相机的图像的第一图像样本集；图7图示了如由示例实施例的深度学习模块212处理的第二图像集的广角图像；图10图示了如由示例实施例示例实施例的深度学习模块212处理的第二图像集的中距图像；图12图示了如由示例实施示例实施例的深度学习模块212处理的第二图像集的远距图像；图14图示了如由示例实施示例实施例的深度学习模块212处理的第三图像集的广角图像；图16图示了如由示例实施示例实施例的深度学习模块212处理的第三图像集的中距图像；图18图示了如由示例实施示例实施例的深度学习模块212处理的第三图像集的远距图像；图20图示了如由示例实施[0094]现在参考图21，可以在用于自主车辆的3D图像处理系统210的上下文中使用本文中所公开的示例实施例。3D图像处理系统210可以包括如上文所描述的3D图像处理模块理模块执行。3D图像处理系统210可以包括如上文所描述的深度学习模块212和拟合模块3D图像处理模块200可以从一个或多个相机接收一个或多个图像流或图像数据集(框205)。如上文所描述，对应于来自相机的原始图像帧的图像数据集被提供给3D图像处理模块2003D边界框的所有顶点。拟合模块214可以使用来自地形图的地质信息和包括具有相机非固有和固有矩阵的相机校准矩阵的相机信息来产生输入图像中对象的3D属性。拟合模块214处理系统210和其中的3D图像处理模块200的输出的3D对象检测数据220。上文提供了由3D到的对象周围的二维(2D)边界框的像素坐标(处理框1020)；使用经训练的深度学习模块，图像帧的特定环境相关的地质信息并获得与至少一个相机相关联的相机校准信息(处理框的车载控制系统150和/或3D图像处理模块200进行通信以获得对经由任何数据通信模式传的车载控制系统150和/或3D图像处理模块200进行通信以获得对经由任何进程间或联网数所讨论的任何一种或多种方法的指令(或多个指令集)的机器的任何集合。网络资源122可各种实施例可以支持除了超文本标记语言(HTML)/XML之外的数据格式或除了开放/标准数据格式之外的格式。本文中所描述的各种实施例可以支持任何电子文件格式(诸如便携式[0098]与网络资源122一起使用的广域数据网络120(也被表示为网络云)可以被配置成据连接(诸如通过通用串行总线(USB)或以太网端口)、其他形式的计算机可读介质或其任和其他相关电子设备可以经由调制解调器和临时电话[0099]网络120还可以包括还可以与独立自组织网络等交叉的各种无线子网络中的任一由器等的自主系统。这些连接器可以被配置成自由且随机地移动并且任意地组织它们自[0100]在特定实施例中，移动设备132和/或网络资源122可以充当使得用户能够访问和使用车载控制系统150和/或3D图像处理模块200来与车辆子系统的一个或多个组件进行交用web的客户端设备可以包括浏览器应用，该浏览器应用能够接收和发送无线应用协议消言(HTML)、动态HTML、手持式设备标记语言(HDML)、无线标记语言(WML)、WMLScript、由网络传输从另一计算设备接收内容或消息。客户端应用可以包括提供和接收文本内容、使得设备的用户能够经由网络无线地向网络资源发送信[0102]车载控制系统150和/或3D图像处理模块200可以使用增强执行环境的安全性的系统被实施，从而提高安全性并降低车载控制系统150和/或3D图像处理模块200和相关服务以使用受信任执行环境被实施，该受信任执行环境可以确保敏感数据以安全的方式被存[0103]图23示出了呈计算系统700的示例形式的机器的图解表示，在该计算系统内指令集当被执行时和/或处理逻辑当被启动时可以使得机器执行本文中所描述和/或要求保护或要求保护的任何一种或多种方法的指令(或多个指令集[0104]示例计算系统700可以包括可以经由总线或其他数据传送系统706彼此通信的数络接口712还可以被配置成与各种其他有线和/或无线通信协议(包括TCP/IP、UDP、SIP、通过这些机构，信息/数据可以经由网络714在计算系统700与另一计算或通信系统之间传一部分部分地实施于硬件中。逻辑708或其一部分还可以经由网络接口712来通过网络714质”应被理解为包括存储一个或多个指令集的单种非暂时性介质或多种非暂时性介质(例不应被解译为反映要求保护的实施例要求比每个权利要求中明确叙述的特征更多的特征