CN114684062B 约束设备定位（辉达公司）

(12)发明专利地址美国加利福尼亚州权利要求书2页说明书36页附图17页编快系统分析图像以对在图像中描绘的安全带进行2接收表示受试者和与所述受试者相对应的约束设备的图像；至少部分地基于包括所述约束设备的至少一个边缘的多个像素，执行对表示所述约束设备的所述图像的区域的初始分类；将约束集合应用于所述图像的区域的像素候选以提炼所述像素候选，以获得经提炼的至少部分地基于所述经提炼的像素候选来生成指示所述约束设备的应用的模型。2.根据权利要求1所述的方法，其中通过使用沿着指定方向的像素和多个相邻像素来执行所述初始分类，以确定作为所述约束设备的一部分的像素集合。3.根据权利要求2所述的方法，其中确定作为所述约束设备的一部分的所述像素集合至少部分地基于沿着所述指定方向的所述像素和所述多个相邻像素的强度水平。4.根据权利要求1所述的方法，其中所述约束设备包括一个或更多个属性，所述一个或更多个属性至少包括：所述约束设备的宽度大小和车辆中的所述约束设备的一个或更多个5.根据权利要求1所述的方法，其中所述图像由包括一个或更多个配置的相机捕获，所述一个或更多个配置至少包括：所述相机的校准、相机姿势和相机镜头的类型。6.根据权利要求1所述的方法，还包括：激活信号以指示所述约束设备相对于所述受试者处于不适当位置。7.根据权利要求1所述的方法，进一步包括：使用所述模型来确定所述约束设备相对于所述受试者的位置，其中所述模型近似于所述约束设备的形状。一个或更多个处理器；以及存储器，其存储计算机可执行指令，所述计算机可执行指令能够由所述一个或更多个处理器执行以使所述系统：至少部分地基于包括约束设备的至少一个边缘的多个像素，执行对表示应用于受试者的所述约束设备的图像的区域的初始分类；将约束集合应用于所述图像的区域的像素候选以提炼所述像素候选，以获得经提炼的至少部分地基于所述经提炼的像素候选来生成指示所述约束设备的应用的模型。9.根据权利要求8所述的系统，其中所述模型包括多项式曲线，所述多项式曲线具有经计算以匹配所述约束设备的形状的系数。所述系统包括并行处理单元PPU;所述图像包括一个或更多个区域；以及使用所述PPU的一个或更多个线程并行地对所述一个或更多个区域进行分类。11.根据权利要求8所述的系统，其中所述模型指示所述约束设备是否正确地应用于所述受试者。12.根据权利要求8所述的系统，其中所述约束集合至少包括宽度范围。313.根据权利要求8所述的系统，其中所述图像的区域对应于所述图像的一个或更多个像素的分组。14.根据权利要求8所述的系统，其中从来自车辆的一个或更多个系统的一个或更多个网络获得所述图像。15.根据权利要求14所述的系统，其中所述约束设备的所述模型通过所述一个或更多个网络被提供给所述车辆的所述一个或更多个系统。推进系统；图像捕获设备，其能够捕获车辆的至少一个乘客的图像；以及计算机系统，其包括指令，所述指令能够由所述计算机系统执行以至少：访问表示受试者和应用于所述受试者的约束设备的图像；至少部分地基于包括所述约束设备的至少一个边缘的多个像素，执行对表示所述约束设备的所述图像的区域的初始分类；将约束集合应用于所述图像的区域的像素候选以提炼所述像素候选，以获得经提炼的像素候选；至少部分地基于所述经提炼的像素候选来生成指示所述约束设备的应用的模型；以及至少部分地基于所述模型来控制所述车辆的至少一个子系统的功能。17.根据权利要求16所述的车辆，其中所述约束设备是所述车辆的安全带。18.根据权利要求16所述的车辆，其中所述车辆的一个子系统是指示所述约束设备是否被佩戴和正确应用的警告系统。19.根据权利要求16所述的车辆，其中所述车辆的一个子系统发送信号以通过所述推进系统控制所述车辆的推进。20.根据权利要求16所述的车辆，其中所述车辆的一个子系统向一个或更多个远程系统传送所述约束设备是否被佩戴和正确应用的指示。4[0001]相关申请的交叉引用[0002]出于所有目的，本申请通过引用合并以下美国专利申请的全部公开内容：在2020年8月28日提交的名称为“基于神经网络使用空间模型确定注视方向(NEURALNETWORK利申请No.17/005,914,在2020年8月27日提交的名称为“使用面部标志和相关联的置信值LANDMARKSANDASSOCIATEDCONFIDENCEVALUES)”的共同未决的美国专利申请No.17/004,252,以及在2020年6月18日提交的名称为“使用基准标记的基于机器学习的安全带检USINGFIDUCIALMARKING)”的共同未决的美背景技术[0003]运输或容纳乘客或操作者的汽车和其他车辆和机器通常具有各种安全特征，例如安全带或其他约束(restraint)设备。在许多情况下，如果没有正确地使用，则安全设备可以是不太有效的或甚至是无效的。例如，不正确佩戴的安全带可以比正确佩戴的安全带显著不太有效。已经进行了各种尝试来改进这种安全设备的使用。一些设备涉及改造机器，这可能是困难且昂贵的，尤其是考虑到相同类型的机器之间的变化。一般来说，检测约束设备(例如车辆中的安全带)的正确使用具有许多挑战且在准确性方面具有各种各样的成功。技术领域[0004]至少一个实施例涉及用于从一个或更多个图像中识别和建模一个或更多个约束设备的处理资源。例如，至少一个实施例涉及用于根据本文描述的各种新颖技术从一个或更多个约束设备的一个或更多个图像中识别和建模一个或更多个约束设备的处理器或计算系统。附图说明[0005]下面参照所附附图详细描述本公开用于约束设备定位的系统和方法，其中：[0006]图1示出了根据本公开的一些实施例的用于安全带定位的系统的示例；[0007]图2示出了根据本公开的一些实施例的用于一个或更多个像素的安全带图块(pitch)的示例，该一个或更多个像素在一个或更多个目标方向上具有一个或更多个像素邻居；[0008]图3示出了根据本公开的一些实施例的用于一个或更多个像素的非安全带图块的示例，该一个或更多个像素在一个或更多个目标方向上具有一个或更多个像素邻居；[0009]图4示出了根据本公开的一些实施例的安全带面图块[0010]图5示出了根据本公开的一些实施例的结构化边缘的定位的示例；[0011]图6示出了根据本公开的一些实施例的候选地图的示例；5[0012]图7示出了根据本公开的一些实施例的多个安全带定位的示例；[0013]图8示出了根据本公开的一些实施例的安全带定位的示例；[0014]图9示出了根据本公开的一些实施例的安全带定位的示例；[0015]图10示出了根据本公开的一些实施例的安全带定位的示例；[0016]图11示出了根据本公开的一些实施例的安全带定位的示例；[0017]图12是根据本公开的一些实施例的示出用于生成输入图像的模型的方法的流程[0018]图13A是根据本公开的一些实施例的示例自主车辆的图示；[0019]图13B是根据本公开的一些实施例的图13A的示例自主车辆的相机位置和视野的[0020]图13C是根据本公开的一些实施例的图13A的示例自主车辆的示例系统架构的框[0021]图13D是根据本公开的一些实施例的用于在一个或更多个基于云的服务器与图13A的示例自主车辆之间通信的系统图；以及[0022]图14是适合用于实现本公开的一些实施例的示例计算设备的框图。具体实施方式[0023]本文描述的技术提供了被动地检测安全带和其他约束设备以实现不同功能的方式，诸如检测车辆中的乘员是否佩戴着安全带并且正确地佩戴着安全带。设置在车辆中的相机捕获图像并且分析该图像以确定乘员是否正确地佩戴着安全带。通常，车辆的系统使用感测系统，该感测系统检测安全带是否处于锁定位置。然而，存在感测系统可以被欺骗或永久停用的情况。此外，存在乘客已经系上安全带但是错误地佩戴安全带(例如，安全带被佩戴在背部后面)的情况。为了对抗这一点并改善交通安全，本文描述的技术使用由车辆上装载的相机捕获的视频/图像来确定安全带是否被正确地佩戴。在不必物理地改变安全带本身或任何现有的锁定感测系统的情况下执行该技术。[0024]更具体地，系统首先分析捕获的图像以对像素是安全带的一部分还是背景的一部分进行分类。该分类导致生成最有可能是安全带的一部分的多个像素候选。为了更准确地识别作为安全带的一部分的像素，系统使用多条信息来校正被识别为安全带的一部分的像素的误识别，反之亦然。这样的多条信息可包括：参数/约束，造、安全带在锁定时应延伸的方向、安全带的物理属性、以及捕获图像以组装更准确的像素集合的相机的配置。在对像素进行过滤以生成更准确的像素集合之后，然后系统对安全带进行参数化，且使用高阶多项式曲线对安全带的形状进行建模，所述高阶多项式曲线进一步移除相对于所建模的形状为异常值的任何像素，且检索回先前不正确地滤除的或遮挡的像素。最终的安全带曲线可用于增强乘客的安全性，诸如确定安全带是否被正确地佩戴(例如，安全带处于锁定位置并且被对角地且跨乘客胸部佩戴)。[0025]本文描述的技术扩展了用于改善所有类型的车辆中的安全特征而不必修改现有车辆系统的方法。该技术能够基于由车辆的车载系统和/或相机捕获的视频/图像来识别车辆中的哪些乘员正确地佩戴着安全带。该系统不仅识别驾驶员是否正确地佩戴着安全带，而且还可以确定车辆中的所有其他乘员是否正确地佩戴着其安全带。尽管本文描述的系统6应用于普通乘员车辆中的安全带，但该系统还可应用于需要安全带、保险带或其他背带的其他领域(例如，建筑设备、游乐园骑行、4D电影院座椅)。该系统可以是车内乘员监测系统[0026]该系统可以是鲁棒的并且适用于不同类型的相机传感器配置，诸如彩色或红外相机、常规视野或鱼眼相机。该系统可以操作和处理在不同光照条件(诸如低光照条件(例如，夜间时间条件)、可变光照条件(例如，白天时间条件)和/或其变体)下捕获的图像。该系统可确定新颖的局部平行线图案，且通过如本文描述的一个或更多个技术在图像内以微尺度检测该图案。该系统可利用使用一个或更多个通用图形处理单元(GPGPU)的并行计算技术来同时有效地确定视频的所有帧的所有安全带。该系统可以提供安全带的实时监控和安全带使用，以改善占用车辆的一个或更多个乘员的安全性。该系统可为图像的任何图块(patch)提供二进制分类功能，且可利用可去除噪声或假阳性安全带部分候选的不同算法。该系统可以利用基于高阶曲线的安全带形状建模功能，该功能可以甚至利用遮挡或其他障碍物来定位安全带。该系统可以定位对应于受试者的安全带，并且可以适用于具有任何合适的身体外观的受试者，包括具有不同大小、形状和属性(如衣服类型和头发类型)和/或其他各种身体外观属性的身体外观。[0027]参照图1,图1是根据本公开的一些实施例的用于安全带定位的系统的示例。应当理解，本文所述的这种和其他布置仅作为示例被阐述。除了所示的那些布置和元件之外或分组等),并且一些元件可以一起省略。进一步，本文描述的许多元件是可被实现为分立或分布式组件或结合其他组件、和在任何合适的组合和位置中实现的功能实体。本文中描述为由实体执行的各种功能可由硬件、固件和/或软件执行。例如，各种功能可由执行存储在存储器中的指令的处理器执行。[0028]图1示出了根据至少一个实施例的用于安全带定位的系统的示例100。在各种实施例中，安全带的定位是指识别一个或更多个图像(例如，车辆的驾驶员或乘客座椅中的人的图像)中描绘的一个或更多个安全带的位置、大小、形状、定向和/或其他特性的一个或更多个过程。应注意，虽然示例100描绘了安全带的定位，但是任何合适系统的任何合适的约束设备部分可以被定位。约束设备可包括诸如安全带(例如，两点式安全带等)、安全背带或其他车辆安全设备之类的装置。[0029]一种用于安全带定位的系统(其可以被称为安全带定位器)可以包括局部预测器104、全局汇编器(assembler)108和形状建模器116。用于安全带定位的系统的各种过程可由一个或更多个图形处理单元(GPU)(诸如并行处理单元(PPU))来执行。用于安全带定位的系统的一个或更多个过程可由任何合适的处理系统或单元(例如，GPU、PPU、中央处理单元(CPU))和以任何合适的方式(包括顺序、并行和/或其变体)来执行。局部预测器104、全局汇编器108和形状建模器116可以是车辆上装载的一个或更多个计算机系统的软件模块。在一些示例中，局部预测器104、全局汇编器108和形状建模器116是在经由一个或更多个网络可访问的计算机服务器上执行的软件程序，其中输入图像102经由一个或更多个网络从车辆的一个或更多个计算系统提供给计算机服务器，以及输入图像102的一个或更多个安全带的安全带定位的结果经由一个或更多个网络被提供回到车辆。对用于安全带定位的系统的输入可包括输入图像102。在实施例中，输入图像102是具有约束设备(诸如安全带)的车辆7中的实体的图像。参见图1,输入图像102可以是佩戴安全带坐在车辆的驾驶员座椅中的人[0030]输入图像102可以是从一个或更多个图像捕获设备(如相机或其他设备)捕获的图要一个或更多个约束设备的其他车辆。可以从一个或更多个相机(如结合图13A至图13D所描述的那些相机)捕获输入图像102。输入图像102可以从面向车辆乘员的车辆中的相机捕带的低对比度和输入图像102的背景。输入图像102可以描绘可能被一个或更多个实体(诸图像102可能由于物体或车辆移动而失真。输入图像102可描绘受试者(例如车辆驾驶员或像102的前景的一部分，并且被确定为不是安全带的一部分的像素可以被识别为输入图像102的背景的一部分。局部预测器104可执行输入图像102的区域的初始分类以确定输入图[0032]局部预测器104可以生成分别表示安全带或非安全带的真结果(其可以由值1指8素不是安全带的一部分并且局部预测器返回1,(3)假阴性，其中像素是安全带的一部分并[0033]局部预测器104可利用附近像素邻居用于额外信息。位于输入图像102的第y行和第x列的输入图像102的像素可以表示为p(x,y)或其任何变化。输入图像102的尺寸可以被素p(x,y)和指定方向θ确定使用P及其在此方向上的邻域S生成图块图像是否为安全带分[0044]其中WB(i=0,1,…,D-1)可以是分配给不同方向的权重。权重可从当被一[0045]参见图2,示例200可包括(a)在左上部描绘的安全带图块样本，(b)在右上部描绘的经增强的安全带图块，(c)在左下部描绘的安全带图块投影曲线，以及(d)在右下部描绘9像素强度的值。特定像素列的像素强度可以是像素列的像素的所有像素强度(也被称为像素强度水平)的总和。特定像素的像素强度或像素强度水平可对应于像素的亮度(例如，具有高强度的像素可呈现白色调且具有低强度的像素可呈现黑色调)。参见图2,(d)经平滑安全带曲线可以是(c)安全带图块投影曲线的经平滑版本。例如，参见图2,(c)安全带图块投影曲线和(d)平滑安全带曲线的两个峰值对应于(b)增强的安全带图块的白色垂直线，其可对应于安全带的边界。[0046]参见图3,示例300可包括(e)在左上方描绘的非安全带图块样本，(f)在右上方描绘的经增强的非安全带图块，(g)在左下方描绘的非安全带图块投影曲线，以及(h)在右下方描绘的平滑的非安全带曲线。参照图3,(g)非安全带图块投影曲线可对应于(f)经增强的非安全带图块，其中(g)的x轴可对应于(f)的x值或水平值，(g)的y轴可对应于(f)的垂直像素列的像素强度的值。特定像素列的像素强度可以是像素列的像素的所有像素强度的总和。参见图3,(h)经平滑的非安全带曲线可以是(f)经增强的非安全带图块的经平滑版本。[0047]应当注意，图2和图3描绘了潜在的安全带图块/曲线和非安全带图块/曲线的示例，并且安全带图块/曲线和/或非安全带图块/曲线可以是其任何变型。安全带图块样本可以对应于可以描绘一个或更多个安全带的图像(例如，输入图像102)的任何图块或区域，并且相应的安全带图块曲线可以具有至少部分地基于安全带图块样本的任何合适的形状。以基于图块的比例(例如，如果图块足够小)在图块方向上生成两条大致平行的线，其中基于相机-安全带相对几何关系，结构化边缘可以在边缘间距离范围方面参数化，及其变型。[0049]强度和/或饱和度范围也可被观察，因为安全带可具有不同颜色，诸如黑色、灰色、黄褐色等，其中虽然像素值可随着不同环境改变(例如，照明)而改变，但安全带像素值可具有某一强度范围(例如，安全带像素很少是纯白色)。[0050]在实施例中，还观察到表面平滑度，因为安全带可具有沿着带的类似纹理，其中各个安全带区域内的像素在平滑度方面可具有有限的多样性。[0054]结构准则fstructure可结合任务来表征，所述任务可被定义为如何表示像素的邻域内的安全带边界的平行边缘。局部预测器104可以识别并定位候选安全带边缘，并且使用候选安全带边缘来区分安全带像素与非安全带像素(例如，噪声)。[0055]安全带图块可以具有一个或更多个方向，并且对于每个图块，局部预测器104可以确定沿着图块方向是否存在安全带边界。图块方向可以被均匀地间隔为范围(0,π)内的D类别(例如，如等式(3)中所描绘的),其中不管安全带如何定向，其定向可以被分类为这些类部预测器104可以确定在任何合适的方向上的安全带图块，以及沿着安全带的方向的安全带的边界。[0056]图4示出根据至少一个实施例的安全带图块几何形状的示例400。安全带图块几何形状可以指特定安全带图块的一个或更多个几何形状或几何特性，诸如图块方向、角度、取向、尺寸、边界等。应当注意，图4描绘了潜在的安全带图块几何形状的示例部分地基于安全带图块的形状或几何形状的任何合适的几何形状。参见图4,对于在像素p[0059]局部预测器104可使用一个或更多个等式(诸如如上所述的等式(7))检索安全带边缘可以为在每一行内的相同位置处具有突然像素强度变化的一个或更多个系列的对准图块方向累加以将安全带边缘与背景噪声区分开。fpatch(x,y,θ,j)可定义为投影之后的所[0066]具有结构化边缘的安全带图块可具有类似于图5中描绘的那些的经过滤曲线图fstructure=[0068]图5示出了根据至少一个实施例的结构化边缘的定位的示例500。示例500描绘了从安全带图块曲线(诸如图2和图3中所描绘的那些)确定安全带的边缘。应当注意，图5描绘了来自安全带图块曲线的结构化边缘的潜在定位的示例，并且来自安全带图块曲线的结构化边缘的定位可以是其任何变型。安全带图块曲线可以对应于可以描绘一个或更多个安全带的图像(例如，输入图像102)的任何合适的图块或区域，并且来自安全带图块曲线的结构化边缘的相应定位可以至少部分地基于安全带图块曲线指示任何合适的边缘或特性。[0069]参见图5,局部预测器104可以或可以不选择特定曲线内的两个最大点，因为选择可能是不准确的，因为两个点可能位于最高峰附近。参见图5,如果曲线被切割成两个部分，则两个峰值可被分开，并且两个峰值可由局部预测器104通过遍历每个点以找到最大点来检索。可以通过找到由idxopitmal表示的最佳切割位置来利用一维二类分类任务。类间距离可结合可由以下等式定义的idxopitma来最大化，但可利用其任何变型：,Hright=[0072]局部预测器104可以通过至少确定idxopitma来求解非线性优化任务。局部预测器104可通过在[1,idxotima₁和(idoptimal,L]中搜索最大元素位置来计算idx1eft和idxrig它[0073]安全带像素强度可以响应于各种环境照明而改变和变化。环境照明可包括各种光源，例如车辆的内部灯。局部预测器104可以学习像素的安全带定位实例的下限和上限ofnatch(x,y,0)的加权强度可表示为d下等式来计算，尽管可利用其任何变型：0o751其以是分配给安全带图块中的每个像素的高斯分布权重。[0078]在不同实施例中，安全带表面是平滑的，具有最小的强度变化。可在感兴趣区域@利用其任何变型：[0082]局部预测器104可以输出像素候选106,像素候选106可以包括输入图像102的可能潜在地对应于在输入图像102中描绘的安全带的一个或更多个像素的一个或更多个指示。像素候选106可被输入到全局汇编器108,全局汇编器108可从像素候选106移除不准确的候选且选择性地汇集(assemble)合格的安全带像素候选。[0083]全局汇编器108可以是一个或更多个硬件和/或具有可执行指令的软件计算资源的集合，所述可执行指令在被执行时通过基于安全带属性(诸如形状和位置)移除假阳性来汇集阳性安全带部分候选。全局汇编器108可将约束集合应用于像素候选106以提炼像素候选106以获得合格的像素候选114.约束集合可包括诸如捕获输入图像102的相机的参数(例如，相机透镜维度、焦点、主点、失真参数)、标准安全带维度车辆部件)等之类的特性。全局汇编器108可将约束集合应用于像素候选106,使得可移除不遵守或以其他方式不符合约束集合的像素候选106中的像素候选以确定合格像素候选114(例如，指示可移除宽度显著长于标准安全带宽度范围的安全带的像素候选)。[0084]全局汇编器108可包括自动位置掩模生成110和宽度范围估计112。自动位置掩模生成110可以是一个或更多个硬件和/或具有可执行指令的软件计算资源的集合，其生成图像(诸如指示一个或更多个安全带的输入图像102)的一个或更多个图像掩模。宽度范围估计112可以是一个或更多个硬件和/或具有可执行指令的软件计算资源的集合，其估计图像(诸如输入图像102)中描绘的安全带的宽度的范围。由A.₁表示的左下锚和由Ar表示的右下锚。来自右上锚以及右下锚的带可以使用带扣插入到左下锚中。本文结合右上锚和右下锚描述的技术可类似地适用于左下锚和右下锚，或任何合适的约束设备锚。在一些实施例中，安全带锚是可移动的个或更多个安全带锚可在各个方向上调整、旋转和/或倾斜。在一些实施例中，一个或更多个安全带锚经由倾斜被调整到特定角度。在一些情况下，安全带锚连接到安装板，该安装板[0086]在锚内部可以存在恒定的力，用于使用弹簧来系紧带；经由固定相机观察到的安全带像素的位置分布可以在有限的区域中。在一些示例中，全局汇编器108包括学习安全带像素的位置分布的不同机器学习算法。在各种实施例中，安全带通常不出现在方向盘或车辆系统中的其他物(例如，娱乐系统、驾驶员辅助系统)的顶部。在一些示例中，图像帧中的安全带宽度的范围由全局汇编器108估计以用于过滤安全带候选。全局汇编器108可处理帧内的多个安全带。在一些实施例中，使用算法级并行化并行地执行全局汇编器108的一个或更多个过程。算法级并行化可以指代其中可以并行执行的过程(例如，由用于安全带定位的系统执行的过程或操作)首先被识别并且然后并行执行的过程。全局汇编器108可执行不同[0087]自动位置掩模生成110可生成安全带位置掩括一个或更多个功能和/或过程，其可通过利用经编码标签来确定3D空间中的任何点的坐其中S可以是比例因一[0092]自动位置掩模生成110可通过一个或更多个机器学习算法来获得短轴距离，所述[0094]这些点可以在椭圆局部坐标系中定义，其中原点O611ipse可以在具有图像坐标 [0098]自动位置掩模生成110可获得图像坐标中的位置掩模Socation。由掩模外部的局部预测器104生成的安全带像素候选可被省略。[0099]宽度范围估计112可以估计图像(例如，输入图像102)的安全带的宽度范围(也被称为宽度大小)。安全带标准宽度可在46-49mm(例如，2英寸)的范围内，其中大多数安全带可大致为约47mm,或任何适当范围的任何适当值。图像的安全带的宽度可取决于安全带的姿态。如果安全带与相机成像传感器平行或朝向相机延伸，则安全带宽度可增加。如果安全带表面垂直于图像传感器或进一步远离相机，则安全带宽度可减小。安全带宽度tmin的下限可以至少部分地基于一个或更多个灵敏度要求来设定。在实施例中，tm:n被设置为tmax的一半以避免涉及噪声模式。[0100]在实施例中，两个锚的中间的安全带点由P(X,Ys,Z)表示，并且安全带标准宽度以利用其任何变型：[0102]规则的乘客臂距离可由darm表示，其中当乘客抓住安全带并将安全带推向相机时，管可以利用其任何变型：Snew={(Xnew,Ynew,Znew)I√(Xhew-X[0104]宽度范围估计112可以提取新点的位置的包络，并且估计宽度上限tma。安全带宽度可以用于确定结构化边缘阈值，并且可以用于确定可能需要大于tmax的图块大小L。全局汇编器108可确定单个图像内的多个安全带的位置。全局汇编器108可为每个安全带区域生成位置掩模。[0105]全局汇编器108可以利用一个或更多个图形处理单元(GPU)来处理图像(例如，输入图像102)。全局汇编器108可以使用一个或更多个GPU的多个线程来同时处理多个图块。全局汇编器108可利用一个或更多个GPU的工作流来并行地处理安全带区域。全局汇编器108可使用一个或更多个GPU的一个或更多个线程并行地或同时地处理图像的一个或更多个区域。全局汇编器108可将多个帧的处理指派给一个或更多个GPU的不同计算单元以实现帧级加速。全局汇编器108可对输入图像进行下采样以减少在处理输入图像时对计算资源的使用。除了图像的逐像素遍历之外，全局汇编器108还可以以其他方式在多个方向上处理图像(例如，输入图像102)。全局汇编器108可调整图块方向角的离散化以减少计算资源的使用。全局汇编器108可汇集或以其他方式确定合格像素候选114,合格像素候选114可包括输入图像102的对应于输入图像102中描绘的一个或更多个安全带的像素。[0106]合格像素候选114可包括用于每个安全带兴趣区域的安全带的像素候选集合。合格像素候选114还可被称为候选像素、像素候选、候选者和/或其变体。形状建模器116可以是一个或更多个硬件和/或具有可执行指令的软件计算资源的集合，所述可执行指令在被执行时基于来自全局汇编器108的输出(例如，[0107]在实施例中，来自局部预测器104的候选集合由Spredictor表示并且位置掩模由[0109]形状建模器116可通过高阶多项式曲线对安全带的形状进行建模。高阶多项式曲的多项式曲线对安全带的形状进行建模。多项式曲线的阶可对应于安全带的形状的复杂[0111]图6示出根据至少一个实施例的候选地图的示例600。示例600可以描绘在从全局[0112]示例600可描绘安全带的候选像素和拟合到对应于安全带形状的候选像素的曲线正确地应用。在一些示例中，形状建模器116将安全带的模型提供给一个或更多个神经网或更多个神经网络可以基于从形状建模器116获得的安全带模型来确定安全带是否被正确地应用，并且向形状建模器116提供安全带是否被正确地应用的指示。形状建模器116可将建模的安全带形状以及与建模的安全带形状相对应的安全带是否被正确地应用可视化为建模的输入图像118。在实施例中，建模的输入图像118是具有可视化的安全带形状的模型的输入图像102。建模的输入图像118可以描绘具有通过一个或更多个可视化(诸如安全带的视觉边界等)指示的输入图像102的安全带的位置和形状的输入图像102。建模的输入图像118可以进一步包括可以指示安全带是否被正确佩戴和/或应用的一个或更多个可视化。[0116]例如，参见图1,建模的输入图像118包括安全带的视觉边界和由“安全带：开启(ON)”表示的安全带被正确佩戴和应用的指示。安全带被正确佩戴和应用的指示可以用不置的安全带可以是处于锁定位置并且对角地且跨乘员的胸部佩戴的安全带。被不正确地应用或处于不恰当位置的安全带可以是未被正确地应用或未处于恰当位置的安全带。[0117]用于安全带定位的系统可以为车辆的一个或更多个系统提供安全带的模型以及安全带是否被正确应用的指示。在一些示例中，用于安全带定位的系统正在执行一个或更多个计算机服务器，其中通过一个或更多个通信网络向车辆的一个或更多个系统提供安全带的模型以及安全带是否被正确应用的指示。作为获得安全带的模型以及安全带是否被正确应用的指示的结果，车辆的系统可执行不同动作。如果安全带未被佩戴或被佩戴但被不正确地应用，则车辆的系统可提供警告指示。警告指示可以是诸如警告声音之类的音频指示、诸如警告灯之类的视觉指示、诸如警告振动之类的物理指示等。如果安全带未被佩戴或被佩戴但被不正确地应用，则车辆的系统可能导致车辆的一个或更多个推进系统停止或停止车辆的推进。如果安全带未被佩戴或被佩戴但被不正确地应用，则车辆的系统可通过一个或更多个网络向不同系统(例如，安全监控系统)提供指示。[0118]用于安全带定位的系统可以是无源系统。系统可能不需要修改车辆的现有系统以从安全带的一个或更多个图像检测车辆的乘员的安全带。系统可无源地(passively)检测安全带，这可指不需要来自车辆的一个或更多个传感器的输入或对车辆的一个或更多个系统的修改的检测(例如，系统可不需要车辆的安全带具有识别标记)。用于安全带定位的系统可组合从多个图像确定的模型以确定最终安全带模型。在一些示例中，用于安全带定位的系统从描绘乘员和相应安全带的图像集合定位并建模一组安全带，其中系统组合各个模型以确定用于乘员的相应安全带的最终安全带模型。用于安全带定位的系统可将所确定的安全带模型组合在一起或以其他方式增强以确定最终安全带模型，使得最终安全带模型中的置信度增加。用于安全带定位的系统可通过评估安全带模型之间的相似性和差异来将安全带模型组合在一起以确定最终安全带模型。用于安全带定位的系统可组合从一个或更多个图像做出的推理，以确定最终安全带模型并增加最终安全带模型中的置信度。[0119]在一些示例中，用于安全带定位的系统可与一个或更多个有源安全带检测系统结合使用。有源安全带检测系统可以指代车辆的用于直接检测和定位车辆的安全带的一个或更多个系统。有源安全带检测系统可以包括使用各种传感器来检测和定位安全带，诸如压力传感器、重量传感器、运动传感器或其他传感器，并且可能需要对车辆的现有系统进行修改(例如，有源安全带检测系统可能需要车辆的安全带具有识别标记)。用于安全带定位的系统可以定位安全带，并且利用来自一个或更多个有源安全带检测系统的输入来验证已正确地确定了定位的安全带。可替代地，系统可以从一个或更多个有源安全带检测系统接收被定位的安全带的一个或更多个模型，并且通过一个或更多个图像来定位安全带，以验证被定位的安全带的一个或更多个模型已经被正确地确定。该系统可以从一个或更多个车辆系统(诸如有源安全带检测系统)接收或获得输入，以定位安全带。例如，用于安全带定位的系统从车辆的传感器获得数据，诸如压力传感器数据、重量传感器数据、运动传感器数据等，并且结合上述技术利用该数据来从车辆中的安全带的图像对安全带进行定位和建模。可利用传感器数据来确定对像素候选进行过滤的约束(例如，传感器数据可提供指示安全带的位置或定位的信息，其可用于移除不符合由传感器数据提供的信息的像素候选中的不准确候选)。[0120]用于安全带定位的系统可通过图块匹配和图块提炼过程(诸如上文所描述的那些和/或不同算法，诸如图块匹配算法、混合分辨率图块匹配(MRPM)算法和/或其变型)来对安全带进行定位和建模。图块匹配过程可以获得图像块作为对一个或更多个神经网络的输入，以提取图块特征并评估图块的相似性。用于安全带定位的系统可限定或以其他方式被提供安全带图块的特征、特性、行为等，以及利用不同图块匹配过程来构建估计安全带图块并且提炼估计安全带图块以确定最终安全带模型。图块匹配可以在空间和/或时间维度上。[0121]图7示出根据至少一个实施例的多个安全带定位的示例700。输入图像702、安全带定位器704和建模的输入图像706可以根据结合图1至图6所描述的那些。安全带定位器704可以是一个或更多个硬件和/或具有可执行指令的软件计算资源的集合，所述可执行指令在被执行时从一个或更多个图像对一个或更多个约束设备进行建模。安全带定位器704可获得或以其他方式接收输入图像702,执行对输入图像702的表示约束设备(例如，安全带)的区域的初始分类，将约束集合应用于输入图像702的区域以提炼初始分类，以获得经提炼分类，以及至少部分地基于该经提炼分类生成约束设备的模型。安全带定位器704可识别并建模在图像(例如，输入图像702)中描绘的多个安全带。[0122]参照图7,输入图像702可以是从车辆内部的一个或更多个相机捕获的图像。输入图像702可描绘车辆的乘员，包括可在左侧描绘的乘客和可在右侧描绘的驾驶员。输入图像702可描绘乘客正确地佩戴着安全带以及驾驶员正确地佩戴着安全带。安全带定位器704可分析输入图像702以识别输入图像702的安全带并对其建模。安全带定位器704可通过建模的输入图像706使建模的安全带可视化。[0123]参见图7,建模的输入图像706可描绘具有被指示的安全带和安全带状态(例如，取向/位置)的输入图像702。安全带定位器704可结合在输入图像702中描绘的乘客执行初始分类，提炼该初始分类以获得经提炼分类，以及基于该经提炼分类为乘客的安全带生成模型，并且结合在输入图像702中描绘的驾驶员执行第二初始分类，提炼该第二初始分类以获得第二经提炼分类，并且基于用于驾驶员的安全带的第二经提炼分类来生成第二模型。[0124]建模的输入图像706可以包括乘客的安全带的第一可视指示，其具有指示乘客的安全带的状态的相应标签(label)。参见图7,建模的输入图像706可以在左侧描绘指示乘客的安全带的框和指示乘客的安全带被正确佩戴和应用的标签“安全带：开启”。建模的输入图像706可包括驾驶员安全带的第二可视指示，其具有指示驾驶员安全带的状态的相应标签。参见图7,建模的输入图像706可以在右侧描绘指示驾驶员的安全带的框和指示驾驶员[0125]图8示出根据至少一个实施例的安全带定位的示例800。输入图像802、安全带定位器804和建模的输入图像806可以根据结合图1至图6所描述的那些。安全带定位器804可以是一个或更多个硬件和/或具有可执行指令的软件计算资源的集合，所述可执行指令在被执行时从一个或更多个图像对一个或更多个约束设备进行建模。安全带定位器804可获得或以其他方式接收输入图像802,执行对输入图像802的表示约束设备(例如，安全带)的区域的初始分类，将约束集合应用于输入图像802的区域以提炼初始分类，以获得经提炼分类，以及至少部分地基于经提炼分类生成约束设备的模型。安全带定位器804可识别并建模在图像(例如，输入图像802)中描绘的安全带。[0126]参照图8,输入图像802可以是从车辆内部的一个或更多个相机捕获的图像。输入图像802可描绘车辆的乘员，包括驾驶员，其可描绘在中心。输入图像802可描绘驾驶员不正确地佩戴安全带(例如，驾驶员在背后佩戴安全带)。安全带定位器804可分析输入图像802以识别输入图像802的安全带并对其建模。安全带定位器804可通过建模的输入图像806使建模的安全带可视化。[0127]参见图8,建模的输入图像806可描绘具有指示的安全带和安全带状态(例如，取向/位置)的输入图像802。建模的输入图像806可包括驾驶员安全带的第一可视指示，其具有指示驾驶员安全带的状态的相应标签。参见图8,建模的输入图像806可以描绘指示驾驶员的安全带的框和指示驾驶员的安全带被佩戴但被不正[0128]图9示出根据至少一个实施例的安全带定位的示例900。输入图像902、安全带定位器904和建模的输入图像906可以根据结合图1至图6所描述的那些。安全带定位器904可以是一个或更多个硬件和/或具有可执行指令的软件计算资源的集合，所述可执行指令在被执行时从一个或更多个图像对一个或更多个约束设备进行建模。安全带定位器904可获得或以其他方式接收输入图像902,执行对输入图像902的表示约束设备(例如，安全带)的区域的初始分类，将约束集合应用于输入图像902的区域以提炼初始分类，以获得经提炼分类，以及至少部分地基于经提炼分类生成约束设备的模型。安全带定位器904可识别并建模在图像(例如，输入图像902)中描绘的安全带。[0129]参照图9,输入图像902可以是从车辆内部的一个或更多个相机捕获的图像。输入图像902可描绘车辆的乘员，包括可在中心描绘的驾驶员。输入图像902可描绘驾驶员不正确地佩戴着安全带(例如，驾驶员在腋下佩戴着安全带)。安全带定位器904可分析输入图像902以识别输入图像902的安全带并对其建模。安全带定位器904可通过建模的输入图像906使建模的安全带可视化。[0130]参见图9,建模的输入图像906可描绘具有指示的安全带和安全带状态(例如，取向/位置)的输入图像902。建模的输入图像906可包括驾驶员安全带的第一可视指示，其具有指示驾驶员安全带的状态的相应标签。参见图9,建模的输入图像906可以描绘指示驾驶员的安全带的框和指示驾驶员的安全带被佩戴但被不正[0131]图10示出根据至少一个实施例的安全带定位的示例1000。建模的输入图像1002可以根据结合图1至图6所描述的那些。安全带定位器可以是一个或更多个硬件和/或具有可执行指令的软件计算资源的集合，所述可执行指令在被执行时从一个或更多个图像对一个或更多个约束设备进行建模。安全带定位器可获得或以其他方式接收输入图像，执行对输入图像的表示约束设备(例如，安全带)的区域的初始分类，将约束集合应用于该输入图像的区域以提炼初始分类，以获得经提炼分类，至少部分地基于经提炼分类生成约束设备的模型，以及将该模型可视化为建模的输入图像1002。[0132]建模的输入图像1002可基于可从一个或更多个相机捕获的输入图像。可以从具有标准FOV的相机捕获输入图像。安全带定位器可从任何FOV的图像识别一个或更多个安全带并对其进行建模。安全带定位器可从可描绘安全带的部分的图像识别一个或更多个安全带并对其进行建模。参见图10,建模的输入图像1002可以描绘具有由阴影区域标识的安全带[0133]图11示出根据至少一个实施例的安全带定位的示例1100.建模的输入图像1102可以根据结合图1至图6所描述的那些。安全带定位器可以是一个或更多个硬件和/或具有可执行指令的软件计算资源的集合，所述可执行指令在被执行时从一个或更多个图像对一个或更多个约束设备进行建模。安全带定位器可获得或以其他方式接收输入图像，执行对输入图像的表示约束设备(例如，安全带)的区域的初始分类，将约束集合应用于该输入图像的区域以提炼初始分类，以获得经提炼分类，至少部分地基于经提炼分类生成约束设备的模型，以及将该模型可视化为建模的输入图像1102。[0134]建模的输入图像1102可以基于可以从一个或更多个相机捕获的输入图像。该输入图像可描绘已将安全带推离驾驶员的身体的驾驶员。安全带定位器可从描绘处于任何适当位置(例如，推开、伸展、拉入)的一个或更多个安全带的图像识别一个或更多个安全带并对其进行建模。参见图11,建模的输入图像1102可以描绘具有由虚线曲线识别的安全带和指[0135]应注意的是，虽然图7至图11描绘了识别、建模、可视化和标记一个或更多个安全带的安全带定位器的示例，但安全带定位器可以任何合适的方式识别、建模、可视化和标记一个或更多个安全带。安全带定位器可通过经由轮廓、框、曲线、边界框、阴影区域、图案化区域或其他指示来指示一个或更多个安全带，来使图像中的一个或更多个安全带可视化。安全带定位器可通过不同指示(例如，符号、字符、标签或其他指示)来标记图像中的一个或更多个安全带。安全带被佩戴和正确应用的指示可以以不同方式表示，诸如在车辆中的显[0136]现在参见图12,本文描述的方法1200的每个框包括可以使用硬件、固件和/或软件的任何组合执行的计算过程。例如，不同功能可由执行存储在存储器中的指令的处理器执行。这些方法还可体现为存储在计算机存储介质上的计算机可用指令。这些方法可由独立的应用、服务或托管服务(独立地或与另一托管服务组合)或另一产品的插件来提供，仅举几例。此外，举例来讲，关于图1的用于安全带定位的系统来描可以另外地或可替代地由任何一个系统或系统的任何组合来执行，包括但不限于在此描述的那些系统。[0137]图12是根据本公开的一些实施例的示出了用于生成用于输入图像的模型的方法1200的流程图。在框1202处，方法1200包括：获得输入图像。输入图像可表示受驶员、乘客或其他乘员)和应用于受试者的约束设备(诸如安全带、安全背带或其他约束设备)。输入图像可以是从可位于车辆内部的一个或更多个图像捕获设备(诸如相机或其他设备)捕获的图像。[0138]在框1204处，方法1200包括：确定像素候选。执行方法1200的至少一部分的系统可对图像的表示约束设备的区域执行初始分类以。初始分类可导致像素候选的确定。对于输入图像的任何给定像素，系统可使用像素及其邻域像素信息来预测像素是属于安全带还是背景像素。系统可确定描绘或以其他方式表示约束设备(例如，安全带)的输入图像的区域以确定像素候选。[0139]在框1206处，方法1200包括：移除假阳性以确定合格像素候选。执行方法1200的至少一部分的系统可将约束集合应用于图像的区域以提炼初始分类，以获得经提炼分类。经提炼分类可导致确定合格像素候选。约束集合可包括诸如捕获输入图像的相机的参数(例如，相机透镜维度、焦点、主点、失真参数)、标准安全带维度车辆部件)等之类的特性。系统可以将约束集合应用于像素候选，使得可以移除不遵守或以其他方式不符合约束集合的像素候选中的像素，以确定合格的像素候选。[0140]在框1208处，方法1200包括：基于合格像素候选构建模型。执行方法1200的至少部分的系统可至少部分地基于经提炼分类生成约束设备的模型。系统可基于与安全带相对应的合格像素候选的像素来生成模型。在框1210处，方法1200包括：将模型映射到输入图像上。系统可以将模型可视化到输入图像上，作为建模的输入图像。建模的输入图像可包括对安全带的位置/取向/位置的指示，以及指示安全带是否被佩戴、未被佩戴、被应用还是被不正确地应用的安全带的状态。[0141]示例自主车辆[0142]图13A是根据本公开一些实施例的示例自主车辆1300的图示。自主车辆1300(本文机和/或其他类型的车辆(例如，无人驾驶和/或可容纳一名或多名乘客)。自主车辆通常根据由美国交通部下属的美国国家公路交通安全管理局(NHTSA)和汽车工程师协会(SAE)的“道路机动车辆驾驶自动化系统相关术语的分类和定义”(2018年6月15日发布的标准编号J3016-201806,2016年9月30日发布的标准编号J3016-201609,以及该标准的先前和未来版本)定义的自动化水平来描述。车辆1300可能够具有根据自主驾驶级别的级别3-级别5中的一个或更多个的功能。例如，取决于实施例，车辆1300可以具有条件自动化(级别3)、高度自动化(级别4)和/或完全自动化(级别5)。车轴之类的部件以及车辆的其他部件。车辆1300可以包括推进系统1350,例如内燃机、混合动力发电厂、全电动发动机和/或另一种推进系统类型。推进系统1350可以连接到可以包括变速器的车辆1300的传动系以便实现车辆1300的推进。可以响应于接收到来自油门/加速器1352的信号而控制推进系统1350。[0144]可以包括方向盘的转向(steering)系统1354可以用来在推进系统1350操作时(例如在车辆运动时)使车辆1300转向(例如沿着希望的路径或路线)。转向系统1354可以接收来自转向致动器1356的信号。对于全自动(5级)功能而言，方向盘可以是可选的。[0145]制动传感器系统1346可以用来响应于接收到来自制动致动器1348和/或制动传感器的信号而操作车辆制动器。[0146]可以包括一个或更多个CPU、片上系统(SoC)1304(图13C)和/或一个或更多个GPU的一个或更多个控制器1336可以向车辆1300的一个或更多个部件和/或系统提供(例如表示命令的)信号。例如，一个或更多个控制器可以发送经由一个或更多个制动致动器1348操作车辆制动器、经由一个或更多个转向致动器1356操作转向系统1354、经由一个或更多个油门/加速器1352操作推进系统1350的信号。一个或更多个控制器1336可以包括一个或更多个板载(例如集成)计算设备(例如超级计算机),所述计算设备处理传感器信号并且输出操作命令(例如表示命令的信号),以实现自主驾驶和/或辅助人类驾驶员驾驶车辆1300。一个或更多个控制器1336可以包括用于自主驾驶功能的第一控制器1336、用于功能性安全功能的第二控制器1336、用于人工智能功能(例如计算机视觉)的第三控制器1336、用于信息娱乐功能的第四控制器1336、用于紧急情况下的冗余的第五控制器1336和/或其他控制器。在一些示例中，单个控制器1336可以处理上述功能中的两个或更多，两个或更多控制器1336可以处理单个功能，和/或其任意组合。[0147]一个或更多个控制器1336可以响应于接收自一个或更多个传感器的传感器数据(例如传感器输入),提供用于控制车辆1300的一个或更多个部件和/或系统的信号。传感器数据可以接收自例如且不限于全球导航卫星系统传感器1358(例如全球定位系统传感器)、鱼眼相机)、红外相机1372、环绕相机1374(例如360度相机)、远程和/或中程相机1398、速度传感器1344(例如用于测量车辆1300的速率)、振动传感器1342、转向传感器1340、制动传感器(例如作为制动传感器系统1346的部分)和/或其他传感器类型。[0148]控制器1336中的一个或更多个可以接收来自车辆1300的仪表组1332的输入(例如由输入数据表示),并且经由人机接口(HMI)显示器1334、听觉信号器、扬声器和/或经由车辆1300的其他部件提供输出(例如输出数据、显示数据等表示的)。这些输出可以包括诸如在地图上的位置)、方向、其他车辆的位置(例如占用网格)之类的信息，如控制器1336所感知的关于对象和对象状态的信息等等。例如，HMI显示器1334可以显示关于一个或更多个对象(例如街道指示牌、警示牌、交通灯变化等)的存在性的信息和/或关于车辆已经做出、正在做出或者将会做出的驾驶机动的信息(例如现在变道、两英里后离开34B,等等)。[0149]车辆1300进一步包括网络接口1324,其可以使用一个或更多个无线天线1326和/或调制解调器通过一个或更多个网络通信。例如，网络接口1324等通信。一个或更多个无线天线1326也可以使用诸如蓝牙、蓝牙LE、Z波、ZigBee等等之类的一个或更多个局域网和/或诸如LoRaWAN、SigFox等等之类的更多个低功率广域网(LPWAN)实现环境中的对象(例如车辆、移动设备等等)之间的通信。[0150]图13B为根据本公开一些实施例的用于图13A的示例自主车辆1300的相机位置和视场的示例。相机和各自的视场是一个示例实施例，并不意图是限制性的。例如，可以包括附加的和/或可替换的相机，和/或这些相机可以位于车辆1300上的不同位置。[0151]用于相机的相机类型可以包括但不限于可以适于与车辆1300的部件和/或系统一起使用的数字相机。所述相机可以在汽车安全完整性级别(ASIL)B下和/或在另一个ASIL下操作。相机类型可以具有任何图像捕获率，例如60帧每秒(fps)、920fps、240fps等等，这取决于实施例。相机可能够使用滚动快门、全局快门、另一种类型的快门或者其组合。在一些或RBGC滤色器阵列的相机之类的清晰像素相机可以用在提高光敏感度的努力中。[0152]在一些示例中，所述相机中的一个或更多个可以用来执行高级驾驶员辅助系统(ADAS)功能(例如作为冗余或故障安全设计的部分)。例如，可以安装多功能单目相机以提供包括车道偏离警告、交通指示牌辅助和智能前照灯控制在内的功能。所述相机中的一个或更多个(例如全部相机)可以同时记录和提供图像数据(例如视频)。[0153]所述相机中的一个或更多个可以安装在诸如定制设计的(3-D打印的)组件之类的安装组件中，以便切断可能干扰相机的图像数据捕获能力的杂散光和来自汽车内的反射(例如挡风玻璃镜中反射的来自仪表板的反射)。关于翼镜安装组件，翼镜组件可以是定制3-D打印的，使得相机安装板匹配翼镜的形状。在一些示例中，一个或更多个相机可以集成到翼镜中。对于侧视相机而言，一个或更多个相机也可以集成到驾驶室每个拐角的四根柱[0154]具有包括车辆1300前面的环境部分的视场的相机(例如前置相机)可以用于环视，以帮助识别前向路径和障碍，以及在一个或更多个控制器1336和/或控制SoC的帮助下辅助提供对于生成占用网格和/或确定优选车辆路径至关重要的信息。前置相机可以用来执行牌识别之类的其他功能。[0155]各种各样的相机可以用于前置配置中，包括例如包括CMOS(互补金属氧化物半导体)彩色成像仪在内的单目相机平台。另一个示例可以是广角相机1370,其可以用来感知从周边进入视野的对象(例如行人、十字路口交通或者自行车)。尽管图13B中图示出仅仅一个广角相机，但是在车辆1300上可以存在任意数量的广角相机1370。此外，远程相机1398(例如长视立体相机对)可以用于基于深度的对象检测，尤其是用于尚未针对其训练神经网络的对象。远程相机1398也可以用于对象检测和分类以及基本的对象跟踪。[0156]一个或更多个立体相机1368也可以包括在前置配置中。立体相机1368可以包括集成控制单元，该单元包括可扩展处理单元，其可以提供在单个芯片上具有集成的CAN或以太网接口的多核微处理器和可编程逻辑(例如，FPGA)。这样的单元可以用来生成车辆环境的3-D地图，包括针对图像中的所有点的距离估计。可替代的立体相机1368可以包括紧凑型立体视觉传感器，其可以包括两个相机镜头(左右各一个)以及可以测量从车辆到目标对象的距离并且使用生成的信息(例如元数据)激活自主紧急制动和车道偏离警告功能的图像处理芯片。除了本文所描述的那些之外或者可替代地，可以使用其他类型的立体相机1368。[0157]具有包括车辆1300的侧面的环境部分的视场的相机(例如侧视相机)可以用于环视，提供用来创建和更新占用网格以及生成侧撞击碰撞警告的信息。例如，环绕相机1374(例如如图13B中所示的四个环绕相机1374)可以置于车辆1300周围。环绕相机1374可以包括广角相机1370、鱼眼相机、360度相机和/或类似物。例如，四个鱼眼相机可以置于车辆的前面、后面和侧面。在一种可替代的布置中，车辆可以使用三个环边和后面),并且可以利用一个或更多个其他相机(例如前向相机)作为第四环视相机。[0158]具有包括车辆1300的后面的环境部分的视场的相机(例如后视相机)可以用于辅助停车、环视、后面碰撞警告以及创建和更新占用网格。可以使用各种各样的相机，包括但不限于也适合作为如本文所描述的前置相机(例如远程和/或中程相机1398、立体相机1368、红外相机1372等等)的相机。[0159]图13C为根据本公开一些实施例的用于图13A的示例自主车辆1300的示例系统架构的框图。应当理解，这种布置和本文描述的其他布置仅仅作为示例而被阐述。除了所示的那些之外或者代替它们的是，可以使用其他的布置和元素(例如机器、能分组等等),并且一些元素可以完全省略。进一步，许多本文描述的元素是功能实体，其可以实现为分立的或分布式部件或者结合其他部件实现，以及以任何适当的组合和位置实现。本文描述为由实体执行的各个功能可以通过硬件、固件和/或可以通过处理器执行存储在存储器中的指令而实现。[0160]图13C中车辆1300的部件、特征和系统中的每一个被图示为经由总线1302连接。总是车辆1300内部的网络，用来辅助控制车辆1300的各种特征和功能，例如制动器、加速、制动、转向、挡风玻璃雨刷等等的驱动。CAN总线可以被配置为具有数十或者甚至数百个节点，每个节点具有其自己的唯一标识符(例如CANID)。可以读取CAN总线以找到方向盘角度、地兼容的。总线之外或者可替代地，可以使用FlexRay和/或以太网。此外，尽管用单条线来表示总线1302,但是这并不意图是限制性的。例如，可以存在任意数量的总线1302,其可以包括一条或更多条CAN总线、一条或更多条FlexRay总线、一条或更多条以太网总线和/或一条或更多条使用不同协议的其他类型的总线。在一些示例中，两条或更多总线1302可以用来执行不同的功能，和/或可以用于冗余。例如，第一总线1302可以用于碰撞避1302可以用于驱动控制。在任何示例中，每条总线1302可以与车辆1300的任何部件通信，并且两条或更多总线1302可以与相同的部个控制器1336和/或每个计算机可以有权访问相同的输入数据(例如来自车辆1300的传感器的输入),并且可以连接到诸如CAN总线之类的公共总线。[0162]车辆1300可以包括一个或更多个控制器1336,例如本文关于图13A所描述的那些控制器。控制器1336可以用于各种各样的功能。控制器1336可以耦合到车辆1300的任何其他不同的部件和系统，并且可以用于车辆1300的控制、车辆1300的人工智能、用于车辆1300的信息娱乐和/或类似物。[0163]车辆1300可以包括一个或更多个片上系统(SoC)1304.SoC1304可以包括CPU其他部件和特征。在各种各样的平台和系统中，SoC1304可以用来控制车辆1300。例如，一个或更多个SoC1304可以在系统(例如车辆1300的系统)中与HD地图1322结合，所述HD地图可以经由网络接口1324从一个或更多个服务器(例如图13D的一个或更多个服务器1378)获得地图刷新和/或更新。[0164]CPU1306可以包括CPU簇或者CPU复合体(可替代地，本文称为“CCPLEX”)。CPU1306可以包括多个核和/或L2高速缓存。例如，在一些实施例中，CPU1306在一致性多处理器配置中可以包括八个核。在一些实施例中，CPU1306可以包括四个双核簇，其中每个簇具时簇操作，使得CPU1306的簇的任意组合能够在任何给定时间是活动的。[0165]CPU1306可以实现包括以下特征中的一个或更多个的功率管理能力：各硬件块在空闲时可以自动进行时钟门控以节省动态功率；由于WFI/WFE指令的执行，每个核时钟可以在该核不主动地执行指令时进行门控；每个核可以独立地进行功率门控；当所有核都进行时钟门控或者功率门控时，可以独立地对每个核簇进行时钟门控；和/或当所有核都进行功率门控时，可以独立地对每个核簇进行功率门控。CPU1306可以进一步实现用于管理功率状态的增强算法，其中指定允许的功率状态和期望的唤醒时间，并且硬件/微代码为所述核、簇和CCPLEX确定要进入的最佳的功率状态。处理核可以在软件中支持简化的功率状态程的，并且对于并行工作负载而言是高效的。在一些示例中，GPU1308可以使用增强张量指令集。GPU1308可以包括一个或更多个流式微处理器，其中每个流式微处理器可以包括L1高速缓存(例如具有至少96KB存储能力的L1高速缓存),并且这些流式微处理器中的两个或更多可以共享L2高速缓存(例如具有512KB存储能力的L2高速缓存)。在一些实施例中，GPU1308可以包括至少八个流式微处理器。GPU1308可以使用基于计算机的应用编程接口(API)。此外，GPU1308可以使用一个或更多个并行计算平台和/或编程模型(例如NVIDIA的[0167]在汽车和嵌入式使用的情况下，可以对GPU1308进行功率优化以实现最佳性能。例如，可以在鳍式场效应晶体管(FinFET)上制造GPU1308。然而，这并不意图是限制性的，并且GPU1308可以使用其他半导体制造工艺来制造。每个流式微处理器可以合并划分成多个块的若干混合精度处理核。例如且非限制性地，可以将64个PF32核和32个PF64核划分成用于深层学习矩阵算术的两个混合精度NVIDIA张量核、L0指令高速缓存、线程束(warp)调度器、分派单元和/或64KB寄存器文件。此外，流式微处理器可以包括独立的并行整数和浮点数据路径，以利用计算和寻址计算的混合提供工作负载的高效执行。流式微处理器可以包括独立线程调度能力，以允许实现并行线程之间的更细粒度的同步和协作。流式微处理器可以包括组合的L1数据高速缓存和共享存储器单元，以便在简化编程的同时提高性能。[0168]GPU1308可以包括在一些示例中提供大约900GB/s的峰值存储器带宽的高带宽存地，可以使用同步图形随机存取存储器(SGRAM),例如第五代图形双倍数据速率同步随机存和GPU1308二者的存储器，从而简化了GPU1308编程和将应用程序移植(port)到GPU[0171]SoC1304可以包括任意数量的高速缓存13[0172]SoC1304可以包括算术逻辑单元(ALU),其可以用于执行关于车辆1300的各种任被配置成为深度学习应用和推理提供额外的每秒10万亿次操作的一个或更多个张量处理处理功能而优化的加速器。DLA可以进一步针对特定的一组神经网络类型和浮点运算以及象识别和检测的CNN;用于使用来自相机传感器的数据进行距离估计的CNN;用于使用来自麦克风的数据进行应急车辆检测和识别与检测的CNN;用于使用来自相机传感器的数据进行面部识别和车主识别的CNN;和/或用于安全和/或安全相关事件的CNN。[0176]DLA可以执行GPU130使DLA或GPU1308针对任何功能。例如，设计者可以将CNN的处理和浮点运算聚焦在DLA上，并且将其他功能留给GPU1308和/或其他加速器1314。[0177]加速器1314(例如硬件加速簇)可以包括可编程视觉加速器(PVA),其在本文中可以可替代地称为计算机视觉加速器。PVA可以被设计和配置为加速用于高级驾驶员辅助系以提供性能与灵活性之间的平衡。例如，每个PVA可以包括例如且不限于任意数量的精简指令集计算机(RISC)核、直接存储器访问(DMA)和/或任意数量的向量处理器。[0178]RISC核可以与图像传感器(例如本文描述的任何相机的图像传感器)、图像信号处理器和/或类似物交互。这些RISC核中的每一个可以包括任意数量的存储器。取决于实施例，RISC核可以使用若干协议中的任何协议。在一些示例中，RISC核可以执行实时操作系统(RTOS)。RISC核可以使用一个或更多个集成电路设备、专用集成电路(ASIC)和/或存储设备向PVA提供优化的任意数量的特征，包括但不限于支持多维寻址和/或循环寻址。在一些示[0180]向量处理器可以是可编程处理器，其可以被设计为高效且灵活地执行用于计算机视觉算法的编程并且提供信号处理能力。在一些示例中，PVA可以包括PVA核和两个向量处和/或其他外围设备。向量处理子系统可以作为PVA的主处理引擎而操作，并且可以包括向量处理单元(VPU)、指令高速缓存和/或向量存储器(例如VMEM)。VPU核可以包括数字信号处合可以增强吞吐量和速率。[0181]向量处理器中的每一个可以包括指令高速缓存并且可以耦合到专用存储器。结果，在一些示例中，向量处理器中的每一个可以被配置为独立于其他向量处理器执行。在其他示例中，包括在特定PVA中的向量处理器可以被配置为采用数据并行化。例如，在一些实施例中，包括在单个PVA中的多个向量处理器可以执行相同的计算机视觉算法，但是在图像的不同区域上执行。在其他示例中，包括在特定PVA中的向量处理器可以在相同的图像上同时执行不同的计算机视觉算法，或者甚至在序列图像或者图像的部分上执行不同的算法。除其他的以外，任意数量的PVA可以包括在硬件加速簇中，并且任意数量的向量处理器可以系统安全性。[0182]加速器1314(例如硬件加速簇)可以包括片上计算机视觉网络和SRAM,以提供用于个现场可配置的存储器块组成的至少4MBSRAM,其可以由PVA和DLA二者访问。每对存储器块可以包括高级外围总线(APB)接口、配置电路系统、控制器和复用器。可以使用任何类型器。主干可以包括(例如使用APB)将PVA和DLA互连到存储器的片上计算机视觉网络。[0183]片上计算机视觉网络可以包括在传输任何控制信号/地址/数据之前确定PVA和DLA二者都提供就绪且有效的信号的接口。这样的接口可以提供用于传输控制信号/地址/数据的单独相位和单独信道，以及用于连续数据传输的突发式通信。这种类型的接口可以符合ISO26262或者IEC61508标准，但是也可以[0184]在一些示例中，SoC1304可以包括例如在2018年8月10日提交的美国专利申请No.16/1