CN119516516A 确定驾驶员的深度信息的方法、装置、设备、车辆和介质 （罗伯特·博世有限公司）

本公开涉及用于确定驾驶员的深度信息的括由深度学习模型基于面部图像来确定旋转信2通过利用统计模型，基于所述面部图像来确定平移信息基于所述旋转信息和所述平移信息，确定所述驾驶员相对于所述相机的所述深度信基于所述二维关键点集合和所述世界坐标系中的所述三维关键点集合来确定平移向确定所述三维面部模型中与所述二维关键点集合中的二维关键点相对应的三维关键基于所述二维关键点集合和所述相机的内参，确定所述相机坐标系中的三维坐标集基于与所述三维关键点集合相对应的所述世界坐标系中的三维坐标集合和所述相机7.根据权利要求1所述的方法，其中确定所述面部图像中的所述驾驶员的所述深度信基于所述世界坐标系中的所述第一坐标、所述旋转信息基于所述第二坐标的竖轴值，确定所述基准点的所述38.根据权利要求7所述的方法，其中确定所述面部图像中的所述驾驶员的所述深度信9.根据权利要求8所述的方法，其中确定所述面部图像中的所述驾驶员的所述深度信述旋转信息指示从世界坐标系到相机坐标系的转换关系所述平移信息指示从所述世界坐标系到所述相机坐标系的所述转换关系中与平移相关的存储器，耦合至所述至少一个处理器并且具有存储于其至少一个处理器执行时使所述设备执行根据权利要求4动驾驶技术提供更多的驾驶员行为预测和反馈信息，帮助系统更好地与驾驶员协同工作，5[0013]图2示出了根据本公开的一些实施例的用于确定驾驶员的深度信息的方法的流程[0016]图5示出了根据本公开的一些实施例的利用旋转矩阵和平移向量将驾驶员的基准[0018]图7示出了根据本公开的一些实施例的用于确定驾驶员的深度信息的过程的流程[0019]图8示出了根据本公开的一些实施例的用于确定驾驶员的深度信息的装置的框6[0026]图1示出了本公开的多个实施例可以在其中实现的示例环境100的示意图。如图1红外相机能够在红外波段范围内接收光信号，并将其转换成人眼可见的图像或热成像图世界坐标系到相机104的相机坐标系的转换关系中与旋转有关的旋转矩阵(也称为旋转信机104的相机坐标系的转换关系中与平移有关的平移向量(也称为平移信息)116。环境1007[0028]由于相机104可以被放置在环境中的任意位置，因此在环境中选择一个基准坐标例中，可以利用旋转矩阵114和平移向量116来将驾驶员面部的指定基准点(以该点的位置[0029]图2示出了根据本公开的一些实施例的用于确定驾驶员的深度信息的方法200的来生成旋转矩阵114，旋转矩阵114指示从世界坐标系到相机104的相机坐标系的转换关系在图1所示的环境100中，方法200可以利用平移信息生成模型112基于驾驶员面部图像108来生成平移向量116，平移向量116指示从世界坐标系到相机104的相机坐标系的转换关系平移向量116来确定深度信息124。深度信息124可以是驾驶员面部的指定基准点相对于相8可以利用面部检测模型来从驾驶员图像106中确定驾驶员面部图像108，在面部图像108中息生成模型300包括头部姿态模型304，头部姿态模型304是深度学习模型。头部姿态模型304接收驾驶员面部图像302(例如，图1中的驾驶员面部图像108)作为输入，输出欧拉角够精确地捕捉到驾驶员面部图像302中的图像特征，并且能够通过预测欧拉角与真实欧拉9y[0041]通过这种方式，旋转信息生成模型300可以利用深度学习方法基于驾驶员面部图高了旋转矩阵314的准确性，从而能够更准确地将世界坐标系中的坐标转换到相机坐标系图4所示，平移信息生成模型400利用面部关键点检测模型404来检测驾驶员面部图像402面部模型作为驾驶员102的三维面部模型408，并在三维面部模型408中确定与二维关键点集合406相对应的三维关键点集合410(包括三维关键点集合410中的每个三维关键点在世成模型400可以基于二维关键点集合406和三维关键点集合410系中点P的坐标与相机坐标系中点P的坐标之间矩阵R和平移向量t)，需要确定一定数目的点在世界坐标系中的坐标和这些点在相机坐标合410中的三维关键点在世界坐标系中的坐标，因此还需要确定这些点在相机坐标系中的键点集合410之间的对应关系，即可得到多个点在世界坐标系中的坐标和在相机坐标系中[0048]通过这种方式，可以以统计的方法计算平移向量416，并且相比较深度学习的方向量416和由旋转信息生成模型300生成的旋转矩阵314来确定驾驶员的深度信息，从而实相机坐标系中的坐标的竖轴值(Z轴值)，来确定该基准点的深度信息作为驾驶员的深度信[0050]图5示出了根据本公开的一些实施例的利用旋转矩阵和平移向量将驾驶员的基准点从世界坐标系投影到相机坐标系中，进而确定驾驶员的深度信息的示例过程500的示意驾驶员102的三维面部模型(例如，图4中的三维面部模型408)来确定鼻尖点在世界坐标系[0051]通过这种方式，可以利用通过深度学习方法生成的旋转矩阵514和通过统计方法可以基于鼻尖点与下巴点之间的真实距离与像素距离之间的比例来确定投影尺度606。在一些实施例中，可以将驾驶员基准点在相机坐标系中的坐标的Z轴值(例如，图5中的坐标[0056]图7示出了根据本公开的一些实施例的用于确定驾驶员的深度信息的过程700的所示的环境中，过程700可以利用面部检测模型来检测驾驶员图像106中的驾驶员面部部练面部检测模型。通过这种方式可以提高在红外相机场景下所检测的驾驶员面部图像108神经网络来构建头部姿态模型304，从而更好的学习到图像中的特征，提高生成的欧拉角的特征，并充分利用变换器模型的自注意力机制和并行计算特点来提高头部姿态模型3043所示的旋转信息生成模型300中，过程700可以基于欧拉角306并通过上文所述的等式(1)(2)可以确定平移向量416，平移向量416指示从世界坐标系到相机坐标系的转换[0064]通过这种方式，过程700能够利用深度学习方法来生成具有较高准确性的旋转矩[0065]图8示出了根据本公开的一些实施例的用于确定驾驶员的深度信息的装置800的[0067]图9示出了可以用来实施本公开的实施例的示例设备900的示意性框图。如图所令或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序指令，来执行各种901、ROM902以及RAM903通过总线904彼此因特网的计算机网络和/或各种电信网络与其他设备[0070]本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例[0071]用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的包部分地在机器上执行且部分地在远程机器上执行或完全在的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实现[0073]尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应