CN113661495B 视线校准方法及装置、设备、计算机可读存储介质、系统、车辆 （深圳引望智能技术有限公司）

2021.07.07PCT/CN2021/1028612021.06.28WO2023/272453ZH2023.01.05道万科城社区华为公司华为总部办公位置或者包含用户看到的车外场景的第二图像维位置和注视点三维位置获得准确度较高的第二视线方向，有效提升了用户视线估计的准确含用户的第二视线方向和其第一图像的优化样升了视线追踪模型针对特定用户的视线估计精2根据第一摄像头采集的包含用户眼睛的第一图像，获得用户的根据所述眼睛三维位置、第一视线方向、第一摄像头的外参和第二根据用户在第二图像中的注视区域和所述第二图像，获得用户根据所述注视点三维位置和所述眼睛三维位置，获得用户的第二视线6.根据权利要求1至3中任一项所述的视线校准方法像中注视点的位置是利用注视点校准模型根据用户在第二图像中的注视区域和所述第二眼睛位置确定单元，配置为根据第一摄像头采集的包含用户眼睛的第一视线确定单元，配置为根据第一摄像头采集的包含用户眼睛的注视点校准单元，配置为根据用户在第二图像中的注视区域和所述第3第二视线确定单元，配置为根据所述注视点三维位置和所述眼睛三维优化单元，配置为以所述用户的第二视线方向和所单元，还配置为根据所述用户在第二图像中注视点的置信度对所述注视点进行筛选；和/图像中注视点的位置是利用注视点校准模型根据用户在第二图像中的注视区域和所述第至少一个存储器，其与存储有程序指令，所述程序指令当计算机执行时使得所述计算机执行权利要求1至少一个存储器，其与存储有程序指令，所述程序指令当4[0005]由此，可利用第二图像校准用户的视线方向以获得准确[0009]由此，可在最终获得的第二视线方向中消除视线追踪模型精度限制而带来的误5视点校准模型根据用户在第二图像中的注视区域和第二[0034]由此，可利用第二图像校准用户的视线方向以获得准确6[0038]由此，可在最终获得的第二视线方向中消除视线追踪模型精度限制而带来的误视点校准模型根据用户在第二图像中的注视区域和第二[0052]作为第四方面的一种可能的实现方式，显示屏为增强现实抬头显示系统的显示78特征、结构或特性包括在本发明的至少一个实施例中。因此，在本说明书各处出现的用语对本领域的普通技术人员显而易见的那样。具体实施方式进行说明之前先对本说明书中所使用的术语给出如下9每个像素在图像坐标系中x方向的物理长度与相机焦距f的比值，v轴尺度因子是像素在图平行于图像平面的两条垂直边，通常用P(x,y)表示其坐标值，图像坐标系是用物理单位[0115]小样本学习（few_shotlearning是指神经网络在预学习了一定已知类别的大样本任务的训练样本对训练后的神经网络进的少量数据上对参数执行一次或多次的学习后[0120]单目深度估计（FastDepth利用一张或者唯一视角下的RGB图像估计图像中每[0127]本申请实施例可适用于任何需要对人的视线方向进行实时校准或估计的应用场用户的校准视线数据对视线追踪模型进行优化并将优化后的视线追踪模型提供给图像处[0135]实际应用中，第一摄像头110、第二摄像头120和图像处理系统130均可部署于车踪模型可由部署于云端的模型训练系统150训练获得并提供给部署于用户车端的图像处理[0149]视线方向可通过基准坐标系中的视角和/或视线向量来表示。视角可以是视线与方向矢量中可包含眼睛基准点在基准坐标系中的三维坐标和注视点在基准坐标系中的三方式中，眼睛三维位置可通过第一图像获得的二维位置结合第一图像的深度信息采用中的位置结合预先获得的标准3D人脸模型进行PnP求解，解得用户的人脸特征点在基准坐第二摄像头120的内参和外参，利用摄像机透视投影模型确定用户在第二图像中的注视区[0156]图6示出了座舱环境中驾驶员（图中未示出）看向车辆前方人行横道中行人的场[0160]图7示出了图6所示场景中驾驶员在基准坐标系中的注视区域S1的可视化图形，O[0161]步骤S902，将用户在基准坐标系中的注视区域S1投影到第二摄像头120的像素坐点与第二图像中的像素点一一对应，每个像素点的灰度值可指示自身是否属于注视区域。中各像素的灰度值可指示目标物体的对应点到第经通过通道维度拼接层将第二注视区域的图像与第二图像在通道方向上合并为一个新图过简单的逆透视变换即可得到注视点在基准坐标系中的三维坐标，也即注视点的三维位注视点的Z轴坐标，基于第二摄像头120的内参和外参以及第一摄像头110的外参得到基准[0185]本申请实施例中步骤S301~步骤S305的视线校准可通过系统100中的图像处理系用户的模型精度。但对于视线追踪模型来说，需要的数据是相机坐标系下用户的视线数据[0188]以上文图1的示例性系统为例，图13示出了步骤S306中视线追踪模型优化的示例优化系统140利用用户的样本库中新增的优化样本，基于小样本学习方法针对前一次优化情况下执行步骤S3062的优化，在图像处理系统130与模型优化系统140可正常通信的情况[0191]小样本学习方法可以通过能够以少量样本实现视线追踪模型优化的任何算法来[0193]图14示出了座舱环境中系统100执行视线校准和模型优化的示例性处理流程。参A的DMS图像（即第一图像DMS图像中包含驾驶员A的脸部，经车辆G车端的图像处理系统[0195]眼睛位置确定单元1501，配置为根据第一摄像头采集的包含用户眼睛的第一图[0196]第一视线确定单元1502，配置为根据第一摄像头采集的包含用户眼睛的第一图[0198]注视点校准单元1504，配置为根据用户在第二图像中的注视区域和所述第二图[0200]第二视线确定单元1506，配置为根据所述注视点三维位该优化样本对视线追踪模型进行小样本学习以提升其参考点即为用户的注视点，该参考点在第一摄像头110的相机坐标系中的三维坐标即为用[0217]本步骤的具体实施方式与实施例一中步骤S301中眼睛三维位置的具体实现方式[0221]本实施例的方法优选第一摄像头110的相机坐标系为基准坐标系，由此获得的第[0225]眼睛位置确定单元1501，配置为根据第一摄像头采集的包含用户眼睛的第一图[0226]第二视线确定单元1506，配置为根据所述注视点三维位[0230]图19是本申请实施例提供的一种计算设备1900的结构性示意性图。该计算设备[0233]应理解，在本申请实施例中，该处理器1910可以采用中央处理单元(centralprocessingunit，CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignalprocessor，DSP)、专用集成电路(applicationspeci的方法中的相应主体，并且计算设备1900中的各个模块的上述和其它操作和/或功能分别120配置为采集包含用户看到的场景的第二图像，第一摄像头110和第二摄像头120均可与二摄像头120提供的第二图像执行存储器1920中的计算机执行指令执行上述实施例一中视设备1900中，处理器1910利用第一摄像头110提供的第一图像和显示屏所显示的参考点的三维位置执行存储器1920中的计算机执行指令执行上述实施例二中视线校准方法的操作[0241]一些实施例中，驾驶员监控系统还可包括云端服务器，其可配置为以计算设备[0242]具体地，驾驶员监控系统的架构可参见实施例一中图1所示的系统和实施例二中算机软件产品存储在一个存储介质中，包括若干[0252]计算机可读的信号介质可以包括在基带中或者作为载波[0254]可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机