CN113468956B 注意力判定方法、模型训练方法及对应装置 （北京迈驰智行科技有限公司）

开发区科谷一街10号院6号楼3层306-2(北京自贸试验区高端产业片区亦庄神经网络模型输出的视线估计结果以及眼睛状条件时，才会根据视线估计结果进行注意力判得到的视线估计结果并不能有效地进行注意力2将所述人眼图像输入至预训练的神经网络模型，获得所述神经对所述当前帧以及所述当前帧的至少一个前序帧对应的第一注意力判定结果进行统将所述第一统计结果中出现频率最高的第一注意力判定结果确定为所述当前帧对应所述第二注意力判定结果的可取值包括第一结果、第二结果以及第三结在所述将所述第一统计结果中出现频率最高的第一注意力判定结果确定为所述当前对所述当前帧以及所述当前帧的至少一个前序帧对应的第二注意力判定结果进行统总数大于所述第一阈值，则将所述当前帧对应的第三注意力判定结果确定为所述第三结若所述第三结果的总数不大于所述第一阈值，则判断所若所述眼睛遮挡状态为未被遮挡，则根据所述视线估计结果确定第一注意力判定结其中，所述眼睛开闭状态为眼睛睁开且所述眼睛遮挡状态为未3若所述视线估计结果处于所述正常视线范围内，则将所述第一若所述眼睛遮挡状态为被遮挡，则将所述第一注意力判定检测得到所述人脸图像中人物的头部姿态；根据所述头部姿态，从所述将所述人眼图像及其对应的头部姿态输入至预训练的神经若所述头部姿态处于所述正常姿态范围内，则从所述人脸图像中裁剪出所述人眼图若所述头部姿态处于所述正常姿态范围外，则将所述第一注意力将所述人眼图像输入至所述神经网络模型，获得所述多个分支中4第一预测模块，用于将所述人眼图像输入至预训练络模型输出的视线估计结果以及眼睛状态，所述眼睛状态包括眼睛开闭状态和/或眼睛遮注意力判定模块，用于判断所述眼睛状态是否满足注意力判所述第二注意力判定结果的可取值包括第一结果、第二结果以及第三结5[0003]本申请实施例的目的在于提供一种注意力判定方法、模[0007]在第一方面的一种实现方式中，所述眼睛状态包括眼睛开闭状态和眼睛遮挡状6[0012]上述实现方式给出了一种在眼睛闭合或者眼睛被遮挡时像中人物的头部姿态；将所述人眼图像及其对应的头部姿态输入至预训练的神经网络模7[0021]在第一方面的一种实现方式中，所述神经网络模型被训线估计和眼睛状态预测集成到一个神经网络模型的不同分支中。此举可以减少网络数量，[0026]在上述实现方式中，对当前帧对应的第一注意力判定结得到当前帧对应的第二注意力判定结果，此举有利于修正一些偶然因素造成的判定错误，[0027]在第一方面的一种实现方式中，所述第二注意力判定结果的可取值包括第一结8定结果统计的总帧数；判断所述第二统计结果中所述第三结果的总数是否大于第一阈值，果中所述第二结果的总数是否大于第二阈值，若所述第二结果的总数大于所述第二阈值，神经网络模型输出的视线估计结果以及眼睛状态，所述眼睛状态包括眼睛开闭状态和/或9原始渲染人眼图像时，对根据所述人眼特征点所确定的裁剪区域进行随机的偏移和/或缩视线估计损失和眼睛状态预测损失，并根据计算出的视线估计损失和眼睛状态预测损失，[0051]图1示出了本申请实施例提供的注意力判定方法的一种可能的流程。该方法可以外接矩形又例如，可以在人脸图像上进行目标检测（目标为眼睛然后根据pitch和yaw来表示。关于姿态角，可以参照图2，图2示出的虽然是用姿态角表示头部姿态（头部姿态可用于注意力判定，详见后文但实际上将其中的头部换成眼球也是同样适用挡后文中主要以眼睛状态包括眼睛开闭状态和眼睛遮挡状态的情况为例。[0061]图3中的神经网络模型其工作流程大致为：首先利用卷积模块以及卷积层提取人[0067]无论眼睛状态如何，步骤S120中的神经网络模型总能够[0068]步骤S130中判断是否满足注意力判定条件也可以认为是在判断视线估计结果的了在某些非正常的眼睛状态下得到的视线估计结果并不能有效地进行注意力判定的问题，闭状态为睁开则表明眼睛状态满足步骤S130中的注意力判定条件，从而按照步骤S140，间[P1,P2]内，且yaw的取值位于区间[Y1,Y2]内，则表明视线估计结果位于正常视线范围况下可根据人物的头部姿态可选择右眼图像作为步骤S110中的人眼图像作为注意力判定应图2中向右偏转，因为图2是摄像头视角则选择右眼图像作为步骤S110中的人眼图像；正常姿态范围内才将其从人脸图像中裁剪出来并进一步用于视线估计和眼睛状态预测，于区间[P3,P4]内，且yaw的取值位于区间[Y3,Y4]内，则表明头部姿态位于正常姿态范围理灰度图像（用灰度图像训练对于彩色摄像头采集到的原始人眼图像（彩帧中的人眼图像对应的第一注意力判定结果以及当前帧的每个前序帧对应的第一注意[0106]实际中，不排除一些偶然因素导致按图1中的方法得到的第一注意力判定结果是果中第三结果的个数1＜15，所以应继续判断，由于第二统计结果中第二结果的个数28＞[0114]图4示出了本申请实施例提供的模型训练方法的一种可能的流程。该方法可用于[0121]在步骤S210的一些实现方式中，可以先获取实际人脸图像以及原始渲染人眼图神经网络模型输出的视线估计结果以及眼睛状态，所述眼睛状态包括眼睛开闭状态和/或[0141]在注意力判定装置300的一种实现方式中，所述眼睛状态包括眼睛开闭状态和眼所述头部姿态处于所述正常姿态范围外时，将所述第一注意力判定结果确定为第二结果，[0148]在注意力判定装置300的一种实现方式中，所述神经网络模型被训练为专门处理高的第一注意力判定结果确定为所述当前帧对应的第二注[0151]在注意力判定装置300的一种实现方式中，所述第二注意力判定结果的可取值包结果中出现频率最高的第一注意力判定结果确定为所述当前帧对应的第二注意力判定结[0152]本申请实施例提供的注意力判定装置300，其实现原理及产生的技术效果在前述[0153]图6示出了本申请实施例提供的模型训练装置400的功能模块图。模型训练装置400用于利用第二检测模型进行模型训练，所述第二检测模型包括特征提取模块以及密集眼图像带有视线标签，所述眼睛状态标签包括眼睛开闭状态的标签和/或眼睛遮挡状态的神经网络模型输出的视线估计结果以及眼睛状态，所述眼睛状态包括眼睛开闭状态和/或[0159]本申请实施例提供的模型训练装置400，其实现原理及产生的技术效果在前述方[0161]其中，处理器510包括一个或多个（图中仅示出一个其可以是一种集成电路芯形处理器（GraphicsProcessingUnit，GPU）、神经网络处理器（Neural_network只读存储器（ProgrammableRead_OnlyMemory，简称PROM可擦除可编程只读存储器（ErasableProgrammableRead_OnlyMemory，简称EPROM电可擦除可编程只读存储器取并运行这些计算机程序指令，以实现本申请实施例