CN114724200B 人脸刚体模型及注视点检测的方法、装置及存储介质 （京东方科技集团股份有限公司）

US2015293588A1,2015.本发明公开了人脸刚体模型及注视点检测于预设数量的特征点确定当前用户的左眼球中眼球中心三维坐标到人脸中心三维坐标的左眼2每拍摄一次，根据所述第二可见光人脸图像确定所述当前用户的人若所述第二交点在所述第一注视区域内，且第二人脸位姿在从所述第一可见光人脸图像中获取所述当前用户人脸的预设数量基于所述预设数量的特征点确定所述当前用户的左眼球中心三维坐分别建立所述左眼球中心三维坐标、所述右眼眼球中心三将所述第二人脸位姿的误差值抽象为以所述第一注视区域的中心为将所述预设数量的特征点对应的像素坐标转换为世界坐标从所述预设数量的特征点中确定出左眼区域特征点和右眼区确定所述左眼区域特征点和所述右眼区域特征点的中心点，的中心点作为左眼中心三维坐标，将所述右眼区域特征点的中心点作为右眼中心三维坐根据预设眼球半径及所述左眼中心三维坐标和所述右眼中心三在显示屏幕的中心显示第二注视区域，并获取所述当前用户3基于所述第三可见光人脸图像确定所述当前用户的第三人脸通过所述第三人脸位姿更新所述人脸刚体模型的姿态，并结合所述若不在所述第二注视区域内，将所述当前注视点移动将所述第三红外图像转换为与所述第三可见光图像同坐标系下从所述第四红外图像中获取左眼区域和右眼区域，并用瞳孔检测算法将所述左眼瞳孔中心像素坐标和所述右眼瞳孔中心像素坐标，分别转换将所述人脸刚体模型中左眼向量和右眼向量，按所从所述调整后的左眼向量和所述调整后的右眼向量中获取当前左眼眼球中心三维坐将所述当前左眼眼球中心三维坐标和所述左眼瞳孔三维坐标连线的延长线作为左眼确定所述左眼视线和所述右眼视线分别与所述显示屏幕的两获取当前用户的第四可见光人脸图像和第四红外人脸图像，并从左眼瞳孔中心像素坐标和当前右眼瞳孔中心用基于PnP的位姿测量方法对所述预设数量的特征点进行计算，获得所述当前用户的基于所述当前人脸位姿更新如权利要求1-6任一项所述的人脸刚体模型，获得当前左根据所述当前左眼眼球中心三维坐标、所述右眼眼球中心三维、所4将所述第四红外图像转换为与所述第四可见光图像同坐标系下从所述第五红外图像中获取左眼区域和右眼区域，并用瞳孔检测算法9.如权利要求7所述的方法，其特征在于，基于所述当将所述人脸刚体模型中左眼向量和右眼向量，按所从所述调整后的左眼向量和所述调整后的右眼向量中，获取当前左眼右眼眼球中心三维、所述当前左眼瞳孔中心三维坐标和所述当前右眼瞳孔中心三维坐标，将所述当前左眼眼球中心三维坐标和所述左眼瞳孔三维坐标连线的延长线作为左眼将所述当前右眼眼球中心三维坐标和所述右眼瞳孔三维坐标连线的延长线作为右眼确定所述左眼视线和所述右眼视线分别与所述显示屏幕的两获取模块，用于在显示屏幕中最靠近拍摄设备的位置显示第一确定模块，用于基于所述预设数量的特征点确定所述当前用户的左眼球中心三维坐获得模块，用于分别建立所述左眼球中心三维坐标、所述右眼获取模块，用于获取当前用户的第四可见光人脸图像和第5计算模块，用于用基于PnPd的位姿测量方法对所述预获得模块，用于基于所述当前人脸位姿更新如权利要求1-6任一项所述的人脸刚体模其中，所述存储器存储有可被所述至少一个处理器执行的所述存储器用于存储指令，当所述指令被处理器执行时，使得包括所6即通过人眼依次注视屏幕(相当于一个二维平面)上的9个标定点，从而得到瞳孔到屏幕之[0003]尽管该9点标定方法在人脸保持静止的情况下具有较高的精度，但是当人脸发生[0009]一种可能的实施方式，获取图像传感器正向拍摄当前用户的第一可见光人脸图[0014]若所述第二交点在所述第一注视区域内，且第二人脸位7[0016]将所述第二人脸位姿的误差值抽象为以所述第一注视区将所述第一注视区域的边界作为所述误差范[0032]一种可能的实施方式，检测所述第三红外图像中左眼瞳孔和右眼瞳孔的中心位左眼区域和所述右眼区域中获取左眼瞳孔中心像素坐标和右眼瞳孔中心标系下的左眼瞳孔中心三维坐标和右眼瞳孔中心8[0037]将所述人脸刚体模型中左眼向量和右眼向量，按所述第三人脸位姿调整旋转角[0038]从所述调整后的左眼向量和所述调整后的右眼向量中获取当前左眼眼球中心三[0039]将所述当前左眼眼球中心三维坐标和所述左眼瞳孔三维坐标连线的延长线作为[0043]用基于PnP的位姿测量方法对所述预设数量的特征点进行计算，获得所述当前用左眼区域和所述右眼区域中获取左眼瞳孔中心像素坐标和右眼瞳中心孔[0050]将所述人脸刚体模型中左眼向量和右眼向量，按所述当前人脸位姿调整旋转角[0053]将所述当前左眼眼球中心三维坐标和所述左眼瞳孔三维坐标连线的延长线作为9[0054]将所述当前右眼眼球中心三维坐标和所述右眼瞳孔三维坐标连线的延长线作为所述第一可见光人脸图像中获取所述当前用户人脸的预设数量[0065]若所述第二交点在所述第一注视区域内，且第二人脸位[0067]将所述第二人脸位姿的误差值抽象为以所述第一注视区将所述第一注视区域的边界作为所述误差范左眼区域和所述右眼区域中获取左眼瞳孔中心像素坐标和右眼瞳孔中心标系下的左眼瞳孔中心三维坐标和右眼瞳孔中心[0088]将所述人脸刚体模型中左眼向量和右眼向量，按所述第三人脸位姿调整旋转角[0089]从所述调整后的左眼向量和所述调整后的右眼向量中获取当前左眼眼球中心三[0090]将所述当前左眼眼球中心三维坐标和所述左眼瞳孔三维坐标连线的延长线作为人脸图像中获取当前左眼瞳孔中心像素坐标和当前右眼瞳孔中左眼区域和所述右眼区域中获取左眼瞳孔中心像素坐标和右眼瞳中心孔[0101]将所述人脸刚体模型中左眼向量和右眼向量，按所述当前人脸位姿调整旋转角[0104]将所述当前左眼眼球中心三维坐标和所述左眼瞳孔三维坐标连线的延长线作为[0105]将所述当前右眼眼球中心三维坐标和所述右眼瞳孔三维坐标连线的延长线作为[0117]图4为本发明实施例提供的人脸朝向与显示屏幕的交点不在第一注视区域内的示[0118]图5为本发明实施例提供的人脸朝向与显示屏幕的交点在第一注视区域内的示意[0130]在本发明提供的实施例中，图像传感器包括可见光图像传感器和红外图像传感[0138]请参见图2和图3，图2为本发明实施例提供的一种当前用户注视第一注视区域的向延伸的线段用于表示人脸位姿对应的俯仰角(pitch)，以第一注视区域的中心为起点向横向延伸的线段用于表示人脸位姿对应的偏航角(yaw)，以第一注视区域的中心为起点与断第二交点1是否在第一注视区域内，以及第二人脸位姿1是否在设置的误差范围内(即通过以判断第一注视区域的中心为起点延伸的三条线段是否在第一注视区域内)，这样便于[0142]请参见图4为本发明实施例提供的人脸朝向与显示屏幕的交点不在第一注视区域[0143]此时再对该第二可见光人脸图像2进行分析处理，确定当前用户的人脸朝向与显[0144]请参见图5为本发明实施例提供的人脸朝向与显示屏幕的交点在第一注视区域内[0146]从第二可见光人脸图像中获取当前用户人脸的预设数量的特征点(如人脸的68个特征点)，通过基于PnP的位姿测量方法计算人脸位姿数据(由旋转矩阵和平移矩阵组成)，[0149]请参见图7为本发明实施例提供的建立世界坐标系的示意图，以图像传感器中心幕所在屏幕法向量为代入点法式平面方程可得显示屏幕的平面方到表示人脸位姿的旋转矩阵(R)和平移矩)(此处是以F1为[0180]通过前面的计算已经可以得到显示屏幕在图7所示的世界坐标系下的屏幕方程这个6个特征点，那左眼区域中心点(记为Lcenter)、右眼区域中心点(记为Rcenter)可以表示w[0204]然后根据预设眼球半径(通常为12mm)以及左眼中心三维坐标和右眼中心三维坐w[0208]使用步骤102中计算出的左眼眼球中心坐标、右眼眼球中心坐标以及人脸中心三y1；；[0215]在显示屏幕的中心显示第二注视区域(图9中所示的椭圆形虚线区域，实际为圆器和红外图像传感器对用户进行拍摄)，得到当前用户注视第二注视区域时拍摄的第三可心像素坐标，分别转换为世界坐标系下的左眼瞳孔中心三维坐标和右眼瞳孔中心三维坐[0218]由于可见光图像传感器和红外图像传感器的分辨率和FOV不同，且它们的光轴也以向将第三可见光图像映射到世界坐标系的公式和第三红外图像映射到世界坐标系的公νν红外图像传感器横向分辨率与可见光红外图像传感器横向分辨率之间的倍数(如以步骤[0221]为了减少计算量，也可以先从第三红外图像中获取红外左眼区域和红外右眼区[0236]与计算左眼眼球中心坐标相同的方法，可以计算出右眼眼球中心坐标，记为PR_和当前右眼眼球中心三维坐标之前，还需要通过第三人脸位姿更新人脸刚体模型的姿态[0250]由于上述确定当前注视点的方式与在步骤103中记录的确定当前注视点的方式相左眼区域和所述右眼区域中获取左眼瞳孔中心像素坐标和右眼瞳中心孔[0255]将所述人脸刚体模型中左眼向量和右眼向量，按所述当前人脸位姿调整旋转角[0258]将所述当前左眼眼球中心三维坐标和所述左眼瞳孔三维坐标连线的延长线作为[0259]将所述当前右眼眼球中心三维坐标和所述右眼瞳孔三维坐标连线的延长线作为置的人脸刚体模型生成方法的具体实施方式可参见人脸刚体模型生成方法实施例部分的[0262]获取模块1101，用于获取图像传感器正向拍摄当前用户并从所述第一可见光人脸图像中获取所述当前用户人脸的[0270]若所述第二交点在所述第一注视区域内，且第二人脸位[0272]将所述第二人脸位姿的误差值抽象为以所述第一注视区将所述第一注视区域的边界作为所述误差范左眼区域和所述右眼区域中获取左眼瞳孔中心像素坐标和右眼瞳孔中心标系下的左眼瞳孔中心三维坐标和右眼瞳孔中心[0293]将所述人脸刚体模型中左眼向量和右眼向量，按所述第三人脸位姿调整旋转角[0294]从所述调整后的左眼向量和所述调整后的右眼向量中获取当前左眼眼球中心三[0295]将所述当前左眼眼球中心三维坐标和所述左眼瞳孔三维坐标连线的延长线作为[0298]获取模块1201，用于获取当前用户的第四可见光人脸图红外人脸图像中获取当前左眼瞳孔中心像素坐标和当前右眼[0299]计算模块1202，用于用基于PnP的位姿测量方法对所述预设数量的特征点进行计[0300]获得模块1203，用于基于所述当前人脸位姿更新如权利要求1-7任一项所述的人前左眼瞳孔中心三维坐标和当前右眼瞳孔中心左眼区域和所述右眼区域中获取左眼瞳孔中心像素坐标和右眼瞳中心孔[0306]将所述人脸刚体模型中左眼向量和右眼向量，按所述当前人脸位姿调整旋转角[0309]将所述当前左眼眼球中心三维坐标和所述左眼瞳孔三维坐标连线的延长线作为[0310]将所述当前右眼眼球中心三维坐标和所述右眼瞳孔三维坐标连线的延长线作为介质的装置完成如上所述的人脸刚体模型生成的方法或用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的[0320]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一