CN113544744B 一种头部姿态测量方法及装置 （深圳引望智能技术有限公司）

2021.07.15PCT/CN2021/0977012021.06.01WO2022/252118ZH2022.12.08道万科城社区华为公司华为总部办公象的脸部关键点的点云数据与参数化人脸模型2基于所述目标对象的脸部点云数据和目标对象的脸部二维关键将所述目标对象的脸部关键点的点云数据与参数化人脸模型中脸部关键点的点云数根据目标函数对所述第一相似变换参数进行优化，获得第二相似根据所述第二相似变换参数确定所述目标对参数化人脸模型中距离最近的三角面fc(i)上的投影点，为最近的三角面fc(i)上第j条其中，所述关键点投影距离函数为所述参数化人脸模型中的参数化人脸模型系数的惩罚项函数；其中，所述惩罚Epri=λS*||S||2+λE*||E||2+λP*||P|3基于目标对象的二维图像和深度图像获得所述目标对象从所述目标对象的二维图像中提取目标对象的脸根据提取得到的所述脸部二维图像，从所述目标对象的点云数据对所述第二相似变换参数进行罗德里格斯变换，获得用于表示目拉角。第二获取模块，用于基于所述目标对象的脸部点云数据和第三获取模块，用于将所述目标对象的脸部关键点的点云数第四获取模块，用于根据目标函数对所述第一相似变换参数化人脸模型中距离最近的三角面fc(i)上的投影点，rn.,为最近的三角面fc(i)上第j条其中，所述关键点投影距离函数为所述参数化人脸模型中的4参数化人脸模型系数的惩罚项函数；其中，所述惩罚Epri=λS*||S||2+λE*||E||2+λP*||P|第一获取子模块，用于基于目标对象的二维图像和深度图像获第二提取子模块，用于根据提取得到的所述脸部二维图20.根据权利要求13-14任一项所述的装置，其特至少一个存储器，其与所述处理器连接并存储有程序指令5使得所述计算设备执行权利要求1-12任一项所述的一种6离函数为目标对象的脸部点云数据中的点到参数化人脸模型中距离最近的三角面片的距7标对象的脸部二维图像上的脸部二维关键点的距离，可以使提高人脸细微部位(例如嘴唇[0026]作为第一方面一种可能的实现方式，目标对象的二维图像和深度图像通过TOF相8数化人脸模型中脸部关键点的点云数据进行配准的过9[0060]作为第二方面的一种可能的实现方式，目标对象的二维图像和深度图像通过TOF[0061]作为第二方面的一种可能的实现方式，目标对象的脸部关键点为51个脸部关键[0062]作为第二方面的一种可能的实现方式，目标对象的脸部关键点为68个脸部关键特征、结构或特性包括在本申请的至少一个实施例中。因此，在本说明书各处出现的用语对本领域的普通技术人员显而易见的那样。具体实施方式进行说明之前先对本说明书中所使用的术语给出如下[0091]1)具有深度的图像数据：其包括普通的RGB彩色图像信息和深度信息(Depth以通过RGB-D相机实现具有深度的图像数据的采集，所采集的具有深度的图像数据可以通(如5023个)顶点和若干(如9976个)三角面组成，并用主成分分析(PrincipalComponentppSi解上述旋转参数和平移参数)进行几何配准。常见的点云匹配算法如迭代最近点算法[0117]本申请实施例提供的一种头部姿态的测量方法可以应用于任意需要高精度头部[0130]在本申请的实施例中，包括但不局限于利用卷积神经网络(ConvolutionalNeuralNetworks,CNN)对所述目标对象的RGB图像进行语义分割、利用全卷积网络(Fully卷积神经网络(MaskRegion-basedConvolutionalNeuralNetwork，MaskRCNN)对所述目标对象的RGB图像进行语义分割。进行索引，以获得目标对象脸部二维关键点对应的脸部关键点的点云数据(目标对象的脸像(二维图像)的脸部二维关键点，还可以利用级联深度神经网络(DeepAlignment[0139]作为一种可选的实现方式，可以利用迭代最近点算法(IterativeClosestPoint，ICP)将目标对象的脸部关键点的点云数据与参数化人脸模型中脸部关键点的点云目标对象的脸部点云数据中的点到所述参数化人脸模型中距离最近的三角面片的距离函与图4中点P最近的三角面片不容易确定时，可以计算点P到三角面片abc的距离和点P到三键点投影距离函数为所述参数化人脸模型中的脸部关键点在所述脸部二维图像的投影点，到目标对象的脸部二维图像上的脸部二维关键点的[0147]示例性的，参数化人脸模型中的5023个顶点中有对应人脸的51个人脸关键点(五官关键点)，关键点投影距离函数就是通过将这51个五官关键点投影到目标对象的脸部二[0166]下面参照图5-图7，对本申请的另一实施例提供的一种头部姿态测量方法的一种[0171]在本步骤中，TOF相机获取的二维图像与深度图像中的各个像素点具有一一对应[0176]S260：对步骤S250获得的目标对象的脸部三维关键点集合和FLAME模型脸部关键[0178]如图7所示，具体的：该人头坐标系的原点定义为x轴方向定义为Px=y轴方向定义为z轴方向定义为pz＝x[0181]作为一种可选的实现方式，可以利用ICP算法对目标对象的脸部三维关键点集合+λE+λP2键点形成的面之间的距离，Dproj为所述FLAME模型中的脸部三维关键点在所述脸部二维图像(S210中目标对象的RGB图像)的投影点，到目标对象的脸部二维图像上的脸部二维关键[0190]si为目标对象的脸部点云数据中的点，p(si,fc(i)离最近的三角面fc(i)上的投影点，为距离最近的三角面fc(i)上第j条边上与si距离最[0191]ui为所述参数化人脸模型中的三维关键点在所述脸部二维图像的测方法获取表示驾驶员的头部姿态，该模块功能的具体实现方式参见上述实施例中介绍，二相似变换参数。第一确定模块550用于根据所述第二相似变换参数确定所述目标对象的线与处理器910连接。总线可以是外设部件互连标准(PeripheraInterconnect，PCI)总线或扩展工业标准结构(ExtendedIndustryStandard[0232]应理解，在本申请实施例中，该处理器910可以采用中央处理单元(centralprocessingunit，CPU)。该处理器还可以是其它通用处理器、数字信号处理器(digitalsignalprocessor，DSP)、专用集成电路(Applicationspeci[0234]在计算设备900运行时，所述处理器910执行所述存储器920中的计算机执行指令[0235]应理解，根据本申请实施例的计算设备900可以对应于执行根据本申请各实施例算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个[0244]计算机可读的信号介质可以包括在基带中或者作为载波[0246]可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机