CN110443885A 基于随机人脸图像的三维人头脸模型重建方法 （西北工业大学）

基于随机人脸图像的三维人头脸模型重建本发明提供了一种基于随机人脸图像的三2使用FaceWareHouse人脸数据库作为三维人脸模型的基础数据库，首先对原始人脸模型特征点进行标注，特征点的标注选择以各五官外部轮廓及面部轮廓为标注范围首先将三维人脸模型中人脸侧面的所有坐标点作为人向与Z轴夹角最大的顶点作为可能的轮廓点vcontour，最后根据图像特征点中的轮廓部分选根据FaceWarehouse数据库中的三维人脸模型的张量核Cr，图像中人脸的三维几何模y3*特征点坐标进行条件约束的人脸几何模型投影后的模型函数，将待求解的变量分为四组，将已求出的此组变量进行固定，对其余待求变量进行求解，在对ωid与ωexp变量进行求解加入规则化项后的人脸身份特征ωid与表情特征ωexp计算避免出现人脸畸变，为参数其中w1与w2分别对应规则化项Ereg_id与E将图像中人脸三维几何模型的旋转矩阵R初始4利用曲面网格的拉普拉斯变形对步骤2中得到的人脸低分辨率模型进行修正，具体步利用坐标姿态变换将步骤3中修正后的低分辨率人脸模型重投影至图像空间，使低分辨率模型的投影与目标图像中的人脸重合对齐；则此时对于图像中人脸区域内的每个像将输入图像中的人脸表面像素点的RGB分量分别按人脸表面法向量做集合，记像素深52Enormal为限制法向量n的细节变化与参考法向量nref一致，对每个像素点处的法向量n2在计算出人脸区域内每个像素对应的法向量之后在得到人脸区域内每个像素对应的法向量n(x,y)后，像素坐标(x,y)处对应的深度z使用FareWarehouse数据库中的三维人脸模型作为步骤2中生成的人脸低分辨率模型与空间点云的匹配通过为顶点位置约束来实现，顶6其中vicp_cloud表示与模板顶点vt建立近的点vicp_cloud，再反向查找vicp_cloud在模板中对应的最近点，如果vt与vicp_cloud互为最近在高分辨率人脸区域模型与低分辨率人头模型的对应边界处建立一条过渡三角网格分辨率人脸区域模型与低分辨率人脸模型连接区域网格即用于连重建后的人头模型与图像中的人脸已经在图像空7行三维模型重建的主流方法是利用光流算法、SFS(明暗恢复形状法)结合双线性模型进行[0006]使用FaceWareHouse人脸数据库作为三维人脸模型的基础数据库，首先对原始人脸模型特征点进行标注，特征点的标注选择以各五官外部轮廓及面部轮廓为标注8从第1级开始训练，依次对K个特征点分别构造随机森林，并计算样本集的全局特征图像的线性回归预测模型；线方向与Z轴夹角最大的顶点作为可能的轮廓点vcontour，最后根据图像特征点中的轮廓部[0011]根据FaceWarehouse数据库中的三维人脸模型的张量核Cr，图像中人脸的三维几x与Py表示三维几何模型F中顶点投影后的二维坐标，对三维几何模型F投影后表示为根据9[0025]加入规则化项后的人脸身份特征ωid与表情特征ωexp计算避(9)到(12)的计算，当公式(8)的图像中人脸的三维几何模型F的优化函数[0039]利用曲面网格的拉普拉斯变形对步骤2中得到的人脸低分辨率模型进行修正，具[0040]根据步骤2中计算求得的人脸低分辨率模型的的旋转矩阵R与平移分量T、相机焦[0044]利用坐标姿态变换将步骤3中修正后的低分辨率人脸模型重投影至图像空间，使[0046]将输入图像中的人脸表面像素点的RGB分量分别按人脸表面法向量做集合，记像2[0052]Enormal为限制法向量n的细节变化与参考法向量nref一致，对每个像素点处的法向2[0060]在得到人脸区域内每个像素对应的法向量n(x,y)后，像素坐标(x,y)处对应的深[0069]步骤2中生成的人脸低分辨率模型与空间点云的匹配通过为顶点位置约束来实[0075]在高分辨率人脸区域模型与低分辨率人头模型的对应边界处建立一条过渡三角两条边界顶点经曲面参数化的方法映射至平面，在两条边界之间用三角剖分生产三角网的人脸图像组成测试集，利用FaceWareHouse数据库作为本次实验所用三维人脸模型数据主要细节。本发明方法的人脸模型重建效果与目前应用较广的SFS(明暗恢复形状法)方法[0088]图8是人脸法向量与点云模型重建结果，其中图8(a)是本发明方法产生的人脸点[0098]使用FaceWareHouse人脸数据库作为三维人脸模型的基础数据库,首先对原始人从第1级开始训练，依次对K个特征点分别构造随机森林，并计算样本集的全局特征[0103]由于输入图像的人脸姿态与数据库中的三维人脸模型存在差异(即图像人脸的朝向不是垂直于图像平外向外的)，首先将三维人脸模型中人脸侧面的所有坐标点作为人脸有候选点vcandid中，选择法线方向与Z轴(Z轴选取为垂直于图像平面向外)夹角最大的顶点作为可能的轮廓点vcontour，最后根据图像特征点中的轮廓部分选择与vcontour中的最近点作为三维模型中的人脸轮廓特征点vfeature，人脸轮廓特征点的选取过程如图2所示，其中vcandid表示人脸轮廓的所有候选特征点，vcontour表示根据处理需要选择的待定特征点，[0104]根据FaceWarehouse数据库中的三维人脸模型的张量核Cr，图像中人脸的三维几x与Py表示三维几何模型F中顶点投影后的二维坐标，对三维几何模型F投影后表示oi,,[0117]其中Ereg_id、Ereg_exp分别表示ωid与ωexp的规则化项，分别表示ωid与exp[0118]加入规则化项后的人脸身份特征ωid与表情特征ωexp计算避(9)到(12)的计算，当公式(8)的图像中人脸的三维几何模型F的优化函数[0132]步骤2计算所得到的双线性模型计算得到的三维人脸模型整体形状与目标人脸基[0133]利用曲面网格的拉普拉斯变形对步骤2中得到的人脸低分辨率模型进行修正，具得到输入图像的低分辨率人脸模型，首先利用步骤2中得到的双线性模型的人脸模型坐标部变形的控制权重计算过程见具体实施方式说明，曲面拉普拉斯变形修正的结果如图4所[0135]根据步骤2中计算求得的人脸低分辨率模型的的旋转矩阵R与平移分量T、相机焦[0139]利用坐标姿态变换将步骤3中修正后的低分辨率人脸模型重投影至图像空间，使[0140]将输入图像中的人脸表面像素点的RGB分量分别按人脸表面法向量做集合，记像2[0146]Enormal为限制法向量n的细节变化与参考法向量nref一致，对每个像素点处的法向2[0150]考虑到人脸图像中实际的光照分布，对式(14)中的照光系数建立不等式约束，[0154]在得到人脸区域内每个像素对应的法向量n(x,y)后，像素坐标(x,y)处对应的深与通用模板模型的人脸网格分布重合，保证点云人脸模型中的网格顶点按像素坐标排列。[0162]步骤2中生成的人脸低分辨率模型与空间点云的匹配通过为顶点位置约束来实脸模型各自的边界，其中高分辨率人脸区域的边界为连接区域的高分辨率模型边界区域，域模型与低分辨率人脸模型连接区域网格即用于连接的过渡三角网格带。为消除拼接痕[0173]图3是本发明三维人脸低分辨率模型重建效果图，其中从左至右第一列图像为输[0177]图7是人脸法向量迭代优化过程，图像内容从左至右为不同迭代计算次数下的输云模型，可看出(b)中局部放大后产生了面部畸变，原本应为凹陷的皱纹畸变为凸起的皱[0179]图9是输入图像生成的人脸点云模型与高分辨率模型图，其中图像第一行为不同