人脸关键帧动画研究

UniversityofScienceandTechnologyofAdissertationforbachelor’sKeyFrameAnimationofHumanAuthor:XiaojieXuSpeciality:AutomationSupervisor:Prof.LigangLiuFinishedtime:May2018算中文内容·····················································英文内容····················································· 绪论····················································2第一节背景介绍···············································2第二节本文内容···············································3第三节数学基础···············································4一、Delaunay三角剖分·········································4二、仿射变换与正交投影·······································5三、四元数与球面线性插值·····································7··································8特征检测···············································8网格生成···············································9区域变形···············································颜色融合···············································小结···················································基于姿态估计的算法··································人脸重建···············································参数估计···············································坐标插值···············································小结·················································································································································总结···················································展望···················································参考文献·························································第一章绪论第一节键帧中填补中间帧。一般来说，如果所看画面之帧率高于每秒约10至12帧的时置关键帧的参数和帧数，而由自动插值生成中间帧。图 关键帧动画（来源根据以上对关键帧动画的介绍，可以了解到这样的事实：为了描述图像于目前的并不会面向某些特定的图像进行算法上的修改，故，对于想? 的两幅人脸图像，目前暂时没有较好的解决方案。本文的后续部分安排如下：下一节将会介绍本文所算法中涉及的一ly三角剖分算法，仿射变换与正交投影以及基本的四元数和相对应的球面线性插值（ERP（平面算法与算法的工作流程，以及实现它们第三节一、Delaunay在计算机图形学以及有限元分析等学科中，点集的(Triangulation)整个渲染、计算过程，其中最为常见的是Delaunay三角剖分。以下，给出1.1三角剖分：假设V是二维实数域上的有限点集，边e是由点集中的点作为端点构成的封闭线段EeV的一个三角剖分T=(V,E)是一个平面图G，该平面图满足条件：平面图中所有的面都是三角面，且所有三角面的合集是散点集V1.2DelaunayE中的一条边e的两个端点VeDelaunay边。1.3DelaunayV的一个三角剖分TDelau-nay边，那么该三角剖分称为Delaunay三角剖分。图 Delaunay三角剖分（来源二、仿射变换与正交投(Affinetransformation)，是指在几何中，一个向量空间进行一次线与旋转(Rotation)。⃗ = 0,..., （赋予了内积的向量空间）中，有正交投影(Orthogonalprojections)的概念。例将三中的向量(x,y,z)到到向量(x,y,0)的正交投影，可以用矩阵表 P 01 (a)仿射变 (b)正交投图 ??三、四元数与球面线性插绕转轴n=(nx,ny,nz)旋转θ角度这一过程，等价于四元数：p=[w,=[cos(θ/2),=[cos(θ/2),(sin(θ/2)nx,sin(θ/2)ny,性插值(sphericallinearinterpolation,SLERP)[2]Slerp(p0,p1;t)

sin[(1−sin p0

sinΩp1.在上式中，p0p1为两个四元数，cosΩ=p0p1=w1w2v1v2；t为参数，满足0⩽t⩽1.图 球面线性插值（来源?第二章基于平面网格插值的算法第一节SIFT特征的算法。对于人脸图像，同样希望能够提取人脸特征，从而获得逐像素的对应关系（理想情况。然而，实际上没有必要这样做，因此这会征对应点。为了解决这个问题，可以使用人脸检测工具获取图像中的人脸sh_predictor_68_face_landmarks.dat获取人脸特征点。(a)原始人脸图像 (b)原始人脸图像图 dlib人脸特征点检（红色矩形部分）与人脸 ，5967样的效果，仅仅找到人脸部分的关键特息，以此作为对应信息是不够的，因此，在图像边缘加上8个特征点，共计76个特征点（下标从0开始，故记为常量Np=75，下同，即点集：P1={p0,p1,...,pNp P2={p0,p1,...,pNp 的每一个元素记录了位置(x,y)的值，即特征点在对应原始输入人脸图像中的坐第二节经过以上步骤，已经得到两张原始输入人脸图像的特征点集P1,P2，各Np+1个特征点，代表着原始输入人脸图像中主要人脸部分以及部分背景Pa={p0,p1,...,pNp pk=(pk+pk)/ k=0, ,Delaunay三角剖分良好的几何性质与拓扑关系，在此公共特征点集Pa上完全相同的，且包含了图像中的人脸这一语义信息。在此，使用OpenCV中自带Subdiv2D类的getTriangleList方法进行网格的生成。包含有Nt个元素，相应的每个元素作为一个列表，代表一个三角形的三个顶点，包含有3个元素，记录了构成三角形区域的特征点在集合Pa中的下标，即：D(Pa)=={t1,t2, ={(k1,k2,k3),(k1,k2,k3),...,(k1,k2,k3 N在上式中，对平均特征点集进行Delaunay三角剖分后，所得到集合中的元素个数，完全由平均特征点的信息所决定，即Nt=Nt(Pa)i[0,Np]kj=0,1,,Npi例如，下标（从0开始计数）为(18,37,36)与(37,18,19)的特征点在角剖分实现的结果如下图所示(为了方便显示整个网格的结构，以其中一张图 平均三角剖分网从图中可以注意到，由于的公共三角剖分基于两张原始图像的“公共特应关系。而通过这一节的操作，利用平均特征点作为过渡，找到了原始图像第三节区域变形来进行中间帧特征点集Pm的生成，首先给出以下公式：pk(t)=(1−t)pk+ k=0, ,xk(t)=(1−t)xk+ yk(t)=(1−t)yk+ k=0, ,在上式中，(xk,yk),(xk,yk),(xk,yk)分别代表两张原始输入人脸图像的第 个特征点坐标以及某个中间帧的第k个特征点坐标；t∈[01]t=01 通过以上位置坐标计算公式，对于任意的插值参数t∈[0,1]，可以计算出Np+1组二维坐标(xk(t),yk(t))；同时，由于之前已经得到了网格的 致三角剖分关系T，故对原始图像的任意三角区域，都可以找到中间帧的Titi=(k1k2k3) Ai((

Ai((

i=1,2,...,AiAi 在此，为了计算三角区域之间的仿射变换，选择调用OpenCV中 getAffineTransform函数进行计算。对于每一个ti∈T，该函数可以计算出符合条件的仿射变换Ai,A 1记t1=( 1 p1ip1ip1i)ti=(p2ip2ip2i)titi据以上求出的仿射变换，计算其在中间帧相应三角形tm=( k3)中的 pi,pi 置。这样便完成了逐像素的位置插值。注意，此处使用OpenCV中的warpAffine函数进行计算，但是这个函数处理的是矩形区域，故对每一个三角区同时，由于对原始图像中像素位置进行，不一定能够完全填充中间帧的相应区域，故需要进行“填补缝隙”操作。在此，同样使用OpenCV，将上述函数的融合模式参数设置为BORDER_REFLECT_101即可由系统自动完成该第四节域的仿射变换的求解，已经得到了从原图像到中间帧图像的逐像素位置插值像素点的颜色信息，故使用以下公式进行颜色融合：I(xk,yk)=(1−t)I(xk,yk)+tI(xk, IRGBk与之前的区别，在上一节中，有k=0,1,...,Np，而在此处，由于已经求出(a)原始人脸图像 (b)融合人脸图 (c)原始人脸图像图 颜色融合此处选取t=0.5，则可以认为，这是一张由两张来源不同的原始输入第五节Delaunay三角剖分算法生成公共区域的三角网格；随后，图 平面算法流程 第三章基于姿态估计的算第一节xk(t)=(1−t)xk+ yk(t)=(1−t)yk+ k=0, ,（PCA络[4]复原出其三维人脸模型。此处，令图像平面为XOY；三维模型多出的维度，即Z轴方向（即人脸平面的近似法向）的偏移量为0。 (a)原始人脸图像 (b)原始人脸图像 (c)重建三维模图 单张图像重建人脸三维模a使用3D造型Rhino进行标记，得出各自的68个特征点，并取平均，得出公共特征点集P′，集合中的每一个元素记录了位置(x,y,z)的值。a图 使用Rhino对三维模型进行标第二节参数估计以上，得到了两张原始输入人脸图像的二维特征点集P1,P2（使用上a弱投影机模型

10 V= +Vy 在上式中，s为标量，代表尺度因子；R3X3矩阵，代表旋转因子；T这个模型的建立基于这样的假设[6]：在拍摄时，假设从世界坐标系z轴上的偏置相对于人脸平均到相机的距离可以忽略不计解从P′到P,P 由三元组(s,R,T)描述 在上式中，s1个未知参数，R3个未知参数（欧拉角），T包含2个未知参数。由于所选定的特征点对应关系有68组（如果加上一些人脸上的其他信息，如头发，则有可能，但一般来说，生成的三维模型只会带有图 模型正交投组对应关系对模型参数提出了很高的要求，因此需要精确估计，以此降低误对于包含三个欧拉角信息的旋转矩阵R，使用[7]集成回归模型X,Y,Zθx,θy,θz，其正弦、余弦值分别为sx,cx,sy,cy,sz,cz，那么相应的旋转矩阵为：c czsxsy— sxsz+y R(θx,θy,θz) cxcz+ 将R作用在平均人脸模型P′a10

Y轴上，即水平方向上的偏转，以此作计足够精确，最小二乘求解与直接求解差别并不大。以直接求解为例，取原始图像中的特征点对(pi,pj)与降维后的人脸模型中的对应特征点对(p′i,令s=∥pi−pj∥/∥p′−p′∥即可；同理，选取合适的pk与p′ 平移因子T a以上，便求出了描述从P′到P1,P2的三元组(s1,R1,T1)与(s2,R2,T2)，本节中的矩阵运算，均可通过数值计算进行计算。a第三节人脸模型进行操作，即：对于同样的平均三维人脸模型，通过一个参数t控=

+T 会产生图像的，这也是最常见的做法，可以写作：s(t)=(1−t)s1+ts2T(t)=(1−t)T1+tT2而对于旋转因子，线性插值不再使用[8]中采用矩阵极分解的方法，人为地Slerp(p0,p1;t)

sin[(1−sin p0

sinΩp1.件中自带的dcm2quat与quat2dcm函数来完成。(a)原始人脸图像 (b)融合人脸图 (c)原始人脸图像图 颜色融合相同的方法（Delaunay网格，三角区域仿射变换等）进行区域变形第四节图 算法流程第四章两章中，本文只展示了中间帧生成时的中间差值结果，即参量t=0.5而为了生成所希望的“关键帧动画”，还需要对t从0到1进行不断地赋值。之前在绪论中提到，当每秒钟的帧数（FPS）达到10-12时，人眼就会对在此，使用对t分别赋值，生成一系列的中间帧(t=0,1时为原始输入的人脸图像，即关键帧)，随后使用OpenCV提供的Writer函数将转化为一段，于是便完成了关键帧动画。图 平面算法产生的结了比较平面和这两种算法的效果，在此选取完全相同的两组输入图像，：第一组（姿态差异较小第二组（姿态差异较大图 两种算法生成中间帧的对如上图所示，由于在算法中较为精确地估计出了头部姿态以及投第五章总结与展望第一节本文以人脸关键帧动画作为背景，将给定原始输入人脸图像的图像变形问面网格插值的算法与基于姿态估计的算法。第二节办法用类似dlib检测人脸图像中的特征点的方式来使用机器自动完成。对于不同来源且姿态差异较大的人脸图像，两种算法的效果都并不“自（由于这种情况本身属于虚拟的情况，故其生成的中间帧看上去不够自然是情有可原的）统方法所的的瓶颈问题都将得到解决。Berg,Markde,etal.“ComputationalGeometry:AlgorithmsandApplications.”TheMathe-maticalGazette,vol.85,no.502,1997,p.175.Shoemake,Ken.“AnimatingRotationwithQuaternionCurves.”Proceedingsofthe12thAn-nualConferenceonComputerGraphicsandInteractiveTechniques,vol.19,no.3,1985,pp.King,DavisE.“Dlib-Ml:AMachineLearningToolkit.”JournalofMachineLe