三维可形变模型在人脸识别领域的应用ppt课件

.,-三维可行变模型在人脸识别中的应用,蔡英2015.5.7,.,维度？,0维指点，且这个点没有大小，只表位置1维指线，没有宽度的线，但长度可以延伸2维指平面，但平面没有厚度，只是无限延伸3维指立体，就有厚度了，体现我们现在所处的空间4维嘛很多人很难说清楚，有些人说是时间，有些人说是2维、3维在数学上的直接推广，甚至说，把一个四维立方体展开后是六个普通立方体！更高维呢，就很抽象了，一般来讲没有什么明确概念，甚至数学家与物理学家都有不同意见；比较费解的是，竟然有些物理学家认为宇宙有11维！,.,3DMorphableModel能做什么？,3DMM,在1999年提出时，模型对胖瘦，年龄，表情等都做了考虑。后来的应用中主要使用重建出的3维模型来做识别。,.,简单的应用,输入的2维图片,3DMM,得到：光照、姿态、形状无限接近输入的2维图片的一个三维模型。,.,3DMM发展,1999年VolkerBlanz，ThomasVetter在计算机图形学顶级年度会议SIGGRAPH(SpecialInterestGroupforComputerGRAPHICS,计算机图形图像特别兴趣小组）上发表第一篇关于3DMM的文章AMorphableModelForTheSynthesisOf3DFaces迄今16年，被引用次数高达23632003年9月他们两人再次在PAMI上发表Facerecognitionbasedonfittinga3Dmorphablemodel被引用次数：12552009年Paysan,P.Romdhani，S.ThomasVetter在2009AdvancedVideoandSignalBasedSurveillance上发表A3DFaceModelforPoseandIlluminationInvariantFaceRecognition被引用次数：70。首次提出BFM贝塞尔facemodel一个提供公开下载的3Dfacemodel。亮点是：采用结构光，2个投影仪，3个相机高分辨率以及优秀的对齐方法。是我们采用的model。,.,3DMM基本流程,.,3DMorphableModel怎么来的？,3DMM数据包括：1、n个人脸的平均模型2、形状部分的主成分3、纹理部分的主成分两个n-1维的：特征向量和特征值,OptimalStepNonrigidICP（iterativeclosestpoint）Algorithms2007.CVPR,PCA,.,PCA简介,在统计学中，主成分分析（principalcomponentsanalysis,PCA）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统。,.,形状系数的在形状形变上的效果,从下图可以看到不同的主成分从不同角度对人脸形状产生了影响:第1主成分主要描述了性别的差异,第3主成分主要控制嘴部以下的长度,第6主成分主要调节人脸的宽度(不同人脸库训练得到的主成分效果会有所区别,但当人脸库足够大时,这种效果会趋于稳定).,.,利用3DMM构成人脸的公式表达,Sinceweassumeallfacesinfullcorrespondence.newshapesS-modelandnewtexturesT-modelcanbeexpressedasalinearcombinationoftheshapesandtexturesoftheMexemplarfaces.,ThroughPrincipalComponentAnalysis(PCA),.,如何拟合？实现针对2维输入的3维建模,纹理的距离,形状的距离,防止形状和纹理形变系数出现过拟合。采用贝叶斯公式计算各系数的概率，最大化概率来构成costfunction。,.,EF的计算方法,从物体坐标系到相机坐标系,从相机坐标系到像平面坐标系,.,EI的计算方法,输入图像上每点和投影图像上每对应点的rgb值差的平方之和。所以很显然我们要先做初步的姿态估计以后EI才有意义。,因为是对点云的投影点球纹理的差所以不用考虑输入图片的背景。,.,三个参数的构成,22个参数twx=gamma_star(1);%平移变量twx坐标twy=gamma_star(2);%平移变量twy坐标twz=gamma_star(3);%平移变量twz坐标thetx=gamma_star(4);%x方向旋转角thety=gamma_star(5);%y方向旋转角thetz=gamma_star(6);%z方向旋转角f=gamma_star(7);%摄像机焦距fLramb=gamma_star(8);%漫反射亮度系数红色分量Lgamb=gamma_star(9);%漫反射亮度系数绿色分量Lbamb=gamma_star(10);%漫反射亮度系数蓝色分量Lrdir=gamma_star(11);%镜面反射和环境光反射亮度系数（为简化光照模型设为相等）Lgdir=gamma_star(12);%镜面反射和环境光反射亮度系数绿色分量Lbdir=gamma_star(13);%镜面反射和环境光反射亮度系数蓝色分量thetl=gamma_star(14);%点光源，入射光向量的经度角lphail=gamma_star(15);%点光源，入射光向量的纬度角lcc=gamma_star(16);%亮度Luminance转换为颜色度Intensity的对比系数ccgr=gamma_star(17);%亮度转换为颜色度的增益系数gr红色分量gg=gamma_star(18);%亮度转换为颜色度的增益系数gg绿色分量gb=gamma_star(19);%亮度转换为颜色度的增益系数gb蓝色分量or=gamma_star(20);%亮度转换为颜色度的偏移系数or红色分量og=gamma_star(21);%亮度转换为颜色度的偏移系数og红色分量ob=gamma_star(22);%亮度转换为颜色度的偏移系数ob红色分量,a=gamma_star(23:23+198);模型形状变化的组合系数b=gamma_star(23+dim_egnv:23+dim_egnv+198);模型纹理变化的组合系数,.,数学之美番外篇：平凡而又神奇的贝叶斯方法BY（暗时间）刘未鹏,贝叶斯是机器学习的核心方法之一。这背后的深刻原因在于，现实世界本身就是不确定的，人类的观察能力是有局限性的，我们日常所观察到的只是事物表面上的结果，这个时候，我们就需要提供一个猜测。但也绝对不是两眼一抹黑瞎蒙具体地说，我们需要做两件事情：1.算出各种不同猜测的可能性大小。2.算出最靠谱的猜测是什么。第一个就是计算特定猜测的后验概率，对于连续的猜测空间则是计算猜测的概率密度函数。第二个则是所谓的模型比较，模型比较如果不考虑先验概率的话就是最大似然方法。,D是观测到的现象，h是推测出的事实。,正比于符号。,.,各种正态分布的假设,ThetaskathandistofindtheparameterswithmaximumposteriorprobabilitygiventheinputimageandthefeaturepointsF.AccordingtoBayesrule:,防止形状和纹理形变系数出现过拟合。采用贝叶斯公式计算各系数的概率，最大化概率来构成costfunction,.,目标函数的优化,Costfunction：,利用粒子群优化算法优化这22+199+199个参数，因为粒子群优化算法对初值的不依赖和信息的交互机制，既可以避免陷入局部极值又可以提高收敛速度。适合优化高维参数。,原始型粒子群优化算法,.,表示第i个粒子曾经到过的历史最优点,(Personalbest,pbest）,表示整个种群所能找到的历史最优点(Globalbest，gbest),c1是自身认知因子，表示自身经历的历史最优值对当