三维可形变模型在人脸识别领域的应用PPT课件.ppt

三维可行变模型在人脸识别中的应用 蔡英2015 5 7 1 维度 0维指点 且这个点没有大小 只表位置1维指线 没有宽度的线 但长度可以延伸2维指平面 但平面没有厚度 只是无限延伸3维指立体 就有厚度了 体现我们现在所处的空间4维嘛 很多人很难说清楚 有些人说是时间 有些人说是2维 3维在数学上的直接推广 甚至说 把一个四维立方体展开后是六个普通立方体 更高维呢 就很抽象了 一般来讲没有什么明确概念 甚至数学家与物理学家都有不同意见 比较费解的是 竟然有些物理学家认为宇宙有11维 2 3DMorphableModel能做什么 3DMM 在1999年提出时 模型对胖瘦 年龄 表情等都做了考虑 后来的应用中主要使用重建出的3维模型来做识别 3 简单的应用 输入的2维图片 3DMM 得到 光照 姿态 形状无限接近输入的2维图片的一个三维模型 4 3DMM发展 1999年VolkerBlanz ThomasVetter在计算机图形学顶级年度会议SIGGRAPH SpecialInterestGroupforComputerGRAPHICS 计算机图形图像特别兴趣小组 上发表第一篇关于3DMM的文章AMorphableModelForTheSynthesisOf3DFaces迄今16年 被引用次数高达23632003年9月他们两人再次在PAMI上发表Facerecognitionbasedonfittinga3Dmorphablemodel 被引用次数 12552009年Paysan P Romdhani S ThomasVetter在2009AdvancedVideoandSignalBasedSurveillance上发表A3DFaceModelforPoseandIlluminationInvariantFaceRecognition被引用次数 70 首次提出BFM贝塞尔facemodel一个提供公开下载的3Dfacemodel 亮点是 采用结构光 2个投影仪 3个相机高分辨率以及优秀的对齐方法 是我们采用的model 5 3DMM基本流程 6 3DMorphableModel怎么来的 3DMM数据包括 1 n个人脸的平均模型2 形状部分的主成分3 纹理部分的主成分两个n 1维的 特征向量和特征值 OptimalStepNonrigidICP iterativeclosestpoint Algorithms2007 CVPR PCA 7 PCA简介 在统计学中 主成分分析 principalcomponentsanalysis PCA 是一种简化数据集的技术 它是一个线性变换 这个变换把数据变换到一个新的坐标系统中 使得任何数据投影的第一大方差在第一个坐标 称为第一主成分 上 第二大方差在第二个坐标 第二主成分 上 依次类推 主成分分析经常用减少数据集的维数 同时保持数据集对方差贡献最大的特征 这是通过保留低阶主成分 忽略高阶主成分做到的 这样低阶成分往往能够保留住数据的最重要方面 这在代数上表现为将原随机向量的协方差阵变换成对角形阵 在几何上表现为将原坐标系变换成新的正交坐标系 使之指向样本点散布最开的p个正交方向 然后对多维变量系统进行降维处理 使之能以一个较高的精度转换成低维变量系统 8 形状系数的在形状形变上的效果 从下图可以看到不同的主成分从不同角度对人脸形状产生了影响 第1主成分主要描述了性别的差异 第3主成分主要控制嘴部以下的长度 第6主成分主要调节人脸的宽度 不同人脸库训练得到的主成分效果会有所区别 但当人脸库足够大时 这种效果会趋于稳定 9 利用3DMM构成人脸的公式表达 Sinceweassumeallfacesinfullcorrespondence newshapesS modelandnewtexturesT modelcanbeexpressedasalinearcombinationoftheshapesandtexturesoftheMexemplarfaces ThroughPrincipalComponentAnalysis PCA 10 2020 3 19 11 如何拟合 实现针对2维输入的3维建模 纹理的距离 形状的距离 防止形状和纹理形变系数出现过拟合 采用贝叶斯公式计算各系数的概率 最大化概率来构成costfunction 12 EF的计算方法 从物体坐标系到相机坐标系 从相机坐标系到像平面坐标系 13 EI的计算方法 输入图像上每点和投影图像上每对应点的rgb值差的平方之和 所以很显然我们要先做初步的姿态估计以后EI才有意义 因为是对点云的投影点球纹理的差所以不用考虑输入图片的背景 14 三个参数 的构成 22个 参数twx gamma star 1 平移变量twx坐标twy gamma star 2 平移变量twy坐标twz gamma star 3 平移变量twz坐标thetx gamma star 4 x方向旋转角 thety gamma star 5 y方向旋转角 thetz gamma star 6 z方向旋转角 f gamma star 7 摄像机焦距fLramb gamma star 8 漫反射亮度系数红色分量Lgamb gamma star 9 漫反射亮度系数绿色分量Lbamb gamma star 10 漫反射亮度系数蓝色分量Lrdir gamma star 11 镜面反射和环境光反射亮度系数 为简化光照模型设为相等 Lgdir gamma star 12 镜面反射和环境光反射亮度系数绿色分量Lbdir gamma star 13 镜面反射和环境光反射亮度系数蓝色分量thetl gamma star 14 点光源 入射光向量的经度角 lphail gamma star 15 点光源 入射光向量的纬度角 lcc gamma star 16 亮度Luminance转换为颜色度Intensity的对比系数ccgr gamma star 17 亮度转换为颜色度的增益系数gr红色分量gg gamma star 18 亮度转换为颜色度的增益系数gg绿色分量gb gamma star 19 亮度转换为颜色度的增益系数gb蓝色分量or gamma star 20 亮度转换为颜色度的偏移系数or红色分量og gamma star 21 亮度转换为颜色度的偏移系数og红色分量ob gamma star 22 亮度转换为颜色度的偏移系数ob红色分量 a gamma star 23 23 198 模型形状变化的组合系数 b gamma star 23 dim egnv 23 dim egnv 198 模型纹理变化的组合系数 15 数学之美番外篇 平凡而又神奇的贝叶斯方法BY 暗时间 刘未鹏 贝叶斯是机器学习的核心方法之一 这背后的深刻原因在于 现实世界本身就是不确定的 人类的观察能力是有局限性的 我们日常所观察到的只是事物表面上的结果 这个时候 我们就需要提供一个猜测 但也绝对不是两眼一抹黑瞎蒙 具体地说 我们需要做两件事情 1 算出各种不同猜测的可能性大小 2 算出最靠谱的猜测是什么 第一个就是计算特定猜测的后验概率 对于连续的猜测空间则是计算猜测的概率密度函数 第二个则是所谓的模型比较 模型比较如果不考虑先验概率的话就是最大似然方法 D是观测到的现象 h是推测出的事实 正比于符号 16 各种正态分布的假设 ThetaskathandistofindtheparameterswithmaximumposteriorprobabilitygiventheinputimageandthefeaturepointsF AccordingtoBayesrule 防止形状和纹理形变系数出现过拟合 采用贝叶斯公式计算各系数的概率 最大化概率来构成costfunction 17 目标函数的优化 Costfunction 利用粒子群优化算法优化这22 199 199个参数 因为粒子群优化算法对初值的不依赖和信息的交互机制 既可以避免陷入局部极值又可以提高收敛速度 适合优化高维参数 原始型粒子群优化算法 18 表示第i个粒子曾经到过的历史最优点 Personalbest pbest 表示整个种群所能找到的历史最优点 Globalbest gbest c1是自身认知因子 表示自身经历的历史最优值对当前运动状态