版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、CONTENTS,03,结论,什么是人脸对齐(alignment)? 人脸对齐,即面部特征点定位,在人脸上找出需要的特征点的位置,比如鼻子左侧,鼻孔下侧,瞳孔位置,上嘴唇下侧等等点的位置。下图中白色点的位置。定位了这些点的位置就可以进行下一步的的检测(detection)或识别(identification)。,相关背景,基于2D的最小二乘法:通过最小化训练图像(input image)和形变模型(morphable model)的均方误差来获得特征点位置。对于偏转角度小45度的中小姿态应用良好,但计算代价比较大。 基于CNN(卷积神经网络):大多数应用CNN的方法,计算性 能获得了提高,但仅
2、检测较少的标注点(landmarks),限制了 对面部形状的描述能力。 大姿态下的人脸校准的相关文献仍然比较少,多视角2D方法(multi-viewframework)如TSPM和CDM利用不同角度人脸上的标注点来获得数据,计算代价(cost)比较高。其他基于3D的大姿态方法如3DMM要每张图片1min的计算代价,效率比较低。,现有对齐方法及局限性,本文需要解决的问题: 1、极端姿态下(如侧脸,偏转角度为90),一些特征点变了不可见。 2、不同姿态下的人脸表观(expressions)(仰头、大笑)也存在巨大差异,这些问题都导致大姿态下面部特征点定位任务极具挑战性,相关背景,侧脸,yaw45,
3、不同表观,3D密集人脸对齐(3DDFA):首先利用PNCC方法建立3D模型,然后用级联的卷积神经网络(cascaded CNN)系统去匹配模型。它通过估计模型参数能找到所有的顶点(Vertexes),所以是dense。 cascaded CNN:CNN通常分为卷积层、池化层、全连接层等几个部分。卷积层:通过局部感知和参数共享的方法降低参数数量,识别并提取输入数据的特征。,相关概念,下图中,不同颜色表明不同的卷积核。每个卷积核都会将图像生成为另一幅图像。比如两个卷积核就可以将生成两幅图像,这两幅图像可以看做是一张图像的不同的通道,又可以作为下一层卷积层的输入。,相关概念,下图展示的是四个通道上的
4、卷积操作,有两个卷积核,生成两个通道,四个通道上每个通道对应一个卷积核,只看w1,那么在w1的某位置(i,j)处的值,是由四个通道上(i,j)处的卷积结果相加然后再取激活函数值得到的。,相关概念,池化层:将卷积得到的特征进行聚合,得到区域上某个特定特征的平均值或最大值,这种聚合操作就叫做池化。 经过多层卷积和池化,获得较多局部特征,然后再经过全连接层就可以获得全局图像特征。,相关概念,PNCC:投影归一化坐标码(Projected Normalized Coordinate Code ),首先将3D人脸的坐标归一化,则每个点的坐标就称为NCC,对经过投影的NCC利用Z-buffer着色就得到了
5、PNCC.,相关概念,算法输入为100 x100的RGB图像和PNCC (Projected Normalized Coordinate Code) 特征,PNCC特征的计算与当前形状相关,可以反映当前形状的信息;算法的输出为3D人脸形状模型参数; 使用卷积神经网络拟合从输入到输出的映射函数,网络包含4个卷积层,3个pooling层和2个全连接层。通过级联多个卷积神经网络直至在训练集上收敛,PNCC特征会根据当前预测的人脸形状更新,并作为下一级卷积神经网络的输入;,3DDFA算法核心思想,此外,卷积神经网络的损失函数(WPDC方法)也做了精心的设计。引入权重W, 反映的是错误估计模型参数所产生
6、的误差,形状变化 会产生较大的p值,从而产生较大的W,网络就会优先拟合重要的形状参数,如尺度、旋转和平移;当人脸形状接近ground truth时,形状参数的W会比较小,此时再考虑拟合其他形状参数。经过3次以上迭代之后,发现这种WPDC方法比其他方法的误差显著要小。,3DDFA算法核心思想,此外,卷积神经网络的损失函数也做了精心的设计,通过引入权重,让网络优先拟合重要的形状参数,如尺度、旋转和平移;当人脸形状接近ground truth时,再考虑拟合其他形状参数; 由于参数化形状模型会限制人脸形状变形的能力,作者在使用3DDFA拟合之后,抽取HOG特征作为输入,使用线性回归来进一步提升2D特征
7、点的定位精度。,3DDFA算法核心思想,训练3DDFA模型,需要大量的多姿态人脸样本。为此,作者基于已有的数据集如300W,利用3D信息虚拟生成不同姿态下的人脸图像,核心思想为:先预测人脸图像的深度信息,通过3D旋转来生成不同姿态下的人脸图像,如下图所示:(a)为原始图像,(b,c,d)为生成的虚拟样本,偏角依次增加20,30和40。,实验验证,实验验证,基于300W的性能测试,可以发现3DDFA在各个偏角区间的NME值相对其他方法都减小了,特别是在【60,90】大偏角区间内具有很大优势。,结论,文章基于CNN方法提出了一种比较好的解决3D大姿态下人脸校准的方法。匹配误差显著减小,解决了侧面人
8、脸校准问题。同时提出了一种新的很好配合CNN方法使用的3DMM人脸建模方法。,阅读思考,1、效率问题。文章着重考虑了误差,对时间代价只有简单论述,没有验证。文章提到在硬件条件:3.40GHZ CPU、GTX TITAN BLACK GPU下PNCC要花费17.49ms,CNN要花费7.75ms。3D建模的时间代价会比较高。 不考虑旋转的情况下,是否可以投影到2D平面进行建模? 2、标注点问题。文章提出要尽可能多选标注点来提取特征,在具体应用时误差要求不高的情况下,可以减少标注降低计算复杂度。,参考资料,1 /wiki/index.php/UFL
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 医院交通出入口急救通道优化方案
- 中药材干燥车间工艺设计
- 填埋场作业人员安全培训手册
- 商场安全风险分级管控方案
- 塔吊安全操作培训课件
- 吸尘器电机维护保养操作规范
- 围护结构维护与加固技术方案
- 诊所医保基金使用监管培训手册
- 幼儿园教师日常行为规范手册
- 养老机构人员绩效考核管理制度
- 2026新教材语文 2《啊我们踯躅于黑暗的丛林里!》教学课件
- 《机械制图》电子教材
- 中国建筑企业国际化战略:机遇、挑战与路径探索
- 公司生鲜周转筐管理制度
- 2001年江苏省盐城市中考数学试题【含答案、解析】
- JG/T 346-2011合成树脂装饰瓦
- 老年公寓各项管理制度大全与创新案例
- 《建筑机器人的应用》课件
- 建设工程消防设计审查验收疑难问题解答(2024版)
- 《马克思主义发展史》题集
- 信用卡还款协议书
评论
0/150
提交评论