（计算数学专业论文）单张照片的三维人脸重建方法研究.pdf

丁 七 e mod e l of3 dh 山 m an俪e i s 初del y 即p l i e d inse c u ri tyc e rt i fi c ate fi l mand c a rt o o 几m edic ine sc ie nce ando t h erfield s inre c ent years m anyresu ltsh a v e bee n achi e v e din3 dfa c e con s t ru c t i on 俪山p artl c ul arfa c e i n fo n ation h o v e v er g etting som u c hi n fo n 刀 a t i o ni s e x 详n s ive inmostc asesm ore im po 日 an l ly iti s di ffi c u ltto col l ect eno u gh i n fo n n a t i on f orexamp l e 而s m a y occ urinthe a p p l i c a t i o n o f v i d co 此 廿 i e v a l fo r ap a ri l c ul arper so n 5 0 面s t h e s 1 sd i sc usse s the m e t h od of3 dface 叨n 就 川 c t l onb 次 犯 d o n a s i n g l e fr o n t a face i m a 罗 f i r s t we e st a b l i shthe伽ed a 扭 b as eo f t h e丘 o n ta l andl ateral fa c ei n fo rmat i on 斤 ma l oto f c o l le cting frol1 ta 1 a n d l at e r alface l n 1 a g e sa c c 0 r d i ngtoth e k cyfe a i u r e s ofl l u m an俪esd e 即 r ibed inanthr o pol l l e t ry脱d a n a t o m y we defi n e th e poi ni s an d di的 an c e s w h l 比needtobem ar k e d and 们 n e a s u r e du s in g n e u ra l n e 吸 w o rks 讹 t ra int h e 丘 n ta 1 andl at e ral d a 1 ad erivedfr o mthesei m a g e s 朋dw i t hthe weig hts we c an e st im a t e the d e p t h v al ues o f the fe a t u r e poi nts t h e fi tti nga n d si m u 1at i onre s ul tss h 0 w l h e fe asi b i l ity o f o urm e t h o d s e c o n d fo r b p al gori t h mc o n v e r g ent s l owl y we g i veso m e d i sc ussi ons abo u t th e m d b o d s 0 f se ar c hi n g t h e bests h a pefa c t o r le a m1 ngr a t e and the bestc o 幻 l b in at i ono f t h o n toacce l e r al e the le anl i ngo f n e u r a l n e 幻 四 o rk s c o m b i n i n g thesem etho ds we get ano t h e rnew即 cel e n 戏 eal gori t h 旧w i t hv e ct o re p s i l on e x t ra pol atio ns n u m e ri c al e x 件n m e n tss h o wl h a t 也 e new al gori th mcan s ave c pu ti me e 价c t i v el y 朋d i m p r o v e 由 c a c c u r a c 丫 t h ir d wc de6 n e the 介 a th e r poi nts ofthe g e n c n c fa c emo州 b 出 把 don the m e a s ure p o ints ds五 n edinthe fa c e d at a b ase 即d 嫂 the i n 抚 rl 幻 l atio n b as e d onr adl al b 韶 15和 n c t i on too b ta i nsp ec l aiper so n s 3 dfa c e m e s hf orthe s p a 比 七姗么 we p r 0 v 1 dea modi fi c at i o n o f loop s u bdivis i o n tohol d the origi nal s h al o f the m ode l t h e 丘 叹 e mo d e 1 i s r n 0 r e real i stic a n e r t e x t u r e 川 a p p i n g ail as 仁 the face d a 怕 b 娜 明d face m odel in g sys t e mb ased onl m a g e are d es i gne d 阴d i m p l e m e ni e d byvisu alc 什 n e t and o pen g l k e yw o rds 3 df 暇 c ons t ru c t l 叽 s in gl e f ro n ta l f ace l m a g e n e u ral a c c el e r a t e algor i t n n f 暇 d al 巨 b 别 蛇 s u bdiv i d e d 声明 本学位论文是我在导师的指导下取得的 研究成果 尽我所知 在 本学位论文中 除了加以 标注和致谢的部分外 不包含其他人己 经发 表或公布过的 研究成果 也不包含我为获得任何教育机构的学位或学 历而使用过的材料 与我一同工作的同事对本学位论文做出的贡献均 己在论文 中作了明确的说明 研 究 生 名 东 左 飞 月年 月 7 日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档 可以借 阅 或上网公布本学位论文的部分或全部内容 可以向有关部门或机构送 交并授权其保存 借阅 或上网公 布本学位论文的 部分或全部内 容 对 于保密论文 按保密的有关规定和程序处理 研究生签名 问 年 7 月 7 日 硕士论文单张照片的三维人脸重建方法研究 1绪论 1 1选题背景及研究意义 人脸是人体最具表达力的部分 具有个性化和多样化的特点 生活中我们通 过人脸来辨别身份 通过人脸来表达喜怒哀乐 人脸在我们平时的生活中起着举 足轻重的 作用 由于人脸并不是千人一面 故个体的面部特征客观存在着差异 且这种差异有时会相当明 显 即 使看起来非常相似的双胞胎 在某些部位也存在 着不同之处 从古至今 对于人脸的描述和刻画一直得到人们的广泛关注 人脸具有复杂 的几何形状和表面材质 现有的一些问 题用二维方法解决不了 或者说不能很好 地解决 如在人脸识别方面 表情变化问题始终是一个阻碍提高识别率的关键因 素 如果能在三维模型上人工合成表情动作 充分利用三维信息进行识别 在 理论上会提高识别率和识别的鲁棒性 另一方面 特别是随着计算机图形技术的长足发展 使得三维人脸模型和表 情动画设计具有广泛的应用前景 成为许多国内外学者研究的热点 人脸建模的 一些典型应用如下 a 影视广告 计算机生成的三维虚拟人物在影视 广告中的应用越来越普 遍 人物面部动画是影视处理中 最繁琐的工作 能否得到真实感的绘制效果是影 响影视制作的一个关键因素 b 游戏动漫传统游戏中的二维场景和虚拟人物很难使游戏者达到身临其 境的感觉 随着图形硬件设备的快速发展 在游戏动漫中使用三维场景和虚拟人 物己成为一个趋势 c 安全认证由 于人脸识别技术诸如隐蔽性 非接触方式等优点 但传统 的人脸识别方法涉及处理人脸识别中的姿态 光照 表情等问 题 基于三维人脸 模型人脸识别方法可望为解决这些难点问题提供了 可行性途径 d 视频会议和可视电 话随着网络技术的发展和网络带宽的提高 视频会 议和可视电 话中 基于 模型的人脸编码系统传输人脸图 像和接收人脸图像是实现 实时 低比 特率可视应用的可行方案 e 医学和整容 人脸建模可以 进行头颅手术 人脸组织外科手术以及整容 外科手术的 模拟仿真提供了 方便 对制订详细准确的 手术方案 提高手术的准确 性 减少风险 硕士论文单张照片的三维人脸重建方法研究 1 2 国内外研究现状 当前国际上一些著名的 研究单位 如微软研究院 华盛顿大学 瑞士联邦技 术研究院 多伦多大学 ibm 研究院等 都设立有专门 进行人脸三维建模研究 的课题组 著名的国际会议如a c msl g g r a p h icc v i n t e m at l o 阔 c o n fe r e n c e onc o m p u tervisi on 等 权威的国 际 期刊如 p a m i i e e e t r an s a c l i0 nsonp at t e m 劫a y s i s and m 即 hi nel ni e l l i 罗nce ij c v i n t e n 坦 l i o nal jo u m a l o f c o m p u t e r v i s i on c v i u c o m p u t e r v i s i o n an d i m a g e l jn d e rs t a i1 d i n g i e e e t r a n s a c 石 o n s on vis ua li zati onan d c omp uter g r a p h ic s c o mputer g r a p hi cs等 为快 速地促 进相关 成 果交流提供了有效平台 每年都有相当数量的关于三维人脸建模及其应用的成果 涌现 国内 在这方面的研究起步较晚 但发展较为迅速 浙江大学 清华大学 中 国科学技术大学 中国科学院计算技术研究所和自 动化研究所等在三维人脸的数 据获取和建模方面取得了一些成果 浙江大学以服cg 国家重点实验室在曲线曲 面建模 真实感图形绘制 计算机动画等方面取得了较大进展 2 一5 清华大学 利用三角样条曲面进行了面部建模和动画研究 6 中国科学院计算技术研究所 进行的表情分析与识别研究取得了一些进展口 8 中国科技大学从正面和侧面 两幅图像出发合成了三维人脸模型并制作了简单的面部表情动画 9 1 0 中国 科学院自 动化研究所研制出了 基于激光扫描的三维数据获取方法 1 1 但是目 前 国内还只限于理论方面的 研究 实际应用很少涉及 近年来已有相关组织如计算 机学会 中国图象图形学学会等专门负责包括此领域在内的相关学科的学术活 动 在此领域国内 相关的刊物和学术会议有计算机学报 计算机辅助设计与图形 学学报 中国图象图形学报和c h inag r aph 等 有力地促进了学术交流和发展 综观当前国内外关于三维人脸系统建模研究的研究成果 有效的手段主要是 通过激光扫描仪得到特征点或通过人脸图像进行人脸三维重建 激光扫描设备 如螺旋c t机 三维数字化仪 立体摄像机等 可以 直接获 取人脸的几何数据 建模准确 模型逼真 能满足某些场合的特殊需要 需要合 成多个形态各异的人脸时必须扫描多个人脸效率不高 通过特定个体人脸的二维图像 照片或视频等 亦可生成三维人脸模型 此 类方法需要结合人脸的几何特征 人体测量学 计算机视觉等知识 不需要特殊 的设备 虽然不如扫描设备得到的模型精度高 但是成本低廉 适应面广 有着 广泛的应用前景 其中 以正交方向的两张照片进行建模的方法居多 然而 激光扫描仪虽建模精确 但成本高不宜普遍应用 特别是在一些特定 场合无法获取建模对象的配合 应用受到限制 类似地 由于我们并不是总能得 硕士论文 单张照片的三维人脸重建方法研究 到建模对象的两张以 上的照片 因此 利用正交方向的两张照片进行建模的方法 也往往难以实现 事实上 如在视频监控手段较为普及的今天 巨量的监控视频 资料为特定的人物检索或公安机关从中搜索嫌疑人提供了途径 但通常情况下 除了一张正面身份证照片外 缺乏该对象的更多图像信息 鉴此 这里我们将基 于单张正面照片信息进行脸部三维重建方法的展开讨论 以重建真实感三维人脸 模型 1 3 本文的研究路线及内容安排 1 3 l 本文的主要内 容 人脸具有复杂的几何结构 脸部数据之间不仅仅是简单的线性关系 由 于神 经网络对非线性函数有很好的逼近性质 我们将使用神经网络 通过对一定数量 的人脸样本数据进行训练 以寻求正侧面脸部数据点的对应关系 从而建立三维 人脸模型 本文的主要内容包括 1 人脸特征点的定义及一般人脸模型的选取 由 我们仅对单张正面照片进行建模 丢失了 脸部的深度数据 获得的信息量 相对较少 为了减少数据之间的影响 我们仅对脸部 非整个头部 建模 这样 我们选择了只有脸部结构的相对简单的一般人脸模型 同时结合人体测量学中的 面部测点来定义我们所要选取的人脸特征点 2 建立人脸样本库并提取参数 建立一定数量的 包含正侧面人脸图片的人脸样本库 对人脸图片选取特征点 并进行标注 定义所要提取的正侧面照片中的测量项 并进行人脸正侧面数据的 提取 将数据存入数据库 3 用神经网络对人脸数据进行训练 选取适当的神经网络对提取出的正侧面数据进行训练 以便得到人脸正侧面 数据之间的某种关系 并针对神经网络速度慢的问题提出加速方法 4 重建特定人脸的几何结构 通过正面照片中的 特征点得到人脸正面测量数据 并由 神经网 络得到该人脸 的侧面数据 对模型进行调整使一般人脸模型配适到特定人脸 5 模型的细分及纹理映射 对原始的模型进行细分 并针对粗糙模型使用现有的细分方法出 现的问 题提 出改进 使细分后模型更接近初始形状 最后对模型进行纹理映射以达到真实的 效果 硕士论文单张照片的三维人脸重建方法研究 1 3 2 本文的章节安排 第一章 绪论 介绍了三维人脸模型的应用前景和国内外发展的现状 并对 现有的三维人脸重建技术进行了 介绍和分析 提出了自己的研究内 容和目 标 第二章 三维人脸重建技术回顾 系统地归纳和总结已 有的人脸模型和三维 人脸重建技术 对它们的优缺点进行描述和比 较 第三章 基于正交人脸图片的人脸数据库的建立及神经网络训练 定义正侧 照片中的特征点和待测项 并对人脸库中所有人脸图片的数据进行提取 使用人 工神经网络对正侧面数据进行训练 针对b p算法收敛速度慢的问题 提出对 b p 神经网络的改进加速方法 最后对单张照片建模方法的拟合及仿真数据进行 分析验证 第四章 单张人脸照片的三维人脸重建 选取一般的人脸模型 对单张照片 选取特征点 由特征点的位移及正面数据对模型进行调整 并对调整后较粗糙的 模型进行细分和纹理映射 第五章 系统实现及工作总结 叙述实验的具体流程和系统模块 对所做工 作进行总结 最后 指出所作工作的不足并在此基础上给出未来研究工作的展望 硕士论文单张照片的三维人脸重建方法研究 2 三维人脸重建技术回顾 2 1人脸模型的几何表示 人脸不仅有基本相同的面部结构和相似的面部动作 还有一些个性特征 比 如眼睛的大小 眉毛的 粗细 鼻子的高低等 正因为有了这些个性特征才能正确 地区分不同人脸 标准人脸模型含有丰富的先验知识 可以描述人脸的共有特征 一个优秀的人脸模型应具备参数化 形象化和简单化等特点 下面介绍一些常用的人脸模型 网 格模型 13 1 41 由 于易 于 创建 使用 变形和渲染 网 格模型是 应用比 较 广的三维人脸模型 根据面片的形状 可分为三角形和四边形面片模型 关键部 位网 格节点分布往往密集一些 节点越多 头部模型越逼真 但同时也增加了 模 型的复杂度和后期处理的困难 在此方面 研究者努力的方向是利用最少的节点 和三角面片来建立逼真的头部模型 缺点是表示物体在视觉效果上有一定的缺 陷 尤其是在物体的轮廓部分 样条模型 1 21 样条表示方法可以 创建视觉效果非常好的表面 如 b 样条 曲面 三角b 样条曲面 b 面er曲面 coons 曲面等 他们经常用在面部建模和动 画上 样条函数具有局部支撑集性质 可以用控制点局部控制曲面的变形 然而 要把曲面的局部变形成特定的形状 增加局部的细节 将增加整体的复杂性 样 条很好的保持了光滑性 因此对于眼睛 鼻孔和耳朵这些孔洞的表示比 较困难 统计模型 利用统计方法从大量采样样本中学习出 人脸共性 建立统计意义 上的 标 准人 脸模型 比 较著名的 有形 变模型 inorph able 3d face 咖d el 巧 和三维特征脸 3de i g e nfaces 16 建立统计模型通常比 较繁琐 需要大量 的学习数据 而且三维数据的预处理过程非常复杂 建成后的模型具有统计意 义上合理的调节参数 使脸部表达合理优化 点云系统 这种系统通常把皮肤看作是一些点组成的表面 并且认为这些点 是由弹性介质连接起来的 也可以将面部看作是由表皮 皮下的组织和肌肉包起 来的一个结构 通过肌肉 收缩产生的力学效应来控制表皮的运动 有限元模型 有限元模型可以精确地模拟力通过一个物体的传播 对于精度 要求比 较高的应用这种方法比较合适 如 模拟手术 模拟舌头的运动 皮肤的 愈合等等 但是 这种方法复杂且计算量巨大 参数模型 参数化模型在头部建模中使用非常多 常与模型的某种几何表示 方法结合起来 参数化事实上是用参数定义一个较小的维数的空间 建立起了参 硕士论文 单张照片的三维人脸重建方法研究 方法主要有如下几类 a 基于单视图建模 虽然单张照片投影时丢失了深度信息 但是 由于它有很大的应用前景 一 些研究者还是在不断地进行尝试 这种做法一般都是借助于一些人脸的先验知 识 其中 最有 代表 性的 是bl anz 和v etter 的 形变模型11 5 他们使 用原 型 人脸 的线性组合建立人脸参数模型 将模型与特定人脸图形进行优化匹配 从而实现 三维人脸的重建 该模型建立在象素级对应的三维原型人脸数据上 且在模型中 考虑了 人脸姿态 光照等因 素 可生成高 度真实感的三维人脸 并产生人脸表情 和动画 2 9 借助于手工编辑来添加一些人对物体形状的主观判断 根据任意角度的 一幅图 像创建三维 模型 3 0 借助于正侧面人体测量学数据之间的关系建立的线 性参数模型由单张正面照片生成侧面人脸 还有的研究者试图通过由明暗恢复形 状 s f s 的方法由 单张图片建立三维人脸模型 但是这种方法会存在较大误差 有一定局限性 31 将sfs 算法与神经网 络相结合来构建三维人脸 较传统算法 更快更精确 b 基于正侧视图建模 这也是通过图像建模研究较多的方法 一般采取投影的方式 从正面照片得 到特征点的x y 坐标 从侧面照片得到特征点的y 2 坐标 这样就得到了头部特 征点的空间坐标值 从而进行建模工作 t a kimoto等人 3 2 用人脸的正 侧两 张照片来获得适配一般模型的特征信息 并采用模版匹配技术提取外围轮廓特 性 划分很多小的矩形窗检测眼 鼻 口 等特征 分别从正 侧面调节一般模型 从而建立特定人脸的三维模型 3 3 利用s n ake 方法得到二维特征后通过直接的 自由变形修正模型 3 4 和 3 5 利用径向基函数创建特定人脸 3 6 通过弹性匹 配来调整模型结点 这种三维重建的方法快速简单 但是由于得到的信息也比 较 少 有些人脸区域的数据 如脸颊 难以 准确确定 c 基于多幅图像建模 利用两幅以上的人脸图像进行三维建模可以获得比正侧视图更准确的人脸 几何数据和更丰富的纹理图 像 p i g h i n 等人 3 7 开发的系统 从5 个角度拍摄人 脸照片 在每张照片上手工标出13个特征点的位置以 及一些特征曲 线 通过这些 特征的对应 对中性人脸网格进行变形得到特定人的三维人脸模型 他们提出 视 角无关纹理和视角相关纹理两种提取纹理方案 前者用5 张照片组合成一张固定 纹理 后者根据视角变化 5张照片用变化的加权系数来合成纹理 视角相关纹 理的效果要比视角无关纹理稍好 但是需要实时处理 并且需要大量的手工工作 d 基于单目 视频建模 硕士论文单张照片的三维人脸重建方法研究 微软研究院的 l iu 等人 3 8 用人脸视频作为输入 用户需要在其中两帧中 各标出 5 个特征点 然后在视频中计算对应角点就可以自 动生成与视频相应的三 维人脸模型 该方法操作简便 但是由于角点的自 动提取误差较大 导致模型几 何表面的误差也比较大 0 基于双目 视频建模 除了单目 视频之外 也有研究者开始使用双目 视频进行三维人脸建模 如 张辉 6 提出了一种基于多线索的 精确的人脸三维信息获取和融合方法 他使 用了上下置放的两个摄像头来采集人脸视频序列 逐步求精地修正一个通用模型 使之拟合到特定人脸 虽然基于视觉的人脸建模方法有很多优点 但是该方法的主要困难是人脸的 特征检测问题 即如何从人脸图像或视频序列中准确获取用于模型变形的人脸特 征点位置 该问 题也是计算机视觉中的难点问题 目 前 基本上通过交互方式来 获取 要获取理想的建模效果 需要在人脸图像上标定相当数量的特征点 因此 需要大量的手工交互工作 这也是该方法的最大缺点 2 基于人体医学和人体测量的方法 由人工生成通用人脸模型 手工用线 条 通常是b 样条 构造人脸 然后充填表面渲染人脸纹理 d ecarl 等人利用人体 测量学构造不同的人脸模型 1 2 他们根据人体测量学知识得到一个刻画人脸特 征的随机测量数据集 利用变分建模 构造满足测量数据要求的人脸模型 3 由数字化仪的方法测量脸部数据 脸部量度直接由3d数字化仪 结构化 的光传感器或断层扫描技术获得 将这些量度数字化后得到3d模型 这些量度除 形状信息外还包含纹理信息 lee等人 39 用三维扫描仪来创建的 人脸模型非常精细 准确度也高 但是 设备本身造价昂贵 且模特必须在场 扫描后的模型需要经过软件处理 排除扫 描中的一些错误结果 这种方法只能适合一些对模型逼真度要求很高的应用 且 操作条件十分苛刻 briang u e n te r 4 oj 预先用激光 扫 描仪获 取 特定 人的 三 维人脸网 格 模型 然后 在模特的 人脸上贴上不同颜色的荧光点 从这些点上获取不同表情时人脸的特征 点位置 进而修改人脸模型获得各种表情下精确的人脸网格模型数据 这种方法 的缺点是需要激光扫描仪和多个摄像机 优点是能够获得非常逼真的效果 对于人脸重建问题的研究 相关的方法在计算机动画和虚拟现实中也得到使 用和验证 其他的人脸重建的过程和手段与上述的方法类似 只不过就是轮廓或 特征抽取的方法 模型匹配的方法以及纹理映射的方法各不相同 硕士论文 单张照片的三维人脸重建方法研究 3 基于正交人脸图片的人脸数据库的建立及神经网络训练 人脸库是研究人脸识别 人脸重建的基础 目 前已 有的人脸图片及三维结构 数据库有很多 但是库中多为西方人的数据 由于东西方人面部存在显著差异 以西方人的人脸库为基础对中国人面部进行重建会出现较大偏差 而许多图片人 脸库也只是针对人脸识别的研究 我们在没有中国人的三维人脸库的条件下自己 建立了包括正侧面图片的人脸库 并进行数据提取 利用神经网络对正侧面数据 进行训练 得到网络权值 通过待建模人脸正面图片中的正面数据直接对脸部深 度数据进行估计 3 1 面部结构及侧量点的定义 虽然每个人的脸各有其特征 但人脸都有一定的共性 下面 我们将从艺用 解剖学 人体测量学进行分析并结合 mp e g 一标准中定义的人脸面部几何特征 信息 来给出我们进行数据提取的测量点定义 艺用解剖学与一般医用解剖学最大的不同在于它对于各部分尺寸比 例关系 的研究 经过艺术家无数的观察统计后 产生了一套合乎实用的平均比 例 最常 用的是人脸的基本形状及五官之间 三停五眼 的规律 三停 是把头部从发 际到下巴分为三等分 一是发际到眉毛 二是眉毛到鼻底 三是鼻底到下巴颊 五眼 指以眼为长度单位来测量两鬓之间的距离 两个内眼角之间一眼宽 从 外眼角到鬓角之间又有一眼的距离 加起来共有五个眼宽 其中 从外眼角到鬓 角的距离侧面看时是一眼宽 从正面看时就没有一眼宽 因而 五眼 的 概念是 三维的 此外 还有一些类似的比例关系 如鼻底到下颖骨这一段 由鼻底算起 三 分之一单位处为上下嘴唇连接线 二分之一单位处为下唇下缘 头高二分之一处 约为眼睛 鼻翼宽与两内眼角宽度及眉头宽度一致等 当 然事实上这些会因每个 人而有些许差异 并非绝对 人体绘画中强调 头部的骨骼对于刻画人物形象来说 意义十分重大 因为 头部肌肉较薄 骨形很明显 无论多胖的脸 从颧骨到头顶这一段骨形仍然是很 清晰的 否则就是病态 头部的重要骨点有 额结节 眉弓 眶上缘 额骨颧突 鼻骨 颧结节 颧弓 下领角 颊结节 颊隆凸 犬齿隆凸 斜线 颖线 乳突 顶丘 顶结节 上项线 枕外隆凸等 每个人的不同长相即个体特征 主要取决 于以上骨点之间的位置关系 骨相决定肉 相 头骨决定人的脸型和个体特征 骨 硕士论文单张照片的三维人脸重建方法研究 点是皮下骨 是看得见摸得着的 是形体结构的转折点 图3 1正面头部比例 人体测量学通过测量的 数据 运用统计学方法 对人体特征进行数量分析 其中的领面部测量方法分为 直接测量法 模型测量法和影像测量法 影像测量 法又包括照片测量法 x线头影测量法等 其中的照片测量法在20世纪初由 5 加on首先提出 1 9 4 4 年t 七 a i m e and e g e n 从 简单 基础的 立体照 相 术获得 面部测 量 并在临床应用 此方法依据照片对被测对象的面部取得整体的认识 在此基 础上研究面部各部分比例及形态结构特点 属二维测量 图3 2人体测量学中的头部测点 入名1 图3 3人体测量学中的头部测量项目 硕士论文单张照片的 三维人脸重建方法研究 由于种族 性别等不同 线距测量存在很大差异 为避免这种差异 颅面各 部分之间的比 例则认为是一种较为可靠的参考标准科 1 14 2 给出了 人头面部与 体部 测量项目 间的 相关 研究结 果 4 3 做了 人体头面 部测 量 项目 相关 性分 析 虽 然有这么多的比例结构 但这些关系几乎都是正面数据之间的 设计到脸部深度 数据的很少 并且 人的面部结构不应仅仅是线性的关系 得到确切的非线性依 赖关系是有一定 难度的 1 2 在m p e g 一标准中 f d p f a c e d efin it i onp ar 别 旧 e t e r s 定义了 人脸面部几何 特征信息 其中定义了84个特征点 f d p是一种复杂的几何参数 提供了人脸 特征 网格 纹理 人脸动画定义表等一系列的数据 还可以用于对人脸进行测 量或在网上传输时的编码与解码 尸 叭 勺 左 夕 币 罗 节一一to闪 妇 例 右 翻以 目烤以几 吸的 rt 幽任侧血 r i g hte 钾比佗 e 声 图3 2 f d p 中的 特征点定义 表3 i n 甲 e g 一中 特征点 位置之间的 约束关系 特征点 位 置 之 作已 的约束关系 号 文 字 描 述xl yz 2 1 下 巴 底 端 点7 1 2 2 上 嘴 唇 内 侧 中 点 了 1 1 2 3 下 嘴 唇 内 侧 中 点 7 1 2 4 嘴 唇 内 侧 左 角 点 2 5 嘴 唇 内 侧 右 角 点 2 6 上 嘴 唇 内 侧2 2 与 2 4 的 中 点 2 2 2 4 2 1 2 71一上 嘴 唇 内 侧2 2 与 2 5 的 中 点 2 2 x 2 5 x 2 1一 2 8 下 嘴 唇 内 侧2 3 与 2 4 的 中 点1 2 3 2 4 2 2 9 下 嘴 唇 内 侧2 3 与 2 5 的 中 点 2 3 2 5 2 2 1 0 下巴突出点 7 1 1 2 1 1 下巴左角点 5 7 且 5 4 且 加 倍 系 数 1 一 般 取 2 k 0 步1 比 较目 标函 数 值 令 k l 气 计 算汽 帆 气 若汽 l 汽 转步2 否则转步3 步2 加大 探 索步 长 令hk 二 th a a 气十 汽 汽 k k 1 转步 3 步3 反向 探索 若k 转 换 探 索 方向 令气二 一 气二 a k 转 步1 否则 停止迭代 令 a m in 仁 小 m ax a a 小 c 气 并返回区间 a b 硕士论文单张照片的三维人脸重建方法研究 算法2 三点二次插值的 一维搜索 步0 选取a h e 步1 用 进 退 法 确 定 搜 索 区 间 a 1 a z 3 令 妈 侧 al 熟 殉2 伪 帆a 步2 令汉 2 阮 2 一 a 3 汽 a 一 a 色 a 一 a z 1 若 a 0 令 a 2 否 则 令 一 际心一 a 十 州心一 动 回一 al 如 咖 步 3 若 ia 一 几 卜 停 止 迭 代 输 出 否 则 若 a 一 a z 卜一 3 转 步4 否则转步50 步4 若价 乳 令a a z 仍 仇 否 则 令 3 伪 尹 转 步60 步5 若尹 仇 令a 2 色 仇 否 则 令气 a 名 甲 转 步60 步6 令a 九 尹 转 步2 应用上面的迭代算法 我们可以得到所需要的两种基于一维搜索的神经网络 最优学习 率及最优形 状因子的 加速学习算法 我们称其为刀 加速和兄 加速方法 算法3 粉 加 速和又 加 速学习 算 法 步0 选 择 要 采 用的 误 差函 数 及学习 误差e 最 大 学习 步 数k 步卜初始 化网 络 得 初 始 权向 量即 令k 0 步2 对 于 权 值 向 量w 前 向 计 算 得 到 误 差 e 如 果 队 卜五 幽 学 习 停 止 否则转步3 步3 由 前 面的 基 于 三 点 二次 插 值的 一维 搜索 算 法 得到 学 习 速率 或 形状 因 子人 更 新 权 值w w 一 刀 v e 几 k k l 如果k 之 k 停 止 否则转步2 由于学习率和激励函数形状因子都会对神经网络学习速度产生很大影响 因 此 我 们 尝 试 寻 找仿 劝的 最 优 组 合 来 加 速 学 习 速 度 此 时 在 第k 次 权 值 不 变 的 情 况 下 误 差 可 以 看 作 关 于 叮 和兄 的 函 数e 切 对 我 们 求 得 e 关 于 叮 和兄 的 导 数如下 器 一 vs wk rve wk 3 2 8 塔 熟一 补 一 以 客 w 啊 l 一 伶叫 盛 乞w 蜡 呵 几 j 司j 3 2 9 其 中 ve w 在 第k 次 反 馈 过 程 中 已 经 求 出 只 需 要 对 用 求 得 式 3 8 中 的 第k l次 权 值 采 用同 样 方 法 即 可 求 得ve w卜 进 而 得 到叫a 硕士论文单张照片的三维人脸重建方法研究 我 们 要 求 第k 1步 时 误 差函 数e 关 于仿 劝的 极 小 点 即 为 求 解 如 下 优 化问 题 e 叭 凡 一 惚e 兄 3 3 0 这里我们采用b fgs 算法进行求解 其关于h e s s e 逆近似的 校正为 从 二 h 1 十 凳 孕 色 华一 兰 述 擎 牛 粤 丛 戈气y 全 j s k y l k y 卜 一 斋 从 一 珊 斋 3 3 1 其 中 嘛 一 刀 凡 一 人 犷 y ve伪 k 人 1 卜 ve仿 凡 由 此 得 到 关 于仿 劝组 合 的 神 经网 络 加 速 学 习 方 法 我 们 称 其 为专 一 又 加 速 方 法 算法4 神经网 络粉 一 又 加速算法 步0 选择要 采用的 误差函 数及学习 误差e 最大 学习 步数k 步卜初 始 化网 络 得 初始 权向 量w 令k 二 0 步2 对 于 权 值向 量 前 向 计 算 得 到 误 差e 如 果 卜 凡 0 石 幽学 习 停 止 否则转步3 步3 由b fgs 算 法 对仿 习组 合 进 行 求 解 得 到 学 习 速 率冲 和 形 状因 子人 更 新 权值 一 刁 五 应 k k l 如果k 之 k 停止 否 则转 步20 ep sil on向 量外 推 我们将前面b p 算法中的权值向量矩阵 万和孙 心中 各元素共同表示成一个 向量的形式 叫 呵 呵 嵘 呵 呵 呵 便于后面的向量外推计算 理论上即sil on向 量外推法能够加快线性序列收敛速度 并且 5 6 中己 经通 过试验证实e p sil on向 量外推对于x 0r等非常简单的 模式识别 分类问 题有着很好 的加速效果 我们将尝试将这三种外推法用于加快我们所应用的神经网络学习速 度中来 算法5 基于epsil on向 量外推法的快速bp算法 步0 初 始 化网 络 给定 学习 误 差五 最大 迭 代步 数n e 及 整 数k 其中e 和k 表 示 在网 络 误 差 小 于eo时 对z k l个 权 值向 量 应 用向 量 外推法 步1 给定 学习 效 率叮 应 用bp算 法 训 练网 络 直 至网 络 误 差小 于e 如 果 此时迭代步数k 之 万 停止 训练失败 否则令1 二 0 设此时网络的 权 值向 量为砚 转步2 硕士论文单张照片的三维人脸重建方法研究 步2 对于 权 值向 量瓦 按 3 3 4 式 更 新 权 值z k次 若 在更 新 过 程中 有 网 络 误 差 阵卜 则 网 络 训 练 成 功 停 止 训 练 若 迭 代 次 数 k 之 犬 停 止 输出 失 败 标 志 否 则 得到 权 值向 量 序 列 伽 iw 一 瓦 思 转 步 3 步3 对 于 向 量 序 列伽 二 利 用 向 量 外 推 法 s ea v ea或t ea 得 到 e 轰 令1 1 1 瓦 e 轰 转 步2 0 3 3 数值试验 为了试验上述加速方法在我们应用问题中的可行性 我们选取部分脸部样本 数据进行试验 应用上面几种b p 神经网络加速方法并与原b p算法作比 较 基 于matlab强大的 矩阵计算功能 我们采用m atla b 7 0 进行下面的数值试验 机器 的配置为 p e ni l um l s g 256 m 内存 此外 在每次外推前都根据理论方法推断 出外推法中的k值是很困难的 所以我们只给出一个估计的k值 3 3 3 1 各种冲 兄 加 速 及向 量外推 方法的 加 速前 后比 较 我们选取20组样本数据 对各项侧面指标分别训练 选取网络输入层为23 隐含层为 巧 输出层为 1 所有试验均在相同初始权值的情况下进行 取 五 叶 1 0 弓 最大 迭 代 步 数为5 0 00步 对于 试验中 冲 兄 固 定的 情 况 均取 0 1 几 0 3 取外推开 始时 的凡 0 1 外推时的k 15 表 3 一4 一 3 6中 是 对 样本数 据中p rn 一 m gn p i n 一 51 p rn一三项进行拟合时的网 络训练 情况 由 表中数值结果可以 看出 我们的各项加速方法都能够有效加快bp 神经网 络的收敛速度 在规定步数内 原始b p 算法没有达到我们所给定的误差精度要 求的情况下 我们的六种加速算法都能以 较少的训练时间和迭代步数快速收敛 且精度均比bp 算法至少提高3 个数量级 三种向 量加速方法加速效果最为显著 表1 4不同 加速 算法 对p ru 一 m gn测量项进行 拟合时网 络训 练加速前后比 较 算法 训 练 时 间 ms 迭 代 步 数11叫ize bp 冲 加速 又加速 刀 一 又 加速 s e a ve a tea 6 9 6 5 65 0001 l s s x l 0 31 3 2 3 x l 0 3 1 7 22 x l 0 66 3 3 x l 0 4 2 4 3 2 85 5x l 0 76 2 0 x l 0 4 1 4 8 42 39 x l 0 66 2 l x l 0 4 2 7 5 01 刃s x l 0 66 2 7 x l 0 4 1 3 2 89 72 x l 0 66 3 5 x 1 0 4 1 3 2 s9 72 x l 0 66 3 5 x l 0 4 硕士论文单张照片的三维人脸重建方法研究 表3 4中三种向量加速方法速度最快 尤其是 v e a和t e a加速方法训练时 间不到b p算法的2 s e a加速方法效果也好于非向量外推加速方法 三种非 向量外推加速方法由于选取最优的学习率和激励函数形状因子 使每次迭代都达 到局部最优 因 此有效地减少了 迭代步数 尤其是叮 加速算法 仅用两步迭代即 达到误 差精度要求 一 兄 加速 算法在三种非向 量加速方 法中 速 度最快 用时 少 于b p 算法的2 2 又 加速方法虽然用时是加速算法中最长的 为b p 算法的 35 但是达到的精度最高 表3 5不同 加速算法对p rn 一 51测量项进行拟合时网 络训练加速前后比 较 算法 训 练 时 间 m s 迭 代 步 数0叫 e bp 粉 加速 兄加速 冲 一 又 加速 s ea ve a tea 5 3 6 1 05 0 001 2 1 7 火 1 0 31 注 o l x l 0 3 1 4 6922 x l 0 67 o 3 x l 0 4 5 3 9 ls2 x l 0 67 1 7 x l 0 4 1 2 s l2 5l x l o 7 7 x 1 0 4 1 1 5 79 72 x l 0 67 0 2 x l 0 4 1 0629 72 x l 0 7 刀 2 x l 0 4 i l s s9 73 x l 0 67 0 2 火 1 0 4 表3 5 中三种向量外推加速算法用时均不到b p算法的2 5 三种非向量外 推加速算法加速效果中 刀 一 又 加速算法速度仍然最快 其次为 加速 兄 加速 方法用时依然相对较长 尽管如此 c p u时间依然仅为b p 算法的1 0 左右 所 有加速算法所用迭代步数情况与表3 4 中类似 三种向量外推加速方法所需迭代 次数较多 但用时较短 非向量外推加速方法迭代次数依然很少 表3 6不同 加速算法对p 一 u 测量项进行拟合时网 络训 练加速前后比 较 算法 1练 时 间 m s 迭 代 步 数 vpize bp 刀 加速 又加速 叮 一 又 加速 s e八 ve a te a 5 3 6 0 95 0 0 01 石 z x l 0 31 o s l x l 0 3 2 o l 62l x l 0 63 8 9 x l 0 4 1 4 弘2 39 x l 0 6 z l x l 0 4 7 3 56 5l x l 0 63 s 7 x l 0 4 1 3 6 ol 2 9l x i o 3 名 s x l o 今 1 0 7 89 78 x l 0 63 8 9 x l 0 4 从表3 6中的试验结果可以 看出 我们的六种加速算法依然能非常有效地对 b p 算法进行加速 同时显著提高学习精度 s e a加速方法仅需要不到一秒便达 到 迭 代 终 止条 件 除又 加 速 算 法 外 用时 最 长的冲 加 速 算 法 所用c p u时 间 不到 b p 算法的4 同时也可看出 有时采用又 加速算法进行加速是失败的 经分析 是由于寻优时兄 初值选取不当造成的 试验中我们发现 多数方法在试验中都有可能会存在震荡现象 震荡的大小 与参数选取有关 三种向量外推加速方法中 v e a加速算法相对更加稳定 虽 硕士论文单张照片的三维人脸重建方法研究 然兄 加速算法效果不如其他加速算法 但是 由于改变兄 的值有时甚至会定性改 变误差函数的形状 因此对加速往往有决定性作用 但是 对寻优时的初始点选 择依赖性较强 选取不合适有时反而会影响加速效果 甚至导致网络不收敛于极 小点 但大多数情 况下是有明 显加 速效果的 甲 一 又 加速方 法相对比 较 稳定 但 是 由 于 误 差 函 数 关 于 伪 劝的 曲 面 波 动 很 大 因 此 在 寻 求 最 优仿 对 组 合 的 过 程 中 选取合适的初值依然十分重要 初值选取的不好 有可能使网络速度减慢甚 至不收 敛 通过试验 我 们 训练时 选 取迭代 初值为冲 0 1 几 5 3 3 3 2a v e a 加速方法及其加速前后比较 我 们通过 试验也 发现 对于ep sil on加速方法 要求误差 减小到一定 程 度才 能开始应用外推 但是用b p 算法达到这一要求的代价有时会比较大 进行试验 时 若我们采用一维搜索的加速方法 训练的样本集越大 搜索步长越小 当误 差减小到一定程度时 将会有大量时间用于一维搜索最优步长 训练效果反而受 到影响 同时 对于 一 兄 加速 虽然 与兄 同 样影响学习速度 且又 对加 速有决 定性作用 但是 训 练过 程中又 的 影响 显 然要比叮 弱一些 且 在训练过 程中兄 值 的 变化不大 考虑到以 上情况 我们在叮 加速的过程开始前加入一次兄 的寻 优过 程 并将得到的又 值用于后面网络的输出 和训练 综上 我们采用首先对又 值进行一次寻优 然后 用 加速算法对b p 神经 网 络 进 行训 练 当 误 差 减小 到 我 们设 定 的凡时 再 采用v ea 向 量 外 推 对b p 算 法进行加速 我们称这种加速方法为a v e a加速 我们同样选取加组样本数据进行训练 选取网络输入层为23 隐含层为15 输出 层为1 所有试验均在相同初始权值的情况下进行 我们提高训练精度 取 e 叫二 1 0 最 大 迭 代 步 数 为50 00步 对 于 试 验 中 粉 又 固 定的 情 况 均 取刀 0 1 兄 二 1 取外 推开 始时 的凡 0 05 外 推时 的k 15 表3 7是 对p rn 一 肠 项 数 据 进行拟合时a v e a与v e a算法加速前后比较的数值结果 表1 7对p 一 15项数据训练时a v e a与v e a算法加速前后比 较 算法训练时间 m s 迭代步数 b p算法 v e a加速 a v e a加速 7 1 7 5 0 69 00 0 41 2 5 llv 月 2 3 7 x l 0 4 3 x l 0 6 5 x l 0 7 1 5 4 x l 0 4 1 1 8 x 1 0 4 1 0 9 x l 0 4 对于p 粗项 同 样 取五 1 0 币 最大 迭 代步 数为5 0 00 对于 试 验中 兄 固 定的 情 况 取刀 0 1 又 司 取 外 推 开 始时 的凡 0 05 外推时k 巧 表3