真实感三维人脸建模技术研究.pdf

天津财经大学 硕士学位论文 真实感三维人脸建模技术研究 姓名 于艳艳 申请学位级别 硕士 专业 管理科学与工程 指导教师 华斌 20090501 内容摘要 创建逼真的三维人脸模型是计算机图形学领域一个极富有挑战性的课题 随 着虚拟现实 影视制作 游戏娱乐 可视电话等应用的发展 这一研究领域越来 越受到人们的关注 特别是2 0 世纪9 0 年代以来 计算机视觉和计算机图形学技术 的迅猛发展为三维人脸建模提供了技术支持 许多学者开始尝试建立逼真的三维 人脸模型 并取得了显著的成绩 如今许多研究者还是始终在坚持不懈地进行着这方面的探索 一方面 真实 感人脸建模有着重要的学术意义 是目前计算机图形学 计算机视觉领域最困难 的问题之一 同时该问题也是包括生理学 心理学 物理学等多个领域的跨学科 问题 另一方面 三维人脸模型有着极为广泛的应用 而且随着各方面技术的发 展 三维人脸模型将会在各方面得到更深更广的应用 这里提出了一种快速的三维人脸建模方法 该方法将人脸模型划分成若干个 运动相对独立的功能区 然后在各功能区内使用加权自由变形D F F D 方法对一般人 脸模型进行变形 由于功能区的引入 控制点的数量极大的减少 所以极大的降 低了计算量 能很好地满足实时性且更具真实性 然后采用多光源光照模型进行匹配 通过对环境光和每个光源的强度进行不 断优化实现对目标光照的估计 实际中复杂光照环境可以通过多个光源的变化来 近似模拟 采用纹理映射方法把输入图像垂直映射到三维人脸几何模型上 纹理 获取方法是实时的 在把二维图像直接映射到三维几何模型时 由于遮挡的关系 比如耳朵周围 模型上的部分区域无法获取相应的纹理颜色 因此在获取的 纹理上会有一些空白区域 为了填补这些空白区域 采用根据已知区域来填补空 白区域的线性插值算法 实现了入脸真实感处理 关键词 重建 D F F D 变形方法 纹理映射 A b s t r a c t T oc r e m er e a l i s t i ct h r e e d i m e n s i o n a lf a c ei nt h ef i e l do fc o m p u t e rg r a p h i c sm o d e l i sav e r yc h a l l e n g i n gt a s k W i md e v e l o p m e n to nv i r t u a lr e a l i t y v i d e op r o d u c t i o n g a m ee n t e r t a i n m e n t v i d e ot e l e p h o n ya p p l i c a t i o n s t h i s r e s e a r c hi s r e c e i v i n g i n c r e a s i n ga t t e n t i o n E s p e c i a l l ys i n c et h e2 0 t hc e n t u r y9 0 S t h ef a s td e v e l o p m e n to f c o m p u t e rv i s i o na n dc o m p u t e rg r a p h i c st e c h n o l o g yp r o v i d e dt h r e e d i m e n s i o n a lf a c e m o d e l i n gt e c h n i c a ls u p p o r t m a n ys c h o l a r sb e g a nt oa t t e m p tt o c r e a t ear e a l i s t i c t h r e e d i m e n s i o n a lh u m a nf a c em o d e l a n da c h i e v e dr e m a r k a b l er e s u l t s T o d a y m a n yr e s e a r c h e r ss t i l lc o n t i n u et h e i re x p l o r a t i o no ft h i sa r e a O nt h eo n e h a n d r e a l i s t i cf a c em o d e l i n gh a sa ni m p o r t a n ta c a d e m i cs i g n i f i c a n c e i so n eo ft h e m o s td i f f i c u l tp r o b l e m si nt h ec o m p u t e rg r a p h i c s c o m p u t e rv i s i o nf i e l d 胁i l et h e p r o b l e ma l s oi n c l u d e st h ep h y s i o l o g y p s y c h o l o g y p h y s i c sa n do t h e rf i e l d so f i n t e r d i s c i p l i n a r yi s s u e s O nt h eo t h e rh a n d t h r e e d i m e n s i o n a lf a c em o d e lh a sav e r y w i d er a n g eo fa p p l i c a t i o n s a n da l o n gw i t l lt h ed e v e l o p m e n to fa l la s p e c t so f t e c h n o l o g y t h r e e d i m e n s i o n a lm o d e lo fh u m a nf a c ei na l la s p e c t sw i l la p p l yd e e p e r a n db r o a d e ri nm a n ya r e a s H e r ew ep r e s e n taf a s tt h r e e d i m e n s i o n a lf a c em o d e l i n gm e t h o do fh u m a nf a c e m o d e l t h i sm e t h o dd i v i d e sh u m a nf a c em o d e li n t oan u m b e ro fr e l a t i v e l yi n d e p e n d e n t f u n c t i o n a la r e ao fm o v e m e n t a n dt h e nu s et h ev a r i o u sf u n c t i o n a la r e a w e i g h t e d m e t h o do ff r e e f o r md e f o r m a t i o nD F F Dg e n e r a ld e f o r m a t i o no ff a c em o d e l A sa r e s u l to ft h ei n t r o d u c t i o no ff u n c t i o n a la r e a c o n t r 0 1p o i n t sa r ei m p o r t a n t l yr e d u c e d S O g r e a t l yr e d u c e st h ec o m p u t a t i o nw h i c hC a nb ev e r yg o o dt om e e tr e a l t i m ea n dm o r e a u t h e n t i c i t y A n dt h e nu s i n gam u l t i s o u r c ei l l u m i n a t i o nm o d e lf o r r e n d i n g t h r o u g h o p t i m i z i n gt h ei n t e n s i t yo fn a t u r el i g h ta n de a c hl i g h ts o u r c et or e a l i z ee s t i m a t i o no f t a r g e ti l l u m i n a t i o n C o m p l e xa c t u a le n v i r o n m e n tc o u l db es i m u l a t e da p p r o x i m a t e l yb y m u l t i p l el i g h ts o u r c e s U s i n gt e x t u r em a p p i n gm e t h o dv e r t i c a l l ym a p st h ei n p u ti m a g e t 03 Dg e o m e t r i ch u m a nf a c em o d e l T e x t u r em a pi sg e n e r a t e di nr e a l t i m e w h e n m a p p i n gt h et w o d i m e n s i o n a li m a g e sd i r e c t l yt ot h et h r e e d i m e n s i o n a lg e o m e t r i c m o d e l b e c a u s eo ft h er e l a t i o n s h i pb e t w e e nt h eb l o c k s u c ha sa r o u n dt h ee a r s m o d e l o nt h ep a r to ft h ed i s t r i c tC a nn o to b t a i nt h ec o r r e s p o n d i n gt e x t u r e t h e r e f o r et h e t e x t u r ew i l lh a v ea c c e s st os o m eg a p si nt h er e g i o n i no r d e rt of i l lt h e s eg a p si nt h e r e g i o n u s i n gt h eb a s i so fk n o w na r e at of i l lab l a n ka r e ao ft h el i n e a ri n t e r p o l a t i o n a l g o r i t h m 刀 Sa c h i e v ear e a l i s t i ch u m a nf a c em o d e l i n g K e yw o r d s R e c o n s t r u c t i o n D F F DD e f o r m a t i o nm e t h o d T e x t u r eM a p p i n g I l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果 据我所知 除了文中特别加以标注和致谢的地 方外 论文中不包含其他人己经发表或撰写过的研究成果 也不包含 为获得天津财经大学或其他教育机构的学位或证书而使用过的材料 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意 学位论文作者签名 寺搀物签字日期 獗吵年岁月刃日 学位论文版权使用授权书 本学位论文作者完全了解天津财经大学有关保留 使用学位论文 的规定 有权保留并向国家有关部门或机构送交论文的复印件和磁 盘 允许论文被查阅和借阅 本人授权天津财经大学可以将学位论文 的全部或部分内容编入有关数据库进行检索 可以采用影印 缩印或 扫描等复制手段保存 汇编学位论文 保密的学位论文在解密后适用本授权书 学位论文作者签名 于拖 导师签名 矿扒 签字日期 阳移罗年歹月妒签字日期 加7 年期巧日 学位论文作者毕业后去向 工作单位 电话 通讯地址 邮编 第1 章绪论 1 1 研究背景 人脸是人们日常生活中最常见的事物 可以说人脸是我们人类最熟悉的事物 虽说人 人都有一张脸 都有口 眼 耳 鼻等 但每个人的人脸都有其独特之处 即使是非常相 近的双胞胎 也是有差异的 这是因为人脸具有个性化和多样化的特点 世界上没有完全 相同的两张脸 同时人脸是人体上最具有表达力的一部分 在人类交流中占据着举足轻重 的地位 自古以来 人们对人脸的复制一直抱有着浓厚的兴趣 早期常采用的方法包括手工绘 画 泥塑 雕刻等 随着科学技术的发展 出现了照片和电影 但其只限于反映人脸在某 个角度的二维信息 无法看到具有真实感的三维人脸 自从二十世纪中期第一台电子计算 机诞生以来 计算机技术得到迅猛发展 人们使用计算机在人脸复制方面的技术也日趋成 熟 现在无论是二维还是三维人脸 都能更加精确和富有创造性地在计算机上进行复制和 合成 随着计算机图形学技术的发展 真实感三维人脸合成和表情动画技术成为了计算机图 形学领域的一个研究热点 受到了研究人员越来越多的关注 人脸建模和人脸表情动画的 应用领域很广 其中一个最显著的应用就是影视制作 近些年上演的影视大片如 指环王 终结者l l 玩具总动员 黑客帝国 等电影中 都无不体现了人脸建模和表情 动画技术的魅力 尽管目前在三维人脸的重构和复制上已经取得了一些技术上的突破 但还是不尽人 意 如需要专用的设备 且数据量大 不便于存储及网络上传输 三维人脸合成速度慢 精确度不高等 如何在不需要昂贵设备 尽可能减少交互的条件下 创建出具有真实感的 人脸造型 这是本文的研究重点 旨在找到一些简捷而高效的方法来解决这些问题 1 2 研究意义 人脸是人类情感表达和交流的最重要 最直接的载体 通过人脸可以推断人的种族 地域 甚至身份 地位等信息 另外 通过人脸丰富而复杂的 可以得到这个人的个性和 情绪状态等信息 例如害怕 生气 快乐 惊慌 难过 厌恶 沮丧等基本情绪 以及兴 l 高采烈 烦躁不安 急躁易怒 困乱 聚精会神等动态情感状态 人脸在人与人的交流中 不但能表达友好 赞成 反对等语气上的信息 甚至可以对话语 语言等语义上的信息进 行表明和补充 正因为人脸在人的情感表达中扮演着重要的角色 从古至今 对于人脸的刻画一直得 到人们的广泛关注 在早期的绘画 雕塑 表演等艺术领域是最常出现的对象 这些艺术 中的人脸在真实感 情感表达等方面都达到很逼真的层次 照相 摄影和电影电视等技术 的出现 使得人们对人脸对象可以进行特殊的处理 获得真实感更好的人脸及动画 随着 计算机技术的迅速发展 人们对于复杂的人脸对象的表示有了新途径 人们试图通过各种 不同方法实现人脸模型 并寻找人脸表情 动作等动态信息的描述和表示方法 建造真实 感的虚拟人脸 然而真实感人脸建模却是一个极具挑战性的课题 首先 人脸具有非常复杂的生理结 构 人脸是一个复杂的层次结构 一般可分为头骨 肌肉层 结缔组织层和外部皮肤层 人脸表情的产生是由脸部多个肌肉群的协作变形引起的 产生人脸表情或动作涉及到的主 要肌肉有口轮匝肌 鼻肌 颧肌 眼轮匝肌 皱眉肌等 例如唇部动作主要由口轮匝肌来 完成 皱鼻子等动作主要是由鼻肌的收缩产生 颧肌的收缩会造成颧骨处脸颊的提高 眼 睛及眼部周围的变化主要是由眼轮匝肌收缩导致的 其次 人脸的几何很复杂 而且每个人的几何均不相同 特别是头发 嘴巴 耳朵 眼睛的几何很难用一个恰当的模型来表示 它们的几何数据也很难获得 人脸运动时的几 何变化则更难以模拟 人脸的运动包括刚性的人脸姿态变化和非刚性的人脸器官和肌肉运 动 这些由人脸的皮下肌肉和人脸皮肤的动力学特性决定的运动很难用模型来表示 最后 人脸的光照特性也很复杂 人脸的皮肤存在着皮下散射和折射 眼睛的光照特 性很难获得 人脸的复杂几何以及皱纹 胡子 眉毛和脸部细毛使人脸的光照特性非常复 杂 目前还没有比较好的方法来直接测量人脸的光照特性 现有的人脸模型和系统一般都 不能很好地处理人脸的真实光照问题 因此 真实感人脸建模和人脸动画是目前计算机图形学 计算机视觉领域最根本 最 困难的问题之一 同时该问题也是包括生理学 心理学 物理学等多个领域的跨学科问题 该问题的研究和解决可以为复杂对象的建模提供借鉴 对于类似的科学问题具有重要的促 进意义 实际上 自从P a r k e 在2 0 世纪7 0 年代在计算机上建立了第一个人脸模型起 人脸 的建模和动画就一直是计算机图形学 计算机视觉 模式识别等领域最为活跃的研究热点 D P a r k eF I C o m p u t e rG e n e r a t 既lA n i m a t i o no f F a c e s A P r o c e e d i n g so f t h e A C MN a t i o n a lC o n f e r e n c e q 1 9 7 2 4 5 1 4 5 7 2 除了具有重要的科学研究意义 真实感人脸建模还具有广阔的实际应用 真实感人脸 建模在电影 广告 人物动画 计算机游戏 视频会议 可视电话 人机交互 医学 公 共安全等许多领域都具有广阔的应用前景 下面是人脸建模的一些典型应用 1 人机交互界面 人类语言是由自然语言和人体语言组成的 在人与人的通讯及 面对面交流过程中 自然语言和人体语言同时或联合传递信息 其中自然语言包括语音和 文字 人体语言包括手势 表情 体势等 完善和谐的人机交互光有自然语言还不够 表 情 手势能很好表示语音 文字无法表达的情感内容 在未来的人机交互界面中 用户所 见到的不仅仅是菜单文字 三维虚拟人将是人性化人机交互界面的发展趋势 2 游戏娱乐 计算机发展到今天 它的应用不再局限于早期的科学计算 其中的 一个重要应用就是休闲娱乐 网络游戏的蓬勃发展使得游戏产业己成为软件产业的重要组 成部分 人脸建模与表情动画技术就一直应用于游戏制作当中 现目前电子游戏的两大发 展方向是网络化和三维化 三维虚拟人物在游戏中已经是一个非常普遍的元素 真实感三 维人脸合成技术在游戏虚拟角色的表现上具有至关重要的作用 传统游戏中的二维场景和 虚拟人物很难使游戏者有身临其境的感觉 随着图形硬件设备的快速发展 在游戏中使用 三维场景和虚拟人物已经成为一个趋势 3 虚拟仿真 计算机虚拟环境中需要有虚拟人物角色 比如虚拟会议 运动仿真 等 高质量的表现虚拟人需要真实感三维人脸合成技术的支持 4 辅助教学 三维人脸模拟技术可以应用于口腔发音教学 用虚拟口腔的仿真动 画来辅导发音困难的人群 比如聋人学习说话 成年人学习外语发音等等 5 医疗研究 用极具真实感的人脸模型作为虚拟病人 供医生练习手术开刀 或 者重现病变部分供医生研究 6 电影电视制作 三维人脸造型在娱乐方面最显著的应用是被广泛地应用于电影 电视中虚拟演员与虚拟主持人的制作 7 其他应用 在网络通讯中应用三维模型和动画数据编码可以有效的节省视频的 数据传输量 在电影制作 广告宣传 虚拟主持人等方面真实感三维人脸合成技术都有广 泛的应用前景 1 3 国内外研究现状 人脸建模是一个从无到有的过程 根据实现原理不同 目前已有的三维人脸建模方法 分为4 大类 手工建模 特征建模 扫描建模 统计建模 3 1 3 1 手工建模 制作者借助三维制作软件 比如3 DM A X M a y a 等 在计算机中绘制出三维人脸模型 这种方法的优点是易于实现 不受环境影响 缺点是制作费时费力 模型效果好坏基本取 决于制作者的绘制水平 因此对制作者有很高的要求 一般需要经过专业的训练才可以 1 3 2 特征建模 这种方法一般是从照片或视频中提取人脸特征点 将不同角度提取的相同特征点进行 对应 计算出特征点的空间坐标 然后用这些特征点坐标插值变形一张中性人脸网格 从 而重构出三维人脸模型 在上世纪9 0 年代初 T A k i m o t o 等人用两张人脸照片来建立人脸模型 首先从正 侧 两个互相垂直的方向拍摄两张人脸照片 两张人脸照片上分别用矩形标出眼睛 鼻子 嘴 等关键特征所在区域 在每个区域中搜索图像边界从而确定具体特征点的位置 然后根据 正侧面相同特征点的对应关系确定特征点的三维坐标 再用特征点的坐标来插值变形一个 中性人脸网格 从而构造出特定人的三维人脸几何模型 把正侧面人脸照片投影到环绕人 脸模型的圆柱面上 重叠的部分进行融合实现平滑过渡 这样就生成了模型的纹理 这种 方法的优点是简单易行 在后来的人脸合成研究中被大量使用 但是实际操作中这种方法 很容易产生较大的误差 模型效果欠佳 微软研究院的L i u 等人圆用人脸视频作为输入 用户需要在其中两帧中各标出5 个特征 点 然后在视频中计算并对应角点就可以自动生成与视频相应的三维人脸模型 该方法操 作简便 但是由于角点的自动提取误差较大 导致模型几何表面的误差也比较大 1 3 3 扫描建模 L e e 等人 用三维扫描仪来创建人脸模型 这种方法得到的模型非常精细 准确度也高 但是设备本身造价昂贵 而且模特必须在场 扫描后的模型还需要经过软件处理 排除扫 描中的一些错误结果 这种方法只能适合一些对模型逼真度要求很高的应用 但由于操作 条件苛刻 无法推广 O A l d m o t otS u c n a g eYW a l l a c eRS A u t o m a t i c3 df a c i a lm o d e l s J I E E EC o m p u t e rG r a p h i c sa n dA p p l i c a t i o n s 1 9 9 3 1 3 5 6 2 2 V o l k e r B l a n z T h o m a s V e t t e r A M o r p h a b l e M o d l e F o r T h e S y n t h e s i s o f 3 D F a c e s J S I G G R A P H 1 9 9 9 1 8 7 1 9 4 L e eYC T e r z o p o u l o sD W a t e r sk R e a l i s t i cm o d e l i n gf o rf a c i a la n i m a t i o n C o m p u t e rG r a p h i c s J A n n u a lC o n f e r e n c eS e r i e s S I G G R A P H 1 9 9 5 5 5 6 2 4 1 3 4 统计建模 V o l k e rB l a n z 等人 提出了一种基于统计的人脸建模方法 他们用三维扫描仪建立一 个三维人脸库 对于一张正面人脸照片 用库中人脸模型线性组合的正面投影去逼近这张 照片 最后把组合的人脸模型认为是照片中人脸的模型 这种建模方法的优点是输入简单 只需要一张正面照片 而且合成的人脸模型不会有奇异的失真 缺点是准备工作多 建人 脸库比较麻烦 所建模型在纵深方向会有一定误差 1 4 本文的研究内容及路线 1 人脸特征提取 真实人脸的特征点 要求既能反映人脸的整体几何结构 又能表示五官的局部特征和 在人脸上的位置分布 人脸关键特征点定位技术是人脸信息处理的一项关键技术 精确快 速的特征点定位在人脸识别 姿态估计和人脸三维图像的重建等方面有着非常重要的应 用 因为眼睛 鼻子和嘴巴等特征集中了脸的大部分信息 对于人脸建模来说 不仅要检 测出这类特征 而且应准确地加以定位 2 三维人脸重建 主要研究从特征点数据重建出特定人脸的三维模型 我们采用模型变形的方法 使用 特定人脸的特征点数据 结合真实人脸的表面的几何结构特点 对一般人脸进行修改变形 使其向特定人脸逼近 从而完成三维重建 3 光照模型和纹理映射 没有进行真实感处理的人脸模型缺乏真实感 影响我们的视觉感观认同 为了逼真地 显示三维特定人脸 我们需要从人脸照片中提取纹理信息 采用插值法生成纹理拼接图 采用纹理映射技术来实现二维纹理图像到三维人脸模型的映射 并采用光照模型模拟自然 环境下的光照 最终生成具有真实感的三维虚拟人脸 4 算法的实现与测试 实施编码 将三维人脸算法模型在计算机上实现 并输出三维建模结果 验证理论的 正确性与可行性 O V o l k e rB l a n z T h o m a sV e t t e r AM o r p h a b l eM o d l eF o rT h eS y n t h e s i so f3 DF a c e s E J S I G G R A P H 19 9 9 18 7 19 4 5 1 5 本文的章节安排 第一章 绪论 介绍了三维人脸模型的应用前景及国内外的研究现状 并对现有的三 维人脸建模技术进行了分析比较 在此基础上 给出了本文的研究路线 研究目标及主要 研究内容 第二章 人脸特征点的定义及通用人脸模型 首先根据人脸各个器官的结构 将人脸 划分为各个功能区 描述了人脸特征点的定义 最后对现有通用人脸模型做了简要介绍 并详细介绍了本文中所用到的人脸模型 第三章 对比分析了现有的几种立体视觉人脸建模方法 最终决定使用的基于正 侧 面照片的重建方法 第四章 三维人脸重建 采用基于实拍的正 侧面人脸图象的个性化人脸模型的重建 方法 从两幅正交的输入照片手动地取得特征点的位置并计算出特征点的三维坐标 然后 利用特征点的坐标对一个中性人脸模型进行修改来得到照片中特定的人脸 第五章 人脸光照模型与纹理映射 本章首先阐述了人脸模型真实感处理中的光照处 理 介绍了计算机图形真实感处理中的一些经典光照模型 并提出了本文中采用的光照模 型 然后论述了对人脸模型的纹理映射过程 并给出纹理坐标的计算方法 实现对特定人 脸模型的纹理贴图 取得了具有一定真实感的特定三维人脸 第六章 系统设计与实现 论述了系统的设计与实现 第七章 总结本文的工作 并给出未来研究的方向 6 第2 章人脸特征点定义与通用人脸模型 人脸有基本相同的面部结构 如眼睛 鼻予 嘴巴等 和相似的面部动作 如眼睛的睁 闭 嘴巴的丌台等 这些相同特征为建立标准人脸模型 g e n e r i Cf a c em o d e 奠定了生理 基础 但是人脸图像除了公共特征外 还有个性特征 比如跟睛的大小 眉毛的粗细 鼻子 的高低等 正因为有了这些个性特征 才能正确地区分不同人脸 标准人脸模型台有丰富的 先验知识 如结构信息 肌肉模型等 可以描绘人脸的共有特征 根据前人已有的研究 一 个优秀的标准人脸模型应具备以下几个特点 1 参数化利用具体人脸的信息 调节参数能够描述出个性特征 从而形成个性人脸 模型 2 形象化能准确地描述人脸的基本形状 井能做一些表情动作 3 简单化模型顶点越多描迷人脸的精度就越高 但是给模型的拟合和后期处理增加 了困难 但是顶点太少叉不能精确地描述人脸的细节 因此 需要在模型的复杂性和精度之 间作一个折衷 21 人脸功能区的划分 人脸由眼 耳 鼻 口 眉毛 额头 脸颊 下颚等器官构成 每个器官都具有不同 的形状特征 他们之间既有联系又相互独立 共同构成了真实的人脸 图21 三维人脸区域分布图 资料来源 王妹 个性化三维人脸模型的设计及实时绘制 D 硕士论文 2 0 0 4 8 根据人脸面部的生理结构特点 尽管每个人的面貌各不相同 但都有其一般规律 每 个人的头部都是由肌肤 毛发等软组织包裹着的颅骨组成的 颅骨是面貌的内核和构架 五官和面部肌肉等软组织附着在颅骨的相应部位 形态受颅骨各部位形态和结构关系的制 约 额骨 颧骨和上颌骨及下颌骨等颅面骨的形态基本上决定了每个人的面部轮廓 其中 颧骨及下颌骨占主要决定因素 当然面部肌肉等软组织也会影响脸型 但是相对于骨架来 说 是次要的 根据人脸的骨骼及肌肉组织的特点 我们将人脸分为眼睛 鼻子 嘴巴 下巴 脸颊 额头与人头后部七个区域 七个区域的分布如图2 1 所示 针对这七个区域 的特征点分别定义特征点 每个区域的特征点分为内点与边界点两类 人脸功能区的划分 为人脸特征点的定义和三维人脸形变打下了基础 2 2 立体视觉原理 人脸照片是用摄像机采集的人脸在某个角度的投影成像 它只能反映人脸各个器官在 该投影面上二维位置分布的信息 而我们进行人脸三维建模则需要得到人脸的三维几何信 息 如何从照片中获取人脸的三维几何信息 并根据这些信息建立三维模型就需要应用立 体视觉原理 立体视觉是由计算机视觉中用两幅或多幅二维图像获取物体三维几何信息的方法 根 据立体视觉原理圆 如图2 2 可以得到下式 资料来源 作者编制 9 l 乏 踟 7 图2 2 双目视觉观察空间点 梁荻 苏志勋 基于照片的人脸重建技术 J 计算机工程与应用 2 0 0 2 年第3 8 期 4 6 4 9 程日彬 真实感三维人脸合成技术研究 D 西北大学硕士论文 2 0 0 6 年 2 3 2 志一j 仉 上z 2 1 1 D X 吻 五j 面磊历Li 面何c 毋一x s i l l D 也2 D X c o s 0 Y s i n O 么 当摄像机的拍摄距离D 摄像机的焦距三和旋转角度秒已知时 求解公式中的方程组 就可以得到空间点尸的三维坐标 D 秒这三个参数可以通过立体视觉摄像机标定得 到 本文采用两张正交照片 p 9 0 0 进行三维坐标的计算 当旋转角0 9 0 时 摄像机的 成像平面变成为两个J 下交的投影面 则公式可简化为 Ly l D x r H i 匕Z 2 2 D X 一 玑 L x D 一1 1 L z 2 D y 2 3 特征点求取 从给定的正 侧面照片中自动提取出人脸的特征点数据是一个难度较高的课题 也一 直是模式识别领域中的一个难题 迄今为止还没有一个有效的通用算法 因此在考虑到自 动提取十分困难的情况下 决定采用人机交互的方式进行 由于定义的特征点数据比较多 如果逐个的从照片中提取 效率十分低下 而且可操 作性很差 为此 决定使用基于特征点模板修改的方法 将一般控制网格经过坐标变换后投影在正侧面照片所在的二维平面上 在提取照片的 特征点时 将所有控制网格上的特征点拖动至与特定人脸照片中对应的特征点位置相重 合 人工辅助完成特征点模板的匹配过程 从而求出特定人脸的特征点数据 设特征点模板中的特征点P x z 投影到正 侧面照片所在的二维平面得到的点 P x Y 和P x y 分别为 9 正面照片投影点尸 F y X k 兰 2 3 侧面照片投影点尸 o y 善芝妻二兰 2 4 其中k 为常数因子 使用上述的坐标转换公式将特征点模板中所有的特征点投影到正 侧面照片所在的二 维平面上 并人工拖动其投影到照片上对应的特征点位置 这时只需将正 侧面照片中的 特征点数据进行合并计算即可得到照片中人脸的三维特征点数据 特征点坐标 Q 石 y z j 三 x V k 七 2 5 2 4 人脸特征点定义 人的头部结构是相当复杂的 要想重建出具有真实感的人脸造型 选取具有代表性的 特征点是相当重要的 根据对人脸功能区的划分 在各个功能区内定义人脸的特征点 由 于人脸两侧基本上是对称的 故在定义特征点的时候只考虑一侧的特征点即可 眼睛区域 眼睛区域对应于人的视觉器官 r i m 眼睛 位置上对应颅骨上眼眶区域 由瞳 孔 角膜等组成的球形嵌在眼睛窝里 眼球外覆盖着上 下眼睑 眼裂的形状近似于两条 抛物线 故我们用4 个内部点即可近似的标记出 而对于上下眼睑来说 其紧紧覆盖于球 状的眼球表面 无论是眼睛处于何种状态 睁眼 闭眼或半开半闭等 其表面始终可以近 似的看作球面 对于典型的蒙古人种 眼眶基本上呈椭圆形 故我们也可以4 个外部点近 似的标记出眼眶的区域 眼睛区域的特征点定义如图2 3 所示 其中黑色的圆形点为边界 点 黑色的菱形点为内部点 以下同 图2 3 眼睛区域的特征点定义 资料来源 作者编制 图2 4 R 子区域的特征点定义 l O 鼻子区域 鼻子区域对应于人的嗅觉器官一鼻子 鼻子隆起于面部中央 呈近似三角 状 由鼻根 鼻背 鼻尖和鼻翼等组成 鼻子表面近似的关于鼻梁左右对称 对于一侧的 表面来说 整体较为平滑 只不过在鼻子下部的两侧鼻翼处由于鼻孔的原因而出现了局部 隆起 鼻子区域的特征点定义如图2 4 所示 由于鼻子的两侧边缘较为平直 我们用两个 边界点即可表示 其中点N o l 与眼睛分区的边界点E o 0 相同 点N O L 2 为鼻翼的最远点 另 外点N o 0 为鼻根点 点N o 3 为鼻子分区与嘴巴分区交界处的鼻下点 我们内部点N I 一0 为鼻 尖点 鼻子关于人脸中央左右对称 故略去另外一侧的点两个点 以下做类似的简化处理 嘴巴区域 嘴巴区域也就是人的嘴巴所在的区域 嘴巴主要由内部的牙齿 舌头和外 部表面的上 下嘴唇构成 嘴唇由口轮匝肌组成 覆盖于颌骨和牙齿之上 其形态取决由 颌骨和牙齿形成的弧度 上 下唇由于人类语言的高度发达而变得活动十分灵活 图2 5 给出了嘴巴区域的特征点定义 我们用了6 个边界点定义了嘴巴的区域范围 其中点M o l M O 2 M O 3 表示鼻唇沟 嘴唇皮肤与脸颊皮肤交界处的浅沟 曲线 点M o 5 为下嘴唇与下巴 交界处的凹下点 点M o 一0 M O1 与鼻子分区的边界点N O L 3 N O 一2 相同 我们用3 个内部点 M I o 至M I 1 定义口裂的大小及形状 资料来源 作者编制 图2 5 嘴巴区域的特征点定义 脸颊区域 脸颊占据了人脸的大部分区域 是人脸特征的重要组成部分 该部分的曲 面构造比较复杂 而且人与人之间的差别较大 即使同一个人在胖 瘦之间变化时脸形变 化也比较大 用1 0 个边界点描述脸颊的轮廓曲线 用1 个内部点定义脸颊上颧骨点的位置 特征点的分布如图2 6 所示 圉26 人腊特征点分布图 资料来源 舒新峰 j 维人脸建模技术研究 D 硝北人学硕士论文 2 0 0 2 1 4 下巴区域 下巴位置对应于下颌骨的牙齿以下的边缘区域 从照片上看处于F 嘴唇之 下的部分 用6 个边界点来定义下巴区域 特征点的分布如图2 6 所示 额头区域 额头部分位于人面的最上部 形状较为简单 用7 个边界点来定义额头的边 界区域 用1 个内部点来定义眉心点的位置 特征点的分布如图2 6 所示 人头后部 人头后部虽然占据了三维人脸造型表面的大部分区域 其几何形状每个人 的情况有可能不同 有些人的头的后部可能是光滑 有些人则可能不够圆顺 光滑 但是 在头发的遮盖下 一般很难看得出其具体的形状 而且在一般情况下进行人的识别的时候 没有人会关心头是圆的还是扁的 因此我们可以对人头后部做简化处理 以一个一般人头 的后部作为标准进行变形替换特定人脸的后部 不会对模型的逼真度有任何影响 我的研 究重点放在人脸的其它区域的三维造型上 此部分暂不考虑 25M P E G 一4 对人脸的特征点标定 M P E G 一4 作为新一代动态图像压缩标准 提出基于对象的编码格式 将人脸作为一个 特殊的对象 并为人脸的动厕制定了 系列标准 为人脸的建模和动i l i i j 研究奠定了基础 然而 由于M P E G 4 定义的只是一种格式和框架 而并未给出具体的实现算法 这就给研究 O I S O I E CJ T C I S C 2 9 r w G I ID 0 c N 3 9 0 9M P E G 4 d c o V g i f i c a t i o n M o d e lv e r s i o n Iso f t 2 0 0 人员提供了广阔的平台 M P E G 4 使用两个参数集合对中性人脸模型进行了定义 人脸定义 参数 F a c ed e f i n i t i o nP a r a m e t e r i F D P 和人脸动画参数 F a c eA n i m a t i o nP a r a m e t e r F A P F D P 描述人脸的几何和纹理信息 有时还可以包括场景的信息 它提供人脸特征点 网格 纹理 人脸动画定义表等数据 有了这些数据 就可以把一般人脸模型转化为特定 人脸模型 一个F D P 域包含以下五个内容 1 F e a t u r e P o i n t s C o o r d 指定网格中所有特征点的坐标 2 T e x t u r e C o o r d 指定所有特征点在纹理上的坐标 3 U s e O r t h o T e x t u r 指定纹理的类型 如果U s e O r t h o T e x t u r 值为F A L S E 则纹理用圆 柱投影 如果U s e O r t h o T e x t u r 值为T R U E 则纹理采用正投影 知道纹理类型 可以正确地 计算非特征点在纹理上的坐标 4 F a c e D e f T a b l e s 且P 人脸动画定义表 描述F A P 对人脸网格变形的控制方式和参数 5 F a c e S c e n e G r a p h 指定包含一张纹理图像或者一个以上的人脸模型 F D P 为选择特征点提供了很好的参考标准和范围 这些特征点都是经过大量的实验分 析得到的 它们能够真实地反应人脸表情的变化 是人脸表情的 晴雨表 M P E G 4 定义了具有如下性质的中性人脸模型 目光注视着Z 轴 所有脸部肌肉处于放 松状态 眼睑与虹膜相切 瞳孔直径为虹膜直径的1 3 上下嘴唇接触 唇线水平 并与 嘴角处于同一高度 嘴闭合 上下齿扣合 舌头水平平直 且舌尖与上下齿缘接触 M P E G 一4 人脸定义参数用来定义人脸的几何信息 在F D P 中 M P E G 4 禾U 用中性人脸模型定义了8 4 个 特征点 这些特征点的主要作用是为定义人脸动画参数提供空间参考 也定义了脸部几何 模型 F D P 参数表示为人头上的一些特征点的三维坐标 例如下巴的底端 上嘴唇内侧的 中点 下嘴唇内侧的中点 左右外眼角点和左右内眼角点等 2 6 通用人脸模型 要实现特定人脸的建模 首先需要获得中性人脸模型 通过对中性模型的修改生成特 定人脸模型 人脸有基本相同的面部结构和相似的面部动作 这些相同特征为建立标准人 脸模型奠定了基础 1 3 2 6 1 现有的标准人脸模型 当前存在以下几种人脸模型 1 网格模型 在这个方面研究者努力的方向是利用最少的节点和三角面片来建立逼真的头部模型 代表性的模型有D e C a r l o 等人的B 样条模型 L i u 等人的中性脸模型和A h l b e r g 等人的 C A N D I D E 一3 2 基于参数的模型 P a r k e 于8 0 年代提出了一种参数化模型 从理论上来说 通过选择适当的参数值 模 型可以变形产生许多面部表情 但是 当前大部分基于该模型的研究所提取的参数都比较 粗糙 因而产生的效果也就低于期望值 3 肌肉模型 为了提高逼真度 W a t e r s 提出了一种基于肌肉物理特性的模型 可以根据脸部肌肉 的动作来合成许多脸部组织的细微变形 这种模型要求掌握脸部肌肉的解剖结构 组织学 动力学等方面的知识 该模型可以实现逼真的脸部变形 4 物理学模型 物理学模型是近年来发展最快的模型 能达到相当逼真的面部变形 它主要使用多 层的弹性网格和有限元网格表示皮肤的物理特性 还采用了一种保持体积恒定的变形规 则 通过解大规模的动力方程组来模拟面部变形 2 6 2 本文选择C a n d i d e 一3 模型作为通用人脸模型 由于M P E G 4 中定义的人脸特征点主要是为定义人脸动画参数提供空间参考 有的点作 为人脸建模特征点并不必要 而且受个性化建模过程采用的变形策略影响 当采用全部特 征点时 点的分布不均 使得最终的建模效果反而不理想 为了避免这种情况 本文选择 的C a n d i d e 3 模型的特征点定义如图2 7 所示 同时 在一般人脸网格模型上对应选点 将 特征点位置保存 以后做任何对象的三维个性化人脸的时候 都可以用这个一般模型及其 D e C a r l oD M e t a x a sD S t o n eM A na n t h r o p o m e t r i cf a c em o d e lu s i n gv a r i a t i o n a lt e c h n i q u e s A 1 I I s I G G 黜心H P r o c e e d i n g s C O r l a n d o F L U S A l9 9 8 6 7 7 4 A h l b e r gJ C A N D I D E 3 硼u p d a t e dp a r a m e t e r i z e df a c e R T e c h n i c a lR e p o r ti T H I S R R 2 3 2 6 L i n k o p i n g U n i v e r s i t y S w e d 2 0 0 l 要 T c r z o p o u l o sD w a t e r sK T e c h n i q u e sf o rr e a l i s t i cf a c i a lm o d e l i n ga n da n i m a t i o n 1 n M a g n e n a n t T h a l m a n nN T h a l m a n n D e d s C o m p u t e rA n i m a t i o n 9 1 T o k y o S p r i n g e rV e r l a g l9 9 1 5 9 7 3 W o n S o o kL e e N a d i aM a 肼e I l a tT h a l m a n n H e a dM o d e l i n gf r o mP i c t u r e sa n dM o r p h m gi n3 D 谢t hI m a g eM e t a m o r p h o s i s b a s e dO i lt r i a n g u l a t i o n C C A P T E C H 9 8 G e n e v a p p 2 5 4 2 6 7 l9 9 8 1 4 特征点作为参考标准 所以 这样的选择是一次性的 图2 7C a n did e 一3 模型的特征点定义 资料来源 作者编制 C a n d i d e 一3 模型是一种参数化的模型 最初的目标是为了服务于基于模型的人脸编码 应用 因为只有较少的若干顶点参数 使得应用该模型进行3 D 人脸重建只需要很少的计