（计算数学专业论文）基于单张正面人脸照片的三维人脸自动建模方法研究.pdf

摘要 基于单张正面人脸照片的三维人脸自动建模方法研究 摘要 真实感三维人脸建模是计算机视觉和计算机图形学领域一个极富挑战性的研究 方向。自1 9 7 2 年f r e d e r i ci p a r k e 开创计算机人脸建模以来，研究者们在该领域做了 大量的研究工作，并取得了很大的进展。真实感三维人脸建模技术的应用范围非常广 泛，其成果可以应用于虚拟主持人、虚拟会议、辅助教学、医疗研究、电影制作、游 戏娱乐等，具有重大的理论意义和应用价值。 本文研究了一种基于单张正面人脸照片的三维人脸自动建模技术，该方法只需输 入一张中性表情，均匀光照的正面人脸照片，通过自动提取特征点来重构人脸的三维 几何模型，最后从照片上提取纹理生成具有真实感的三维人脸。本文的研究内容主要 包括： ( 1 ) 人眼特征检测：提出了一种人眼特征检测方法：在人脸检测的基础上，确定 人眼所在的大致区域，利用该区域内的灰度和梯度特征对人眼各特征点分别进行搜 索。由于预先确定了搜索范围，所提取的特征点的位置比较精确。 ( 2 ) 唇部特征检测：在人脸肤色和唇色研究的基础上，对红色排除法判别式进行 改进，提出嘴唇b r 加权g 色对比法( w b r g c ) ，该方法利用g 、b 分量和g 、r 分 量分布差异加权来区分肤色和唇色，最优权重通过实验确定。实验表明，w b r g c 的 检测性能与红色排除法相比有明显的提高。 ( 3 ) 三维人脸建模：利用提取的人脸关键特征点，结合真实人脸表面的几何结构 特征，对一般人脸模型( c a n d i d e 3 ) 进行调整，获取个性化三维人脸几何模型。最后 进行纹理映射生成具有真实感的三维人脸。 ( 4 ) 使用v c + + 6 0 ，o p e n g l 图形开发库和o p e n c v 计算机视觉库实现一个真实感 三维人脸自动建模系统。 关键词：三维人脸建模，单张照片，人脸检测，特征提取，红色排除法， c a n d i d e 3 模型 a b s t r a c t 基于单张正面人脸照片的三维人脸自动建模方法研究 a b s t r a c t r e a l i s t i c3 一df a c em o d e l i n gh a sb e e na p e r s i s t e n tc h a l l e n g ei nc o m p u t e rg r a p h i c sa n d c o m p u t e rv i s i o nf i e l d s i n c et h ep i o n e e rw o r ko ff a c i a lm o d e l i n gw a ss t a r t e db yf r e d e r i c i p a r k ei n19 7 2 ，l a r g ea m o u n to fr e s e a r c hw o r kh a sb e e nd o n eo ni ta n dg r e a tp r o g r e s sh a s b e e na c h i e v e d t h et e c h n i q u eo fr e a l i s t i c3 df a c em o d e l i n gc a nb eu s e dw i d e l yi nt h ea r e a o fv i r t u a lr e a l i t ye n v i r o n m e n ts u c ha sv i r t u a lp r e s e n t e r , n e tm e e t i n g ，v i d e o p h o n e ，r e m o t e e d u c a t i o n ，r e m o t em e d i c a ld i a g n o s i s ，m o v i ee f f e c t sa n dg a m e se t c r e s e a r c ho n3 df a c e s y n t h e s i sh a sg r e a tv a l u ei nb o t ht h e o r ya n da p p l i c a t i o n t h i sp a p e rd i s c u s s e sa3 一df a c ea u t o m a t i cm o d e l i n gt e c h n i q u eb a s e do nas i n g l e f r o n t a lf a c e i m a g e o n l yas i n g l ep h o t o g r a p hw i t hn e u t r a le x p r e s s i o na n du n i f o r m i l l u m i n a t i o ni sn e e d e di nt h i sm e t h o d i tr e c o n s t r u c t s3 一dm o d e lb yu s i n go ft h e i n f o r m a t i o no ff e a t u r ep o i n t sd e t e c t e da u t o m a t i c a l l y , t h e no b t a i nt h er e a l i s t i c3 一df a c eb y t e x t u r em a p p i n gf r o mt h ep h o t o g r a p h t h er e s e a r c hw o r km a i n l yi n c l u d e st h ef o l l o w i n g a s p e c t s ： ( 1 ) e y ef e a t u r ed e t e c t i n g ：t h i sp a p e ra d v a n c e san e wa p p r o a c hf o rd e t e c t i n gt h ee y e s f e a t u r e s ：b a s e do ff a c ed e t e c t i n g ，f i n do u tt h ea r e ao fe y e s ，t h e nd e t e c te a c hf e a t u r ep o i n t b yu s i n go ft h ei n f o r m a t i o no fg r a y s c a l ea n dg r a d i e n ti nt h i sa r e a b e c a u s eo fd e t e r m i n i n g t h es e a r c ha r e ai na d v a n c e ，t h el o c a t i o no ft h ef e a t u r ep o i n t sd e t e c t e di sf a i r l ya c c u r a t e ( 2 ) l i pf e a t u r ed e t e c t i n g ：b a s e do nt h er e s e a r c ho fs k i n c o l o ra n dl i p c o l o r , an e w m e t h o dc a l l e dw b r g c ( w e i g h i n gb l u ec o l o ra n dr e dc o l o rc o n t r a s tg r e e nc o l o r ) i s p r e s e n t e di n t h i sp a p e r , w h i c hi m p r o v e st h ee x p r e s s i o no ft h er e de x c l u s i o n w b r g c d i s c r i m i n a t e ss k i n c o l o ra n dl i p c o l o rb yt a k i n ga d v a n t a g eo ft h ew e i g h t e da v e r a g e b e t w e e nt h ed i s t r i b u t i o nd i f f e r e n c eo fg 、bc o m p o n e n ta n dg 、rc o m p o n e n t w ea c q u i r e t h eb e s tw e i g h tb ye x p e r i m e n t t h ee x p e r i m e n tr e s u l ts h o wt h a to u ra p p r o a c h sd e t e c t i n g f e r f o r m a n c ei sb e t t e rt h a nr e de x c l u s i o n s ( 3 ) 3 - df a c em o d e l i n g ：b yu s i n go ft h ek e yf e a t u r e sd e t e c t e d ，w em a k eas e r i e so f m o d i f i c a t i o no nt h eg e n e r a lf a c em o d e ( c a n d i d e 一3m o d e l ) ，t h e ng e n e r a t es p e c i f i cf a c e m o d e l f i n a l l y , s y n t h e s i z et h er e a l i s t i c3 df a c eb yt e x t u r em a p p i n g ( 4 ) w ed e s i g naa u t o m a t i cf a c em o d e l i n gs y s t e m ，w h i c hi si m p l e m e n t e db yv c + + 6 0 ， c o m p u t e rg r a p h i cl i b r a r yo p e n g l a n dc o m p u t e rv i s i o nl i b r a r yo p e n c v a b s t r a c t基于单张正面人脸照片的三维人脸自动建模方法研究 k e y w o r d s ：3 df a c em o d e l i n g ，s i n g l ef r o n t a lf a c ei m a g e ，f a c ed e t e c t ，f e a t u r ed e t e c t ，r e d e x c l u s i o n ，c a n d i d e - 3m o d e l i i i 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名： 王星 洲髟年占月e l 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名： w 一- 岬 一! 劫。f 年月弓p 日 硕士学位论文基于单张正面人脸照片的三维人脸自动建模方法研究 l 绪论 自7 0 年代以来，三维人脸建模研究得到了广泛关注，许多研究者先后提出了不 同的人脸建模方法，大量的创造性工作促使该领域的研究不断深入。由于科学上的挑 战性和巨大的应用前景，真实感人脸建模和动画一直是近一二十年来计算机图形学、 计算机视觉、人工智能、生理心理学等领域的研究热剧1 1 。 1 1 选题背景及研究意义 人脸是人类情感表达和交流的最重要、最直接的载体。通过人脸可以推断一个人 的种族、地域，甚至身份、地位等信息。另外，通过人脸丰富而复杂的变化，可以得 到这个人的个性和情绪状态等信息。人脸在人与人的交流中不但能表达友好、敌对、 赞成、反对等语气上的信息，甚至可以对话语、语言等语义上的信息进行说明和补充。 正因为人脸在人的情感表达中扮演着重要的角色，从古至今，对于人脸的描述和 刻画一直得到人们的广泛关注。早期人们复制人脸的方法包括粘土雕塑、手工绘画等， 后来又出现了照片和电影，但是其复制机制只限于二维。人脸的二维图像仅表达了人 脸表面的一个角度方向的信息，但是随着科技的发展，在诸多方面人们已经不满足于 仅获取单角度方向的人脸信息，人们希望可以更方便的从各个角度观察人脸，可以更 简单地操作人脸。随着计算机技术的迅速发展，使人们对于复杂的人脸对象表示有了 新途径，人们试图通过各种不同方法在计算机上实现人脸模型，并寻找人脸表情、动 作等动态信息的描述和表示方法，最终建造真实感的虚拟人脸。 然而由于人脸具有非常复杂的生理结构、几何特征和光照特性，真实感三维人脸 建模是目前计算机图形学、计算机视觉领域最根本、最困难的问题之一【l j ，是一项具 有很大挑战性的工作。真实感人脸建模具有广阔的实际应用，主要包括以下几个方面： ( 1 ) 可视电话与可视会议：随着网络技术的发展和网络带宽的提高，视频会议和 可视电话中基于模型的人脸编码系统传输人脸图像和接收人脸图像是实现实时、低比 特率可视应用的可行方案。 ( 2 ) 游戏娱乐：目前电子游戏的两大发展方向是网络化和三维化，三维虚拟人物 在游戏中已经是一个非常普遍的元素，真实感三维人脸合成技术则在游戏虚拟角色的 表现上具有至关重要的作用。 ( 3 ) 虚拟仿真：计算机虚拟环境中需要有虚拟人角色，比如虚拟会议、运动仿真 等。高质量的表现虚拟人需要真实感三维人脸合成技术。 ( 4 ) 辅助教学：三位人脸模拟技术可以应用于口腔发音教学，用虚拟口腔的仿真 动画来辅导发音困难的人群，比如聋入学习说话，成年人学习外语发音等等。 旦丝一 z ! l ! ! ! ! ( 5 ) 医疗研究：极具真实感的人脆模弘u ，咀为头颅手术、人脸组纵外科手术以成 龄容外科手术的模拟真提供方使可以以此制| 丁详细准确的手术乃寨，提i 手术的 准确性，减少风险。 ( 6 ) 其他心用：在m 络通l n l _ 应用 维模型和动阿数据编码u ，以育被的”竹视煳 的数据传输量。在电影制作、广告宣传、 艟拟主持人等疗卣冉实感二维人腧台成技术 部自“泛的应用前景。 1 2 三维人脸建模的研究现状 自从p a r k e l 2 1 1 9 7 2 年首次使用计 机方洼表示人腧，二维人脸建模得到了广泛天 i 。经过3 0 多年的发展，许多研究者在真实感人脸建横方进行了创造悱t 作，捉出 了小同的人_ j 盘建模方法。目前已有的_ 维人脸建模方法叫以分为叫大类手i 建模、 特a j ：建模、扫捕建模、统计建模。】、面以人脸建模的发展过 _ ! i ! 和人腑建模采川的方沼 为线索，对现有的人脸建模方法进行综述，时媳型的人脸建横方法进行分# r 和评迷 ( 1 】手工建模：制作者借助三维制作软件，b 啪3 d m a x ，m a y a 等，存计弹机中绘制 m 一维人脸模型。这种方法的优j 1 二是易1 。实现，不受环境影u q 。缺点是制作赞叫贽力 模州效粜好坏基奉舣决丁制作者的绘制水平，因此对制作者有很高的要求，般。 淄 经过书l k 的训练才可以。 ( 2 ) 特征建模这种方法一般是从照片或视频中提j l _ c 人脸特征点，将不同角度提取 的扣同特征点进钉对应计算出特 i i = 点的窄川k 杯，然后用这些特征点坐标插值变形 张中性人脸网 f 从m 重柑出二维人脸模型。 在上世纪9 【) 年代初，t a k i m o t o 等人川用岍张人脸照片柬建立人脸模型。苗先从 正、侧面互相垂直方向拍摄两张人脆照片，分别h 扣形标眼睛、鼻了、嘴所在区域， 缸每个区域中确定具体特征点的位置，然后根据正侧1 6 i 特征点的对戍关系确定特征点 的= 维罐标，米插值变形个中性人脸网格，从而构造出三维人脸几何模型。把j j i 侧 而j 片投影到环绕人脸模型的圆柱面上，生成模型纹理。这种方法的优点是简巾易行 相后来的研究中被大量使用。但足实际操作巾很容易产生较大误差，模型效杲欠佳。 p i g h i n 等a 1 4 1 开发了一套系统，他们从5 个角度拍摄人脸照片，在每张照片i l 标出1 3 个特征点的位置以及一些特征曲线，如下图所不 角j 同 盟阁 i 留留留h n m o cr p h a “b | e l e l 圈离匿圉召 l 绪论硕士学位论文 有一定误差。 紧跟国际上的发展，国内也于2 0 世纪9 0 年代中期开展了这方面的研究。浙江大学 的梅丽1 8 j 等人首先给出特定人脸的正侧面正交图像，并提供了一个内嵌肌肉向量的一 般人脸三维多边形网格模型，采用s n a k e 技术自动适配人脸特征线，基于特定人脸的 特征线相对于一般人脸模型上的特征线的位移，变分插值一般人脸网格，适配特定人 脸几何，然后，用多分辨率样条技术产生无缝的人脸纹理镶嵌图，纹理映射后生成高 度真实感的能以任意视线方向观察的特定人脸，进而通过组合特定人脸的肌肉向量的 运动，变形模型，组合出特定人脸的各种表情；中国科学技术大学的陈意云等【9 】提出 了线性弹性模型和肌肉模型，分别应用于人脸的建模和人脸表情的模拟上，从而能较 为快速且较为逼真地合成特定人脸并模拟出人脸表情；浙江大学的邹北骥、彭永进等 【l o j 提出了基于物理模型的特定人脸模型。他们根据人脸生理结构的特点，先将人脸表 面分成了若干块，进而运用弹性形变原理，分析了脸部各块的变形规律，提出了一种 将一般人脸模型变换为特定人脸的变形模型，而后分析各种表情的形成的物理运动规 律，为其建立了表情动画模型；哈尔滨工业大学的晏洁、高文等 1 1 - 1 3 】提出了一种一般 人脸个性化方法和多方向纹理映射算法，这也是目前人脸建模和动画研究者广泛采用 的一种方法。 1 3 本文的研究内容及章节安排 1 3 1 本文的主要内容 三维人脸建模，依据输入数据的不同，大致可以分为基于几何和基于图像这两类 建模方法。基于几何的建模方法是直接采集真实人脸的三维数据进行三维重构；基于 图像的建模方法是以人脸图像或者视频序列作为输入数据，提取特定个体人脸的特征 数据为输入，利用合成算法生成虚拟三维人脸。 基于图像的人脸建模方法由于其成本低廉，适应面广，尤其在对人脸模型精度要 求不是特别高的情况下，应用前景十分广泛。本文的研究路线是基于单张正面人脸照 片的三维人脸自动建模。首先输入一张正面人脸照片和一般三维人脸模型，对于正面 人脸照片，确定出人脸器官的大致区域，从中精确定位出人脸的关键特征点；针对一 般三维人脸模型，标定出与所述特征点对应的模型控制点，建立人脸特征点与对应的 模型控制点之间的联系，然后对一般三维人脸模型进行调整以得到目标人脸的三维模 型，最后对调整后的模型添加纹理生成真实感的三维人脸。本文研究内容主要有： ( 1 ) 一般人脸模型及人脸特征点的选取 由于我们仅对单张正面照片进行建模，获得的脸部信息量相对较少，为了减少数 据之间的影响，我们仅对脸部( 非整个头部) 建模。本文选择了只有脸部结构的相对简 4 硕士学位论文基于单张正面人脸照片的三维人脸自动建模方法研究 单的一般人脸模型c a n d i d e 3 模型【1 4 1 。同时结合m p e g 4 中的人脸特征点定义 及c a n d i d e 3 模型顶点来选取用来建模三维人脸的关键特征点。 ( 2 ) 人脸特征点的自动提取：提出了一种人眼特征检测方法：在人脸检测的基 础上，首先确定人眼的大致区域，利用该区域内的灰度和梯度特征对人眼各特征点分 别进行搜索。由于预先确定了搜索范围，所提取的特征点的位置比较精确，不会出现 较大偏差。唇部特征检测：在人脸肤色和唇色研究的基础上，对红色排除法判别式 进行改进，提出嘴唇b r 加权g 色对比法( w a r g c ) ，该方法利用g 、b 分量和g 、r 分量分布差异加权来区分肤色和唇色，最优权重通过实验确定。 ( 3 ) - - - 维人脸建模：利用c a n d i d e 3 模型作为一般三维人脸模型，根据提取的人脸 特征点信息，对该模型进行一系列修改，重建出目标人脸的三维模型。最后进行纹理 映射生成具有真实感的三维人脸。 ( 4 ) 在上述问题理论研究的基础上，使用v c + + 6 0 、o p e n g l 图形开发库和o p e n c v 计算机视觉库实现一个真实感三维人脸自动建模系统。 1 3 2 本文的章节安排 第一章，绪论。介绍真实感三维人脸建模的研究背景、意义及其应用价值，总结 该领域国内外的研究现状，并对现有的三维人脸建模技术进行分析，提出了自己的研 究内容和目标。 第二章，一般人脸模型及人脸特征点的选取。介绍本文用来建模三维人脸的一般 人脸模型( c a n d i d e 3 模型) ，然后在此基础上，选取用来建模三维人脸的2 6 个关键 特征点。 第三章，基于a d a b o o s t 方法的人脸检测。介绍国际上流行的基于a d a b o o s t 方法 的人脸检测算法。 第四章，人脸特征自动提取。详细介绍本文所研究的人脸特征检测方法：在人脸 检测的基础上，确定人脸器官所在区域，然后利用本文所述方法对各特征点分别进行 提取，并通过实验对算法进行分析验证。 第五章，三维人脸建模。根据所提取的特征点信息，对一般人脸模型进行整体和 局部调整，得到目标人脸模型。最后进行纹理映射生成具有真实感的三维人脸。 第六章，系统实现及工作总结。介绍三维人脸建模系统的具体流程和系统模块， 对所做工作进行总结。最后，指出所做工作的不足之处并在此基础上对未来研究工作 做了展望。 5 2 一般人脸模型及人脸特征点的选取硕士学位论文 2 一般人脸模型及人脸特征点的选取 2 1 概述 本文所研究的基于图像的三维人脸建模方法是以人脸图像作为输入数据，然后对 图像中的人脸进行特征检测，根据所提取到的特征点信息，对一般三维人脸模型进行 调整，生成个性化的三维人脸。本章先介绍一般三维人脸模型的选取，然后在此基础 上，选取出本文用来建模三维人脸的2 6 个关键特征点。 2 2 一般三维人脸模型 不同的人脸之间尽管存在着很多的差异，但仍然有着共同之处。例如：人的脸部 轮廓可以近似地看作椭圆，人脸的各个器官如眉毛、眼睛、鼻子、嘴巴等的相对位置 是稳定的，各个器官的形状也存在着共性。对于一个特定人而言，用眼睛的大小，鼻 子的高低，嘴唇的形状等来刻画这个人的面部特征。一般人脸可以看作是一张典型的、 不具备任何明显特征的中性人脸。 基于图像的人脸合成技术的一个关键步骤是建立人脸的网格模型。目前在实际应 用中，人脸建模多采用交互或半交互方式。如何避免繁琐的众多模型点的调整，减少 工作量，是交互方式需要克服的问题。本文由单张照片恢复三维人脸，所得到的信息 量相对比较少，为了减小不必要的点对模型的影响，本文选取只有脸部数据的比较简 单的c a n d i d e 3 人脸模型。 c a n d i d e 3 模型【1 4 】是一个简单的参数化的人脸标准模型，它同时兼容m p e g - 4 中的人脸动画参数( f a p s - - - f a c i a la n i m a t i o np a r a m e t e r s ) 和人脸定义参数( f d p s _ f a c i a ld e f i n i t i o np a r a m e t e r s ) ，因此该模型被广泛应用于人脸建模和动画的研究中。 c a n d i d e - - 3 包含1 1 3 个顶点和1 6 8 个面( 如图2 1 1 所示) ，可以通过一系 列的全局和局部的动作单元( a c t i o nu n i t s ) 来控制。 6 图2 2 1c a n d i d e 3 人脸模型 硕士学位论文基于单张正面人脸照片的三维人脸自动建模方法研究 c a n d i d e 3 中的人脸运动参数包括两类：外形参数( s h a p eu m t s ) 和动画参数 ( a n i m a t i o nu m t s ) 。外形参数是描述人脸形状的参数，对于一个确定的人外形参数不 会有较大变化，它描述人脸的静态特征。外形参数包括：头的高度，眼睛，眉毛在纵 向上的位置以及人眼的宽度、高度，鼻子、嘴的位置和高度等等。动画参数是用来描 述人脸的动态外形，当人做各种表情的时候，虽然外形参数变化不大，但描述人脸细 节变化的动画参数，往往变化较大。动画参数包括：眼睛的睁开、闭合，嘴唇的蠕动， 嘴的张开，嘴角的运动等。 2 3 人脸特征的选取 人脸面部特征点应该选择最能代表人脸特征的某些位置，它们是人脸上能够表达 人脸个性化特征的点，人脸面部主要特征器官有眼睛、嘴唇和鼻子，本节根据这些器 官的外型结构选取出它们的关键特征点。 2 3 1 人脸主要器官的外型结构 眼睛的外形是不匀称的杏仁形状，由眶部、眼球、眼睑三个部分组织构成。人的 眼球近似球形，位于眼眶内，由软组织衬垫，其中一部分眼球暴露于眼眶之外。眼眶 凸挺的边缘，是保护眼睛的骨结构。眼睛可以看成身体的一个半暴露的内部器官，暴 露的那部分眼球由上眼睑和下眼睑覆盖。上眼睑比下眼睑灵活，而且面积也更大，线 条更弯曲。上眼睑的弧度大，以眼球的水平平分线的两端为起止点作一较大弧线，下 眼睑沿眼球的底部作一较小弧线。下眼睑后缩，上眼睑前伸。上眼睑圆弧上的最高点 接近眼睛的内角，大致在眼宽的三分之一处。下眼睑的最低点靠近外眼角，与外眼角 的距离约为三分之眼宽。 嘴的底层结构由两排宽阔的齿槽弓所构成，称为上领弓和下领弓。当两排齿槽弓 闭合时，便形成了微凸的口部。覆盖上领弓与下领弓的是具有环行方向的口轮匝肌， 其外形是饱和的凸突的口唇。上唇的外形类似于一个扁平的，拉长了的字母m 。下 唇轮廓像一个拉长了的字母w ，椭圆形的两小瓣从下唇中部向外膨胀，形成字母w 的左右外臂。 鼻子居于面颅中央，其上方为颅前窝和颅中窝，两侧为眼眶，下方是口腔和鼻咽， 被上述结构所环绕，相互问仅以薄骨板相隔。鼻分为三部分，即外鼻、鼻腔、鼻窦。 鼻子的外类似一个基底向下的三棱锥体，上端位于两眶之间，连于额部，称鼻根；下 端向前突起称鼻尖；鼻尖与鼻根之间为鼻梁；鼻梁两侧为鼻背；鼻尖两侧的半圆形膨 隆部分为鼻翼；锥体的底部称鼻底：鼻底上有两个前鼻孔；鼻孔间的软组织分隔是鼻 小柱，亦称为鼻中隔。 2 一般人脸模型及人脸特征点的选取硕士学位论文 2 3 2 人脸特征点的定义 目前，很多人脸建模工作的特征点选择都基于m p e g 4 中人脸定义标准【1 6 】，以 便使得建模方法与m p e g 4 系统兼容。m p e g 4 作为新一代动态图像压缩标准，提出 基于对象的编码格式，将人脸作为一个特殊的对象，并为人脸的动画制定了一系列标 准，为人脸的建模和动画研究奠定了基础。m p e g 4 使用两个参数集合对中性人脸模 型进行了定义：人脸定义参数( f a c ed e f i n i t i o np a r a m e t e r ，f d p ) 和人脸动画参数( f a c e a n i m a t i o np a r a m e t e r ，f a p ) 。m p e g 4 中人脸特征点表示如图2 3 2 1 所示 1 1 1 1 s r i g h te y e ：擞石, 1 1 一 川够。， n 日i 图2 3 2 1m p e g 4 中的人脸特征点定义 m p e g 一4 定义了具有如下性质的中性人脸模型：目光注视着z 轴；所有脸部肌肉 处于放松状态；眼睑与虹膜相切；瞳孔直径为虹膜直径的1 3 ；上下嘴唇接触，唇线 8 硕士学位论文基于单张正面人脸照片的三维人脸自动建模方法研究 水平，并与嘴角处于同一高度；嘴闭合，上下齿扣合；舌头水平平直，且舌尖与上下 齿缘接触。m p e g 4 人脸定义参数用来定义人脸的几何信息。在f d p 中，m p e g - 4 利用中性人脸模型定义了8 4 个特征点。这些特征点的主要作用是为定义人脸动画参 数提供空间参考，也定义了脸部几何模型，f d p 参数表示为人头上的一些特征点的三 维坐标。例如下巴的底端、上嘴唇内侧的中点、下嘴唇内侧的中点、左右外眼角点和 左右内眼角点等。 2 3 3 人脸特征点的选取 由于m p e g 4 中定义的人脸特征点主要为定义人脸动画参数提供空间参考，有的 点作为人脸建模特征点并不必要，而且受个性化建模过程采用的变形策略影响，当采 用全部特征点时，点的分布不均，使得最终的建模效果反而不理想。为此，本文在参 照m p e g 4 中定义的人脸特征点同时，主要以c a n d i d e 3 模型中的顶点作为参考， 来选取需要提取的特征点。 建立一个特定人的3 d 网格模型，提取的特征点数目越多，表达的人脸几何特征 越精确，建立起来的3 d 网格模型一般也会更加逼真。但选取过多的特征点势必增加 建模时间，应该选择合适数目的关键特征点。由于眼睛、鼻子和嘴巴等特征集中了人 脸的大部分信息，因此对于人脸建模来说，这些特征的准确定位将非常重要。因此我 们以c a n d i d e 3 模型中的顶点为参考，选取了眼睛、鼻子、和嘴唇区域共2 6 个关 键特征点进行自动提取。选取的特征点如下图所示： 图2 3 3 1 本文选取的人脸特征点 由于眼睛是人脸最主要的特征，因此在特征提取方面重点考虑了眼睛区域特征的 选取。眼睛区域我们共选择了1 8 个待提取的特征点( 左眼和右眼各9 个) ，左眼的轮 廓特征点依次参考了c a n d i d e 3 模型中的5 4 ，9 7 ，5 3 ，1 0 5 ，5 7 ，1 1 1 ，5 8 ，1 0 3 号 顶点；右眼的轮廓特征点参考了c a n d i d e 3 模型中的2 4 ，1 0 4 ，2 0 ，9 6 ，2 1 ，1 0 2 ， 9 2 一般人脸模型及人脸特征点的选取硕士学位论文 2 5 ，1 1 0 号顶点( 如图2 3 3 2 ) 。另外，为了更好地反映眼睛区域的特征，增加了右眼 和左眼的眼珠中心点，即m p e g 4 定义的特征点3 6 和3 5 。 敬然6 8 1 1 5 7l l l 嗡型l 嗡微馨石 2 哇。： 2 1 1 1 0 2 5l 睨 图2 3 3 2 眼睛特征点的选取 嘴巴区域共选择了5 个特征点，分别对应c a n d i d e 3 模型中的6 5 ，8 ，3 2 ，9 ， 4 1 号顶点，如图2 3 3 3 所示： 8 6 5 竺= 冷3 2 、，。，9 ” g 图2 3 3 3 嘴唇特征点的选取 由于鼻子区域特征相对于眼睛和嘴巴来说不是很明显，精确地定位出鼻子的形状 比较困难。对于鼻子特征，我们只要求确定鼻子的大小和位置，因此针对该区域我们 选择了3 个特征点：鼻尖点和两个鼻孔的位置，在m p e g 4 中分别对应点9 3 ，9 1 ， 9 2 。在c a n d i d e 3 模型中，分别对应着6 ，1 1 2 ，1 1 3 号点。如图2 3 3 4 所示： 1 0 硕士学位论文 基于单张正面人脸照片的三维人脸自动建模方法研究 2 4 本章小结 图2 3 3 4 鼻子特征点的选取 l1 311 2 本章介绍了选取的一般人脸模型一a n d i d e 3 模型，然后简要介绍了 m p e g 一4 中人脸特征点的定义标准。根据c a n d i d e 3 模型顶点和m p e g 4 中定义的 人脸特征点，选取了本文用来建模三维人脸的2 6 个关键特征点。第四章将详细介绍 这2 6 个关键特征点的自动提取方法。 3 基于a d a b o o s t 算法的人脸检测 硕士学位论文 3 基于a d a b o o s t 方法的人脸检测 人脸检测( f a c ed e t e c t i o n ) 是指在输入图像中确定所有人脸( 如果存在) 的位置与 大小。人脸检测系统的输入是可能包含人脸的图像，输出是关于图像中是否存在人脸 以及人脸的数目、位置、尺度、位姿等信息的参数化描趔1 7 】。 v i o l a 等u 州于2 0 0 1 年提出用a d a b o o s t 学习算法的简单特征训练级联人脸检测器 来检测人脸。a d a b o o s t 是一种具有自适应的b o o s t i n g 算法，它通过建立多学习机组 合使得弱学习机的性能得到提升，由于其独有的对学习机性能的自适应和对过学习现 象的免疫性，近年来引起了广泛关注。本章将详细介绍基于a d a b o o s t 方法的人脸检 测，找出图像中人脸的大概位置，以缩小后面特征检测过程中的搜索范围。 3 1a d a b o o s t 方法概述 3 1 1b o o s t i n g b o o s t i n g 方法源于p a c 1 9 ( p r o b a b l ya p p r o x i m a t e l yc o r r e c t ，概率近似正确) 学习模 型的理论分析。在 2 0 】中，k e a r n s 和v a l i a n t 提出了强可学习和弱可学习的概念。在 p a c 学习模型中，若存在一个多项式学习算法来识别一组概念，并且识别正确率很 高，那么这组概念是强可学习的；而如果学习算法识别一组概念的正确率仅比随机猜 测略好，那么这组概念是弱可学习的；k e a m s 和v a l i a n t 提出了弱学习算法与强学习 算法的等价性问题，即是否可以将弱学习算法提升成强学习算法。如果两者等价，那 么在学习概念时，我们只需要找到一个比随机猜想略好的方法就可以将它提升为强学 习算法。 1 9 9 0 年，s c h a p i r 发表了第一个b o o s t i n g 方法【2 1 1 。f r e u n d 随后对其做了改进提 出了更鲁棒的方法b b m ( b o o m b y m a j o r i t y ) 方法【2 2 1 。b o o s t i n g 方法在训练中先后产 生一系列学习机，各个学习机所使用的训练集都是从总训练集提出来的一个子集，各 个样本是否出现在该子集中取决于此前产生过的学习机的表现，已有学习机判断出错 的样本将以较大的概率出现在新的训练子集中。这使得其后产生的学习机更加专注于 处理对已有学习机来说较为困难的样本区分问题。 b o o s t i n g 方法可以增强给定算法的泛化能力，但是还存在两个缺点：该方法需要 知道弱学习机学习正确率的下限，而这在实际问题中是很难做到的；其次，这一方法 可能导致后来的学习机过分集中于少数特别困难的样本，导致表现不稳定。 3 1 2a d a b o o s t 方法概述 1 9 9 5 年f r e u n d 和s c h a p i r e 发表了具有自适应的b o o m i n g 方法，称作a d a b o o s t 2 习 ( a d a p t i v eb o o s t i n g ，自适应的b o o s t i n g 方法) ，它不再需要预先知道弱学习机的训练错误 1 2 硕士学位论文基于单张正面人脸照片的三维人脸自动建模方法研究 率，而是通过动态调节各个子学习机的权值来对基本算法的训练错误率自动适应，因 而引起了广泛的关注。其基本思路是：每轮迭代时，根据分类结果对样本权重分布进 行调整。正确分类的样本权重减小，错误分类的样本权重增加，这样学习算法在下一 轮迭代中集中学习分类比较困难的样本。最终，每轮产生的弱规则按照加权的方式合 并为一个强规则。 a d a b o o s t 算法具体描述如下： 1 给定个标记好的训练样本集 ( 1 ，c ( 1 ) ) ，( 2 ，c ( 2 ) ) ，( ，c ( ) ) ，其中1 ，n 为 样本描述，c ( i ) 0 ，1 ) 为样本标识：d 为样本的概率分布：t 为训练的迭代次数； 2 初始化权重向量。= d ( f ) ， f = 1 ，2 ，n ，即训练样本的初始概率分布； 3 对于丁轮循环，加，r = 1 ，t ： 1 ) 权重归一化： m ：半l w ，j j = l 2 ) 对具有分布p 的训练样本集调用弱学习算法，返回一个弱假设忽 3 ) 计算忽的分类误差 q = ：。b ，i 曩( f ) c ( f ) i 4 ) 令屈= 士； l 一占f 5 ) 更新权重向量： 嵋+ 1 1 = f 一m m 4 姚姒加j 知g 如( f ) 三h 万1 l0 o t h e r w i s e 。3 2 基于a d a b o o s t 的人脸检测 p a u lv i o l a 和m i c h a e lj j o n e s 在【1 8 】中使用了一种用a d a b o o s t 方法训练得到的基 于多特征的分层人脸特征检测系统。与此前提出的人脸检测算法相比，他们的系统具 有极高的运行速度，在没有引入其他辅助信息( 如相邻帧之间的差异等) 的情况下， 1 3 3 基于a d a b o o s t 算法的人脸检测硕士学位论文 检测准确率和错误接受率都能达到现有算法中最好的水平 2 4 】，因此，该算法在人脸分 析领域引起了广泛的关注。 本节将详细讨论v i o l a 人脸检测方法的具体细节。 v i o l a 人脸检测方法是一种基于积分图、级联检测器和a d a b o o s t 算法的方法，方 法框架可以分为以下三大部分： 第一部分，使用h a r r - l i k e 特征表示人脸，使用“积分图 实现特征数值的快速计 算； 第二部分，使用a d a b o o s t 算法挑选出一些最能代表人脸的矩形特征( 弱分类器) ， 按照加权投票的方式将弱分类器构造为一个强分类器； 第三部分，将训练得到的若干强分类器串联组成一个级联结构的层叠分类器，级 联结构能有效提高分类器的检测速度。 3 2 1h a r r - l i k e 特征 人脸特征是进行人脸检测的重要依据。和单个像素比较，用特征进行检测有很多 原因，其中的一个原因是特征本身就包含了部分局部信息，而这些局部信息知识是很 难通过有限的训练数据得到的。采用人脸特征而不是单个像素的另外一个好处就是， 基于特征的检测要比基于像素的检测快得多，有利于人脸检测速度的提高。 h a r t 1 i k e 特征最早由p a p a g e o r g i o u 等 2 5 1 应用于人脸的表示。p a p a g e o r g i o u 在针对正 面人脸和人体检测问题的研究中使用h a r r j 、波基函数，他们发现标准正交h a r r d x 波基 在应用上受到一定限制，为了取得更好的空间分辨率，他们使用了包含有3 种类型3 种形式的特征( 图3 2 1 1 中a 、b 和d ) v i o l a 等【2 6 在此基础上作了扩展，使用3 种类型4 种形式的特征。3 中类型分别为2 矩形、3 矩形、4 矩形，4 种形式如下图所示： 回囤回回 ( a ) 特征a( b ) 特征b( c ) 特征c( d ) 特征d 图3 2 1 1 常用的4 中h a a r 特征 对于图3 1 中的a 、b 和d 这类特征，特征数值计算公式为： 1 ，= 甄一s u m 黑 ( 3 2 1 1 ) 而对于c 来说，计算公式如下： 1 ，= 砌一s u m s , ( 3 2 1 2 ) 之所以将黑色区域像素和乘以2 ，是为了使两种矩形区域中像素数目一致。 通过改变特征模板的大小和位置，可在图像子窗口中穷举出大量的特征。为了描 1 4 迷的疗便，本文将图32l1 的特征模扳称为“特征峙i 型”，特征原型在图像子窗口中扩 展( 平移伸缩) 得到的特征称为“矩形特征”：矩形特征的特征数值( f e a t u r ev a l u e ) 称为“特 征值”。 似设检洲窗几人小为，个像素，w ，h 分别为特征原型的长、宽，冈32 11 所 1 ；四种特征原型刘席的w h 分别为：2 i 、1 2 、3 1 、2 2 ， 令= l 等j r = l 鲁j ，“l - 表示取整。 个w 的特征原型在x 丁窗 口产 4 - f 1 j 矩形特征数量可片 下面的公式计算2 。i ： xy ( w + 1 _ 。竺h - 1 _ 兰兰) ( 32l3 ) 根据这一公式图321 】所示的四种特征原型在2 4 2 4 的枪测窗口中的矩形特征 教枯批计为1 3 4 7 3 6 具体可参见表32l 1 ； 表32 1 1v 1 0 1 a 四种特征在2 4 2 4 茁口中的数量 3 2 2 税分图 i “jr 训练样本通常冉儿r 个，并且矩形特征的数量特别庞大，如果每次计算特征 值郝需耍统训矩形内所有像素之和，将会夫夫降低训练和检测的速度。 v i o l a 等引入了一种新的图像表示方法积分幽像，利用它可以快速计算矩形 特 l 】 。榭分l 矧像m j 足将原罔像巾任一点的止上方的令部像素相加作为当前点像累值所 得到的图像：积分图像中每个点，) 的值为原图像。p 点“，y ) 左上部分所有像素值的 祟j j 口： i i ( x ，y ) = i ( x ，y ) ( 322 】) je jys 期中i 为原始i 利像，i i 为积分图像。图3 22 l 和3222 是一个积分罔像的例子： l (