（计算机软件与理论专业论文）基于线框模型和正交照片的三维人脸建模设计与实现.pdf

t h e2 0 1 0 mm a s t e r e a s tc h i n an o r m a l u n i v e r s i t y d e s i g na n di m p l e m e n to f 3df a c e m o d e l i n g b a s e do no r t h o g o n a lp h o t osa n d m e s hm o d e l d e p a r t m e n t ：c o m p u t e rs c i e n c ea n dt e c h n o l o g y m a j o r ： q 堕p 丛曼s q 鱼型垒羔星i 堕鱼! 塾曼q ! x s u b je c t ：s q 鱼盟丛曼量n g i 塾曼星d 坠g ，坠q ! 丝星坠y a u t h o r ： i 垒垒g 翌选i 2 0 1 0 5 华东师范大学学位论文原创性声明 。燃 郑重声明：本人呈交的学位论文基于线框模型和正交照片的三维人脸建模，是在华 东师范大学攻读硕士博士( 请勾选) 学位期间，在导师的指导下进行的研究工作及取得的 研究成果。除文中已经注明引用的内容外，本论文不包含其他个人已经发表或撰写过的研究 成果。对本文的研究做出重要贡献的个人和集体，均已在文中作了明确说明并表示谢意。 师指 本人 作者签名： 华东师范大学学位论文著作权使用声明 家图书馆、中信所和“知网”送交学位论文的印刷版和电子版：允许学位论文进入华东师范 大学图书馆及数据库被查阅、借阅；同意学校将学位论文加入全国博士、硕士学位论文共建 单位数据库进行检索，将学位论文的标题和摘要汇编出版，采用影印、缩印或者其它方式合 理复制学位论文。 本学位论文属于( 请勾选) ( ) 1 经华东师范大学相关部门审查核定的“内部”或“涉密”学位论文， 于年月日解密，解密后适用上述授权。 ( t ) 2 不保密，适用上述授权。 导师签名复蜩氐 枞掣e t绋年岁月认 “涉密”学位论文应是已经华东师范大学学位评定委员会办公室或保密委员会审定 过的学位论文( 需附获批的华东师范大学研究生申请学位论文“涉密”审批表方 为有效) ，未经上述部门审定的学位论文均为公开学位论文。此声明栏不填写的，默认 为公开学位论文，均适用上述授权) 。 o r i g i n a l i t yn o t i c e i np r e s e n t i n gt h i st h e s i si np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t sf o rt h em a s t e r s d e g r e ea te a s tc h i n an o r m a lu n i v e r s i t y ，1w a r r a n tt h a tt h i st h e s i si so r i g i n a la n da n y o ft h et e c h n i q u e sp r e s e n t e di nt h et h e s i sh a v eb e e nf i g u r e do u tb ym e a n yo ft h e r e f e r e n c e st ot h ec o p y r i g h t ，t r a d e m a r k ，p a t e n t ，s t a t u t o r yr i g h t ，o rp r o p r i e t yr i g h to f o t h e r sh a v eb e e ne x p l i c i t l ya c k n o w l e d g e da n di n c l u d e di nt h er e f e r e n c e ss e c t i o na tt h e e n do ft h i st h e s i s s i g n a t u r e ： c o p y r i g h tn o t i c e d a t e ： ih e r e i na g r e et h a tt h el i b r a r yo fe c n us h a l lm a k ei t sc o p i e sf r e e l ya v a i l a b l ef o r i n s p e c t i o n if u r t h e ra g r e et h a te x t e n s i v ec o p y i n go ft h et h e s i si sa l l o w a b l eo n l yf o r s c h o l a r l yp u r p o s e s ，i np a r t i c u l a r ，s t o r i n gt h ec o n t e n to ft h i st h e s i si n t or e l e v a n t d a t a b a s e s ，a sw e l la sc o m p i l i n ga n dp u b l i s h i n gt h et i t l ea n da b s t r a c to ft h i st h e s i s ， c o n s i s t e n tw i t h f a i ru s e a sp r e s c r i b e di nt h ec o p y r i g h tl a wo ft h ep e o p l e sr e p u b l i c o fc h i n a n a t 璋眦e ：型兰墨! = 签 ：、 江伟硕士学位论文答辩委员会成员名单 姓名职称单位备注 杨宗源教授华东师范大学信息学院主席 孙蕾副教授华东师范大学信息学院 孙强副教授华东师范大学信息学院 华东师范大学硕士学位论文基于线框模型和正交照片的三维人脸建模设计与实现 摘要 三维人脸建模一直以来都是三维建模中的热门研究课题，其在虚拟实现中是一个 极为重要的部分，无论是3 d 游戏还是电影的特效制作，对人物尤其是面部的要求一 直都是最高的。人脸通过不同面部特征进行辨识，如何在模型中再现这些区别于他人 的面部特征，如何获得逼真程度更高的模型都是三维人脸建模中的热点和难点。 本文提出了一个基于线框模型和j 下交照片的三维人脸建模方案f m 3 0 p ( 3 df a c e m o d e l i n gb a s e do nm e s hm o d e la n do r t h o g o n a lp h o t o s ) 。f m 3 0 p 从正交照片中提取二维 人脸特征点，利用正交定位算法计算出相应的三维人脸特征点坐标，通过该组特征点 校正中性人脸模型以获得特定人脸线框模型，然后匹配正侧面照片，进行纹理映射， 使模型获得人物面部纹理，最终得到具有真实感的特定人脸三维模型。 实验结果表明，f m 3 0 p 不仅建模效率高，且需要的资源少，能够较精确地获得特 定人脸模型，并达到较佳的效果。此外，对于通常的三维人脸建模应用领域，如游戏 模型制作、三维电影等，f m 3 0 p 均可应用，且在需要进行大规模人脸三维建模的情 况下，f m 3 0 p 能够在短时间内创建出一批各具特色的三维人脸模型。 关键词人脸建模，线框模型，正交照片，特征点 华东师范大学硕士学位论文 基于线框模型和正交照片的三维人脸建模设计与实现 a b s t r a c t 3 df a c em o d e l i n gh a sa l w a y sb e e nap o p u l a rr e s e a r c ht o p i co ft h r e e d i m e n s i o n a l m o d e l i n g , i tb e c o m e sm o r ea n dm o r ei m p o r t a n ti nt h ei nt h ev i r t u a li m p l e m e n t a t i o n f o r b o t ht h e3 dg a m ea n dm o v i es p e c i a le f f e c t ，t h ed e m a n d so ft h ef a c e so ft h ec h a r a c t e r sa r e v e r yh i g hi nv i r t u a li m p l e m e n t a t i o n t h ef a c e sa r ed i f f e r e n tt oe a c ho t h e rf o rt h e i r d i f f e r e n c eo ft h ef a c i a lf e a t u r e sb e t w e e nd i f f e r e n tp e r s o n s h o wt o r e p r e s e n tt h e s e d i f f e r e n c e so ff a c i a lf e a t u r ei nt h em o d e l ? h o wt oo b t a i nah i g h e rd e g r e eo fr e a l i s t i c t h r e e d i m e n s i o n a lf a c em o d e l s ? t h e s ea r ea m b i t i o n so f3 df a c em o d e l i n g t h i sa r t i c l ed e s i g n e da n di m p l e m e n t e das y s t e mo f3 df a c em o d e l i n gb a s e do n c a n d i d e 3a n dt h eo r t h o g o n a lp h o t o s ，f m 3 0 p ( 3 df a c em o d e l i n gb a s e do nm e s h m o d e la n do r t h o g o n a lp h o t o s ) u s ean e u t r a lf a c em e s hm o d e la n do r t h o g o n a lp h o t o s ， c o m b i n i n gw i t hr e c o g n i t i o nt e c h n o l o g yo ff a c i a lf e a t u r ep o i n t s ，e x t r a c t i n gf e a t u r ep o i n t s f r o mp h o t o g r a p h s ，o b t a i n e das e to ft h r e e d i m e n s i o n a lf e a t u r ep o i n t s d a t aw i t ho r t h o g o n a l p o s i t i o n i n ga l g o r i t h m t h e nc o r r e c tn e u t r a lm o d e lw i t ht h eg r o u po ff e a t u r ep o i n t sw h i c h m a t c ht h ep h o t o sf r o mb o t hs i d e so ft h ec h a r a c t e r , g e t t i n gap a r t i c u l a rf a c i a lw i r e - f r a m e m o d e l a tl a s t e x t r a c t i n g t h ep h o t or e a l i s t i c f a c i a lt e x t u r et o m a po n t h e s p e c i f i c t h r e e d i m e n s i o n a lm o d e l i ti sp r o v e db yt h ee x p e r i m e n t st h a tf m o pi sn o to n l ym o d e l i n gq u i c k l yb u ta l s o u s i n gl e s ss o u r c e s ，f m o pc a ng e tt h ea c c u r a t ep e r s o n sf a c em o d e lw i t hg o o de f f e c t w h a t i sm o r e ? i nt h ea r e aw h i c hu s e dt om o d e l i n gl i k et h eg a m em o d e l ，l i k et h ev i r t u a l i m p l e m e n t ，f m o pc a nb eu s e d ，a n dw h e nt h e r eh a v et ob em o d e l i n gf o rm a n yf a c e m o d e l s f m 3 0 pc a nc r e a t eas e to fd i f f e r e n t3 df a c em o d e l si nas h o r tt i m e k e y w o r d s ：f a c em o d e l i n g ，m e s hm o d e l ，o r t h o g o n a lp h o t o s ，f e a t u r ep o i n t 目录 摘要i a b s t r a c t i i 第1 章绪论1 1 1 人脸建模的现状和应用1 1 2 基于线框模型和正交照片的人脸建模方案。l 1 3 本文的组织结构2 第2 章人脸建模技术综述3 2 1 头部三维模型3 2 2 二维特征点7 2 2 1 二维人脸识别7 2 2 2 主动形状模型8 2 2 3 主动外观模型1 0 2 3 三维面部信息获取1 2 2 4 三维重建1 3 2 4 1 三维模型1 3 2 4 2o p e n g l 1 4 2 4 3o p e n g l 状态机1 5 2 5 纹理映射1 5 第3 章f m 5 0 p 1 8 3 1 模型校正1 8 3 1 1c a n d i d e 3 18 3 1 2 二维特征点选取1 9 3 1 3 获取三维特征点1 9 3 2 纹理映射2 3 3 2 1 纹理映射概述2 4 3 2 2o p e n g l 纹理映射2 4 3 2 3 基于c a n d i d e 3 的o p e n g l 纹理映射2 5 3 2 4 正侧面照片纹理拼接2 7 第4 章实验平台错误l 未定义书签。 4 1 显示系统3 2 4 1 1 初始化o p e n g l 绘图环境3 2 4 1 2 调用w i n d o w s 接口的系统函数3 4 4 2v c 中的实现3 5 4 2 1 头文件3 5 4 2 2 窗口管理3 5 4 2 3 显示i 口l 调函数3 6 4 2 4 运行程序3 6 4 2 5 处理输入事件3 6 4 2 6 管理后台进程3 7 4 2 7 绘制三维物体3 7 4 3 纹理映射实验3 8 第5 章f m 3 0 p 应用实例及其分析4 0 5 1 三维信息获取4 0 5 1 1 二维图像的特征点选取4 0 5 1 2 正交定位获得三维特征数组4 0 5 2 模犁校正。4 2 5 2 1 轮廓匹配4 2 5 2 2 面部特征匹配4 3 华东师范大学硕上学位论文 基于线框模型和正交照片的三维人脸建模设计与实现 5 3 三维人脸建模的效果4 4 5 4 效果分析_ 4 5 第6 章总结与展望4 7 6 1 总结4 7 6 2 展望4 7 参考文献4 9 攻读学位期间发表的学术论文5 2 致j 射5 3 华东师范大学硕士学位论文基于线框模型和正交照片的三维人脸建模设计与实现 第1 章绪论 1 1 人脸建模的现状和应用 一直以来，三维建模都是计算机图形学和计算机视觉领域中的一个基本问题。因 为其特有的易用性和普遍性，三维人脸建模成为众多研究人员的研究对象。p a r k e 在 上个世纪7 0 年代建立了第一个脸部模型，自那之后，许多专家学者开始投入到三维人 脸建模的研究之中，尤其是2 0 世纪9 0 年代以来，计算机图形学和计算机视觉技术迅猛 发展，极大地推动了三维人脸建模的研究，取得了较为显著的成果【6 】。 三维人脸建模一般分为三个部分：获取人脸三维数据、建立标准三维人脸模型、 建立特定人脸模型。获取三维数据是计算机视觉领域的问题，近年来，计算机视觉技 术迅猛发展，目前已有不少基于三维模型的数据获取方法。建立中性人脸模型是图形 学、人体测量学以及统计学等等相结合的产物，可以用来描述人物面部共有的特征结 构和特征行为等。建立特定人脸模型的方法通常可归为两类，其一是通过三维数据直 接建立具有特定特征的可视化模型，其二是利用所获得的三维数据对中性模型进行修 改，进而建模。后者是目前的主流方向。按照数据的获取方法，从中性模型到特定模 型的三维建模方法分为两类【7 】：基于三维点阵数据的建模方法和基于单幅、多幅乃至 序列图像的建模方法。对于建模过程，目标之一是处理过程的自动化，但至今为止， 完全自动化的模型建立方法还鲜有报道。 1 2f m 3 0 p 近年来，有学者【8 】提出了从一个中性的人头部模型着手，首先对比特定人物的正 面和侧面照片，进行模型的校正，使模型在外形上贴近真人；然后从照片中提取纹理， 使得合成的模型在皮肤、头发、五官等各部分都能在较大程度上贴近真人。但目前依 然通过手动操作来实现该方法，即以真人照片做背景，手动调整模型的整体轮廓和五 官特征，这样做略显笨拙且精度较差。 在此基础之上，通过对正交人脸照片特征点提取，合成三维模型的面部特征点集， 自动完成与模型的校正工作，生成较为精确的人头部“骨架 ，在此之上进行纹理映 射以建立真实感较强的三维人脸模型，这个方法称为f m 3 0 p ( 3 df a c em o d e l i n gb a s e d o i lm e s hm o d e la n do r t h o g o n a lp h o t o s ) 。 1 华东师范大学硕士学位论文 基于线框模型和正交照片的三维人脸建模设计与实现 f m 3 0 p 与现有的人脸建模最大的不同是，在结合了现有两类方法的基础之上，人 头部模型的生成过程自动化且更为逼真，较之于三维人脸建模的研究现状更进了一 步。图1 - 1 为三维人脸建模的总体框架。 1 3 本文的组织结构 图1 - 1 三维人脸建模 余下各章的主要内容安排如下： 第二章人脸建模技术综述。介绍了二维图像特征点，三维图像特征点，人脸模 型，三维建模、纹理映射。 第三章f m 3 0 p 过程。介绍了模型校正、显示系统以及纹理提取。 第四章f m 3 0 p 的使用实例。这部分主要介绍了对于给定两张正交照片使用 f m 3 0 p 方法获得三维人脸模型的一个实验。 第五章应用与展望。这个部分对所做工作进行总结，并说明t f m 3 0 p 的不足之 处和改进的想法。 2 华东师范大学硕：卜学位论文 基于线框模型和正交照片的三维人脸建模设计与实现 第2 章人脸建模技术综述 近些年，三维人脸建模领域中研究的热点和难点主要集中在如下几个方面【l o 】： 1 、面部三维数据的获取 作为分析问题的基础，数据是三维建模中最基础和必不可少的部分，但到目前为 止，真正便捷、易使用和高精度的三维数据获取的装置或者方法还未见报道，所以这 仍然是国内外学者研究的热点之一。 2 、结构信息的回复 就算获取了三维信息，也即点数据，这些分散的点，仍然没有结构信息，为了使 三维模型具有生机，必须恢复其中的结构信息。一般的做法是对已有的中性模型进行 变形以获得特定模型。因此，如何调整中性模型到个性模型也成为了一个让人感兴趣 的课题。 3 、表情合成 人脸逼真的表情模拟是三维建模中的一个主要目的【1 4 】。很多研究人员追求的目标 就是通过建立肌肉模型、配合面部各个部分的变化，达到逼真的动画效果。 4 、纹理合成 三维人脸建模必须面对的一个问题就是如何从多幅图像出发，合成逼真的面部纹 理f 1 7 】，以给人更好的视觉体验。 2 1 头部三维模型 人的脸部有着相同的面部结构如眉毛、眼睛、鼻子、嘴巴等，同样也有类似的面 部动作如眉毛的高低、眼睛的睁闭、嘴巴的开合等，这些相同的结构特征为我们建立 标准的三维人脸模型( g e n e r i cf a c em o d e l ) 奠定了生理基础。尽管如此，人脸除了有 公共特征，在这些公共特征下还有个性特征的区分，比如眉毛的长短，眼睛的大小、 鼻子的高低、嘴巴的形状等，正因为在这些共性下存在的特性，才让我们能正确区分 不同的人脸。标准人脸模型这些丰富的现眼知识如面部结构信息、五官特征、肌肉模 型等，可以描绘出人脸的共有特征。根据现有的研究成果，我们可以归纳出一个标准 的人脸模型应该具备以下几个因素【1 9 】： 1 ) 参数化：利用人脸的具体三维信息，调节参数就能表达出不同的个性特征， 华东师范大学硕士学位论文 基于线框模型和正交照片的三维人脸建模设计与实现 最终形成特定人脸模型； 2 ) 形象化：能准确描述人脸的基本形状，能反映出不同人物的不同特征，并能 够实现一些表情动作； 3 ) 简单化：模型随着顶点的增多其描述的人脸精度就越高，但这样带来的弊端 是参数化模型和后期处理增加了困难。不过如果顶点过少又不足以的描述人脸的结构 和特征，因此，需要在模型的复杂性和精度之间找到一个平衡点。即在能够表达人脸 特征的前提下使用最少的顶点建模。 到了上个世纪9 0 年代，世界各个研究机构纷纷给出了自己的人脸模型，其中应用 最普及的是网络模型和统计模型。 2 1 1 网格模型( m e s hm o d e l ) 网络模型也叫线框模型，作为一种广泛应用的三维人脸模型，其一般性的数学描 述是m - - v m ，f m ，c m 。其中，v m 表示模型顶点集合，f m 表示模型中各个不可再分的 多边形面片的集合，c m 表示顶点或者面片的属性，如颜色、边数等，也可以根据实 际情况再确定其属性。根据面片的形状，我们又可以把模型分为三角面网格模型和四 边形面网格模型两种。主流的网格模型是三角面网格模型。 网格模型中的顶点在一些文献中又被称为特征点( f e a t u r ev e r t e x ) 或者控制点 ( c o n t r o lv e r t e x ) 等等。这些点的分布也都是不均匀的，五官处往往顶点密集，其他 部分如额头、脸颊等处的顶点稀疏一些。 顶点越多，三角面越多，描述出的人脸部模型越逼真，但前面也提到过，这样带 来的弊端是增加了模型的复杂度，为后续步骤的处理如模型调整增添了很大难度。故 在这个方面的研究人员努力的目标是获得同样逼真程度的头部模型前提下使用最少 的顶点和三角面。当前，最有代表性的模型有d e c a r l o 等人研究的b 样条模型、“u 等 人的中性脸模型( n e u t r a lf a c em o d e ) 和a i d b e r g 的c a n d i d e 3 模型2 0 1 。 宾夕法尼亚大学的d e c a r l o 等人利用人体测量学获得人面部的数据信息，利用这 些三维数据结合变分技术( v a r i a t i o n a lt e c h n i q u e s ) 建立起网格模型。他们具体的做法 是根据人体测量学的知识，标定一些可以表征人面部特征的特征点，然后通过人体测 量方法测量这些特征点信息以及它们之间的关系。从这些测量中我们可以获得两点之 间的最短距离、两点连线跟坐标轴之间的倾角、切线距离等1 3 2 个数据信息。然后再 利用变分技术对这些测量数据进行处理，最后用b 样条曲面把对应三维人脸模型表述 4 华东师范人学硕士学位论文基于线框模型和正交照片的三维人脸建模设计与实现 出来。人物个性特征能通过该方法比较逼真的描述，但是其弊端是需要复杂的测量工 作以及被测量对象的极好配合，否则容易产生误差。 微软研究院的“u 、z h a n g 等研究者跟艺术家合作，建立了一种中性的人脸网格模 型。该模型由1 9 4 个顶点和3 6 0 个三角面组成，并且设定了6 5 个参数以调整模型特征。 基于此模型，可以通过两幅图像和两个图像序列模拟并生成特定的人脸模型，取得了 较不错的效果【2 2 】。图2 1 即为该中性人脸网格模型。此模型可调参数较多，对模型的 控制度较高。 图2 1 中性脸模型 瑞典雪林平( l i n k o p i n g ) 大学的i c g ( i m a g ec o d i n gg r o u p ) 多年来一直在对三 维建模进行深入的研究。1 9 8 7 年r y d f a l k 发布了最初的人脸模型c a n d i d e ，在此之后 他们的模型版本已经改进了多次。到7 2 0 0 1 年，a h l b e r g 发布了最新版本的模型 c a n d i d e 3 【2 3 】。该网格模型包括了1 1 3 个顶点和1 6 8 个三角面，控制参数分为两类： 静态参数f d p ( f a c i a ld e f i n i t i o np a r a m e t e r s ) 、动态参数f a p ( f a c i a la n i m a t i o n p a r a m e t e r s ) 。其中静态参数用来描述人物面部的特征差异，而动态参数则主要负责控 制面部的表情。该模型顶点较少，可以快速的描述不同人物面部的静态特征以及相关 的表情，而且可以对动态参数进行编码，使之自动做出一些简单表情，在视频传输方 面有较多应用。 5 华东师范大学硕士学位论文基于线框模型和正交照片的三维人脸建模设计与实现 图2 - 2c a n did e - 3 人脸模型 总而言之，线框模型的创建相对比较简单，而且现在已经有许多专业的三维模型 软件可以辅助实现，l t 女1 3 d s m a x 、m a y a 、l i g h tw a v e 等等。因此，利用线框模型可 以为三维人脸建模算法提供一种方便的实验平台，更进一步可以结合肌肉模型和插值 技术生成动画效果。这也是现在很多研究机构采用的模型。 2 1 2 统计模型 统计模型是通过统计学方法，从大量采样样本中学习出人脸共性，在此基础之上 建立起一般人脸模型。统计模型主要分为形态模型( m o r p h a b l e3 d f a c em o d e l ) 和三 维特征脸模型( 3 de i g e n f a c e s ) 。19 9 9 年，德国学者b l a n z 和v e t t e r 等人研究并设计出 这种模型2 4 1 。该模型基础是一个三维人脸数据库，含有2 0 0 个青年的面部数据信息， 这些三维信息通过激光扫描获得，包括了距离和颜色等信息。每个面部数据就是一个 样本脸( e x e m p l a rf a c e ) ，由约7 万个点组成，再利用复杂的光流算法建立起各种样 本脸和三维点集之间的对应关系。统计模型中人脸通过形状向量f 和纹理向量t 来定 义，其中： f = ( x l ，y i ，z 1 ，x n ，y n ，z 1 1 ) 1 x i 、y i 、z i 分别对应顶点在三维坐标下坐标。 t = ( r i ，g i ，b i ，r n ，g n ，b n ) 1 r i 、g i 、b i 表示顶点的r g b 颜色分量。 统计模型的建立一般都很繁琐，需要采集大量的数据供机器学习，而且对这些三 维数据进行预处理时的过程也是非常复杂的，建成后的模型也有统计意义上的一些调 6 华东师范大学硕十学位论文 ， 基于线框模型和正交照片的三维人脸建模设计与实现 整参数，可以对脸部表达进行合理的优化。 2 2 二维特征点 人脸识别的应用领域现在已经非常广泛，人脸识别技术也已逐渐成为人工智能和 模式识别领域中的研究热点之一【2 5 1 。但是，区分构造相同而特征不同的人脸并非是一 件容易的事，另外还要考虑由于光照、姿态、表情等因素带来的不利影响。也正是因 为这些问题，到目前为止仍没有一个能适应任何条件的人脸识别系统出现。 2 2 - 1 二维人脸识别 一般来说面部特征点往往都位于面部轮廓或者五官轮廓及角点上，它们对于归纳 出不同的人物的个性特征起着至关重要的作用。对于三维人脸建模而言，特征点的作 用主要有以下几点： 一、不同人脸的骨骼形状特征在一定程度上可以通过特征点来区别，这对于特定 三维人脸的重建有重要的指导意义； 二、特征点对特定三维人脸建模有一定程度上的简化作用，很多的三维人脸建模 算法都是在追求更为精确的特征点三维数据信息，其他部分因为不能有效表征面部特 征信息，故对这些点的重建精度要求不高，可以通过纹理映射等方法来弥, b t 2 q ； 三、在网络模型中，可以利用特征点对原始人脸图像进行剖分，形成若干特征区 域，在这些区域中的非特征点可以关联这些特征点坐标进行大致的定义，这样就可以 用部分特征点来表现出整个人脸特征的目的； 四、利用特征点在人脸的不同图像之间建立对应关系，从而可以获得一个特征点 集合用以校正匹配线框模型。 图2 3 是面部特征点的实例，自上世纪8 0 年代末3 1 9 0 年代初期，就已经有学者专家 开始了人脸特征点定位的研究。其中比较成功的早期特征点定位方法是y u i l i e 等人提 出的变形模板和主动轮廓模型( s n a k e 模型) ，其主要用来检测嘴角、眼角等角点以 及鼻尖、眼珠等这样定义明确且纹理独特的特征点。随着研究的深入和技术的发展， 越来越多的特征点能够被定义出来了。主动形状模型a s m 2 7 】( a c t i v es h a p em o d e ) 和主动外观模型a a m 2 8 】( a c t i v ea p p e a r a n c em o d e l ) 是目前极具代表性的特征点定位 方法，后续的特征点定位算法基本都是基于这两个模型的优化或扩展。 7 基于线框模型和正交照片的三维人脸建模设计与实现 图2 - 8 二维特征点示例 a s m 依靠的是每个特征点的局部外观模型和全局形状模型在二维图像中定位特 征点。aa m 则是先建立起全局的形状模型及纹理模型，再在二维图像中利用形状变 化进行采样，最后通过匹配采样的图像纹理及纹理模型完成特征点定位。a s m 和a a m 主要有一下三点区别： 一、a s m 的外观模型是建立在每个特征点的局部区域基础之上，而a a m , 贝i j 是建 立在全局的外观模型之上； 二、a s m 是沿着特征点所处轮廓线的法线方向，依据外观约束条件，在该特征点 所处的一个较小范围内进行搜索。a a m 不进行这样的局部搜索，而是在特征点包围 的形状内部对纹理进行采样。 三、a s m 最小化距离的对象是其中模型点与图像特征点，而a 朋x 4 n 是最小化图 像纹理和模型纹理之间的距离。 2 2 2 主动形状模型 在a s m 模型中，一系列特征点的组合就是所谓的形状( s h a p e ) 。对于k 个特征点， 用一个维度为z k 的向量连接这些二维图像中的特征点坐标信息。为了获得这么一个 形状的集合，我们可以手动的在这些训练图像上标记一系列的特征点。再在该形状集 合上应用主成分分析法( p c a ) 2 9 】，就能够获得该形状的特征向量来表示其特征空间， 这样就把一个特定的形状表示成为了这种特征向量的线性组合，这就是全局形状模型 在a s m 中的定义： s=s+u s式2 1 式中，u 是矩阵，由k ( k 电k ) 个特征向量组成，s 是形状平均值，s 是线性组合系数， 8 华东师范人学硕士学位论文基于线框模型和正交照片的三维人脸建模设计与实现 同样也是原始形状s 在特征空i 司中的投影。 a s m 另一个组成部分是局部外观模型，其描述的是特征点周围小范围内的图像特 征。局部外观模型可以通过多种表现形式，反映出不同的图像特征。一种典型的表现 形式是沿特征点所在的轮廓线的垂直方向，也即法线方向上的图像变化趋势。对于k 个特征点向量，对于第j 个特征点来说，可以在训练样本上统计轮廓线垂直方向上的 灰度分布，这样可以得到其均值；，和协方差矩阵g ，由此可以得到局部外观模型。 之后就可以通过该局部模型修j 下莉个特征点的当前位置( x ：n - 1 ) j ，1 ) ，具体的做法则 是在当前位置的邻域( x ；”n ，j ，；”d ) 内进行搜索，从中找出最符合局部外观模型的一 个点 ；l ，y j ；1 ) ，使之满足： ( x 埘) = ( 训) a r g ( 石m l ny p 肛y ) g ) l l g 川： 式2 2 ( x 埘) 2 ( 训) ( 石”y p 肛y ) 一川： 式2 2 式中，g ，( x ，y ) 是第j 个特征点在其位置( x ，y ) 处的轮廓线垂直方向上的灰度分布， i ix 屺= x7 a - 1 x 则是m a l l a l a n o b s s 距离。 图2 4a s m 特征点轮廓法线足义 在通过各个特征点的局部外观模型更新对应特征点位置之后，就可以得到一个新 的形状既。再把这个新形状投影到形状特征空间之中，可以通过求解下式得到： s “= a r g m a x p ( s t mlj ) = a r g m i n e n g ( s l , , , j ) ， 式2 3 其中： e n g ( s j ；：m j ) = 旯l is j ：l s 磊a1 1 2 + i is j | ：l s l i j 式2 4 9 基于线框模型和正交照片的三维人脸建模设计与实现 上式中，s 二= u7 ( 既- s ) 是把跪投影到形状特征空间中而得到的新的形状系数， s 磊= s + 硼磊则是对投影后得到的形状系数重建而得到的新形状，人是一个对角矩 阵，其对角线上的元素对应了形状特征空间中最大的k 个特征值。另外，上式中第一 项是既到形状特征空间的平方欧式距离，第二项是跪到s 的m a h a l a n o b s s 距离3 0 1 。人 系数在其中控制着这两项的权重。 a s m 通过全局形状模型对整体形状的变化进行约束，并使用局部外观模型来迅速 的在图像中找到相关特征点的最佳位置，借此达到逐步收敛形成目标形状的目的。不 过，这种特征点的位置更新只是基于局部的图像特征，也即只是局部的最优，正是因 为这个原因a s m 受初始值的影响很大：如果全局最优解在初始值附近，那么a s m 就 可以快速收敛；否则，就会变成局部最优解。 2 2 3 主动外观模型 在a a m 模型中，其形状模型的定义跟a s m 相同，也是式2 1 。在此基础之上，a a m 另外还建立了纹理模型。首先以平均形状为参考，将训练集中的形状都与之对齐，再 依据原式形状与平均形状的对应关系将原始图像中的像素扭曲变形为一个与形状无 关的纹理，如图2 5 。 ，：，：& t t 知，： 。3 h a 非f l e ep a l c h 图2 - 5m m 形状和纹理抽取 在得到与训练图像的形状无关的纹理之后，就可以在灰度值上通过一个迭代计算 将这些纹理数据进行归一化，从而可以建立如下的纹理模型： t = r + k 式2 5 l o 华东师范大学硕士学位论文基于线框模型和正交照片的三维人脸建模设计与实现 式中，丁是平均纹理，v 是由纹理特征空间中的，个特征向量组成的矩阵，t 是线性组 合系数，是从原始纹理t 投影到纹理特征空间而得到的： t = 矿r ( 丁一t ) = y 7 t 式2 6 通过这样的途径，就可以把原始的形状无关的纹理图像中的l 个像素所表示的人 脸纹理转换为在纹理特征空间s ，r 中的一个点。 如此定义了形状和纹理之后，任意一个样本的外观就变成了其形状与纹理的组 合，可以具体表述为如下的联合向量： 彳= 式2 7 式中，人是一个对角权重矩阵，可以通过人调节形状系数s 的每个分量，使其在外观向 量中的权重。再一次将主元分析( p c a ) 应用于样本的外观向量之上，我们就可以得 到： a = 呒 式2 8 式中，w 是由外观特征空间中的特征向量所组成的矩阵，而系数a 贝, l j 是外观向量a 在外 观特征空间s 。中的投影点： a = i t r a式2 9 由图像纹理t i i i i 和e h ； l - 观空间重建的纹理t a 之间的误差就代表了删的搜索过 程： a t = 一l 式2 1 0 具体说来，该搜索过程实际上就是一个不断最小化i | 6 剐的过程。对于传统的a a m 模 型来说，假设外观增量6 a 、位置参数增量6 p 与纹理误差之间的关系是线性相关的，也 即： 皖= a a 砑 式2 11 t = a n 8 式2 1 2 矩阵a a ，a p 通过训练得到。训练过程中，对训练样本的外观参数a 和位置参数p 加以 变动，得到6 a 和6 p ，另外通过式2 1 0 计算相应的纹理误差6 t ，然后就可以通过线性回 归的方式得到矩阵a a 和a p 。以这样的训练方式，往往都需要为其提供大量的样本以 华东师范大学硕士学位论文基于线框模型和正交照片的三维人脸建模设计与实现 使得矩阵a a 和a p 稳定，相应的就会小号更多的训练时间与相关的存储空间。并且， 按照传统a a m 模型所描述的误差之间的线性相关，这种假设成立的前提是必须变动 很小，这正是限制该模型使用范围的根本原因。 2 3 三维面部信息获取 目前，关于人脸特征点的