（信号与信息处理专业论文）基于艺术规则的三维卡通人脸动画.pdf

! 。： 苏州大学学位论文使用授权声明 x l u lr f rir f l r ft lr l 1 llj lf y 17 3 2 6 2 2 本人完全了解苏州大学关于收集、保存和使用学位论文的规定， 即：学位论文著作权归属苏州大学。本学位论文电子文档的内容和纸 质论文的内容相一致。苏州大学有权向国家图书馆、中国社科院文献 信息情报中心、中国科学技术信息研究所( 含万方数据电子出版社) 、 中国学术期刊( 光盘版) 电子杂志社送交本学位论文的复印件和电子 文档，允许论文被查阅和借阅，可以采用影印、缩印或其他复制手段 保存和汇编学位论文，可以将学位论文的全部或部分内容编入有关数 据库进行检索。 涉密论文口 本学位论文属 在年一月解密后适用本规定。 非涉密论文口 论文作者签名：趁4 撇日期：卫出l 啦 导师签名：墨动! 逆垄j 期：型尘上l l 厂f 基于艺术规则的三维人脸卡通动画 中文摘要 三维卡通人脸动画是非真实感绘制领域的一个新分支，它是图形学的一个研究 热点。随着动漫影视、电子游戏、虚拟会议等方面的飞速发展，对这一领域的研究 逐渐增多。本文阐述了卡通人脸动画的研究现状并分析了各自的优缺点，在卡通人脸 动画的三个重要部分上分别做出了一些工作。本文的主要工作和贡献体现在以下几个 方面： 首先，提出了基于艺术规则指导的三维卡通模型重建算法。该方法将艺术家常用 的夸张方法引入到模型夸张中，通过检测艺术家常用的脸部夸张部位，找出需要夸张 的地方，并进行一定程度的夸张。在利用a s m 特征点定位时，本文提出将额头上的特 征点用其余的点根据人脸几何分布插值来确定，提高了特征点的准确度。 其次，提出了单幅照片的纹理卡通化方法。该方法将人脸区域对齐到卡通照片模 板上，并进行融合，通过调节融合系数来改变人脸卡通化的程度。采用泊松方程融合 的方法将人脸区域融合到背景中来。为了提高融合速度，提出了一种快速纹理插值融 合算法，预先根据卡通模板计算每个背景像素点所对应的皮肤像素点。实验结果证明， 该方法不仅大大提高了融合速度，而且取得了较好的纹理融合效果。 最后，采用非特定模型的动画参数转换方法，把别的模型中的动画参数通过转换 变为适合本文模型的动画参数，实现三维卡通动画。在计算本文模型中顶点的动画参 数时，利用该顶点与三角片元的三个顶点的位置关系来计算相应的动画参数，避免了 传统方法经常出现的动画参数为零的情形。实验结果证明，本文的计算方法更加合理， 卡通动画效果比较自然，能够较好的满足应用的需要。 关键词：卡通动画、艺术规则、模型夸张、非真实感绘制 作者：刘守快 指导教师：王加俊 k e yp a r t so ft h ec a r t o o nf a c i a la n i m a t i o na r ed e s c r i b e di nd e t a i l t h ec o n t r i b u t i o n so f t h i s t h e s i sa r es u m m a r i z e da sf o l l o w s ： f i r s t l y , ak i n do f t h r e ed i m e n s i o n a lr e c o n s t r u c t i o nm e t h o db a s e do na e s t h e t i cr u l e si s p r o p o s e d i nt h i sm e t h o d ，g e n e r a le x a g g e r a t i o nt e c h n i q u e so f t h ea r t i s t sa r ei n t r o d u c e df o r t h ee x a g g e r a t i o no ft h em o d e l t h ee x a g g e r a t i o n sa r ep e r f o r m e da f t e rt h ed e t e c t i o no ft h e p a r t si nt h eh u m a nf a c et h a ta r eu s u a l l ye x a g g e r a t e db yt h ea r t i s t s f o ri m p r o v i n gt h e a c c u r a c yo ft h ef e a t u r ep o i n te x t r a c t e d ，t h ef e a t u r ep o i n t si nt h ef o r e h e a da r ed e t e r m i n e d w i t ho t h e rp o i n t sd e t e c t e dw i t ht h ea s ma l g o r i t h mb yi n t e r p o l a t i o n s e c o n d l y , at e x t u r ec a r t o o nm e t h o di sp r o p o s e df o ras i n g l ep h o t o i n t h i sm e t h o d ，t h e f a c eo fap a r t i c u l a rp e r s o ni sa l i g n e dt ot h ec a r t o o np h o t ot e m p l a t ea n dt h e nf u s e dt o o b t a i n e dc a r t o o nv e r s i o no ft h ep a r t i c u l a rf a c e t h ec a r t o o ne x t e n to f t h ep a r t i c u l a rf a c ec a n b ea d j u s t e db yt h ea d j u s t m e n to ft h ef u s i o nc o e f f i c i e n t t h ef a c er e g i o ni sf i r s t l yf u s e dt o t h eb a c k g r o u n dw i t ht h ep o i s s o ne q u a t i o n f o rt h ea c c e l e r a t i o no f t h ef a c ea n db a c k g r o u n d ! h 堡曼q i 堡星堕i q n 垦! 笪! q q n n i 迎趔q n 旦堑鲴勉坌丛也! 笪 坠! 堕盟 p a r a m e t r i cc o n v e r s i o nw h e r et h ea n i m a t i o np a r a m e t e r ss u i t a b l ef o rt h em o d e li nt h i st h e s i s a r ec o n v e r t e df r o mar e f e r e n c em o d e l t h ea n i m a t i o np a r a m e t e r so fav e r t e xi nt h em o d e l o ft h i st h e s i sa r ec o m p u t e df r o mt h ep o s i t i o nr e l a t i o n s h i pb e t w e e nt h ev e r t e xi no u rm o d e l a n dt h et h r e ev e r t i c e so ft h et r i a n g u l a re l e m e n ti nt h er e f e r e n c em o d e l t h i sm e t h o dc a n e f f e c t i v e l ya v o i dt h ez e r op r o b l e mo ft h ea n i m a t i o np a r a m e t e r si nt h et r a d i t i o n a lm e t h o d s e x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sm e t h o di sm o r ep l a u s i b l ea n dc a ns a t i s f yt h ea c t u a l a p p l i c a t i o nr e q u i r e m e n tw i t hn a t u r a lc a r t o o na n i m a t i o ne f f e c t k e y w o r d s ：c a r t o o na n i m a t i o n ，a r tr u l e s ，m o d e le x a g g e r a t e d ，n o n p h o t o r e a l i s t i c r e n d e r i n g i i i w r i t t e nb ys h o u k u ml i u s u p e r v i s e db yj i a j u nw a n g 目录 第一章绪论1 1 1 应用前景1 1 2 研究背景及现状2 1 2 1 卡通的概念2 1 2 2 卡通人脸4 1 3 本文的贡献4 1 4 本文的组织结构4 第二章卡通人脸研究概述6 2 1 三维人脸重建的研究6 2 2 卡通研究6 2 3 卡通人脸重建研究难点8 第三章人脸模型的夸张处理9 3 1 卡通人脸模型的夸张9 3 2 三维特定人脸重建9 3 2 1a s m 特征检测算法1 0 3 2 2 恢复空间信息一1 3 3 2 3r b f 模型变形1 5 3 3 人脸特征发现1 6 3 3 1 人脸脸型的检测。1 7 3 3 2 局部特征发现1 8 3 4 模型的夸张2 0 3 5 模型的编辑2 l 3 5 1f f d 脸型编辑2 1 3 5 2 局部编辑2 4 3 6 夸张变形的效果及分析2 9 第四章卡通纹理的实现3 1 4 1 纹理映射31 4 2 基于约束的r b f 映射方法3 2 4 3 纹理模板的对齐3 4 4 4p o s s i o n 融合算法3 6 4 4 1p o s s i o n 方程介绍3 7 4 4 2 脸部区域融合3 8 4 5 快速融合算法3 9 第五章三维卡通动画4 2 5 1m p e g 4 动画的介绍4 2 5 2f a p 流驱动人脸模型4 5 5 3 特定人动画定义表的制定4 6 5 4 实验结果及分析4 7 第六章总结与展望。4 9 参考文献5 0 攻读硕士期间发表的文章5 5 致谢5 6 第一章绪论弟一早三百可匕 1 1 应用前景 随着3 g 时代的到来，手机、网络等载体的飞速发展，数字动漫已经成为人们生 活中的一部分，已经衍生为一个新的产业，在g d p 的产值中占据一个重要部分n3 。2 0 0 0 年中国以电脑游戏为主的动画产业还只有3 亿人民币左右，2 0 0 2 年产业规模就达到 了1 0 亿元人民币，2 0 0 3 年我国动漫产业总收益已开始超过电影业，2 0 0 4 年，我国的 动漫产业估值达数百亿元。同时动漫产业的拉动效益非常明显，以网络游戏为例，它 对电信、i t 和媒体出版业的带动作用分别为6 6 、2 6 5 和2 ，总计l ：1 1 2 5 。但对 比国际同类产业的发展水平，还是刚刚起步。国内数字业自主研发和原创能力较低， 基本以引进、加工、代理运营为主，在当前运营和测试的上百款网络游戏中，国内自 主研发的仅占2 5 7 。 随着国家的逐渐重视，政策扶持力度加大，动漫业有了良好的市场前景，国内 各地也加快产业的开发力度。广电总局从主体性质、投资规模、原创能力、生产数量、 科技含量、市场占有等方面对重要的动画制作企业和区域考核评估，2 0 0 4 年在上海 美术电影制片厂、中央电视台中国国际电视总公司、三辰卡通集团、中国电影集团公 司、湖南金鹰卡通有限公司、杭州高新技术开发区动画产业园、常州影视动画产业有 限公司、上海炫动卡通卫视传媒娱乐有限公司、南方动画节目联合制作中心建立9 个首批国家动画产业基地，并在中国传媒大学、北京电影学院、吉林艺术学院动画学 院、中国美术学院建立4 个首批国家动画教学研究基地。2 0 0 5 年又扶持深圳市动画 制作中心、大连高新技术产业园区动画产业园、苏州工业园区动漫产业园、无锡太湖 数码动画影视创业园、长影集团有限责任公司、江通动画股份有限公司第二批6 家国 家动画产业基地。7 月1 5 日，国家数字媒体技术产业化基地在长沙启动。 在此背景下，人脸卡通作为动漫的一种，逐渐受到人们的欢迎。在视频会议中， 人们使用卡通头像进行交流，既具有一定的真实感，也可以保留一些隐私；在影视中， 3 d 卡通动漫越来越吸引观众的眼球，在电影阿凡达、飞屋环游记中，3 d 卡通 筮= 童缝j 金基壬艺盔趣则的三维圭适厶堕麴画 效果都非常好，非常具有观赏性，图卜1 、卜2 为电影中的截图；在游戏中，玩家们 对游戏的可玩性和游戏效果要求越来越高，不再满足于二维游戏，于是游戏中的三维 卡通效果越来越逼近现实，能够让玩家有一种身临其境的感觉，图1 - 3 为游戏实况 足球的截图。 在这种发展趋势下，人脸三维卡通动画相关方面的研究也有了长足的发展，但同 时也具有很多难点和挑战，本文在此领域中也做了一定的研究工作。 图1 - 1 阿凡达图1 - 2 飞屋环游记图1 - 3 实况足球 1 2 研究背景及现状 1 2 1 卡通的概念 卡通乜3 ，是英语“c a r t o o n ”的汉语音译。从卡通的词源上，我们就能够确切地 获知，卡通作为一种艺术形式最早起源于欧洲。而在近代欧洲，自文艺复兴运动以来， 自由开放的艺术理念开始为社会所接受，作为市民阶层表达自身要求的手段，卡通画 也被赋予了更为广泛的政治内涵。 在十七世纪的荷兰，卡通夸张画首次出现。以法国人奥诺雷杜米埃为代表的讽 刺漫画家，更是将政治卡通发展到了艺术的高度。时至今日，政治卡通依然是西方大 众文化的重要组成部分。 在卡通艺术的发展史上，英国扮演了一个相当重要的角色。早在1 7 世纪末，英 国的报刊上就已经出现了许多类似卡通的幽默插图，到了1 8 世纪初，出现了专职卡 通画家，英国卡通的风格也逐渐定型。与同时期欧洲大陆的幽默讽刺画相比，英国的 卡通画较多的取材于社会风情，以幽默含蓄见长。 2 基王苎苤趣型鳆三丝盘适厶脸动画簋二童绻途 1 8 4 1 年，著名的笨拙( p u n c h ) 画报在伦敦创刊。这本著名的谐趣性期刊，在 卡通发展史上占据着显著的地位。事实上，正是这个刊物的供稿人、著名画家约翰里 奇和编辑马克吕蒙首次将幽默讽刺画正式命名为“卡通”。 整个二十世纪初，卡通漫画始终在寻找与美国文化的交汇点。三十年代初，美 国卡通漫画的黄金时代开始来临。诸如超人( s u p e rm a n ) 、蝙蝠侠( b a t m a n ) 、闪电 侠( f l a s h ) 、潜水侠( a q u am a n ) 等众多的超级英雄形象都产生在这个时期。 二战前后，卡通艺术在全球范围内的发展，也呈现出前所未有的全方位、多元化 的发展态势。无可否认的是，一股卡通业的新浪潮正在兴起，并将席卷全世界。许多 国家的政府都把动画片作为战争动员和宣传的重要手段，开始出现了以政府投资来扶 植本国动画业发展的局面。 二十世纪末，随着计算机多媒体技术的兴起，动画片的生产和制作面临新的革命。 迪斯尼公司再次充当了新技术的弄潮儿，推出一系列大制作的动画巨片，包括取材于 安徒生童话的小美人鱼( 1 9 9 0 ) 、根据阿拉伯古典名著改编的一千零一夜故事 ( 1 9 9 2 ) 、根据莎翁名著改编的狮子王( 1 9 9 4 ) 、反映早期北美殖民生活的风中 奇缘( 1 9 9 5 ) ，以及第一部全部采用数字技术制作的动画片玩具总动员等等。 近年来，一些非欧美国家的卡通业也正在获得长足的发展，其中最为典型的就是 以中、韩、日三国为代表的东亚卡通业的崛起。在中国，“中国学派 的出现，把民 族文化与动画艺术有机的结合在一起，创造出一部部美轮美奂的动画精品，在世界上 为中国卡通界赢得了尊重与赞誉。韩国的卡通艺术基础相对薄弱，但是通过与日本卡 通界的交流与合作，也逐渐建立起了自己的风格和影响。日本卡通业在经历着半个世 纪的高速发展之后，不但确立了独具特色的卡通风格，还建立了完整的产业链条，成 为日本文化娱乐产业的重要组成部分。随着“全球化的逐步推进，日本卡通也正在 以新的姿态走向全世界。 卡通在中国的发展历史已经超过了一个世纪。但是，由于种种原因，中国卡通始 终处于产业化的边缘，没有能够实现产业发展的良性循环。值得欣慰的是，近十年来， 中国的卡通业也正在朝着“产业化 和“良性循环 的方向发展。这让所有关心中国 卡通的人都看到了希望。然而，在这个发展过程中，中国卡通业也无可避免的要面对 ；? 1 2 2 卡通人脸 卡通人脸作为卡通动画中最常见的表现形式受到人们的普遍欢迎。漫画家通常立 足于抓住人物的脸部细节的同时，对特定人脸的特点进行放大，得到夸张的效果。然 而对人脸卡通的绘画往往需要一定的艺术功底。随着网络的发展，卡通人脸深入人心， 越来越多的人希望能够将自己的照片进行卡通化处理，促使了更多的人想通过计算机 自动生成一张自己的卡通画像，从而引发了更多的人从事这方面的研究工作。本文将 在第二章着重阐述在卡通人脸方面的研究工作。 1 3 本文的贡献 首先，本文提出了利用艺术规则指导下的卡通夸张，获取艺术家们常用于夸张的 部位，舍去一些局部细节，能够兼顾整体和局部的夸张； 其次，本文设计了一个模型整体和局部调节的系统，可以辅助用户产生一个卡通 样本库，用于卡通重建。如果卡通变形的效果不理想，可以辅助调节。 再次，本文在纹理的卡通化中，提出了基于单幅正面照片的自动卡通处理方法。 选取包围人脸五官的较小区域作为皮肤区域，这样就可以减小头发以及背景对融合效 果的影响。分别采用p o s s i o n 融合方法和快速插值融合算法合成卡通纹理。既保持了 特定人信息又具有较好的卡通效果。为了提高运行速度，提出快速插值融合算法，从 结果上看，本文的方法在头发、眼镜等遮挡下仍有较好的卡通效果； 最后，本文改进了模型无关的动画参数转换算法，实验证明参数同样可以应用到 别的人脸模型上，实用性较强，并利用其实现卡通人脸动画系统。 1 4 本文的组织结构 第一章为绪论。介绍了卡通的发展背景，介绍了本文的创新和主要工作。 第二章介绍卡通人脸重建的研究现状及难点。 4 第三章是人脸模型夸张部分。介绍了真实感人脸重建，卡通模型夸张部分的相关 研究，以及基于艺术规则的卡通夸张重建方法。 第四章是纹理的卡通化部分。介绍了常用的纹理卡通化的方法，并阐述本文纹理 自动卡通化方法，包括p o s s i o n 融合算法、快速插值融合算法。 第五章是动画实现部分。介绍了m p e g 一4 动画原理，以及f a p 参数驱动模型的方 法，阐述了动画参数在不同模型中的转变方法。 最后一章是总结和展望。总结本文的研究工作，并阐述了未来的工作和研究内容。 2 1 三维人脸重建的研究 p a r k e1 9 7 2 年首次使用计算机方法表示人脸，在人脸建模方面进行了创造性工 作口3 ；l e e 预先用激光扫描仪获取特定人空间点坐标，并进行三维人脸网格重建h 1 ； f p i g h i n 在中提出用5 幅不同方向的人脸图像重建人脸模型隅1 ；t a k i m o t o 提出基于 正侧面照片重构三维人脸方法1 。 基于扫描仪模型重建，需要较高的成本，而且扫描仪得到的数据量非常大，数据 精简等处理也比较麻烦；基于照片的方法，只需要一个标准人脸模型，通过特征点自 动或手动检测的方法提取关键特征点，来调整标准模型，得到特定人脸三维模型，但 是特征点自动定位始终是计算机视觉中的研究难点之一。 2 2 卡通研究 随着计算机硬件、计算机视觉和计算机图形学的发展，传统的手工动漫制作工 艺己无法满足发展的需求。特别是网络技术的发展，大大推动了数字动漫前进的步伐， 有关卡通动漫方面的研究成果越来越多。p i c a s s o 系统的出现开创了卡通人脸研究的 新领域口1 。一大批研究者致力于这方面的研究：l 、m s nc a r t o o n 是微软发布的在线系 统，它可以将照片中的头像转为卡通形象汨1 。首先选择一个卡通头像模板，通过调整 轮廓、添加配饰和转换变形产生漫画卡通头像，但是目前可供选择的表情较少，变出 的人脸卡通气十足，漫画效果足够，不过相像程度有待加强。与此相类似的软件还有 许多，但是通过二维图像进行变形，普遍存在的问题是卡通气够，但夸张程度有待提 高，并且由于生成的卡通图仍为二维图像，进一步处理的空间很小，不能进行三维旋 转、变形等处理阻1 仉1 1 1 ；2 、e r g u na k l e m a n 等人只是对三维人脸进行了扭曲，没有按 照一定的规则，导致卡通性太强，丧失了特定人的信息n 2 1 3 1 4 1 ；3 、h k o s h i m i z u 提出 以模板为基础的夸张肖像画系统，根据脸部特征轮廓绘制成肖像画，但笔调生硬不自 然n 引；4 、s b r e n n a n 等人的系统，对模型的变形，过于追求细节，没有体现整体的 脸型效果n 6 1 7 3 ：5 、h c h e n 等人的系统，只对整体进行训练学习，对细节部分很难 6 基芝苤挝型鲢三丝圭逼厶脸动画箍三童主通厶脸班冠 准确捕捉到，比如下巴，五官的大小，没有得到足够的夸张，而且需要大量样本用于 训练，成本较高n 8 1 9 ，矧。 模型夸张：目前三维卡通重建领域通常使用整体模型训练方法瞳1 盟3 或者局部特征 发现的方法幢3 2 钔。整体训练方法不仅需要手工重构出大量的三维夸张样本，而且对五 官的特征捕捉的不够精确；基于特征发现的方法一般不能考虑到整体的特性，忽略了 卡通人脸的整体效果。 纹理处理：在卡通系统中，纹理的卡通化处理与模型的夸张变形同样占据重要的 地位，卡通化的纹理更具有幽默夸张的效果。l i nl i a n g 等对脸部区域进行了二值化 处理，提取脸部区域的轮廓作为卡通纹理，用于二维人脸的卡通变形，但是对于三维 卡通夸张并不适合口5 删；c h i a n gp e i y i n g 直接用一幅卡通图片作为纹理，没有利用特 定人的纹理信息，虽然具有一定的幽默夸张效果，但是与真人相差甚远心7 1 ；j l i u 用 主成分分析( p c a ) 对纹理进行简单处理，去除了纹理细节，有一定的卡通效果，但 是对于一些带有头发、眼镜等遮挡的情况，往往效果不尽如人意n 引；f a ny a p i n g 提出 了像素画生成算法，如果要得到较好的卡通效果则需要较高的颜色阶数，并需多次聚 类迭代，计算时间较长，实时性较差乜8 巩制；l ih o n g y u 用渲染的方式增强纹理的卡通 性3 1 ，3 2 3 朝。 动画：关于人脸动画，目前国内外的主要研究技术包括关键帧插值法口4 1 、参数 法口射、表演驱动法啪1 、基于物理的肌肉模型方法口7 3 等。 ( 1 ) 关键帧插值法：利用几组特定的表情插值生成其他表情。该方法简单、线 性插值、迅速。对于较少数目的关键帧，要产生小范围内的一组动画，插值方法是 比较适合的。该方法的缺点是不能实现大量丰富的脸部表情； ( 2 ) 参数法：通过改变一组参数的值来产生人脸表情。常见的参数化方法有直 接参数化模型、f a c s ( f a c i a la c t i o nc o d i n gs y s t e m ) 、参数化片和f f d ( f r e ef o r m d e f o r m a t i o n ) 。 ( 3 ) 表演驱动方法：通过跟踪表演者的脸部，获得其面部特征点的运动轨迹， 然后控制三维面部的网格变形，生成动画序列。 ( 4 ) 基于物理的肌肉模型：根据对肌肉的生理结构和特性以及肌肉运动与脸部 筮三童主通厶脸硒究援述基王艺苤趣则鳆三缝通厶脸麴画 表情和皮肤变形关系的分析，用动力学的模型来模拟肌肉的运动从而生成逼真的人 脸动画。其缺点是肌肉向量的设置需要进行人工手动调节，如果位置设置得不准确， 将会影响到动画的效果。 2 3 卡通人脸重建研究难点 鉴于人们对人脸非常熟悉，同时人脸又具有复杂的细节，卡通重建对人脸特征很 难把握，同时卡通性以及真实感很难兼顾；模型的整体夸张以及细节突出互相影响。 很多研究者，采用样本训练的方法来实现夸张，成本较高，而且结果的好坏与所选取 的样本有很大关系，对与样本库中形象相差较大的模型效果并不理想。 第三章人脸模型的夸张处理 本章根据艺术家的常用的夸张步骤，按照一定的顺序进行夸张。首先，对脸型 和下巴进行判断，并根据与某个特定脸型相似程度按一定的比例夸张；其次，对五官 区域进行检测，找出与平均值相差最大的三个特征，进行夸张。 3 1 卡通人脸模型的夸张 在艺术家看来，二维人脸卡通着重于图像的变形而三维卡通则更倾向于人脸几 何网格的处理即对人的骨骼、肌肉进行空间体积的变形。本章就从模型几何变形的角 度，变形三维人脸网格，达到模型夸张的效果。三维人脸模型夸张的框图如下： 图3 1 基于艺术规则的三维模型夸张框架 3 2 三维特定人脸重建 在三维人脸网格夸张之前，需要先建立特定人三维人脸模型。本章利用单张正 面人脸照片，利用a s m 特征点检测算法检测出其中的关键特征点，进而恢复关键点的 9 主动形状模型a s m ( a c t i v es h a p em o d e l ) 是常用的人脸特征点检测算法 3 8 , 3 9 , 4 0 】。经 过训练后得到一个平均人脸模板，对于新输入的图像，首先检测出人脸区域，然后在 这个局部区域内，不断搜索特征点，通过旋转、缩放等操作来找到与实际人脸最接近 的特征点。 通常由于头发等背景的干扰，a s m 算法很难准确检测到额头部位的特征点。本文 根据人脸的几何特点，利用a s m 检测出来的特征点进行插值，得到额头上特征点，使 额头上的特征点更为准确。 通过数据统计发现，绝大部分人脸轮廓比例有一个特点：人脸几乎被平均划分成 上、中、下3 个部分。文中额头上增加的9 个特征点( 6 9 、7 7 点) 可按照该比例关系如 表3 - 1 直接进行线性插值，插值效果如图3 2 所示。 表3 - 1 额头特征点的插值 关键点序号横坐标x纵坐标y 6 9 而+ h 7 0 0 9 9 x 薯5m 7 7 1 1 0 2 x x j 儿3 7 2 6m 6 + 0 6 8 h 7 3 x 2 2 儿2 + o 6 8 h 7 4 x 1 7m 7 + 0 6 3 h 7 5 x 2 3 奶3 + 0 6 3 h 7 6 五8咒8 + o 8 办 7 7 而4儿4 + 0 8 其中薯：第f 个关键点的横坐标，m ：第f 个关键点的纵坐标，x o ：眉心横坐标，：眉 1 0 基王艺丕规则的三维盘遵厶脸动迥簋三童厶舱堪型的奎韭处理 心纵坐标，h ：眉心到鼻子下方的距离。 图3 2 特征点检测效果 在对照片中头像旋转时，如果人头旋转的角度超过一定的范围则需要按公式 ( 3 1 ) 对插值点进行旋转操作。本文以人的两眉的中心和鼻尖点的连线与竖直方向 的夹角来确定人的歪斜角度，并认为人的歪斜角度大于某一角度就要进行额头的插入 点的旋转操作，如图3 - 3 所示。 妻 = 。s c o m s 口o 一兰三 i - 一x y 0 。 + 要 c 3 一， 其中( ，y ；) 为第i 个插值点旋转后的坐标，0 为旋转角度，( ，风) 为眉心坐标，( 玉，y t ) 为第i 个插值点初始坐标。 图3 - 3 旋转时插值点的校正 为了得到更多的特征点，并考虑到人的脸部和部分器官的轮廓是曲线形状( 如， 人的脸部轮廓可以看作是一条三次曲线) 的特点，本章利用公式( 3 - 2 ) 进行非线性 插值。 b ( x ) = a o + q x + a 2 x 2 + a 3 x 3 ( 3 2 ) 其中x 为脸部轮廓点的横坐标，与( x ) 为x 的三次多项式函数，代表与x 对应的纵坐标， a o , a 。，a ：，a ，为多项式系数，利用最小二乘法并结合由a s m 已经检测出的特征点作曲线 拟合得到。设误差函数( 嘞，q ，口：，口，) - y , b ( 五) 一乃】2 ，通过求解m i i l ( 口o ，口。，a ：，口，) 即善：o ，七：o 1 2 ，3 得： 们t 可以通过解矩阵方程求解： 3埘州 ( 般h - - z # 咒，j = o ，1 ，2 ，3 ( 3 3 ) m + 1y 五 j 一 i = 1 葺 i = 1 # i = l # i = 1 # i = l # i - 1 # i = l # f = l 埘 # i = l # i = l # i = 1 1 2 # f = 1 # i = l # i = l y # 一 i = 1 口。 口l 口2 口3 y i f - i 誓咒 i = l # 咒 f = l # 咒 ( 3 - 4 ) 曲线拟合的最 x - - 乘法的时间复杂度为o ( n 3 ) ，而且应用上还有不少改进的最 小二乘法，因此在时间效率上是可行的。如图3 - 4 的脸部轮廓中，绿色的点是a s m 中特征点，而红色的点是利用最小二乘法进行曲线拟合得出的新的特征点h “4 2 1 。 3 2 2 恢复空间信息 单幅照片提取出来的特征点( n 木2 ) 没有侧面的信息，本文利用f a c e g e n 随机产生 一组3 d 人脸样本，选择一个标准模型并标记，1 个特征点，模型在x y 平面的投影为 ( 嘞l ，y m l ，x m 2 ，y m 2 ，x m n ，) 。通过如下形式的z f 变换： z i = s ic o s 2 s is i n 8 , t y i ( 3 - 5 ) 可以将第f 幅照片上检测出来的特征轮廓对齐到品上，从而得到对齐后的轮廓。 其中，盯y f 为平移矩阵，t 为放缩系数，2 为旋转角度。变换矩阵五可以通过如下的 最4 , - 乘法求得： 因此，第f 张照片对齐后的人脸轮廓可以表达为： s _ = a i z i i ( t a i ) - ? a i r s m ( 3 - 9 ) ( a ) 对齐前轮廓( b ) 对齐后轮廓 图3 - 5 轮廓形状对齐 本章利用f a c e g e n 人头模型产生工具随机产生5 0 0 个3 d 人脸模型，采用了p c a 1 4 方法重构出照片轮廓点的三维坐标。首先通过由f a c e g e n 产生的3 d 样本计算轮廓主 分量和平均轮廓瓦，然后利用上述结果按如下公式求解出重构系数口，以及对 齐后的特定人脸轮廓s 的三维坐标z 。 口= ( 磁) 一磁( s 一瓦) x t = xm + p 懈。c ( 3 - 1 0 ) ( 3 - 1 1 ) 其中瓦，为样本三维平均轮廓毛和主分量中对应于，z 个特征点的部分所构 成的向量在x o y 平面上的投影。 3 2 3r b f 模型变形 在计算出特征点的三维坐标后，可以利用适当的插值方法计算非特征点的 三维坐标。目前主要采用如下形式的r b f 内插函数来对整个模型的网格顶点进行 插值m 1 ： s ( 五) = p ( 五) + 以( 五一置) ( 3 1 2 ) 一1 其中x ，x i ，y i , z i i 2 1cr 3 为标准人头模型上的特征点的三维坐标，瓦为标准人头模型 上第七个网格顶点的三维坐标，s ( 五) 代表将以映射到的特定人脸上的坐标。p 为低 阶多项式，名为r b f 系数，即网格调整需要确定的模型参数。通过实验，本文选取痧 为三次方函数 。) ：q c 2 工+ 墨见f i i x 。一x , 1 1 3 (313)s(x + c 2 + c 3 y + c 4 z x i i 1 3 ) t ) 2q 工 + t 一 ( 3 一 l = 1 其中，c 1 ，c 2 ，c 3 ，c 4 为常系数。 为了确定上式中所包含n + 4 个待定系数，需要给定模型上n 个特征点誓向特定人 脸映射后对应点的坐标z ，即： s ( z ) = k ，i = 1 ，2 ，z ( 3 - 1 4 ) 其中 扩= 忙一t 0 3 而乃z l x 2 y 2 z 2 x ny nz n o 0 0； 。0 oo a 五 ： c l c 2 c 3 c 4 ( 3 1 6 ) ( 3 - 1 7 ) 在确定插值系数后，利用式( 3 - 1 3 ) 式即可求得其它非特征点的三维坐标。r b f 函数的插值属性能够满足网格插值的要求，同时能量最小的属性保证了插值的平滑、 连续。 3 3 人脸特征发现 艺术家将常用的人脸夸张手段分为脸型的夸张和局部特征的夸张h 制，如下图 ( 3 6 ) 所示，其中包括脸部轮廓及五官区域等。 1 6 墨五；o o o o 1 1；1 0 00 厅 刀 吼吒；哝。儿乙 2 2 2 吼吒；哦。屯儿乞 l 2 l l lq呜；叱m互 图3 6 艺术家常用的夸张部位 本文对艺术家所用的夸张部位进行检测，判断是否需要夸张，并计算夸张的幅度。 检测分为两步：整体脸型的判断和五官等细节的判断。 3 3 1 人脸脸型的检测 通常人的脸型可以分为：椭圆型、圆型、长脸型、三角脸型、方脸型等几种，文 中利用系统预先手动编辑出相应的夸张模型，根据最d - - - - 乘拟合算法，检测出照片人 脸对应的脸型h 引。根据人脸的几种脸型形状，分别手工做出相应的效果。 在照片样本库中选择具有代表性的照片并利用公式( 3 - 9 ) 对齐后的轮廓 ( f - 1 5 ) 作为脸型模板，对于公式( 3 - 9 ) 对齐后的特定人脸轮廓s ，利用公式( 3 - 1 8 ) 求出与特定人脸轮廓s t 最接近的脸型模板影( 扛l 5 ) 。通过与每一个脸型模板进行匹 配，找到与脸型模板最吻合的作为结果。表3 - 2 是一些测试样本用来检测的结果。 万薯= 卜刚 ( 3 1 8 ) 3 3 2 局部特征发现 艺术家认为，人脸的夸张首先是对整体脸型进行夸张与保持，其次是对五官区 域的夸张，因此可以通过对感兴趣的区域进行检测并夸张，从而减少夸张的种类，可 以更加准确的捕捉用于夸张的区域。对于五官区域，根据图3 7 上标记的特征点的位 置，检测人脸的相关指标，如果指标大于平均水准则进行夸张。 对于人脸的局部细节，不可能全部涉及，因此我们利用艺术家常用的局部细节夸 张的手法，对一些最重要的细节单独取出，检测模型并进行夸张，本文选取1 5 个局 部特征，对应于表3 - 3 中。 图3 7 人脸特征点分布 表3 - 3 人脸局部检测参数 检测项平均值标准差 脸宽 1 3 8 4 90 0 6 8 3 眼睛长 0 1 8 8 40 0 1 6 0 鼻子宽 0 2 7 7 20 0 3 4 1 嘴巴长度 0 3 6 3 80 0 2 7 9 眉毛长度0 3 2 7 90 0 2 8 2 瞳孔距离 0 2 5 7 90 0 2 7 5 眉心到鼻尖距离 0 4 5 5 60 0 2 5 5 下巴长度0 3 4 2 70 0 1 5 0 眼睛长宽比 2 6 5 5 3o 2 0 1 3 鼻子宽高比 0 6 6 1 90 0 8 7 5 嘴巴长宽比 2 9 8 0 20 4 6 3 1 眉毛曲率 1 1 9 0 7 4 38 8 1 l o 眼睛垂直方向相对位置 0 3 1 6 40 0 2 9 7 嘴巴垂直方向相对位置 0 5 7 4 10 0 2 4 0 眉毛垂直方向相对位置 0 4 3 9 10 0 1 6 5 1 9 3 4 模型的夸张 按照艺术家夸张的步骤，首先利用检测出来的脸型对人脸进行整体夸张处理；其 次对局部五官进行夸张。文中从表3 - 3 中检测出来的指标中寻找最大的三个相对值用 于局部夸张。 = x p t a + x t ( 1 - 口) ( 3 1 9 ) 这里是模型整体夸张的结果，口是特定人脸部轮廓s ，与相应的典型脸型轮廓 s e i ( i = 1 。5 ) 的相关系数，x 。i ( i - - 1 5 ) 是手动制作出来的典型人脸模型，一为特定人真 实感建模的结果，为特定人脸重建的结果。 本文引入相对值p ，作为衡量指标，便于寻找三个局部特征突出的细节， ：坠型 ( 3 2 0 ) 墨 其中t 为第i 个局部检测项，墨为方差，为平均值。 2 0 i l i i 基王苎盔趣型鳆三丝圭适厶脸动画箍三重厶险箧型数查毖丝堡 同时为了避免模型夸张程度超出一定的幅度，本文给出了一个合理的变形范围 s c a l e , i n j n ，跏f p f 嘣】，对计算出来的变形系数，通过公式( 3 2 1 ) 进行进一步处理。 e ps 一再 l ( s c 口彪fm a x s c 口7 p f ) x ( e j 4 3 + 1 72 + s c 口彪f ,fihmax m l n m i l le 订 fjj f - 矗 im a x i ( 3 2 1 ) 3 5 模型的编辑 对于典型人脸脸型的制作，本文提供了可交互的模型编辑系统，可以对整体和局 部进行调整。文中脸型的整体变形利用f f d 方法来实现，通过控制变形系数来调节； 五官等局部细节的调整通过改变局部区域的关键特征点的位置进行r b f 变形来实现。 下面将分别介绍f f d 方法和系统编辑工具。 3 5 1f f d 脸型编辑 自由变形f f d ( f r e e f o r md e f o r m a t i o n ) 方法是一种常用的与物体表示无关的 变形方法m 4 7 3 。f f d 算法对有弹性的物体有很好的整体变形效果。应用f f d 进行变形 时，首先设定一个长方体框架，将物体嵌入框架中。当长方体框架受到外力变形时， 物体的形状也随之改变，具有很好的交互性。 f f d 的数学原理： 变形可以看作为一个从r 3 到尺3 的映射x = f ( 工) ，定义域为待变形的物体表面 所包围的实体，值域为变形后的物体。为了使模型的构造具有较好的直观性、交互性 和透明性，s e d e r b e r g 和p a r r y 使用了三变量张量积b e r n s t e i n 多项式和一个控制框 架来构造映射f ( x ) ，算法如下： ( 1 ) 首先，定义一个包围待变形物体的长方体的局部坐标系d 一s 彤，如图所示： 2 l 其中x o ( a ) 是局部坐标系的原点，s 、t 、u 是三个正交矢量，表示三个坐标轴，笛 卡尔坐标系d x i e 中的任意一点x 在d s 丁u 坐标系中都有坐标0 ，t ，甜) ， x = k + s s + t t + u u ，其中0 s ，t ，u 1 。 ( 2 ) 在长方体包围盒上构造顶点网格工 ，沿着s 、r 、u 方向分别等分为l ，m ，n 个区间，则z 。j j 可表示为： 置旷k + i ，s + 聊j - - - t + k 门u ，=