（计算机应用技术专业论文）基于特征的肖像画自动生成系统.pdf

浙江大学硕士学位论文 基于特征的肖像画自动生成系统 a b s t r a c t c r e a t i n gap o n r a j ti nt 1 1 eg t y l eo fap a n i c u l a ra n i s t i ct 珀d i t i o no rap a n i c u l a ra n i s t i sad i 伍c u l ta 1 1 da l s oa l li n t e r e s t 抽gp r o b l e mi nn o n - p h o t o r e a l i s t i cr e n d e r i n g t h i s p 印e rd e v e l o p e da i la u t o m a t i cf e a t u l 七- b a s e dp o r t r a i tg c n e 洲o ns y s t e m ，w h i c hc a l l m m s f o n nt h ei n p u tf a c i a lp h o t oi n t oap o r t r a i ti nt 1 1 eg 哼l eo fag i v e na r t i s t sp o r t m i t f i r s t ，c o n s i d e r i n gt h em p e g 一4s t a n d a r da n ds o m ee x i s t e dm o d e l s ，、 吧p r o p o s ean e w m o d e l ，w h i c hc o n t a i n s6 4f c a t i l r ep o i n t s s e c o n d ，w ee x 心虻tm ef a c i a lf e a t u r ei ns o m e n e ww a y s i ti sk n o w nt h a tt h e r ca r cs o m ef i x e dr u l e si n1 a y i n gf a c i a lf e a l u r e si na h u m a nf h c e b a s e do nt l l es t a t i s t i c a ld a t a w ed i v i d et l l ef a c ei n t os e v e m ls m a l la r e a s a n e rd e t e c t j n gt h ej r 主s ，t h e ne x t r a c tc o f 腭跟o n d i n gf e a t u r ep o i n t sj ne a c ha r e au s j n gt h e f i x e dd i r e c t i o na c t i v ec o n t o l l rm o d e l f i n a l l y ，t l l es y s t e mg c n e r a t e sap o n r a i tb yf i e l d m o r p k n g ，w l l i c hu s e sa i la r t i s t sf i n i s h e dw o r ka sas o u r c ei m a g e t h er e s u 】t ss h o w m a tm es y s t e mi sc 印a b l eo f p r o d u c i n gp o n r a i t si nd i 行e r e n ts t y l e se 舵c t i v c l y k e yw o r d s ：n o n p h o t o r e a l i s t i cr e n d 商n g ，p o r 盯a i t ， f a c i a lf e a t u r ee x t r a c t i o n ， m o r p h 讧l g a b s l 到l c t - 浙扛丈学颅l 学位论文基于特征的肖像画自动生成系统 第一章绪论 1 1 计算机肖像绘制简介及其研究意义 肖像画就是描绘具体人物形象的绘画，它要求画家对人物的容貌、情态等作 真实生动的描绘，通过艺术手法表现人物的个性和反映画家本人的思想感情。肖 像画是一种传统的绘画艺术，湖南长沙马王堆西汉墓出土的绘有墓主人肖像的帛 画，从罗马庞培故城出土的王公肖像，都说明了肖像画在世界上有着悠久的历史。 时至今日，在很多著名的旅游景点，经常可以看到一些街头艺术家拿着简单的绘 画工具，在为游客画肖像画。而一些专门为个人绘制肖像作品的公司也是琳琅满 目。随着近代艺术的发展，除了传统的写真肖像画之外，还出现了一类经过夸张 处理的肖像画( 图1 1 ) 。这些夸张肖像总是可以抓住人物外貌的特征，通过简单 的轮廓线条以及单纯的色彩，不用真实地描绘原来的长相，也能表达出入物的神 韵。 ( a )( b ) 图1 1 两幅肖像画作品：( a ) 写真肖像画；( b ) 夸张肖像画 在科技高速发展的今天，科学家尝试利用计算机来代替各种人工工作，连艺 浙江人学碳f ：学位论文基于特征的肖像曲洎动生成系统 术创作也不例外。对肖像画绘制的计算机仿真研究，无论在艺术还是科学方面， 都有着重大的意义： 首先，无论是绘制传统的写真肖像画，还是夸张处理的漫画肖像画，都是一 种艺术创作行为，需要经过长期的技术训练。对于普通人来说，要为自己或别人 画一幅肖像画，是非常困难的。如果能够通过仿真让计算机进行肖像画绘制，那 么，即使名完全没有受过艺术教育的普通计算机用户，也可以轻松地给自己绘 制一份极具艺术特点的肖像画，甚至可以模仿某个画家的风格，就如同是该画家 专门为自己绘制肖像画一般。这对广大计算机用户来说，具有非常大的吸引力： 同时对肖像画艺术的推广和发展，也有积极的意义。 其次，对传统绘画艺术进行仿真是计算机艺术领域晟具挑战性的课题之一。 随着计算机图形学技术的飞速发展和真实感绘制技术的不断成熟，人们越来越多 地把注意力放到了非真实感绘制上面。肖像画绘制的计算机仿真，对丰富图形渲 染领域的处理手段、推动计算机仿真技术的发展亦起到积极作用。 所以，对肖像画的计算机绘制方法进行深入地研究并开发相应的肖像画计算 机绘制系统，将对肖像画艺术的推广、对计算机非真实感图形学的发展有着深远 的意义，而开发的肖像画绘制系统也将会有广泛的应用前景。 1 2 研究现状 自2 0 世纪9 0 年代中期开始，非真实感绘制逐渐成为计算机图形学的研究热 点之一。近十年来，人们已经提出了很多非真实感绘制技术，用以生成艺术图像。 如通过模仿纸张、笔触、颜料等艺术工具的物理性质，通过特定算法自动把一张 照片转换为油画【1 】、蜡笔画【2 】或点刻画【3 】。我们自然可以利用这些技术 把人物的真实照片转换成某种艺术类型的肖像，但这些技术是完全基于图像 ( i r i l a g e - b a s e d ) 的，只是通过物理建模模仿了某种艺术类型相应的艺术效果，并 没有考虑到人脸的外貌特征。 在非真实感绘制技术的发展历程中，还出现了绘画平台系统【4 】。它也是通 过对传统绘画工具的模拟，使用户可以在一个交互系统上任意绘制某一艺术类型 浙江大学颁i 学位论文摹于特征的肖像画自动生成系统 的作品，但这需要过多的用户参与，实际上相当于仅仅把传统的绘画工具换成了 计算机，因此绘制肖像也需要用户具有定的绘画技术。 首次针对肖像画提出计算机绘制的是b r e r h l a n 【5 】，他开发了一个计算机辅 助肖像生成系统，可以通过这个交互系统生成素描类型的夸张肖像画。k o s h i m i z u 【6 】提出了基于模板( t e r n p l a t e b a s e d ) 的夸张肖像系统，根据脸部特征轮廓绘 制肖像，由于是线段绘制，笔调生硬不自然，在变形过大时还会出现片断，效果 不是很好。g 【7 】则采用另一种思路，他把人脸分为多个部位，如眼睛、鼻 子、嘴巴等，并定义分类出各种形状，把大量相应的卡通图像分类存储在一个数 据库中，在对输入人脸图像进行分析分类后，再从数据库中选择相近的卡通图像 组合成最终结果。c h e n 【8 ，9 】提出了种基于范例( e x 锄p i e b a s e d ) 的方法， 让计算机从大量的训练资料中学习画家的作画风格和夸张特征的技巧，从而生成 模仿画家风格的肖像画，取得了很好的效果，但绘制时间比较长，而且每模仿一 位画家风格就需要该画家绘制大量的训练资料。为了简化人脸形状定义分类的繁 琐过程，c 1 1 i a n g 【1 0 ，l l 】参考m p e g 4 的标准，采用人脸特征点定义了统一的 人脸模型，通过人脸特征点的提取、分析和图像变形( m o 曲i n g ) 技术，自动生 成模仿作品类型和画家风格的肖像画，取得了较好的结果；但其定义的人脸模型 需要1 1 9 个特征点，而且需要手动定位特征点，使得交互过于繁琐；虽然后期改 进为自动定位，却使运算量大为增加，同时由于特征点过密，导致定位准确性不 高，仍有相当部分点定位困难而需要手动定位。 1 3 本文的主要研究工作 为了绘制肖像，往往需要进行繁琐的而且没有统一标准的类型定义，以至系 统结构过于复杂、庞大。因此，我们希望用统一、简单的系统结构，不需要大量 的训练资料，只要一幅画家作品即可将输入人脸图像绘制成具有该画家风格的肖 像画。 本文在前人研究结果的基础上，采用基于特征( f b a t u r e 七a d ) 的方法，实 现了一个新的肖像画自动绘制系统。 浙江大学硕上学位论文皋于特征的自像画自动生成系统 首先，我们参考m p e g 一4 中的人脸定义参数和人脸动画参数、以及【1 1 】中 的包含11 9 个特征点的人脸模型，定义了一个新的人脸模型，在保留人脸轮廓以 及人脸特征的情况下，使其所包含的特征点减少为6 5 个。在后面给出的实验结 果中，将会看到根据新模型得到的绘制效果并不亚于原来的复杂模型；同时，由 于新模型的特征点分布更为合理，使得特征点自动提取的准确性更好。 其次。我们结合先验规则和几何形状信息，采用新的方式完全自动地在人脸 图像上检测出人脸模型中的所有特征点。即采用由粗到精、分而治之的策略，先 用运算量小、错误拒绝率低的算法确定瞳孔的位置；再根据人脸特征部位之间存 在相对固定位置关系的特点，以两瞳孔间距离为度量单位，依照统计数据把人脸 分成若干小区域，使每个区域都仅包含一个特征部位或者一个特征部位的某个特 定部分；然后配合调整过的主动轮廓模型( a c t i v ec o n t o l l rm o d e l s ) 方法在各个 区域内提取出相应的特征点。 最后，我们采用基于域( f i e l d b a s e d ) 的图像变形技术，以一幅画家作品为源 图像，以提取得到的人脸轮廓为目标图像，生成符合输入照片中人脸特征的肖像 作品。在后面的实验结果中将会看到，生成的肖像作品生动、准确地反映了相应 照片中的人物形象，并模仿了画家作品的艺术类型，可以说，在一定程度上也模 仿了该画家的风格。 另外，由于算法采用了人脸比例统计数据( 同一人种同性之间人脸比例相对 固定) ，c m a i l g 等人仅实现了对亚洲女性的肖像绘制，本文在改善其工作的基础 上，扩展到可以处理亚洲男、女性的肖像绘制。 1 4 本文的篇章结构 以下首先介绍本文的后续章节安排。 ( 1 ) 第二章非真实感绘制、人脸特征提取和图像变形技术综述。这部分主 要介绍了非真实感绘制技术的概况，然后再具体介绍与我们的艺术肖像 画自动绘制系统相关的技术，即人脸特征点提取和图像变形技术。 ( 2 ) 第三章人脸模型定义。这一章介绍了人脸模型的定义。我们在前人的 浙江大学硕l 学位论文 基于特征的肖像画自动生成系统 基础上进行改进，采取6 4 个特征点来定义一个新的人脸模型，使其所 包含的特征点大为减少，分布更为合理，同时又能表现出人脸轮廓以及 人脸的主要特征。 ( 3 ) 第四章人脸特征点自动提取。这部分详细讲述了我们自动提取人脸特 征点的方法。对人脸图像进行快速的、准确的特征点自动提取，是系统 的主要组成部分，也是后面生成高质量肖像画的重要前提。与前人不同 的是，我们采取分治法，把人脸细分成若干小区域，然后再利用改进的 主动轮廓模型方法局部提取相应特征点，从而使速度、准确率都有所提 高。 ( 4 ) 第五章肖像绘制。这一部分介绍了如何绘制肖像画。在一幅画家作品 上提取人脸特征点后，把它作为源图像，把自动提取得到的人脸模型作 为目标图像，采用基于域的图像变形技术，生成一幅新的模仿作品材质 和画家风格的肖像画作品。 ( 5 ) 第六章肖像画绘制系统的实现。这一章介绍了我们的肖像画自动绘制 系统的体系结构和实现。在实验结果部分，我们给出几个典型的实验结 果，并与前人的结果做比较，然后做出分析。此外，还总结了目前我们 系统中存在的问题与不足。 ( 6 ) 第七章总结与展望。撮后，这一部分主要介绍了我们的工作在几个方 面取得的进展以及对这一领域所做的贡献。并对未来的工作方向做出展 望。 浙江大学硕士学位论文 基于特征的肖像画自动生成系统 第二章非真实感绘制、人脸特征提取和图像变形技术综述 2 1 非真实感绘制 非真实感绘制是一个新兴的技术，其英文全称为n o np h o t o r e a l i s t i c r e n d e r i n g ，简称n p r 。经过十多年的发展，非真实感绘制技术取得了长足的进 步，并且催生出不少优秀的产品。近年来，非真实感绘制技术已经成为当前的研 究热点，发展非常迅速。 2 1 1 非真实感绘制的出现 自2 0 世纪6 0 年代计算机图形学诞生以来，对仿真真实世界的追求一直是图 形学界不懈努力的目标。所谓的真实感绘制，就是仿效照相机输出以及利用摄影 过程中所涉及的物理规则，采用物理建模的方法，从物理模型出发，对场景的颜 色、材质等属性进行模拟，并仿真光线和对象的交互，来产生能仿效传统照相机 效果的图像。由于真实世界的丰富多样、自然界的种种过程极其复杂、难以预测， 因此通过模拟真实世界来实现真实感绘制是一项极端复杂的工作。经过4 0 多年 的研究与发展，许多与具有光滑规则外形物体的造型和绘制相关的问题已经得到 解决，甚至可以生成非常复杂的、包含许多自然界景物的场景。 然而，通过模拟真实世界进行真实感绘制的研究通常并不是为了模拟本身， 不是为了得到物理建模的结果，而是为了产生结果图像。这样看来，计算机生成 的结果图像和照片之间的无从分辩的错觉是没有意义的。 回顾绘画艺术的历史，可以发现，早在计算机图形学产生之前，真实感绘制 便诞生了【1 2 】。在十七世纪，欧洲就有艺术家绘制出了具有照片质量的真实感 _ 6 一 浙江大学硕十学位论文 基于特征的肖像画白动生成系统 作品( 图2 1 ) 。由于笔触简短、笔划极端细小，因此绘制结果难以和照片分辩。 这种绘制方法在其诞生一开始就受到了艺术家们的批评：过于精确地反应现实， 偏离了艺术，很难表达艺术家想要表达的意境。 图2 1 十七世纪欧洲艺术家的真实感绘制作品 真实感绘制也面临着同样的问题，从技术上来说，其结果固然精确真实，但 是流于古板冷酷，完美过分以至于失去灵动和感情。 另一方面，在很多场合，如技术和医学插图等，人们需要通过图像来传达丰 富的信息。但是，如何才能使计算机更加有效的表达这些日益复杂的图像呢? 为 了有效地表达相当复杂的信息，那么就需要对复杂图像进行一定程度的视觉抽 象、对某些方面进行强调或者忽略。显然，这是真实感绘制所不能胜任的。 于是，在人们研究如何应用计算机表达艺术感情、如何通过图像有效地交流 信息的热情中，非真实感绘制应运而生。 与真实感绘制对物理过程和光照的模拟相比，非真实感绘制的驱动力主要来 自人类认知的规律，其目的主要是为了通过计算机表现某种艺术手法，或者强调、 传达某种人们关心的特定信息而忽略其它内容。因此，在某些特定的场合，如艺 术、教育、计算机辅助设计、电子商务和娱乐等领域，应用非真实感绘制是更加 合适的。 浙江大学硕1 学位论文基于特征的肖像画自动生成系统 2 1 2 非真实感绘制的发展历程 非真实感绘制最早出现在一些2 维的交互式绘画系统中。这类系统提供模拟 的艺术绘画工具，比如喷枪、铅笔等，用户使用这些工具在画布上绘画，产生基 于象素的效果。随着人们对这些技术的深入研究，出现了两个新的领域：面向笔 刷的2 维绘制系统和2 维2 5 维后期处理系统。前者使用了更多、更成熟的绘画 工具模型；后者则将原始的或者附加有信息的图片作为基础进行图像处理。期问 出现了很多将真实照片转换为某一艺术类型作品的技术。对于绘制的方式，有部 分研究人员倾向于不需或只需极少用户交互的自动绘制算法；而部分人则倾向于 完全的用户交互方式，他们向用户提供模拟的绘画工具，由用户在交互系统上任 意绘制。 经过长期的发展，非真实感绘制才从2 维扩展到3 维，从简单的模拟技术扩 展到各种复杂技术，从仅仅在软件层面上实现扩展到借助计算机图形硬件的实时 绘制。1 9 9 7 年s i g _ g r a p h 将非真实感绘制单独作为一个类别后，非真实感绘制 技术进入了一个稳步发展的时期。 近年来，非真实感绘制研究的一个主要趋势是和3 维技术的结合。传统的3 维计算机图形绘制流水线为非真实感绘制提供了操作3 维数据的能力。不少研究 人员都致力于为非真实感绘制提供能够可视化地、交互地操作3 维数据的实时算 法。在3 维空间中开发非真实感绘制系统，有利于生成动画和虚拟场景漫游，拥 有非常广阔的应用前景。 2 1 3 主要的非真实感绘制技术 根据处理的是3 维还是2 维2 5 维数据以及是否需要用户干预，可以将非真 实感绘制技术分为四类【1 3 】。 处理3 维数据的是基于几何实体的系统，它可以得到所有的3 维对象信息以 及视点信息，因此产生的笔划线条不仅可以表达出色调纹理，还可以表示出形体 曲面。处理2 维数据的是基于图像的系统，由于它不需要3 维模型，因此可以节 - 8 - 浙江大学硕士学位论文 基于特征的肖像画自动生成系统 省比较繁琐的建模工作，输入的2 维数据种类较多，如照片、计算机生成的图像、 医学图像、矢量场描述等，而且可以对任意复杂的场景进行绘制。 由于我们系统处理的是2 维数据，下面我们简单介绍一下处理2 维2 5 维数 据的两类技术： ( 1 ) 不需要用户干预的2 维2 ，5 维非真实感绘制 不需要用户干预的2 维2 5 维非真实感绘制是指那些可以自动生成 各种艺术类型的2 维非真实感图像的系统。早期的非真实感绘制，主要 是集中在传统绘画工具的计算机物理模型建模方面，通过对绘画工具如 画笔、画纸、颜料等的模拟，由算法将输入数据处理为某种艺术类型的 图像，如油画、铅笔茴、水墨山水画等等。其主要代表是【1 4 】和【1 5 】。 i j 者以照片为输入数据，根据图像的颜色应用不同的样条笔刷进行绘制， 并采用分层的方法，先绘制粗的笔划，再在适当的地方绘制细一级的笔 划并覆盖在粗笔划上面，如此绘制若干层，最终将照片处理成为手绘风 格的图像( 图2 2 ) ：后者则是利用视频段中的时间一致性将普通的视频 段转换为一系列手绘风格的图像( 图2 2 ) 。 ( a )( b ) 图2 2 不需要用户干预的2 维2 5 非真实感绘制效果图： ( a ) 照片转换为手绘风格；( b ) 视频转换为手绘风格 ( 2 ) 需要用户干预的2 维2 5 维非真实感绘制 需要用户干预的2 维2 5 维非真实感绘制多数是通过绘画工具模拟 实现的交互绘画平台，需要用户和系统的有机结合，它们侧重于辅助艺 术家创造各种风格的场景，或者利用人的智能解决非真实感绘制中计算 机无法解决的难点。如在【1 6 】的交互式钢笔画绘制系统中，通过模拟 - 9 一 浙江大学硕上学位论文基于特征的肖像域自动生成系统 钢笔的笔触，采用参数化的笔划合成纹理等，由用户在2 维画布上绘制 作品( 图2 3 ) 。 图2 3 交互式钢笔画绘制系统效果图 2 2 人脸特征提取 人脸特征提取，就是在图像的给定区域搜索部分或所有人脸特征( 如眼、鼻、 嘴、脸部轮廓等) 的位置、关键点或轮廓线。人脸特征提取是人脸图像分析的关 键过程，可以广泛应用于人脸识别、脸部动画、脸部图像的压缩和重构等等。 近年来，国内外学者们已提出许多种提取脸部特征的方法。根据提取特征时 所依据的基本信息的类型，可以将现有的人脸特征提取方法分为基于先验规则、 基于几何形状信息、基于色彩信息、基于外观信息和基于关联信息等五类【1 7 】。 2 2 1 基于先验规则的方法 先验规则是根据脸部特征的一般特点总结出来的一些经验描述。人脸图像有 一些明显的基本特征，如眼睛、鼻和嘴等脸部特征，其亮度一般比周边区域的要 1 0 - 浙江大学硕士学位论文基于特征的肖像画自动生成系统 低，双眼大致对称，鼻、嘴大致分布在对称轴上等。为了利用这些基本特征进行 脸部特征点提取，一般要先对输入人脸图像作预处理，使其相应的目标特征得到 强化，然后再根据规则从图中筛选出候选点或区域。主要的算法有镶嵌图【1 8 】、 几何投影【1 9 】、二值化定位【2 0 】、广义对称【2 l 】等。 镶嵌图方法是先将图像划分为一组大小相同的方格，每个方格的灰度取格中 所有象素灰度的均值，根据一组规则确定可能为人脸的区域，然后将方格的边长 减半，重新构建镶嵌图，并根据一组规则分别定位出眼、鼻、嘴等脸部特征。最 后，将前两步所得到的脸部区域二值化，并使用边缘跟踪最终确定脸部特征的位 置。为了实现尺寸无关性，需要对所有可能的方格尺寸都作测试，因此算法的运 算量很大，准确率也不高。但是该方法所采用的由粗到精的搜索策略对后来的研 究有很大的影响。 几何投影是利用脸部特征灰度值比皮肤低的特点，先统计出x 或y 方向上的 灰度值和或灰度函数值和，找出特定的变化点，而后根据先验规则将不同方向上 的变化点位置相结合，就可以得到脸部特征的位置。几何投影方法计算量较低， 但在大的姿态变化或复杂背景下容易失效。 二值化定位方法是先用直方图阈值法将图像二值化，再根据其中黑色区域的 面积、形状和相对位置等几何特征确定出瞳孔的位置，最后通过边缘追踪依次找 到上眼眶、眼角和下眼眶。这种方法运算量很小，但易受光照条件和图像质量的 影响，在追踪边界时容易发生断线问题，稳定性无法保证。 广义对称方法只考察人眼中心点的强对称性和脸部特征的几何分布，对人脸 偏转、表情变化、光照变化等条件不敏感，因而具有很好的鲁棒性。但计算量很 大，而且只利用了各点的对称性，容易产生大量的候选点，使定位精度受到影响。 基于先验规则的方法构造简单，仅使用一些简单的低层图像信息，其难点在 于如何将人们的直观印象精确地表述为可应用的代码化规则。但是，由于这类算 法强烈依赖于预先设定的规则，因此算法的普适性不高，对问题的条件通常会有 较多限制，如要求图像只能单人、姿势和表情的变化不能过大等。 浙江人学硕 学位论文基于特征的肖像卿自动生成系统 2 2 2 基于几何形状信息的方法 几何形状信息，就是目标对象的几何形状特征。它根据脸部特征的形状特点 构造一个带可变参数的几何模型，并设定一个评价函数度量被检测区域与模型的 匹配度，搜索时不断调整参数使评价函数最小化，从而使模型收敛于待定位的脸 部特征。主要算法有主动轮廓模型【2 2 】、可变模板【2 3 】、点分布模型【2 4 】等。 主动轮廓模型是一条由聆个控制点组成的连续闭合曲线，它用一个能量函数 作为匹配度的评价函数。定位前，先将模型定位在目标对象预估位置的周围，不 断迭代使能量函数最小化，当达到最小能量时即得到目标对象的边界。这种方法 的缺点是运算量很大，易受初始位置的影响，对非凸形体检测效果不佳，受局部 变形、噪音和遮挡等干扰时容易出错。 可变模板方法是使用参数化的可变模板来表示脸部特征，也使用了一个能量 函数作为匹配度评价函数。首先将可变形模板放置到相应脸部特征附近，然后逐 步完成尺寸、偏转角度以及位置和形状上的微调。这个算法在人脸相关技术领域 有很大影响，但是它的缺点是：模板的初始位置对定位结果有很大的影响；能量 函数优化过程收敛缓慢，耗时长：能量函数中各种权值通过经验设定，难以保证 最优。 点分布模型是一种参数化的形状描述模型，它用一组离散的控制点来描述对 象的形状，并用主元分析方法建立起各个控制点的运动模型，对控制点的基准位 最和移动模式作了约束，从而保证模型的整体形变始终在可接受的范围之内。搜 索时，将基准模型放在目标图像附近，首先根据每个控制点当前位置附近的局部 灰度信息计算出一个目标位置，而后使整个模型根据约束改变形状，使各个控制 点与目标位置的距离尽可能地接近，如此反复，直至各个控制点都移动到合适的 位置。这种方法在模型中引入了与目标特征有关的信息，从而降低了对噪音和局 部变形的敏感度，但运算量仍然较大。 几何信息类方法具有很好的直观性，易于理解和应用，因而很早就在模式识 别领域得到广泛的使用。但是，由于几何信息对噪声和局部变形比较敏感，鲁棒 性较差，因此通常对图像质量有较高的要求，对姿势、表情等也有一定限制；而 且由于脸部特征附近的对比度较低，导致边界搜索过程收敛缓慢，所以运算量一 1 2 浙江大学颁j ：学位论文基于特征的肖像画自动生成系统 般比较大。 2 2 3 基于色彩信息的方法 色彩信息类方法的基本思想是使用统计方法建立脸部特征的色彩模型，搜索 时遍历候选区域，根据被测点的色彩于模型的匹配度筛选出候选点。通常肤色在 色彩空间中具有聚合性，而脸部特征的色彩信息比较复杂，因此色彩信息类方法 对光照条件和图像采集设备的特性较为敏感，易受环境因素干扰，精读难以稳定； 但其优势在于速度快，受姿势、表情、尺寸等变化的影响小，适合于粗定位或对 运行时问有较高要求的应用。 2 2 4 基于外观信息的方法 外观信息类方法不再面向象素级判断，而是将脸部特征附近一定区域内的子 图像作为一个整体，映射为高维空间中的一个点，这样，同类脸部特征就可以用 高维空问中的点集来描述，并可以使用统计方法得到其分布模型，在搜索中，通 过计算待测区域与模型的匹配度即可判断其是否包含目标脸部特征。主要的算法 有神经网络【2 5 】、主元分析法( p r i n c i p a lc o m p o n e n t a n a l y s i s ) 【2 6 】、支持向量 机( s u p p o nv e c t o r m a c h i n e ) 【2 7 】等。 神经网络很适合解决非线性问题，早就在模式识别领域有广泛的应用。完整 的人眼图像受个体差异、眼睛状态和目标对象姿态等变化的影响较大，而子特征 点( 包括左右眼角和上下眼眶顶点) 附近区域相对稳定。神经网络方法正是利用 了局部特征相对稳定的特点，以各子特征点附近的梯度向量信息作为输入，分别 建立神经网络。在检测时，先用各个神经网络对目标区域进行遍历搜索，再结合 先验规则对搜索结果进行筛选和结合。这种算法训练过程比较简单，有较强的鲁 棒性，受光照、视角和目标对象尺寸的影响较小。 主元分析方法也是模式识别领域的一类经典算法。它通过k - l 变换将表示 1 3 浙江大学倾i ：学位论文 基于特征的肖像画自动生成系统 人脸的高维向量映射到由若干个特征向量张成的子空间中，从而实现对人脸图像 的最优解析和重构。这种方法主要着眼于最优化地解析和重构图像，因此作为分 类器使用时会产生大量的虚警点，需要结合其它算法进行剔除。 支持向量机方法是依据统计学习理论的模式识别方法，与传统学习理论力图 使经验风险最小化不同，它着眼于使学习过程中的结构风险最小化，较好地解决 了小样本情况下的学习问题。但是这种方法的困难是需要解决二次规划问题，计 算复杂度高，内存需求量大。 外观信息类方法对图像质量、光照、人物姿势、表情等方面的变化有较好的 适应能力，而且它们大多基于一定的统计模型，具有良好的可扩展性，可以通过 “自举”策略来使系统的精确性和兼容性得到提高。但是这类方法也有较多的缺 点：计算量非常大；由于使用的是抽象的高维统计信息，因此很难和直观的物理 特征相联系；仅使用局部灰度信息难以有效地定位脸部特征；在大型图像库上性 能不佳。 2 2 5 基于关联信息的方法 关联信息类方法是在局部信息的基础上，引入脸部特征之间的相对位置信 息，利用脸部特征之间存在的较稳定的相对位置关系来缩小候选点区域。与先验 规则不同的是，这类方法所使用的相对位置信息都是通过统计学习得到的。主要 的算法有概率网络【2 8 】、动态链接模型( d y l l a m i cl i i l l 【a r c l l i t e 血鹏) 【2 9 】、g a b o r 小波网络( g a b o r w 撕e l e t n e t 、o r k ) 【3 0 】等。 概率网络方法是使用一个三层的贝叶斯概率网络来对人脸建模。在搜索中采 用自底向上的策略，先结合高斯滤波器和边缘检测算法找出双眉、双眼、鼻和嘴 的候选点，然后根据邻近候选点之间的相应关系两两配对成水平或垂直组合，再 进一步归入人脸的上下左右四个区域，从而筛掉虚警点。 动态链接模型是一种神经网络模型。它采用一个神经元矩阵，每个节点由 4 0 个不同方向、不同频率的g a b o r 小波函数组成，其返回值组成一个向量，用 来表示局部信息。这种方法对目标对象在姿态和表情方面的变化有很好的适应能 1 4 浙江大学硕i 学位论文 基于特征的肖像画自动生成系统 力，但运算量很大。 g a b o r 小波网络是一种基于g a b o r 小波的神经网络。它在训练中同时对相关 权值和小波函数本身的参数作优化，从而可以用很小数量的小波函数实现对目标 对象的解析和重构。 除了相对位置信息，人们还利用相似人脸的经验信息等关联信息来确定搜索 的初始位置。随着信息类型的增加，定位的准确率也随之提高，对人物姿势、表 情上的变化也有一定的适应能力，但同时也大大增加了算法的运算量。 人脸特征提取的特点在于特征的图像区域小，本身荷载的信息量较少，区分 度有限，更易受目标对象本身状态和外部因素的干扰。为了提高算法的抗干扰能 力，一个方法是综合利用各类信息，如脸部特征之间存在的一些相对固定的位置、 朝向关系等，在单个脸部特征定位的基础上，引入上下文关系，可以有效地排除 虚警点，提高识别的正确率。 另一方面，算法的准确、普适性和其运算量是一对显著的矛盾。为了保证算 法有足够的推广能力，就必需尽可能地从图像中挖掘并利用信息，但复杂的模型 必然导致运算量增大和运算速度降低。因此，可以利用目标点远远少于非目标点 的特点，将搜索过程划分为多个阶段，采用由粗到精的搜索策略，先使用一些运 算量小、错误拒绝率低的算法，尽快将大部分非目标点排除：然后再用准确率高 的算法筛选出最终的结果。这样，不同算法的优势得到互补，使系统的整体运行 速度和准确率都得到保证。 2 3 图像变形 图像变形是一种图像处理技术，即在图像问进行二维的形状和颜色插值，产 生从起始图像到终止图像的平滑过渡的期间图像，使得起始图像逐渐地变化到终 止图像【3 1 】。 图像变形技术发展了十多年，已经被广泛地用来在影视娱乐和科学研究中产 生特殊视觉效果和提高视觉震撼力。如电影终结者i l 中金属机器人在各种角 一1 5 浙江大学顾l 学位论文基十特征的肖像画自动生成系统 色之间的变化，就是采用了这种技术。 图像变形算法的发展过程，是一个改善用户交互和减少计算代价的过程。早 在1 9 8 8 年，基于网格的变形( m e s h w a f p i n g ) 就在一部电影中使用过【3 2 】。网 格变形是利用非均匀的控制网格，通过样条插值来产生两幅图像间的变换函数。 这种方法特征表达丰富，变形过程简单，在实际应用中便于进行局部控制，但是 特征标注过于繁琐，要求用户进行非常复杂的交互，而且运算复杂度很高。 后来有人提出了基于域的变形( f i e l d m o i p h i n g ) 【3 3 】。域变形是利用源图像 和目标图像中有特征代表性的线段对来定义两幅图像间的坐标映射，图像上其它 点通过到线段的距离来确定对应关系。通常用反向映射来进行图像变形，依次扫 描目标图像的每一个象素，在源图像中找出对应象素，这样，目标图像的每一个 象素都会有适当的填充。对于复杂图像一般是采用多线段对的特征标注方法，利 用每个象素点到特征线段的距离和线段的长度设置权值，并根据所有线段对的映 射关系对象素点位移作加权平均，从而确定源图像象素点的位移。这种方法比网 格法更易于表达特征；而且利用若干对线段极大方便了用户的交互，操作量小。 但是，变形过程复杂，计算量大，特征表达有限，有时还会产生不需要的瑕疵， 即所谓的鬼魂( 曲o s t ) 。域变形方法的计算量主要取决于线段对的数量，线段对 越多，则计算量越大，最终实现的渐变效果也越好。 后面出现的一些算法，包括径向基函数( r a d i a lb a s i s 矗m c t i o n s ) 方法【3 4 】、 薄片样条方法( t l l i np l a t es p l i n e ) 【3 5 】和能量最小化( e n e r g ym i l i m i z a t i o n ) 【3 6 】 等，把变形的生成作为一个离散数据插值问题用公式来表达，改进了变形函数的 质量，使变形更为平滑。在改进函数质量的同时，这些方法也付出了相对较大的 计算代价。基于多级自由形态变形( m l l l t i l e v e l 丘_ e e f o n nd e f o n 撕0 n ) 【3 7 】的算 法，通过加速变形生成，可以显著的改善这个问题。 1 9 9 8 年，g a o 【3 8 】提出了一个新的算法，在决定两幅相似的图像之间的变 形函数时，几乎不需要用户的参与。这为最终消除用户的交互提供了可行性证明。 近年来，对图像变形技术的研究工作仍然是方兴未艾，更加有效的方法和算 法还会不断产生，任何有多媒体存在的领域都会有图像变形的用武之地。 一1 6 - 浙江大学碗t 学位论文基于特征的肖像l 田l 自动生成系统 因此，我们在保留主要人脸特征的基础上，将模型修改、简化，采用6 4 个 特征点来表示一个人脸( 图3 3 ) ，其中各人脸特征部位的点数如表3 _ 2 所示。 图3 - 36 4 个特征点构成的人脸模型 表3 26 4 各特征点的分布情况 【部位脸部轮廓左眼右眼鼻子左眉右眉嘴唇 l 点数1 6661 088l o 后面第六章中的实验结果将会表明，通过我们的简化模型绘制出来的肖像 画，其效果并不亚于由先前较复杂人脸模型所得到的效果，依然可以较好地体现 人物脸部特征。同时，新模型中特征点的分布不会过于密集，使得特征点自动提 取的准确性有所提高，而计算量大为减少，系统速度得到提高。 一1 9 浙江大学硕士学位论文 基于特征的肖像嘞自动生成系统 第四章人脸特征点自动提取 对人脸图像进行快速的、准确的特征点自动提取，是系统的主要组成部分， 也是后面生成高质量肖像画的重要前提。在这一章，我们先介绍c h i a n g 【1 1 】所 采用的特征点提取方法，并分析该方法的不足，然后按步骤详细地介绍我们提出 的新方法。 4 1 采用平均脸方法的介绍与分析 c h i a n g 在进行特征点提取之前，以1 0 0 张人脸照片为统计样本，手动在每张 照片上提取1 1 9 个特征点，然后以两瞳孔中心为原点，以两瞳孔间距离为基本单 位，统计出人脸模型中每个特征点的平均位置，所有的平均点构成了一个轮廓， 称为平均脸。 对一张照片进行特征点自动提取时，先检测出瞳孔的位置；再以两瞳孔中点 为原点，两瞳孔间距离为基本单位，将平均脸覆盖在人脸图像上( 图4 1 ) ；然后 采用主动轮廓模型算法，对平均脸进行迭代逼近，使其收敛在实际边界处( 图 4 2 ) 。 图4 1 采用平均脸覆盖在人脸图像上 一2 0 - 浙江大学硕士学位论文 基于特征的肖像画自动生成系统 图4 2 收敛结果 从上面的结果看来，这个算法可以较好地提取到特征点。但是，该算法存在 很大的局限性：主动轮廓模型算法对迭代轮廓的初始位置很敏感，要求初始轮廓 接近实际边界，然而只有当人脸各部分比例接近平均比例的情况下，平均脸才能 覆盖在实际边界附近，如果人脸各部分比例和平均比例相差较大，那么平均脸覆 盖时，会使某个特征部位的初始轮廓覆盖到相邻特征部位的实际边昴处，从而在 迭代逼近时趋于局部最优，收敛在相邻特征部位的边界处。如图4 3 所示，进行 平均脸覆盖后，眉毛的初始轮廓完全位于实际边界的上方，这样，在进行迭代逼 近时，整个眉毛轮廓会趋于局部最优，都收敛在眉毛实际边界的上方。 ( a )( b ) 图4 3 平均脸覆盖的不足：( a ) 覆盖初始轮廓；( b ) 眉毛收敛结果 2 l 一 浙江大学硕士学位论文基于特征的肖像画自动生成系统 在同一人种同性范围，比如亚洲男性，其人脸各部位的比例都在一固定范围 内。为了利用这个规则，同时降低算法的局限性，我们不采用平均数据，而是采 用极大数据。即对人脸各特征部位所在最小矩形区域做统计，取其极大值，这样， 可以保证准确定位特征部位所在范围。类似地，为了不受图像尺寸的影响，在统 计时以两瞳孑l 间距离为基本单位。 因此，在提取人脸特征点时，为了在保证准确性的同时不至于增大运算量、 降低速度，我们采用由粗到精、分而治之的搜索策略。我们利用图像区域较小、 目标点远远少于非目标点的特点，将搜索过程划分为多个阶段，先使用一些运算 量小、错误拒绝率低的算法找出眼睛区域，确定瞳孔位置；然后根据脸部特征之 间存在一些相对固定位置的特点，以两瞳孔问距离为度量单位，由瞳孔位置判断 出其它脸部特征的大致位置，将人脸分成若干小区域；再用准确率高的算法在各 个区域内提取相应特征点。这样，可以使不同算法的优势得到互补，使系统的整 体运行速度和准确率都得到保证。 4 2 瞳孔定位 在这一节，我们先在人脸图像中找出眼睛区域，然后检测出瞳孔位置。 下面先确定眼睛区域。相对于人脸区域的其它点，人脸特征部位的一个显著 特点是其边缘强度明显要大于附近区域。因此，我们先对图像进行边缘检测，筛 选出眼睛的候选点。我们选择s u s a n 算子进行边缘检测，把掩模调整为一个， 矩阵，考查掩模内每个点和当前点灰度值的一致程度。计算方法如下： r l 。p ，风。 o i ，( p ) 一，( p 。) i 7 1 ，1 、 i ( p ) 一j ( 风) l 7 t 。1 ( p 。) = c ( p ，p 。) ( 2 ) ，= g 黝i 暑 其中，表示当前象素点；p 表示掩模范围内的其它点；( p ) 表示p 点的 灰度值；c ( p ，风) 表示两个象素点灰度值的相关性；r 为象素间差异阀值，若两 浙江大学硕l 学位论史基于特征的肖像圊自动生成秉缝 个象素灰度值相差大于该阀值，则认为这两个象素点不同c ( p ，) 置为o ； ( p 。) 就是区域内相同象素点的数目，( 风) 越小，则水平边缘强度越大：g 为 几何阀值，当( 仇) 大于该阀值时，就认为这个点不足边缘。 在我们的系统中，这些参数设置为，= 5 ，r = 2 7 ，g = 0 7 5 _ v ( 岛) 。，其中 ( p 0 ) 。为整个图像范围内的最火值。边缘检铡后的结果如图4 4 所示。 图4 5 计算各连接成分的最小包围盒 然后，我们在这些包围盒中筛选出眼睛。判断时，我们先根据图像的大小 由于输入的已经是人脸区域，因此，相对于图像过小或过大的区域自然就不是眼 睛区域，可以去掉；如果某区域非常接近图像边缘，也认为不是眼睛区域。我们 还利用了是否平行、大小相似、内含边缘点数目等条件，这样可以顺利筛选出正 - 2 3 - 浙江大学硕k 学位论文 基于特征的肖像闾自动生成系统 4 4 主动轮廓模型算法的调整 4 4 1 主动轮廓模型原理 主动轮廓模型算法是由k a s s 【3 9 】在1 9 8 7 年提出来的一种边界检定和图像 分割的方法，它是通过变形使一条轮廓线在目标对象的实际轮廓处收敛，从而达 到检测轮廓的目的。由于轮廓线变形时就像蛇一样挪动，因此人们又将主动轮廓 模型算法称为s n a l ( e s 算法。 可以用图像上的有序点集来定义一个主动轮廓： y = v l ，一，k ( 4 ) v ，= b ，咒k扛 1 ，” 通常是通过一个能量最小化问题的解决，使轮廓上的点迭代逼近并最终收敛 于目标对象的边界。我们考察轮廓上点v ，的r r 邻域s ，对于s 中的每一点p ， 其能量可计算如下： e ( p ) = c ( p ) + j 臼e 删( p ) ( 5 ) 其中，内部能量e 0 ( p ) 是关于轮廓形状的能量，它定义模型的内部属性和运 动趋向，趋向于使轮廓y 在迭代中保持一定的形状；外部能量e 。( p ) 是关于被 测区域图像属性的能量，如梯度等，它趋向于使轮廓矿偏离内在运动趋向，而逐 渐向目标对象的边界收敛。 我们计算出邻域s 中每一点的能量后，找出能量最小的点v ，然后将轮廓上 点v ，的位置更新为v ，。这个过程可以参见图4 9 。 2 6 浙江大学硕士学位论文 基于特征的肖像画自动生成系统 图4 9 主动轮廓上一点v 在一次迭代中的位置更新 算法要求首先将模型放置在目标对象预估位置的周围，再不断迭代使能量函 数最小化，当内外能量达到平衡时即得到目标对象的边界。 如果能够定义合适的能量函数，那么轮廓y 会向目标对象逐渐靠近，并最终 收敛停止在目标对象的边界处。 4 4 2 固定收敛方向的主动轮廓模型 主动轮廓模型算法是基于几何形状信息的，它具有很好的直观性，易于理解 和应用。但其主要缺点是运算量很大，易受初始位置的影响，而且对非凸形体检 测效果不佳。 由于之前我们已经确定了各个特征部位的范围，因此搜索范围大大缩小，只 需在一个小矩形区域内进行搜索即可，这样可以减少运算量，而且初始位置也可 以更加接近目标对象的边界。为了解决 x 浙江大学硕i ：学位论文基于特征的肖像画自动生成系统 垡为；坚曜懑鼎婺驯剥瓢餮圳i 摩型箜叭季 ， 舅刮； 睦一蓬i = 湖i i ；l e j * 箨j ：垂il 一毳j ：= i 噬晦闭阳j 。