（信号与信息处理专业论文）基于样本学习的人脸个性化卡通模型系统性能分析与优化设计.pdf

摘要 本文首先介绍了基于样本学习的人脸线条画生成系统；该系统可以自动地从输入的图像生成带 有特定风格的人脸线条画。系统设计了用于人脸线条画绘制的灵活模板，使用了线条出现的控制开 关使模板具有灵活的表现能力。线条通过一组对应的特征点控制，隐含了线条画对线条的光滑性和 连续性的要求。该系统通过训练样本得到线条画的先验模型，充分结合了人脸的结构信息。在线条 画和原始图像之间使用了与人脸结构相关的局部似然模型。在生成过程中直接使用样本构造的非参 数化的概率形式。并提出了启发式的搜索算法，可以有效的在线条画模板参数的变维空间中求解。 随后在线条画绘制的基础上介绍了一个基于图像的个性化卡通头像生成系统。该系统提供了一 套方便的交互式操作界面，可以使普通用户简单快捷的生成带有各种表情和动画效果的卡通头像。 然而该系统是完全基于c l i e n t 端的实现，在算法安全性、系统性能以及产权保护等方面部无法满足 系统实用化的需求。 因此，本文的主要工作集中在将现有的个性化卡通生成系统与m s nm e s s e n g e r 系统进行集成。 系统集成的目标是向用户提供一套有偿的付费系统，该系统具有用户数量大，访问量高的特点。现 百的个性化卡通生成系统的体系架构无法满足实用化的需求；因此本文首先对现有的个性化卡通生 成系统进行功能模块的划分，将系统从功能级划分为几个独立的模块，然后对各个模块进行综合性 能测试；在分析和讨论性能测试结果的基础上，权衡可能影响系统性能的各个方面的因素，实现了 一套基于c l i e n t s e r v e r 的优化的体系结构。 关键字：基于样本的学习；线条画；统计学习；非参数采样 a b s t r a c t i nt h i sp a p e r , as a m p l e - b a s e df a c i a ls k e t c hs y s t e mi si n t r o d u c e df i r s t t l l i sa l g o r i t h i ns y s t e m c a na u t o m a t i c a l l yg e n e r a t eas k e t c hf r o ma ni n p u ti m a g e ，b yl e a r n i n gf r o ms a m p l es k e t c h e s d r a m aw i t hap a r t i c u l a rs t y l eb ya na r t i s t a n dt h e l lb a s e d0 1 1t h es a m p l e b a s e df a c i a ls k e t c h s y s t e m ac a r t o o ns y s t e mi si m p l e m e n t e d w h i c hc a ng e n e r a t eap e r s o n a l i z e dc a r t o o nf a c e 疗o n la ni n p u ti m a g e h o w e v e rt h es y s t e mi sb a s e d0 1 2s i m p l e c l i e ma r c h i t e c t u r ew h i c hh a s a l g o r i t h ms e c u r i t yi s s u e s t h em a i nw o r ko ft h i sp a p e ri st oi n t e g r a t et h ee x i s t i n gc a r t o o ns y s t e mi n t om s nm e s s e n g e r s y s t e m w ja i mt op r o v i d eac h a r g e a b l es e r v i c et ot h eu s e gw h os h o u l dn o tb ea b l et og e tt h e g e n e r a t e dp i c t u r e sb e f o r eh ep a y s ，a n ds h o u l dn o tb ea b l et oc r a c ko u rc l i e n ta n dg e n e r a t e s k e t c h e si nas t a n d a l o n ec o m p u t e r s ou n d e rs e v e r a ls e c u r i t yc o n s i d e r a t i o n sa n dc o m m o n p e r f o n n a n c er e q u i r e m e n t s am o r ee f f i c i e n ta r c h i t e c t u r ei si m p l e m e m e db a s e do nt h ed e t a i l e d t e s tr e s u l to f t h ee x i s t i n gc a r t o o ns y s t e mw h i c hi sc a l l e dc l i e n t s e r v e r a r c h i t r a v es y s t e m k e y w o r d ：s a m p l e - b a s e dl e a r n i n g ；s k e t c h ；s t a t i s t i cl e a r n i n g ，n o n - p a r a m e t r i cs a m p l i n g 1 1 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导f 进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人己经发 表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意。 研究生签名：掘庭日期：趁2 盛三& 型旦 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 沦文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 ， 研究生签名：塑签导师签名： 日期： 训哈 携 第一章绪论 第一章绪论 制造具有智能的机器一直是人类的梦想。特别是计算机技术的出现和发展，直接促使了人工智 能科学的诞生，并成为重要的研究领域。上个世纪五六十年代，人工智能的研究在机器翻译、定理 证明、博弈等方面取得了一系列的研究成果。使得人们乐观的断言上世纪末机器的智能就可以达到 超过人类的水平。但是到目前为止，虽然计算机的性能得到了极大的提高并且已经深入到各个应用 领域中，计算机对于模糊的、非确定的自然信息的处理能力还是远远落后于人们的期望。 视觉是人类获取外部信息的主要通道。因此，计算机视觉一直是人工智能领域的热点研究方向。 图像研究是计算机系统如何解释图像的科学，是计算机视觉的信息处理核心。由于视觉信息处理中 存在大量非确定的因素，结合知识是视觉信息处理发展的一个方向。而统计学习理论提供了知识的 表达、获取和综合的框架，成为图像理解领域研究的热点。图像的统计学习需要处理的数据量很大 而且图像中的物体有很强的空间结构性。选择合理的统计模型是图像理解领域的统计学习的关键。 计算机图形学随着计算机技术的提高有了很大的发展。真实感的绘制技术已经可以渲染出逼真 的虚拟场景，并广泛的应用于虚拟现实、电影特效等应用场合。另一方面，非真实的绘制，特别是 模拟人类的艺术作品，比如卡通漫画作品，也有着很强的应用需求。艺术家对图像信息理解与绘制 的过程，很难定量地描绘，让计算机来模拟特定的艺术风格是一件很困难的工作。 本文将首先介绍一种基于样本的人脸线条画自动生成系统；随后介绍一套以线条画绘制算法为 基础的个性化卡通生成系统模型，并且分析该模型可能存在的算法安全性的隐患。 本文的工作主要集中在将现有的个性化卡通生成系统与m s nm e s s e n g e r 系统进行集成。系统集 成的目标是向用户提供一套有偿服务系统。该系统具有用户数量大，访问量高的特点。然而现有的 个性化卡通生成系统是完全基于c l i e n t 端的实现，在算法安全性、系统性能以及产权保护等方面都 无法满足系统实用化的需求。因此本文权衡可能影响系统性能的各个方面的因素，提出了一套基于 c l i e n t s e r v e r 的优化的体系结构。 本章中我们首先概述计算机辅助的卡通漫画绘画系统的发展及其实际应用：其中将详细介绍 人脸特征定位变形模板，这是人脸卡通线条画技术的基础。随后概述系统性能优化设计过程中需要 考虑的三大囡素。最后在此基础上讨论通用的系统优化设计方案。 1 1 计算机辅助的卡通漫画绘制系统的发展 传统的卡通画通过轮廓、线条来描绘物体和场景，是一种独特的艺术表现手法，只有受过专业 训练的画家才具有这样的技巧。随着近年来计算机技术的发展，出现了很多技术，可以使艺术家使 用计算机绘画；其中包括笔划的绘制技术【l 。j 、色调控制。1 和各种数字化输入设备。结合这些技术， 开发出了多种卡通设计和动画系统1 4 ”。例如，i n k w e l l m l 介绍了一些很有效的动画技术：使用分层、 层次化的模块组合、定义运动函数等。最近的c h a r t o o n 4 1 系统又提供了一些附加的功能：针对人脸 定义特定的骨架，利用骨架动画技术可支持模块和动画的重用。 然而，这些系统都是为有经验的画家提供动画制作工具，虽然这些系统中使用很多模板来简化 昔通及其动画的编辑，但未经训练的使用者仍然很难使用它们来生成具有个性化的卡通带有个 人特征的卡通。 为了使普通用户很方便地生成个性化的卡通和动画，研究人员对此进行了多年的探讨。r h o d e s 等人【7o 研究了人们如何识别人脸的特征，希望能够解开人脸识别的秘密。实验发现，即便是几根线 条组成的线条画仍然可以保留人脸的视觉特征。在计算机图形学和计算机视觉研究领域，一些研究 者尝试如何利用人机交互方式来生成人脸的线条画及漫画。b r e l m a n 1 提出了一种交互式的漫画生成 系统。m u r a k a m i 等人实现了一个基于模板的人脸漫画生成p i c a s s ol g l 和w e b p i c a s s o “，其中 w e b p i c a s s o 是可以通过网络访问的。l i 等人1 提出了一种自动的人脸线条画生成系统。在他们 东南大学硕士学位论文 的文章中，主要讨论了使用对称算子、矩形滤波器和特征轮廓来检测和定位人脸的特征点。也有一 些研究者曾尝试着进行漫画自动生成系统的研究盼” 。但是，这些方法都没有从观察和学习画家的 作品出发也没有产生具有画家风格的结果。 事实上，以往人们很少从机器学习的角度来研究用计算机自动地生成具有艺术家风格的线条画， 这种方法是让计算机观察艺术家的作品，通过学习艺术家的作品来模拟艺术家的手法和风格。这种 做法与真实世界中人们学习绘画的方法是非常类似的。其实，人们学习绘画的过程就是通过反复的 观察和模拟来进行的。在这力面l i b r a n d e “提出了一个基于样本的卡通绘画系统x s p a c e 。它主要 使用基于径向基函数( r b f ) 的学习模块来扩展原有的绘画系统。x s p a c e 可以产生生动的线条画，但 是由于它实际上是一个在控制参数空间内的插值，所以生成的结果受限于一组控制参数对应的样本， 最近，f r e e m a n 等人【1 5 ”1 提出了一种基于样本的线条风格转换算法，可以将线条画转换为不同的艺 术风格，但是他们没有讨论如何从图像中生成线条画。 为了解决这一问题，本文介绍了一种基于样本的人脸线条画自动生成系统：它能够根据给定的 图像自动地产生有特定风格的线条画。该系统首先利用基于变形模板的人脸特征定位算法对输入头 像的人脸进行特征分析和定位，然后通过统计学习的方法从艺术家的样本中自动的学习特定的绘制 风格。尽管目前还很难模拟艺术家风格的细节，但是该系统可以根据用户给定的头像照片自动地生 成与艺术家风格非常相似的、视觉特征比较逼真的线条画。 值得注意的是，基于变形模板的人脸特征定位算法是人脸检测和特征定位的强大工具。其中的 主动形状模型似s m 模型) 和主动形态模型( a a m 模型) 1 1 7 ” 都是典型的变形模板算法，也是基于样 本的人脸线条画自动生成系统的实现基础。因此本文将首先详细回顾变形模板，然后在重点介绍 a s m 和a a m 算法基础上，引出基于样本的人脸线条画自动生成系统。 1 1 1自动化个性人脸线条画创始一“平均人脸”概念的提出 我们知道传统的漫画绘制中，漫画家使用线条画来绘制人脸并展现其特征。一个有经验的漫画 家必须清楚人脸特征中，哪些是本质特征；哪些是次要特征。其中，本质特征是个体识别的关键。 无论是人脸漫画绘制艺术家还是在人脸识别领域工作的心理学者，他们都认为那些不唰于“一般” 人脸的本质特征应该被加强，甚至是被夸张，从而达到漫画怠4 作或是张扬个性的目的。然而这些模 糊的定义，使得那些一直希望通过计算机自动生成个性化的人脸线条画的人们只能停留在理论研究 阶段，难以创建一套可实现的系统。 直到在1 9 8 5 年，b r e l m a n 提出“平均人脸”( a na v e r a g ef a c e ) 的概念之后，我们才能够向这一 目标迈进一步。b r e l m a n 创建一套名为“c a r i c a t u r eg e n e r a t o r ”的系统，这套系统需要一位专业漫画家 在一张现有的人脸照片之上，利用鼠标点击的方式，标志出1 6 5 个人脸特征点。在大量统计的基础 之上，b r e n n a n 构建了一个“平均人脸”的特征点样本库。而对于某一张给定的人脸，该系统会将其 特征点与“平均人脸”相对应的特征点进行比较。通过将某个特征点从平均位置上移开，然后在用 线条将这些特征点联系起来，从而产生一张夸张的人脸线条画。 以下是利用该模型生成的原始人脸线条画及其夸张后的结果。为方便比较，我们特别用现代漫 画绘制技术还原这些线条画的绘制效果。 i 雾 ? 第一蕈绪论 图11 ( a ) 人脸线条画；l b ) 用现代技术还原的结果； c ) 夸张之后结果；( d ) 用现代技术还原的夸张之后的结果 b r e n n a n 的“c 耐c a t u r eq e n e r a t o r ”系统代表了早期的交互式的个性化人脸生成系统。这个系统能 够利用计算机与人之间的交互操作，产生夸张的人脸线条画。但是这类系统都需要由专业的漫画家 根据所提供的人脸照片，手工标志出人脸特征点；这成为制约其发展的关键。 在随后的图像分析和计算机视觉研究领域，如何根据给定图像由计算机自动绘制线条画成为人 们研究的热门。在人脸特征定位算法中取得重大突破的是一套基于变形模板的人脸特征定位算法。 1 1 2 基于变形模板的人脸特征定位算法 人脸的监测、识别、表情分析等一直是人工智能、计算机视觉中热门的研究领域。人脸有若很 强的结构信息，同时也具有多样的变化能力。提取人脸的几何特征与形态特征是进行各种人脸分析 的基础。变形模板算法是物体检测中被广泛应用的强大工具。在贝叶斯框架下，通过模板的先验模 型加入物体结构的先验知识。变形模板算法广泛地使用于人脸的几何特征及形态特征的分析中。 在各种图像分析中有很多不同名称的算法，如蛇形线( s n a k e s ) 、主动轮廓模型( a c t i v ec o n t o u r m o d e l s ) 、主动形态模型( a c t i v es h a p e m o d e l s ) l 】7 1 ”j 干口变形模, 板( d e f o r m a b l e t e m p l a t e ) 等。它们都具有 类似的性质，都可以总结为基于变形模板的算法。 这里给出变形模板的一般性定义：所谓变形模板是指由一组参数驱动的，可阻变形的模型，通 过优化的准则可以在图像中匹配已知特性的物体。 在这个定义中，可以变形是这类算法区别于固定模板匹配的性质，通过优化的准则说明了变形 模板的匹配方法。匹配已知特性的物体时算法的应用范围，由于可以把物体的特性通过模板或先验 分布引入模板算法中，这也是变形模板算法得到成功应用的一个重要因素。 1 - 1 3 变形模板算法的贝叶斯框架 变形模板算法可以很好的结合与贝叶斯图像分析的框架中。在这个框架下，设计和使用变形模 板，对图像中的物体进行分析的算法可以概括为以下的步骤。 1 选择物体的参数化描述，即定义组模板参数v ，可以直接地通过映射唯一确定物体的形 态： 2 确定模板参数v 的先验统计分布模型p ( v ) ； 3 确定观测模型p ( i l v ) ，其中i 是观测的图像。观测模型定义了在给出模板系数下出现图像i 的概率，也称为似然； 4 结合先验模型和观测模型，由贝叶斯定理，可以得到后验概率 p ( v l ，) o c p ( ，lv ) p ( v ) ( 1 1 ) 5 选择或训练模型参数； 6 模板匹配的过程转变为估计最大后验概率的问题 v = a r g l n a x p ( vl ，口，卢)( 12 ) v 在概率分布的表示中，经常借助统计力学的些思想，把概率分布写为能量的指数分布形式： p ( vj ) = e x p 一u ( v ，) ) z( 1 3 ) 这样，估计最大后验概率就等价为极小化能量函数。 v = a r g m i n v ( v ，)( 14 ) v 1 ) 模板定义 变形模板的定义就是选择物理合理的参数表示形式，它取决于具体的问题，同时它的不同选择 盲接影响整个算法的其他方面。要给出一个合理的模板定义，有一些一般性的要求。 通用性：模板应当对要描述的物体有足够的描述能力 东南大学硕士学位论文 - 低冗余度和正交化：正交基的使用可以尽量使参数间独立，可以降低模型复杂度。同时也 可一降低冗余度。低冗余度可以提高优化过程的效率和鲁棒性； - 尽可能强的约束：模板的定义中可以包含很强的约束，而且可以简化先验模型的学习。比 如使用b 样条描述的参数化曲线，在定义上就满足了曲线光滑性的约束。 2 ) 先验模型 先验模型的主要作用是为了利用先验知识。先验知识对于在复杂的图像理论问题是必不可少的。 对于先验知识的一种看法是为了正则化，对模板加以一定的约束，限制模板解的范围，比如在s n a k e 算法中使用的内部能量是为了保证曲线的平滑性”。另一种看法从统计的角度认为模板的系数就是 由先验模型决定的，如在主动形状模型( a s m 模型) 中使用样本来估计特征点分布口”。这类方法的问 题是，样本数目应当充分多，而且这个统计模型应当与真正的物理过程吻合。然而在实际问题中， 仍然需要很多的人为知识加入，比如在样本不足的情况下假设先验模型具有简单的分布，如高斯分 布，以保证模型有足够的泛化能力。 3 ) 似然模型 似然模型定义了在模板系数下出现观测图像的条件概率，在很多宴际场合中用来衡量匹配的精 度，并不要求是观测图像严格的概率。一般的图像分布中，常使用图像的灰度或者边缘信息作为观 测模型。而且在图像分析的应用中常使用局部的、相互独立的观测模型，比如在蛇行线( s n a k e s ) 、主 动形状模型( a c t i v es h a p em o d e l s ) 中。似然模型中也可以结合更多的信息，比如在y u i l l e 2 ”定义的眼 睛的变形模板时，就结合了多种图像处理的结果。 4 ) 模型参数学列 变形模板的应用中，在先验模型和似然模型中都有模型的参数需要确定。这些参数直接决定了 模板匹配算法的目标函数，影响算法的复杂度和匹配结果的精度。实际算法中参数的选择有两类算 法：一类是真接制定合适的参数，它的优点是算法设计简单，最大限度的使用问题的先验知识如 蛇行算法( s n a k e s ) “? 参数的确定【l 。缺点是很多参数缺乏直观的意义。另一类是通过样本学习的方法， 如在主动形状算法中的先验模型和似然模型都是通过训练得到的口”。但是这种方法对样本的依赖较 高，只适用于确定应用场合的数据。 5 ) 优化算法 在贝叶斯框架下，模板匹配的算法就是求解最大后验概率或者最小能量的方法。因为模板匹配 算法的应用范围广泛，因此发展出很多实际的算法，可以用通用的优化算法求解，也可以针对具体 的问题提出更有效率的方法。在主动形状算法( a c l i v es h a p em o d e l ) 中使用的是启发式的算法。按照 优化结果又可虬分为局部优化算法和全局优化算法。如在蛇形算法中可以使用全局的动态规划算法， 也可阻使用局部优化的迭代更新算法【l 。还可以分为确定性的优化方法和统计优化的方法。比如梯 度下降算法等就属于确定的优化方法，每次的更新都希望能量函数的下降。而模拟退火算法则可以 允许优化过程中能量的上升，可以避免陷入局部极小。另外，使用于跟踪方面的粒子滤波器则是保 留一组解来描述整个解空间的分布。在实际算法中，还有一个很重要的问题，就是初始化的问题。 它直接影响了局部优化的算法的匹配结果，也影响动态规划算法等全局优化算法的效率。 1 1 3 1变形模板算法在人脸图像分析的应用 我们知道变形模板算法广泛地使用于人脸的几何特征及形态特征的分析中。下面给出变形模板 算法在人脸图像分析中的典型算法。 第一- 章绪论 图1 2 y u i l l e l 2 0 l 使用的眼睛的变形模板 y u i u e 提出了使用可变形模板提取眼睛与嘴唇的轮廓口，是早期经典的人脸几何特征提取算法。 图1 2 给出了为眼睛定义的模板，它用两段圆弧表示上下眼皮，用圆来表示眼球。类似的，嘴唇的 模板也是由几段圆弧组成。然后利用图像的灰度、边缘及其它图像处理的结果定义能量函数。通过 梯度下降算法搜索能量极小值。在d l l e 算法的基础上，不断有人提出改进的算法i 2 1 “。这类算法 的问题是能量函数的参数都是主观给定的，需要交互地调整参数。另外，能量函数的收敛速度和匹 配精度受到初值的影响比较大。 a h l b e r g 2 2 1 使用了蛇形算法( s n a k e ) ，采用动态规划的算法来完成脸部轮廓、眉毛等器官的监测。 同时使用变形模板与图像模板匹配相结台来定位眼睛、嘴角等特征点，他称结合后的算法为变形图 模型( d e f o n n a b l eg r a s h ) 。图1 3 是他使用的变形模板的定义和人脸特征定位的结果。 詈 l j - 躺 黼* ，。一一一m ，；毒；然l 搿；瓣蘩。； 昏m 婚f 删目* 荆曲“ “ 图1 3 a h l b c r g 篮1 使用的变形模板( a ) 变形模板的定义： 【b ) 模板匹配的结果 c o o t e s 18 提出了点分布模型( p o i n t d i s t r i b u t i o n m o d e l ) ，如图1 4 所示，使用一组特征点来描述物 体的结构。在去除平移、伸缩、旋转等几何变换后，统计特征点的分布。这种方法特别适合于匹配 有强结构信息的物体。在这个基础上，提出了主动形状模型( a c t i v es h a p em o d e l ) ，在每个特征点使 用边缘信息作为局部的观测模型，同时提出了启发式的快速搜索算法。主动形态模型( a c t i v e a p p e a r a n c e m o d e l ) 也是c o o t e s 在点分布模型基础上提出的，它同时对特征点和与形状无关的纹理进 行建模，同时训练模型系数的偏差与匹配误差之间的回归矩阵，匹配时使用当前的误差来估计模型 参数的偏差。这两种模型都成功的应用于人脸特征提取中。同时，点分布模型也被扩展到多视点f 的人脸特征提取，还可以扩展到三维特征点的提取“。2 4 东南大学硕士学位论文 图14c o o t e s ”1 使用的点分布模型中定史的人脸特征点。 由此不难看出，基于点分布模型发展起来的主动形状模型( a s m 模型碍口主动形态模型( a a m 模 型) 是进行人脸特征定位的最佳选择。其中，a s m 是专门针对特征点进行分析的快速搜索算法；而 a a m 会同时对特征点和与形状无关的纹理进行分析和建模。 本文在第三章将要介绍的基于样本的人脸线条画自动生成系统选择a s m 模型作为人脸特征点 定位算法，在定位人脸特征点的基础上通过统计的方法生成有艺术家风格的人脸线条画。 本文在第四章将要介绍基于图像的卡通生成系统是以基于样本的人脸线条画自动生成系统生 成的人脸线条画为基础，并在此基础上根据不同的系统预定义的人脸模板生成有着丰富纹理信息的 卡通头像，以满足用户的需求。因此该系统需要使用到会同时对特征点和与形状无关的纹理进行分 析和建模的a a m 模型。 基于以上考虑，本文将在第二章中详细介绍主动形状模型( a s m 模型) 和主动形态模型( a a m 模 型1 。 1 1 4 基于样本的人脸线条画自动生成系统及其实际应用 基于样本的人脸线条画自动生成系统能够使普通用户很方便地生成个性化的卡通和动画。根据 输入的照片，系统可以自动生成个性化的卡通，并且可以在此基础上很方便地编辑出带有特定表情 和夸张效果的卡通画。 卡通的自动生成分为两部分：生成不带笔划风格的线条画和笔划绘制。该系统首先利用a s m 模型算法对人脸特征进行定位，自动生成人脸框架；然后利用非参数化采样技术学习线条画与原始 图像间复杂的统计特性，再结合模板匹配即可从输入图像自动地生成矢量化的线条画。通过骨架笔 划的技术【l ”绘制笔划，生成卡通画。 一旦生成卡通头像，通过选用系统预先设计的表情模板，用户即可改变卡通的表情，产生各种 生动的夸张效果。这一系统将在第三章中详细介绍。 基于样本的人脸线条画自动生成系统在实际中有着广泛的应用前景： -基于图像的个性化卡通交互式生成系统 由语音驱动的卡通动画系统 一 个性化的卡通电子贺卡 本文将在第四章详细介绍基于图像的个性化卡通交互式生成系统。该系统将具有艺术家风格人 脸线条画自动绘制系统与各种系统预定义的包含性别和人种信息的人脸模板相结合，向用户提供了 一套方便操作的可交互式的个性化卡通生成系统。 1 2 算法系统实用化需要考虑的因素及优化设计 1 2 1 算法系统实用化需要考虑的因素 个性化的卡通生成系统具有广泛的应用前景。本文将在第五章将这一系统与m s nm e s s e n g e r 相集成，向用户提供套有偿的个性化 通头像生成系统，并且将这套系统推向实际使用中。 然而值得一提的是，在将一个算法系统实用化、甚至是商用化的过程中，需要考虑多方面的因 素，包括： 如何保障算法安全性，防止电脑黑客的入侵。 6 兰皇塑笙 - 如何保证系统性能，即在大量用户频繁访问的时候仍然能够提供快速的连接速度和高质量 的系统性能。 一如何收费。 一 如何保护知识产权 其中可能会影响整个系统架构的两个因素是：算法安全性和系统性能。 本文介绍的基于样本的人脸线条画自动生成系统尚处于理论研究阶段，为便于实现采用了单纯 基于c l i e n t 的算法系统结构。这种结构的优点是：易于算法实现，便于进行算法仿真和系统测试； 而且因为只有c l i e n t 端的算法调用，没有网络传输的资源和性能的消耗，因此系统性能高；但是这 种结构的缺点是致命的，完全运行于c l i e n t 端的算法结构在实际应只i 中算法安全性得不到保障，很 容易被窃取或仿造。这也是算法实用化的制约关键。 1 2 2 系统优化设计方案 最有效而直接的解决方法是将算法放置在s e r v e r 端。这样c l i e n t 端的程序只能够向s e r v e r 端提 供原始数据，并且向s e r v e r 端请求处理后的输出数据。但是s i m p l e s e r v e r 端的算法结构会带来另外 一个隐患：系统性能将大为下降，尤其是当系统资源和网络带宽受到限制的情况下，s i m p l e - s e ，w e r 端的算法结构无法满足用户对于速度的需求。 显而易见，单纯考虑算法性能的s i m p l e - c l i e n t 端结构和单纯考虑算法安全性的s i m p l e - s e r v e r 端结构都是不能够满足要求的。综合考虑这两个方面的因素，构架均衡的c l i e n t s e r v e r 体系架构是 算法实用化的优化设计方案。 基于c l i e n t 。s e r v e r 端的算法体系结构的核心思想是，将系统分成两个部分，分别放置于c l i e n t 端和s e r v e r 端。这一思想实现的关键是：算法模块化。即首先根据算法功能属性，将算法体系机构 模块化，然后测试并分析每一个算法模块，将其中控制关键步骤地核心模块，以及执行速度相对较 快的模块放置在s e r v e r 端；而将剩下的进行辅助算法处理的辅助模块，阻及占用空间资源较大的模 板放置在c l i e n t 端。 很显然这一发计方案成功的关键是功能模块的分解和单个模块的洼能铡试。只有在得到准确地 模块测试结果之后才能够构架出优化的c l i e n t s e r v e r 端的算法结构。 1 2 3 现有卡通生成系统与m s nm e s s e n g e r 系统的集成 本文将在第五章对现有的个性化的卡通生成系统的各个功能模块进行详细的测试和分析：然后 在第六章根据测试分析的结果，构造出可行的系统优化设计方案；最后将这一优化的系统结构集成 到m s nm e s s e n g e r 现有体系架构中。 1 3 论文结构 如上所述，在本文中，将首先介绍一种基于样本的人脸线条画自动生成系统的算法原理和体系 架构及其应用于实际的原型：基于图像的卡通生成系统。本文的主要工作集中在对现有系统进行测 试并提出改进方案，并将改进的个性化卡通生成系统与m s nm e s s e n g e r 系统进行集成。 各章的具体内容概括如下： 第二章，介绍人脸特征定位算法中的两个典型模型：主动形状模型( a s m 模型) 和主动形态模型 f a a m 模型) 。其中a s m 模型是人脸线条化算法模型的基础；a a m 模型是人脸纹理识别的算法基础。 第三章，介绍基于样本学习的人脸线条化自动生成算法。系统通过分析该算法中所用到的两项 关键技术：非参数化采样方法和灵活的线条画模扳，阐明其在实现以及实际应用中，较其他类似算 法的优越性。 第四章，介绍以线条画绘制算法为基础掏架的基于图像的卡通头像生成系统原型。该系统是一 个单纯基于c l i e n t 端的系统体系结构，在算法安全性方面存在隐患。 7 东南大学硕士学位论文 第五章，对基于图像的卡通头像生成系统进行综合性能测试，并且分析和讨论性能测试结果。 提出系统改进建议。 第六章，将现有的个性化卡通生成系统与m s nm e s s e n g e r 系统进行集成。并且从算法安全性和 系统性能两个方面出发，将原有s i m p l e c l i e n t 端的系统体系结构优化成为同时基于c l i e n t 端和s er v e l 端的全新的系统体系结构。该算法较之原有算法，具有算法更安全，网络传输速度更快的优势。 第七章，结论以及可能的发展方向， 第二章主动形；隈模型( a s m ) 和主动形态模型( a a m 模型) 第二章主动形状模型( a s m ) 和主动形态模型( a a m 模型) 主动形状模型( a s m 模型) 和主动形态模型( a a m 模型) 1 71 ”都是以点分布模型( p o i n t d i s t r i b u t i o n m o d e l ) 为基础发展而来的。使用的特征点集，可以在模型中包含很强的结构信息。同时他们的统计 模型和优化准则都是从样本中学习得到的，增强了算法的通用性。因此常选择它们作为人脸特征定 位算法的基础。下面详细介绍这两种算法，并讨论他们的优缺点。 2 1点分布模型 在点分布模型中，物体的形状是由一组特征点决定的。记特征点坐标组成的矢量为s ，它的 变化是由两个因素引起的：旋转、平移和收缩等几何变换；与几何变换无关的物体的非刚性形变。 因此，在点分布模型中，物休的形状c l i n g 分系数决定：几何变换系数t = ( 0 ，f 。，f 。j ) ，是旋转、 平移和收缩的系数；经过几何归一后的特征点坐标组成的矢量x ，称为归一化的形状。在公式21 中给出了一组训练数据中形状的示例。为了叙述方便，g ，用来表示由t 的元素定义的几何变换，即 s = o t ( x ) 。记s i 。和s i ，是s 中第i 个特征点的坐标，用x 和x 。，来表示x 中第i 个特征点的坐 标。s = g t ( x ) 所定义的坐标映射为 s 。一。+ s ( c o s 0 工，。一s i n 0 v ) 。、 s r v = f ，+ s ( s i n 0 x 。+ c o s 0 - 五。) 令s 。= s c o s 0 ，s 。= s ts i n 0 ，上式可以写为 s = ，+ ( s c 。s x - s 汕u - ， ( 2 2 ) s ，= t ，+ ( s 。t x + s 。r x 。) 这样g 一所定义的几何变换式可逆的线性变换，记它的逆变换为g i l 。 为了从特征点定义的形状s 得到几何变换参数t 和归一化的形状x ，需要一个基准的归一化形 状。任意形状s 对于x 进行几何对齐，即使得i i s gr ( 鼻) t l 最d 、的几何变换参数t 和归一化后的形 状x 。可以把x 的坐标代入公式2 2 ，使用最小二乘法得到最优的t ，然后只用x = g ；1 ( s ) 得到归 化后的形：状x 。 给出一组训练样本( s 。) ， i = l ， ，n ，可以通过下面的方法得到点分布模型的基准形状j 1 平移所有的s 、，使它的中心为零点； 2 求出平移后s i 的平均值雪，并进行模归一化，即乘以常数后使它的模为1 ： | 雪= 1 。 然后把它作为工的初始值估计o ： 3 以为基准，对s ，进行几何对齐，即估计出l 和x ，i 4 求出x 的平均值x ； 0 东南大学硕士学位跄文 5 以x 为基准，再次对齐x 后，进行模归一化后，最为卫的估计 6 如果盖的变化小于阀值，算法收敛；否则转至第3 步。 归一化形状特征x 的变化是与几何变换无关的物体结构的变化。从样本中估计出x 的概率分布 p f x ) ，就是物体结构的先验。但是，x 的维数是特征点个数的两倍，直接估计概率密度参数的维数 太高，而且对于具有较强结构性的物体，特征点的坐标问存在很强的相关性。因此，先使用独立主 元分析把数据降到n l 维 x = x + 曲 f 2 3 1 其中爿为数据集中x 的平均值，巾是协方差矩阵特征值最大的前1 1 1 维特征向量，b 是m 维的向量， 是x 在中上的投影值。 b = 1 ( x x )( 2 4 ) b 就称为模板的形状系数。数据维数i n 的选取是通过经过数据降维后期望保留的方差能量来决定的， 一般选择保留9 8 的方差能量。 形状模型系数包括几何变换系数t 和降维后的形状系数b ，在图2 2 中给出了b 的前3 维在加 减3 倍标准差后对人脸形状的影响。这样，先验模型就只需估计m 维的概率分布“b ) 。在少量的训 练数据下，为了增强模型的泛化能力，可以假设每一维独立且服从高斯分布，也可以根据情况选择 混合高斯分布等更复杂的概率模型。 2 2 主动形状模型 2 2 1 观测模型 在主动形状模型中，对每一个特征点使用了局部似然模型。对每个特征点，沿着轮廓的法线方 向，在特征点的两侧等间距的取样灰度梯度信息作为局部的观测。取灰度梯度是为了减少全局光照 的影响，提高鲁棒性。把对该特征点采样得到的观测数据记为g o ，对g o 除以平均的绝对值，可以得 到归一化后的观测g 。= 量1 5 ，lg 。，l ( 2 5 ) 通过训练样本，可以得到归一化的观测g 的平均值g 以及协方差阵s g ，假设它服从高斯分布。在模 板匹配时，设当前特征点的观测为g o ，用马氏距离( m a h a l a n o b i s d i s t a n c e ) 来衡量特征点匹配的质量 e ( g ，) = ( g 。一言) 7 s ；- 1 ( g ，一季) ( 2 6 ) 1 0 第二章主动形状模型( a s m ) 和主动形态模型( a a m 模型) 2 2 2 搜索算法 征点 轮廓 圈21 特征点沿轮廓法线方向在一个范围内更新到景佳匹配点。 主动形状模型的摹本算法是一个启发式的迭代的搜索方法： 1 由模板的形状参数b 由公式( 2 3 ) ，重构出归一化的形状x 。再由几何变换参数生成当前 的特征点集s = g t ( x ) ； 2 如图2 】所示，对特征点集中的每一个s 。，根据局部似然模型沿着法线方向在一定范围内 寻找最佳的匹配点。得到更新后的特征点集s 。搜索的步长和取样间距相同。 3 把更新后的特征点集，与基准形状x 几何对齐，得到新的几何参数t 和x ，使用公式2 4 可以得到形状系数b ； 4 使用先验模型p ( 6 ) 约束更新后的形状系数； 5 循环至收敛。 用模板的先验p ( ) 约束形状系数，目的是使用模板匹配结果在合理的形状空间中。在主动形状 算法中，给出了几种方法，如可以使用强制约束，把模板系数的每一维的绝对值都限制在3 倍的标 准差内。也可以乘以( 0 ，】) 间的系数k ，使得p ( k b ) 9 8 。 至于搜索收敛的判断，在主动形状算法中，如果特征点搜索的最佳匹配点和当前点的距离不天 于取样间隔时，认为这个点是收敛的。当收敛的特征点的数达到9 0 时，认为整个算法收敛。 2 2 3 多分辨率 为了提高算法的效率和鲁棒性，可以使用多分辨率的模型。对图像使用高斯平滑和亚抽样，特 征点的局部似然模型可以捕捉更大尺度的图像特征，而且在特征点可以做更大范围的移动。在粗分 辨率下收敛后，就只需要在高分辨率下做小范围的调整。所以，多分辨的方法也可以使模型在相同 的要求下，对局部的似然模型的图像取样和局部搜索的范围选择较小的值。这对于训l 练样本的学习 和算法的效率都是很有好处的。 2 3主动形态模型 2 3 1 形态模型 在主动形态模型中，同时考虑特征点所定义的结构特征和与结构无关的纹理的变化。在这里， 纹理的含义是指灰度变化的模式。如图2 2 所示，物体的图像可以通过图形学中的变形算法( w a p ) 分 解为特征点基和与几何无关的纹理g o 。通过同样的算法可以从特征点基和与几何无关的纹理重构出 物体的图像。 东南大学硕士学位论文 图2 2 物体的图像可以分解为形状和与形状无关的纹理 如同在点分布模型中一样，特征点基可以进一步分解为会局的几何变换i 和形状x 。从几何无关 的纹理中可以计算 h 全局的灰度参数u = ( ，u 2 ) ( 亮度和对比度) 2 f 1 ：瓜，“2 ：鱼( 27 ) 门 其中，1 1 是g o 中元素的数目通过对每一个像素的线性变换，可以得到灰度归一化后的纹理g g ( 1 ，) = ( g o ( v ) 一u 2 ) u 1 ( 2 8 ) 其中v 是图像的坐标。 与主动形状模型类似，对归一化后的形状x 和纹理p 组合起来进行独立主元分析，可以得到组 合形态模板的系数c x = x + q s o ，g = g + q 。c( 2 9 ) 其中，x 和g 分别是x 和g 在训练样本中的平均值。图2 3 中列出了前几维的变化后的影响。 毒! ； 繇： 冁： 图2 3 形态模板系数c 的影响 综上，形态模型的系数包括几何变换系数t ，图像灰度变换系数u ，和组合形态模板系数c 。把 它们的整体记为p ，即p t - ( t t u t c t ) 。 2 3 2 误差分解 给出了当前的形态模型的系数p ，就可以重构出模型的纹理p 。同时在模型匹配时，可以从当前 的图像中通过几何变形和灰度变换后得到当前图像中的纹理g 。把它们之间的误差记为r ，它是与 1 2 蔓三至三垫垄鉴蔓型! ! ! 坐翌圭垫里查堡型! ! 型竖型! 当前的模型系数p 相关的函数 r ( p ) = g g 。 ( 21 0 ) 可以通过误差r 来衡量模板匹配的结果。可以使用误差的能量e ( r ) = r t r 作为模板匹配的准则。 纹理的误差r 是模型系数p 的误差引起的，而且它们之间有很强的相关性。对纹理的误差r 做泰 勒展开，保留线性项 r ( p + 4 0 ) ：r + 昙印 ( 2 1 i ) 要使纹理的能量e r 为0 ，就是要使公式2 11 的左边为0 可以得到 印= 一r r ( 2 1 2 ) 其中， r ：f 堡。堡p 堡1 、劬印7a p r 2 1 3 ) 公式2 i3 中的a 劲是与当前的模板系数p 和当前的图像相关的。但是如果在优化过程中，每 一步都重新计算会带来很大的计算量。在主动形态模型算法中简化了这一点，在训练过程中，可以 估计出训练样本的a r 印，并作为常量应用于优化过程。估计出训练样本的打劫，采用了数值估 计的计算方法。对每个训练样本，己知它理想的模型系数p ，加上小的扰动p + 印，可以得到对应 的3 r 。由一组这样的数据就可阻估计出驯印，进而得到公式21 2 中的r 。 2 3 3 搜索算法 模板匹配的过程就是调节形态模型的系数p ，使误差的能量e ( r ) 最小。在公式2 1 2 中，