（信号与信息处理专业论文）人脸特征点提取研究及其在漫画软件中的应用.pdf

人脸特征点提取研究及其在漫画软件中的应用 摘要 日常生活中人脸对我们来说最常见，也是最熟悉的一部分。每个人都对人脸充满了 兴趣。在学术上，人脸被应用于人类学、心理学及工程学等各个领域。 人脸漫画往往可以更好的反映一幅原始图像。可以更简洁更有效地代表一个人脸的 特征。提取人脸特征并对其加以强调后可以通过计算机自动绘制出人脸漫画。在人脸漫 画绘制时，大多数传统方法都是通过计算输入人脸与平均人脸的区别，应用推断技术将 区别夸张地表现出来。以往算法将人脸部分作为一个整体部分统一处理，目前存在另外 一种方法，通过分别计算人脸的特征空间来处理人脸形状，然后分别对人脸每一部分加 以夸张表现，这种人脸处理方法能够灵活地提取出人脸特征点并绘制出人脸漫画。但是 仍然存在很多缺点，它只能处理特定的没有旋转角度没有表情的人脸，且精度也不是很 高。所以如果用这种方法提取多姿态人脸特征，效果将不是很理想。 本研究分别提出了基于角度判断和基于局部二值模式的活动外观模型算法改进现 存的一个人脸漫画绘制平台。活动外观模型是通过主成分分析法对给定的一组数据处理 在其子空间中保留数据最大信息，将模型参量变化线性化的过程，其模型能够描述物体 的形状与纹理特征。本研究在人脸建模过程中，打破了常规的模型建立方法，首先应用 f a c e f i t 工具手动对人脸库中的人脸进行特征点标定，然后建立三种旋转角度的人脸模型 实例。在人脸特征拟合过程中，引用了模式二值处理算法判断输入人脸的旋转类型，然 后选择合理的人脸模型实例，通过拟合提取出人脸特征点。最后根据漫画软件绘制原理 将提取出的人脸特征点建立一个特殊文件绘制出入脸漫画。 通过实验证明本研究建立的新的人脸漫画绘制平台能够有效从具有旋转角度或表 情的人脸中提取出特征点并绘制出入脸漫画。且相比较传统的活动外观模型本文提出的 基于模式二值处理的活动外观模型在拟合精度上提高了2 7 ，在拟合效率上提高了9 。 关键词：活动外观模型；模式二值处理；主成分分析；漫画平台；人脸特征点；f a c e f i t 工具 哈尔滨丁程大学硕+ 学位论文 a b s t r a c t af a c ei sv e r yf a m i l i a rw i t hu sa n di ti st h eo b j e c tw h i c hw es e em o s tf r e q u e n t l yi no u r d a i l yl i v e s e v e r y o n eh a ss o m ei n t e r e s t si nf a c e s i na c a d e m i cf i e l d s ，t h ef a c ei st r e a t e di n v a r i o u sf i e l d ss u c ha sa n t h r o p o l o g y ，p s y c h o l o g y ，e n g i n e e r i n ga n ds oo n f a c i a lc a r i c a t u r e ss o m e t i m e sc a ni m p r e s sp e o p l em o r et h a n o r i g i n a lp h o t o g r a p h s i t r e p r e s e n t sf e a t u r e so fi n d i v i d u a lf a c ec o m p a c t l ya n de f f e c t i v e l y b ye x t r a c t i n ga n d e m p h a s i z i n gf a c i a lf e a t u r e so fa ni n d i v i d u a lp e r s o nf r o m a l li n p u tp h o t o g r a p h , i ti sp o s s i b l et o d r a waf a c i a lc a r i c a t u r ea u t o m a t i c a l l yb yc o m p u t e r 。m o s tc o n v e n t i o n a la p p r o a c h e sa r eb a s e da m e t h o dw h i c hc a l c u l a t e st h ed i f f e r e n c e sb e t w e e na ni n p u tf a c ea n da na v e r a g ef a c e ，a n dt h e n e x a g g e r a t et h e mb yt h ee x t r a p o l a t i o nt e c h n i q u e i nm o s tc o n v e n t i o n a la p p r o a c h e s ，t h es h a p e s o ff a c i a lp a r t sa n dt h e i ra r r a n g e m e n ta r et r e a t e dt o g e t h e r i no n ea n o t h e rm e t h o d ，e i g e n s p a c e s a l ec a l c u l a t e df o rs h a p eo f e a c hf a c i a lp a r ta n da r r a n g e m e n to f f a c i a lp a r t s ，r e s p e c t i v e l y t h e e x a g g e r a t i o np r o c e s si sp e r f o r m e dt h r o u g he a e he i g e n s p a e ei n d e p e n d e n t l y t h u s ，t h i sm e t h o d p o s s e s s e st h eh i 曲f l e x i b i l i t yi nd r a w i n gf a c i a lc a r i c a t u r e s b u ts t i l lt h e r ea r ed i s a d v a n t a g e si n t h i sm e t h o d o n ei st h a ti tc a no n l yp r o c e s st h ei n p u ti m a g ew i t h o u tf a c i a le x p r e s s i o n s ， r o t a t i o n a n da l s ot h ea c c u r a c yi sa l s on o te n o u g h s ow h e np u tt h e s er e s u l ti m a g e se i g e nd a t a i n t oo u rf a c i a lc a r i c a t u r es o f t w a r e ，t h eo u t p u tw i l lb en o ti d e a l i no u rw o r k , w ea i mt oi m p r o v et h ea u t o m a t i cc a r i c a t u r es y s t e mi nb yu s i n ga c t i v e a p p e a r a n c em o d e lb a s e do na n g l e - j u d g m e n ta n dl o c a lb i n a r yp a t t e r n ( l b p - - a a m ) t ol o c a t e f a c i a lf e a t u r ep o i n t sa n dt h e na p p l yi tt oc a r i c a t u r es o f t w a r es y s t e m t h ea a mi so n e g e n e r a t i v ep a r a m e t r i cm o d e lo fo b j e c t st h a td e s c r i b e sb o t hs h a p ea n da p p e a r a n c ev a r i a t i o n s t h e s ev a r i a t i o n sa r er e p r e s e n t e db yal i n e a rm o d e ls u c ha sp r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) ，w h i c hf i n d sas u b s p a c ep r e s e r v i n gt h em a x i m u mv a r i a n c eo fag i v e ns e to fd a t a i no u r w o r k ，f o rm o d e li n s t a n c eg e n e r a t i o n , w em a r kk e yl a n d m a r kp o i n t sm a n u a l l yb yu s i n gf a c e f i t t o o la n do b t a i nt h r e et y p e so fm o d e l 、) l ，i md i f f e r e n tr o t a t i o n t h e nw es e g m e n tt h et e s tf a c e i n t of o u rr e g i o n sa n da p p l yl b pt oj u d g et h er o t a t i o no ft h et e s tf a c e ，s e l e c tp r o p e rm o d e l i n s t a n c et of i tt h et e s tf a c ea n de x t r a c tf a c i a lf e a t u r ep o i n t sa u t o m a t i c a l l y f i n a l l y ，w ed i v i d e t h e s ef e a t u r ep o i n t si n t on i n eg r o u p sa c c o r d i n gt ot h ep r i n c i p l eo fc a r i c a t u r ed r a w i n go f c a d c a t u r es o f t w a r es y s t e m 人脸特征点提取研究及其在漫画软件中的应用 i l i b trf 宣宣宣宣宣i 每薯i 暑| w et e s to u rn e ws y s t e ma n dt h er e s u l t ss h o wt h a tt h i ss y s t e mc a ne x t r a c tf a c i a lf e a t u r e p o i n t sf r o mf a c i a li m a g e 、) l ，i me x p r e s s i o n sa n dr o t a t i o na n dg e n e r a t ef a c i a lc 撕c a _ n l r eb y c 撕c a t u r es o f t w a r es y s t e ms u c c e s s f u l l y e x p e r i m e n t a lr e s u l t sp r o v et h a to u rm e t h o di n c r e a s e d t h ef i t t i n ga c c u r a c yr a t eb ya b o u t2 7 a n dt h et i m ec o n s u m p t i o nw a sd e c r e a s e db ya b o u t9 c o m p a r i n gw i t hs t a n d a r da a mm e t h o d k e y w o r d s ：a a m ；l b p ；p c a ；c 面c a t u r es y s t e m ；f a c i a lf e a t u r e sp o i n t ；f a c e f i tt o o l 第1 章绪论 第1 章绪论 1 1 研究背景及意义 一谈到漫画，这种大众喜闻见乐的精神小品，人们不免先联想到报刊杂志上一隅独 幅或四幅一联的小幽默和讽刺耐。关于漫画的概念，这个名称原是从日本传过来的， 丰子恺先生曾给其下过一个定义：“漫画是简笔而注重意义的一种绘画 。言辞强调的是 篇幅短小、言简意赅及其幽默的特质。对青少年来说，漫画的影响力深远而巨大。在日 本只要看看满街即使坐车时也埋首于口袋本动漫书的年轻人，只要看看街头星罗棋布的 动漫书摊，就明白此言不虚，而这些都不过说明了动漫早已如同电影、小说一样成为大 众娱乐的消费产品，成为一种传递信息的通俗媒介。有人说越发达的国家动漫越发达， 这是很有道理的。在网络资讯带来的全球信息共享的大环境下，世界各国也自觉不自觉 地处于以经济利益为终极目标的商业逻辑的轨道之内。这必然带来以消费主义为特征的 后现代性文化的语境，动漫艺术在此环境下的大发展，成为极符合人们心理需求的精神 消费品也是由其特性决定的1 2 】： 首先，是漫画的形象化。在后现代文化的语境下，人们“越来越迷恋于直观的复制 形象而不愿意进行个人的阅读或思辨，越来越关注流动的现象而不是恒定的主体， 而动漫几乎完全是使用形象的语言来表述一个文学文本，将抽象的象征意义转化为具体 直接诉诸于人的视觉，不仅“消除了人们的知觉与符号之间的距离”，也“消除了文字 那种需要通过接受教育才能理解的间接性”，这使得动漫具有空前广泛的接受群面： 其次，是它的娱乐性。很多漫画作品的形式或情节设定都是很“搞笑 的，能让人 从头笑到尾，即使表现的是具有深厚内涵的富含哲理意味的文学文本，漫画这种形式也 能令人在轻松的氛围下解读。这种具有一定深度的幽默与轻松令生活压力日益加剧、生 活节奏日益加快的人们找到了调节自己心理的情感宣泄之处； 再次，在于动漫的虚拟想象性。现代人们借助于源自军事模拟技术的科技，可以戴 着眼罩，享受3 d 模拟虚幻空间的各种电玩游戏，这体现了新时代人们对虚幻空间的好 奇与向往。比起此时多少已显得有些落伍的真人图片和写真集，充满个性化趣味的各种 可爱的卡通形象倒似乎更脆弱，反映在对现实中不尽人意之处的恐惧，因而产生了对虚 拟空间的渴望。漫画，这种适时的感情寄托不仅满足了人们希望弥补现实不足的情感需 求，也满足了人们诉求个性凸显的生活追求，各种新的虚拟体验渐渐成为人们重要的情 感需求。而漫画恰好为读者营造了一个极富想象力的虚幻的世界，让人尽情在其中体验 哈尔滨工程大学硕士学何论文 着与自己相似或喜爱的角色的起伏跌宕。 1 2 人脸漫画研究的发展及现状 在漫画产业中，人脸作为人们最为熟悉的一部分，也得到了迅猛的发展，网络上已 经出现了大量的人脸动画和f l a s h 短片；而在电视节目中，将经典小品用漫画的形式表 现重新演绎也得到观众极大支持。近年来，计算机图形学、模式识别、机器人识别等领 域的研究者对计算机自动绘制人脸漫画方面做了很多研究。在人脸漫画绘制方法上，一 种是基于规则算法原理对人脸进行变形，通过对人脸观察或数学统计等方法发现测试人 脸的特征并对其加以夸张表现。b r c n n a n 在 3 】中提出了一个互动方法绘制夸张人脸的系 统。通过人眼观察结果找到人脸与其他人脸的不同之处，然后对其进一步做夸张处理。 p i c a s s 0 1 4 是非常著名的人脸漫画处理系统，其工作的主要原理是对一大批人脸做平均 处理，获得平均人脸，通过比较输入人脸与该平均人脸的不同之处，对差异做夸张处理 来产生幽默感。e r g u na k l e m a l l 在【5 】中提出了线对变形方法对输入人脸特征进行观察， 用线条将人脸特征标注。通过对线条的移动或伸缩灯变换可以方便地实现对人脸特征的 变形控制，该算法也有效地实现了对人脸合理夸张的效果【6 】。 基于规则的算法由于只是固定地对处理对象进行变形，在艺术风格上考虑欠佳。有 研究者提出了多种基于样本学习的算法，该算法以画家的绘画风格为基础，且在人脸处 理后得到漫画中可以体现出来。h o n gc h e n 等人在【6 ，7 ，8 中提出了计算机自动生成与输 入人脸相似的具有夸张效果的肖像图。首先由同一个漫画家绘制风格相同的人脸漫画， 建立人脸漫画库，对该人脸库建立统计模型，然后对人脸进行特征采样，对采样优化处 理后求最大后验概率，以此获取人脸漫画。l i nl i a n g 等人在文献 9 】中也提出了一种基 于形变人脸漫画的生成方法。同样地由漫画家绘制风格相同的人脸漫画，建立人脸漫画 库，通过p a r t i a ll e a s ts q u a r e s 方法描述测试人脸与其相对应的漫画间的关系，对新的测 试人脸处理方法则是在人脸库中搜索几组原型进行线性组合，最后绘制人脸漫画。 为了能够更好更形象地分析人脸特征，有的研究者对人脸的各个部分进行分别分析 处理。g u a n g z h ex u 在文献 1 0 1 中对人脸的眼睛、鼻子、嘴等各个部分分别建立特征空 间，然后对每部分进行主成分分析处理，最后生成具有幽默效果的人脸漫画。p c iy i n g 等人在i 11 】中提出了基于m p e g - 4 人脸定义标准，应用1 1 9 个人脸特征参数描述人脸， 然后将所有参数分为8 组进行局部控制，最后通过比较测试人脸不同于平均人脸之处， 对差异夸张变换。 此外也存在其他方面的研究工作，如对人脸图像应用图像处理方法处理后，基于效 2 第1 章绪论 果特点，绘制人脸漫画。r e i n l i e nh s u 1 2 j 等人采用i n t e r a c t i n gs n a k e s 法对图像处理后， 得到具有素描效果的人脸漫画图。g o o c hb 等人在文献 1 3 中提出了对人脸图片在频域 卷积计算，然后对图片进行几何变形，最后获得合理的人脸漫画。 总的来说，上述人脸漫画绘制研究均有所缺点。基于规则算法几何变形较为简单， 缺乏漫画家的漫画风格；基于样本学习法只是在某一漫画家的绘画风格条件下绘制人脸 漫画；而分别处理人脸各个部分的绘制方法无法对人脸整体部分协调变换；基于图像处 理的方法侧重于人脸的纹理部分，对形变部分考虑欠佳。 本文的研究是基于日本东京电气通信大学金子实验室自主研发的人脸漫画绘制平 台，对其加以改进，提高系统的鲁棒性，生成具有漫画效果的人脸图像。 1 3 人脸识别的发展及现状 人脸漫画绘制系统中，对输入人脸的特征处理时极为重要的一步，直接决定最后漫 画的效果。所以人脸识别时本文研究的重点。首先对人脸特征提取及分析，然后将其应 用到漫画绘制软件中，搭建一个新的人脸漫画绘制平台。 视觉是人类感知外部世界的桥梁，人类感知外部世界的信息中8 5 来自于视觉，这 些信息通过图像的形式首先被眼睛感知，然后传入人的大脑进行分析和处理，并最终得 到目标信息。而计算机视觉就是通过模拟人脑对视觉信息处理和分析的过程，使计算机 获取模式识别所需的图像信息。近几十年来，随着科学技术的不断进步，计算机视觉领 域得到了长足的发展，信息的自动化处理逐渐成为人类生产和生活中必不可少的需求。 如何对海量的图像数据进行自动处理和分析，是计算机视觉与模式识别技术迫切需要解 决的难题。 模式识别( p a t t e r nr e c o g n i t i o n ) 是一种基于计算机技术对目标事物的各种特征进行 处理和分析，并根据已有模式对目标进行分类的理论。模式识别的研究主要分成两类： 无监督( u n s u p e r v i s e d ) 模式识别和有监督( s u p e r v i s e d ) 模式识别。无监督方法主要基 于统计信息得出模式信息，而有监督方法则以先验知识为前提。另外，半监督 ( s e m i s u p e r v i s e d ) 的方法也逐渐引起研究人员的关注。该方法将先验知识与统计信息 相结合，能够得到较好的识别性能。近些年来，模式识别得到了快速的发展，其应用涵 盖了日常生活的方方面面，并与人工智能、计算机视觉等理论相结合形成了交叉学科。 基于模型的方法是一种重要的模式识别方法。由于该方法可以帮助人们自动化地恢复目 标图像的结构从而更好地理解图像，因此被广泛地用于图像和视频信息处理。例如，t u r k 和p e n t l a n d 提出了基于特征脸模型的人脸识别算法，利用主成分分析( p r i n c i p a l 3 哈尔滨_ 程大学硕十学位论文 c o m p o n e n ta n a l y s i s ，p c a ) 来描述人脸图像的像素模式；最终，图像便可以利用子空间 中的少量参数得到重建。 人脸识别法是人们日常生活中经常用到的身份确认手段，也是当前很热门的模式识 别研究之一。虽然人脸识别的准确性尚低于指纹识别、虹膜识别等方法，但是由于人脸 识别方法不需要测试者接触任何东西，不具有侵犯性，只是充分利用已经建立好的人脸 数据库等特点，所以更容易被大众所接受，是目前最友好的识别方式，具有广泛的应用 前景。 人脸识别的相关研究有着非常悠久的历史，早在1 9 8 8 年和1 9 1 0 年就有学者发表了 有关人脸识别的研究，分析了人类识别人脸的能力，但并没有应用到机器人脸识别中。 而人脸自动识别( a u t o m a t i cf a c er e c o g n i t i o n ，简称a f r ) 的相关研究最早见于1 9 6 5 年 c h a n 等人发表的技术报告，距离现在已经有四十多年历史。近年来，随着科学技术尤 其是计算机的迅猛发展，人脸识别的研究也取得了巨大成功。人脸识别的发展过程可以 分成以下三个阶段【1 4 1 ： ( 1 )第一阶段( 1 9 6 4 - - 1 9 9 0 年) ，这一阶段对人脸识别没有被作为一个单独的学科 研究，只被当做是普通的模式识别研究。并且人们对人脸研究只停留在剪影 研究基础上，主要技术方案是识别人脸的几何结构及其特征。 ( 2 )第二阶段( 1 9 9 1 1 9 9 7 年) ，虽然只有短短七年时间，但是人脸识别研究却得 到了迅猛发展，诞生了一些具有代表性的人脸识别算法，并且被商业化，出 现了一些可以用于商业运作的人脸系统。 ( 3 )第三阶段( 1 9 9 8 - 现在) ，人脸识别研究成为了热门，并得到了多个研究机构 的基金支持，吸引了大量的研究者的兴趣。研究考虑了变化更加丰富的人脸， 如光线、姿态等变化等影响因素成为研究热点。并且商业化的人脸识别系统 得到进一步发展，2 0 0 0 年和2 0 0 2 年美国军方分别组织了两次商业化的系统性 能测试。 由于人脸姿态变化多样，如微笑、眨眼等主动因素的变化及头发、眼镜、化妆等外 界因素的影响，人脸识别技术仍然具有极大挑战。基于统计学习、3 d 人脸模型、非线 性建模等识别方法能为人脸识别技术的发展趋势。 1 4 本文研究内容及结构 1 4 1 研究内容 漫画软件绘制平台中，人脸特征点的提取是极为重要的一步。准确快速地定位人脸 4 第1 章绪论 特征点能够提高整个平台的性能。 主动表现模型是由t ec o o t e s 等人 1 5 , 1 6 1 在1 9 9 8 年提出的同时考虑人脸形状与纹理 信息的人脸特征点标定方法。通过对人脸数据库中的形状和纹理特征进行相关统计分 析，建立相应的a a m 人脸模型实例，然后对输入人脸图像做拟合定位，最后提取出人 脸特征点。a s m 算法是a a m 算法的直接前身，a s m 算法模型建立中，只考虑了人脸 的形状模型，信息量不足，而a a m 算法同时考虑了人脸形状和纹理信息，提高了模型 的表征能力，通过调整模型实例系数，使输入人脸与模型实例不断逼近，最后达到能量 差最小，a a m 算法由于其准确的人脸定位性能，吸引了大量研究学者的兴趣，目前为 止，已经出现了很多的改进算法，并具有广阔的应用前景。 由于其灵活的框架结构和强大的功能，主动表观模型被广泛应用于各种计算机视觉 领域，如人眼建模、目标跟踪、人脸及表情识别系统以及医学图像分割等。尽管a a m 具有强大的建模能力，它在实际应用中仍然存在很多问题。这些问题包括在实时系统中 效率太低，在自动识别和分割系统中缺乏判别性，以及在跟踪系统中缺乏鲁棒性。这些 问题很大程度上阻碍了a a m 的应用。为了克服这些问题并增强a a m 在实际应用中 的实用性，人们提出了很多改进算法。例如k i m 和s u n g 改进了a a m 的匹配效率并 将其应用到实时跟踪系统中；c o o t e s 和t a y l o r 将a a m 扩展到了概率框架下，利用先 验知识指导模型的匹配并得到了更好的精度：而y a h 等人则将a a m 与a s m 算法的 优点相结合，提高了a a m 模型对光照的鲁棒性。以上这些改进算法解决了a a m 在 实际应用中的困难，极大扩展了该模型的应用范围。 ? 本文通过分析a a m 算法的优缺点，对其做了算法改进，并将其应用到人脸漫画软 件中，成功搭建了新的人脸漫画绘制平台，较传统的系统在性能上有了很大提高。 1 4 2 论文结构 本文结构安排如下： 第一章绪论。主要介绍本文研究背景、人脸漫画及研究的发展历史、人脸识别 研究的现状及发展； 第二章人脸漫画绘制平台介绍。回顾了传统的人脸漫画绘制过程，分别介绍了 传统算法中人脸特征点的提取原理及漫画软件的绘制原理，并分析了其 存在的优缺点； 第三章a a m 算法。介绍了a a m 算法的原理，包括人脸的形状模型和纹理模 型的建立以及模型实例拟合原理，并对图像拟合过程中的三种对齐方式 5 哈尔滨工程大学硕士学位论文 做了分析和对比； 第四章a a m 算法改进。是本文研究的核心部分，提出了两种对a a m 算法的 改进方案，分别为基于角度判断和基于l b p 的改进a a m 算法。对这 两种方案做性能验证，最后选择基于l b p 的a a m 算法，将其应用到 漫画软件中； 第五章人脸漫画绘制。也是本文的研究核心之一。将l b p a a m 算法提取到的 人脸特征点根据漫画软件绘制原理构建一个特殊文件最后应用到漫画 软件中，绘制出人脸漫画，并将新的人脸漫画绘制平台与传统绘制平台 做了性能对比和分析。 6 第2 章人脸漫画绘制平台工作原理 第2 章人脸漫画绘制平台工作原理 本论文的研究平台是日本东京电气通信大学金子实验室自主研发的人脸漫画绘制 系统i l7 埔j 。此系统工作过程如图2 1 所示：首先由摄像机获取人脸：然后提取人脸特征 点，最后将人脸特征点应用到漫画软件中，绘制出人脸漫画。人脸漫画是模仿漫画家的 绘画风格，将人脸区别于其他人脸的特征加以夸张，可以更好地反映一个人的人脸特征。 而后续的研究可以通过人脸的特征点做人脸特征分析1 1 9 。2 1 1 、人的性别年龄1 2 2 之4 】等方面的 识别。本章将重点介绍人脸特征点提取及人脸漫画绘制的原理。 h 人脸特征点提般l叫浸酾软件的应用j 图2 1 人脸漫画绘制平台 _ 人脸瑶釜分析簪 2 1 人脸特征点提取原理 由摄像机获取人脸图像后，首先需要提取人脸特征点。此人脸漫画平台的人脸特征 点提取时，分别检测人脸的各个部分，检测顺序依次为，首先人脸区域及头发检测，然 后检测瞳孔，将人脸正规化，最后检测人脸的眼睛、瞳孔、眉毛、轮廓部分。原理方框 图2 2 所示： 巨叵匿匿 图2 2 人脸特征点提取原理 2 1 1 人脸部分检测 1 人脸区域检测 实验调用o p e n c v 中已经训练好的h a a r 分类器进行人脸检测。将检测到的人脸区 域部分统一变换成5 2 0 x 4 8 0 像素大小的图像。如图2 3 所示，红色矩形框图为人脸检测 位黄，黄色矩形框图为人脸图像切割区域。 7 一一。，一 哈尔滨工程大学硕士学位论文 图2 3 人脸检测结果 2 头发检测 首先对输入人脸图像做二值化处理后，再对图像做贴标签和填充处理，最后将灰度 面积最大的部分提取出来，即为图像中的头发区域。 如图2 4 所示，图( b ) 为二值化处理后的图像，图( c ) 为填充处理后的图像，图 ( d ) 为最后提取出的头发区域。 ( a ) 输入图片( b ) 二值化处理 ( c ) 填充( d ) 头发 图2 4 头发检测 3 瞳孔的检测 假设输入图像的宽为w 、高为h ，则根据人脸的五官分布规律瞳孔的搜索范围在 3 w 1 0 - - - t w 1 0 、4 h 1 0 6 h 1 0 的矩形范围内，如图2 5 所示。 而瞳孔的检测则利用圆形分离滤波器，如图2 6 所示。对于搜索形状己知的物体， 分离滤波器非常有效。分离度刁如式2 1 所示，其中0 r 1 。当r = 1 时，r i 、r 2 两个 区域完全分开状态。根据经验，图中r l 的值范围在8 1 0 的三个值内变换。 由于实验平台的主要处理的人脸对象是亚洲人脸，所以同时假设瞳孔为黑色，对输 入图像做二值化处理，如图2 7 所示，使分离滤波器的搜索范围更加减小，提高了分离 准确度。对人的瞳孔的搜索结果如图2 8 所示。 群 ( 2 1 ) 刁2 奔 霹= ，1 ( 只一只) 2 + n 2 ( 足一名) 2 辞= ( 只一巧) 2 其中， n k = ( k = l ，2 ) ：区域r 的像素数 受 第2 章人脸漫画绘制平台工作原理 n = + 7 2 ：整个图像的像素数 互：( 七= 1 ，2 ) ：区域r 的平均灰度值 己：整个图像区域的平均灰度值 p ：第i 个像素的灰度值 辞：图像所有像素的方差 图2 5 瞳孔搜索范围图2 6 圆形分离滤波器 图2 7 分离滤波器的瞳孔搜索范围图2 8 瞳孔检测 4 图像正规化 瞳孔检测后，将瞳孔位置分别固定于图像的( 2 0 7 5 ，2 4 0 ) ，( 3 1 2 5 ，2 4 0 ) 坐标处，调整人 脸的倾斜角度及大小，将图像正规化。如图2 9 所示。 ( b ) 正规化图俘 图2 9 图像正规化 5 眼睛的检测 眼睛的检测是以瞳孔为基础的。实际中并没有真正的检测眼睛位置。眼睛被定义在 以瞳孔为中心横纵长度分别为“和3 2 像素大小，旋转角度为零的矩形位置。然后将得 到的左眼图像镜像对称得到右眼。检测结果如图2 1 5 所示。 9 哈尔滨丁程大学硕士学位论文 6 眉毛的检测 应用模式匹配法( p a t t e r nm a t c h i n g ) 检测眉毛区域，所用检测函数为h a l c o n 中 的“f i n d _ a n i s o _ s h a p e _ m o d e l s ”函数。此函数能检测多个长宽比不同的形状模型。图2 1 0 为根据经验设计好的眉毛搜索范围，检测模板如图2 1 4 ( a ) 所示，检测结果如图2 1 1 所 示。 f - 。参| 图2 1 0 眉毛检测范围图2 11眉毛平均图像及其搜索 7 鼻子的检测 鼻子的检测同样也用到模式匹配法检测，检测函数为h a l c o n 中的 “f i n ds c a l e d 函数。此函数能检测多个长宽比相同的形状模型。图2 1 2 为根据人脸五官s h 分a p 布e 规m 律o d 设e l s 置的鼻子的检测范围，检测所用模板如图2 1 4 ( b ) 所示。 8 嘴的检测 人脸中嘴的检测也应用模式匹配法检测。检测函数为h a l c o n 中的 “f i n ds c a l e ds h a p e ”函数。图213为根据人脸五官分布规律设置的嘴的检测models 范围，检测所用梭板如图2 1 4 ( c ) 所示。 圜臼 图2 1 2 鼻子的检测范围 图2 1 3 嘴的检测范嗣 2 1 2 检测结果 ：10 i 王 ( a ) 眉( b ) 鼻 ( c ) 口 图2 1 4 检测图像模板 l o 第2 章人脸漫画绘制平台工作原理 1 检测结果 图2 1 5 为通过以上方法分别检测到的人脸的各个部分，并用红色矩形标记。 剀2 1 5 八脸各部分检测结果 2 检测精度 ( 1 ) 测试人脸数据库 人脸数据来自日本s o 邱i a 人脸数据库。一共包含3 0 0 幅日本人脸( 男性人脸1 5 0 幅、 女性人脸1 5 0 幅) ，全部为正面无表情，年龄从1 5 到6 0 岁不等( 五岁一个年龄段，每个 年龄段有3 0 幅图片) 。图2 ，1 6 为数据库中部分人脸。 霸霸目一一霸一 ( 2 ) 检测精度 图2 1 6s o f t p i a 人脸数据库 哈尔滨t 程大学硕士学位论文 通过对人脸做检测试验，由表2 1 中结果可以看出，人脸的眉毛检测正确率最低， 而鼻子和嘴的检测正确率较高，这是由于眉毛检测时受到眼镜及刘海等因素的影响。 表2 1 人脸检测精度 检测图像数失败 成功率 瞳孔3 0 02 09 3 3 眉 2 8 02 48 4 3 鼻 2 8 07 9 7 5 嘴 2 8 01 29 5 7 2 2 人脸漫画绘制 人脸漫画是为了突出表现某人脸与其他人脸相区别的地方，更好反映一个人脸 的固有特征，为后续的人脸识别、人的年龄、性别识别等研究提供有效信息。所以 在绘制人脸漫画时首先就要获取平均人脸并且分析人脸特征，得到平均人脸的特征 信息，将输入的测试人脸与平均人脸做比较，绘制出人脸漫画。原理如图2 1 7 所示。 固围困 2 2 1 标定点的获取 图2 1 7 人脸漫画绘制过程 1 2 第2 章人脸漫画绘制平台工作原理 人脸漫画软件中，人脸漫画的绘制需要分析测试人脸与平均人脸的特征，获取测试 人脸区别于平均人脸的特征空间，对其加以夸张处理最后绘制出人脸漫画。所以人脸漫 画软件中首先需要计算平均人脸，为了获取数据库中所有人脸的平均人脸，需要对所有 人脸提取特征点。近年来，很多人都在研究人脸特征点的自动抽取方法。但是当人脸图 像有光线、表情以及种族变化时，自动抽取效果不太理想。人工标定法虽然繁琐，但标 定精确度高，稳定性好。 本文选择手动标定人脸特征点。利用名为f a c e f i tt o o l 的手动人脸标定软件进行人 脸特征点标定。f a c e f i tt o o l 软件是由日本东京电气通信大学金子实验室自主研发。该软 件在人脸学习中具有广泛的应用，主要分为人脸综合部分和用户界面部分，人脸综合部 分用于读取输入人脸，记录人脸特征点坐标，而用户界面部分则是用于用户对人脸每一 部分分别手动特征点粗略定位与精确定位。通过该软件可以获得人脸中7 5 9 个特征点的 三维坐标数据。 对于本研究平台，漫画软件只读取了其中的1 7 7 个人脸特征点的二维坐标数据，其 中包括人脸轮廓“个特征点，嘴4 9 个特征点，鼻子3 0 个特征点，眼睛分别1 2 个特征 点及眼球分别1 0 个特征点。每一幅人脸样本需要十到十五分钟时间提取特征点。如图 2 1 8 所示为对某一输入人脸进行特征点手动标定后的结果。 鞣。蔓i 繁蔓i ：i 娑：二一薹鬻篝? i i 鏊攀! i 爹鬻。j 警器黧爹i ：缪鋈0 1 岳口r 矧2 1 8f a c e f i t1 ，l 经过手动提取出人脸车- 匕t 舯t i 及各个部分的特征点如图2 1 9 所示，图像大小为6 4 0 x 4 8 0 像素，眼睛距离约为8 0 像素，图中包含1 7 7 个人脸特征点及这些点的三维坐标值，图 中蓝色特征点为标定过程中对人脸的粗略定位，f a e e f i tt o o l 根据人脸五官分布特征将其 1 3 哈尔滨i ：程大学硕士学位论文 _ i i _ 暑置目_ _ _ l | i 宣暑l 皇- _ 一m i ；皇_ _ _ i i i i 穹i 暑i i i i i i 他的特征点落在相应的大概位置，减小了手动标定的工作量。 2 2 。2 人脸漫画绘制 。 ：二： 。 ： ，二? j ；。：) ： ：- ： - 图2 1 9 人脸特征点 人脸漫画的绘制需要一下几个步骤： ( 1 ) 对3 0 0 幅人脸手动提取特征点后，对其求平均，获取平均人脸； ( 2 ) 应用主成分分析法( p r i n c i p l ec o m p o n e n ta n a l y s i s 简称p c a ) 对s o f t p i a 人脸数据库的 3 0 0 幅人脸进行特征分析： ( 3 ) 将输入的测试人脸与平均人脸做比较，分析测试入脸区别于平均人脸的特征，对其 加以夸张表现，绘制出人脸漫画： ( 4 ) 后续可以应用主成分分析等方法对测试人脸做特征分析，识别等研究，也可以通过 比较测试人脸与人脸库中人脸的相似度，从中搜索相似人脸等。 人脸漫画绘制过程如图2 2 0 所示： 、眨将仨空浯 强调人睑 转经 图2 2 0 人脸漫画系统系统 - ， 人脸漫瑟 2 3 人脸漫画仿真结果 应用该人脸漫画绘制平台对部分人脸做仿真实验，结果图2 2 l 所示，首先用摄像机 1 4 第2 章人脸漫画绘制平台工作原理 获取原始人脸，然后对人脸各部分分别提取特征点，最后根据特征点的二维坐标信息通 过分析输入人脸的特征空间并与平均人脸的特征做比较，做合理地夸张处理，绘制出入 睑漫丽。 重互 ，蛋 ( a ) 原始人脸( b ) 人脸特征点提取 图2 21 人脸特征点提取及人脸漫画绘制结果 锣 ( c ) 人脸漫画 2 4 存在的问题与不足 传统的人脸漫画平台有效地提取出了人脸特征点，并绘制出人脸漫画。但是鲁棒性 不够高，具体表现为： ( 1 ) 在人脸特征点提取时，为了正规化人脸需要首先检测人的瞳孔坐标，并且假设人的 瞳孔在图像的大致范围已知，这就决定了用摄像机摄取人脸时，对人脸与摄像机之 间的距离要求较高，不能自由摄取。 ( 2 ) 当测试人脸有一定旋转角度时，人脸五官从外观上会有一定形变，算法中对每一部 分检测所用到的滤波器由于是按照正面人脸五官形状的先验知识选择的，所以对形 变的人脸五官传统算法失效，不能正确提取出人脸特征点，更不能绘制人脸漫画。 ( 3 ) 当测试人脸有表情时，同样的滤波器由于不具备对有形变五官影响因子的抗干扰性， 因此也不能够j 下确提取出人脸特征点。 2 5 解决方案 人脸漫画平台中，人脸漫画的绘制主要是根据人脸特征点的二维坐标数据信息，所 以人脸特征点提取的精确度十分重要，但是传统人脸特征点提取算法由于其本身的特 性，只能处理一定大小且正面无表情无遮挡的入脸，抗干扰能力弱，要提高系统的鲁棒 性，首先就要提高人脸特征点提取算法的鲁棒性 2 5 2 7 】。 1 5 一一。一 哈尔滨工程大学硕+ 学位论文 皇_ i 暑暑暑i 暑暑昌鲁冒皇昌；暑；暑昌| 暑昌宣宣i rt ti i i 皇葺宣暑暑；宣暑置宣i 暑i 2 6 本章总结 本章介绍了传统的人脸漫画绘制平台的工作原理，包括人脸特征点提取方法及人脸 漫画绘制方法，并做了仿真实验。传统人脸漫画绘制平台具有速度快等优点，但是鲁棒 性不够高，对测试人脸限制严格。本文研究正是基于改进该人脸漫画系统为目的，应用 抗干扰能力更强的人脸特征点提取算法取代传统的算法，建立一个鲁棒性更高的人脸漫 画绘制平台。 1 6 第3 章a a m 人脸特征点定位原理 第3 章a a m 人脸特征点定位原理 3 1 引言 活动外观模型( a c t i v ea p p e a r a n c em o d e l ，简称aa m ) 算法首先由英国曼彻斯特大学 的c o o t e s 等人【2 8 1 于1 9 9 8 年提出，是由可变模型算 法( m o r p h a b l em o d e l s ) 及活动形状模型 算法( a c t i v es h a p em o d e l ，简称a s m ) 基础上发展而来，a a m 算法具有非线性、综合性 及模型系数可变性等特征。被广泛应用于人脸识别处理研究中。一个典型的a a m 人脸 识别是应用a a m 人脸模型实例去拟合输入人脸，通过不断调节模型系数使模型与输入 人脸达到最佳匹配效果，最后获取模型系数。模型系数可以用于对人脸分类、人脸表情 识别、人脸姿态估计等研究中。 a a m 人脸模型中同时考虑了物体的形状和纹理信息，应用主成分分析法将模型线 性化表示，而模型对输入人脸的拟合过程则是一个非线性的形状参数和纹理参数同时优 化过程，计算复杂度很高。以往的研究中已经提出很多优化方案，如假设参数增量与误 差之间存在线性关系3 0 ，3 1 】等，但是经过研究已经证明这种假设并不准确，拟合效果也不 够理想，为了提高拟合准确率，本文研究中应用的拟合方案并没有简单假设模型参数增 量与拟合误差之间存在线性关系，拟合效果有了很大提高。 3 2 基础知识 本节主要介绍在a a m 算法中使用到的一些基本概念。 3 2 1 形状与标定点 1 形状 首先要明确什么是形状，d g k e n d a l l 等人在文献 3 2 1 中将形状定义为物体在滤除了 位置、尺度及旋转等因素后保持不变的所有的几何信息。如图3 1 所示，图中为欧几里 得几何变换后的右手形状。 图3 1 物体的几何形状 1 7 哈尔溟工程大学硕士学位论文 宣暑宣暑宣i i -i 一 1 i 罱| 昌鼍置薯置毒暑i 昌i i i i i i 皇誓高 2 标定点 定义了物