（信号与信息处理专业论文）基于核方法的gabor特征降维.pdf

南京邮电大学硕士研究生学位论文 摘要 摘要 近年来，医学研究表明新生儿对疼痛具有感知能力，新生儿的这种早期的疼痛对其以 后的行为和生长发育都会有影响。因此，关于新生儿疼痛的研究在国外引起了广泛的关注。 由于新生儿不能自述疼痛的感受，面部表情被广泛认为是描述新生儿疼痛最有效、可靠的 评估指标。新生儿面部表情特征提取是表情识别系统的核心，特征提取的有效性直接影响 到识别的速度和性能。 本文综合比较了目前各种人脸表情特征提取方法的优缺点，在对g a b o r 小波、特征脸 和核鉴别分析方法进行研究的基础上，提出了一种新的用于新生儿疼痛表情识别的特征提 取方法。主要完成了以下工作：( 1 ) 建立了一个包含8 0 0 幅不同表情的新生儿面部图像数 据库，本文所有实验都是在这个数据库上进行的；( 2 ) 提取人脸面部表情图像的g a b o r 特 征；( 3 ) 传统方法中对g a b o r 特征直接进行均匀下采样势必会造成有用识别信息的丢失， 针对这一问题，提出选取人脸“t ”字区域g a b o r 特征的方法，并通过实验证明了这种方 法有利于提高表情识别率；( 4 ) 针对经过选取人脸“t 字区域g a b o r 特征后的特征向量 维数依然很高这一问题，提出利用特征脸和核鉴别分析方法对g a b o r 特征进行二次特征提 取，该方法从根本上解决了由于人脸识别小样本问题引起的核类内离散度矩阵奇异的问 题，同时降低了核函数的计算量。 本文利用模糊支持向量机分类器对提取的特征进行了实验验证，通过对实验结果的分 析得出以下结论：本文提出的表情特征提取方法能够改善表情识别系统的性能，不仅有效 地提高系统的表情识别率，而且具有更好的实时性。 关键词：新生儿疼痛，面部表情特征提取，g a b o r 小波变换，特征脸，核鉴别分析 1 南京邮电大学硕士研究生学位论文 a b s t r a c t a b s t r a c t i nr e c e n ty e a r s ，m e d i c a lr e s e a r c hs h o w st h a tn e o n a t e sc o u l df e e lp a i na n dt h ep a i nw o u l d a f f e c tt h e i rf u t u r eb e h a v i o ra n dg r o w t h t h e r e f o r e ，r e s e a r c ho nn e o n a t a lp a i nh a sa r o u s e d w i d e s p r e a dc o n c e r na b r o a d a sn e o n a t e sc a nn o td e s c r i b et h e i rp a i ne x p e r i e n c e ，t h ef a c i a l e x p r e s s i o ni sw i d e l yr e g a r d e da st h em o s te f f e c t i v ea n dr e l i a b l ea s s e s s m e n ti n d i c a t o rt op a i n n e o n a t a lf a c i a le x p r e s s i o nf e a t u r ee x t r a c t i o ni st h ec o r eo ff a c i a le x p r e s s i o nr e c o g n i t i o ns y s t e m , w h i c h d i r e c t l ya f f e c t st h es p e e da n dp e r f o r m a n c eo ft h es y s t e m i nt h i st h e s i s ，a f t e rc o m p r e h e n s i v ea n a l y s i so ft h ea d v a n t a g e sa n dd i s a d v a n t a g e so fd i f f e r e n t e x t r a c t i o nf e a t u r em e t h o d s ，af a c i a le x p r e s s i o nf e a t u r ee x t r a c t i o nm e t h o db a s e do ng a b o r w a v e l e t ，e i g e n f a c ea n dk e r n e ld i s c r i m i n a n ta n a l y s i si sp r o p o s e d ，w h i c hi sa p p l i e dt od e a l 、) l ，i t l lt h e r e c o g n i t i o no fn e o n a t a lf a c i a lp a i ne x p r e s s i o n t h em a i nc o n t r i b u t i o n so ft h i st h e s i s a l ea s f o l l o w s ：( 1 ) ad a t a b a s ei sb u i l dw h i c hc o n t a i n s8 0 0f a c i a li m a g e so fn e o n a t a l 谢t l ld i f f e r e n t e x p r e s s i o n s ，a n da l lt h ee x p e d m e n t so ft h i st h e s i sa r eb a s e do nt h ed a t a b a s e ( 2 ) e x t r a c tt h e g a b o rf e a t u r ef r o mt h ef a c i a le x p r e s s i o ni m a g e s ( 3 ) i no r d e rt oa v o i dt h el o s to fu s e f u l d i s c r i m i n a n ti n f o r m a t i o nd u et ot h eu n i f o r md o w n - s a m p l i n gg a b o rf e a t u r e sd i r e c t l ya d o p t e di n t r a d i t i o n a lm e t h o d s ，an e wm e t h o di sp u tf o r w a r di nt h i st h e s i s ，w h i c hi ss e l e c t i n gt h eg a b o r f e a t u r ea b o u tt h e “t ，a r e ao ft h ef a c e t h er e s u l to fe x p e r i m e n t ss h o w st h a ti tc a ne n h a n c et h e r e c o g n i t i o nr a t eo p p o s i t et ot h es a m p l i n gm e t h o d ( 4 ) a l t h o u g ht h ed i m e n s i o n so fg a b o r t r a n s f o r mf e a t u r ev e c t o r sh a v eb e e nr e d u c e db yc h o o s i n gt h e t a r e a , t h e ya l es t i l lv e r yh i 曲i n o r d e rt os o l v et h i sp r o b l e m ，a ni m p r o v e dm e t h o do fe i g e n f a c ep l u sk e r n e ld i s c r i m i n a n ta n a l y s i s i su s e di nt h i st h e s i sw h i c hs o l v e st h es i n g u l a r i t yp r o b l e mo fk e r n e lw i t h i n - c l a s ss c a t t e rm a t r i x t h a ti sc a u s e db yt h es m a l ls a m p l es i z eo ff a c er e c o g n i t i o na n dr e d u c e st h ea m o u n to ft h e c a l c u l a t i o ns i m u l t a n e o u s l y a l lt h ee x p e r i m e n t so ft h i st h e s i st a k eu s eo ff u z z ys u p p o r tv e c t o rm a c h i n ec l a s s i f i e r b a s e do nt h ea n a l y s i so fe x p e r i m e n t a lr e s u l t sc o m et ot h ef o l l o w i n gc o n c l u s i o n s ：t h ep r o p o s e d m e t h o d so ff a c i a le x p r e s s i o nf e a t u r ee x t r a c t i o nc a ni m p r o v et h ep e r f o r m a n c eo fr e c o g n i t i o n s y s t e m ，n o to n l yc a nr a i s et h er e c o g n i t i o nr a t e ，b u ta l s oc a no b t a i nb e t t e rr e a l t i m ep e r f o r m a n c e k e y w o r d s ：n e o n a t a lp a i n ，f a c i a le x p r e s s i o nf e a t u r ee x t r a c t i o n , g a b o r w a v e l e tt r a n s f o r m ， e i g e n f a e e ，k e r n e ld i s c r i m i n a n ta n a l y s i s i i 南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生躲罂日期- 型幽幽 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留本人所送 交学位论文的复印件和电子文档，可以采用影印、缩印或其它复制手段保存论 文。本文电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分内容。 论文的公布( 包括刊登) 授权南京邮电大学研究生部办理。 研究生签名：褴导师躲之麴 日期：卑：竺! ： 南京邮电大学硕士研究生学位论文第一章绪论 1 i 引言 第一章绪论 人脸的面部表情传递着丰富的个人感情，它在人与人之间的交流中起着很重要的作 用。关于表情传递信息的作用，心理学家m e h r a b i 孤【1 】给出了一个公式： 感情表露= 7 的言词+ 3 8 的声音+ 5 5 的面部表情 对于没有语言能力的新生儿来说，面部的表情信息最直接地表现了他们的情感状态，因此， 面部表情在新生儿医疗方面有着十分重要的作用。 在计算机科学研究领域，面部表情的识别对于实现自然的人机交互以及自动图像理解 也具有重大的意义。计算机如果能够像人类那样具有理解和表达情感的能力，并能够自主 适应环境，这将从根本上改变人与计算机之间的关系，使计算机能够更好的为人类服务。 目前，人脸表情自动识别技术作为生物特征识别与情感计算领域的一个极富挑战性的 交叉课题，在各种应用的推动下正在迅速发展。典型的面部表情识别系统通常包括三部分： 人脸检测、面部表情特征提取、表情的分类识别。本文所讨论的是针对新生儿的面部表情 特征提取模块的算法实现。 1 2 课题背景及研究意义 早期，大部分麻醉学者认为新生儿不会有疼痛的感觉，所以新生儿疼痛一直未予重视 和正确处理。近年来，医学研究表明新生儿对疼痛具有感知能力，而且由于新生儿疼痛传 导通路发育不完善，且缺乏良好的抑制作用，所以会产生夸大的疼痛反应，感知的疼痛比 婴儿和成人更弥漫、强烈和持久f 2 】。 早产儿和患病新生儿在治疗过程中，要承受长时间、反复的疼痛刺激 3 1 ，这些疼痛主 要来自侵入性操作，包括足底采血、动静脉穿刺及气管插管、皮下和肌肉注射、腰椎穿刺 等，此外还有手术、局部感染、皮肤烧伤、换药等。反复的刺激会使疼痛外周感受器敏感 化，导致痛觉过敏反应【4 ，5 1 。研究发现，新生儿在多次静脉穿刺后出现痛觉过敏，即使无痛 刺激，如体格检查都会被认为是疼痛刺激 6 , 7 1 。 新生儿的这种早期的疼痛对其以后的行为和生长发育也都会有影响【8 】。比如疼痛可引 起急性生理反应，如心率、血压、颅内压升高和氧饱和度降低等，足以导致灌注再损伤并 1 南京邮电大学硕士研究生学位论文第一荦绪论 诱发急性反复脑室出血，引起神经系统发育不良，严重影晌脑的发育，对早产儿影响尤其 严重【9 以。除神经方面外，疼痛还会促进激素、儿茶酚胺、生长激素和胰岛素的释放，造 成高代谢状态，使血糖过高或过低、免疫力下降、代谢性酸中毒和电解质失衡，进一步增 加术后并发症和病死率【1 2 】。另外，疼痛还可影响新生儿睡眠( 觉醒) 状态、食欲、母婴交 流等。新生几经历反复的疼痛刺激可引起痛觉改变，慢性疼痛综合症和身体不适，并有可 能导致儿童期注意力不集中，学习困难，认知行为障碍和适应能力差等问题【1 3 】。而且，新 生儿能够潜意识记忆早期的疼痛经历，反复的疼痛刺激会改变新生儿中枢神经系统的结 构，降低疼痛阈值，并影响他们将来对疼痛的行为反应【l l 】。所以，消除或减轻新生儿的疼 痛成为一个不可忽视的问题。 新生儿不同于成年人，他们没有语言表达能力，无法自述自己的疼痛经历，要做到有 效地治疗新生儿的疼痛，首先需要有效地评估他们是否处于疼痛状态及所处的疼痛程度。 疼痛是一种包括感觉和情感的主观感受，自我评估被认为是最可靠的评估疼痛方法。但是， 由于新生几不能自述疼痛的感受，疼痛评估成为新生儿科学中最具挑战性的一个难题u 4 j 。 由于新生儿自主神经系统并不完善，一些生理指标如心率、血压变化差异较大，病理 情况时反应也各异。可能导致测量结果不确定，而且，其它非疼痛的刺激也可引起类似生 理反应【l 引，例如恐惧和兴奋。所以不能仅用生理指标来评估新生儿疼痛，必须与行为评估 方法联合应用l 姗。新生儿在疼痛时会表现出行为变化，包括哭声、呻吟、面部表情改变、 肢体活动及行为状态( 如睡眠和食欲) 的改变。肢体活动与哭泣对于指示疼痛不是很具体， 它们在其它的情形下也会发生，如饥饿、恐惧和不安【栩。另外，新生儿疼痛的反应并不总 是哭泣和肢体活动1 1 8 j 。疼痛引起的哭声往往高尖、持续时间长、频繁，但早产儿很少哭， 即使受到疼痛刺激，哭闹时间也很短：危重几因衰竭无力很少哭，或因气管插管导致声门 阻塞而无法哭。因此，哭声并不是早产儿或危重儿疼痛评估有效、可靠的指标，目前广泛 认同的可靠指标是面部表情改变【1 9 1 ，新生儿“疼痛面容 ( 蹙眉、挤眼、鼻屠沟加深、张 口) 是最可靠的疼痛指标，且持续时间最长。 目前，国际上对新生儿疼痛的评估都是由受过专门训练并熟悉各项评估技术指标的医 护人员进行人工评估，这带来了一些实际问题，如需要花费大量的时间精力，而且评估结 果往往受到主观因素的影响。因此，开发一种客观、快速、有效的新生儿疼痛自动评估系 统是非常有意义和价值的。 本文所研究的新生儿面部表情特征提取是新生儿面部表情识别系统的一个关键部分， 特征提取和选择的优劣程度将直接影响到系统分类识别的正确率，所以，研究如何有效地 进行特征提取并合理地选择特征来保证高效准确地实现后续的分类识别，具有重要的现实 2 南京邮电大学硕士研究生学位论文笫一章绪论 意义。 1 3 面部表情识别系统的总体结构 面部表情识别是指从给定的表情图像中分析检测出特定的表情状态，进而确定被识别 对象的心理情绪。典型的面部表情识别系统主要由三部分组成：人脸检测、面部表情特征 提取、表情的分类识别【2 0 1 ，系统框图如图卜1 所示。 图卜1 面部表情识别系统框图 各部分实现的主要功能与方法如下： 1 ) 人脸检测：目的是从输入图像中检测出人脸图像。需要建立独立的图像获取平台， 能够清晰地获取人脸图像。 2 ) 面部表情特征提取：目的是从人脸图像中提取出能够区分不同表情的特征信息。 需要对人脸的器官特征、纹理特征和预定义的特征点进行定位和提取。由于人脸图像具有 信息量大和模式复杂等特性，需要利用主成分分析( p c a ) 、线性鉴别分析( l d a ) 、小 波分析等方法对图像特征进行降维和去相关变换。同时，为解决光照不均以及人脸旋转等 问题，需要在特征提取前对人脸图像进行预处理，去除光照、噪声等影响，并对面部图像 进行归一化处理，建立统一的人脸面部图像数据库。 3 ) 表情的分类识别：目的是将表情特征识别成不同的表情分类。要能够准确地对人 脸表情进行精确分类，通常使用b a y e s 分类理论、支持向量机( s v m ) 等分类方法。 1 4 新生儿的面部表情特征提取 在面部表情识别系统中，面部表情特征提取是一个关键部分，它处于人脸检测和表情 的分类识别两个环节之间，有效的表情特征提取工作将使识别的性能大大提高。本文所讨 论的就是针对新生儿的面部表情特征提取模块的算法实现。 3 南京邮电大学硕七研究生学位论文第一章绪论 1 4 1 特征提取结果好坏的评判标准 好的表情特征提取结果应该具备以下几个条件【2 1 】： ( 1 ) 完整的表示出人脸表情的本质特征。为了准确分类人脸表情，必须充分表示人脸 表情的本质特征，不完备的特征容易发生难以分类的现象。 ( 2 ) 去除噪声、光照及其他与表情无关的干扰信息。干扰信息的存在，容易影响表情 的正确分类，造成错分现象。 ( 3 ) 数据表示形式紧凑，避免过高的维数。数据维数过高，计算量就会很大，系统运行 时间过长，实时性差。而且过高的维数也不利于表情的分类，非本质的特征的干扰，使分 类的难度加大。 ( 4 ) 不同类别表情的特征之间有较好的区分性。表情特征的区分性好，后续识别就容 易，识别率也就高。 如何得到好的表情特征提取结果，就是特征提取算法的研究方向。 1 4 2 特征提取的流程 要得到好的表情特征，特征提取的过程需要几步骤来完成。 步骤1 ：原始特征获取。利用某种形式的信息来获得表情的原始特征，如特征形状与 几何关系、g a b o r 变换等。 步骤2 ：特征提取或特征选择。由于原始特征一般都存在信息冗余，维数过高，区分 性不够等问题。为了能够更有效地表征输入人脸表情的本质，需要对原始特征数据进行一 些后处理，以降低维数，去除干扰因素，得到对分类更为有利的特征数据。 特征提取是通过映射( 或变换) 的方法把原始的高维特征向量变换为低维特征向量， 新的特征向量中包含了原始特征向量的信息。特征选择是从一组原始特征中挑选出一些最 有效的特征以达到降低特征空间维数的目的，即从d 个特征中挑选出d 个( d d ) ，将 d d 个特征忽略掉。从两者的定义可以看出，特征选择会丢失部分信息，而特征提取力 图尽可能地保留原始特征的信息。 特征提取与选择的基本任务是研究如何从众多特征中求出那些对分类识别最有效的 特征，从而实现特征空间维数的压缩。从模式样本的诸测量值中提取与选择最能有效反映 类别属性的特征的主要原则和方法包括：基于类别可分性判据、最小误判概率准则、f i s h e r 准则函数、判决边界及基于离散k - l 变换法的特征提取与选择。 特征提取的关键问题是求出最佳的变换矩阵，使得变换后的模式空间中，类别可分性 4 南京邮电大学硕士研究生学位论文 第一章绪论 准则的值最大。从直观上可知，在特征空间中如果同一类的模式分布比较密集，不同类的 模式相距较远，分类识别就比较容易正确。特征提取的任务是在得到实际对象的若干具体 特征之后，再从这些原始特征中提取出对分类识别最有效、数目最少的特征。因此，从本 质上讲，本文的目的是要提取出在最小维数特征空间中异类模式点相距较远( 类间距离较 大) ，而同类模式点相距较近( 类内距离较小) 的特征。 1 4 3 新生儿面部表情特征提取中的难点 面部表情识别系统是一个典型的模式识别系统，对一个模式识别系统而言，采用什么 样的特征来表示模式，如何提取这种表示特征，往往是系统成功的关键。虽然人类可以从 幅人脸图像中很轻松地辨别出面部表情，但是用计算机来分析、识别面部表情是一个非 常复杂的问题，它关键在于建立一个人类的情绪模型，并把它们同人脸面部特征及表情的 变化联系起来。但人脸是个柔性体，不是刚体，很难用模型来精确描绘。而且，表情的识 别还依赖于其它方面的因素： 1 图像采集过程的影响。由于设备的像素不同，头部相对于相机的位置和方向不同， 需要对图像进行旋转等处理，而超平面旋转的影响很难去除。 2 环境的杂乱和光照。复杂的图像背景模式和不受控制的光照对于识别来说都是不利 的影响。此外，由于与面部表情无关的信息影响使得特征提取受到干扰。 3 表情的变化细微而复杂，而新生儿面部特征不明显。新生儿不同于成人，面部轮廓 不明显，眉毛很淡、唇色不明显、眼睛很多时候处于紧闭状态，这就使表情特征提取更有 难度。 4 计算机本身没有知识和经验。但是，识别的准确性主要依赖于系统对各种人脸表情 的熟悉程度，因而对训练样本要求较高。 5 人脸表情识别依赖的理论知识丰富，涉及到图像处理、计算机视觉、模式识别、应 用心理学、生命科学、认知科学等学科的相关知识。 1 5 本文的主要工作 针对新生儿( 不满一星期) 的面部表情图像，本文实现了一种基于g - a b o r 小波变换与 特征脸和核鉴别分析级联的表情特征提取方法。主要做了以下工作： ( 1 ) 建立了一个包含8 0 0 幅不同表情的新生儿面部图像数据库。 ( 2 ) 采用不同方向和不同尺度的g a b o r 滤波器对表情图像进行处理，提取出g a b o r 5 南京邮电大学硕上研究生学位论文 第一苹绪论 特征。 ( 3 ) 由于g a b o r 特征的维数较高，需要降维，但是一般的通过采样来进行特征降维 的方法，容易造成的有用信息的丢失。因此，本文提出了选取人脸“t ”字区域( 包括眼、 鼻、嘴及其附近区域) 的有效g a b o r 特征的方法，在实现有效降维的同时，保留了有效的 表情特征，还去除了人脸轮廓( 特别是下巴处) 带来的干扰。 ( 4 ) 由于特征选择之后的g a b o r 特征维数依然很高，不适合直接送入分类器进行分 类，在此基础上，本文进行了进一步的特征提取。在综合考虑特征降维时间( 指从g a b o r 滤波后，到得出最终用于表情识别的特征矢量所用的时间) 和识别率后，首先对“t 字 区域g a b o r 特征进行采样因子为4 的均匀下采样，再利用特征脸方法对g a b o r 特征矢量进 行初步的降维，然后用核鉴别分析算法来对g a b o r 特征进行二次特征提取。该方法解决了 传统核鉴别分析算法中由于小样本问题所引发的奇异性问题，同时降低了核函数的运算 量，提高了实时性。本文通过实验证明了提出的特征提取方法的有效性。 1 6 本文的章节安排 全文共分七个章节，内容组织如下： 第1 章讨论了本课题的研究背景和意义，叙述了面部表情识别系统的总体结构，以及 新生儿面部表情特征提取好坏的评判标准、特征提取的流程和特征提取中的难点，并提出 了本文的主要研究内容和文章的结构安排。 第2 章详细介绍了现有人脸表情特征提取的典型方法，并指出了各种方法的优缺点。 第3 章详细介绍了人脸面部表情图像的预处理过程。 第4 章研究了人脸表情图像的g a b o r 特征描述以及对应人脸“t 字区域的有效g a b o r 特征的选取。 第5 章介绍了主成份分析( p c a ) 和核鉴别分析( k d a ) 的算法原理，并研究了p c a 与k d a 级联的有效特征提取算法。 第6 章对本文提出的方法的有效性进行了实验。 第7 章全文工作总结，并对进一步的研究工作进行了展望。 6 南京邮电大学硕士研究生学位论文第二章面部表情特征提取方法综述 2 1 引言 第二章面部表情特征提取方法综述 早期的人脸特征提取算法主要是基于几何特征或模板砥d t 2 2 。2 5 】。基于几何特征的人脸 识别方法利用人脸特征点( 如眼角、嘴角、鼻间等) 的大小、位置、距离、角度和形状等 几何参数作为特征进行人脸识别。模板匹配的方法主要是利用计算模板和图像灰度的自相 关性来实现识别功能。 目前，人脸特征提取技术的研究主要是基于整体的研究方法，它考虑了模式的整体属 性，包括基于主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 的特征脸方法 2 6 - 2 引、基于 线性鉴别分析( l i n e a rd i s c r i m i n a t ea n a l y s i s ，l d a ) 的方法1 2 9 - 3 2 、基于g a b o r 小波变换的 方法【3 3 ，3 4 】等。基于整体的特征提取保留了人脸各部件之间的拓扑关系与各部件本身的信息， 具有更好的识别性能。 2 2 面部表情特征提取方法介绍 人脸表情特征提取的方法按其所使用图像的类型不同可分为两类：一类是静态图像中 的人脸表情特征数据提取，另一类是序列图像中的人脸表情特征提取。本章主要讨论的是 静态图像中的人脸表情特征提取，它包括基于局部人脸的特征提取和基于全局人脸的特征 提取两类。 2 2 1 基于局部人脸的特征提取方法 基于局部人脸的特征提取方法主要考虑人脸的局部特点( 包括眼睛、鼻子、嘴巴等人 脸器官的位置及尺寸大小) ，提取人脸器官的特性作为表征人脸图像的特征。常用的局部 人脸的特征提取方法有：基于几何特征的方法和模板匹配法。 2 2 1 1 基于几何特征的方法 基于几何特征的方法一般根据瞳孔和人中的几何关系，使用图像处理的手段对突出的 人脸特征如眼睛、鼻子、嘴巴等进行检测，通过提取这些重要特征点的位置、尺度以及彼 7 南京邮电大学硕士研究生学位论文 第二章面部表情特征提取方法综述 此之间的比率，将人脸用一组几何特征矢量来表示，识别就归结为特征矢量之间的匹配。 这种方法易于理解，对光照变化不太敏感，而且特征矢量的存储量也小。但是，该方 法只描述了各面部器官的基本形状和结构关系，忽略了局部的细节特性，造成信息丢失， 所以更适合于粗分类。 2 2 1 2 模板匹配法 人脸的基本轮廓和脸部器官位置基本是固定的，模板匹配法就是在提取特征之前，先 定义一个标准的模板( 如轮廓模板、眼睛模板、嘴巴模板和鼻子模板等) ，利用模板匹配 来有效地确定出眼睛、嘴巴和鼻子等器官的位置，提取出相应的特征。 标准模板可以是固定模板，也可以是参数可变的可变形模板( d e f o r m a b l e t e m p l a t e ) 2 4 2 5 1 。固定模板比较简单，但是在使用上有很大的局限性，一般只针对简单的图 像；可变形模板是以器官的几何特征作为模板的参数，定义一个能量函数，通过改变参数 使能量函数最小化，能量函数越小越接近提取目标。可变形模板在环境发生变化时只需要 改变相应的参数即可，因此灵活性和适应性都比较好。但是模板描述毕竟不够精确，所以 一般只适用于可变性不大的器官，如眼睛、嘴和鼻子。而且模板匹配的运算量很大，特征 提取过程耗时较长。 2 2 2 基于全局人脸的特征提取方法 基于全局人脸的特征提取方法考虑了人脸图像的整体属性，把整张人脸图像作为一个 整体来提取特征。由于该方法无需精确获取人脸各器官的局部信息，所以，器官变化对人 脸特征提取的影响不大，能够获得较好的识别效果。目前使用的大多都是基于全局人脸的 特征提取方法，如基于特征脸的方法、基于线性鉴别分析的方法、基于g a b o r d , 波变换的 方法等。 2 2 2 1 基于特征脸的方法 基于特征脸的方法又称主成分分析法，它是依据k - l 变换，将原始图像变换到一个新 的维数较低的特征空间，通过计算矩阵的特征值和特征向量，利用图像的代数特征信息进 行提取脸部器官的特征。 主成分分析法主要具有以下优点【3 5 】： 1 、由映射的线性以及变换矩阵的正交归一性不难证明，属于测量空间的任一模式都 8 塑室塑皇奎兰堡竺塑窒生兰垡笙奎 一一 兰三童墅塑耋堡竺堡墼墼查鲨堡堕 有唯一的特征矢量与之对应，这一特性说明模式的变换没有丢失分类的主要信息。 2 、主成分具有稳定性。即当输入矢量有微小变化时，其对应的主成分变化将小于输 入模式的变化。这一特性说明对图像噪声等因素引起的图像灰度变化有不敏感性，所以可 以放宽对输入图像的要求。 3 、经过映射随着空间维数的降低，模式之间的距离也得到减小，从而避免了在多维 空间上进行分类的复杂性。 4 、结果映射。分类空间从欧氏空间转移到了马氏空间，这种消除了模式间相关性的 分类空间极大地降低了错分率。 5 、主成分分析具有重建图像的能力。由于主成分的获得是以重建误差最小为条件的， 所以主成分具有重建能力是肯定的，其重建图像的质量与所用的主分量的多少有关。 但是，基于特征脸的方法是寻找在最小均方意义下最能够代表原始数据的投影方法， 主要优势还是集中在数据压缩方面。 2 2 2 2 基于线性鉴别分析的方法 鉴别问题的一般提法是：设有k 个类别q ，q ，q ，己知样品x 来自这k 个类 别的某一个，但不知它究竟来自其中的哪一个。鉴别分析就是根据对这k 个总体的已知知 识( 由过去的经验获得，或从这k 个类别中抽样判断) 和待鉴别样品的一些指标的观测值， 来鉴别样品x 应归属于哪一个类别。鉴别分析方法有多种，包括距离鉴别、b a y e s 鉴别， 以及f i s h e r 鉴别，其中f i s h e r 鉴别即线性鉴别分析。 线性鉴别分析是要找到这样的子空间，它使得原向量向这个空间上投影后，能获得尽 可能大的类间差异性，同时类内的差异性又尽可能小，即使得两者的比值最大。所以说， 线性鉴别分析就是要找到适合于区别不同类的投影方向，得到的特征更有利于分类。 2 2 2 3 基于g a b o r 小波的方法 基于g a b o r 小波的方法就是采用多通道滤波技术，将一组具有不同时频域特性的g a b o r 小波应用于图像，每个通道得到输入图像的某种局部特征。 g a b o r 小波具有时频局部化特性，通过调整g a b o r 滤波器的方向、基频带宽及中心频 率能够最好地兼顾信号在时域和频域中的分辩能力。采用小波变换能够有效地描述人脸的 局部细节，保留了人脸的空间信息，而且它对于细微表情变化不敏感，能够在一定程度上 容忍光线和角度的干扰。因此，g a b o r 滤波器可以从不同尺度、不同方向上对图像进行分 9 南京邮电大学硕士研究生学位论文第二章面部表情特征提取方法综述 析，是原始特征提取的有效方法。 2 3 本章小结 本章介绍了静态图像中的人脸表情特征提取，包括基于局部人脸的特征提取和基于全 局人脸的特征提取两类。基于局部人脸的特征提取方法介绍了基于几何特征的方法和模板 匹配法。基于全局人脸的特征提取方法介绍了基于特征脸的方法、基于核鉴别的方法，以 及基于g a b o r d , 波变换的方法。基于局部人脸的特征提取方法主要考虑人脸的局部特点( 包 括眼睛、鼻子、嘴巴等人脸器官的位置及尺寸大小) ，提取人脸器官的特性作为表征人脸 图像的特征。而基于全局人脸的特征提取方法考虑了人脸图像的整体属性，把整张人脸图 像作为一个整体来提取特征。该方法无需精确获取人脸各器官的局部信息，所以，器官变 化对人脸特征提取的影响不大，能够获得较好的识别效果。 1 0 南京邮电大学硕士研究生学位论文 第三章新生儿面部图像预处理 3 1 引言 第三章新生儿面部图像预处理 本文所进行的研究是基于新生儿面部图像的表情特征提取，而我们采集的图像因拍摄 角度、拍摄环境的光照变化等因素而呈现不同的显示质量，通常表现为图像包含不同程度 的噪声，不同图像的平均象素值呈现不同的明暗差异，此外，图像还有一定程度的旋转及 缩放变形。所以，对输入的面部图像进行预处理是表情特征提取的重要前提，图像预处理 的好坏直接影响表情特征提取的效果和识别率。 图像预处理的目的是改善图像的质量，消除噪声，统一图像的尺寸及灰度值，为后继 的特征提取和分类识别打好基础。面部图像的预处理包括对图像进行旋转、剪切、灰度化、 尺度归一化和灰度均衡化。 由于本文进行的是新生儿面部表情特征提取方面的研究，因而首先要建立包含典型表 情的新生儿面部图像数据库。本章介绍的就是如何处理图片，建立统一的新生儿面部图像 数据库的过程。 3 2 图像旋转 由于拍摄图像时的角度各不相同，所以检测出的面部图像中五官的位置也各不相同。 要通过训练图像来提取图像的表情特征，必须统一图像的五官位置，所以需要对图像进行 旋转，将图像旋转成正脸图像( 正脸图像模型如图3 1 所示) 。 旋转公式如式( 3 1 ) 所示： 图3 - 1 正脸图像模型 1 1 南京”电 日 鱿学位论立第三章新生n 面部闰镕m * 4 其中，( 虬v ) 为图像旋转打的像素坐标，( z ，y ) 为图像旋转后的坐标，l 为对应点的像素值， 0 为逆时针旋转的角度。旋转前后图像如图3 - 2 ，3 - 3 所示： 图3 - 2 旋转前图像 图3 - 3 旋转后图像 f叫刈 篇。焉。 自m m 碰研究 学位论女 * 三$ # 生l 面部吲像预n 理 3 3 图像剪切 为了在表情特征提取时减少图像背景、头发及脸部轮廓的影响，需要对图像进行剪切。 本文为了避免在后续尺度归化处理时使图像发生形变，所以，在剪切时就按照后续的 1 1 2 x 9 2 的比例进行剪切，剪切比例如图3 _ 4 所示： 图3 4 剪切比例示意圈 图3 3 经剪切后，生成图像如图3 5 所示： 3 4 图像灰度化 纛 图3 - 5 剪切后图像 我们所采集的图像为彩色图像，彩色图像中包含亮度信息和色度信息其中，色度信 息受光照影响较大，而灰度图像只包含亮度信息，受光照影响小。所以，为了比较准确的 提取表情特征，需要对彩色图像进行灰度化，转变为灰度图像。灰度化公式如式( 32 ) 所 月i ： g r a y = 03 r + 05 9 g + 01 1 b ( 32 ) 图3 - 5 经灰度化后，生成图像如图3 - 6 所示： m g t “太# 1 研究i 学位女第= 章新生n 面图像预处4 3 5 图像尺度归一化 图3 石灰度化后图像 由于面部图像的太小不同，所以截取出的图像大小不一，为方便图像特征的提取和比 较需要对图像尺度进行归一化得到大小相同的人脸图像来进行实验。 本文采用职线性插值法对图像进行尺度归化处理，将图像都转化为1 1 2 x 9 2 大小。 在双线性插值中，新创造的像素值，是由原图像位置在它附近的2 2 区域内4 个邻近 像素的值，通过加权平均计算得出的。这种平均算法具有释放锯齿的效果，创造出来 的图像拥有平滑的边缘，锯齿难以察觉。 职线性插值过程：对于任意一个坐标为( ，) 的目的像素( 如图3 7 所示) ，像 素的灰度值f ( u 。，) 可由原图像中坐标为( 虬v ) 、陋+ 1 ，v ) 、( “，v + 1 ) 和0 + l ，v 十1 ) 的四个 周围像素所对应的灰度值决定。 l 。奄1 下。j 誊鬻 鼗k 蟛一 删“雠砖唪? 誓誊誊髫 | 州“r 。裕叫f瀚 h t 咐驴f l 霉癌，k 上。 f 图3 7 双线性插值示意图 双线性插值的计算过程可分为三步： 步骤1 ：计算e 点的扶度，公式如式( 33 ) 所示： ，( ，v ) = ，( ) + ( 一”) 【，“+ l ，v ) 一s ( u ，v ) 步骤2 ：计算f 点的获度公式如式( 34 ) 所示： f ( u 。，v + 1 ) = ，( 虬v + 1 ) + ( ”) ，0 + 1 ，v + 1 ) 一，( 虬v + 1 ) 步骤3 ：计算插值点的灰度，公式如式( 35 ) 所示： 1 4 ( 33 ) ( 3 4 ) 自i 自 学顾+ 研究生学位论i第三章新儿面部图像预n 理 ，( “。，) = ，( ，v ) + ( 一v ) 【，v + 1 ) 一，( v j 】 由式( 33 ) ( 34 ) ( 35 ) 可以得出，双线性插值的计算公式为： f ( u 。，) = ( 1 + “一u o ) o + v v o ) f ( u ，v ) + ( 一“) ( 1 + v v o ) 厂( + 1 ，v ) + ( 1 + o ) ( k v ) ，( “，v + 1 ) + ( “o 一“) ( v ) f ( u + l ，v + 1 ) 图3 - 6 经双线性插值尺度归一化后，生成图像如图3 罐所示： 圈3 - 8 双线性插值尺度归一化后图像 3 6 图像灰度均衡化 ( 3 5 ) ( 3 6 ) 由于在图像采集过程中光照的变化，导致图像呈现不同的明暗程度，图像灰度分布不 均，影响表情图像的识别效果。因此需要对表情图像进行灰度均衡化，其作用是增强图 像的整体对比度，并使灰度分布均匀以消除光照变化的影响，此外还可以消除不同人种 的肤色差异。 本文通过对面部图像灰度直方国的修正来调整图像的均值和方差，完成图像的均衡化 处理，因此也称为直方图均衡化。 灰度直方图反映了图像中每一灰度级与具有该灰度级的像素出现的频率之问的关系， 可以表示为： e ( r a = 寿 ( 37 ) 式中，表示第k 个灰度级，仉为第k 级灰度的像素数，为一幅图像的像素总数。灰度 直方图是图像的重要统计特征，它可以被认为是图像灰度概率密度函数的近似。 直方图均衡化处理的中心思想是把原始图像的灰度直方图从比较集中的某个灰 度区间变成在全部灰度范围内的均匀分布。直方图均衡化就是对图像进行非线性拉 伸，重新分配图像像素值，使一定灰度范围内的像素数量大致相同。经过直方图均衡 化后，图像的对比度增强直方图各灰度等级的分布更加平衡。 直方图均衡化是实现方法如下： 假设原始图像在( x ，y 1 处的灰度为f ，经直方图均衡化后对应的灰度为g ，则直 1 5 m 京电太# iw r # 位* z第= 新n 面目像预处目 方图均衡化可表述为将在f t y ) 处的灰度，映射为g 。在扶度直方图均衡化处理中对 图像的映射函数可定义为：g = e q ( ，) ，这个映射函数必须满足两个条件( 其中l 为图 像的灰度级数) ( 1 ) e q ( ，) 在0 f l1 范围内是个单值单增函数。这是为了保证增强处理没 有打乱原始图像的灰度排列次序，原图各灰度级在变换后仍保持从黑到自( 或从白到 黑) 的排列。 ( 2 ) 对于0 f l1 ，有0 g l 一1 。这个条件保证了变换前后灰度值动态范围 的一致性。 累计分布函数( a u m u l a t i r ed is t r i b u t i o nf u n c t i o n ，c d f ) 即可以满足上述两个 条件- 并且通过该函数可以完成将原图像，的分布转换成g 的均匀分布。此时的直方 图均衡化映射函数为： 驴固( 舻喜号= 害删) ( 3s ) 其中，n 为一幅图像的像素总数( ，) 表示灰度为的像素的出现概率， k = 0 ，1 ，2 ，- ”，l 一1 。 根据式( 38 ) 可以由源图像的各像素灰度值直接得到直方图均衡化后各像素的 灰度值。在实际处理变换时，一般先对原始图像的灰度情况进行统计分析，并计算出 原始直方图分布，然后根据计算出的累计直方图分布求出五到甑的灰度映射关系。 在重复上述步骤得到源图像所有灰度级到目标图像灰度级的映射关系后，按照这个映 射关系对源图像各点像素进行灰度转换即可完成对原图像的直方图均衡化。 图3 - 8 经扶度均衡化后，生成图像如图3 - 9 所示： 图3 - 9 灰度均衡化后图像 灰度均衡化前后图像对应的直方图如图3 一l o 3 - 1 1 所示 1 6 南京邮电太学领f 研究学位论i第= 章新生n 面部图像颅n 理 l m 圈31 0 灰度均衡化前图像直方图 图31 1 灰度均衡化后图像直方图 3 7 本章小结 本章详细介绍了面部图像的预处理过程，包括对图像的旋转、剪切、灰度化、尺度归 一化和灰度均衡化。首先将人脸图像旋转为正脸图像再对图像进行剪切，减少图像背景、 头发及脸部轮廓的影响然后对图像进行灰度化，减少光照的影响。接着，进行尺度归一 化和灰度均衡化。尺度归一化是将所有人脸图像调整到统一的标准尺寸1 1 2 x 9 2 像素本 文采用取线性插值法，使生成的图像拥有平滑的边缘。灰度均衡化本文采用直方图均衡 化的方法来增强图像的整体对比度，并使荻度分布均匀，以消除光照变化的影响。 1 7 南京邮电大学硕上研究生学位论文第四章新生儿面部图像g a b o r 特征提取及有效特征