（信号与信息处理专业论文）新生儿面部表情特征提取的研究.pdf

南京邮电火学硕士研究生学位论文 中文摘要 摘要 近年来，新生儿疼痛的相关研究在国外引起了广泛的关注。由于新生儿不能自述疼痛 的感受，由此产生了一些针对新生儿疼痛的评估工具，其中面部表情的改变是被广泛认同 的一种最有效、可靠的评估指标，因此人脸表情识别研究对开发一种有效的新生儿疼痛自 动评估系统是非常有意义的。人脸表情特征提取是人脸表情识别的核心，特征提取的有效 性直接影响到识别的速度和性能。 本文综合比较了目前各种人脸表情特征提取方法的优缺点，在对g a b o r 小波与核鉴别 分析进行了充分研究的基础上，提出了一种应用于新生儿疼痛表情识别的特征提取方法。 主要完成了以下工作：( 1 ) 建立了一个包含2 0 0 幅不同表情的新生儿灰度图像的数据库， 本文所有实验都是在这个数据库上进行的；( 2 ) 利用快速傅立叶变换实现了人脸表情图像 的g a b o r 变换的快速算法并通过实验的方法选取最优的g a b o r 小波尺度和方向；( 3 ) 传统 方法中对g a b o r 特征直接进行均匀下采样势必会造成有用识别信息的丢失，针对这一问题， 提出针对不同尺度的g a b o r 小波特征采用不同的下采样因子来对g a b o r 变换特征进行第一 次降维，并通过实验证明了这种非均匀下采样方法有利于提高表情识别率；( 4 ) 针对整个 人脸图像的g a b o r 变换特征，经过非均匀采样进行第一次特征提取后的特征向量维数依然 很高这一问题，提出了一种改进的核鉴别分析方法对g a b o r 特征进行二次特征提取，该方 法从根本上解决了由于人脸识别小样本问题引起的核类内离散度矩阵奇异性的问题。 最后，利用支持向量机分类器对提取的特征进行了实验验证，通过对实验结果的分析 得出以下结论：本文提出的二次表情特征提取方法能够显著改善表情识别系统的性能。 关键词：新生儿疼痛，面部表情特征提取，g a b o r 小波变换，核鉴别分析 a b s t r a c t i nr e c e n ty e a r s ，r e s e a r c ho nn e o n a t a lp a i nh a sa r o u s e dw i d e s p r e a dc o n c e r na b r o a d k i n d so f a s s e s s m e n tt o o l so fn e o n a t a lp a i nh a sb e e nd e v e l o p e da sn e o n a t e sa r en o tc a p a b l eo fd e s c r i b i n g t h e i rs u b j e c t i v ee x p e r i e n c e a b o v ea l l ，t h ec h a n g eo ff a c i a le x p r e s s i o n si sr e g a r d e da st h em o s t e f f e c t i v e ，r e l i a b l ea s s e s s m e n ti n d i c a t o r t h e r e f o r er e s e a r c ho nf a c i a le x p r e s s i o nr e c o g n i t i o ni s v e r ym e a n i n g f u lf o r t h ed e v e l o p m en to fa ne f f e c t i v ea u t oa s s e s s m e n ts y s t e mo fn e o n a t a lp a i n f e a t u r ee x t r a c t i o ni st h ec o r eo ff a c i a le x p r e s s i o nr e c o g n i t i o n ，w h i c hd i r e c t l ya f f e c t st h es p e e d a n dp e r f o r m a n c eo ff a c i a le x p r e s s i o nr e c o g n i t i o ns y s t e m i nt h i st h e s i s ，f i r s t l ys y n t h e s i z e dc o m p a r et h ea d v a n t a g e sa n dd i s a d v a n t a g e so fv a r i o u so f e x t r a c t i o nf e a t u r em e t h o d s ，a n dt h e naf a c i a le x p r e s s i o nf e a t u r ee x t r a c t i o nm e t h o db a s e do n g a b o rw a v e l e ta n dk e m e ld i s c r i m i n a n ta n a l y s i si sp r o p o s e d ，w h i c hi sa p p l i e dt od e a lw i t ht h e r e c o g n i t i o no fn e o n a t a lf a c i a le x p r e s s i o no fp a i n t h em a i nc o n t r i b u t i o n so ft h i st h e s i sa r ea s f o l l o w s ：( i ) ad a t a b a s ei sb u i l dw h i c hc o n t a i n s2 0 0g r a yi m a g e so fn e o n a t a l w i t hd i f f e r e n t e x p r e s s i o n s ，a n da l lt h ee x p e r i m e n t so ft h i st h e s i sa r eb a s e do nt h ed a t a b a s e ( 2 ) t h ef a s t a l g o r i t h mo fg a b o rt r a n s f o r mi sr e a l i z e db yt h eu s eo ff f t s e l e c tt h eb e s ts c a l ea n do r i e n t a t i o n o fg a b o rw a v e l e tt h r o u g he x p e r i m e n t s ( 3 ) i no r d e rt oa v o i dt h el o s to fu s e f u l d i s c r i m i n a n t i n f o r m a t i o nd u et ot h eu n i f o r md o w n s a m p l i n gg a b o rf e a t u r e sd i r e c t l ya d o p t e di ns o m ee x i s t i n g m e t h o d s ，an o n - u n i f o r mm o d ei sp u tf o r w a r di nt h i st h e s i s ，w h i c hu s e sd i f f e r e n td o w n s a m p l i n g c o e f f i c i e n tw i t hd i f f e r e n tg a b o rs c a l e t h er e s u l to fe x p e r i m e n t ss h o w st h a ti tc a l le n h a n c e c o r r e c tr a t eo p p o s i t et ou n i f o r mo n e ( 4 ) a l t h o u g ht h ed i m e n s i o n so fg a b o rt r a n s f o r mf e a t u r e v e c t o r sh a v eb e e nr e d u c e db yt h en o n u n i f o r md o w n s a m p l i n g ，t h e ya r es t i l lv e r yh i g h i no r d e r t os o l v et h i sp r o b l e m ，a l li m p r o v e dm e t h o do fk e r n e ld i s c r i m i n a n ta n a l y s i si su s e di nt h i st h e s i s w h i c hs o l v e st h es i n g u l a r i t yp r o b l e mo fk e r n e lw i t h i n c l a s ss c a t t e rm a t r i xt h a ti sc a u s e db yt h e s m a l ls a m p l es i z ep r o b l e mo ff a c er e c o g n i t i o n a l lt h ee x p e r i m e n t so ft h i st h e s i st a k eu s eo f s u p p o i r tv e c t o rm a c h i n ec l a s s i f i e r b a s e do nt h ea n a l y s i so fe x p e r i m e n t a lr e s u l t sc o m et ot h e f o l l o w i n gc o n c l u s i o n s ：t h ep r o p o s e dm e t h o d so ff a c i a le x p r e s s i o nf e a t u r ee x t r a c t i o nc a ng r e a t l y i m p r o v et h ep e r f o r m a n c e o f r e c o g n i t i o ns y s t e m i i 南京邮电大学硕士研究生学位论文a b s t r a c t k e y w o r d s ：n e o n a t a lp a i n ，f a c i a le x p r e s s i o nf e a t u r ee x t r a c t i o n ，g a b o rw a v e l e tt r a n s f o r m ， k e m e ld i s c r i m i n a n ta n a l y s i s i i i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谓十的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：盏丛塑。日期：鲴! 垒：盘 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 南京邮电大学硕士研究生学位论文 第一章引言 1 1 课题背景 第一章引言 起初人们普遍认为新生儿无法回忆起出生早期的经历，认为疼痛不会对其以后的成长 发育和行为产生影响，故一直未予重视和正确处理。近年来，大量研究证实，新生儿疼痛 传导通路发育不完善，且缺乏良好的抑制作用，会产生夸大的疼痛反应；新生儿对疼痛的 感知比婴儿和成人更弥漫、强烈和持久【1 1 。新生儿疼痛主要来自侵入性操作，包括足底采 血、动静脉穿刺及气管插管、皮下和肌肉注射、腰椎穿刺等，此外还有手术、局部感染、 皮肤烧伤、换药等。反复的疼痛刺激会对新生儿，尤其对早产儿和危重儿，将产生一系列 近期和远期的不良影响，其中包括急性生理反应和对中枢神经系统的永久损伤、发育迟缓 和情感紊乱等，这将影响他们将来对疼痛的行为反应，对家庭和社会带来负面影响1 2 1 1 3 1 。然 而，目前由于医护人员对新生儿疼痛的表现缺乏正确的认识，或者害怕与镇痛药有关的不 良反应，再加上临床上未掌握适当的评估方法，导致长久以来新生儿疼痛得不到及时处理。 疼痛是一种包括感觉和情感的主观感受，自我评估被认为是最可靠的评估疼痛方法。 由于新生儿不能自述疼痛的感受，疼痛评估成为新生儿科学中最具挑战性的一个难题【4 l 。 由于新生儿自主神经系统并不完善，一些生理指标如心率、血压变化差异较大，病理情况 时反应也各异，可能导致测量结果不确定，所以不能仅用生理指标来评估新生几疼痛，必 须与行为评估方法联合应用1 5 】。新生儿在疼痛时会表现出行为变化，包括哭声、面部表情 改变、呻吟、肢体活动及行为状态( 如睡眠和食欲) 的改变。疼痛引起的哭声往往高尖、 持续时间长、频繁。但早产儿很少哭，即使受到疼痛刺激，哭闹时间也很短；危重儿因衰 竭无力很少哭，或因气管插管导致声门阻塞而无法哭。因此，哭声并不是早产儿或危重儿 疼痛评估有效、可靠的指标，目前广泛认同的是面部表情改变。新生儿“疼痛面容( 蹙 眉、挤眼、鼻唇沟加深、张口) 是最可靠的疼痛指标，且持续时间最长。 近年来，新生儿疼痛的相关研究在国外倍受关注。但在国内尚未引起足够重视，对新 生儿疼痛的研究报道很少，仅有广西壮族自治区柳州市人民医院的袁大华等，用自行制定 的新生儿疼痛量表，对入选住院新生儿1 0 0 例分2 组( 评估及对照组各5 0 例) ，在常规医 疗操作( 足跟采血、静脉穿刺等) 过程中及处理后进行评分【6 】。评分内容包括面部表情、 南京邮电火学硕七研究生学位论文 第一章引言 啼哭程度、上下肢活动、生理指标等。 在国际上目前常用的评估工具有以下4 种：早产儿疼痛评分【7 】( p r e m a t u r ei n f a n tp a i n p r o f i l e ，p i p p ) 、新生儿疼痛评分佯j ( n e o n a t a li n f a n tp a i ns c a l e ，n i p s ) 、c r i e s ( c r y i n g ， r e q u i r e d0 2f o rs 0 2 9 5 ，i n c r e a s e d v i t a ls i g n s ，e x p r e s s i o n ，s l e e p l e s s n e s s ) 量表【9 1 、新生 儿面部编码系统【1 0 】( n e o n a t a lf a c i a lc o d i n gs y s t e m ，n f c s ) 。上述4 种不同新生儿疼痛评 估工具的观测指标有所不同，信度、效度和可行性等的比较，见表1 1 。其中“”表示有 此项观测指标：“+ ”表示好；“一 表示无或未验证。 表1 1 新生儿疼痛评估工具的比较 p i p pn i p sc r i e sn f c s 面部表情 睡眠觉醒状态 生理指标 哭闹 肢体 孕周 测量者间信度 + 内部一致性 +十+ 同期标准效度 + + 结构效度 + 可行性 + + 由表1 1 可以看出：面部表情是所有评估工具都采用的一项测评指标，而且在n f c s 中还作为单一的测评指标。 目前，国际上对新生儿疼痛的评估都是由受过专i - j t ：l l 练并熟悉各项评估技术指标的医 护人员进行人工评估，这带来了一些实际问题，如需要花费大量的时间精力，而且评估结 果往往受到主观因素的影响。因此，开发一种客观、快速、有效的新生儿疼痛自动评估系 统是非常有意义和价值的。但目前还没有见到公开的相关报道及研究成果。 在人脸面部表情识别的研究方面，目前的大多算法采用由k a n a d e 和c o h n 等建立的 d f a t 5 0 4 人脸表情数据库作为训练和测试样本【l ，都是针对普通成年人，采用e k m a n 提 出的情感分类方法，定义“高兴、愤怒、厌恶、恐惧、悲伤、惊奇”六种“典型的面部 表情，至今还未见到有关针对像“疼痛”这种特定的面部表情的识别算法。所以，本课题 2 南京邮电大学硕士研究生学位论文 第一章引言 的研究在国际上是一项开创性的工作，研究成果具有自主知识产权。 本课题的研究内容是探索新生儿疼痛面部表情自动识别的理论和方法，解决面部表情 识别的难点和关键技术问题，为开发基于面部表情识别的新生儿疼痛自动评估系统打下基 础。本课题的研究成果在医疗机构的临床应用中有着潜在的广阔前景，可在各家医院推广 应用，为医护人员客观、可靠、有效地评估疼痛提供科学的依据，以便在临床上及时采取 相应的镇痛治疗措施，以减轻新生儿的疼痛：也可作为研制开发镇痛药物的评估工具及治 疗效果的判断标准。本课题的实施对于提高人口素质、改善生命质量和社会的可持续发展 具有重大的现实意义和社会效益。 此外，人脸面部表情分析与识别作为生物特征识别与情感计算领域的一个极富挑战性 的交叉课题，仍有许多问题亟待解决。本课题的研究思想和实现方法对推动和促进生物电 子学、模式识别、情感计算等学科的发展具有重要的理论意义和学术价值。 1 2 人脸表情识别系统 按照对图像数据的处理流程，人脸表情自动识别系统主要包括以下三个核心环节：人 脸检测、人脸表情特征定位与提取、人脸表情的情感分类i l 引。在分析人脸表情和抽取特征 数据之前，需要进行人脸检测。人脸描述是人脸表情识别的前期工作，人脸可以用整体描 述、特征区域描述等多种方式描述，而人脸描述方式决定了人脸表情特征信息抽取的方法。 最后，要定义一些人脸情感类别并且设计分类的算法来进行人脸的表情分类。人脸表情识 别的系统流程如图1 1 所示。 图l 一1 人脸表情识别系统流程图 一般来说，在对检测出的人脸图像进行特征提取之前需进行预处理( 几何归一化和 狄度归一化) ：几何归一化是指根据人脸定位结果将图像中人脸变换到同一位置和同样大 小；灰度归一化是指对图像进行光照补偿等处理，以克服光照变化的影响从而提高识别率。 南京邮电大学硕士研究生学位论文 第一章引言 1 2 1 人脸检测 人脸检测是指对输入的场景图像，判定其中是否包含人脸，如果有的话，确定出人脸 的位置、大d 、和姿态【1 3 】【1 4 】，并将其从图像背景中分割出来。这是一个复杂的模式检验问题， 其主要的难点在两个方面：一方面是由于人脸内在的变化所引起：( 1 ) 人脸具有相当复杂 的细节变化，不同的外貌如脸形、肤色等，不同的表情如眼睛、嘴巴的运动等；( 2 ) 人脸 的遮挡，如眼镜、头发和头部饰物以及其它的物体等。另一方面由于外在条件所引起：( 1 ) 由于成像角度的不同造成人脸的多姿态，如平面旋转、深度旋转以及上下旋转，其中深度 旋转影响很大：( 2 ) 光照的影响，如图像中的亮度、对比度的变化和阴影等；( 3 ) 图像的 成像条件，如聚焦、获取途径等。如果能将这些问题解决并且能够达到实时的话，就能得 到有价值的应用。 人脸检测可以按照所采用的图像不同分为静态图像中人脸检测和序列图像中人脸检 测：依据应用的场合不同可分为单一背景下人脸检测和复杂背景下人脸检测；按照人脸检 测使用方法的不同，可以分为基于人脸几何特征的人脸检测、基于人脸灰度分布的人脸检 测、基于肤色建模的人脸检测、基于局部特征的人脸检测、基于稀疏特征的人脸检测等。 1 2 2 人脸表情特征提取 人脸表情特征提取是人脸表情识别的核心环节。同一识别算法如果选择的特征不同将 造成识别效果的截然不同。人脸描述方法的不同是人脸特征表达与提取不同的直接原因， 人脸描述方式通常可分为三种：整体方法、分析方法和复合方法。表1 2 归纳了常用的人 脸描述方法。 表1 - 2 常用的人脸描述方法 整体的方法分析的方法复合的方法 动态表情模型人脸特征点光流法基准点网格和g a b o r 小波 标注图形人脸特征点模型和垂直线8 x 1 0 的二次网格 点分布模型正面基于点的模型整个人脸的光流分析 随机块特征矢量双视图基于点的模型势网格方法 人脸| 叉：域光流方法标注图形方法 表1 2 中提到的动态表情模型( a c t i o na n i m a t em o d e l ，a a m ) 使用1 2 2 个人工定义 点刻画人脸特征信息【1 5 】，点分布模型( p o i n td i s t r i b u t em o d e l ，p d m ) 使用人工标注的9 0 个特征点来描述6 种基本表情，这两种方法都需要人工参与；标注图形方法( l a b e l e dg r a p h ， l g ) 是对图形每个节点进行g a b o r 小波滤波；光流分析方法可分为对区域的分析、对人脸 上部特征点的分析以及这两种分析方法的结合使用【1 6 】。 4 南京邮电入学硕士研究生学位论文 第一章引言 人脸表情特征提取是在人脸被检测定位后，根据人脸描绘方法不同而采用不同的特征 提取方法进行的面部表情信息的提取。人脸表情特征提取的方法按其所使用图像的类型不 同可分为两类：一类是静态图像中的人脸表情特征数据提取，另一类是序列图像中的人脸 表情特征提取。静态图像中人脸表情特征数据提取方法包括全局人脸特征提取和人脸局部 特征提取，全局人脸特征提取方法包括基于点分布模型的方法( p d m ) 、基于混沌调制矢 量的方法( c m v ) 、基于小波分析的方法、p c a 分析以及使用支持向量机( s u p p o r tv e c t o r m a c h i n e ) 的方法。基于局部特征的人脸表情特征提取方法一般根据瞳孔和上人中的几何关 系，使用图像处理的手段对突出特征如眉毛、眼睛、鼻子、嘴、轮廓和皱纹等特征进行检 测。图像序列具有良好的时空特性，因此图像运动的局部参数模型( p m l p ) 可以用来进 行特征提取。基于特征点的光流模型、基于密度流的像素跟踪模型、p c a 分析方法、势网 格模型、特征脸方法、局部特征区域跟踪等方法都得到了应用。 1 2 3 人脸表情识别 人脸表情识别系统的最后一个环节就是将根据提取的特征对人脸表情进行分类，可以 根据人脸活动性分类也可以根据情感进行分类，有些系统则兼容了两者。常见方法有基于 规则的方法、基于模板匹配的方法、基于隐马尔克夫模型的多特征融合方法、支持向量机 ( s v m ) 的方法【17 1 。 1 3 人脸表情特征提取的研究意义 人脸的表情特征提取和表情的情感分类是人脸识别中最为关键的两个问题，而表情的 情感分类的准确性则主要体现在表情特征定位与提取的准确性和有效性上，因此对人脸表 情特征提取的研究对人脸识别系统的实现具有重大的现实意义。有效的特征提取有助于表 情分类，同时也可以降低数据库的存储量。如果特征提取不准确，则该识别系统一定是不 准确的。人脸表情特征提取的针对性与准确性不够是目前人脸表情识别领域存在的主要问 题之一。目前的大多数算法都是针对普通成年人脸图像，至今尚未有针对新生儿面部图像 的，因此本课题有其特定的研究意义。 5 南京邮电大学硕- 上研究生学位论文 第一章引言 1 4 国内外研究与发展现状 1 4 1 国内研究现状 国内各高等院校及研究机构在此领域取得了一定的研究成果。王华等提出了能对正视 图像和斜视图像同样有效地进行特征提取的一些新算法，建立了人脸斜视图像的数学模型， 对于倾斜了一定角度的人脸图像能够提取出一些比较明显的特征，并通过查阅标准数据库， 对特征向量进行恢复，找出最佳匹配的标准图像。中科院自动化所在运动检测、人脸跟踪、 步态识别和人体跟踪等方面进行了研究，并且建立了相关的演示系统。中科院计算所在人 脸面部信息检索与识别方面已经取得了比较重大的进展，系统可以在o 0 5 0 1 秒内捕获人 脸，并且在1 秒内完成识别，准确率高达9 6 6 。南京大学等单位研制的“基于单幅训练 图像的多表情人脸自动识别系统”己经投入实用。 1 4 。2 国外研究现状 目前国外在该领域己经发展到实用化程度，已有的方法也比较多。首先是基于模板的 面部特征提取方法，主要代表是哈佛大学s m i t h k e t t l e w e l 眼睛研究中心的y u i l l e ，他采用 弹性模板来提取眼睛和嘴巴的轮廓，c h e n 和h u a n g 则进一步提出用活动轮廓模板( 即 s n a k e s 模型) 提取眉毛、下巴和鼻孔等不确定形状；基于k - l 变换的特征脸( e i g e n f a c e ) 方法，主要研究者是m i t 媒体实验空的p e n t l a n d 小组，在此基础上还出现了各种改进方 法，如y a l e 大学的b e l h u m e u r 提出的f i s h e r 脸方法等：隐马尔可夫模型方法，主要代表有 c a m b r i d g e 大学的s a m a r i a 小组和g e o r g i a 技术研究所；神经网络识别方法，如p o g g i o 小 组提出的h y p e r b f 神经网络识别方法，英国s u s s e x 大学的b u x t o n 和h o w e l l 小组提出的 r b f 网络识别方法等：基于动态链接结构的弹性图匹配方法，主要研究者是由c v o n d e r m a l s b u r g 领导的德国b o c h u m 大学和美国s o u t h e r nc a l i f o r n i a 大学的联合小组；利用运动和 颜色信息对动态图像序列进行人脸识别的方法，主要代表是q u e e nm a r y 和w e s t f i e l d 大学 的s h a o g a n gg o n g 小组。美国卡耐基一梅隆大学( c a r n e g i em e l l o nu n i v e r s i t y ，c m u ) 已经 建立了比较简单的自动面部分析( a u t o m a t e df a c ea n a l y s i s ，a f a ) 系统，i b m 提出了蓝 眼睛计划，其主要目标是给电脑以人类的触觉、听觉和视觉感受，并进一步达到能够分析 人类目光和表情、察觉人类情感的状态。i b m 的中国研究中心最新开发的“蓝眼睛”电子导 购系统计划在近期将投入使用。微软公司亚洲研究院也成立了专门的研究小组开展对人脸 6 南京邮电大学硕：t ：研究生学位论文 第一章引 言 识别技术，人体运动分析与合成方面的研究。其它有影响的从事人脸识别研究的单位还有： c a m e g i em e l l o n 大学、s t a n f o r d 大学、m a r y l a n d 大学、g e o r g e m s o n 大学以及i l l i l o i s 大学等。 1 5 本文的主要工作与文章结构 针对新生儿( 不满一个月) 面部表情图像，本文实现了一种基于g a b o r 小波变换与核 鉴别分析算法的表情特征提取方法。主要做了以下工作： ( 1 ) 建立了一个包含2 0 0 幅不同表情的新生儿灰度图像的数据库。 ( 2 ) 采用不同方向和尺度的g a b o r 小波滤波器对表情图像进行变换，并利用快速傅立 叶变换在很大程度上提高了g a b o r 小波变换算法的计算速度。通过实验对不同方向和尺度 的g a b o r 变换特征对识别率的影响进行了比较，选取最优的g a b o r 小波尺度和方向。 ( 3 ) 为了减少直接对g a b o r 特征进行均匀下采样造成的有用信息的丢失，本文提出了 针对g a b o r 小波函数不同尺度采用不同的采样因子的非均匀下采样，从而减少了有用高频 表情细节信息的丢失，并通过实验验证了该方法的有效性。 ( 4 ) 由于非均匀下采样之后的g a b o r 特征维数依然很高，不适合直接送入分类器进行 分类，在此基础上，本文进一步提出了利用一种改进的核鉴别分析( k e r n e ld i s c r i m i n a n t a n a l y s i s ) 算法来对g a b o r 特征进行二次特征提取，该方法解决了传统核鉴别分析算法中由 于小样本问题所引发的奇异性问题，并通过实验证明了本文提出的特征提取方法的有效性。 全文共分五个章节，内容组织如下： 第1 章讨论了本研究课题的背景和意义，概述了国内外人脸表情特征提取的研究现状， 提出了本文的主要研究工作和文章结构。 第2 章介绍了特征提取的准则和方法，详细介绍了现有人脸表情特征提取的典型方法 并比较了各种方法的优缺点。 第3 章详细介绍了人脸表情图像预处理。 第4 章研究了人脸表情图像的g a b o r 特征描述及其二次特征提取算法，并对提出的改 进算法的有效性进行了详细的实验验证。 第5 章全文工作总结，并对进一步的研究工作进行了展望。 7 南京邮电大学硕士研究生学位论文 第二章人脸特征提取相关理论与方法 第二章人脸特征提取相关理论与方法 2 1 特征提取的准则和方法 通常情况下，特征形成会产生很高的空间维数，需要降低维数以便分类。一种方式是 通过映射( 或变换) 的方法把原始的高维特征向量变换为低维特征向量，可见，新的特征 向量中包含了原始特征向量的信息，这种方法就是特征提取：另一种方式是从一组原始特 征中挑选出一些最有效的特征以达到降低特征空间维数的目的，即从d 个特征中挑选出d 个( d d ) ，将d d 个特征忽略掉，这种方法称为特征选择。由此可见特征选择会丢失 部分信息，而特征提取力图尽可能地保留原始特征向量的信息。特征提取的关键问题是求 出最佳的变换矩阵，使得变换后的模式空间中，类别可分性准则值最大。 一般来说，在人脸特征提取之前对于上一步检测分割出的人脸区域需要进行预处理， 包括几何归一化和狄度归一化，以达到位置校准和灰度归一化的目的，将其转换成所谓的 “标准图像”。几何归一化是指根据人脸定位结果将图像中的入脸变化到同一位置和大小； 灰度归一化是指对图像进行光照补偿等处理，以克服光照变化的影响。 在一个比较完善的模式识别系统中，明显或隐含地要有特征提取与选择技术环节，其 通常在对象特征数据采集和分类识别两个环节之间，特征提取与选择品质的优劣极大地影 响着分类器的设计和性能，它是模式识别三大核心问题之一。 特征提取与选择的基本任务是研究如何从众多特征中求出那些对分类识别最有效的 特征，从而实现特征空间维数的压缩。从模式样本的诸量测值中提取与选择最能有效反映 类别属性的特征的主要原则和方法包括基于类别可分性判据、最小误判概率准则、f i s h e r 准则函数、判决边界及基于离散k - l 变换法提取与选择特征。 分类识别的正确率取决于对象的表示、训练学习和分类识别算法。从直观上可知，在 特征空间中如果同一类的模式分布比较密集，不同类的模式相距较远，分类识别就比较容 易正确，因此在由实际对象提取特征时就要非常注意这一要求，这将给后继分类识别环节 带来很大的便利。但是由于某些实际的原因，我们提取的特征使模式没有显著地如上述那 样分布，或者所得的特征过多，为了保证所要求的分类识别的正确率和节省资源，希望依 r 南京邮电大学硕士研究生学位论文 第二章人脸特征提取相关理论与方法 据最少的特征达到所要求的分类识别的正确率。因此，通常在得到实际对象的若干具体特 征之后，再由这些原始特征选择对分类识别最有效、数目最少的特征，这就是特征提取与 选择的任务。从本质上讲我们的目的是使在最小维数特征空间中异类模式点相距较远( 类 间距离较大) ，而同类模式点相距较近( 类内距离较小) 。在实现上述目标时，往往需要首 先制定特征提取与选择的准则，可直接以反映类内、类间距离的函数作为准则，或直接以 误判概率最小作为准则，也可以用类别判决函数作为准则，还可以构造与误判概率有关的 判据来评判特征对分类识别的贡献或者有效性。 2 2 人脸表情特征选取的原则 人脸表情特征的选取好坏直接影响人脸表情识别的准确率。人脸面部的运动特征、纹 理特征、脸部器官的位移等都是重要的表情识别特征。综合考虑表情特征的重要性和提取 的有效性，确定了人脸表情特征选取满足以下原则： ( 1 ) 良好的人脸时空特性。所选择的特征点不但能够体现人脸的运动特征，还要体 现出空域上的典型性，这样的特征才能体现出良好的分类性能。 ( 2 ) 特征提取的准确性和简易性。为了实现计算机准确获取分析所需要的人脸特征， 那么特征应该满足容易提取的要求。有些特征，如人脸的特征点运动信息，是容易发生提 取错误，检测时必须注意到这类信息的处理。 ( 3 ) 特征选择的充分性。为了准确分类人脸表情，必须充分选择人脸表情特征，不 完备的特征容易发生难以分类的现象。 2 3 人脸表情特征提取方法概述 目前，研究人员在提取人脸面部表情特征这一领域中做了大量研究，提出了多种方法， 下面重点阐述一些典型方法。本节主要讨论静态图像中的面部表情特征提取问题。 2 3 1 基于局部特征的提取方法 人脸面部特征提取的研究源于基于几何特征的人脸识别技术的研究，早在二十世纪六 十年代末，k a n a d a 就提出了基于几何特征的人脸识别方法，该方法在人脸图像中提取人脸 几何特征，用于人脸的识别。 9 南京邮电人学硕一l ：研究生学位论文 第二章人脸特征提取相关理论与方法 基于局部几何特征提取法是通过提取人脸的眼睛、鼻子、嘴巴、下巴等重要特征点的 位置、尺度以及彼此间的比率，将人脸用一组几何特征矢量表示，识别归结为特征矢量之 间的匹配，基于欧式距离的判决是最常用的识别方法。它对于表情变化比较敏感，已不是 研究的主流，只有同其他方法结合起来才能达到较好的效果，适用于对证件照片的识别。 它具有如下优点：( 1 ) 符合人类识别人脸的机理，易于理解；( 2 ) 对每幅图像只需存储一 个特征矢量，存储量小；( 3 ) 对光照变化不太敏感。该方法的缺点：( 1 ) 从图像中抽取稳 定的特征比较困难，特别是特征受到遮挡时：( 2 ) 对强烈的表情变化和姿态变化的鲁棒性 较差：( 3 ) 一般几何特征只描述了部件的基本形状与结构关系，忽略了局部细微特征，造 成部分信息丢失，更适合于粗分类。正是这些缺点使该方法逐渐淡出了研究者的视线。 2 - 3 2 基于全局特征的提取方法 对人脸整体特征的提取不需要精确获取人脸器官的局部信息，可以充分考虑到人脸图 像本身具有的灰度信息，能获得更好的识别效果。目前较流行的方法大多数都是基于整体 特征提取的，其中比较典型的方法如下： 2 3 2 1 基于特征脸的方法 特征脸( e i g e n f a c e ) 方法是从主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 演变而 来的一种特征提取和人脸识别技术。p c a 实质上是k - l 展开的网络递推实现，k - l 变换 是图像压缩中的一种最优正交变换，通过它可以把图像从高维空间表示转换到低维空间表 示，且由低维空间恢复的图像和原图像具有最小的均方误差，从而可以把图像在低维空间 的变换系数作为对人脸特征的描述。特征脸方法就是将包含人脸的图像区域看作是一种随 机向量，因此可以采用k - l 变换获得其正交k - l 基底。对应其中较大特征值的基底具有 与人脸相似的形状，故将其称为特征脸( e i g e n f a c e ) 。利用这些基底的线性组合可以描述、 表达和逼近人脸图像。识别过程就是将人脸图像映射到由特征脸张成的子空间上，比较其 与已知人脸在特征脸空间中的位置。它具有如下优点： ( 1 ) 图像的原始灰度数据直接用来学习和识别处理； ( 2 ) 不需要人脸的几何和反射知识： ( 3 ) 通过低维子空间表示对数据进行压缩； 1 0 南京邮电大学硕士研究生学位论文 第二章人脸特征提取相关理论与方法 ( 4 ) 与其它匹配方法相比，识别简单有效。 在传统特征脸方法的基础上，研究者注意到特征值大的特征向量( 即特征脸) 并不一定 是分类性能最好的方向，而且对k - l 变换而言，外在因素带来的图像差异和人脸本身带来 的差异是无法区分的。实验表明，特征脸方法随着光照、角度和人脸尺寸等因素的引入， 识别率急剧下降，因此特征脸方法还存在着理论上的缺陷。近年来，据此发展了多种对特 征脸的改进方法，如双子空间法、相形歧义分析方法、f i s h e r 脸方法等。总之，特征脸方 法是一种简单、快速、实用的基于变换系数特征的算法，但由于它在本质上依赖于训练集 和测试图像的灰度相关性，而且要求测试图像与训练集比较像，所以它有着很大的局限性， 表现在以下几个方面： ( 1 ) 尺度变化很敏感，因此在识别前必须先进行尺度归一化处理，而且由于p c a 在 图像空间是线性的，它不能处理几何变化： ( 2 ) 只能处理正面人脸图像，在姿态、发型和光照等发生变化时识别率明显下降； ( 3 ) 要求背景单一，对于复杂变化背景，需首先进行复杂的图像分割处理 ( 4 ) 学习时间长，只能离线计算。 2 3 2 2 基于模板匹配的方法 模板匹配的方法大多是用归一化互相关，直接计算两幅图像之间的匹配程度。由于这 种方法要求两幅图像上的目标要有相同的尺度、取向和光照条件，所以预处理要做尺度归 一化和灰度归一化。最简单的人脸模板是将人脸看成一个椭圆，检测人脸也就是检测图像 中的椭圆。另一种方法是将人脸用一组独立的小模板表示，如眼睛模板、嘴巴模板等。但 这些模板的获得必须利用各个特征的轮廓，而传统的基于边缘提取的方法很难获得较高的 连续边缘，即使获得了可靠度高的边缘，也很难从中自动提取所需的特征量。为此，运动 模板方法提取特征显示出其独到的优越性。运动模板由一组根据特征形状的先验知识设计 的可调参数所定义。为了求出这组参数，需要利用图像的边缘、峰值、谷值和强度信息及 特征形状的先验知识设计合适的能量函数。参数向能量减小方向作调整，当能量达到最小 时，对应的模板形状最符合特征形状。模板匹配的最大缺点就是运算量大，特征提取所耗 时间长。 南京邮电大学硕上研究生学位论文 第二章人脸特征提取相关理论与方法 2 3 2 3 基于弹性图匹配的方法 弹性图匹配是一种基于几何特征和对灰度分布信息进行小波纹理分析相结合的识别 算法。l a d e s 等人【1 8 l 针对不变性的物体识别提出了动态链接模型( d l a ) ，将物体用稀疏图 形来描述，其顶点用局部能量谱的多尺度描述来标记，边则表示拓扑连接关系，并用几何 距离来标记，然后应用塑性图形匹配技术来寻找最近的已知图形。其后，w i s c o t t 等人【1 9 】【2 0 】【2 l 】 在此基础上作了改进。由于该方法不仅提取了描述人脸图像的局部特征，保留了人脸图像 的空间信息，而且可以在一定程度上容忍人脸从三维n - - 维投影引起的变形，对光照、位 移、旋转及尺度变化都不敏感，因此它是一种具有典型代表性的方法。其主要缺点是对每 个存储的人脸需计算其模型图，计算量大，存储量大。 与特征脸方法相比，弹性图匹配能够容忍表情的变化，并在一定程度上能够容忍视角 的变化，这是弹性图匹配方法优于特征脸方法的原因。还有一点改进的是：当特征脸方法 向人脸库中加入新的人脸时，有可能需要重新计算特征脸，因为不能保证已有的特征脸的 通用性，而对于弹性图匹配的方法，则不需要改变已有的数据，直接加入新的模板数据即 可。当然弹性图匹配方法也存在一个明显的缺点：就是需要更大的计算复杂度和存储空间。 2 3 2 4 基于隐马尔可夫模型的方法 隐马尔可夫模型【2 2 j 【2 3 j ( h i d d e nm a r k o vm o d e l ，h m m ) 是用于描述信号统计特征的一 组统计模型。h m m 的基本理论由b a u m 和w e l c h 等人于2 0 世纪6 0 年代末7 0 年代初建立， 在语音识别中应用较多。h m m 使用马尔可夫来模拟信号统计特性的变化，而这种变化又 是间接地通过观察序列来描述的，因此，隐马尔可夫过程是一个双重的随机过程。在h m m 中，节点表示状态，有向边表示状态之间的转移，一个状态可以具有特征空间中的任一特 征，对同一特征，不同状态表现出这一特征的概率不同。由于h m m 是一个统计模型，对 于同一特征序列，可能会对应于许多种状态序列，特征序列与状态序列之间的对应关系是 非确定的，这种模型对于状态序列来说是隐的，故称为隐马尔可夫模型。 对于正面人脸图像，重要的面部区域( 头发，前额，眼睛，鼻子，嘴巴) 从上到下形 成自然顺序，每个区域从左到右各分配一个一维连续h m m ，人脸模型的状态结构与非零 状态概率如图2 1 所示。 1 2 南京邮电大学硕i ：研究生学位论文 第二章人脸特征提取相关理论与方法 头发前额 眼睛鼻子 嘴巴 图2 - 1 人脸模型的状态结构与非零状态概率图 每幅宽高的人脸图像分成宽形高三的交叉块，两个连续块的交叉量为尸。从每 张图像中抽取的块的个数等于观测向量丁的个数。 观测向量可以由每块的所有像素值组成，这样观测向量的维数为l w 。用像素值作 为观测向量有两个缺点：首先像素值不能表示鲁棒性的特征，对图像的噪声、旋转、位移 及光照的变化很敏感。其次，观测向量维数很高，训练和识别时计算量大。由于k - l 变换 具有压缩特性和不相关性，也可以用k - l 变换系数作为观测向量。将抽取的块组成列向量， 将其映射到由其协方差矩阵最大的几个特征值对应的特征向量张成的空间三相应的系数组 成观测向量。 2 3 2 5 基于小波分析的方法 由于小波理论的日趋