（计算机应用技术专业论文）基于选择性特征提取与多hmms的人脸表情识别研究.pdf

江苏大擘硕士研究生毕业论文 摘要 近年来，随着人们对人机交互兴趣的增加，表情识别逐渐成为一个研究热点。 人脸表情识别是指利用计算机分析特定人的脸部表情及变化，进而确定其内心情 绪或思想活动，实现人机之间更自然更智能化的交互。人脸表情识别的研究对于 增强计算机的智能化和人性化，开发新型人机环境，以及推动心理学等学科的发 展，有着重要的现实意义，并最终产生很大的经济效益和社会效益。 本文首先综述课题的研究背景，并分析目前国内外已提出的主流人脸表情识 别方法。在综合分析了以往的表情识别方法的基础上，本文提出了基于灰度信息 和h a r r i s 角点检测的眼睛特征提取算法，基于选择性特征提取结合分类树的表情 识别算法和基于混合特征与多离散h m m s 融合的表情识别算法，具体内容如下： ( 1 ) 基于灰度信息和h a r r i s 角点检测的眼睛特征提取算法，该算法首先利用 眼睛区域的灰度信息，提取出瞳孔的位置和大小，然后利用h a r r i s 角点检测算法 找到眼角点，最后利用曲线拟合算法拟合出眼睛的轮廓。眼睛特征的提取可作为 人脸特征子区域的分割依据，同时为主动表观模型中提取特征提供初始搜索位 置。 ( 2 ) 基于选择性特征提取结合分类树的表情识别算法，由于表情图像中各个 表情区域对识别每类表情的贡献不同，本文提出基于选择性的特征提取方法，该 方法根据上一级的粗分类结果选择对于区分某一个子类表情贡献较大的特征，以 此来减少冗余信息的影响。同时也降低了计算量，提高了识别速度。根据模式识 别理论中的聚类思想，在识别阶段采用基于分类树的方法，把整个分类过程分为 多级，在每级识别中采用模板匹配和改进的k 近邻算法，减少了每级中的聚类 数目，提高了正确分类的成功率。 ( 3 ) 基于混合特征与多离散h m m s 融合的人脸表情识别方法，该方法对于 眼睛眉毛区域采用g i b o r 小波变换提取纹理变化特征，对于嘴巴区域采用改进的 a a m 提取形状变化特征，同时在表情样本训练时采用贡献分析法分析确定不同 表情区域特征对六种表情各自的贡献权值；在分类识别阶段，首先分别采用离散 h m m s 对每个区域进行识别，最后采用训练阶段得到的权值进行加权融合得到 识别结果。 ( 4 ) 采用面向对象的设计方法，设计实现了基于图像序列的人脸表情识别原 型系统，并从实验角度验证了上述方法的有效性。 关键词：表情识别，g a b o r 小波变换，主动表观模型。混合特征，隐马尔可夫模型 江苏大擘硕士研究生毕业论文 a b s t r a c t i nr e c e n ty e a r s t h er e a s o n sf o r n e w e di n t e r e s ti nf a c i a le x p r e s s i o nr e c o g n i t i o n a 咒m u l t i p l e b u tm a i n l yd u et op e o p l eh a v em o r ei n t e r e s ta b o u th u m a nc o m p u t e r i n t e r a c t i o n ( h c i ) f a c i a le x p r e s s i o nr e c o g n i t i o ni st oa n a l y z ea n dd e t e c tt h es p e c i a l e x p r e s s i o ns t a t ef r o mg i v e ne x p r e s s i o ni m a g e so rv i d e of x a m e sa n dt h e nt oa s c e r t a i n t h es u b j e c t ss p e c i f i ci n b o me m o t i o n , a c h i e v i n gs m a r t e ra n dm o r en a t u r a li n t e r a c t i o n b e t w e e nh u m a nb e i t l g sa n dc o m p u t e r s t h es t u d yo ff a c i a le x p r e s s i o nr e c o g n i t i o nh a s f o u n di m p o r t a n ta p p l i e dv a l u e s i nt h i sw o r k , w ef i r s t l yd i s c u s s t h eb a c k g r o u n da n dt h e na n a l y z et h em a i n e x i s t i n ge x p r e s s i o nr e c o g n i t i o na l g o r i t h m s a f t e ra n a l y z i n gt h em e t h o d sc u r r e n t l y u s e d b yo t h e r s ，w ep r e s e n t t h ee y ef e a t u r ee x t r a c t i o na l g o r i t h mb a s e do ng r a y i n f o r m a t i o na n dh a r r i se n m e rd e t e c t i o n , t h ee x p r e s s i o nr e c o g n i t i o na l g o r i t h mb a s e d 0 ns e l e c t i v ef e a t u r ee x t r a c t i o na n dc l a s s i f i e rt r e e ，a n dt h ee x p r e s s i o nr e c o g n i t i o n a l g o r i t h m b a s e do nh y b r i df e a t u r e sa n df u s i n gd i s c r e t eh m i s t h ew o r kt i r e d e s c r i b e da sb c l o w ： ( 1 ) e y ef e a t u r ee x t r a c t i o na l g o r i t h mb a s e d o ng r a yi n f o r m a t i o na n dh a r r i so o m e r d e t e c t i o ni sp r e s e n t e d t h i sm e t h o dl o c a t e st h ee y ea r e a sr o u g h l yi nt h ef a c i a l s u b i m a g ef i r s t l y t h e nl o c a t e st h ep u p i lf l r e a sa c c u r a t e l yi nt h ee y ea r e a sf i x c do nt h e p r e v i o u ss t e pb yg r a ys t a t i s t i c a li n f o r m a t i o n , a n df i n d so u tt h ee y ec o m e r st h r o u g h h a r r i sc o m e rd e t e c t i o n f i n a l l y , t h eo u t l i n eo fe y ei sf i t t e db yu s i n gb s p l i n ec u r v e s t h r o u g ht h ed e t e c t e dk e yp o i n t s t h ee y ef e a t u r ee x t r a c t e di nt h i sp a p e ri st h eb a s i so f s u b - i m a g es e g m e n t a t i o n i nt h es a m et i m e ，t h e yc a l lp r o v i d et h ei n i t i a lp o s i t i o no f a a m s e a r c h i n g ( 2 ) e x p r e s s i o nr e c o g n i t i o na l g o r i t h mb a s e do ns e l e c t i v ef e a t u r ee x t r a c t i o na n d c l a s s i f t e rt r e ei sp r e s e n t e d b e c a u s ed i f f e r e n te x p r e s s i o na r e a sh a v ed i f f e r e n t c o n t r i b u t i o nt oe a c he x p r e s s i o n , w ep r e s e n ts e l e c t i v ef e a t u r ee x t r a c t i o na l g o r i t h m i n t h i sm e t h o d , w es e l e c ts o m ee x p r e s s i o nf e a t u r e sw h i c hc o n t r i b u t em u c ht or e l e v a n t s u b - k i n de x p r e s s i o na c c o r d i n gt ot h er o u g hc l a s s i f i c a t i o nr e s u l t s t h i sm e t h o dc a n d e c r e a s et h ec o m p u t a t i o n a lc o s t , a n di n c r e a s er e c o g n i t i o ns p e e d i nt h ep r o c e s so f r e c o g n i t i o n , w ed i v i d et h ep r o c e s si n t om u l t i p l el e v e l sa c c o r d i n gt ot h ec l u s t e r i n g p r i n c i p l e ，a n dt h e na d o p tt e m p l a t em a t c h i n ga n di m p r o v e dk - n e a r e s tw h e nc l a s s i f y i n g e x p r e s s i o ni ne a c hl e v e l ，w h i c hd e c r e a s e st h en u m b e ro fc l u s t e r i n ga n di n c r e a s e s r e c o g n i t i o nr a t e 江苏大擘硕士研究生毕业论文 ( 3 ) e x p r e s s i o nr e c o g n t i o na l g o r i t h m b a s e do nh y b r i df e a t u r e sa n df u s i n g d i s c r e t eh m m si sp r e s e n t 9 1 t h i sm e t h o de x t r a c t st e x t u r ev a r i e t yf e a t u r eu s i n gg a b o r w a v e l e tt r a n s f o r m a t i o nf o rt h ee y ea r e a , a n de x t r a c t ss h a p ev a r i e t yf e a t u r eu s i n g i m p r o v e da a mf o r t h em o u t ha r e a , a tt h es a m et i m e ，w ef i x o nt h ew e i g h t c o n t r i b u t i n g t oe a c he x p r e s s i o nf o re a c he x p r e s s i o na l c ab yu s i n gc o n t r i b u t i o n a n a l y f i sa l g o r i t h mw h e nt r a i n i n gt e m p l a t e s i nt h ep r o c e s so fr e c o g n i t i o n , w ef u s et h e p r o b a b i l 时o fe a c he x p r e s s i o na r e aw i t ht h ew e i g h to fe a c he x p r e s s i o na r e ao b t a i n e d b yc o n t r i b u t i o na n a l y s i sa l g o r i t h m ，a n du s et h em a x i m a lp r o b a b i l i t ya sr e c o g n i t i o n r e s e t ( 4 ) ap r o t o t y p es y s t e mo f f a c i a le x p r e s s i o nr e c o g n i t i o nb a s e do ni m a g cs e q u e n c e i sd e s i g n e da n di m p l e m e n t e db yu s i n gt h eo b j e c t - o r i e n t e dm e t h o d s i tc a nb eu s e dt o p r o v et h ee f f e c t i v e n e s so f a b o v ea l g o r i t h m s k e yw o r d s ：e x p r e s s i o nr e c o g n i t i o n , g a b o rw a v e l e tt r a n s f o r m a t i o n , a c t i v e a p p e a r a n c em o d e l ，h y b r i df e a t u r e ，h i d d e nm a r k o vm o d e l i i i 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于， 不保密囱。 学位论文作者签名： 冈袭垮 签字日期：内年歹月弘日池删 奠坶 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已经注明引用的内容以外，本论文 不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的 研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人 完全意识到本声明的法律结果由本人承担。 学位论文储躲咿魂 日期：御年岁月。日 江苏大擘硬士研究生毕业论文 1 1 课题背景 第一章绪论 计算机科学技术的迅猛发展对人类社会产生巨大的影响，一场信息革命正在 酝酿。人们认知自然、改造自然的方式也随之发生变化，在众多领域，计算机正 逐渐代替人类完成一些极具挑战性的任务。为了解决人类与计算机之间更加智 能，更加自然的交互，新型的人机交互( s u m a nc o m p u t e ri a t 聪a c 6 0 n , h c i ) 技术正 逐渐成为研究热点。人类自然形成的与自然界沟通的认知习惯和形式必定是人机 交互的发展方向，一方面要求计算机能看、能说、能听、能感觉，即能够智能地 感知使用者的意图，另一方面，使用者可以不必坐在计算机前通过鼠标和键盘操 作计算机，而是可以在三维空间中以更加自然和人性化的方式同计算机交流。总 之，新型的人机交互环境要求计算机必须具有自然化、智能化、人性化等特点。 实时的多媒体信息在新型的人机交互环境中扮演着举足轻重的角色，计算机 应能够通过采集用户的图像信息和语音信息，形成计算机视觉和听觉，然后处理 采集到的多媒体信息，并进行识别，从而感知使用者的意图，完成人机间的自然 交互。由于实时的视频图像传递更加丰富的信息，这对于感知使用者的意图，判 断其行为极具价值，因此。目前国内外众多研究学者将数字图像处理技术应用于 实时的视频信息，使用计算机处理数字图像信息，研究并开发新型的人机交互系 统。在该研究领域，基于数字图像的人脸检测技术、人脸识别技术、手势识别技 术等陆续被提出，相关的应用系统也将逐渐改变人们的工作与生活。 表情是人类交流中信息传递的主要媒介，在人类的日常生活中扮演着重要的 角色，是非语言交流的最主要的方式之一，是语言交流的重要补充。表情包含了 丰富的情感信息，是情绪的外在表现l ”，即情绪在生理上、心理上和外显行为上 所表现的一切变化或活动，同时也是人的社会行为的外在表现闭。由于人的脸部 表情是反映人的内心情绪和想法的最自然最直接的方式，因此，基于数字图像的 人脸表情识别技术的研究是继人脸检测及识别之后的又一研究热点。本文便是在 这样的背景下开展人脸表情识别的相关研究工作。随着i n t e r n e t 的普及以及计算 机性能的大幅提高，人脸表情识别技术将被广泛应用于包括新型人机交互在内的 诸多领域，并将产生很好的经济效益和社会价值。 1 2 人脸表情识别涉及的研究领域及应用 江苏欠擘硕士研究生毕业论文 所谓人脸表情识别，就是指通过分析特定人的脸部表情及变化，进而确定其 内心情绪或思想活动。特别需要指出的是，人脸表情识别和人的情绪识别是两个 不同概念。人脸表情识别是把脸部运动特征和脸部变形特征进行分类，划分到各 个不同的抽象类中，完全基于可视化的信息：而人的情绪则是多种因素影响的结 果，这些因素的状态可能表现出来，也可能不表现出来，其表现的方式是多样的， 比如情绪化的声音、姿态、手势、眼睛凝视的方向，当然也包括脸部表情。情绪 一般能够完全体现人的意图，但由于人脸表情与所处的情绪状态并不是一一对应 的，某些情绪并不通过可视的脸部表情变化表现出来。所以，即使人类自身也很 难十分准确地通过脸部表情理解一个人的情绪状态，往往要借助于当时给定的环 境以及上下文信息，这便对使用计算机进行人脸表情识别的研究提出了挑战。另 一方面，人脸表情又和内在情绪有着密切的联系，情绪是脸部表情的重要来源， 大多数脸部表情都由特定的情绪所支配，而在人们的日常交流中，只有7 的信 息靠语言获得，5 5 的信息通过脸部表情传达【3 】。由此可见脸部表情在人们交流 过程中起着重要的作用，使用计算机进行人脸表情识别进而确定人的内心情绪的 研究是完全可行的。 最早进行人脸表情识别研究的是在心理学领域，可以追溯到1 9 世纪，d a r w i n 在1 8 7 2 年阐述了脸部表情的普遍意义及其与某种明确情绪间的关系【4 】。1 9 7 1 年， e k m a n 和f r i e s e n 对人类情绪进行了分类睁j ，提出6 种基本情绪( b a s i ce m o t i o n ) ： 高兴( h a p p i n e s s ) 、悲伤( s a d n e s s ) 、惊奇( s u r p r i s e ) 、恐惧( f e a r ) 、厌恶( d i s g u s t ) 、生气 ( a n g e r ) ，每种基本情绪都对应着一个独特的较为典型的脸部表情在此基础上他 们又提出了脸部运动编码系统( f a c i a la c t i o nc o d i n gs y s t e m , f a c s ) ，将脸部肌肉 运动划分为不同的运动单元( a c t i o nu n i t s ，a u s ) ，每种运动单元对应了不同的表 情状态。这对使用计算枫分析人脸图像，自动识别人脸表情有较大的推动作用。 第一次使用计算机实现人脸表情识别是在1 9 7 8 年，s u m a 对选定的连续图像序列 中脸部固定的2 0 个点进行跟踪识别，并与原型模式( p r o t o t y p ep a t t e r n s ) 进行比较 以实现识别【4 】。9 0 年代，以m a s e 和p c n t l a n d 的工作为起点，使用计算机进行自 动人脸表情分析的研究工作迅速展开。研究者们对人脸表情重新感兴趣的原因是 多方面的，但主要是由于人脸检测、头部跟踪、人脸识别等相关领域的研究取得 巨大成就，以及近年来相对廉价和高性能的计算机资源的使用，都极大地推动了 人脸表情识别技术的研究与发展，并使其成为科研热点。 人脸表情识别在许多领域都有着潜在的应用价值，这些研究领域包括心理学 研究、图像理解、合成脸部动画、机器人技术及虚拟现实技术等。基于脸部表情 的新型人机交互环境的研究与开发也逐渐引起众多学者的广泛关注 6 4 1 2 江苏大学硕士研究生毕业论文 1 3 论文的研究内容及主要工作 本文在广泛阅读国内外现有的关于人脸表情特征提取和表情识别技术的文 献后，比较和借鉴现有成功的人脸表情识别方法，对相应的人脸表情特征提取及 识别的关键技术进行改进和完善，同时提出自己的算法，并开发相应的人脸表情 识别原型系统。论文的主要研究内容和工作包括以下几方面： ( 1 ) 研究眼睛特征提取的方法 本文中提出基于灰度信息和h a r r i s 角点检测的眼睛特征提取方法用于提取 眼睛的特征。该算法首先利用眼睛区域的灰度信息，提取出瞳孔的位置和大小， 然后利用h a l t i s 角点检测算法找到眼角点，最后利用曲线拟合算法拟合出眼睛的 轮廓。眼睛特征的提取可作为人脸特征予区域的分割依据，同时为主动表观模型 中提取特征提供初始搜索位置。 2 ) 研究基于选择性特征提取结合分类树的表情识别算法 由于表情图像中各个表情区域对识别每类表情的贡献不同，本文提出基于选 择性的特征提取方法，该方法根据上一级的粗分类结果选择对于区分某一个子类 表情贡献较大的特征，以此来减少冗余信息的影响。同时也可降低计算量，提高 识别速度。根据模式识别理论中的聚类思想，在识别阶段采用基于分类树的方法， 把整个分类过程分为多级，在每级识别中采用模板匹配和改进的k 近邻算法， 可减少每级中的聚类数目，提高正确分类的成功率。 ( 3 ) 研究基于混合特征与多离散h m m s 融合的人脸表情识别方法 该方法对于眼睛眉毛区域采用g a b o r 小波变换提取纹理特征，对于嘴巴区域 采用改进的a a m 提取形状变化特征，同时在表情样本训练时采用贡献分析法分 析确定不同表情区域特征对六种表情各自的贡献权值：在分类识别阶段，首先分 别采用离散h m m $ 对每个区域进行识别，最后采用训练阶段得到的权值进行加 权融合得到识别结果。 ( 4 ) 研究开发基于图像序列的人脸表情识别原型系统 采用面向对象的设计方法，设计实现基于图像序列的入脸表情识别原型系 统，并从实验角度验证上述方法的有效性。 本文的研究内容属于国家自然科学基金项目( 项目编号为6 0 6 3 7 1 9 0 ) 中研究 内容的一部分。 作者在攻读硕士学位期间在国际学术会议及期刊发表，录用学术论文如下： 【l 】g e n g t a oz h o u , y o n g z z h a n , j i a n m i n gz h a n g f a c i a le x p r e s s i o nr e c o g n i t i o n b a s c do i ls e l o z t i v ef e a t u r ee x t r a c t i o n i n ：i e e ep r o c o f l s d a 0 6 p p 4 1 2 4 1 7 3 江苏太擘项士研究生毕业论文 【2 】g e n g t a oz h o u , y o n g z l m oz h a n , j i a n m i n gz h a n g f a c i a le x p r e s s i o nr e c o g n i t i o n b a s e do ns e l e c t i v ef e a t u r ee x t r a c t i o na n dr u l em a t c h i n g i p & cj o u r n a l 【3 】y o n g z h a nz h a n , g e n g t a oz h o u f a c i a le x p r e s s i o nr e c o g n i t i o nb a s e do nh y b r i d f e a t u r e sa n df u s i n gd i s c r e t eh m m s h c i i 0 7 ，l e c t u r en o t e si nc o m p u t e r s c i e n c e ，4 5 3 6 ：4 0 8 - 4 1 7 【4 】c h u n f e n gc h a n g ，g e n g t a oz h o u , y o n g z h a oz h a n e y ef e a t u r ee x t r a c t i o nb a s e d o ng r a yi n f o r m a t i o na n dh a r r i sc o m e rd e t e c t i o n i e c c s 0 6 ，l e c t u r es e r i e so n c o m p u t e ra n dc o m p u t a t i o n a ls c i e n c e s ，8 1 4 论文的结构 论文共分八章，主要内容概括如下： 第一章介绍课题的研究背景和研究意义，概述了人脸表情识别所涉及的研究 领域及其潜在的应用领域。同时分析和提出本文的主要研究工作。 第二章综述人脸表情识别的研究与发展现状，阐述了表情识别各阶段的主要 算法，并对这些算法的优缺点从理论上给出比较。 第三章详细阐述基于灰度信息和h a r r i s 角点检测的眼睛特征提取方法，并介 绍了针对人脸表情图像所采用的预处理算法，主要包括人脸检测算法、表情图像 旋转调整、尺寸归一化和灰度均衡化算法 第四章详细阐述基于改进的a a m 与g a b o r 小波变换的表情特征提取方法， 首先介绍改进的a a m 与g a b o r 小波变换的理论，然后给出具体的表情特征提取 算法，并给出实验结果和分析。 第五章详细阐述基于选择性特征提取结合分类树的表情识别算法，首先介绍 了选择性特征提取的原理及特征提取方法，然后采用基于分类树思想的模板匹配 结合改进的k 近邻的算法对选择性特征提取的有效性进行了验证，并给出实验 结果及分析。 第六章详细阐述基于混合特征与多离散h m m s 融合入脸表情识别算法，首 先介绍混合特征的提取方法，然后介绍了多离散h m m s 融合的人脸表情识别算 法，最后给出实验结果及分析。 第七章介绍采用面向对象及设计模式的思想设计并开发人脸表情识别原型 系统的方法与过程。 第八章对全文进行总结，并指出进一步需要开展的工作。 4 江苏大擘硕士研究生毕业论文 2 1 概述 第二章人脸表情识别技术的研究与发展 在人们的日常生活交往过程中，人脸表情传递大量信息，在彼此交流中扮演 十分重要的角色，入脸表情不仅反映了人的情绪，而且还反映出其他的精神活动、 社会交往活动、生理信息等。在过去的十年间，自动人脸表情分析已经成为一个 活跃的研究领域，并不断有研究成果公布于众。总体上说，人脸表情识别应能够 根据人脸表情的外在表现，判断其内心活动，进行情感的识别。研究人脸表情识 别的目的是利用计算机视觉信息，采用适当的图像处理和模式识别算法，提高计 算机的理解能力，加强其智能化程度。 最初表情相关的研究主要集中在生理学、心理学和认知科学等领域，1 9 7 8 年s u w a 等人做了一个在图像序列中自动进行表情分析的研究1 9 ，将表情识别引 入机器视觉领域。自动人脸表情识别一般包括三个阶段：人脸检测与定位、脸部 特征提取和表情分类识别。图2 1 给出了表情识别的基本框架。人脸检测与定位 是指在包含脸部的图像或图像序列中分割出脸部区域。脸部特征提取是从脸部图 像中提取出识别时所需的脸部特征信息。脸部特征提取可提取脸部的形变特征或 脸部的运动特征。表情分类识别是将输入的脸部图像归入某个具体类中，即给出 一个类别标记。人脸检测与定位和脸部特征提取之间根据某些具体算法的要求可 能需要脸部标准化和脸部分割等操作，即表情图像预处理操作，以消除脸部尺度、 光照和头部位姿的影响，主要包括尺寸归一化、灰度均衡化、旋转调整等操作。 脸部特征提取和表情分类之间可能需要进行特征表示。特征表示是基于脸部特征 提取算法将特征进一步压缩或抽象。 图2 1 表情识别的基本框架 5 江苏走擘硕士研究生毕业论文 2 2 人脸检测与定位 人脸检测与定位是指在任意图像中确定是否包含人脸，如果包含人脸，则需 要确定每个脸部所在的位置和尺寸。光照变化、头部姿势的变化、脸部表情、图 像的旋转以及图像质量等因素决定了人脸检测与定位是一项具有挑战性的工作。 人脸检测与定位的过程实际上就是对人脸模式特征的综合判断过程，包括多种方 法f 1 0 1 ( 1 ) 肤色模型与人脸验证的方法 对于彩色图像，在确定肤色模型之后，首先可以进行肤色检测。在检测出肤 色像素后，需要根据它们在色度上的相似性和空间上的相关性分割出可能的人脸 区域，同时利用区域的几何特征或灰度特征进行是否是人脸的验证，以排除其它 色彩类似肤色的物体。c h e l l a p p a 等【1 l 】利用肤色像素的连通性分割出区域，使用椭 圆拟合各个区域，根据椭圆长短轴的比率判断其是否为人脸s u n g 等1 1 2 1 按照色 度的差异将肤色进一步量化为不同的类型，将类型相同且相邻的肤色像素聚类为 区域，根据几何位置、形状和色调相容性进行归并，归并过程中利用区域的小波 特征进行验证。y a n g 等i 1 根据色度的一致性和空闻距离将肤色像素聚类成区域， 然后逐步归并直到得到符合一定先验知识的椭圆区域为止，最后检查区域中由眼 睛、嘴巴等特征形成的暗区或空洞，以确定是否为人脸。 ( 2 ) 基于启发式模型的方法 基于启发式模型的方法首先抽取几何形状、灰度、纹理等特征，然后检验它 们是否符合入脸的先验知识。y a n g 等【1 3 】提出了基于镶嵌图( m o s a i ci m a g e ，又称 为马赛克图) 的人脸检测方法。y a a g 等将人脸的五官区域分别划分为4 x 4 个和 8 8 个马赛克块，使用一组规则进行检验，并且利用边缘特征迸一步验证。卢春 雨【1 4 l 等对镶嵌图方法进行了改进，按照人脸器官的分布将人脸划分为3 3 个马 赛克块，在检测中自适应地调整各块的大小，使用一组基于各块灰度和梯度统计 特征的知识规则检验该区域是否为人脸，取得了较好的实验结果。粱路宏i l 习等使 用了直接的平均脸模板匹配方法，该方法考虑到眼睛在人类辨识人脸过程中的特 殊作用，使用双眼模板首先进行粗筛选，然后使用不同长宽比的人脸模板进行匹 配，最后使用马赛克规则进行验证。 ( 3 ) 基于特征空问的方法 由于人脸图像的复杂性，显式地描述人脸特征具有一定困难，因此另一类方 法一统计模型的方法越来越受到重视。此类方法将人脸区域看作一类模式，即 模板特征，使用大量的“人脸”与“非人脸”样本训练、构造分类器，通过判别图像 中所有可能区域属于哪类模式的方法实现人脸的检测【1 4 ，l “。 江苏太擘硕士研宄生毕业论文 ( 4 ) 基于人工神经网络的方法 人工神经网络( a n n ) 方法是把模式的统计特性隐含在a n n 的结构和参数之 中，对于人脸这类复杂的、难以显式描述的模式，基于a n n 的方法具有独特的 优势i ”j 。 ( 5 ) 基于概率模型的方法 基于概率模型方法i 墙】的一种思路是计算输入图像区域他g i o n 属于人脸模式 o b j e c t 的后验概率p ( o b j e c t ir e g i o n ) ，据此对所有可能的图像窗口进行判别。 ( 6 ) 基于支持向量机的方法 支持向量机( s u p p o r tv e c t o rm a c h i n e s ，s v m ) 是v a p n i k 等提出的基于结构风 险最小化原理( s t n m u r a l 黜s km i n i m i z a t i o np f i n c i p l e ，s 1 l m ) 的统计学习理论用于 分类与回归问题f 1 9 l 。s r m 使v c ( v a p n i kc h e r o v n e n k i s ) 维数的上限最小化，这使 得s v m 方法比基于经验风险最小化( e m p i r i c a lr i s km i n i m i z a t i o np r i n c i p l e ，e r m ) 的人工神经网络方法具有更好的泛化能力。 在表情识别框架中人脸检测与定位只是后续工作的基础，如为特征提取提供 一个好的初始估计和较小的搜索范围。一般情况下假定图像中只包含一个人脸， 并且脸部所占的图像面积较大。从而脸部定位问题能够被极大简化。 2 3 脸部特征提取 脸部特征提取是为了得到脸部的表情特征。脸部特征提取算法可以根据提取 脸部形变特征还是提取脸部运动特征以及是基于局部操作还是基于全局操作进 行分类。表2 1 给出计算机视觉领域中用于脸部分析和特征提取的主要方法。各 种方法都有其各自的特点，没有一种方法是绝对有效的，只是在一定条件下某种 方法可能更为有效。 人脸表情特征可分为两类：持久性表情特征和瞬态表情特征，前者决定了基 本表情状态，它们能够随着脸部的运动发生形变。例如，眼睛、眉毛、嘴和脸部 的某些皱纹等。后者包括脸颊和额角皱纹的瞬间变化，也能揭示表情状态，但不 是永久保持在脸部的。基于全局特征提取方法是一次性提取所需的脸部永久特征 和瞬态特征；而基于局部特征提取方法是将脸部划分成子区域或将脸部特征分解 成一些局部特征，独立地对予区域或局部特征进行操作。 基于图像的提取特征方法不依靠先验知识，单纯从图像出发提取特征；而基 于模型的方法需要根据物体的先验知识对物体进行建模，然后利用这个模型提取 特征。基于图像的方法一般速度较快并且算法简单；而基于模型的方法算法较为 复杂并且搜索时间花费较多。但是基于图像的方法可靠性差，适用面窄。基于模 江苏大擘硕士研究生阜业论文 型脸部特征提取方法包括基于二维模型的方法和基于三维模型的方法。基于二维 模型的方法是基于脸部图像来提取脸部特征的，其不考虑脸部三维信息；基于三 维模型的方法考虑了脸部在三维空间中的几何信息，有两种典型的三维脸部模 型：脸部肌肉模型和脸部运动模型伫1 2 2 j 。三维脸部模型相对于二维脸部模型需 要更多的计算，算法也更复杂。 表2 1 表情特征提取方法分类一览表“ 形变特征提取整体性方法局部性方法 基于图像人工神经网络 亮度轮廓 g a b o r 小波变换 高梯度组件 主元分析结合神经网络 基于模型韧性模型几何脸部模型 点分布模型两视角点模型 标志图 运动特征提取整体性方法局部性方法 稠密光流稠密光流场区域光流 运动模型三维运动模型参数运动模型 三维形变模型三维运动模型 特征点跟踪全局差分图像 特征点跟踪 差分图像区域差分图像 标志点 高亮度脸部特征 点标志 脸部运动特征提取方法着眼于表情出现时脸部区域的运动，提取相邻两时刻 脸部相对运动信息；而脸部形变特征提取方法采用中性脸作为参考脸，通过当前 脸部与中性脸的比较得到脸部形变信息。中性脸在提取形变特征的方法中是必须 的，而对于提取运动特征的方法中则不是必须的。但提取运动特征的方法一般也 需要参考脸，多数为前一时刻的脸部图像，如经典的光流算法就是使用相邻两帧 信息提取脸部运动信息田捌。形变特征提取方法能够用于单幅图像也可以用于图 像序列；而运动特征提取方法只适用于图像序列。但是形变特征提取方法难以得 到较为精确的底层脸部形变信息，如脸部图像中每个象素点的运动信息，较之而 言运动特征提取方法就较容易得到这些底层信息。 脸部的形变反映在两方面：脸部纹理的变化和脸部形状的变化。纹理上主要 反映为图像中出现高梯度信息。基于图像形变的特征提取方法多数是提取表情引 8 江苏太擘硕士研究生毕业论文 起的梯度变化信息。可以使用高通滤波器或g a b o r 滤波器来检测这些梯度信息。 同时，还可以与多分辨率技术结合检测边缘宽度，确定直线端点，从两得到完善 的脸部纹理变化信息。纹理信息易受光照影响，o a b o r 滤波器能够在一定程度上 消除光照的影响。已有的研究表明，基于图像的特征提取方法中o a b o r 滤波器是 一种很有效的方法 2 3 1 。基于图像的脸部形变特征提取方法同样可分为整体方法和 局部方法。整体基于图像形变特征的提取方法一般对整个脸部区域进行特征提 取。局部基于图像形变特征提取的方法一般是将脸部划分为多个特征子区域，在 各个子区域中进行特征提取。脸部形变特征提取也可以采用基于模型的方法。主 动表观模型( a c t i v ea p p e a r a n c em o d e l s - - a a m ) 就是其中的一种广泛用于脸部特 征提取的方法 2 5 捌它是在主动形状模型( a c t i v es h a p em o d e l s - - a s m ) 的基础上 扩展了对脸部纹理信息的使用得到的。主动形状模型也同样经常被用于脸部形变 特征的提取。基于表观模型的方法最大的一个不足是需要手工标定脸部关键点， 标点精度和训练集选取直接影响形变特征提取的结果。点分布模型同样也可以被 用于脸部形状建模。此外，还有一些基于模型的脸部形变提取方法。其中标志图 方法也是一种典型的整体脸部模型方法，它是由多个脸部特征的分布组成的。 k o b a y a s h i 和h a r a 使用了三十个脸部特征点构建了脸部几何模型。p a n t i c 和 r o t h k r a n t z 基于多信息融合的思想使用二维点分布模型对正面脸和侧面脸进行建 模，引入冗余信息提高检测鲁棒性。 脸部运动特征提取一般采用光流、特征点跟踪、差分图像以及运动模型等技 术。稠密光流是使用较早、应用较为广泛的一种方法，同样也可以分为全局稠密 光流和局部稠密光流。全局稠密光流用于提取整个脸部的运动信息。如l i e n 等 人使用基于小波的多分辨率稠密光流分析脸部整体运动。由于光流计算量大，同 时对运动的不连续较为敏感，在整个人脸区域内计算光流可能会消耗很多时间， 所以局部稠密光流有时是更好的选择。通过缩小计算区域，减少计算方向来降低 计算量。与基于形变的特征提取方法相比，基于运动的特征提取方法有更好的稳 定性并且能够对验部运动给出更合理的解释。t e r z o p o u l o s 和w a t e r s 使用十一个 “s n a k e s ”构建整体脸部运动模型，其中能量场是利用梯度信息构建的。e s s a 和 p e n t l a n d 使用三维运动模型和肌肉模型完成用于表情识别的脸部特征提取，同时 利用卡尔曼滤波器来提高特征跟踪的稳定性。而d e c a r l o 和m e t a x a s 将光流融入 三维运动模型迸行脸部特征检测和运动估计。整体运动模型被用来描述由于说话 引起的表情时多数采用m p e g _ 4 中定义的脸部模型。局部运动模型是在局部区域 建模或对单个特征建模。y a c c o o b 和d a v i s 使用局部参数模型对嘴、鼻子、眼帘 和眼眉进行建模。局部运动模型较之整体运动模型使用参数较少，从而计算复杂 度低，但是往往精度不如整体运动模型。特征点跟踪是传统的用于脸部运动特征 9 江苏大擘硕士研究生毕业论文 提取的经典算法。不同于光流方法，它不能对图像中的每个象素点进行跟踪，只 是对某些具有一定意义的特定点进行跟踪。特征点一般选取具有解剖学意义的点 或某些具有交叉纹理的点。标志点方法与特征点跟踪方法类似，但是多用于纹理 信息不丰富的区域，如面颊。由于可以选择显著的标志，标志点方法较之特征点 跟踪有更稳定的结果。但是这种方法需要在脸部贴一定数量的标志点，使用不方 便，所以现在已经较少使用。无论是特征点跟踪还是标志点方法只能提供特征点 或标志点周围区域内的运动信息。差分图像方法通过两幅图像相减得到整体变化 信息，计算量少。但是它不能提供运动方向信息。并且为了保证差分图像的效果， 精确的图像对齐是必不可少的。 ， 脸部特征提取方法选择主要依赖于所使用的分类方法和应用环境。不同分类 方法需要不同特征，不同的方法适用于不同的环境。特征提取算法应根据实际的 应用背景进行选择和设计。 2 4 表情分类算法 表情分类是表情识别框架中的最后一步。分类器选择和设计主要的不同来自 于是否使用时间信息。不使用时间信息的分类方法可称为空域方法，而使用时间 信息的分类方法可称为时域空域方法 2 0 l 。人工神经网络就是典型的空域方法。它 们或者使用整幅图像作为神经网络的输入或用经过处理的图像，如g a b o r 滤波后 的图像，或经过特征表示处理过的图像，如p c