（计算机应用技术专业论文）基于mlbptop与光流多特征的人脸表情融合识别研究.pdf

江苏大学硕士研究生毕业论文 摘要 近年来，随着人们对人机交互兴趣的增加，表情识别逐渐成为一个研究热点。 人脸表情识别是指利用计算机分析特定人的脸部表情及变化，进而确定其内心情 绪或思想活动，实现人机之间更自然更智能化的交互。人脸表情识别的研究对于 增强计算机的智能化和人性化，开发新型人机环境，以及推动心理学等学科的发 展，有着重要的现实意义，并最终产生很大的经济效益和社会效益。 本文首先综述课题的研究背景，并分析目前国内外已提出的主流人脸表情识别 方法。在综合分析了以往的表情识别方法的基础上，本文主要研究了人脸表情特 征提取、融合特征识别过程中的一些关键问题，提出了一些改进方法，并通过实 验进行了有效性验证。本文的主要工作如下： ( 1 ) 提出了基于m l b p t o p 的表情特征提取方法。该方法对基本l b p t o p 特征算子进行改进，根据l b p t o p 中不同平面表情信息的差异性，三个交面的特 征被划为两类，分别采用差分二元局部模式和中心化二元模式，以提取表情的时 域信息和梯度信息，作为混合二元局部模式m l b p t o p ( m i x e dl o c a lb i n a r y p a t t e m sf r o mt h r e eo r t h o g o n a lp a n e l s ) 特征。 ( 2 ) 提出了基于自动标注特征点的光流特征提取方法。该方法通过h a r r i s 角 点检测方法检测人脸图像的左右嘴角点，r o b e r t 算子和水平投影法检测上下唇角 点，通过曲线拟合方法拟合出四个新的角点，以这些点作为l u c a s k a n a d e 光流 法跟踪的源点，计算嘴巴子区域的光流场，并对所有特征点进行跟踪，将所有点 的水平和垂直位移大小作为特征向量。 ( 3 ) 提出了基于多特征与多离散h m m s 的人脸表情融合识别方法。由于表情 图像中各个表情区域对识别每类表情的贡献不同，该方法对于眼睛眉毛区域采用 m l b p t o p 提取纹理特征，对于嘴巴区域采用自动标注特征点的光流法提取形 状变化特征，同时在表情样本训练时采用贡献分析法分析确定不同表情区域特征 对六种表情各自的贡献权值；在分类识别阶段，首先分别采用离散h m m s 对每 个区域计算表情概率，最后采用训练阶段得到的权值进行加权融合得到识别结 果。 ( 4 ) 采用面向对象的设计方法，设计实现基于图像序列的人脸表情识别原型 系统，并从实验角度验证上述方法的有效性。 关键词：表情识别，图像序列，l b p t o p ，光流，贡献分析法，h m m a b s t r a c t i nr e c e n ty e a r s ，t h er e a s o n sf o rr e n e w e di n t e r e s ti nf a c i a le x p r e s s i o nr e c o g n i t i o n a r em u l t i p l e ，b u tm a i n l yd u et op e o p l eh a v em o r ei n t e r e s ta b o u th u m a nc o m p u t e r i n t e r a c t i o n ( h c i ) f a c i a le x p r e s s i o nr e c o g n i t i o ni st oa n a l y z ea n dd e t e c tt h es p e c i a l e x p r e s s i o ns t a t ef r o mg i v e ne x p r e s s i o ni m a g e so rv i d e of r a m e sa n d t h e nt oa s c e r t a m t h es u b j e c t ，ss p e c i f i ci n b o r ne m o t i o n ，a c h i e v i n gs m a r t e ra n d m o r en a t u r a li n t e r a c t i o n b e t w e e nh u m a nb e i n g sa n dc o m p u t e r s t h es t u d yo ff a c i a le x p r e s s i o nr e c o g n i t i o n h a s f o u n di m p o r t a n ta p p l i e dv a l u e s i nt h i sw o r k ，w ef i r s t l yd i s c u s st h eb a c k g r o u n da n dt h e na n a l y z e t h em a i n e x i s t i n ge x p r e s s i o nr e c o g n i t i o na l g o r i t h m s a f t e ra n a l y z i n gt h e m e t h o d sc u r r e n t l y u s e db yo t h e r s ，s e v e r a li m p r o v e da l g o r i t h m sa n dm e t h o d sf o rt h e s et a s k s a r ed e v e l o p e d t h ep e 墒姗a n c e so fo u rm e t h o d sa r ei l l u s t r a t e db ye x p e r i m e n tr e s u l t s t h em a i n w o r ki sd e s c r i b e da sb e l l o w s ： ( 1 ) f a c i a le x p r e s s i o nf e a t u r ee x t r a c t i o nm e t h o db a s e d o ni m p r o v e dl b p t o pi s p r o p o s e d i nt h i sm e t h o d ，b a s i c l b p t o pf e a t u r ei s i m p r o v e d a c c o r d i n g t o d i f f e r e n c e so fd i f f e r e n tp l a n e si nl b p t o p ，f e a t u r e so ft h r e ep l a n e sa r ec l a s s i f i e di n t o t w ot y p e s w h i c hd if f e r e n t i a ll o c a lb i n a r yp a t t e r n sa n dc e n t r a l i z e db i n a r yp a t t e r n sa l e s e p e r a t e l yu s e d ，t o e x t r a c te x p r e s s i o nt i m ed o m a i ni n f o r m a t i o n a n dg r a d i e n t i n f b n n a t i o n ，a sm i x e dl o c a lb i n a r yp a t t e m sf e a t u r e sf r o mt h r e eo r t h o g o n a lp a n e l s ( 2 ) f a c i a le x p r e s s i o nf e a t u r e e x t r a c t i o nm e t h o db a s e do na u t o m a r k e dp o i n t s o p t i c a lf l o wm e t h o di sp r o p o s e d i nt h i sm e t h o d ，i td e t e c t sl e f ta n dr i g h tm o u t h c o m e r s o ff a c i a li m a g eb yh a r r i sc o m e rd e t e c t i o na l g o r i t h m ，a n dt h e nu s er o b e r ta r i t h m e t i c o p e r a t o ra n dl e v e lp r o j e c t i o nt og e tu p p e rl i pa n dl o w e rl i pp o i n t s ，l e a s ts q u a r e s c u r v e f i t t i n g m e t h o di su s e dt of i t f o u rn e wp o i n t s t a k et h e s ep o i n t sa so r g i n i a l l u c a s - k a n a d eo p t i c a lf l o wt r a c k i n gp o i n t s ，i tc o m p u t e so p t i c a lf l o wf i e l do fm o u t h r e g i o n a n dt r a c k s a l lt h ep o i n t s ，t h e nc o m p o s e sf e a t u r ev e c t o rb yh o r i z o n t a l a n d v e r t i c a ld i s p l a c e m e n t ( 3 ) e x p r e s s i o nr e c o g n i t i o na l g o r i t h mb a s e do nh y b r i df e a t u r e sa n df u s i n g d i s c r e t e h m m si sp r e s e n t e d b e c a u s ed i f f e r e n te x p r e s s i o na r e a sh a v ed i f f e r e n tc o n t r i b u t i o n t oe a c h e x p r e s s i o n t h i sm e t h o de x t r a c t st e x t u r ev a r i e t yf e a t u r eu s i n gm l b p - t o p f o rt h ee y e i i i 江苏大学硕士研究生毕业论文 a r e a ，a n de x t r a c t ss h a p ev a r i e t yf e a t u r eu s i n go p t i c a lf l o wb a s e do na u t o - m a r k i n g f e a t u r ep o i n t sf o rt h em o u t ha r e a a tt h es a m et i m e ，w ef i xo nt h ew e i g h tc o n t r i b u t i n g t oe a c he x p r e s s i o nf o re a c he x p r e s s i o na r e ab yu s i n gc o n t r i b u t i o na n a l y s i sa l g o r i t h m w h e nt r a i n i n gt e m p l a t e s i nt h ep r o c e s so fr e c o g n i t i o n ，w ef u s et h ep r o b a b i l i t yo fe a c h e x p r e s s i o na r e aw i t ht h ew e i g h to fe a c he x p r e s s i o na r e ao b t a i n e db yc o n t r i b u t i o n a n a l y s i sa l g o r i t h m ，a n du s e t h em a x i m a lp r o b a b i l i t ya sr e c o g n i t i o nr e s u l t ( 4 ) ap r o t o t y p es y s t e mo ff a c i a le x p r e s s i o nr e c o g n i t i o n b a s e do ni m a g e s e q u e n c ei sd e s i g n e da n di m p l e m e n t e db yu s i n gt h eo b j e c t - o r i e n t e dm e t h o d s i tc a n b e u s e dt op r o v et h ee f f e c t i v e n e s so fa b o v ea l g o r i t h m s k e yw o r d s ：e x p r e s s i o nr e c o g n i t i o n ，i m a g es e q u e n c e s ，l o c a lb i n a r yp a t t e rf r o m t h r e eo r t h o g o n a lp l a n e s ，o p t i c a lf l o w ，c o n t r i b u t i o na n a l y s i sa l g o r i t h m ，h i d d e nm a r k o v m o d e l i v 江苏大学学位论文版权使用授权书 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权江苏大学可以将本学位论文的全部 内容或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口，在年解密后适用本授权书。 不保密团。 学位论文作者签名：弘便 沙9 7 年f 明1 日 名鸱 指导教师签名： 沙节铷月1 日 独创性! 声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已注明引用的内容以外，本沦 文不包含任何其他个人或集体己经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：知促 日期：1 年i 硼邶 江苏大学硕士研究生毕业论文 1 1 课题背景 第一章绪论 计算机科学技术的迅猛发展对人类社会产生巨大的影响，人性化的人机交互 模式成为机器与人类交流方式的发展趋势。情感计算作为人性化人机交互的基础 逐渐成为一个非常热门的研究课题，而人脸表情识别作为情感计算的前提也随之 受到广泛关注。 j 下如b r u c e 等所言l l 。j ，多模式人机接口设计的一个最佳模型就是人与人之 间面对面的交流过程。面对面的交流方式是多通道的，其中最主要的就包括语音 通道和视觉通道。心理学研究表明，在我们的交流中，一个听众是否喜欢你的讲 话，7 取决于你所用的词汇，3 8 取决于你的声音，而余下的5 5 则取决于你 的表情。人脸表情包含描述人感情状态的各种行为信息，如恐惧、愤怒、高兴、 悲伤、惊讶、憎恶以及很多复杂感情。在日常生活中，人们不可能永远保持一种 固定不变的脸部表情，通过脸部表情来表达自己情感是人们最自然的表现方式。 可见，人脸表情不仅是情绪表达的一种方式，也是人际交往的一种手段，对人类 的信息交流具有重要作用。所以，使用计算机识别人脸表情是智能机器走进人们 日常生活必须解决的问题，也是人们探索智能、理解智能的必要途径。目前在该 研究领域，基于数字图像的人脸检测技术、人脸识别技术、手势识别技术等陆续 被提出，相关的应用系统将逐渐改变人们的工作与生活。 基于数字图像的人脸表情识别综合了数字图像处理、模式识别、人工智能、 计算机视觉、心理学、应用心理学、生命科学、认知科学等众多学科领域的知识， 是一个极富挑战性的交叉课题。本文便是在这样的背景下开展人脸表情识别的相 关研究工作。随着i n t e m e t 的普及以及计算机性能的大幅提高，人脸表情识别技 术将被广泛应用于包括新型人机交互在内的诸多领域，并将产生很好的经济效益 和社会价值。 1 2 相关领域的研究现状及应用 人脸作为人体中最复杂的部位之一，在传递信息和情绪状态方面起着至关重 要的作用。人脸表情是由人脸肌肉的运动所形成的一种动作，是情感变化在面部 的可观察到的表现。在近几十年来由于计算机科学及其它各相关学科的迅猛发 展，人机互交问题成为一个非常有意义的研究课题。而在人机交互( h u m a n 江苏大学硕士研究生毕业论文 c o m p u t e ri n t e r a c t i o n ，h c i ) 的研究中，人脸表情的识别是一个重要的组成部分f 4 1 。 人脸表情识别同时也是情感虚拟人研究的重要组成部分，是能否理解人类复杂的 情感，进而具有自主的情感的先决条件【5 j 。人脸表情识别问题可以追溯到1 9 世 纪7 0 年代，生物学家达尔文在其著作1 1 1 ee x p r e s s i o no f t h ee m o t i o n si na n i m a l s a n dm a n ) ) 1 6 书中，就对人类面部表情与动物面部表情进行了研究和比较。1 0 0 年后，随着计算机性能的提高以及人工智能技术的发展，特别是2 0 世纪7 0 年代 以来，人们积极地展开了对人脸表情识别技术的研究r 7 1 。 s c h il o s b e r g l 8 】首先提出了表情描述的3 个量化尺度：注意一拒绝( a r ) 、高兴 一不高兴( p - u ) 和活跃程度。例如，轻视，厌烦两种表情就有很大的“不高兴 值。 斯托曼在文献f 9 】中提出面部表情的分析有两种不同的体系：一类是对情绪的维量 分析；另一类是对情绪分类。多数的维量分析通常把情绪用三维空间来表示。在 e k m a n 和f r i e s e n l l o l 提出的面部运动编码系统( f a c s ) 中采用4 4 个能够独立运动 的表情活动元( a u ) 描述面部动作，这些单元与使面部表情改变的肌肉结构紧密相 连，在这个系统中还定义了六种最基本的表情：惊讶、恐惧、厌恶、愤怒、高兴、 悲伤以及3 3 种小同的表情倾向，说明了具有这六种表情的人腧特征与无表情的 人脸特征相比有相对独特的肌肉运动规律，后来进一步的研究大多数都是在 f a c s 系统的基础上构建人脸表情模型，所以说这一系统的提出具有里程碑的意 义。后来，研究者们进一步揭示了运动单元与肌肉运动之间的关系，提供了表情 识别的心理学方面的依据。i a e s s a 等人j 把提取的新运动单元命名为f a c s + ， 它基于物理和几何模型，用模板匹配的方法识别表情。国内的研究中提出了 f a c ( f a c s ) 的表情编码，把运动单元的运动转化为基于物理结构的肌肉模型的 运动特征向量序列对眼部和嘴部分分别进行表情编码，相应的运动基于f a c s 的 规则，同时又克服了f a c s 的弱点。 可以说心理学及生物学的发展与计算机识别能力的提高是一种相辅相成的 关系：一方面通过对人类心理神经感知和人脑的研究，可以提高机器的识别能 力；另一方面又可以通过机器的识别能力进一步深入探索人类的心理，神经感知 和人脑感知的过程。 人脸表情识别在许多领域都有着潜在的应用价值，这些研究领域包括心理学 研究、图像理解、合成脸部动画、视频检索、机器人技术及虚拟现实技术等。基 于脸部表情的新型人机交互环境的研究与开发也逐渐引起众多学者的广泛关注 f 1 2 - 1 4 】 o 1 3 论文的研究内容及主要工作 2 江苏大学硕士研究生毕业论文 本文在广泛阅读困内外现有的关于人脸表情特征提取和表情识别技术的文 献后，比较和借鉴现有成功的人脸表情识别方法，对人脸表情特征提取及识别方 法进行改进和完善，提出自己的算法，并丌发相应的人脸表情识别原型系统。论 文的主要研究内容和工作包括以下几个方面： ( 1 ) 研究基于m l b p t o p 的表情特征提取方法 研究并提出基于m l b p t o p 的表情特征提取方法。该方法对基本l b p t o p 特征算子进行改进，根据l b p t o p 中不同平面表情信息的差异性，三个交面的特 征被划为两类，分别采用差分二元局部模式和中心化二元模式，最后提取各平面 的混合二元局部模式m l b p t o p ( m i x e dl o c a lb i n a r yp a t t e m sf r o mt h r e e o r t h o g o n a lp a n e l s1 特征。 ( 2 ) 研究基于自动标注特征点的光流特征提取方法 研究并提出基于自动标注特征点的光流特征提取方法。该方法通过h a r r i s 角点检测方法检测人脸图像的左右嘴角点，r o b e r t 算子和水平投影法检测上下唇 角点，通过曲线拟合方法拟合出四个新的角点，以这些点作为l u c a s k a n a d e 光 流法跟踪的源点，计算嘴巴予区域的光流场，并对所有特征点进行跟踪，将所有 点的水平和垂赢位移大小作为特征向量。 ( 3 ) 研究基于多特征与多离散h m m s 的人脸表情融合识别方法 研究并提出基于多特钮f 与多离散h m m s 的人脸表情融合识别方法。该方法 对于眼睛眉毛区域采用m l b p t o p 提取纹理特征，对于嘴巴区域采用自动标注 特征点的光流法提取形状变化特征，同时在表情样本训练时采用贡献分析法分析 确定不同表情区域特征对六种表情各自的贡献权值；在分类识别阶段，首先分别 采用离散h m m s 对每个区域计算表情概率，最后进行加权融合得到识别结果。 ( 4 ) 研究开发基于图像序列的人脸表情识别原型系统。 采用面向对象的设计方法，设计实现基于图像序列的人脸表情识别原型系 统，并从实验角度验证上述方法的有效性。 本文的研究内容属于国家自然科学基金项目( 6 0 6 7 3 19 0 ) 中研究内容的一部 分。 在攻读硕士学位期间，作者在国内学术期刊及国际学术会议上共发表和录用 学术论文2 篇，如下： 【1 】基于多频域l b p t o p 特征的表情识别方法。计算机工程已录用。 【2 】e x p r e s s i o nr e c o g n i t i o nb a s e do nv l b pa n do p t i c a lf l o wm i x e df e a t u r e s i n ：p r o c e e d i n g so ft h e5 t hi e e ei n t e r n a t i o n a lc o n f e r e n c eo ni m a g ea n d g r a p h i c s ，2 0 0 9 江苏大学硕士研究生毕业论文 1 4 论文的结构 论文共分七章，主要内容概括如下： 第一章介绍课题的研究背景和研究意义，概述人脸表情识别的相关领域研究 及其应用，同时分析和提出本文的主要研究工作。 第二章综述人脸表情识别的发展与研究现状以及存在问题和发展前景，重点 介绍表情特征提取的一些算法，并对这些算法的优缺点从理论上给出比较。 第三章详细阐述基于分块m l b p t o p 算子的特征提取算法，首先介绍基本 的l b p t o p 算子，然后对该算子进行改进，并给出实验结果和分析。 第阴章详细阐述基于多特征的人脸表情融合识别方法，首先介绍了自动标注 特征点的光流模型，然后给出具体的多特征融合识别方法，最后给出实验结果及 分析。 第五章介绍采用面向对象及设计模式的思想设计并开发基于图像序列的人 脸表情识别原型系统的方法与过程。 第六章对全文进行总结，并指出进一步需要开展的工作。 4 江苏大学硕士研究生毕业论文 2 1 概述 第二章人脸表情识别技术的研究与发展 作为生物特征识别与情感计算领域的一个极富挑战性的交叉课题，人脸表情 识别是计算机自动表情识别的简称，指利用计算机对人脸的表情信息进行特征提 取，按照人的认识和思维方式加以归类和理解。人类识别人脸信息几乎没什么困 难，但对计算机来说相当不容易。冈此，采用计算机对人脸表情进行自动分析与 识别是一项具有挑战性的任务。人脸表情自动识别技术在各种应用的推动下发展 很快，但鲁棒的自动人脸表情谚 别系统至今尚未建立。 人脸表情自动识别系统主要包括以下几个环节：人脸表情图像的获取、人脸 检测、人脸表情特征提取和人脸表情的情感分类。对于一个人脸表情自动识别系 统来说，首先是要狭得人脸表情的静态图像或表情图像序列；第二步是对表情图 像的预处理，在预处理的过程中首先要进行人脸检测与定位，即从输入人脸图像 中找到人脸及人脸存在的位置，并将人脸从背景中分割出来，接着对分割出来的 人脸图像进行归一化处理，如灰度归一化；然后对预处理后的人脸表情图像进行 特征提取与选择即抽取包含脸部表情特征的信息，其目的是获得一组“少而精 的分类特征，即获取特征数目少且分类错误率小的特征向量，这是一个很重要的 环节，其效果将直接影响人脸表情的正确识别率；最后是表情识别，即根据所提 取的特征进行依照某种准则对表情进行分类。其中对人脸区域的检测与识别的研 究成果显著，并已经开始应用于身份检测鉴别等系统中。而人脸表情识别目前还 处于探索和研究阶段，且大多研究成果由国外学者提出，国内则明显落后许多年， 此外，人脸表情谚 别的研究主要局限于对几类典型表情的识别，因而人脸表情识 别的研究还面临着很艰巨的挑战。典型的人脸表情识别系统如图2 1 所示。人脸 图像归一化、人脸区域分割、特征表征以及特征选择属中间环节，对于抑制干扰、 降低计算复杂度和提高识别率有重要的作用。 图2 1 人脸表情识别的基本框架 5 江苏大学硕士研究生毕业论文 虽然已经取得了一些成绩，但是计算机表情识别的实用化还需要不懈的努 力。总体上说，人脸表情识别应能够根据人脸表情的外在表现，判断其内心活动， 进行情感的识别。研究人脸表情识别的目的是利用计算机视觉信息，采用适当的 图像处理和模式识别算法，提高计算机的理解能力，加强其智能化程度。由于静 态图像很难精确揭示细微的表情变化，因此基于图像序列的表情识别已成为目前 研究的热点。 本章以下内容按照人脸表情识别若干阶段的先后顺序，分别介绍了人脸表情 识别所涉及的技术任务，然后详细介绍目前典型的几种表情特征提取算法，最后 对这些典型的特征提取算法从理论上进行对比，给出各自的优缺点及其适用场 合。 2 2 典型的人脸表情特征提取方法 表情特征按照特征的性质可以分为表情形变特征和表情运动特征。对于静态 图像，通常要提取表情的形变( d e f o r m a t i o n ) 特征，而对于图像序列，则不仅要提 取每一帧的表情形变特征，还要提取连续序列的运动( m o t i o n ) 特征。从处理图像 范围的角度，表情特征还可分为基于局部操作和基于全局操作两类l l5 。基于全 局特征提取方法是一次性提取所需的脸部形变特征和运动特征；而基于局部特征 提取方法是将脸部划分成子区域或将脸部特征分解成一些局部特征，独立地对子 区域或局部特征进行操作。 脸部形变特征提取方法采用中性脸作为参考，通过当前脸部与中性脸的比较 得到脸部形变信息，这些信息反映在两方面：脸部纹理的变化和脸部形状的变化。 这类特征的提取方法可分为三类：基于几何特征的方法，这类方法对脸部特定 区域建立几何模型，提取表情的几何特征，如眼角、嘴角、鼻尖等特征点构成的 二维拓扑结构。基于像素的方法，这类方法通常基于统计模型，对大量的典型 表情训练，提取典型的表情图像灰度信息，例如l b p l l 6 1 ( l o c a lb i n a r yp a t t e r n s ) 特 征提取法。基于频域的方法，即将时空域图像转换到频域进行分析，提取表情 的频率特征，小波变换方法是研究的热点。 脸部运动特征提取方法着眼于表情出现时脸部区域的运动，提取相邻两时刻 脸部相对运动信息。这类特征的提取一般采用光流、特征点跟踪、差分图像以及 运动模型等技术。稠密光流是使用较早、应用较为广泛的一种方法，同样也可以 分为全局稠密光流和局部稠密光流。全局稠密光流用于提取整个脸部的运动信 息，如l i e n 等人使用基于小波的多分辨率稠密光流分析脸部整体运动。由于光 流计算量大，同时对运动的不连续较为敏感，在整个人脸区域内计算光流可能会 6 江苏大学硕士研究生毕业论文 消耗很多时间，所以局部稠密光流有时是更好的选择。通过缩小计算区域，减少 计算方向来降低计算量。特征点跟踪是传统的用于脸部运动特征提取的经典算 法。不同于光流方法，它不能对图像中的每个象素点进行跟踪，只是对某些具有 一定意义的特定点进行跟踪。特征点一般选取具有解剖学意义的点或某些具有交 叉纹理的点。标志点方法与特征点跟踪方法类似，但是多用于纹理信息不丰富的 区域，如面颊。差分图像方法通过两幅图像相减得到整体变化信息，计算量少。 但是它不能提供运动方向信息。并且为了保证差分图像的效果，精确的图像对齐 是必不可少的i j 。 脸部特征提取方法选择主要依赖于所使用的分类方法和应用环境。不同分类 方法需要不同特征，不同的方法适用于不同的环境。特征提取算法应根据实际的 应用背景进行选择和设计。 目前的表情识别算法基本上都是针对灰度图像，提取其灰度统计特征或者频 率特征，然后使用特定的分类识别算法实现人脸表情的识别。其中表情特征提取 算法是关键，决定了表情识别的好坏，因而本节重点介绍人脸表情特征提取的几 种常用算法，其中l b p 和小波变换算法属于静态特征提取算法，主要提取图像 的纹理变化特征，而光流模型则属于动态特征提取算法，主要针对连续视频帧进 行特征提取，提取图像中的运动特征。 ( 1 ) 光流模型 光流( o p t i c a lf l o w ) 是指图像的亮度模式引起的表观运动，即像素点的瞬时速 度场。可通过分析图像序列，采用光流模型计算出表情图像特征点的瞬时速度场， 从而伊i 算出表情肌肉的运动强度和方向。通常图像噪声及光线变化对光流模型的 影响很大，一般需要预先对图像用低通滤波器进行平滑处理。文献【1 8 概括了几 种光流场的计算方法：基于梯度的光流计算方法，基于区域匹配的光流计算方法， 基于频域的光流计算方法，如基于k a l m a n 滤波器的速度场估计算法和基于多分 辨率( m u l t i r e s o l u t i o n ) 的g a b o r 小波变换方法。文献【1 9 】详细讨论和总结了各种光 流模型的计算方法。 光流模型是提取图像运动信息的重要方法，国外在这方面已有大量的研究成 果。最早由m a s e 和p e n t l a n d 使用基于区域的光流模型，提取出脸部肌肉的运动， 并使用k 近邻规贝j j ( k n e a r e s tn e i g h b o rm l e ) 判别表情状态。y a b c o o b 和d a v i s 使用 光流模型跟踪眉毛、眼睛及嘴角等区域的运动，并使用决策表实现对6 种基本表 情的识别。b a r l e t t 同时使用了p c a 方法和光流模型识别人脸表情。o t s u k a 和o h y a 对表情图像进行傅立叶变换，其系数作为光流场，并结合h m m 2 0 】识别人脸表情。 此外，m c c a n e 提出基准光流( b e n c h m a r k i n go p t i c a lf l o w ) 算法从复杂的背景和多姿 态表情序列中有效的获得运动场信息【2 。 7 江苏大学硕士研究生毕业论文 ( 2 ) 局部二元模式( l b p ) 算子 l b p 算子是一种有效的纹理描述算子，它具有旋转不变性和灰度不变性等显 著优点。在近十年的时间内，l b p 算子已经广泛地应用于纹理分类、图像检索、 人脸图像分析等领域 2 2 - 2 5 1 。 对于一幅图像中的某个局部区域内的任意像素厂( t ，儿) ，以其为中心点， 对3 x 3 窗口内的8 个点g 。，g ，纹理7 1 定义如下： t 一( g o g 。，9 7 一g 。) ，( 2 1 ) 以窗口中心点灰度值为阈值对窗口内其它像素做二值化处理，如公式( 2 2 ) 所 示： t t ( s ( g o g 。) ，s ( 9 7 一) ) ，( 2 2 ) 其中s ( x ) = ：l ：三三。得到一个8 位的二进制数，按公式( 2 3 ) 对像素不同位置进 行加权求和，即可得到该窗 j 的l b p 值： l b p ( x 。，苁) = s ( 岛- g 。) 2 ( 2 3 ) 5 62 03 4 l2 82 21 2 6i8 7 8 l 舂9 进糊 图2 2l b p 算子 一个基本的l b p 算子如图2 2 所示。为了适应不同尺度的纹理特征，o i a l a 等【l6 j 对l b p 算子进行了改进，将3 3 邻域扩展到任意邻域，并用圆形邻域代替 了正方形邻域，采用双线性插值算法计算没有完全落在像素位置的点的灰度值。 此外，改进后的l b p 算子允许在半径为尺的圆形邻域内有任意多个像素点，如 图2 3 所示。符号b e ，。表示在半径为尺的圆形邻域内有尸个像素点。 l b p 算子是重要的纹理特征提取方法，国外在这方面已有大量的研究成果。 c a i f e n gs h a n 2 2 1 等人使用加权人脸的l b p 特征，结合模板匹配和s v m 进行人脸 表情识别，得到了较好的识别效果。贺亮华【2 3 】等人在小波分解的基础上，采用 局部到整体的方法提取l b p 特征，得到了较满意的识别效果。 8 江苏大学硕士研究生毕业论文 ， ，_ 、 、 o ki 、_ 一 l b 只ul b r 6 工 图2 3 改进后的l b p ( 3 ) 主成分分析 p c a ( p r i n c i p a lc o m p o n e n ta n a l y s i s ) 2 6 , 2 7 1 即主成分分析，是模式识别领域中 一种经典的特征提取和降维方法。该方法把表情图像向量看作随机向量，所以可 以用k l ( k a r h u n e n l o e v e ) 变换得到正交变换基。其中，较大特征值的特征向 量具有图像的主要特征。主成分分析在最小协方差意义下给出了识别样本的最优 表示。它通过消除识别样本之间的相关性实现样本的维数压缩，减少数据量的同 时保留了样本的绝大多数有效数据。 统计模型方法是将脸部特征区域看作一类模式，使用大量的脸部表情样本进 行训练并构造分类器，然后通过判别被测脸部表情可能属于哪类模式，从而实现 特定人脸表情的识别。p c a 是一种无监督( u n s u p e r v i s e d ) 的线性特征提取方法。 它将一组高维训练图像集进行k l 正交变换，生成一组新的正交基，以消除原 有向量间的相关性。提取出该j 下交基中对应较大特征值的部分特征向量，从而生 成低维的表情特征空间，同时保留原高维空间的主要成份分量。对于每一种表情 模式，可采用该表情对应的多幅图像来训练，这样可在一定程度上消除光线变化 等凶素的影响，且计算量也得到减少，识别率不会下降。 设训练集中每一幅表情图像对应一个高维向量，则训练集可表示为 s = 仁。，j ：，贾 ，瓦表示第k ( 1 k n ) 幅表情图像向量。n 为训练图像的总 数。则训练集的总体协方差矩阵为： c = 万l 善n ( 妒两( 铲两r ， ( 2 4 ) 其中；为训练集图像的均值。对该协方差矩阵对角化以获得特征值丑和对应的特 征向量厅，则所有的特征向量组成一个标准正交系，将原图像向这个正交系投 影可使各分量线性无关。对特征值按从大到小进行排序，并按下式定义排序后的 方差贡献率： tn ，( 肘) = 以丑 ( 2 5 ) 9 江苏大学硕士研究生毕业论文 由此可求出前m 个主成份分量，使其方差贡献率大于某个阈值f ，f 可认 为是进行k l 变换后选取的子空间占原空间的比率，即保留原图像空间的信息 量，一般取0 8 。前m 个特征值对应的特征向量组成m 维子空间： a = 瓴，厅：，面m ，其维数远小于原图像空间的维数，实验表吲2 6 1 ，经过p c a 处理后的图像维数可由原来的4 2 0 0 维下降为3 0 0 维，且保留了原图像的大部分 信息。这样便可利用变换矩阵a ，将原图像投影到特征子空间。p c a 方法的最 大优势就是对高维图像的降维处理，经p c a 处理后的表情图像称为特征表情脸 ( e i g e ne x p r e s s i o nf a c e ) ，特征表情脸能有效的描述脸部表情信息。 由于采用的人脸表情库的不同及测试环境的差异，各种方法间的优劣没有可 比性。但在方法分类上，各类方法都有其特点。各类方法比较如下： 基于变形方法与基于运动方法的比较。前者处理的是静态图像，着重考虑 特征点的位置和强度的变化，由于单一的静态图像容易获得和处理，所以这类方 法应用较广泛。而后者处理的是图像序列，侧重于对特征点运动状况的处理，获 得的信息较多，但计算量较大。 基于图像和基于模型方法的比较。前者处理的是表情图像的低层次灰度信 息，一般使用大量样本的统计信息，不依赖其他额外信息，计算简单、快捷。而 后者着重于对人脸建模，提取人脸表情的高层次信息，一般要依赖先验知识。通 过建模，能够精确描述人脸的表情状况，但同时可能会丢失某些表情信息，而且 建模复杂，计算量也很大，特别是三维模型。 基于全局图像的方法和基于局部图像方法的比较。全局方法适用于提取普 遍的脸部表情，而局部方法则能够检测出脸部局部区域的微小变化。由于局部方 法仅处理几个关键的区域，受光线、视角、姿势等因素的影响相对较少，且处理 的数据量更少，所以应优于全局方法。 总的来说，使用几种方法的综合通常优于使用单一的方法，所以不少系统将 以上的各类方法综合使用，可获得较好的表情识别率。 2 3 典型的人脸表情分类识别方法 表情分类是表情识别框架中最后一个阶段，目的是将不同表情划入相应的表 情类中。分类器选择和设计主要的不同来自于是否使用时间信息。 表情识别方法分类大致分为4 种情况： ( 1 ) 基于模板的匹配方法。为每一个要识别的表情建立一个模板，将待测表 情与每种表情模板进行匹配，匹配度越高，则待测表情与某种表情越相似。对6 l o 江苏大学硕士研究生毕业论文 种典型的基本人脸表情可以建立相应的模板，但对于识别非典型脸部表情比如混 合表情时较困难，很难用有限的模板来代表无限多的人脸表情的情况。 ( 2 ) 基于神经网络的方法。神经网络方法的研究具有悠久的历史，它很适合 于解决非线性问题。网络的输出节点对应于6 种基本表情和中性表情。p a d g e t t 等使用反向传播算法训练人工神经网络在e k m a n 人脸表情库上能够达到8 6 的识 别率。但是，如果对自然表情类型而不是6 中基本表情分类，那么神经网络方法 的训练过程的工作量会非常大。另外，神经网络除了可以当作分类器外还可以作 为特征提取器。c h r i s t i nl l i s e t t i 等1 2 8 j 研究微笑和中性两种不同表情，同时 考虑到表情强度，他们采用神经网络来识别表情及表情强度，其试验结果表明该 方法鲁棒性较强。由于神经网络的输入是图象象素，故网络结构比较庞大，导致 该方法计算量过大。瑞士的b e a t f a s e l 采用卷积神经网络进行脸部表情的分析与 识别。针对现有的脸部表情分析与识别方法往往对头部的姿态与光照条件等很敏 感，算法在识别前往往需要很复杂和耗时的预处理等问题。b e a t f a s e l 采用卷积 神经网络进行特征的提取和脸部表情的识别，该方法无需对图像进行预处理，即 可解决多姿态、多角度和大小不一等面部表情识别的i 、u j 题，使得算法具有很强的 鲁棒性。 ( 3 ) 基于概率模型的方法。估计表情图像的参数分布模型，分别计算被测表情 属于每个类的概率，取最大概率的类别为识别结果。如b a y s 决策，h m m 等。 a n t o n i oc o l m e n a r e x l 2 9 j 等人提出一种嵌入式人脸及表情识别系统，采用b a y e s i a n 网络框架，通过结合人脸特征外表信息及特征点位置变化信息对人脸进行建模， 最后采用b a y e s i a n 网络框架在基于最大似然概率准则下实现人脸及人脸表情的 识别，与一般人脸识别算法相比，该方法考虑了视频中人脸变化的动态信息，把 一系列离散的表情状态作为b a y e s i a n 框架的隐含状态，而观测变量为人脸特征 外表信息及特征点位置变化信息。该方法缺点是对人脸特征区域定位及特征点跟 踪的准确性比较敏感。隐马尔可夫模型( h m m 是一组用于特征化信号的统计特性 的模型，它包含两个相关的过程：一个是隐含的、不可见的有限状态马尔可夫链， 且包含初始状态概率分布函数和状态转移概率矩阵及一组状态有关的概率密度 函数。l i m i n 等人提出了一种基于时间与空间分类的h m m ( h h m m ) 来识别图像 序列中的表情的方法，此方法通过多级h m m 对图像序列中的而部表情进行建 模。作者对四种基本表情如高兴、生气、害怕、伤心分别进行了实验。从实验结 果知，此方法对单个人的平均