（计算机应用技术专业论文）基于视频图像的人脸表情识别技术的研究.pdf

江苏大学硕士研究生毕业论文 摘要 人脸表情识别是指利用计算机分析特定人的脸部表情及变化，进而确定其内 一t l , 情绪或思想活动，实现人机之问更自然更智能化的交互。基于视频的人脸表情 识别的研究对于增强计算机的智能化和人性化，开发新型人机环境，以及推动心 理学等学科的发展，有着重要的现实意义，并最终产生很大经济效益和社会效益。 本文首先综述课题的研究背景，分析目前国内外己提出的主流人脸表情识别 方法，重点对主成份分析方法、小波变换方法、光流模型和隐马可尔夫模型进行 了详细阐述和比较。总体上，人脸表情识别方法可分为基于静态图像的识别方法 和基于图像序y o ( 或视频) 的动态方法，这两类方法各有优缺点：静态方法简单快 捷，但通常要求所处理的静态图像包含的表情处于极大或夸张状态；而动态方法 侧重于对一般的视频流处理，以提取表情的运动特征并实现表情的可靠识别该 方法更具一般性，但模型复杂，计算量大，无法满足实时性要求。 为了满足实时性和可靠性要求，本文接着提出了基于图像差分的关键帧检测 算法和基于g a b o r 小波变换的表情特征提取和识别算法，具体包括如下： ( 1 1 对视频环境中采集到的每一帧表情图像执行g a b o r 小波变换，提取该帧 的表情特征信息。为了更好地提取表情特征信息，需要对获得的f 面表情图像帧 进行尺寸归一化和扶度归一化处理，然后再进行g a b o r 小波变换。变换后的一系 列小波特征向量表达了该图像帧的表情特征，故称之为表情特征弹性图。 ( 2 ) 跟踪变换后的表情特征弹性图序列，采用图像差分方法，检测表情特征 处于极大或夸张状态的关键帧。即将每一种类表情对应的平静状态图像弹性图作 为基准，将随后跟踪到的弹性图与该基准图像作差分，分析差分后的欧氏距离变 化趋势及变化的时间间隔，选择变化幅度较大且合理的表情弹性图作为关键帧。 f 3 ) 将检测到的表情关键帧作为典型的静态表情图像，提出基于弹性模板匹 配和改进的k 近邻分类算法识别该关键帧图像所对应的表情状念。通过学习， 构造一定规模的表情模板库，将被测表情弹性图与模板库中的模板进行弹性匹 配，选择最佳匹配的弹性模板作为最终的识别结果。 本文结合了动态图像序列和静态图像的识别技术，使得待识别的表情图像数 量大为减少，同时，基于g a b o r 小波变换的表情特征提取算法能够最大限度地屏 蔽光照条件和个人特征的差异。因此上述方法不仅使实时性和可靠性得到很好的 权衡，还基本做到了与人无关( s u b j e c t i n d e p e n d e n t ) 的人脸表情识别。 本文最后采用面向对象的设计方法给出了人脸表情识别的原型系统，并从实 验角度验证了上述方法的有效性。 关键词：模式识别：图像处理；g a b o r 小波变换；表情弹性图；弹性模板匹配 江苏大学硕士研究生毕业论文 a b s t r a c t f a c i a le x p r e s s i o nr e c o g n i t i o ni st oa n a l y z ea n dd e t e c tt h es p e c i a le x p r e s s i o ns t a t e f r o mg i v e ne x p r e s s i o ni m a g e so rv i d e of r a m e sa n dt h e nt oa s c e r t a i n t h es u b j e c t s s p e c i f i ci n b o me m o t i o n a c h i e v i n gs m a r t e ra n dm o r en a t u r a li n t e r - a c t i o nb e t w e e n h u m a nb e i n g sa n dc o m p u t e r s t 1 1 es t u d yo ff a c i a ie x p r e s s i o nr e c o g n i t i o nb a s e do n v i d e o f r a m e sh a sf o u n di m p o r t a n tr e a l i s t i cv a l u e s i n t h i sw o r k ，w ef i r s t l yd i s c u s st h eb a c k g r o u n da n dt h e na n a l y z et h em a i n e x p r e s s i o nr e c o g n i t i o na l g o r i t h m sp r e s e n t e d ，e m p h a s i z i n go np r i n c i p l ec o m p o n e n t s a n a l y s i s ( p c a ) ，w a v e l e tt r a n s f o r m a t i o n ，o p t i c a lf l o wm o d e l s ( o f m ) a n dh i d d e n k a r k o vm o d e l s ( h m m ) i nac o n c l u s i o n t h em e t h o d so ff a c i a le x p r e s s i o nr e c o g n i t i o n c a nb ef a l i e ni n t ot w oc l a s s e s ：s t a t i cr e c o g n i t i o nb a s e do ns t i l lf a c i a l e x p r e s s i o n i m a g e sa n dd y n a m i cr e c o g n i t i o nb a s e do nv i d e o 行a m e s t h es t a t i cr e c o g n i t i o n m e t h o d sa r es i m p l ea n dq u i c k ，t h o u g ht h e yg e n e r a l l yr e q u i r ei m a g e st or e f l e c ta n e x a g g e r a t e di n t e n s i t yo fe x p r e s s i o n t h ed y n a m i cm e t h o d sd e a lw i t he v e r yf r a m e i m a g ei nv i d e of r a m e ss ot h e yh a v eu n i v e r s a l i t y b u tt h ed y n a m i cm o d e l sa r ec o m p l e x a n dt h e i rc o m p u t a t i o ni sv e r ye x p e n s i v e s ot h e yc a n tm e e tt h ed e m a n do fr e a lt i m e g e n e r a l l y i no r d e rt om e e tt h er e q u i r e m e n to fr e a l t i m e a b i l i t ya n da u t h e n t i c i t y o n e x p r e s s i o nr e c o g n i t i o nf r o mv i d e of r a m e s w ep r e s e n ti nt h i sw o r kt h ee x p r e s s i o n k e y f r a m e sd e t e c t i o na l g o r i t h mf r o mv i d e of r a m e db a s e do ni m a g e sd i f f e r e n t i a t i n g s e c o n d l y a n dt h e nw ep r o p o s et h ee x p r e s s i o nf e a t u r e se x t r a c t i o na l g o r i t h ma n d r e c o g n i t i o na l g o r i t h mf r o ms t i l lk e y f r a m e s w h i c hc a na c h i e v er e a l t i m e f a c i a l e x p r e s s i o nr e c o g n i t i o ne f f e c t i v e l y t h em e t h o d sa r ed i s c u s s e da sb e l o w ： ( 1 ) g a b o rw a v e l e tt r a n s f o r m a t i o ni sp e r f o r i l l e do ne v e r yf r a m ei nt h ev i d e ot o e x t r a c tt h ee x p r e s s i o nf e a t u r e so ft h i sf r a m e t h es c a l en o r m a l i z a t i o na n dg r a y s c a l e e q u a l i z a t i o no nt h ef r o n t a lf a c i a li m a g e sa r eh e l p f u lf o re x t r a c t i n ge x p r e s s i o nf e a t u r e s m o r ee f f e c t i v e l y a t i e rt r a n s f o r m a t i o n as e to fv e c t o r sf o r m e db yw a v e l e tc o e m c i e n t s p r e s e n te x p r e s s i o nf e a t u r e s ，w h i c ha r ec a l l e de l a s t i cg r a p hf o re x p r e s s i o nf e a t u r e s ( 2 ) t h r o u g ht r a c k i n gas e r i e so fe l a s t i cg r a p h s ，t h ek e y f r a m e s ，w h i c hc o n t a i n e x p r e s s i o n f e a t u r e si n e x a g g e r a t e di n t e n s i t y c a nb ed e t e c t e db a s e d o ni m a g e s d i f f e r e n t i a t i n g f 3 ) t h ee x p r e s s i o nk e y f r a m e sa r ev i e w e da st y p i c a li m a g e s e l a s t i ct e m p l a t e s m a t c h i n ga l g o r i t h ma n dp r o m o t e dk - n e a r e s tn e i g h b o r sc l a s s i f i e ra r ep r o p o s e dt o r e c o g n i z et h e s et y p i c a le x p r e s s i o ni m a g e s i n t h i sw o r k ，t h es t a t i ca n dd y n a m i cr e c o g n i t i o nm e t h o d sa r ec o m b i n e ds ot h a t t h en u m b e ro ft e s t i n ge x p r e s s i o ni m a g e sa r ec u td o w ng r e a t l ya n dt h ec o m p u t a t i o n c o s ti sr e d u c e d m o r e o v e r ，t h ee x p r e s s i o ne x t r a c t i o na l g o r i t h mb a s e do ng a b o r w a v e l e tt r a n s f o r m a t i o nc a ns h i e l df r o mt h ei n f l u e n c eo fi l l u m i n a t i o na n ds u b j e c t s v a r i e t y t h e r e f o r e t h es u b j e c t - i n d e p e n d e n tf a c i a le x p r e s s i o nr e c o g n i t i o n c a nb e a c h i e v e d i nt h ee n do ft h i sw o r k w ed e s i g nap r o t o t y p es y s t e mo ff a c i a le x p r e s s i o n r e c o g n i t i o n b a s e do no b i e c t o r i e n tm e t h o d sa n dp r o v et h e e f f e c t i v i t y o fa b o v e a l g o r i t h m sb ys o m ee x p e r i m e n t s k e yw o r d s ：p a t t e r nr e c o g n i t i o n ；i m a g ep r o c e s s i n g ；g a b o rw a v e l e tt r a n s f o r m a t i o n ； e x p r e s s i o ne l a s t i cg r a p h ；e l a s t i ct e m p l a t e sm a t c h i n g 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权江苏大学可以将本学位论文的全部内容或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口 枞论文肝不骼囱 学位论文作者签名：1 计数犸 印心年1 月f o h 在年解密后适用本授权书。 燧泓 斯年月ff r 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容以 外，本论文不包含任何其他个人或集体已经发表或撰写过的作品 成果。对本文的研究做出重要贡献的个人和集体，均已在文中以 明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：计叛幅 日期：泌年片if e l i v 江苏大学硕士研究生毕业论文 1 1 课题的背景 第一章绪论 计算机科学技术的迅猛发展对人类社会产生巨大的影响，一场信息革命正在 酝酿。人们认知自然、改造自然的方式也随之发生变化，在众多领域，计算机f 逐渐代替人类完成一些极具挑战性的任务，2 0 0 4 年，美国“勇气”号宇宙飞船 成功踏上火星，不仅鼓舞人类探索自然的勇气，同时还说明计算机在人类生活中 已开始扮演着越来越重要的角色。为了解决人类与计算机问更加智能更加自然的 交互，新型的人机交互( h u m a nm a c h i n ei n t e r a c t i o n ，h c i ) 技术正逐渐成为研究热 点。人类自然形成的与自然界沟通的认知习惯和形式必定是人机交互的发展方 向，一方面要求计算机能看、能说、能听、能感觉，即能够智能地感知使用者的 意图，另一方面，使用者可以不必坐在计算机前通过鼠标和键盘操作计算机，而 是可以在三维空间中以更加自然和人性化的方式同计算机交流。总之，新型的人 机交互环境要求计算机必须具有自然化、智能化、人性化等特点。 实时的多媒体信息在新型的人机交互环境中扮演着举足轻重的角色，计算机 应能够通过采集用户的图像信息和语音信息，形成计算机视觉和听觉，然后处理 采集到的多媒体信息，并进行识别，从而感知使用者的意图，完成人机问的自然 交互。由于实时的视频图像传递更加丰富的信息，这对于感知使用者的意图，判 断其行为极具价值，因此，目前国内外众多研究学者将数字图像处理技术应用于 实时的视频信息，使用计算机处理数字图像信息，研究并开发新型的人机交互系 统。在该研究领域，基于数字图像的人脸检测技术、人脸识别技术、手势识别技 术等陆续被提出，相关的应用系统也将逐渐改变人们的工作与生活。 由于人脸部表情是反映人内心情绪和想法的最自然最直接的方式，因此，基 于数字图像的人脸表情识别技术的研究是继人脸检测及识别之后的又一研究热 点。本文便是在这样的背景下开展人脸表情识别的相关研究工作。随着i n t e r n e t 的普及以及计算机性能的大幅提高，人脸表情识别技术将被广泛应用于包括新型 人机交互在内的诸多领域，并将产生很好的经济效益和社会价值。 1 2 人脸表情识别涉及的研究领域及应用 所谓人脸表情识别，就是指通过分析特定人的脸部表情及变化，进而确定其 内心情绪或思想活动。特别需要指出的是，人脸表情识别和人的情绪识别是两个 江苏大学硕士研究生毕业论文 不同概念。人脸表情识别是把脸部运动特征和脸部变形特征进行分类，划分到各 个不同的抽象类中，完全基于可视化的信息：而人的情绪则是多种因素影响的结 果，这些因素的状态可能表现出来，也可能不表现出来，其表现的方式是多样的， 比如情绪化的声音、姿态、手势、眼睛凝视的方向，当然也包括脸部表情。情绪 一般能够完全体现人的意图，但由于人脸表情与所处的情绪状态并不是一一对应 的，某些情绪并不通过可视的脸部表情变化表现出来所以，即使人类自身也很 难十分准确地通过脸部表情理解一个人的情绪状态，往往要借助于当时给定的环 境以及上下文信息，这便对使用计算机进行人脸表情识别的研究提出了挑战。另 一方面，人脸表情又和内在情绪有着密切的联系，情绪是脸部表情的重要来源， 大多数脸部表情都由特定的情绪所支配，而在人们的日常交流中，只有7 的信 息靠语言获得，5 5 的信息通过脸部表情传达。由此可见脸部表情在人们交流 过程中起着重要的作用，使用计算机进行人脸表情识别进而确定人的内心情绪的 研究是完全可行的。 人脸表情识别技术的研究属于交叉学科研究分支，主要涉及心理学研究和计 算机技术的研究。近一个多世纪以来，这两个领域的研究学者们对人脸表情识别 做了大量的研究工作。 最早进行人脸表情识别研究的是在心理学领域，可以追溯到1 9 世纪d a r w i n 在1 8 7 2 年阐述了脸部表情的普遍意义及其与某种明确情绪问的关系【2j 。1 9 7 1 年， e k m a n 和f r i e s e n 对人类情绪进行了分类【3 j ，提出6 种基本情绪( b a s i ce m o t i o n ) ： 高兴( h a p p i n e s s ) 、悲伤( s a d n e s s ) 、惊奇( s u r p r i s e ) 、恐惧( f e a r ) 、厌恶( d i s g u s t ) 、愤怒 ( a n g e r ) ，每种基本情绪都对应着一个独特的较为典型的脸部表情。在此基础上他 们又提出了脸部运动编码系统( f a c i a la c t i o nc o d i n gs y s t e m ，f a c s ) ，将脸部肌肉 运动划分为不同的运动单元( a c t i o nu n i t s ，a u s ) ，每种运动单元对应了不同的表 情状态。这对使用计算机分析人脸图像，自动识别人脸表情有较大的推动作用。 第一次使用计算机实现人脸表情识别是在1 9 7 8 年，s u m a 对选定的连续图像序列 中脸部固定的2 0 个点进行跟踪识别，并与原型模式( p r o t o t y p ep a t t e r n s ) 进行比较 以实现识别1 2j 。9 0 年代，以m a s e 和p e n t l a n d 的二l ：作为起点，使用计算机进行自 动人脸表情分析的研究工作迅速展开。研究者们对人脸表情重新感兴趣的原因是 多方面的但主要是由于人脸检测、头部跟踪、人脸识别等相关领域的研究取得 巨大成就，以及近年来相对廉价和高性能的计算资源的使用，都极大地推动了人 脸表情识别技术的研究与发展，并使其成为科研热点。 人脸表情识别在许多领域都有着潜在的应用价值，这些研究领域包括心理学 研究、图像理解、合成脸部动画、视频检索、机器人技术及虚拟现实技术等。基 江苏大学硕士研究生毕业丝 于脸部表情的新型人机交互环境的研究与开发也逐渐引起众多学者的广泛关注 【4 矧。 1 3 论文的研究内容及主要工作 本文在广泛阅读国内外现有的关于人脸检测和表情识别技术的文献后，比较 和借鉴现有成功的人脸表情识别方法，对相应的人脸表情特征提取及识别的关键 技术进行改进和完善，同时提出自己的算法，并开发相应的基于视频交互的实时 人脸表情识别原型系统。论文的主要研究内容和工作包括以下几方面。 ( 1 ) 研究表情图像中人脸表情特征的快速提取方法 从视频序列中截获的有人脸表情的单帧图像可视为静态图像，该图像包含着 各种人脸表情特征属性。为了实时有效地识别该表情图像隶属何种表情，研究对 表情图像只提取与人脸表情运动有关的特征参数的快速算法同时还要保证对环 境条件和个人特征差异具有一定的鲁棒性。 ( 2 ) 研究人脸表情特征的快速分类方法 当所提取的表情特征参数能够较好地反映出该帧图像所处的表情状态时，应 根据人脸的结构和表情特征信息，利用提取的实时图像中的人脸表情特征，综合 分析目前表情分类的优缺点研究探索更方便使用和更适合于实时视频环境下的 人脸表情分类与识别方法。 ( 3 ) 研究基于视频序列的人脸表情关键帧的提取方法 视频环境中的每一帧人脸图像都包含表情信息，同时相邻帧之间存在相关 性，表情信息存在较大的冗余度。故可跟踪表情特征在视频序列中的变化，研究 截取视频序列中表情特征处于极大状态的关键帧和计算表情变化持续的时间的 方法，以便对该表情关键帧作重点分析和识别，从而有效降低表情信息的冗余度， 减少人脸表情特征提取的计算量。 ( 4 ) 研究开发基于视频交互的实时人脸表情识别原型系统 实时视频信息存在分辨率低、有噪音和干扰等问题，因此必须充分分析这些 因素，研究丌发集成视频采集、人脸实时检测的人脸表情关键帧的提取、人脸表 情视觉特征的提取和人脸表情分类识别的一套基于视频交互的，买时人脸表情识 别原型系统，实现用户在视频摄像头前做出脸部表情动作，计算机就能感知其表 现的表情。 本文的研究内容属于国家自然科学基会项目( 项目编号为6 0 2 7 3 0 4 0 ) , f i 江苏 省高校自然科学基金项目( 项目编号为0 2 k j b 5 2 0 0 0 3 ) 中研究内容的一部分。 江苏大学硕士研究生毕业论文 作者在攻读硕士学位期间在国际学术会议及国内核心期刊上发表学术论文 如下： ( 1 ) f a c i a le x p r e s s i o nf e a t u r e se x t r a c t i o nb a s e do ng a b o rw a v e l e t t r a n s f o r m a t i o n ，i n ：i e e ep r o c o fs m c2 0 0 4 ，s e c t i o n2 8f a c i a la n a l y s i s ， p p 2 2 1 5 2 2 1 9 ( 2 ) f a c i a le x p r e s s i o nr e c o g n i t i o nb a s e do ng a b o rw a v e l e tt r a n s f o r m a t i o na n d e l a s t i ct e m p l a t e sm a t c h i n g i n ：i e e ep r o c o fi c i g2 0 0 4 ( 3 ) 基于g a b o r 小波变换的人脸表情特征提取计算机工程已录用。 1 4 论文的结构概要 论文共分八章，主要内容概要如下： 第一章介绍课题的研究背景和研究意义，概述了人脸表情识别所设计的研究 领域以及其潜在的应用范围。同时分析和提出本文的主要研究工作。 第二章综述人脸表情识别的研究现状，重点介绍主成分分析、小波变换、光 流模型和隐马可尔夫模型等表情特征提取和识别算法，并对这些算法的优缺点从 理论上给出比较。 第三章介绍针对人脸表情图像所采用的预处理算法，主要包括人脸的表情区 域分割算法、表情图像的尺寸归一化和灰度归一化算法。 第四章详细阐述本文所提出的基于g a b o r 小波变换的人脸表情特征提取算 法。首先介绍小波理论，然后给出具体的表情特征提取算法，并给出实验结果和 分析。 第五章提出视频环境中基于图像差分算法的表情关键帧检测技术，通过跟踪 实时的视频序列，检测出表情状态出于极大状态的关键帧图像，并给出实验结果。 第六章重点介绍基于弹性模板匹配和改进的k 近邻分类的表情识别算法， 实现人脸表情的快速准确的分类识别。 第七章介绍采用面向对象及设计模式的思想设计并丌发基于视频图像的人 脸表情识别原型系统的方法与过程。 第八章对全文进行总结，并指出进一步需要开展的工作。 拉苏是学硕士研究生毕业论文 2 1 概述 第二章人脸表情识别技术的研究与进展 在人们的同常生活交往过程中，人脸表情传递大量信息，在彼此交流中扮演 十分重要的角色，人脸表情不仅反映了人的情绪，而且还反映出其他的精神活动、 社会交往活动、生理信息等。在过去的十年间，自动人脸表情分析已经成为一个 活跃的研究领域，并不断有研究成果公布于众。总体上说，人脸表情识别应能够 根据人脸表情的外在表现，判断其内心活动，进行情感的识别。研究人脸表情以 别的目的是利用计算机视觉信息，采用适当的图像处理和模式谀别算法，提高计 算机的理解能力，加强其智能化程度。 因此，人脸表情_ l 别的研究内容主要包括人脸表情区域的检测与定位、人脸 表情特征的提取及表征、表情特征的分类识别。目前国内外在这方面的研究可大 致分为两个阶段：人脸的检测与i 1 l , l i j ，以及人脸表情特征提取和识别。其中对人 脸区域的检测与识别的研究成果显著，并已经丌始应用于身份检测鉴别等系统 中。而人脸表情识别目前还处于探索和研究阶段，且大多研究成果由国外学者提 出，国内则明显落后许多年，此外，人脸表情训别的研究主要局限于对几类典型 表情的识别，因而人脸表情 _ 别的研究还面临着很艰巨的挑战。 奉章以下内容按照人脸表情识别若干阶段的先后顺序，分别介绍了人脸表情 识别所涉及的技术任务，然后详细介绍日前典型的几种表情识别算法最后对这 些典型识别算法从理沧上进行对比，给出各自的优缺点及其适用场合，并得出结 论和启示。 2 2 人腧表情识别系统若干阶段分析 典型的人脸表情识别系统主要包括人脸检测、表情特征提取、表情分类识别 = 个阶段，如图21 所示。人脸图像的归一化处理、人脸区域分割和特征表征儿 个阶段属中间环节，对于抑制干扰、降低计算复杂度和提高识别率有重要的作片j 。 此外，对于基于视频的人脸表情识别系统还应包括视频序列中表情图像的检测 此外，对于基于视频的人脸表情识别系统还应包括视频序列中表情图像的检测 与跟踪。 江苏大学硕士研究生毕业论文 2 1 概述 第二章人脸表情识别技术的研究与进展 在人们的同常生活交往过程中，人脸表情传递大量信息，在彼此交流中扮演 十分重要的角色，人脸表情不仅反映了人的情绪，而且还反映出其他的精神活动、 社会交往活动、生理信息等。在过去的十年间，自动人脸表情分析已经成为一个 活跃的研究领域，并不断有研究成果公布于众。总体上说，人脸表情识别应能够 根据人脸表情的外在表现，判断其内心活动，进行情感的识别。研究人脸表情识 别的目的是利用计算机视觉信息，采用适当的图像处理和模式识别算法，提高计 算机的理解能力，加强其智能化程度。 因此，人脸表情识别的研究内容主要包括人脸表情区域的检测与定位、人脸 表情特征的提取及表征、表情特征的分类识别。目前国内外在这方面的研究可大 致分为两个阶段：人脸的检测与识别，以及人脸表情特征提取和识别。其中对人 脸区域的检测与识别的研究成果显著，并已经丌始应用于身份检测鉴别等系统 中。而人脸表情识别目前还处于探索和研究阶段，且大多研究成果由国外学者提 出，国内则明显落后许多年，此外，人脸表情识别的研究主要局限于对几类典型 表情的识别，因而人脸表情识别的研究还面临着很艰巨的挑战。 本章以下内容按照人脸表情识别若干阶段的先后顺序，分别介绍了人脸表情 识别所涉及的技术任务，然后详细介绍目前典型的几种表情识别算法，最后对这 些典型识别算法从理论上进行对比，给出各自的优缺点及其适用场合，并得出结 论和启示。 2 2 人脸表情识别系统若干阶段分析 典型的人脸表情识别系统主要包括人脸检测、表情特征提取、表情分类识别 三个阶段，如图2 1 所示。人脸图像的归一化处理、人脸区域分割和特征表征几 个阶段属中间环节对于抑制干扰、降低计算复杂度和提高识别率有重要的作用。 此外，对于基于视频的人脸表情识别系统，还应包括视频序列中表情图像的检测 与跟踪。 江苏大学硕士研究生毕业论文 图2 1人脸表情识别的几个阶段 ( 1 ) 人脸检测。要能够从复杂的背景中检测出人脸的存在，并确定其位置， 对于图像序列，还要能精确跟踪人脸区域。这一任务主要受光照、图像噪声、人 脸姿势改变及各种遮挡的影响，检测难度很大。文献【7 】将人脸检测方法分成三类： 基于肤色特征的检测方法、基于启发式( 知识) 模型的方法、基于统计模型的方法。 第一种方法处理的是彩色图像，根据图像的色度信息，建立肤色模型，分割出肤 色区域，并用人脸区域的几何特征或灰度特征等先验知识以验证，进而检测出人 脸。后两种方法都是基于图像的灰度特征。第二种方法首先抽耿几何形状、狄度、 纹理等特征，然后检验它们是否符合人脸的先验知识，常采用变形模板或灰度模 板匹配等方法。第三种是目前倍受重视的方法，该方法将人脸区域看作一类模式， 使用大量的人脸与非人脸样本训练，构造分类器( 二分类) ，最后通过判别被测图 像中所有可能区域属于哪类模式以实现人脸的检测。这类方法很多包括基于特 征空间的主成份分析方法、基于经验风险最小的神经网络方法、基于概率模型的 方法( 如b a y e s 模型、h m m 等) 和基于支持向量机的方法等。本文将研究重点放 在灰度图像的表情识别技术，人脸检测的算法可参考有关文献，而本文所设计丌 发的人脸表情识别原型系统采用文献 8 j 所提出的算法及其检测系统。 ( 2 ) 人脸表情特征提取。这一阶段是决定人脸表情识别结果好坏的关键。人 脸表情是由脸部肌肉运动引起的，可由肌肉运动的位置、强度及动态变化状况描 述【2 】。所以表情特征提取的目的就是采用适当的方法表示出上述的三个参数。对 于静态图像，通常要提取表情的变形( d e f o r m a t i o n ) 特征，而对于图像序列，则不 仅要提取每一帧的表情变形特征，还要提取连续序列的运动( m o t i o n ) 特征。变形 特征的提取方法可分为三类：基于几何特征的方法，这类方法对脸部特定区域 建立几何模型，提取表情的几何特征，如眼角、嘴角、鼻尖等特征点构成的二维 拓扑结构。基于像素的方法。这类方法通常基于统计模型，对大量的典型表情 训练，提取典型的表情图像扶度信息。基于频域的方法，即将时空域图像转换 到频域进行分析，提取表情的频率特征，小波变换方法是研究的热点。 与单一的静态图像相比，图像序列能揭示更多的表情变化信息，因此，从图 像序列提取表情运动信息可以获得更好的表情识别效果。光流模型( o p t i c a lf l o w 江苏大学硕士研究生毕业论文 m o d e l s ) 及隐马可尔夫模型( h i d d e nm a r k o vm o d e l s ，h m m ) 是分析图像序列的最 重要方法。 从处理图像范围的角度，可将特征提取方法分成基于全局图像的方法和基于 局部图像区域的方法，前者将整幅人脸图像作为研究对象，而后者则集中处理对 人脸表情变化较敏感的局部区域f 2 1 。 表2 1 根据以上的分类原则，具体给出了各种表情特征提取方法。 表21 表情特征提取方法分类一览表 基丁全局图像基于局部图像 基于几何主动轮廓模型几何脸模型 变 特征方法点分布模型 形 基于像素局部土成份分析方法 特 特征方法 双视图( 正面、侧面) 模型等强度轮廓模型 征 全局主成份分析方法 高梯度分嚣模型 的 神经网络 神经网络 提 基于频域g a b o r 小波滤波器等 取 的方法 廷 基于区域的密度光流模型 动 全局密度光流模型 儿何参数运动模刑 特 二维运动模型 局部图像差分 征 全局幽像尊分 特征点跟踪 的高亮特征点标记跟踪 提 取 值得指出的是，特征提取方法大多是基于二维图像或图像序列的，基于三维 模型的方法较少，其原因在于从二维图像到三维建模本身是病态的过程，且三维 模型考虑了整个人脸的三维建模，计算量相当大。不过在虚拟现实及三维人体的 表情动画等方面基于三维模型的方法有着一定的研究和应用。 人脸表情特征可分为两类：持久性表情特征和瞬态表情特征，前者包括嘴巴、 眼睛和眉毛，决定了基本表情状态，后者包括脸颊和额角皱纹的瞬问变化，也能 揭示表情状态。所以选取的特征区域要包含这些部分，而每个区域对表情的贡献 是不同的，实验表明一j ，嘴角形状对表情的影响最大，其次是眼睛和眉毛，所以 这些特征区域一般要重点分析。 表2 1 列出的各种方法中，主成份分析方法( p r i n c i p a lc o m p o n e n t sa n a l y s i s ， p c a ) 属于统计方法，能够有效地降低被处理图像的维数，同时保留了表情的主 要信息，因此很多表情识别系统都采用该方法。而小波变换方法是对傅立叶变换 的突破，是联系信号时频域的重要工具，广泛用于图像处理领域。光流模型能够 对图像序列分析，并有效地提取表情特征的运动信息。 ( 3 ) 人脸表情分类。这是人脸表情识别的最后一个阶段，其目的是将不同的 表情划入相应的表情类中。目前已提出多种分类方法，大致可分成三类：基于 江苏大学硕士研究生毕业论文 似然度的方法，即把被测表情图像归入与该图像最为相似的类别中，这种相似性 通常由欧氏距离( e u c l i d e a nd i s t a n c e ) 来度量，与某类的中心欧氏距离最小，则与 该类最为相似。支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 也能很好的评价这种 相似性。基于概率模型，要求估计表隋图像的参数分布模型，分别计算被 测表情属于每个类的概率，取最大概率的类别为识别结果。基于概率模型的方法 包括b a y e s 决策方法和h m m 。基于连接机制，利用神经网络的学习能力和分 类能力，实现表情的分类。 2 3 典型的人脸表情识别算法介绍 目前的表情识别算法基本上都是针对灰度图像，提取其灰度统计特征或者频 率特征，然后使用特定的分类识别算法实现人脸表情的识别。其中表情特征提取 算法是关键，决定了表情识别的好坏，因而本节重点介绍人脸表情特征提取的几 种常用算法，其中p c a 和小波变换算法属于静态特征提取算法，而光流模型和 h m m 则属于动态特征提取算法，主要针对连续视频帧进行特征提取。 2 3 i 主成份分析( p c a ) 结合线性判别方法 主成份分析是基于统计模型方法中最常用的一种方法。统计模型方法是将脸 部特征区域看作一类模式，使用大量的脸部表情样本进行训练并构造分类器，然 后通过判别被测脸部表情可能属于哪类模式，从而实现特定人脸表情的识别。 p c a 基于k l 正交变换，是一种玉堕督( u n s u p e i s e d ) 的线性特征提取方法。它 将一组高维训练图像集进行k l 正交变换，生成一组新的f 交基以消除原有 向量间的相关性。提取出该正交基中对应较大特征值的部分特征向量，从而生成 低维的表情特征空间，同时保留原高维空间的主要成份分量。对丁二每一种表情模 式，可采用该表情对应的多幅图像来训练，这样可在一定程度上消除光线变化等 因素的影响，且计算量也得到减少，识别率不会下降。 设训练集中每一幅表情图像对应一个高维向量，则训练集可表示为 s = 忙，j 2 ，贾。 ，t 表示第k o k n ) 幅表情图像向量。n 为i j i l 练图像的总 数。则训练集的总体协方差矩阵为： c = 专；| ! ；( p 弧咱7 ( 2 - 1 ) 其中夏为训练集图像的均值。对该协方差矩阵对角化以获得特征值 和对应 的特征向量面，则所有的特征向量组成一个标准正交系，将原图像向这个币交 江苏大擘硕士研究生毕业论文 系投影可使各分量线性无关。对特征值按从大到小进行排序，并按下式定义排序 后的方差贡献率： ，( m ) ：m 丑量丑 j = lj i ( 2 2 ) 由此可求出前m 个主成份分量，使其方差贡献率大于某个闽值f ，f 可认 为是进行k l 变换后选取的子空间占原空间的比率，即保留原图像空间的信息 量，一般取0 8 。前m 个特征值对应的特征向量组成m 维子空问： a = 瓴，面：，) 其维数远小于原图像空间的维数，实验证明，经过p c a 处理后的图像维数可由原来的4 2 0 0 维下降为3 0 0 维，且保留了原图像的大部分 信息。这样便可利用变换矩阵a ，将原图像投影到特征子空间。p c a 方法的最 大优势就是对高维图像的降维处理。经p c a 处理后的表情图像称为特征表情脸 ( e i g e ne x p r e s s i o nf a c e ) ，特征表情脸能有效的描述脸部表情信息。 为了能有效的识别各种不同的表情，就需要对每种表情进行有效的分类，可 结合使用线性鉴别分析方法( l i n e a rd i s c r i m i n a n ta n a l y s i s l d a ) 。l d a 方法基于 f i s h e r 鉴别准则，借助于类内散布矩阵s w 和类间散布矩阵s b ，将不同的表情图 像划入相应的类别中，从而实现表情的分类。设原表情图像经p c a 投影变换后 的向量为歹，根据识别任务，将表情分成c 类，第i 类( 1 i c ) 的表情样本数为 i ，总的表情样本数为。则f i s h e r 鉴别准则函数的定义为： 聊) = 鬈 ( 2 - 3 ) 使该函数取最大值的一组面矢量是f i s h e r 最佳鉴别矢量，其物理意义是样本 集在西方向上的投影使得图像具有最大的类问散布和最小的类内散布，正因为同 时考虑了类内和类问的距离，所以可有效的将不同的表情归入不同的类别中。西 是广义特征方程s 。妒= a s ，庐中一组最大特征值对应的特征向量。根据最小分类 错误率磕，选取前k ( k n ) 个特征值对应的特征向量组成最佳鉴别向量空间 死，：，妒。) 。特征向量歹向由这k 个最佳鉴别向量组成的子宅问投影，便得 到原图像的k 维最佳鉴别向量i ：i = 【驴，尹：，- 一，庐。i r 歹。 江苏大擘硕士研究生毕业论文 采用l d a 方法实现对特征表情图像的分类，使得类内的特征向量是簇聚的， 且类间的相对距离达到最大，文献【4 】对使用p c a 和l d a 方法得到的特征空间进 行了对比，结果十分明显，如下图所示。 陶2 2 使h jp c a 和l d a 方法对源图像投影效果的对比。左幽为使川p c a 方法得到的 特征空间：右幽使用p c a + l d a 方法，即先使用p c a 减少图像维数，再使州l d a 方法 将不同类别的特征向量进行有效的分类。 完成不同类别的表情图像的分类之后，就可对被测表情图像进行识别，般 采用的方法是计算被测表情图像到各个类别中心的欧氏距离，选取欧氏距离最小 的表情类别，并将被测图像归入该表情类别中，从而实现对被测表情的识别。然 而，当需要识别的表情类别较多时，采用基于最小欧氏距离的识别方法不是最理 想，特别是对相似的表情类别，其识别错误率较高( 如对生气和悲伤表情的识别 常会彼此混淆) ，文献 4 帔用了分类树，也称为由粗到精的分类识别方法。它将6 种基本表情分入三组：组一为惊讶表情，组二包括愤怒、悲伤和厌恶这三个难以 区分的表情，组三包括高兴和恐惧两种表情。据此设计分类树，测试时，首先识 别到大的组类，然后在该组内再次使用基于欧氏距离的方法进一步分类。改进后 的识别方法可使识别率提高大约5 。 此外，在p c a 方法基础上的改进算法也很多，文献【6 】提出基于聚类鉴别分 析方法( c l u s t e r i n gb a s e dd i s c r i m i n a n ta n a l y s i s ，c d a ) 对人脸表情逐级分类，有较好 的识别率，文献】对p c a 主成份分量使用高斯最大概率分类器( g a u s s i a n m a x i m u mc l a s s m e r ) 能有效解决小样本的识别问题，文献 1 4 1 使用独立成份分析方 法( i n d e p e n d e n tc o m p