（信号与信息处理专业论文）面部表情识别系统中表情特征提取与识别算法的研究.pdf

东南大学硕上论文 摘要 面部表情识别系统中人脸表情特征提取与识别算法的研究 人的面部表情含有丰富的人体行为信息，在人与人的交往中，面部表情是除 了声音以外的非常重要的通信方式，作为信息的载体，表情能够传达很多语音所 不能传达的信息。面部表情自动识别( a f e a ) 对人脸的表情信息进行特征提取 分析，按照人的认识和思维方式加以归类和理解，利用人类所具有的情感信息方 面的先验知识，使计算机进行联想、思考及推理，进而从人脸信息中去分析理解 人的情绪。一般而言，表情识别系统主要有三个基本组成部分：表情图像的预处 理、面部表情特征提取和面部表情识别。 本文回顾了人脸表情识别的研究历史和发展现状，讨论了现有的多种表情识 别方法，并且从模式识别和统计学习的角度对人脸表情识别进行了研究。在小波 提取特征的基础上提出了一种差值模板匹配算法，在保证了准确率的前提下有效 地减少了运算量。同时对主动形状模型( a s m ) 进行研究，并应用于自动识别系统 中。提出了一种基于支持向量机的人脸表情识别方法，构建了s v m 多类分类器， 并对不同的构建方法进行了比较，取得了较好的识别效果。此外还提出了基于核 的典型相关分析方法进行人脸表情识别，使用核化理论将原本仅适用于线性特性 分析的典型相关分析方法扩展至非线性分析领域，并对不同的识别策略进行比 较，实验证明k c c a 方法在人脸表情识别中的有效性。 关键词：人脸表情识别，弹性图匹配，a a m ，支持向量机，典型相关分析，核 典型相关分析 东南大学硕上论文 a b s t r a c t f a c i a le x p r e s s i o nc o n t a i n sn u n l e r o u si n f o r m a t i o no fh u m a nb e h a v i o r i nh u m a n s o c i e t y , f a c i a le x p r e s s i o ni st h ev e r yi m p o r t a n tc o m m u n i c a t i o nm e t h o db e s i d e sw o r d s a st h ec a r r i e ro fi n f o r m a t i o n , e x p r e s s i o n sc a nc o n v e yl o t so fi n f o r m a t i o nt h a tw o r d s c a nn o tt r a n s p o r t a u t o m a t i cf a c i a le x p r e s s i o na n a l y s i s ( a f e a ) e x t r a c t st h ef e a t u r e s o fh u m a nf a c i a le x p r e s s i o n si n f o r m a t i o n , t h e nc l a s s i f ya n ds y n t h e s i st h e ma c c o r d i n g t ot h eh u m a nc o g n i z a t i o n i tu s u a l l yc o n t a i n st h r e eb a s i cp a r t s ：p r e t r e a t m e n to ff a c i a l i n l a g e s ，f a c i a le x p r e s s i o nf e a t u r e se x t r a c t i o n , a n df a c i a le x p r e s s i o nr e c o g n i t i o n i nt h i sp a p e r , w er e v i e w e dt h eh i s t o r ya n dt h er e c e n td e v e l o p m e n to ff a c i a l e x p r e s s i o n , s t u d i e dt h em e t h o d so ff a c i a le x p r e s s i o nr e c o g n i t i o ni nt h ew a yo fp a t t e r n r e c o g n i t i o na n ds t a t i s t i cs t u d y w ed i s c u s s e dt h em o d e l - m a t c h i n ga l g o r i t h mi nt h e f e a t u r ee x t r a c t i o na n dp r o p o s e dad i f f e r e n tm o d e l - m a t c h i n ga l g o r i t h m , w h i c h e f f i c i e n t l yr e d u c e dt h ec o m p u t a t i o nw i t l la l m o s tt h es a m er i g h tm t ea st h eg a b o r w a v e l e t f o rt h ep u r p o s eo f a u t o m a t i cf a c i a le x p r e s s i o nr e c o g n i t i o n , w ea l s od i s c u s s e d a c t i v es h a p em o d e l ( a s m ) ，a n du s e di ti n t ot h er e a l - t i m es y s t e m w ep r o p o s e daf a c i a le x p r e s s i o nr e c o g n i t i o nm e t h o db a s e do ns u p p o r tv e c t o r m a c h i n e m u l t i - c l a s s i f i e r sw e r ec o n s t r u c t e da n dt h ed i f f e r e n tw a y st ob u i l dt h e ma r e c o m p a r e d w ea l s ou s e dk e r n e lc a n o n i c a lc o r r e l a t i o na n a l y s i st or e c o g n i z et h ef a c i a l e x p r e s s i o n s i te x t e n dt h et r a d i t i o n a lc c a ，w h i c hi su s e di nl i n e a rf e a t u r ea n a l y s i s ，t o t h en o n - l i n e a ra n a l y s i sf i e l d w ea l s oc o m p a r e dt h ed i f f e r e n tp o l i c i e si nr e c o g n i t i o n t h ee x p e r i m e n tr e s u l ts h o w st h ee f f i c i e n c yi nf a c i a le m o t i o nr e c o g n i t i o n k e yw o r d ：f a c i a le x p r e s s i o nr e c o g n i t i o n , m o d e l - m a t c h i n g , a a m ，s v m ，c c a ， k c c a n 东南大学硕士学位论文 第一章绪论 1 1 研究背景及项目介绍 在社会生活中，情绪对于协调人与人之间的相互关系具有很重要的作用。情绪的研究也 越来越受到社会的关注，且在心理学界也开始了比较深入的研究。而表情又是情绪的独特表 现形式，在人与人的交往中，面部表情是除了声音之外的非常重要的通信方式。它作为信息 的载体，能够表达很多语音所不能传达的信息。因此在语言学中，医疗中，商业等方面都有 着十分重要的应用。在计算机科学领域的研究，面部表情的识别对于实现自然的人机交互以 及自动图像理解也具有重大的意义。典型的面部表情识别系统通常包括，人脸检测，预处理， 特征提取，表情分类等部分。 面部表情识别作为一个典型的图像模式分析、理解与分类计算问题，为模式识别，图像 处理，分析与理解，计算机视觉，人工智能，人机交互，计算机图形学，认知科学，神经计 算，生理学，心理学等多学科提供了一系列良好的具体问题，有利于构建这些学科领域的基 础实验平台，用于尝试新方法，验证新理论，解释新现象。面部表情识别问题的深入研究和 最终解决，可以极大的促进这些学科的成熟和发展。本文主要研究该系统中人脸表情特征提 取及识别算法的研究 1 2 研究的目的和意义 经过几十年的努力，人工智能的研究己经达到了很高的水平。然而它的研究目的只是在 于模拟人的智能，如判断、推理、证明等思维活动。人工心理理论则是利用信息科学的方法， 对人的心理活动的更全面的再一次人工及其( 计算机、模型算法等) 实现”j 。人脸表情识别 也是人工心理理论研究的重要组成部分。人的面部表情含有丰富的人体行为信息，在人与人 的交往中，面部表情是除了声音以外的非常重要的通信方式，作为信息的载体，表情能够传 达很多语音所不能传达的信息。 人的面部表情识别的研究综合了模式识别、图像处理、分析与理解、计算机图形学、认 东南大学硕士学位论文 知科学，神经计算、生理学、心理学等多门学科的问题。在这个课题上的研究极大地促进了 这些学科的成熟和发展。人脸表情识别也是智能人机接口领域的核心研究内容之一，其本质 上是训练机器理解人类的情绪变化的能力。随着科学的进步，计算机经过人的训练，在一定 程度上已经能够模仿人类的行为，但仍不具备人类的情感能力。在人际交互中人脸表情的识 别能够很大程度地促进其自然化的发展，改变目前呆板的人机交互环境，使得机器可以根据 人的情绪变化作出符合人心意的事，从定程度上改变人们的生活方式。 通过对人的面部表情的分析，可以了解此人的一些真正的心理状态，也就是俗话说的“察 言观色”。对于一些非常细微的面部表情的变化，有时仅仅通过肉眼观察很容易错过，或者 得到相反的结论，引入机器对面部表情的识别后，则可以很客观而实时地得到结果。因而我 们可以期待未来面部表情识别代替测谎仪应用于安全部门。 对于一些精神状态异常的病人，在治疗的过程中采用表情分析作为辅助手段，帮助医生 分析其精神状态，对病人面对不同外界刺激所会产生的反应进行预测和相应的预防措施，相 信会避免很多的意外的发生。 此外，在对儿童的教育研究过程中，如果通过设置一系列特定场景观测儿童在特定场景 中的行为、表情变化反应，并据此分析个体的性格气质等一些素质要素，了解其性格上的优 点和缺陷并加以放大和引导，将对我们国家下一代健康心理的培养产生深远的影响。 1 3 人脸表情识别系统的结构 面部表情自动识别( a u t o m a t i cf a c ee x p r e s s i o nr e c o g n i t i o n ，a f e a ) 对人脸的表情信息 进行特征提取分析，按照人的认识和思维方式加以归类和理解，利用人类所具有的情感信息 方面的先验知识，使计算机进行联想、思考及推理，进而从人脸信息中去分析理解人的情绪 “j 。一般而言。表情识别系统主要有三个基本组成部分：表情图像的预处理、面部表情特征 提取和面部表情识别( 见图1 1 ) 。 首先，在一个面部表情可以被识别之前，人脸必须在屏幕上检测到。第二步是从观测到 的面部图像或序列中提取面部表情信息。在提取静态图像的面部表情信息时，这一过程被称 为定位( 1 0 c a l i z i n g ) 。而提取动态序列的表情信息时则称为追踪( t r a c k i n g ) 。这里，我们必须 分清面部特征( f a c i a lf e a t u r e s ) 和面部模硝特征( f a c i mm o d e lf e a t u r e s ) 。面部特征是指脸部 的显形特征如眉毛、眼睛、鼻子等。面部模型特征是指用于表征面部特征的特征。最后一步 2 东南大学硕上学位论文 是定义几个类别，我们一般用于面部表情分离器或面部表情融合器。 图i - i 面部表情自动识别系统 出赫囊 1 ) 人脸检测 人脸检测( f a c e d e t e c t i o n ) 可以描述为对任意- - n 静止图像或一段动态图像序列，采 取一定策略，从未知的图像背景中分割、提取并确认可能存在的人脸，如果检测到人脸， 提取人脸特征，并返回人脸的位置、大小和姿态 2 1 。作为表情识别系统的第一步，人脸 检测技术为后续工作提供待识人脸的具体信息。目前常用的人脸检测技术包括基于器官 ， j 的方法和基于模板的方法。基于器官的方法将人脸视为显著器官的组合，首先提取一些 重要的器官：眼、鼻、居等，然后通过器官的位置和它们之间的几何关系来检测人脸。 基于模板的方法将人脸看作一个整体的模式，即二维的像素矩阵，从统计的观点，通过 大量的人脸图像样本构造人脸模式空间，根据相似度量来判断人脸是否存在。在这两个 框架之下，发展了许多方法。此外，利用彩色信息进行人脸检测，也是一种有效的方法。 在大多数的表情识别中，我们总是假设一个面部图像或序列已经获得，所以可以肯 定人脸出现在屏幕上，而且大致位置已经确定。然而如何确定在一张数字化的人脸图像 上确定人脸的准确位置是一个很困难的问题。首先，图像与图像之间人脸的范围和方向 是变化的。如果用一个固定的照相机对人脸进行连续拍照，每个图像上的人脸由于被测 者的运动而表现出不同的大小和角度。所以我们很难在图像上寻找到一个固定的模板。 此外噪声和光照也影响到图像质量。我们通常采用二维灰度图像序列进行识别。 2 ) 预处理 由于人类视觉系统将人脸作为一个整体而不是其面部特征的集合进行接收，这些特 征的形状和它们之间的几何位置比这些特征本身的细节还要重要。当人脸被部分遮挡。 我们仍可以将其认为是一张脸，这是因为我们人体的观测系统将丢失的部分填补了起 3 东南大学硕士学位论文 来。而这却对一台计算机而言非常的困难。因而我们还需要对检测到的图像进行预处理， 这一阶段主要进行人脸图像的几何特性和光学特性的归一化处理以便于下一步特征提 取。 图像几何特征的归一化处理是为了使人脸图像归一化到相同的位置、角度和大小。 由于人的两眼之间的距离对于大多数人来说都是基本相同的1 3 l ，因此两只眼睛的位置经 常被用于人脸图像几何归一化的依据。 图像光学特性的归一化主要包括先用直方图均衡化方法对图像灰度做拉伸，以改善 图像的对比度，然后对图像象素灰度值进行归一化处理，即使标准人脸图像的象素灰度 均值为0 ，方差为l 。如此可以部分消除光照对识别结果的影响。 3 ) 面部表情特征提取 在检测到人脸后，下一步是从所得的人脸表情中自动提取出信息。这一步将象素数 据转换为一个更高水平的人脸及其组成部分的外形、运动、颜色和空间的表示。人脸的 描述方式和输入图像的格式都决定了面部表情信息提取方式的选择。j o h a n s s o n 的光点试 验1 4 】【5 1 证明，无论人脸表现出的表情是怎样，人脸的可视特征都可以清楚地通过对面部 特征( 眉毛、眼、嘴) 上定点的运动进行描述和分析这些运动之间的关系来表征。这也 引发了基于视觉的面部姿势分析以定义面部表情的定点可视化分析。此外还有很多的面 部表征方法，如人脸被表示成一组面部特征点嘲( 如图1 2 所示) 或一组对应于面部特 征的模板如眼睛、嘴巴等等。另一个方法是基于整体的方法，人脸被作为一个整体单元 进行表征。人脸还可以通过使用混合的方式进行表征。这种方法采用一组面部特征点来 确定一个面部模板的初始位置。 图1 - 2 面部特征点 4 东南大学硕士学位论文 们面部表情识别 在获得了面部表情特征以后，就可以判别分类了。这一过程是一对多或一对一的 分类过程。常见的分类方法包括隐马尔可夫模型方法、人工神经网络、支持向量机、 a d a b o o s t ，贝叶斯决策、线性判别分析( l d a ) 、最近邻法( n n ，k n n ) 、核判别分析 等。我们在下面的章节里将进行详细讨论。 一个好的人脸识别系统至少要包括以下几个因素： ( 1 ) 由于外部干扰不可避免，预处理的效果会直接影响识别结果，所以图 像预处理要尽量保留有用信息并且抑制和分隔外界干扰。 ( 2 ) 细节是区分人脸表情的关键，因此选择方法要充分考虑人脸表情细微 的形变。 ( 3 ) 对于人脸表情的各种特征表达方法需要进行比较和选择，找出合适的 人脸表情特征表达方式。 1 4 人脸表情识别中的难点 虽然人类可以毫不困难地由人脸辨别出一个人的表情，但这一过程由计算机实现起来则 困难很多。其表现在；建立人脸模型和情绪分类，并把它们同面部特征与表情变化联系起来。 人脸是一个柔性体而不是刚体，很难把脸部运动和表情变化联系起来，根据表情图像序列的 特点建立的动态表情模型才是一个完整的动态表情过程的描述。由于人脸表情丰富( 包括表 情的各种倾向) ，人类对表情的控制能力，表情的变化细微而复杂，对表情变化特点的概括 等诸方面因素，都成为人脸表情识别的难点。数据来源方面，在严格的实验中所引起的情绪 表情状态带有强烈的人为性质，这难以为实事求是的科学研究提供十分精确的依据。而在现 实现场中的观察数据其笼统性和复杂性又使人难以进行数量分析。同时光照的因素对图像的 影响很大，现有的经典的图像处理技术的局限性给特征提取造成一定困难，这些都是它的难 点所在 此外，不同文化背景、性别、年龄的人在作相同表情的时候其外在表现可能不同，如相 对于欧美人而言，亚洲人的表情幅度相对较小，女性更倾向于外露表情，小孩的表情相较大 人更外露等。因而使得我们在对表情的分析和识别的过程中很难将一套方法或数据库推广使 用。 5 东南大学硕士学位论文 1 5 本文的主要研究工作 1 5 1 表情特征的提取 面部关键特征精确定位是面部表情识别系统的基本前提。面部关键特征定位的精度直接 影响到表情识别的精确度。弹性模板匹配方法将面部关键特征点的属性及它们之间的位置关 系通过属性图进行描述。常用的g a b o r 小波提取方法由于需要对多个尺度和方向上进行描述 导致运算量过大，我们在保证识别率的前提下，采用了一种改进的差值模板方法进行表情识 别，有效地降低了运算量。在自动面部表情识别系统中，我们需要系统自动地对面部关键特 征点进行定位，为此我们研究了主动形状模型( a s m ) 方法自动地对特征点进行标定，提 高了特征点标定的效率。 1 5 2 基于s v m 的面部表情识别 s v m 是v a p n i k 统计学习理论的直接实现，它本质上用来解决两类分类问题。一个s v m 的目的就是要寻找到一个超平面使两类可以无错误地分开，并且分类间隙最大。它的基本思 想可以概况为：首先通过非线性变换将输入空间变换到一个高维空间，然后在这个新空间中 求去最优线性分类面，而这种非线性变换是通过定义适当的内积函数实现的。s v m 由于其 出色的学习能力成为机器学习领域的一个研究热点，被广泛地用于模式识别的各种问题中。 本文提出了一种基于s v m 的人脸表情识别方法，对传统识别方法与s v m 进行了比较，同 时采用两种不同的s v m 分类器构建方式进行实验对比。得到了较好的实验结果。 1 5 3 基于k c c a 方法的面部表情识别 传统的典型相关分析( c a n o n i c a lc o r r e l a t i o n a n a l y s i s ，c c a ) 是研究两组变量之间相关关 系的一种统计分析方法，从本质上来说，典型相关判别分析与f i s h e r 线性判别一样都是线性 算法，只能提取数据的线性特征，而不能应用于提取数据的非线性特征。核函数方法将一个 非线性问题映射到一个高维的特征空间上，在这个高维空间里原有的非线性问题转换成线性 问题来解决。本文将核化原理应用到典型相关判别分析中，采用核典肇相关分析( k e r n e lc c a , 6 东南大学硕士学位论文 k c c a ) 算法，对面部表情进行识别，同时对不同的语义表征向量对k c c a 识别效果的影响 进行了讨论。 1 6 本文的结构安排 本文的结构安排如下： 第一章是论文的绪论部分。我们对所研究的人脸表情识别项目进行了介绍，阐述了研究 人脸表情识别的目的和意义，然后介绍了表情识别系统的结构，指出其研究的难点，并列出 本文的研究工作和结构安捧。 第二章表情识别研究综述。对情绪理论进行了简单的介绍，概况说明了情绪研究的发展 历史、情绪与表情的关系以及表情的分类。然后对表情识别的研究情况进行了介绍，最后讨 论了人脸表情识别的主要方法。 第三章介绍了一种应用主动形状模型进行精确特征定位的算法，并将其运用到自动表情 识别系统中。介绍了特征提取中比较经典的模板匹配算法，采用一种新的灰度差值模板对小 波函数的多方向，多尺度性进行模拟，在保证准确率的情况下，有效地降低了计算量。第四 章基于s v m 的面部表情识别。介绍了最优分类面的概念，并由此引出支持向量机( s 巾， 并讨论了多类s v m 分类器的构造方法。最后使用s v m 方法对人脸表情进行识别。 第五章基于k c c a 的面部表情识别。介绍了典型相关分析的概念，并采用核化原理将其 扩展使其能够应用于非线性向量间的相关性计算，最后采用核化的典型相关分析的方法进行 面部识别。 第六章总结与展望。 7 东南大学硕士学位论文 第二章表情识别研究综述 2 1 引言 情绪是一种内心的态度体验，它很大程度上是由面部表情来体现。面部表情是一种刻画 情绪、认知、主体状态以及他们在社会交往中的作用和角色的方法 7 1 。以自动识别的观点来 看，面部表情可以被认为是脸部组成部分和它们的空间关系的变形或是脸部的颜色变化。对 面部表情自动识别的研究围绕在这些变形或脸部颜色的静态或者动态特性的表示和分类上。 表情识别与人脸识别密切相关，它们在人脸检测与定位、人脸跟踪这些环节上是一致的， 但是他们又有显著的不同。二者在特征提取方法和研究的主要对象上有着很大的区别：人脸 识别提取的特征是不同人脸的个体差异( 特性) ，面部表情作为干扰信号存在；表情识别则 忽略个体差异，提取人脸在不同表情模式下的差异特征，人脸个体之间的差异成为干扰信号。 本章对情绪理论进行了简单的介绍，概况说明了情绪研究的发展历史、情绪与表情的关 系以及表情的分类。然后对表情识别的研究情况进行了介绍，最后讨论了人脸表情识别的主 要方法。 2 2 情绪理论研究 2 2 1 情绪研究的发展历史 情感计算( a f f e c t i v ec o m p u t i n g ) 是关于，产生于、或故意影响情感方面的计算，情感 计算的目的是通过赋予计算机识别、理解、表达和适应人的情感能力来建立和谐的人机环境， 并使计算机具有更高的、全面的智能嗍。在传统的计算机与人的交互过程中，由于计算机不 能理解操作者的情绪和心情，就不能实现类似于人类交流的情感互动。情感计算就是要赋予 计算机类似于人的观察、理解和表达各种情感特征的能力，通过对情感特征的分析和处理获 取对情感状态有关的生理和行为特征的高层次语义上的解释，使之达到类似于人一样的自 然、亲切和生动的交流【9 】。 8 东南大学硕士学位论文 由于情绪是情感的基础，所以研究情感一定要涉及到情绪。情感是在情绪的稳定基础上 发展起来的，通过情绪的形式表达出来。情感的深度决定着情绪表现的强度，它也决定了在 一定情况下情绪的表现形式【l e l 对情感的研究最早可以追溯到公元前5 世纪，h e r a e l i t o s 认为情绪状态是用身体的一些 参数来共同体现的。柏拉图( p l a t o ) 将情感分为中性、高兴和痛苦三种状态，其中高兴和痛 苦两种状态是由中性状态分离出来的此后亚里士多德( a r i s t o t l e ) 提出高兴和痛苦是所有 感情的基础，他指出高兴是一种相对独立的情感，既不是从中性状态中分离出来，也不是一 种补充，更与痛苦没有关系。高兴来源于中性的情感，但是痛苦则来源于高兴的反方向。高 兴和痛苦都来源于感官和精神上的刺激。情感同恶习以及美德之间不存在清晰的区别或者联 系。情感的心理过程有三种，来自于本能、形成的习惯、被动接受三种途径 此后情感理论的研究又经过多种的延续，其中的代表包括斯多葛派( s t o i c ) 禁欲主义者的 情绪有害论，p l o t i n u s 的反馈理论，d a v i dh t u n e 的情绪动态观等。2 0 世纪初，精神分析学派 创始人弗洛伊德( f r e u d ) 提出了情绪失调理论，认为严重的情绪波动，无论是刨伤还是冲 突，都会损害理性的作用，干扰人们的生活。5 0 年代以来，情绪理论的几种重要学说开始强 调认知，强调情绪的功能，明确提出情绪的理性化。这些学说扩展了“认知”的概念，使之 包括了情绪。 最近很多的研究都开始对认知重视起来，情绪被认为在认知体系内部及人际关系中起着 重要作用。人们逐渐达成共识：情绪是人的生活的重要组成部分，是精神生活的管理者。 2 2 2 情绪与表情的关系 情绪虽然是一种内心的态度体验，但常常伴随着外部表现，比如人的面部表情、身体姿 态以及语言表达等。情绪在种族进化中的适应价值和在人类社会中的交际作用，在很大程度 上是通过表情体现的。通过对表情的识别来认识情绪的性质与情绪其他方面的研究又同样长 久的历史，也有同样重要的意义。表情包括用人工引发表情或自然呈现表情的方法以得到各 种情绪的样本，应用对表情自由命名或形容词匹配的方法进行辨认，通过对先天性和后天习 得性进行分析以及对情境线索得作用进行的分析表名，表情是人们彼此理解、互相感染、息 息相通的重要渠道。 面部表情不是孤立的，它与情绪之间存在这千丝万缕的联系。面部表情、声调表情或身 9 东南大学硕士学位论文 体姿态三方面构成了情绪表现。而情绪表现、情绪体验和情绪生理这三种因素又组成了情绪 的心理。所以无论是对表情的研究还是对情绪的研究，二者都是互不可缺的因素。 面部表情能提供的表情包括：1 ) 感情状况：包括恐惧、愤怒、高兴、惊奇、悲伤、厌 恶等和更多持久的情绪。2 ) 认知行为：如迷惑，注意，厌烦。3 ) 性格个性：如诚实、羞涩、 老练。4 ) 可靠度：如被隐藏的情绪的表露和对计划和行为所说真假的线索。5 ) 精神变态： 不仅包括诊断上的抑郁情绪和其他不太严重的行为混乱，而且包括对待外界的反应。 以自动识别的观点来看，面部表情可以被认为是脸部组成部分和它们的空间关系的变形 或是脸部的颜色变化对面部表情自动识别的研究围绕在这些变形或脸部颜色的静态或者动 态特性的表示和分类上。 2 2 3 表情的分类 在表情的识别命名工作中，心理学上的研究得到两类显著的结果【1 1 】。一类是对情绪的维 量分析，第二类是对情绪的分类。 许多研究者对情绪进行过分类。汤姆金列出了八种基本情绪：兴趣、快乐，惊奇、痛苦、 恐惧、愤怒、羞怯、轻蔑。e k m a n 所进行的面部表情识别工作不仅在方法上超过了千仞， 而且在理论上作了极为广阔和深远的表述，他定义了六种最基本的表情：惊奇、恐惧、厌恶、 愤怒、高兴和悲伤。由于维量分析的方法比较简单笼统，目前所有计算机研究者对面部表情 的分析和研究都不采用这种方法，而应用e k m a n 的六种基本表情作为表情分析的类别对 应的六种表情如图2 1 所示 1 0 东南大学硕士学位论文 图2 - 1 六种基本的面部表情及中性表情( e k n m n a f r i e g e n ，1 9 7 6 ) 2 3 人脸表情识别国内外研究情况 计算机面部表情识别技术是最近几十年才发展起来并逐渐成为科研热点的。美国、日本、 英国、德国、荷兰、法国等经济发达国家和发展中国家如印度，新加坡都有专门的研究组进 行这方面的研究。其中m i t 、c m u 、m a l y l a n d 大学、s t a n d f o r d 大学、日本城蹊大学、东京 大学、a t r 研究所的贡献尤为突出。国内的清华大学、哈尔滨工业大学、中科院、中国科技 大学、南京理工大学、北方交通大学等都有人员从事人脸表情识别的研究。 1 ) 国内方面：人脸识别中的经典方法特征脸( e i g e n f a c e ) 方法己被应用于表情识别中， 采用静态图象作为训练集，将表情投影到不同的空间，用距离大小来进行表情的判别“4 。亦 有人采用表情序列进行识别，但仍然提取的是静态的信息“”。由于两者均采用静态的图象进 行训练和识别，不能反映出脸部的动作变化，因此不包含时间和运动信息，而脸部的动作变 化是表情聚类的核心，另外提取出来的特征是局部和线性的。 2 ) 国外方面：在国外，进行人脸面部表情识别以及相关内容研究的机构主要有美国的麻 省理工大学( m i t ) 、马里兰大学( m a r y l a n d ) 、卡耐基梅隆大学( c m u ) 、日本的城蹊大学 ( s e i k e i ) 、东京大学( t o k y o ) 和大坂大学( o s a k a ) 等。而美国m i t 媒体实验室提出了一个新 的研究方向情感计算，研究组的领导人p i c a r d 教授在1 9 7 9 年给除了情感计算的定义一 是关于、产生于、或故意影响情感方面的计算，其目的是通过赋予计算机识别、理解、表达 东南大学硕士学位论文 和适应人的情感能力来建立和谐的人机环境，并使计算机具有更高的，全面的智能“目。 目前，在面部表情识别的研究上，主要在合成、跟踪与识别方面取得了一些显著的成果。 1 9 9 3 年t e r z o p o u l o s 和w a t e r s 通过跟踪线性的脸部特征，产生出面部表情“1 。他们采用一 个简单的模型来合成一个基于物理的组织结构模型( p h y s i c a l l y - b a s e ds y n t h e t i ct i s s u e m o d e l ) 的三维模型，由组织、生物动力学( t i s s u eb i o m e c h a n i c s ) 来驱动它，通过分析图象 序列中的表情，从而跟踪在脸上由手工初始化标注的1 1 个基本轮廓。这种方法的不足之处 在于：面部特征需要化装，虽然采用了主动的轮廓模型，但由于系统是被动的，这是因为脸 部的结构是通过被跟踪的轮廓特征被动形成的，没有任何基于观察性的主动控制。 m e 使用光流法来跟踪运动单元“”。m e 的表情分析工作是由从上至下和从下至上 两个方向上开展的”1 。工作的重点都是围绕在计算脸部肌肉的运动，而不是特征的运动。( 1 ) 在从上至下方面：假定面部图象被分为肌肉单元( a u s ) ，再将肌肉单元连接成矩形，在矩形 中计算光流。这种方法的不足之处在于，当肌肉单元对应的是平滑和无特征的表面时，将严 格的依赖于定位这些包含肌肉单元的矩形。( 2 ) 在从下至上方面；从矩形中计算光流，量化成 4 个方向，每个方向上提取一个主要的肌肉收缩方向实验中定义并提取一个1 5 维的特征 向量来表示表情变化的图象序列中光流变化最活跃的点( 1 4 0 s ta c t i v ep o i n t s ) 。实验采用作 者本人的若干组不同表情的图象序列作为数据，图象大小为2 5 6 x 2 4 0 ，将表情分为四种类 型：高兴、愤怒、厌恶及惊奇，2 0 组作为样本数据( 每种类型5 种) ，3 0 组作为测试数据， 采用k 近邻方法进行分类，识别率为8 0 并与由人进行主观识别的结果进行了比较。 h a i b o l i ”1 等人提出了一种基于模型的表情编码方法，将计算机图形学和计算机视觉处 理之间的反馈控制思想应用于面部图象编码系统中。这种方法的不足在于只能在预先定义好 的、大的区域内进行观察，不能估计运动变化的细节，虽然这对于图象编码系统来说是可以 接受的，但是无法真实的反映驱动肌肉的模型。 y a c o o b 和d a v i s 的表情识别方法是基于f a c s 编码的“”。他# o - r 作的重点在于分析嘴 巴、眼睛和眉毛边缘的相关性运动，将光流场量化成8 个方向。规定每种表情以中性表情作 为开始和结束，从而建立一个时间模型b e g i n n i n g - a p e x e n d i n g ，通过定义表示每个阶段 开始与结束的规则来检测各时间段。实验中使用的是包含3 2 个人的1 0 5 个各种表情的数据 库，图象大小为1 2 0 x1 6 0 ，采用简化的f a c s 规则进行识别。结果显示的各种表情的识别率 为：高兴为8 6 、悲伤为8 0 、惊奇为9 4 、生气为9 2 、害怕为8 6 和厌恶为9 2 。 m a r kr o s e n b l u m “1 等人采用神经网络中的r b f n ( r a d i a lb a s i sf u n c t i o nn e t w o r k s ) 结 构，通过学习人的面部特征与情绪之间的相关性，在低级恢复运动方向，中间级决定面部特 1 2 东南大学硕士学位论文 征的运动，在最高级进行识别。提取到的特征不是面部的肌肉运动，而是特征部件边缘的运 动。当检测得到的特征部件的运动是同方向的，则认为这样的图象帧是无效的。实验结果显 示该方法的识别率为8 8 。k a t s u h i r o 等人通过人脸网膜对边缘图象的感应区域和势能网进 行单帧图象中的表情识别，识别率为9 2 。t a t s u l i 等人利用小波变换来提取出图象的频域 特征后进行识别，实验采用包含了4 个人的6 种表情的数据库，每种表情5 幅图象，识别率 为8 4 1 。 t r e v o rd a r r e l l 等人用插值和相关网络进行表情的实时合成“。这种方法由于初始阶 段采用的是手工定位，因此比较适用于特定人的表情识别a n t a ip e n g 等人采用遗传算法 来编码，通过纹理来合成自然的表情。 i r f a n 等人用图象序列来观察脸郝的运动单元，通过优化估计光流和描绘脸部结构的集 合和物理模型相结合来完成视觉观察与感知。最终产生随时间变化的的面部模板和独立的肌 肉运动的参数表征实验采用的是7 个人的5 2 幅表情图象序列，图象大小为4 5 0 x3 8 0 。定 义的表情类型为高兴、生气、惊奇、厌恶，识别率为9 8 由于几何网格是在初始化阶段由 手工完成的，而且用于识别的图象序列是长度固定的，因此不能反映出肌肉随时间的运动变 化信息。 而作为表情识别的发展目标情感计算也在世界各国积极地开展着相关的研究工作，并 取得了一定的研究成果。其中以美国m i t 媒体实验室的工作较为突出。他们将研究的内容分 为了九个方面：情感机理、情感信息的获取、情感模式识别、情感的建模与理解、情感的合 成与表达、情感计算的应用、情感计算机的接口、情感的传递与交流和可穿戴计算机。 而我国也在逐步开展情感信息处理的研究，并也引起了相关部门的关注。在1 9 9 9 年的 国家自然科学基金中的“和谐人机环境中情感计算理论研究”被列为了重点项目。同时中国 科学院自动化所、心理所以及国内众多高校也在这方面取得了一定的进展。2 0 0 3 年，在北 京举行了第一届中国情感计算与智能交互学术会议，会议期间集中展示了国内各研究机构近 几年来从认知、心理、模式识别、系统集成等多种角度在情感计算领域取得的研究成果，一 定程度上弥补了我国这方面的空白。 2 4 人脸表情识别的主要方法 目前存在的主要面部表情识别方法主要有基于子空间变换的方法、基于机器学习的方 东南大学硕士学位论文 法、基于模型的方法、基于局部特征的方法以及传统方法等几类。每一类包括的具体方法如 表4 - l 所示。我们将对其中几个比较常见的方法进行介绍 表4 1 面部表情识别方法分类 方法 基于子空间的方法 p c a 、l d a 、p p c a 、i c a 基于机器学习的方法 a n n 、s v m 基于模型的方法 h m m 、3 dm o r p h a b l em o d e l 基于局部特征的方法 e g m 、l f a 传统方法基于几何特征的方法、模板相关匹配法 2 4 1 基于子空间变换的方法 这类方法首先对训练图像进行代数变换，求得一个由基图像构成的子空间，然后计算每 个图像在该子空间中的投影系数，作为图像的特征 主分量分析法( p r i n c i p a lc o m p o n e n t a n a l y s i s ，p c a ) 又称为特征脸( e i g e n f a c e ) 法，最初 由m t u r k 等人提出o ”。这种算法基于k - l 变换，是一种特殊的正交变换。它寻求一种变换 使变换后的数据二阶统计不相关，原始数据在样本具有最大方差的基向量方向上展开，变换 后的数据能量主要集中在几个变换系数上( 如图2 - 1 所示) ，因此可以对变换后的向量截断， 并作为特征向量在特征空间重代替原始数据。主分量分析的作用主要包括1 去除数据的相关 性。在原始高维空间中随机变量通常具有很大的相关性。主分量分析方法通过对原始的相关 随机变量分析，获取一组线形无关的正交基，原始高维随机变量就可以用这组正交基表示。 在这组新的正交基表示中每一维的取值与其它维的取值就没有任何相关性。2 实现数据降 维。如上所述，在得到的一组正交基中，不同的基所代表的信息是不一样的。如果将其按照 所对应的特征值大小来排序，那么特征值大的基上包含的数据信息多。因此，我们可以取最 大的若干个基来表示一个数据，那么数据的维数会大大降低。在用低维空间表述中可以包含 数据的大部分信息，信息的损失只是极小的一部分，一般情况下，这种微小的信息损失是完 全可以接受的。k - l 变换是在最小均方误差意义下的最优变换，因而大大降低原始人脸表情 数据的维数，是一种有效的降维方法。从压缩能量的角度来说，k - l 方法是最优的，它使得 1 4 东南大学硕士学位论文 变换前后的均方误差最小，同时变换后的低维空间具有很好的表达能力。但是主分量方法是 从图像重建的角度出发对数据进行降维，从分类意义的角度来说并不是最优的。它虽然考虑 了所有图像之间的差异，但不能分辨这种差异是由于外界因素( 如光照) 引起的，还是由于 表情的内在差异，因此，p c a 方法在理论上存在不足。同时，p c a 方法中，主分量数日的 选取也决定了识别效果，然而目前并没有很好的理论进行选取指导。 图2 1 主分量图像的前八维和后八维 另一种常见的方法是f i s h 日线性判别分析( l i n e a rd i s c r i m i n a n t a n a l y s i s 。l d a ) 2 4 1 ，这 也是模式识别中常采用的方法。其基本思想是使变换后同一类别样本的类内距离尽可能的 近，而不同类别样本问的类间距离尽可能远。pn b 灿删e i 玎等人【”1 对p c a 方法进行扩展， 提出了f i s h e r 脸方法：先用p c a 方法进行降维处理求得特征脸空间，然后对其进行l d a 分析， 求得f i 幽脸子空间。由于这种方法保证了样本的类间距离最大化和类内距离最小化，因此 得到的图像特征比直接使用p c a 力- 法更有利于分类。pn 1 k l h u m e u r 的实验表明在光照变换 和表情变化比较严重的情况下，f i s h e r 脸方法获得e b p c a ) y 法更好的识别效果，也就是说l d a 方法能抑止图像中与类别无关的信息。相关的算法还有d i r e c tl d a ”i 、p a i r - w i s el d a 2 z l 和 c a s c a d el d a 冽陋垮。d i r e c tl d a 通过对l d a 两步“白化，过程先后顺序的巧妙对换，采 用去除类问散度矩阵零空间的方法实现降维，从而避免鉴别主分量分析中p c a 降维所带来的 鉴别信息的部分损失。p a i r - w i s el d a 则将类间散度矩阵分解成两两类问散度形式( p a i r - w i s e f i s h e r c r i t e r i a ) 的过程中发现，在原有f i s h e r 准则下，类同散度矩阵过分倚重于距离较大的 两类之间的散度。于是，该算法在f i s h e r 准则中加入权值，对于不同的两两类间散度( p a j r ) 赋予不同的权重：对于距离较大的两类，其两类问散度权值较小；反之，则权值较大。这样， 分类将更有利于本来难以区分的两类。c a s c a d el d a 则首先采用c o m p o n e n t - b a s e dl d a 的 方法，将已经校准的人脸分成若干个局部区域并对每个区域采用l d a r 行特征变换和选择， 1 5 东南大学硕士学位论文 然后针对各区域的l d a 特征再次采用l d a 进行特征变换和选择。该算法在灵活处理各局部 区域的同时，部分地保留了各区域之间的相互联系。 为了描述数据的高阶统计特性，人们提出了独立成分分析方法( i n d e p e n d e n t c o m p o n e n t a n a l y s i s ，i c a ) t 3 0 j 它在盲源信号分离、金融数据分析、图像去噪和特征提取等方面都得到 了广泛的应用。i c a 的基本思想是将观测到的数据进行线性分解，用一组统计独立的子空间 向量的线性组合来表示。m s b a r t l e t t 3 1 1 将i c a 引入人脸识别领域，先用i c a 算法从训练图像 集中求出独立的基图像构成子空间，然后将测试图像投影到子空间上，根据投影系数设计适 当的模式分类器。由于i c a ，y 法利用了图像的高阶统计特性，所以更好地反映了图像内在特 征的信息，获得了比p c a 方法更好的识别效果。 2 4