人脸表情识别综述

1、人脸表情识别综述摘要：人脸表情识别作为情感计算的一个研究方向，构成了情感理解的基 础，是实现人机交互智能的前提。人脸表情的极度细腻化消耗了大量的计算时间， 影响了人机交互的时效性和体验感，所以人脸表情特征提取成为人脸表情识别的重 要研究课题。主要针对人脸表情特征提取和表情分类方法进行了归纳，详细介绍了 这两方面的主要算法及改进，并分析比较了各种算法的优势与不足。通过对国内外 人脸表情识别应用中实际问题进行研究，给出了人脸表情识别方面仍然存在的挑战 及不足。关键词：人脸表情；特征提取；分类器；生理信号1.引言人脸表情识别作为情感识别的一个方面，在人际交流中起到非常重要的作 用，不仅是展示情绪，更

2、是传播情感信息与协调双方关系的重要方式1。据心理 学家 Mehrabiadu 的研究表明，在人类的日常交流中，通过人脸表情传递的信息高 达信息总量的 55，而通过声音、语言传递的信息分别占信息总量的 38和 7 2。Schlosherg首先提出了描述表情的3个量化尺度：注意.拒绝、高兴.不高 兴和活跃程度，到 20 世纪 7O 年代美国心理学家 Ekman 和 Friesent31 通过充分的 测试实验，定义了人类的6种基本表情：高兴(Happy)、生气(Angry)、吃惊 (Surprise)、恐惧(Fear)、厌恶(Disgus t)和悲伤(Sad),随后 Ekma n 和 Kel tne

3、r 更进一步地细化及完善了面部表情，并提出了基于运动单元(AUs)来描述面部表情 的面部动作编码系统(FACS)3。随着数据库采集设备及技术的飞速发展，使得获取图片和视频的分辨率及像 素越来越高，信息越来越细腻、越来越庞大，为人脸表情识别带来了更完整、更全 面的信息4。同时由于信息量过大，使得识别及分类算法的效率受到严重的影 响。如何提高算法的效率就成为了分类识别算法中重要的研究方面，于是特征提取 的方法被提了出来。其主要方法就是：不用原始图像进行表情分类识别，而在原始 图像的基础上在确保不丢失重要信息的前提下来降低特征维数，提取出图像最为本 质的信息。实验证明这种方法有效可行。实现特征提取后

4、，进行人脸表情识别中最 核心的一步表情分类：将提取出来的特征彼此进行分析匹配，为所获取的图片标上 相应的人脸表情类别5。本文对人脸表情识别的研究背景、发展过程进行了综述，着重介绍了人脸表 情特征提取和人脸表情识别的主要算法，列举了近两年对这几种算法的改进以及其 他算法的对比，最后对人脸表情识别发展趋势及所存在的问题和进一步的研究工作 进行了分析6。2.人脸表情识别的一般步骤人脸表情识别(Facial Expression Recognition, FER)主要包括三个技术环 节(如图1所示)：首先是人脸的检测与定位，然后进行表情特征提取和识别，即从 输入的图像中检测和定位人脸,然后再提取出对表

5、情识别有用的信息并进行分类识 别。图1人脸表情识别步骤图片采集人脸表情识别是在人脸识别的基础上发展而来的,其图片采集的方式是大体 相同的。首先,人脸识别与人脸表情识别的图像类型根据图像来源与色彩信息,又 分别可以分为静态图像与动态图像、彩色与灰度。图片的预处理本文主要介绍人脸表情识别,所以在一张原图上最希望的是能够完整地提取 出整个脸部的特征信息。因此在进行特征提取之前往往需要对原始图片进行预处 理。图片预处理主要分为两个方面：除去原图的复杂背景、图像归一化。人脸表情特征提取表情特征的提取方法分为基于运动与基于形变的两类。其中运动是指表情发 生时面部特征随时间的变化，而形变则是指有表情的脸相对

6、于中性表情脸的差异。 运动特征提取方法代表性的包括光流法、运动模型、特征点跟踪方法等。面部特 征的形变可以由形状和纹理两方面来描述，又可以分为基于模型的方法和基于图像 的方法两类。其中基于模型的方法有活动外观模型(AAM)点分布模型(PDM)等；基于 图像的方法有Gabor变换、主成分分析(PCA)等。2.3.1主成分分析法(PCA)PCA的主要思想是通过协方差矩阵分析各个属性之间的相关性，选取出该图 像的主成分来排除这些冗余信息，并形成一个变换矩阵；再通过该矩阵实现 Karhunen.Lo6ve变换(正交变换)，将原有的高维图片所形成的向量进行降维。Dubussion也在文献中提到了对特征用

7、Principal Component Analysis(PCA，主成分分析法)进行分析，然后按照主元对某一识别任务的重要性 将它们进行排列，采用前向逐步选择的方法选择和保留最有区分性的k个主元方 向。PCA的主要思想是通过协方差矩阵分析各个属性之间的相关性，选取出该图像 的主成分来排除这些冗余信息，并形成一个变换矩阵；再通过该矩阵实现 Karhunen.Lo6ve变换(正交变换)，将原有的高维图片所形成的向量进行降维。由于PCA需要很大的存储空间以及计算复杂度，因此很多研究者都提出了相 应的改进算法。张岩中对经典的PCA算法进行了改进，提出对图像进行分块，然后 对每一子块进行独立的PCA处理

8、，求出测试样本子块与训练样本对应子块问的距 离，最后将这些距离相加得到测试样本与训练样本的距离。Thai等在文献231中 比较了 2DPCA和PCA，由于PCA需要将图片矩阵转换成向量后进行转换且其维数特 别高，而2DPCA直接对图像矩阵进行转换。最后运用大量实验验证了 2DPCA在表现 力及速度方面都远远高于PCA。Ying Wen等在文献24中引入了 KPCA到人脸检测 中，其是对PCA的一种非线性的扩展，采用非线性的方法抽取主成分并映射到高维 空间中进行PCA分析，能够最大限度地提取指标的信息。楼中望等在文献25又对 KPCA在提取特征时的不足提出了加权的改进算法W2KPCA. KNN，

9、提高了识别的精 度。2.3.2局部二值模式(LBP)LBP通过计算图像中所包含的每个像素与其局部邻域的点在亮度上的序关 系，然后对二值序列关系进行编码形成局部二值模式，最后采用多区域直方图作为 图像的特征描述。由于LBP无法区分邻城像素点与中心像素点相等，并且高精度的特征提取会 明显地增大内存占有量及影响运算速度，面对这些问题，很多研究者提出了改进算 法。Xu Jian等人提出DLBP(Double LBP)。通过引入参数改善了像素点值轻微变化 对LBP所产生的影响，能更好地表达图像的特征。Yuchun Fang等人提到了统一 LBP(Uniform LBP)和旋转不变 LBP (Ro tat

10、 ion Invarian t Uniform LBP. Riu- LBP): Uniform LBP将图像转变为二进制中01变换少于2次的归属为一类，在高 维特征的支持下依赖采集密度来提高其精确性LBP及Uniform LBP只能通过直方 图解决平移问题，RiuLBP解决了其弊端可以解决旋转问题。齐鸣鸣等人将多块 MBLBP(Multi. scale Block Local Binary Pattern)引入到人脸识别中，MBLBP 能 表现图像块邻域灰度级或者颜色的空间变化，反映图像的局部结构化特征，对图像 局部纹理特征有很强的全局描绘能力。图2 LBP算法Gabor特征提取在JAFFE图

11、像库中选取一幅图片，并选取5个尺度8个方向组成的40个不 同的滤波器对图像进行滤波。图像经过Gabor小波变换以后，从不同尺度、不同方向上提取了相关的特 征，从此每幅图像变成多幅，每个像素点的特征用一组数据来描述，所以说可以获 得丰富的特征信息，并且对于亮度和人脸姿态变化不敏感。然而，这种方法也存在 不足之处，数据维数变成原图像阵的儿十倍，给数据处理带来困难，很容易造成维 数灾难。需要对变换后的图像进行降维.这也增加了计算量。因此Gabor小波常与 基于形状的方法同时配合使用。S1尊心2.4人脸表情分类人脸表情分类包括表情识别表情描述，表情识别是对面部信息的编码；表情 描述分为情感映射与基本情

12、感。其最终目的是判断提取的特征所对应的表情类别。 支持向量机（SVM）与KNN是分类中的两种经典算法，下面是其进行简要描述。2.4.1支持向量机（SVM）SVM是一个二元分类器，通过非线性函数将样本映射到一个特征空间内，使 两个类在特征空间中线性可分，并寻找样本在特征空间中的最优线性分类超平面， 使得训练集中的样本点距离分类面尽可能远，即使分类间隔最大。SVM算法在JAFFE中的表情识别达到87.1%的高平均识别率。正是由于SVM 避开了从归纳到演绎的传统过程，高效地实现了从训练样本到预报样本的推理转 化，降低了算法的复杂度并具有良好的鲁棒性。但是支持向量机只适合应用于小样 本数据的分类情况，

13、在大样本情况下，由于矩阵的计算需要耗费大量的内存资源， 运行效率会直接受到影响。2.4.2 K最邻近学习算法K最近邻学习法（KNN）作为一种惰性学习法，在进行分类时并不像急切学习法 一样，在接收到训练元组时只是简单地存储它（或只是稍加处理），仅有接收到测试 元组时才进行泛化。以距离为度量，计算并得出离测试最近的 k 个元素，根据这 k 个元素所属类别来标记测试元组。总结随着类似于 Google 眼镜等智能佩戴设备的推广，大数据时代已经到来，使得 实时设备每时每刻需要处理的面部表情的数量急剧增加，所以为了使人脸表情识别 的应用更具有前瞻性及利用价值，在算法的改进中不能只局限于现有的已知模式下 的

14、数据库，而应该转变数据思维 ，在结构化、半结构化、非结构化的复杂数据源 上以更具有实用价值的指导下设计新的算法或改进。通过前面几节的介绍，可以看 出人脸表情识别方面的研究取得了很多进展，但从识别系统的性能来看，与实用化 还有一定的距离。目前看来，FER系统的性能主要受到以下几个方面的限制：特征提取的方法存在一些缺陷，很多模型的方法需要手工介入来标定一些 点或区域，外貌特征的方法不需要手工帮助，但提取出的信息往往不够可靠而且易 受干扰；某些表情易于识别，而某些表情不易识别，心理学方面的研究认为，最容 易辨认的表情是快乐、痛苦，较难辨认的是恐惧、悲哀，更难辨认的是怀疑、怜 悯，在 FER 系统中也

15、面临着对某些类别的表情识别率偏低的情况；目前的研究大多数都针对特定条件下采集的图像或者图像序列。但要做到对 任意采集的图像或图像序列都适应，还需要人脸检测等其他领域的发展。虽然受到 一些限制因素的影响，国内外研究者们仍提出了很多思路，力图在这些方面有所突 破。对本文介绍的一些方法进行总结，可以得出近来 FER 研究的几个热点，也是未 来可能的发展方向：由于人脸表情变化表现在图像上会产生多种不同的变化，如五官位置、形 状，以及细微的皮肤纹理、阴影等，因此将多种特征混合起来，可以最大限度地利用表情变化产生的信息，更完整地表示表情，混合法将成为特征获取中的一个重 点；八 9由于模型的方法往往需要手工

16、的帮助，因此外貌特征就被较多地应用于自 动的FER系统。由此带来的问题是特征维数可能很高，而且特征的有效性不高。因 此特征降维、提取和选择等方法的研究也成为一个重点15；近年随着机器学习领域的发展，越来越多的机器学习方法被用于表情的识 别和分类，并取得了较好的结果，这也应是未来识别方法的主流。但同时人的表情 是有一定的心理学规律可循的，是否可以将心理学和生物学知识与机器学习的方法 相结合来提高分类的性能，这是有待研究的问题；在目前的人脸表情识别系统中，往往是对比较夸张的表情进行分析和识 别。但在实际的生活中，很多表情可能是混和的表情，或者并不是很夸张的表情。 对混和表情、表情的强度方面，目前的

17、研究还非常的缺乏。已经有研究针对表情的 强度方面做了一些尝试，但研究仍然处于初级阶段17；人脸表情会受到多种因素的影响，如光照、姿态变化，脸部阻挡等。针对 脸部出现阻挡的情况16，有一些初步的研究，但与实际情况还有一定距离。在目 前的研究中，针对光照和姿势的变化，一般都采用3维人脸建模的方法来解决。但 目前3维人脸建模的技术尚不能达到自动建模的要求。同时，精度也受到一定的限 制。另外，特征分解是解决这类问题的一种新方法，但这方面的研究刚刚出现，有 待进一步发展16。a reviewed of Facial expression recognitionZhan Wu, Tong ChenScho

18、ol of Electronic and Information Engineering, SouthwestUniversity, Chongqing 400715, ChinaAbstract: Facial expression recognition as a research direction of emotion computing, has formed the basis of emotion recognition and has been the premise to realize intelligent human-computer interaction. Faci

19、al expressions can run out of a large amount of computing time and affected the efficiency of the human-computer interaction and experience, so the facial expression feature extraction has become an important research topic of facial expression recognition. This paper focuses on facial expression fe

20、ature extraction and expression classification method to carried on the induction. In this work, we introduce in detail the two main algorithms and improvements, and compare the advantages and disadvantages of various kinds of algorithm. Through the study of practical problems in facial expression r

21、ecognition at home and abroad, we introduce the challenges and disadvantages still exist of facial expression recognition.Keyword: facial expression; feature extraction; classification; Physiological signals参考文献Mehrabian A,Russell J A. An approach to environmental psychologyM. Cambridge, MA,US: The

22、MIT Press, 1974Schlosberg HThree dimensions of emotionJPsychological Review. 1954. 61(2): 81_88Ekman P，Friesen W VFacial action coding system：atechnique for the measurement of facial movementMPalo Alto：Consulting Psychologists Press, 1978: 271302Keltner D，Ekman P.Facial expression of emotionJAmerica

23、n Psychologist, 1993, 48(4): 384-392Suwa M ，Sugie N，Fujimora KA preliminary note on pattern recognition of human emotional expressionc international Joint Conference on Pattern Recognition, 1978: 408410Terzopoulos D，Metaxas DDynamic 3D models with local and global deformations：deform able superquadr

24、icsc IEEE 1990 3rd International Conference on Computer Vision，Osaka，Japan，1990：60661 5Mase K，Pentlad ARecognition of facial expression from optical flowJ. IEICE Transactions on Information and Systems, 1991, E74 D(10)：34743483Pantic M,Rothkrantz L.Automatic analysis of facial expressions：the state of the artJ.IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(12):l424 1445.谷春亮，尹宝才，孔德慧，等基于三维多分辨率模型与Fisher线性判 别的人脸识别方法J.计算机学报，2005, 28(1)： 97104.Xiang Yi，Wu Ying，Peng Jun.An improved AdaBoost face detection algorithm bas