表情识别技术综述

1、人脸表情识别技术综述摘要：表情识别作为一种人机交互的方式，成为研究的热点。基于对表情识别的基本分析，文 章重点介绍了面部表情识别的国内外研究情况和面部表情特征的提取方法。关键词：表情识别；特征提取；表情分类。前言：进入21世纪，随着计算机技术和人工智能技术及其相关学科的迅猛发展，整个社会 的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强烈。计算机 和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间 的关系，使计算机能够更好地为人类服务。表情识别是情感理解的基础，是计算机理解人们 情感的前提，也是人们探索和理解智能的有效途径。如果实现计算机对人

2、脸表情的理解与识 别将从根本上改变人与计算机的关系，这将对未来人机交互领域产生重大的意义。面部表情识别的国内外研究情况面部表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性， 并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物识别技术如指纹识 别、虹膜识别、人脸识别等相比，发展相对较慢，应用还不广泛。但是表情识别对于人机交 互却有重要的价值，因此国内外很多研究机构及学者致力于这方面的研究，并己经取得了一 定的成果。早在20世纪70年代，有关于人脸表情识别的研究就已经展开，但是早期主要集中在心理学和生物学方面。随着计算机技术的 发展，人脸表情识别技术逐渐发展起来

3、，到上个世纪90年代该领域的研究已经变得非常活跃。大量的文献资料显示表情识别已经 从原来的二维图像走向r三维数据研究，从静态图像识别研究转向实时视频跟踪。国内开展该项目研究的单位主要有:清华大学、北京科技大学、中国科学院、南京理工大学、中国科学技术大学、浙江大学、东南 大学、南京大学、北京航空航天大学、西南交通大学、大连理工大学、天津大学、湖南大学等。国外较为著名的研究机构有麻省理工 学院、卡内基梅隆大学、匹兹堡大学、马里兰大学、加利福尼亚大学、代尔夫特理工大学等。国际上关于人脸或表情识别方面的国际会议中影响比较大的有：CVPR：计算机视觉与模式识别会议(International Confe

4、rence on Computer Vision and Pattern Recognition) FGR：人脸与姿态自动识别国际会议(InteEational Conference Automatic Face and Gesture Recognition) ICPR：模式识别国际会议(International Conference on Pattern Recognition)ICCVJEEE if 算机视觉国际会议(IEEE International Conference on Computer Vision)SIGGRAPH：计算机图形和交互技术国际会议(Internationa

5、l Conference on Computer Graphics and Interactive Techniques)ECCV:欧洲计算机视觉会议(European Conference on Computer Vision)KMI:多模式接口国际会议(International Conference on Multimxlal Interfaces)ACCV:亚洲计算机视觉会议(Asian Conference on Computer Vision )oVISAPP:计算机视觉理论与应用国际会议(International Conference on Computer Vision Th

6、eory and Applications)o ACII：情感计算及智能交互国际会议(International Conference on Affective Computing and Intelligent Interaction) ICBA :国际生物待征识别国际会议(International Conference on Biometric Authentication)人脸面部表情运动的描述方法 -人脸运动编码系统 FACS (Facial Action Coding System)，根据面部肌肉的类型和运动特征定义了基本形变单元AU(Action Unit)，人脸面 部的各种表情

7、最终能分解对应到各个AU上来，分析表情特征信息，就是分析面部AU的变 化情况FACS有两个主要弱点：1.运动单元是纯粹的局部化的空间模板；2.没有时间描述信息， 只是一个启发式信息面部表情特征的提取方法表情特征提取是表情识别系统中最重要的部分，有效的表情特征提取工作将使识别的性 能大大提高，当前的研究工作也大部分是针对表情特征的提取。目前为止的人脸面部表情特征提取方法大都是从人脸识别的特征提取方法别演变而 来，所用到的识别特征主要有:灰度特征、运动特征和频率特征三种阎。灰度特征是从表情 图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。运动特征利用了不 同表情情况下人脸的主要表情

8、点的运动信息来进行识别。频域特征主要是利用了表情图像在 不同的频率分解下的差别，速度快是其显著特点。在具体的表情识别方法上，分类方向主要 有三个:整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。 整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个 整体来分析，找出各种表情下的图像差别。其中典型的方法有:基于特征脸的主成分分析(prineipalComponentAnalysis，pCA)法、 独立分量分析法(Indendent ComPonent Analysis， ICA)、Fisher 线性判别法(Fishers Linear Disc

9、riminants，FLD)、局部特 征分析 (LoealFeatureAnalysis，LFA)、Fishe 诞动法 (FisherActions)、隐马尔科夫模型法(HideMarkovModel， HMM)，聚类分析法和流形法。局部识别法就是将人脸的各个部位在识别时分开，也就是说各个部位的重要性是不一 样。比如说在表情识别时，最典型的部位就是眼睛、嘴、眉毛等，这些地方的不同运动表示 了丰富的面部表情。相比较而言，鼻子的运动就较少，这样在识别时就可以尽量少的对鼻子 进行分析，能加快速度和提高准确性。其中最典型的方法就是脸部运动编码分析法 (FacialAetionseodesystem，F

10、Aes)和 MPEe 一 4中的脸部运动参数法其他的还有局部主分量分 析法(LocalPCA)、Gabor小波法和神经网络法。形变提取法是根据人脸在表达各种表情时的各个部位的变形情况来识别的，主要的方法 有:主分量分析法(PeA)、o汕or小波、运动模板法(Aetivesh叩eModel，AsM)6和点分布 模型(PointDistributionModel， PDM)法。运动法是根据人脸在表达各种特定的表情时一些特定的特征部位都会作相应的运动这 一原理来识别的。典型的识别方法有:光流法(OPticalFlow)78和MPEG 4中的脸部 运动参数法 (FaceAnimationparamet

11、erFAp)。几何特征法是根据人的面部的各个部分的形状和位置(包括嘴、眼睛、眉毛、鼻子)来提 取特征矢量，这个特征矢量来代表人脸的几何特征。根据这个特征矢量的不同就可以识别不 同的表情。重要的方法是:基于运动单元(AU)的主分量分析法。在容貌特征法中，主要是将整体人脸或者是局部人脸通过图像的滤波，以得到特征矢量。 常用的滤波器是Gabor小波。当然，这三个发展方向不是严格独立，它们只是从不同侧面来 提取所需要的表情特征，都只是提供了一种分析表情的思路，相互联系，相互影响。有很多 种方法是介于两者甚至是三者之间。例如说面部运动编码系统法是局部法的一种，同时也是 从脸部运动上考虑的等等。所以，接下

12、来的分析将不从这三个方向上去说明，而是直接简单 描述各种主要的算法。流形学习算法在实现降维的过程中，较好的保留了本样本间的非线性结构，这对于静 态表情图像和序列表情图像的分析都有独特的优势。但是，用流形学习算法来处理表情特征 有个问题需要解决：意思大多数流形学习算法不像线性降维法那样，可从训练集中得到适用 于待测样本的投影向量，只能以批处理的方式进行。为了得到某些待测样本的流形嵌入向量， 必须要将该样本加入其中。五.目前存在的难点和问题基于Ekinan分类的六种基本表情和中性表情不足以描述人类复杂多变的真实表情， 如何找到更精确的描述方式是目前鱼待解决的问题；多特征融合和多分类器融合的方法也是

13、改善识别性能的一个手段。由于人脸为非刚体性，人脸之间的相似性以及各种变化因素的影响，准确的人脸识 别仍较困难。为了满足自动人脸识别技术具有实时要求，在必要时需要研究人脸与指纹、虹 膜、语音等识别技术的融合方法。3D形变模型可以处理多种变化因素，具有很好的发展前景。已有研究也表明，对各 种变化因素采用模拟或补偿的方法具有较好的效果。三维人脸识别算法的选取还处于探索阶 段，需要在原有传统识别算法的基础上改进和创新。已有人脸表情数据库或自建人脸表情数据库往往受约束条件较多，如背景单一、 没有各种饰物的干扰、人脸不发生旋转或只有微小旋转、夸张化的面部表情等。用计算机来分析识别面部表情是一个非常复杂的问题，准确的人脸表情识别仍然存在 诸多困难。参考文献：l张一鸣。人脸表情识别。辽宁:大连理工大学硕士学位论文，2006，12。刘芳。应用图像处理技术的人脸表情识别研究。北京:北京科技大学硕士学位论文，2003, 06。3王志良，刘芳，王莉。基于计算机视觉的表情识别技术综述J。计算