表情识别技术综述分析

1、精品文档人类表情识别技术central south university脑与认知科学调研报告人类表情识别技术目题学生姓名何伟峰0918140119 学号1401智能科学与技术专业班级2015/10/27完成时间人类表情识别技术目录人类表情识别技术摘要：3一刖3三表情识别3人脸检测与定位3图像预处理4面部表情特征的提取方法 4表情分类与识别5四应用前景5五 面部表情识别的国内外研究情况5六目前存在的难点和问题6献：6人类表情识别技术人脸表情识别技术综述一.摘要：一直以来，表情是人类引以为傲的东西，这是我们和机器的一种本质上的区别。 随着计算机的发展，我们更 期盼人机之间的沟通交流，尤其是一种带有

2、感情的沟通交流。计算机在情感方面 成长经历也类似于我们每个人的成长过程一一以观察和辨别情感作为最终自 然，亲切，生动的交互的开始。在物联网技术发展的今天，面部识别已经不是什么太大的技术性问题，而对于 人类表情识别来说，仍旧是一片空白。我们希望有一大机器可以读懂我们的语言、 知悉我们的表情，更好的为我们服务，或许这才是真正的物联网时代。 表情识别 作为一种人机交互的方式，成为研究的热点。基于对表情识别的基本分析，文章 重点介绍了面部表情识别的国内外研究情况和面部表情特征的提取方法和他的 应用前景。关键词：表情识别；特征提取；表情分类；应用前景。二前言：进入21世纪，随着计算机技术和人工智能技术及

3、其相关学科的迅猛发展，整个 社会的自动化程度不断提高，人们对类似于人和人交流方式的人机交互的需求日益强 烈。计算机和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与计算机之间的关系，使计算机能够更好地为人类服务。表情识别是情 感理解的基础，是计算机理解人们情感的前提，也是人们探索和理解智能的有效 途径。如果实现计算机对人脸表情的理解与识别将从根本上改变人与计算机的关 系，这将对未来人机交互领域产生重大的意义。三表情识别人脸表情识别系统主要包括人脸检测与定位、图像预处理、人脸表情特征提取和 人脸表情分类识别。人脸检人 脸检测与 测与定定 位位图 像 预 处表情特征表情 分类

4、与理提取识别人脸检测与定位可以基于haar特征的特征提取方法和基于adaboost的分类方法进行人脸检测与 定位人类表情识别技术图像预处理由于受图像采集硬件条件或采集环境条件的影响，采集到的图像会存在对比度不高、亮度不够、图片大小不定等问题，这些问题会对人脸识别产生影响，为了减 少这些因素所产生的影响，对图像进行适当的预处理是必不可少的。常用的图像预处理方法包括几何归一化，亮度归一化，直方图均衡化，能量归一化和图像分 割。面部表情特征的提取方法表情特征提取是表情识别系统中最重要的部分，有效的表情特征提取工作将 使识别的性能大大提高，当前的研究工作也大部分是针对表情特征的提取。目前为止的人脸面部

5、表情特征提取方法大都是从人脸识别的特征提取方法别演 变而来，所用到的识别特征主要有：灰度特征、运动特征和频率特征三种阎。灰 度特征是从表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别 的依据。运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识 别。频域特征主要是利用了表情图像在不同的频率分解下的差别，速度快是其显著特点。在具体的表情识别方法上，分类方向主要有三个：整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作为一个整体来分析，找出各种表情下的图像差别。其中典型的方法有：基

6、于特征脸的主成分分析(prineipalcomponentanalysis, pca) 法、独立分量分析法(indendent component analysis ica)、fisher线性判别法 (fishers lineardiscriminants, fld)、局部特征分析 (loealfeatureanalysis, lfa)、fishe 诞动 法(fisheractions)、隐马尔科夫模型法(hidemarkovmodel , hmm),聚类分析法和 流形法。局部识别法就是将人脸的各个部位在识别时分开，也就是说各个部位的重要性是 不一样。比如说在表情识别时，最典型的部位就是眼睛、

7、嘴、眉毛等，这些地方 的不同运动表示了丰富的面部表情。 相比较而言，鼻子的运动就较少，这样在识别时就可以尽量少的对鼻子进行分析，能加快速度和提高准确性。其中最典型的方法就是脸部运动编码分析法（facialaetionseodesystem faesw口 mpee 4中的 脸部运动参数法其他的还有局部主分量分析法（localpca）、gabor小波法和神经网络法。形变提取法是根据人脸在表达各种表情时的各个部位的变形情况来识别的，主要的方法有：主分量分析法（pea）、。汕or小波、运动模板法（aetivesh叩emodel, asm）6和点分布模型（pointdistributionmodel ,

8、 pdm）法。运动法是根据人脸在表达各种特定的表情时一些特定的特征部位都会作相应的 运动这一原理来识别的。典型的识别方法有：光流法（opticalflow）78和 mpeg - 4 中的脸部运动参数法（faceanimationparameterfap）几何特征法是根据人的面部的各个部分的形状和位置（包括嘴、眼睛、眉毛、鼻子）来提取特征矢量，这个特征矢量来代表人脸的几何特征。根据这个特征矢 量的不同就可以识别不同的表情。重要的方法是：基于运动单元（au）的主分量分 析法。在容貌特征法中，主要是将整体人脸或者是局部人脸通过图像的滤波，以得到特征矢量。常用的滤波器是gabor小波。当然，这三个发展

9、方向不是严格独立， 它们只是从不同侧面来提取所需要的表情特征，都只是提供了一种分析表情的思 路，相互联系，相互影响。有很多种方法是介于两者甚至是三者之间。例如说面 部运动编码系统法是局部法的一种，同时也是而是直接简单接下来的分析将不从 这三个方向上去说明，所以，从脸部运动上考虑的等等。.人类表情识别技术描述各种主要的算法。流形学习算法在实现降维的过程中， 较好的保留了本样 本间的非线性结构，这对于静用流形学习算法来处理表情特征但是，态表情图像和序列表情图像的分析都有独 特的优势。可从训练集中得到适用意思大多数流形学习算法不像线性降维法那样， 有个问题需要解决：为了得到某些待测样本的流形嵌入向量

10、， 只能以批处理的方 式进行。于待测样本的投影向量， 必须要将该样本加入其中。 表情分类与识另u表在人脸表情特征提取阶段，要准确提取出人类表情图像中最能有效表征 表情信息的特征，在表情分类识别阶段根据表情特征提取情识别的准确与否讲直 接影响后续的表情分类结果。分类方法的好坏及分类结果的准确程度也将影响表 情分类结阶段提取的表情特征进行分类，果。 应用前景四 .表情检测防疲劳驾驶百度移动部门技术工程师整合百度“表情识别lbs百度云”等基础技术，研发出一款提示“疲劳驾驶”的解决方案，可以对接在汽车开放平台上使用，不过 目前尚在概念阶段。通过用摄像头实时捕捉驾驶者的面部表情特征，解析表情背后的人物状

11、态。一 旦发现司机有可能疲劳驾驶（闭眼超时、眉头下垂、睁眼被动等），后台技术会做出判断，触发启动一系列干预手段：语音播报提示，播放喷亮音乐为驾驶者提 神；发送短信给驾驶者事先设定的紧急联系人， 请求帮助唤醒或解救（有可能司机的异常状态实为心脏病等突发疾病导致)；lbs技术获取车主地理位置，以“云 推送”方式通知周边车辆注意避让。五 面部表情识别的国内外研究情况面部表情识别技术是近几十年来才逐渐发展起来的，由于面部表情的多样性和复杂性，并且涉及生理学及心理学，表情识别具有较大的难度，因此，与其它生物 识别技术如指纹识别、虹膜识别、人脸识别等相比，发展相对较慢，应用还不广 泛。但是表情识别对于人机

12、交互却有重要的价值，因此国内外很多研究机构及学 者致力于这方面的研究，并己经取得了一 定的成果。.人类表情识别技术v在20褥纪70年代.用关于人般袅情识别的硒究0t巴兼展开.料儿星期空叠集中在心学利”.物学方胤附声算tjltt.1t的 虞陋.人腆襄情酰期技也连断或厘曷来.时上个慢妃如年代厦瞿的辟窕已经堂博等常活版:人*的文献选料址章杀恒祖狗巳经 卬昆*的卷阳他上向广施数据蚪北.从酢鼓tl倬ij删册究粘向买网找血幡.国内开发财目科究的单位生要由:清华大竽dlan拽大学、中 w .南卓鹿工大学，中国学破*大事、断江大学.羸甫 犬看.*京大学&nt空康犬大学、西周交通大学做理工大学、大津大学.南大学

13、等。国外较为著名的附先机构打麻石雇工 堂限r内达悔堂大学jl鲤也夫学.耳*r：大学一加划修尼亚大卒.代邦夫将埋i大学等.旭咏上美于人点表怙m方面的理峰会(卜密响比较大的柯：l：”m 机曳! 与唱式ul别会etlnme出“al lonkrertw ml compulfl viinuh,l lltm haru钟i”*n iflh： a找?,囱也 *tkd (7*1 uff h4r-5itimicpr 坟式设阴闻向窑比izwrnrighuj confemm ini hmtvrn kecqpilim)icc* jee庄计算mflt整国怖台旭 ieee itfttrnkkimj confmno* m c

14、omplirsigcr aph ： i卜m(机圉帮匐女匕技和b吊金震f ifilerniliehul grtriamhctrm ctmtpdtmgiaflldn tnd wlreti” “yhniqu fu.(a :地州i| j9制低电阳 eun产mi conk-idce ti.mi *咬:犍；：hu ；:tmvr-rf 111小心i*i huleimotuia :c、：亚硼计族工机电 il t.&mm c，ndm” * m l口叫utter visionyksaft：计式机般能理由j 向用国弹utllnijtiaii4*l coltfctrncc uo cunipirtcr vuimthki

15、t3mil：情后i 1t算及智障交 e阑际费设inteiatmd confarrmwi afleciiv* ciwputinf mbh ipldfipmi inietirlmm jk.ha :国际f.物制iii： u他)：*际自议f inlrmmhih*) qdifmncc wi uiinibbtnc aulherikiriiwi)人脸面部表情运动的描述方法-人脸运动编码系统facs (facial action coding system),根据面部肌肉的类型和运动特征定义了基本形变单元au (action unit),人脸面部的各种表情最终能分解对应到各个au上来，分析表情特征信息，就是分

16、析面部au的变化情况facs有两个主要弱点：1.运动单元是纯粹的局部化的空间模板；2.没有时间描 述信息，只是一个启发式信息六目前存在的难点和问题(1)基于ekinan分类的六种基本表情和中性表情不足以描述人类复杂多变的真实表情，如何找到更精确的描述方式是目前鱼待解决的问题；(2)多特征融合和多分类器融合的方法也是改善识别性能的一个手段。(3)由于人脸为非刚体性，人脸之间的相似性以及各种变化因素的影响，准确的 人脸识别仍较困难。为了满足自动人脸识别技术具有实时要求，在必要时需要研究人脸与指纹、虹膜、语音等识别技术的融合方法。(4) 3d形变模型可以处理多种变化因素，具有很好的发展前景。已有研究也表 明，对各种变化因素采用模拟或补偿的方法具有较好的效果。三维人脸识别算法 的选取还处于探索阶段，需要在原有传统识别算法的基础上改进和创新。(5)已有人脸表情数据库或自建人脸表情数据库往往受约束条件较多，如背景 单一、没有各种饰物的干扰、人脸不发生旋转或只有微小旋转、夸张化的面部表 情等。用计算机来分析识别面部表情是一个非常复杂的问题，准确的人脸表情识别仍 然存在诸多困难。参考文献：l张一鸣。人脸表情识别。辽宁：大连理工大学硕士学位论文，2006,12。2刘芳。应用图像处理技术的人脸表情识别研究。北京：北京科技大学硕士学位