（计算机应用技术专业论文）人脸表情识别研究.pdf

浙江工业大学硕士学位论文 人脸表情识别研究 摘要 人脸表情识别( f ee 邳s s i 强r 蕊。静i 倦嫩，k r ) 是计算机自动人脸表情识别的简 称，指利用计算机技术对人脸表情信息迸行特征提取，按照入的认识和思维方式加以归类 和理解，进而从人脸信息中去分析理解人的情绪，是计算机视觉研究的重要组成部分。 表情识别的核心在于表情特征的提取。计算机自动识别人脸表情之所以溺难，原因在 于人脸是一个柔性体，为人脸表情特征建立精确数学模型的难度较高。脸部器官的位置稍 有变动，表情就会发生巨大的变化，因恧如何选择特征成为决定识别精度的关键。本文着 眼于特征提取，从单特征提取和多特征融合两个方面对入脸表情识别做了比较深入的分析 与研究。 类内p c a 是对每一类训练样本分别进行p c a 处理，使得类闻样本距离增大，类内样 本距离缩小。论文将类内p c a 方法应用于表情识别，并将这种方法与类间p c a 方法进行 了比较。 每种表情特征在识别上都有其自身的局限性。因此，仅仅提取某种特征不会得到很 高的识别率。基于此，本文给出了种新的表情特征危度变化几何特征，并运用特征 融合技术对人脸表情的g 如黻特征和焦度变化几何特征进行了融合。 实验证明，类内p c a 方法的识别精度高于类间p c a ，而角度变化几何特征和经过类 内p c a 提取的g l b o r 特征相融合后的识别率又高于类闻p c a 和类内p c a 。 滤波 关键词：入脸表情识别，类内p c a ，特征表情，角度变化几何特征，特征融合，g a b o r 浙江工业大学硕士学位论文 r es e a r c ho nf a c i a le x p r ess i o n r e c o g n i t i o n a b s t r a c t f a c i a le x p r e s s i o nr e c o 嘶t i o n ( f e i u ，w h i c hi s 廿1 es h o r tt i t l eo f 也ea u t o m 撕cf a c i a l e x p r e s s i o nr e c o g l l i t i o n ， r e f e r st 0n l ep r o c e s sm a tp e o p l eu s ec o m p u t e rt e c l l n o l o g yt oe ) 【仃a c t 也ef e a n l r eh 曲n n a r t i o no fh u m a nf a c i a le x p i l e s s i o n ，a i l dc l a s st h ei l l f l o n l l a d o ni na c c 0 r ( 1 a j l c e w i t hl l n d e r 删i r 培a n dw a y so f 曲抽k i n g0 fh l m l 缸，a n da 1 1 a l y 覆也ee n t i o n f 王淤i sa n i i l l p o r t 孤1 tp a r to fm ec o m p u ：t e rv i s i o nr c s e a r c h f e a t l l r ee ) m 粥t i o ni st h ec o r eo ff a c i a le x p r e s s i o nr e c o 霉血i o n a u t o m a ：t i cf a c i a l e x p r e s s i o nr e c o 趴i ：t ：i o ni sd i m c u h ，b e c a u s e 廿l e 矗獬：i sad e f o 】1 n a b l eb o d ya n dd i 伍c u l tt 0b u i l d ap r e c i s em a t h e m a t i c 甜m o d e l t h ee x p r e s s i o n 、) l ，i nd 啪学g r e a t l yw h e nm ep l a c eo fo r g 孤si i l 1 e 正鱼c ec h 觚g e sl i g h t l y t h e r e f o r e ，n l ev i t a lf 如t o ro fd e c i d i n gm er e c o 鲥t i o na u c c u r a c yi sh o w t os e l e c tt l l ef e a t u r e s 丘d mh u m a nf 配e s f o c u s i i l g0 nf e a t i l r ee 斑瑚c t i o n ，w e 锄a l y z ea i l d r e s e a 】陀ht h eh 嘲a nf a c i a le x p r e s s i o nr e c o 蛐t i o nd e e pi t lt w r 0w a y so fn l es i n g l e f 宅a 臼l r e e x t r a c t i o n 锄d l en m l t i f e a t u 鹏- f u s i o n w “h 抽c l a s sp c ai st h ep r o c e s s ，i nw b i c be a c ht y p eo f 舰i i l i n gs 如1 p l e sa r ep r o c e s s e d 证 p c a ，缸l ed i s t a l l c e so f 吐l e 、桶t b i n c l a s ss 锄l e sa r em a d em u i hi 煳ww b j l et l l ed i s t a i l c eo f i n t e 卜c l a s ss 锄d l e sa r en l a i l en i u c hl a r 霉r e i n 也i sp a p e r ，w eu s e 也e 、丽t h j n c l a s sp c am c t b o df - 0 r f a c i a le x p r e s s i o nr e c o 嘶t i o na n dc o 珈【p 锄呛t l ea d 口r o a c hw i t hi r i ：t e 卜c l a s sp c a t be x p r e s s i o nr - e c 0 嘶t i o n ，e a c ht y p eo ff a c i a le x p r e s s i o nf e a _ t i 】r eh a si 招o w nl i m i t a t i o n s a sar e s u h ，0 1 1 l ye ) ( 缸l c t i n ga 虹n do ff e a t i l r cw o n tw i nw e l lr e c o 碰t i o nr a t e f o r l i sr e 弱o n ， 廿l ep a p e rp r e s e n _ t san e we x p r e s s i o nf e a ：t u r et 1 1 a ti sa n 百ec i 姗g eg e o m e t 叮f e a t u r c ，a n dn l s e s l e 切b o rf e a t u r ea n da n g l ec h a l l g eg e o 加e t r yf 俄帕吡e i k p e 妇e n t sh a 、，ep r o v e dt h a tt h er 妖幻擘互1 i t i o na c c l 氆a c yo fw i t 陌n c l a s sp c ai sl l i 星血e rt b a n 幻t e r c l a s sp q ，w h i l et i l er e c o 擘面t i o na c c l l r a c yo ft ：h ef 如i o ni sl l i 星由e r 吐唿ni i n e r - c l a s sp d ka i l d 、蕊也i n - c l a s sp c a k e yw o r d s ：f a c i a le x p r c s s i o nr e c o g 血i o n ，w 油i n - c l a s sp c a ，f c a t l l r ee x p r e s s i o n ，a n 西e 妇g eg e o m e 蚵f e a ：t u r e ，f e a t u r e 丘玛i o n ，g a _ b o rf i l t e r 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行研究工作 所取得的研究成果。除文中已经加以标注引用的内容外，本论文不包含其他个人或 集体已经发表或撰写过的研究成果，也不含为获彳导浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究做出重要贡献的个人和集体，均已在文中 以明确方式标明。本人承担本声明的法律责任。 作者签名： 平移 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密刚 ( 请在以上相应方框内打“妒) 、f 作者签名：莎1 豇触 日期：翮移车胁月砣尽 导师签名：办囝l 乱鍪n 日期：妒酶l 钞月呼日 浙江工业大学硕士学位论文 第l 章绪论 1 1 表情识别的研究背景 表情作为非语言交流中的一种有效手段，是人类用来表达情绪的一神基本方式。人们 可通过表情准确丽微妙地表达自己的思想感情，也可遵过表情辨认对方的态度和内心世 界。 其实，人的面部表情识别是一个古老的话题。在中国民间，早就有“观其表知其心 的说法。中国吉代的政治斗争中也常常应用表情识别的方法，斗争的一方通过察言观色， 揣摩对手的意图，从而制订出对自己有利的战略方案，实现最终的战略目标。 三国演义第二十一回中有这样一段描述： 一天，曹操请刘各来相府喝酒。两入喝着酒，品着青梅聊了起来。曹操便闷剃各：“玄 德可知道当今天下有哪些英雄吗? 刘各起初推说不知，然而经不起曹操的再三追问，便 列举了袁术、袁绍、刘表、孙策、刘璋、张鲁、张绣、韩遂等人。曹操拍掌大笑说：“这 些入都是平庸之辈，掇本算不上英雄! 在曹操看来，所谓英雄，是“胸怀大志，腹有良 谋，有包藏宇宙之机，吞吐天地之志者。刘备便问：“那丞相您说天下还有谁能够当此称 号呢? 曹操用手先指着刘备，再指着自己说：“当今天下的英雄，只有你和我两个人。 刘备听到这话，大吃一惊，手中的筷子“啪”的一声掉到地上。当时正赶上乌云密布，大 雨将至，空中一个霹雳打下来。刘备趁这个机会非常平静地捡起筷子说：“这个雷好厉害 啊，吓得我筷子都掉了。曹操笑着问：“男予汉大丈夫也怕打雷吗? 刘备回答说；“连 圣人对迅雷烈风都会失态，我怎么能不怕昵? 如此一来，刘备将吓掉了筷子的真正原 因，巧妙地掩饰过去了，曹操由此打消了对刘备的猜忌。 这就是著名的“青梅煮酒论英雄 ，也是一个经典的表情识别案例。由于刘备出色的 表情伪装技巧，将一脸的惊恐转化成平静，使他终于瞒过聪明过入谋略超群的曹操，化险 为夷。 另外，中国民闽的相命先生为人看相算命也是一种表情识别。健们根据看相者的神色 来推测其可能遇到了什么事情，诸如喜事、急事、烦心事、伤心事等，从而揣摩他们的心 思，说些投其所好的话。来看相者往往会点头称是，连说相命先生神奇，看得准。其实是 他们盘己的表情囱相命先生蹴卖了自己的内心，相命先生只不过是把握了他们的心理而 l 浙江工业大学硕士学位论文 已。 通过肉眼识别对方的表情迸而揣测对方的内心有时候会因为对方的伪装而有偏差。然 而，就总体而言，这是一种相对精准的辨别人们心理变化的手段。 进入2 0 世纪以来，随着计算机的发明和人工智能技术的发展，表情识别自动化已经 成为可能，尤其是九十年代以后，入脸面部表情的计算机自动识别日益成为一个研究热点。 本文所要研究的人脸表情识别( f a c ee x p r e s s i o nr e 鲥t i o n ，f e r ) 就是计算机自 动人脸表情识别的简称，指利用计算机技术对入脸表情信息进行特征提取，按照入的认识 和思维方式加以归类和理解，进而从人脸信息中去分析理解人的情绪，如快乐、惊奇、愤 怒、恐惧、厌恶、悲伤等，是计算机视觉研究的重要组成部分【1 1 。当前，它的应用领域主 要包括：智能入枧接翻的设计与完成，人工智能，情感机器入的设计与实现、安全、医疗、 通信以及汽车领域等隐3 】。 众所周知，一个视力正常的人用肉眼识别他人脸上的表情几乎没有任何困难。然而， 这对于计算机来说却相当不容易。由予入脸表情受不同的年龄、种族、性别、头发、饰物 等因素的影响较大，因此，采用计算机对人脸表情进行自动分析与识别是一项极富有挑战 性的任务。其中的关键在于难于建立一个理想的人脸表情模型，这主要是由于人脸是一个 柔性体而非刚体，很难用模型来精确描述阏。如何捕捉入脸面部的运动信息、如何对脸部 特征的形变特征进行分类、如何利用得到的表情信息推测人的心理状态等等都是表情识别 技术需要解决的闼题。作为一门多学科交叉的研究课题，人脸表情识别技术涉及到心理学、 生理学、计算机科学、认知学等多个学科的知识。从目前的研究现状来看，表情识别技术 进入一个研究的高潮主要与以下三个方面的推动因素有直接的关系【3 】： ( 1 ) 新一代人机交互界面 入机交互界面是指用户与计算机系统之间的通信，是人与计算机之间各种符号和动作 的双向信息交换嘲。这种信息交换的形式可以采用各种方式出现，如敲击键盘、移动鼠标、 屏幕上符号和图形图像的显示、声音、姿势等。 随着科技的发展，利用人的多种感觉通道和动作通道( 如语音、手写、表情、姿势、 视线等输入) ，以并行、非精确方式与计算机系统进行交互的多通道人机交互晃面将取代 暑前的w & 糟固琏n 豳唰q 6 c o 胡派勰i 鲥耀d e v i c e ，窑叠、图标、菜单、指点设备) 界面成为 新一代入机交互界面的主流。在啪界面中，尽管引入了图形技术，改变了原来命令语 言的繁杂和单调，但是依然不能像人与人之间交流那样方便，主要不足体现在以下两个方 面： 2 溉江工业大学硕士学位论文 第一，输入方式筛陋，不能通过其它渠道譬如语音、手势等交流； 第二，计算机只能被动地接收信患，不能主动地捕捉信息。 多通道人机交互界面将彻底改变这一切，使得人与计算机之间的交互能像人与人之间 的交互一样便利自然。其中，人脸表情识别技术将使得计算机能获取人脸面部信怠从而推 测入的心理状态，以便更人性化、更智能地为用户服务。因此，新一代人机交互界面的构 建要求更高效的人脸表情识别技术作为支撑。 ( 2 ) 情感计算与情感智能 在日常生活、工作、交流、处理事务和决策中，人们的情感能力同正常的理性思维和 逻辑推理能力一样扮演着重要的角色。神经生理学家d a m 鹪i o 研究发现，由于控制逻辑推 理的大脑皮层和控制情感的边缘系统之间遥道的缺损，尽管病人具有正常甚至超常的理性 思维和逻辑推理能力，但决策能力的运用严重受到阻碍。在决定一个人事业成功的因素中， 情商( 即领会、运用和表达情感的能力) 有时比传统的智商更为重要，可以证睨情感是智 能的一个不可分割的部分。如果将计算机赋予类似子人类的情感能力，能够感知和表达情 感，那么人与自然、入与机器将能够趋于种更加完美的和谐f 3 1 。 1 9 9 7 年，情感计算( a 虢c t i v ec o n 璎她嘻 和情感智能t i v e 幽l l i g e 藏嘲的概念被提了 出来，并且作为一项前沿性研究受到广大研究者的关注嘲。情感计算是关于情感、情感产 生以及影响情感方面的计算。在实际操作中，主要是通过各种传感器获取由人的情感所引 起的表情及生理变化信号，利用合适的“情感模型 对这些信号进行识别，从丽理解入的 情感并做出适当的响应。情感本身并不能直接被感知，它是通过入的语言、姿态、行为等 其他多种符号实现交流的。 在情感的多种表现方式中，人脸表情作为最容易控制的一种面常常被用来进行情感的 估计。所以，随着情感计算的深入，对人脸表情的自动识别技术的要求也会相应地得到提 高。 ( 3 ) 相关技术的进步推动了人脸表情识别技术的研究 在过去的十几年中，人脸识别技术、人脸或局部器官定位技术、人脸跟踪技术都取得 了臣大的进步。国外研究机构和公司从事自动人脸识别的研究与实践较早，在美国、德国、 日本等发达国家已经有相关产品阏世。“9 1 l 事件 以后，美国加大了入脸识别技术的研 究力度，且已经着手建立国家级的重点犯罪入口和恐怖破坏分子的人脸数据库。在我国， 由中科院计算所与银晨网讯面像识别联合实验室囱主研制的“面像检测与识别核心技术 经过鉴定和详缨测试后，相关专家认为该系统在人脸检测、面部特征提取、入脸识别和入 3 浙江工业大学硕士学位论文 脸确认等技术方面均达到了豳外先进水平。 在定位和跟踪方面，已有算法的鲁棒性和效率也大大增加，在充分利用多阶段由粗到 精的搜索策略以及多信息有效融合的基础上，逐步与实际环境相结合，大大提高定位跟踪 算法的实用性。在人脸表情识别系统的开发过程中，人脸识别、定位、跟踪技术中有许多 成熟的算法都可以应用到入脸表情识别系统中，从而大大推动了入脸表情识别技术的研 究。 进入2 0 世纪9 0 年代以后，入脸表情识别研究交得j # 常活跃，国内外很多机构都在进行 这方面的研究，吸引了大量的研究人员和基金支持，e 1 可检索到的相关文献就多达数千篇。 美国、日本、英国、德国、荷兰、法国等经济发达国家和发展中国家如印度、新加坡都有 专门的研究组进行这方面的研究。其中m 疆的多媒体实验室的感知计算组、c m u m 删a n d 大学的计算机视觉实验室、s 伽怕m 大学、日本城蹊大学、东京大学、大阪大学、a t r 研究 所的贡献尤为突出。 在我国，清华大学、哈尔滨工业大学、中科院、中国科技大学、南京理工大学、北方 交通大学等都有人员从事人脸表情识别的研究。国家“8 6 3 ”计划、“9 7 3 项目、国家自然科 学基金等都对人脸表情识别技术的研究提供了项目资助。； 毽是，和匡外相比，国内的研究才起步不久，和美国、日本等发达国家差距 还比较大，这需要我国研究者们的进一步努力。 重2 表情识别的应用领域 1 2 1 人机交互领域 在入机交互当中，入脸表情识别技术主要应用在两个方面，其一是用户利用入脸表情 来作为控制命令，指示计算机应该如何操作。通过事先进行训练，在当计算机实时监控人 脸表情变化并且发现作为控制命令如现的表情信息时，计算机就会按照既定的程序做出反 应，譬如用户眨一下眼睛，表示要求计算机取消当前的任务，眨两下眼睛表示要求计算机 将任务保存；其二是计算机能主动地从用户的面部表情推测用户的内心情感，并自动地给 出相应的人性化服务。已有的应用例子如智能音乐播放器，随着入的心情酶变化，播放器 能有选择性的播放适合用户心情的歌曲。 1 2 2 安全领域 同指纹、虹膜以及人脸等生物信息可以用在身份验证等安全管理中一样，人脸表情 4 浙江工韭大学硕士学位论文 信息作为一瓣重要的生物信息也可以用来表征身份。尽管每个人都会做出同一种类型的表 情，但是表情产生的部位、表情的强度、面部器官形变的轨迹、表情持续的时间都会有较 大的差异，并且这种差异相对于指纹、虹膜以及人脸来说更加不容易被伪造【3 】。 董2 。3 机器人制造领域 在美国科罗拉多州首府丹佛举行的美国科学促进会的年会上，展出了一种有着女性脸 型的新型机器入，这种机器人能按照指令完整地模仿并表达人类的2 8 种面部表情，而且它 的面部还会随着年龄的变化出现皱纹。这个机器人名叫k - b o t 朔。在机器人的眼睛里装有两 部照相机，它们能对面前人的表情进行观察并识别，随后就可以模仿出悲伤、高兴或惊 讶等不同的面部动作，如它会微笑、嘲笑、皱眉甚至是扬眉。此外，它的嘴唇、脸颊和鼻 子也都能移动。人脸表情识别技术的应用使得机器人不再是一个简单的、按照给定程序工 作的机器，蔼是一个开始学习去理解人的意图，以便更好地为人类服务的“智能人 ，这 将逐渐改变机器人在社会中的地位。 1 2 4 医疗领域 比较典型的例子是电子护士的出现。电子护士的主要设备是一台安装在病人床头的带 有表情识别功能的摄像机阎。在很多情况下，病人双手的活动往往受到一定的限制，无法 便剩地进行按钮呼爨堪，同时，对于病情严重共且需要特别护理的病人来说，任何时候守护 入员的疏忽都可能导致因为对病人处理的不及时而引起的危险。电予护士通过自身带有的 表情识别功能能很好地解决上述两个方面的问题，对于需要服务的病人来说，并不需要用 费力去按按钮，只要做出痛苦的表情，电子护士马上就会发出呼瑟q 信号，提醒医护人员提 供必要的服务。对于需要特别护理的病入来说，病人身体状况的变化经常会反映在面部表 情上，电子护士将全天候地跟踪病人的面部表情行为，并随时向医护人员通报病人的状态， 以便能对紧急情况做出及时处理。 1 2 5 通信领域 最近十多年来，通信技术发展迅速，可视电话、视频会议等应用技术的开发也逐渐提 上日程，但是对于目前并不富裕的带宽来说，尽管只需要显示用户的头、肩两部分的图像， 但是所传输的数据量也相当庞大。众所周知，在人与人之间交谈时，面部本身器官的结构 特征是次要的，语言和面部表情才是传递信息的主要载体，设想如果在通话的双方都建立 5 浙江工业大学硕士学位论文 一个虚拟人头部模型，仅仅通过网络传递对方的语言和面部表情，并且利用蓖部表情信号 驱动虚拟入头部模型进行相应的表情交化，那么就可以实现在大大节省带宽的情况下，尽 可能地传递对方要表达的信息。 1 2 6 汽车领域 据统计，在我国，造成交通事故的原因主要有疲劳驾驶、行人进入高速公路、司机措 施不当、车距过近、违章并线、天气、爆胎、超速等十多幂睾，其中疲劳驾驶位列第一网。 针对此类情况，h 撕s o n gg 谛q i a i l gj i 等人设计了一个安装在汽车上用来检测司机疲劳状态 并提醒司机需要注意安全的设备【9 1 。这种设备会实时分析司机的精神状态并予以判断，当 预测司机疲劳程度会影响安全驾驶或者发现司机有抒盹现象时，设备会采取必要的措施， 譬如报警或者播放刺激音乐来防止可能会导致的交通事故。 薹3 本论文的研究框架 1 3 1 本文的研究如发点 本文以表情识别的难点和关键特征提取为研究的蹬发点，分两个方面予| 以探讨； 一是面部表情的单特征提取，二是多特征融合。研究旨在探索一些较好的特征提取方法， 以提高表情识别的精度。 1 3 2 本文所做的工作 本文在p c a 、q i b o r 滤波和神经网络等技术的基础上，主要做了以下一些工作： ( 1 ) 采集了一个由2 0 个入( 含9 位女同学和l l 位男同学) 共1 4 0 幅图像的静态入 脸表情数据库。 ( 2 ) 在g a b 甜滤波的基础上，将p c a 方法应用于同类人脸表情训练样本内，阐述 了类内p c a 处理入脸表情的方法。 ( 3 ) 阐述了种特征提取方法一角度变化几何特征法。 ( 4 ) 将人脸表情的q 哇，o r 小波特征和基于角度变化的几何特征楣融会，并用r b f 神 经网络分类，且将实验结果与类间p c a 、类内p c a 方法进行了比较。 1 3 3 本文的篇章结构 全文分为五章，内容如下： 6 浙江工韭大学硕士学位论文 第一章为绪论，主要介绍了人脸表情识别技术的研究背景、应用领域，并对本文所做 的主要工作做了归纳； 第二章对入脸表情识别的研究现状做了一个较为详细的总结，并对目前人脸表情识别 系统中应用到的主要技术和方法散了分析和比较； 第三章和第四章是本文的重点和核心所在。 第三章在传统p c a 方法的基础上，阐述了g a b o r 特征基础上的类内p c a 和“特征表 情”的方法，并用c 均值方法进行表情识分类； 第西章是基于融合的表情识别，首先阐述了基于角度变化的几何特征，并且阐明了这 种特征的提取过程，然后将角度变化几何特征和用第三章的方法提取的q 出o 特征相融 合，并用始f 网络进行分类； 第五章是总结与展望，该部分对全文进行总结概括，并对下一步的工作进行了展望。 7 浙江工业大学硕士学位论文 第2 章表情识别技术的研究现状 2 1 人脸表情识别系统 所谓系统，是指由相互联系，相互作用的若干要素组成的具有稳定结构和特定功能的 有机整体，其基本特征包括整体性、结构性、层次性和开放性等。 任何个复杂的系统都是由一些相对简单的子系统组成的。一个完整的入脸表情识别 ( f e r ) 系统一般包括三个主要环节：人脸检测、表情特征提取、表情分类【砌，如图2 一l 所示。 建立一个f 聚己系统，第一步需要对入脸进行检测与定位，这一环节的研究实际上已 成为一个独立的方向【l l 】；第二步从人脸图像或图像序列中提取能够表征输入表情本质的 信息，在提取特征数据的过程中，为了避兔维数危机，可能还需要特征降维、特征分解等 进一步处理；第三步分析特征之间的关系，将输入的入脸表情分类到相应的类别，如a u 组合或基本情感类别。 图2 - 1 人脸表情识别系统 2 2 人脸表情的特征提取方法 表情识别是一个非常阕难的研究方向【翻，主要体现在表情特征提取的准确性和有效性 上。尤其是后者，因为各种表情本身体现在各个特征点运动上的差别就不是很大，例如： 嘴巴张开并不代表就是笑，也有可能是哭和惊讶等。 目前所用到的识别特征主要有：灰度特征、运动特征和频率特征三种。灰度特征是从 表情图像的灰度值上来处理，利用不同表情有不同灰度值来得到识别的依据。这种情况下 要求图像对光照、角度等因素要进行充分的预处理，使获得酶灰度值具有妇一性。运动特 征利用了不同表情情况下入脸的主要表情点的运动信息来进行识别。频域特征主要是利用 了表情图像在不同的频率分解下的差别，速度快是其显著特点。在具体的表情识别方法上， 方囱主要有三个：整体识别法和局部识别法、形变提取法和运动提取法、几何特征法和容 g 浙江工业大学硕士学位论文 貌特缝法。 整体识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作 为一个整体来分析，找爨各种表情下的鎏像差剐。其中典型的方法有：基予特征脸的主分 量分析( p 蕊连斌c o 捌) o 艄嫩匙域y s i s ，p c a ) 法、独立分量分析法( 1 则锋e 瑟纛e 懿tc 潮哮。粼氆 恕溢y s i s ，磁a ) 、f i 贩蹿线性判别法( 嚣婊髓s 纛奴缀d i 鳓妇连凇蘸珞，f 跹 ) 、局部特征分 析( l o c a lf e 狐加l a l y s i s ，l f a ) 、f i s k 瞧动法( f i s h e ra 幽o i l s ) 、隐马尔料夫模型法 ( 琢& m 硝瀚，m o 蠢| ， 戡僦 和聚类分析法。 局部识别法就是将人脸的各个部位在识别时分歼，也就是说各个部位的重要性是不 样。比翔说在表情识别时，最典型的部位就是眼睛、嘴、眉毛等，这些地方的不闻运动表 示了丰富的面部表情。相比较而畜，鼻子酶运动就较少，这样在识别时就可以尽量少的对 鼻子进行分析，能加快速度和提赫准确健。其孛最典型的方法就是脸部运动编码分析法 ( f a c i 姒a c t i o n 8c o d es y s t e m ，f a c s ) 和凇e 的主分量分析法。 在容貌特征法中，主要是将整体入脸或者是局部入脸通过图像的滤波，激得到特征矢 量。常用的滤波器是q 瞳燃小波。当然，这三个发展方向不是严格独立，它们只是从不同 餐| | 面来提取所需要的表情特征，都只是提供了一种分析表情舱思路，相互联系，槎互影响。 有很多种方法是介于两者甚至是三者之间。例如说面部运动编码系统法是局部法的一种， 同时邈是扶脸都运动上考虑的等等。所以，接下来的分析将不默这兰个方向上去说磺，两 是直接撰述备种主要的算法。 9 浙江工业大学硕士学位论文 2 3 主要具体算法描述 ( 1 ) 脸部运动单元分析法( f a c s ) 是最早研究面部表情采用的方法之一。很多的方 法都是以它为基础的。美国心理学家e k 瑚皿p 叫和f d e s e n 较早地对脸部肌肉群的运动及其 对表情的控制作用做了深八研究，于1 9 7 8 年开发了面部运动编码系统( f a c s ) 来描述面 部表情和研究人类的认知行为( 见图22 ) 。他们根据人脸的解剖学特点，将其划分成大 约4 6 个既相互独立又相互联系的运动单元( a u ) i i ”，并分析了这些运动单元的运动特征 及其所控制的主要区域以及与之相关的表情，给出了大量的照片说明。这种方法很直观， 易于为人理解，但是由于在实施过程中需要专家的大量时间来人工标记录像带上的特征运 动点并且需要1 0 0 多个小时的训练才能得到每段录像带的满意结果【】。在这种情况下， 系统的编码速度、可靠性、精确性和实时性就成为其广泛应用的阻碍。 图22f a c s 将脸部运动分解为多块的运动单元上半脸的运动可以分解为 1 、2 、4 、6 这几个运动单元的六种运动( e k 咖和f r i e s e n ，1 9 7 8 ) ”1 e s s a i r 胁a 【”1 在f a c s 的基础上进行了改进，通过在物理模型上加入自动的肌肉模 块，建立f a c s + 系统，这个系统可以用做动态建模和运动估计。在进行表情分析时，通过 光流法分析视频流中脸部数据，最终在2 维图像中的表情识别率是9 8 。 ( 2 ) 与f a c s 相似，m p e g 4 的脸部运动参数法( f a p ) m ”是一个完整的脸部基本运 动的集合。它是基于对人脸细微运动的研究与脸部肌肉运动密切相关所以用f a p 可以 描述自然的脸部表情。这时需要创建一个公共脸，然后针对具体的不同人再建立一个具体 浙江工业大学硕士学位论文 的中性脸，这样就可以根据具体的表情脸和中性脸获得f a p 参数进而识别出表情脸的表情 了。 ( 3 ) 主分量分析法泌铡根据像素问的二阶相关性，利用代数中的子空间法给图像矩 阵大大降维，提取那些能代表所要识别的几种特征人脸表情的主要特征分量并形成特征识 别空间，利用待识别区域在此特征空间的投影距离来识别。如果提取的主特征是脸部的局 部部位，这时就是l 0 试p c a 法。2 0 0 1 年，c 斑d e r 觚出l 哪等利用p c a 在面部表情识别方 面做了详尽细致的工作，分别从识别理论和社会科学两个角度说明了主分量分析的可行性 和有效性。作者认为p c a 是表情种类和识别维数之间的一个桥梁，达到了最佳的识别率和 识别速度的总体性能。采用了5 0 个主分量和欧氏距离，取得了9 5 的最大识别率。此外b a 酞 酗嘲g 妇【2 3 】等对p c a 和i c i a 做了一个比较，认为在特定的判别距离情况下，主分量分析的 结果要比i c a 的效果好。 ( 4 ) 但是主分量只考虑图像数据中的两阶统计信息，禚未能利用高阶统计信息。针 对这点，1 9 9 8 年b a m e 髓【3 0 】提出了基于独立分量分析( i c a ) 算法瞄 3 吣1 】的人脸表情识别方 法，作者没有在辫幅的源图像上进行独立分量分析，两是在认为这聆幅的源图像是由戤幅特 征图像的线性组合，然后对这掰幅的特征图像进行独立分量分析。特征图像是由主分量分 析 ! 导到的。利用2 个主分量组成的特征图像，对f 麟的人脸图像麾取 | 导的最高识别率 高达9 8 。h a 、，r a 姗c f 3 2 】等也是采用了类似的方法，对经过p c a 特征提取的图像进行独立分 量分析，试验表明这种表情提取的方法比单独用主分量分析的表情提取方法更有效，对主 分量的特征空间维数的选择具有更低的敏感度。b a c k 蜘西m 吲等对p c a 和i c a 做了一个 详细的比较。得如一些有益的结论。 ( 5 ) 隐马尔科夫模型( 删) 是在v 链的基础上发展起来的。作为信号的一种 统计模型，已经在语音信号处理领域取得了很大的成功。在面部表情识别上的应用，也是 最近才开始的。在【3 3 】中，c o h e l lm 薜认为将h m m 应用到面部表情识别中，有三个问题需 要解决：首先是评估闯题，即怎样由观察的面部表情序列及模型去计算观察面部表情序列 的概率，这对以后的表情识别的算法有很大的影响；其次是如何选用最佳准则来决定状态 的转移；最后是如何根据观察的霹部表情序列计算给定的模型参数，以使得此观察序列对 该模型有最大的概率。这涉及到此对各种表情描述的准确程度。作者通过与具体人 相关和与具体人不相关的面部表情识别两个实验，提进了一种可以自动分割和识别面部表 情的多层m 心压的模型，第一个与人相关的实验得到了9 1 4 3 的识别率。其中“高兴 的 表情识别率达到了董o o 。在后面一个与人不相关的实验中也取得了5 8 的识别率。 浙江工业大学硕士学位论文 ( 6 ) 近年来，有不少人对衄b o r 小波进行深入的研究并运用在面部表情识别中，取 得很优异的识别结果【3 钙8 】。g a b o r 小波是一组窄带带通滤波器，在空间域和频率域均有较 好的分辨能力，有明显的方向选择和频率选择特性。l y o n sm i c h lj 【3 4 】等对图像进行二维 小波变换，对变换后的幅度图像或者是自动人脸网格标定，或者是人工标定人脸网格，再 对标定区域的图像形成矢量，利用线性判别分析( l d a ) 的方法来进行最后的性别、种族、 表情识别。随着训练图像的增加( 从1 4 增加到1 2 7 ) ，三个方面的识别率也有很大的提高 ( 从6 0 多增加到9 0 多) 。 相反，t i 趾y i n 分l i 等【3 7 】的研究工作主要是在g a b o r 小波对面部运动单元的识别上， 他们将面部分成上部和下部两个部分，再标成一个个的运动单元( 有点类似于前面的面部 运动编码系统( f a c s ) ) ，然后结合几何特征进行表情识别，识别率为9 2 7 ，虚警率为 7 6 。文中还研究了g a b o r 小波对单个运动单元识别的问题，取得了8 3 的识别率。另外， r o g e r i of e r i s s 等1 3 8 】利用分级的小波网络( g a b o rwa _ v e l e t d ( s ) 对面部表情的定位做 了深入的研究。 ( 7 ) f i s h e r 最佳鉴别矢量方法的基本思想是将原来高维的模式样本投影到最佳鉴别 矢量空间以达到维数压缩的效果，投影后保证模式样本在新的空间中有最大的类间距离和 最小的类内距离，即模式在该空间中有最佳的可分离性。f i 幽e ra c t i o i l s 法是将这种识别的 原理应用在脸部特征点的运动上的一种方法。在文【1 6 捌中，f l d 都是与p c a 一起使用的， 在得到图像的类内散布矩阵& 和类间散布矩阵品后，对它们进行主分量分析。这样，再进 行f i s h e r 线性判别。1 9 9 9 年，d o n a t oa a i d u c a 等【1 6 】实验证明，在进行面部表情识别时，取 3 0 个主分量得到最佳的识别率7 5 7 。 ( 8 ) 局部特征分析法( l i 认) 方法利用表情图像的先验结构和灰度分布知识，找出 人脸图像的特征点的一种识别方法。它的优点是很快的找到特定的特征点，不受外部条件 ( 如光照等) 的干扰。它定义了一系列的局部映射核函数来达到与输入图像序列在二阶统 计上的最佳匹配。所以核函数的定义是至关重要的，文【2 5 】中根据主分量来定义核，以克服 主分量分析的后续分析困难的缺点。1 9 9 9 年，a a l l l u c a d o 加幻采用【4 0 】的核定义方式，利用 前1 5 5 个主分量和最近邻法则，得到了8 1 1 的识别率。 ( 9 ) 2 0 0 2 年，c h e nx w e n 等【4 1 1 将聚类方法【4 2 1 和线性判别分析( l d a ) 结合起来， 提出了聚类判别分析方法，用在表情特征的提取上取得了高达9 8 的“微笑”识别率。 ( 1 0 ) 其它的模式识别中的经典算法在表情识别中都有所应用，例如奇异值分解法 ( s v d ) 、松弛法等等。但由于其或者近年来研究较少( 如松弛法) ，或者前面已经介绍 1 2 浙江工业大学硕士学位论文 了原理相似的算法，( 如s ，前面已经分绍了p c a ) ，所以在此就不徽详细地阐述。 2 4 人脸表情的分类方法 表情分类指定义一组类别，并设计相应的分类机制对表情进行识别，归入相应类别。 根据是否利用时间信息来进行分析，人脸表情分类的方法可分为基于空间分析的方法和空 时结合的方法两类【l o 】。 2 4 1 空间分析的方法 ( 1 ) 基予专家规则霉距雕烈e 的方法 这类方法从入的观察角度出发来制定一些规则，对特征提取得出的参数，判断它符合 哪类规则，将其归入相应的类别。p a 瓶c 【4 3 朋1 利用a u 编码来描述输入的表情，然后与每 一种表情类别的躺编码描述进行比较，将其分类到最相近的一类基本表情中。基予专家规 则的方法可以更精确地描述入脸表情，从而更好地识别混合表情，同时由予它对表情进行 了编码，因此便于进行人脸表情的合成。 ( 2 ) 基于机器学习的方法 人工神经网 人工神经网络在静态图像的人脸表情识别中有很多运用。g o 蹬矗蝴【4 5 l 使用多层感知 的神经网络来进行表情识别，训练并测试了四种网络，得出s 形函数和径向基函数的神经 单元混合能较好地适合于前馈神经网络的结论。m a f 蛔在全脸图像中用2 维离散余弦变换进 行特征检测，然后用一个结构性单隐层的前馈神经网络作为表情分类器，效果比传统的神 经网络好。神经网络方法的缺点在于，当识别很多无限制的混合表情时，对分类器的训练 将会比较困难。 贝叶斯分类 s 曲e 湖首先使用朴素( n 赫) 贝叶斯分类器迸行表情的识别，并证明将特征分布的假设 由高斯分布改为柯西分布可以提高分类的性能。朴素贝叶斯分类器的缺点在于，它假设特 征之间是相互独立的，蔼事实上人脸盼表情发生过程中，各特征盼变化并不是完全独立的， 而是存在着相互制约的关系。c o h e n 阚在柯西分布的贝叶斯分类器基础上，使用高斯树状 分类器对特征之间的从属性进行建模，并且讨论了如何使用无标签的样本来训练贝叶斯网 络分类器，从蔼在有标签样本数较少的情况下提高分类器的性能【4 9 】。z h 鑫珏g 【5 q 采用一个兰 层的贝叶斯网络对脸部表情和脸部a u 之间的因果关系进行建模，底层为可观察数据层，包 浙江工业大学硕士学位论文 括一些基本鲶特征数据，如鼹、鼻、嘴、皱纹等等；孛闻层( 郄隐含瑟) 为鲻层；上层毙表 情层。同时结合黝，从时间和空间关系上同时对表情进行建模。 其他 支持向量机是在统计学习理论的基础上发展起来的一种分类方法，在解决小样本、爿每 线性和高维麓题主育很多优势。露前，支持向量枫是橇器学溜审应用最多的分类器之一， 近年来也被应用于表情识别中【5 1 捌。a d a b o o s t 方法将多个弱分类器结合起来训练形成强分 类器，不同分类器针对不同懿特征，透过蓼| | 练可以达封特征选择的毽煞，在模式识别领域 如图像检索和人脸检测中都有成功的应用。 耀斑瑟震使用燃q s 邈择特征与s v m 分类褶结合酶a 酝s v m 方法进行分类，取得较 好的识剐结果。w a 娃g 剐梢触o o 髓方法调练查找表型的弱分类器进行表情识别，在自酲收 集的数据库土的测试结果略优予s 蛭。 g 【5 4 l 提出特征选择线性规划的方法，将模式分类的阉题转化为最小化平均分类错误 的董2 薄数的闲题，获 嚣可以爵线性规划的方法来进行求解。两特征选择剐逶过限崩分类面 法向量的分量个数来完成。在实验中该方法可以用很少的特征数目达到接近予s v m 的识别 正确率。 2 4 。2 空时分耩的方法 在以篱的文献中，空时结合的分析方法还包括基于规则的推理以及循环謇率经鼹络等， 但近几年的文献中，只有隐骂尔科夫模型( 琢d d 黼m 列b v m o 曲1 ) 被普遍采用。 m m k 一5 5 】运甩伪3 维的隐马尔可夫模型( p 3 d 瑚以m s ) 进行动态人脸表情的分析。对序列 串鳃每一幅瞬豫用一个伪2 维的隐罨尔可夫模型p 2 d 琢心蛰进行建模，蒜用l 抛删对时 间状态进行建模，最后得到表示宪整表情动作的p 3 d 蚴。 h a s i l f 掰提出两步分析法，酋先将一系列线性分类器用于蠡瞄e 蠢等张l ，每次观察结暴结 合起来产生时阀信号，然舞用这一时闻信号作为训练数据训练离散 黝睫s 。用删方法进 行识别需要确定其初始和结束酶状态，因此一般用于单独酶表情痔列或分割好的表情序 列。c o k 投【4 8 1 提出多层次的删，第l 层为分别针对六种表情的6 个删模型；第2 层为表 示六种表情之闻状态变化的a 瓴曲v 模壅。将单个表情礤泓的状态输出联合起来作为高层 m a r k o v 模型的输入，并通过训练得到六种表情之间的转移概率，从而可以自动将视频分割 为不同的表情段进行分橱夸 薹4 浙江工业大学硕士学位论文 2 s 人脸表情数据库及算法比较 俗话说，“巧妇难为无米之炊。人脸表情识别离不开表情数据库的建立，没有表情库 的识别只是搿纸上谈兵嚣丽己。 目前，在入脸表情识别研究中使用最广泛的是c 氛椰的铷h n 融蝴如数据库【期，在很多 研究中被列为算法耽较的标准。c 。弧重：髓赫e 数据麾是基于a u 编码的数据瘁，含有2 l o 个 对象的大约2 0 0 0 个图像痒列，每个人有一系列的脸部活动，包括单个a u 或者a u 组合。其 次，霉本戈浓的女性表情数据库拍 髑羚【3 餐也得到较多使用。珏f 鼹是戬七种基本表情为 基础的数据库，包括1 0 位日本女性，每种表情有大约3 、4 幅图像，总共2 1 3 幅图像。此外， 还有一些数据库逸爵应罱子人脸