（计算机应用技术专业论文）基于帧间灰度差的动态表情识别.pdf

中文摘要 在情感表达中，人脸表情的变化是最为直观也是最为基础的一环。因而，也 成为情感计算的重要一环。本文所论述的人脸表情识别研究就是基于这样原因， 以人脸的不同表情为研究主体，以计算机对人脸表情的正确识别为目的而进行 的。 人脸表情识别一般分为人脸检测、特征提取、特征选择和表情分类等环节。 本文主要研究了特征提取、特征选择和表情分类过程中的一些关键问题，提出了 一些改进算法，并进行了仿真实验。主要的工作如下： 1 本文使用的是一种基于h a a r 小波基函数的的矩形特征与级联的b o o s t e d 机器学习相结合的对象探测算法进行人脸检测。 2 对识别的图像序列进行预处理，并是利用人脸分块与人脸部件特征的先 验知识，结合人脸轮廓投影的方法进行表情区域定位。 3 对于动态的人脸表情识别，提出了基于一组1 4 帧表情图像的，区别于光。 流法的，而是利用帧间灰度的动态差别的，能够在不降低识别率的条件下，提供 良好的实时性的表情特征的提取算法。 4 使用支持向量机( s v m ) 为分类器，将所提取出来的特征向量进行训练 分类与识别 5 建立了基于以上过程的人脸表情识别系统，进行了仿真实验。以 c o h n k a n a d ea u c o d e df a c i a le x p r e s s i o nd a t a b a s e 为实验数据库。取得了比较满 意的实验结果。证明了本文所提出的算法的有效性。 关键词：情感计算表情识别面部分块表情区域定位动态序列帧间差支持 向量机 a b s t r a c t i nt h ee m o t i o n ，f a c i a li st h ed i r e c ta n d o b j e c to ft h ea f f e c t i v ec o m p u t i n g h o w t h em a j o rp o i n to ft h ep a p e r b a s i ce x p r e s s i o n ，s oi ti sa l s ot h ei m p o r t a n t t oi d e n t i f yt h ed i v e r s eo ff a c i a lc o r r e c t l yi s f a c i a le x p r e s s i o nr e c o g n i t i o nc o n s i s t so fs u c hm o d u l e sa sf a c ed e t e c t i o n , f e a t u r e e x t r a c t i o n ，f e a t u r es e l e c t i o na n de x p r e s s i o nc l a s s i f i c a t i o n i nt h i s p a p e r , f e a t u r e e x t r a c t i o n , f e a t u r es e l e c t i o na n de x p r e s s i o nc l a s s i f i c a t i o na r es t u d i e d s e v e r a l i m p r o v e da l g o r i t h m sa n dm e t h o d sf o rt h e s et a s k sa r ed e v e l o p e d t h ep e r f o r m a n c e so f o u rm e t h o d sa r ei l l u s t r a t e db ys i m u l a t i o ne x p e r i m e n tr e s u l t s t h em a j o rc o n t r i b u t i o n s o f t h i sp a p e ra l ea sf o l l o w s 1u s i n ga na l g o r i t h mh a a rw a v e l e tc o m b i n e dw i t ha d a b o o s tf o rf a c ed e t e c t i o n 2p r e p r o c e s s i n gt h ei m a g e sw h i c ha r et ob ei d e n t i f i e d ，a n dt h eu s i n gb l o c k f a c e a n dt h ep r i o r ik n o wl e d g e so ff a c es t r u c t u r ec o m b i n e dw i t hp r o j e c t i o no f f a c ec o n t o u r m e t h o d s t a r g e t i n ge x p r e s s i o no ft h er e g i o n 3b ed i f f e rf r o mt h eo p t i c a lf l o w , u s i n gt h eg r a yd i f f e r e n c eb e t w e e nf r a m e st o g e tt h ed y n a m i cs e q u e n c ef e a t u r e s t h ep u r p o s ei sp r o v i d ew i t ham o r er e a l t i m e d a l g o r i t h m 4u s i n gt h es u p p o r tv e c t o rm a c h i n e ( s v m ) t ot r a i na n dr e c o g n i z et h ef a c i a l e x p r e s s i o n 5b a s e do nt h ea b o v ep r o c e s so ft h ee s t a b l i s h m e n to ff a c i a l e x p r e s s i o n r e c o g n i t i o ns y s t e m ，c o n d u c t e das i m u l a t i o ne x p e r i m e n t t oc o h n k a n a d ea u c o d e d f a c i a le x p r e s s i o nd a t a b a s ef o rt h ee x p e r i m e n t a ld a t a b a s e a c h i e v e ds a t i s f a c t o r y r e s u l t sp r o v e st h ea l g o r i t h m k e yw o r d s ：a f f e c t i v ec o m p u t i n g ，f a c i a l e x p r e s s i o nr e c o g n i t i o n ，f a c e b l o c k e d ，f a c i a le x p r e s s i o nr e g i o nl o c a t i o n ，g r a yd i f f e r e n c e ，s v m 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨壅蠢茎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名： 身旃 签字日期： 2 以母年勺月1 日 学位论文版权使用授权书 本学位论文作者完全了解墨鲞盘堂有关保留、使用学位论文的规定。 特授权叁盗盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 易莆 签字日期：2 瘀年c ) 月乙，日 导师签名： 匙次 签字吼2 司年( 7 月乙日 签字日期： 2 卅年7 月2 ，日 天津大学硕士学位论文第一章绪论 第一章绪论 1 1 人脸表情识别的研究内容 人脸是人类情感表达和交流的最重要、最直接的载体。通过人脸可以推断出 一个人的种族、地域，甚至身份、地位等信息；人们还能动过人脸丰富而负责的 细小的变化，得到对方的个性和情绪状态。人脸在人与人的交流中不但能表达友 好、敌对、赞成和反对等语气上的信息，甚至可以对话语、语言等语义上的信息 进行说明和补充。从古至今，各类艺术创作者一直使用神态各异的人物来表达自 己的思想、展示故事的情节。尤其在电影创作中，往往演员的一个眼神就能够将 人物的内心展现无遗。正是因为人脸在人的情感表达中扮演着重要的角色，人们 很早就意识到人脸的重要性。1 8 7 2 年，c a r i e sd a r w i n 就出版了，人与动物的情 绪表达( t h ee x p r e s s i o no f t h ee m o t i o n si nm a na n da n i m a l s ) ) ) 一书开始了对人脸 表情的研究。长期以来，科学界从计算机图形学、图像处理、计算机视觉、人类 学等多个学科对人脸进行研究。 1 1 1 人脸识别 广义的人脸识别是指分析待识别的人脸图像【3 】，从中提取出有效的信息，并 与数据库中的已知人脸信息进行比较，从而得出决策或认证信息的一种技术。其 研究内容包括以下五个方面： ( 1 ) 人脸检测从各种不同的背景中检测是否存在人脸，并确定其位置、大 小、形状、姿态等信息的过程。它关系到后续识别工作能否正确进行，并保障最 终识别结果的可靠性。 ( 2 ) 人脸表征确定表示检测出的人脸和数据库中的已知人脸的表述方式。 通常的表示方法包括几何特征( 如欧氏距离、曲率、角度等) 、代数特征( 如矩 阵特征矢量) 和固定特征模板等。 ( 3 )人脸鉴别即狭义的人脸识别，就是通常所指的将待识别的人脸与数据 库中的已知人脸进行比较，得出相关信息。这一过程的核心是选择适当的人脸表 示方式和匹配策略，系统地构造与人脸的表征方式密切相关。 ( 4 ) 表情姿态分析即对待识别人脸的表情或姿态信息进行分析，并对其 天津大学硕十学位论文第章绪论 加以归类。 ( 5 ) 生理分类对待识别人脸的物理特征进行分类，得出其年龄、性别、种 族等相关信息，或从几副相关的图像中推导出希望得到的人脸图像，如从父母的 脸像推导出孩子的脸像等。 本文中的人脸识别主要指的是狭义的人脸识别，指将待识别的人脸与数据库 中的已知人脸之间进行匹配的人脸鉴别。 1 1 2 表情识别 表情的研究融合了多个学科、多个领域，计算机人脸表情识别的定义是：利 用计算机对人脸的表情信息进行特征提取分析，按照人的认识和思维方式加以归 类和理解，利用人类所具有的情感信息方面的先验知识使得计算机进行联想，思 考以及推理，进而从人脸信息中去分析理解人的情绪，如快乐、惊奇、愤怒、恐 惧、厌恶、悲伤等。计算机表情识别的- 丰要目的是利用计算机进行人类表情的模 拟和分析，进而更好地理解面部表情在艺术、人际交往，特别是非语言交流以及 情绪加工中所起到的作用。 1 2 人脸表情识别的研究意义与应用 总的来说，有三个大方面的应用驱动着计算机人脸研究的进展：其一是安全， 包括视频监控、生物识别和认证等，相应的典型研究方向为人脸检测、人脸跟踪、 人脸识别等；其二是艺术，可以应用在影视艺术、游戏等行业，应用需求为：如 何使用计算机生成具有丰富表情的人脸，其对应的典型研究方向为真实感闫乍真 实感，2 d 3 d 计算机人脸动画；其三为人机交互，主要研究方向为多通道人机接 口( 注视跟踪与识别) 、用户认知建模、注意机制等，应用需求为：使得计算机 能够理解人的面部动作、行为、情感等，并据此做出反馈。 下面分别从人脸识别和表情识别两个方面具体介绍人脸表情识别的研究意 义与应用。 1 2 1 人脸识别 研究人脸识别在理论和技术上都具有重要的意义：一是可以推进对人类视觉 天津大学硕士学位论文第章绪论 系统本身的认识；二是可以满足人工智能应用的需要。采用人脸识别技术，建立 自动人脸识别系统，用计算机实现对人脸图像的自动识别有着广阔的应用领域和 诱人的应用前景。具体来说，人脸识别技术的典型应用有： ( 1 ) 身份鉴定( 一对多的搜索)在鉴定模式下，确定一个人的身份。 人脸识别技术可以快速地计算出实时采集到的面纹数据与人脸图像数据中已知 人员的面纹数据之间的相似度，给出一个按相似度递减排雷的可能的人员列表， 或简单地返回鉴定结果( 相似度最高的) 和相对应的可信度。 ( 2 ) 身份确认( 一对一的比对)在确认模式下，面纹数据可以存储在 智能卡中或数码记录中，人脸识别技术只需要简单地将实时的面纹数据与存储的 相比对，如果可信度超过一个指定的阈值，则比对成功，身份得到确认。 ( 3 ) 监控应用面像捕捉，人脸识别技术可以再监控范围中跟踪一个人 和确定他的位置。 ( 4 ) 监视可以在监控范围内发现人脸，而不论其远近和位置，能连续 地跟踪他们，并将他们从背景中分离出来，将他们的面相与监控列表进行比对。 整个过程完全是无需干预的、连续的和实时的。 ( 5 ) 面像数据压缩能将面纹数据压缩到8 4 字节，以便用于智能卡、条 形码或其他存储空间有限的设备中。 1 2 2 表情识别 人类的语言分为自然语言和形体语言两类。面部表情是形体语言的一部分， 既是人们交往的一种手段，也是情绪表达的一种方式。在人类交往过程中，言语 与表情经常是相互配合的。同时，表情比言语更能显示情绪的真实性。有时，人 们能够运用言语来掩饰和否定其情绪体验，但是表情则往往掩饰不住内心的体 验。情绪作为一种内心体验，一旦产生，通常会伴随相应的非言语行为，如面部 表情和身体姿势等。一些心理学家研究发现，在人类进行会话交流传递信息时， 言语内容占7 ，说话时的语调占3 8 ，而说话人的表情占5 5 ，所以说表情在 人类交往活动中起着非常重要的作用。 面部表情的分析语识别时实现智能化的人机接口必不可少的个重要方面， 是关于人工心理理论【2 】和情感计算研究的一个重要组成部分。计算机或机器人如 果能够像人类一样具有理解和表达情感的能力，并能够自主适应环境，这将从根 本一k 改变人机关系，使之能够更好地为人类服务。这就是研究人脸表情识别的理 论意义。另外，人脸表情识别的研究还具有重要的学术价值。人脸是一类具有在 复杂细节变化的非刚性自然物体，研究人脸表情将为解决其他类似复杂模式的识 天津大学硕士学位论文 第一章绪论 别及其相关问题( 例如人脸识别) ，提供重要的启示。同时，人脸表情识别的研 究将对推动认知科学、生理学、心理学等相关学科的研究有着非常积极的影响。 在实际中，人脸表情识别有着广泛的应用前景，计算机的人脸表情识别能力 对计算机视觉系统、建模和数据库的发展都有着重要作用。当前，在人机交互中， 结合进视觉、听觉以及更多的通道，如触觉、情感状态、表情等是必然趋势。未 来计算机的发展将是以人为中心的，不仅计算机能够通过多个通道、多种信息表 现形式进行人机对话，而且能综合采用多个通道，使人能通过语言、文字、图像、 手势、表情等与计算机以自然、并行、协作的方式进行人机对话，还能通过整合 来自多个通道的输入来捕捉用户的交互意图，提高人机交互的自然性和高效性。 此外，人脸表情识别也是视频人脸图像检索和低带宽人脸数据传输中的关键技 术。当在图像流中检索人的动作以及情感状态的内容时，基于视觉的人脸表情识 别时有用的。人脸数据的低带宽传输，可以通过利用对人脸动作的中间层和高层 的视觉表示而更高效( 例如，传送一个微笑和一些可以决定嘴巴动作的参数) ， 这样在接收端就可以利用这些数据恢复出人脸动作。在人类行为科学的研究方 面，人们一直希望能够揭开人脸表情的神秘面纱。由于人工进行表情动作编码太 费时费力，人们希望能借助计算机来进行自动的人脸表情识别，并利用其结果来 发现新的表情，以此作为人类行为研究的一个辅助手段。在语言学中，可辅助唇 读；在行为学中，能帮助人们研究和建立交流中的可信度；另外，在其他方面， 如而部神经瘫痪诊断、人脸图像合成与动画、智能机器人、智能监控等，表情识 别都有着重要的应用价值。 天津人学硕士学位论文 第二章人脸表情识别综述 第二章人脸表情识别综述 2 1 人脸表情识别的早期研究历程 对于人脸表情识别的研究，早在几百年前，就吸引了众多著名的各个学科 的科学工作者的注意力。并付出了艰苦的努力，取得了诸多成就。 2 1 1 其他学科对于表情识别的研究 查尔斯贝尔( c h a r l e sb e l l ) 是一位在生理学方面有着很多发现的学者，并 因此获得了很大的声誉。他的表情的剖析与哲学( a n a t o m ya n dp h i l o s o p h yo f e x p r e s s i o n ) 从1 8 0 6 年到1 8 4 4 年再版三次。书中生动地描述了各种各样的情绪 和图示，并阐明了表情与呼吸之间存在的密切关系：在激烈的呼气运动中，。两眼 周围的各条肌肉，为了防止血液压迫此处纤细的器官而进行不随意的收缩。但是 对于各种不同的情绪下，为什么各种不同的肌肉会进行如此动作? 比如陷入悲哀 或是忧郁之中的人，为什么眉毛内端向上蹙起，而嘴角却向下拉，贝尔先生没有 加以说明，书中也没有明确的说明。 m 莫罗( m m o r e a u ) 与1 8 0 7 年发表了对于脸部肌肉运动方面的种种见解、 观察和论断：但是在哲学方面的解释却没有做什么工作。例如：他解释颦蹙这个 脸部动作时说：“这种运动是苦苦思索和潜心思考某一问题时的表情中最为明显 的一个标志。如果从肌肉的位置来考察，即人在受到真正的压迫而产生机动或者 受到过于强烈的刺激时，其面部表情的主要特征是紧缩或者凝集。在情绪方面也 是这样，就好像一个人在感情方面为了缩小恐惧或厌恶的印象，也是要进行肌肉 的收缩或者说缩紧而使身体迅速复原。”这种解说表明了莫罗试图阐明各种表情 的意义和起源。 1 8 6 2 年，达齐恩博士( d r d u c h e n n e ) 的人相的机制( m 6 c a n i s m ed el a p h y s i o n o m i eh u m a n i n e ) 运用电学分析法( m e a n so fe l e c t r i c i t y ) 来阐述脸部肌 肉的运动，并附有生动的照片作为说明图解。他的观点一方面比较准确地叙述了 面部肌肉，但是另一方面对于表情的肌肉运动，他主要解说了单一的肌肉的收缩， 对各肌肉之间密切的联系，比如说为什么情绪对某些肌肉起收缩作用，而对另一 些肌肉却不起作用，完全没有进行解释。其中，他对于面部发生的表情运动进行 天津大学硕十学位论文 第二章人脸表情识别综述 说明：“造物主固然不至于专门就肌体的必要处所而用意，但是即使是像激情那 样最容易消失的特征，他如果想在人类的面部上稍作标记，那么无论是一个还是 多个，也都是得自于神的意志( 如果可以这样说) 并随心所欲地变动这些肌肉。 如果像这样把人类的相貌一次造成，那么为了使其普遍永恒，仅仅将那些常常通 过肌肉收缩就能表现人类情感的本能赋予所有人类就足够了。”通过叙述，我们 可以知道达齐恩博士没有清楚地意识到进化原理。 1 8 6 5 年，法国著名解剖学家皮埃尔格拉特莱特( p i e r r eg r a t i o l e t ) 所著的 人相及表情运动( d el ap h y s i o n o m i ee td e sm o u v e m e n t sd e x p r e s s i o n ) ) ) 出版。 这本书最为值得注意的就是书中所运用的材料都来源于珍贵的观察记录，他总是 能用简洁明了的语句表达看似复杂的学说。在书中论述到：“凡是感觉、想象以 及最高尚并且最抽象的思想，如果与之相关的感情不起作用的话，那么就不会起 作用；并且这些感情能够直接地在外部各个组织的所有范围内，以共感的、象征 的或者比喻的方式表现出来。这两种现象就是我根据自己所注意到的所有事实中 得出的结论。这些外部各个组织中，无论是什么，都恰好和它们各自的直接动作 一样，通过各自所具备的独特的动作的运作方式来表现感情。”但是格拉特拉特 在书中将遗传习惯和某种程度内的个体习惯轻描淡写一笔带过，对于许多体态和 表情不能给予恰当的说明，有的竟然什么解说都没有。同时，他明确地认为，各 个物种是分别创造出来的，这一点，他和其他论述表情的学者的观点是一样的。 1 8 6 7 年，皮德里特博士( d r p i d e r i t ) 出版了构拟人相学体系 ( w i s s e n s c h a f t l i c h e ss y s t e md e rm i m i ku n dp h y s i o g n o m i k ) ) ) ，书中有两句话似乎可 以简单地概括全书的内容。他写道：“表情的肌肉运动，一半与想象的对象有关， 一半与想象上的感官印象有关，在这个命题之中，包含着理解一切表现的肌肉运 动的关系。”他还论述到：“表情运动，主要表现于脸部无数的可以运动的肌肉， 其理由在于：一是运动这些肌肉的神经，从最近的精神器官之处发出；另一个是 这些肌肉最有力地支持各种感觉器官。” 18 5 5 年，赫伯特斯宾塞( h e r b e r ts p e n c e r ) 所著的心理学原理( p r i n c i p l e s o f p s y c h o l o g y ) 对感情的解释如下：“异常恐惧时，就会嚎叫，拼命逃窜藏匿， 心悸亢奋、颤抖，这些表现恰好与恐惧危难时的经验所引起的表现相似。感情激 烈而如死如狂时，就会导致肌肉组织的一般紧张，如咬牙切齿、摩拳擦掌、瞪大 眼睛、鼻翼突起、咆哮不止，这些表现形态，比起屠杀猎物时所表现的动作稍显 微弱。” 除了斯宾塞，所有有关表情的著书者似乎都坚信：物种( 包括人在内) 是以 各自的目前状态的原状而产生的。 关于表情的简单论述，在各种著作中很多，在此不一一列举；对于人类表情 天津大学硕十学位论文第二章人脸表情识别综述 的研究，影响最大的就是达尔文。下节将介绍他的研究。 2 1 2 达尔文的贡献 达尔文提出入与动物的表情都是进化的产物。 达尔文在当时研究表情是比较困难的，因为表情运动往往是极其轻微，而且 性质又极其短暂，其中的差异固然可以明白地被认识，但是差异究竟存在于什么 地方，却是不可能明白阐述的，比如，亲眼目睹某种深度情绪时，目击者的同情 心便极强地兴奋起来，以至于忘却了应该进行缜密的观察，有时候几乎不能进行 缜密的观察。为了尽力获得稳定的基础，并且远离俗见，在确定相貌的特定运动 以及身体的表情实际上能够在何种程度上表现某种精神状态时，达尔文发现用下 面的这些方法时最为有用。 第一，观察幼儿。如贝尔所说，幼儿通过“非常力”表现许多情绪，但是等 到他们长大以后，我们人类的表情之中就会有某一种“己失去了幼年时期能使表 情汹涌而出的纯粹单纯的源泉了。” 第二，应对精神病患者进行研究。因为精神病患者最容易陷入极强的激情之 中，并且没有任何约束地表露出来。 第三，像达齐恩博士一样，对一位面部不太敏感的老人的面部上做了实验。 在老人的面部肌肉上使用电疗刺激而产生各种表情，并将这些表情加以扩大摄 影，不加说明地给不同年龄层、不懂性别的受过教育的人看，然后向他们询问这 位老人是由于何种情绪或感情而导致面部动作。一方面对于其中的几种表情，几 乎所有的人都可以认出照片上老人的表情，但另一方面，还有两三张照片，每个 人的答案十分不同，这种事实表明，达尔文所确信的人类很容易被自己的想象力 所迷惑这一点。因为对于特殊的两三张照片，我们会通过阅读照片的说明来理解 相对应的表情，如果没有说明，我们会毫无疑问地被迷惑。 第四，达尔文希望能从那些被称为“极为缜密的观察者”的一流的画家和雕 塑家那里获得巨大的帮助。但是他通过许多名作画像和照片，也只有一二例有所 收获，因为作为美术作品是以表现美为主要目的的，而面部的收缩会破坏美感。 第五，确定一直以来经常没有证据断言的同一表情和体态是否可以普通流行 于所有人类，尤其是那些与欧洲人接触甚少的人种。相貌或身体的同一种运动表 示不同人种的同一情绪是，会以多大的准确性推定这种表情是真正的表情，即所 说的与生俱来的或是本能的表情。每个人幼年时代所习得的习惯表情或体态，在 不同的人种间大约是不同的，就像他们的语言一样。 达尔文对于从不同观察者那里得到的3 6 个答案( 涉及到一些完全不同而尚 未开化的民族) ，发现了下面的重要意义：即同精神状态，全世界的人都是用 天津大学硕士学位论文第一章人脸表情识别综述 显著的同一性表现出来，况且事实本身也极有趣味，它可以作为所有人类的身体 构造与精神素质之间有密切关系的有力证据。 2 2 计算机科学对人脸表情识别的研究 计算机对于面部的自动分析和识别可以分为两个方面：一是永久面部特征的 分析；二是运动面部特征分析或者称瞬间面部特征分析。以下就分别介绍这两种 面部分析的起源、发展、研究现状以及应用等。 第一种，永久面部特征的分析，主要是针对面部的轮廓、五官、纹理等特征， 对应的称为面像识别或人脸自动识别技术，就是利用计算机对于输入的人脸图像 或者视频，首先分析其中是否存在人脸，如果存在人脸，则给出入脸的位置和大 小，然后从检测到的人脸提取人脸中的有效识别信息，并将其与已知人脸图像库 中的人脸进行比对，这是用来辨认身份的一门技术。 第二种，运动面部特征分析，主要就是表情的分析、编码与识别。让未来的 计算机会思维、有感情、能说话、可以与人类平等交流一直是人类的美好愿望， 通过计算机面部分析，但愿有那么一天，计算机能够理解我们的表情。当一位老 人在a t m 屏幕前眯着眼辨认字体时，字体尺寸立刻加倍。当一名妇女对着购物 中心的旅游广告微笑时，会促使设备打印出一张旅游折扣表给她。这些不是幻想， 一切都会实现的。现在许多研究机构都看好表情机器识别技术，相信此技术具有 很大的科研价值和商业价值。 2 2 1 人脸识别 人脸识别的研究始于2 0 世纪6 0 年代末，最早的研究鉴于参考文献 1 】，b l e d s o e 以人脸特征点的间距、比率等参数为特征，建成了一个半自动的人脸 识别系统。而且早期人脸识别研究的主要有两大方向：一是提取人脸几何特征的 方法，包括人脸部件归一化的点问距离和比率，以及人脸的一些特征点，如眼角、 嘴角、鼻尖等部位所构成的二维拓扑结构；二是模板匹配的方法，主要是利用计 算模板和图像灰度的自相关性来实现识别功能。b e r t o 在1 9 9 3 年对这两类方法作 了较全面的介绍和比较后认为，模板匹配的方法优于几何特征的方法。 目前的人脸识别的研究也主要有两个方向：其一是基于整体的研究方法，它 考虑了模式的整体属性，包括特征脸( e i g e n f a c e ) 方法，s v d 分解的方法，人 脸等密度线分析匹配方法、弹性图匹配( e l a s t i cg r a p hm a t c h i n g ，e g m ) 方法、 隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 方法以及神经网络的方法等； 其二是基于特征分析的方法，也就是将人脸基准点的相对比率和其他描述人脸脸 天津大学硕士学位论文 第二章人脸表情识别综述 部特征的形状参数或类别参数等一起构成识别特征向量。这种基于整体脸的识别 不仅保留了人脸部件之间的拓扑关系，而且也保留了各个部件本身的信息，而基 于部件的识别则是通过提取局部轮廓信息及灰度信息来设计具体识别算法。有文 献认为，基于整个人脸的分析要优于基于部件的分析，理由是前者保留了更多的 信息，但是这种说法值得商榷，因为基于人脸部件的识别要比基于整体的方法来 得直观，它提取并利用了最有用的特征，如关键点的位置以及部件的形状分析等 等，而对基于整个人脸的识别而言，由于把整个人脸图像作为模式，那么光照， 视角以及人脸尺寸会对人脸识别有很大的的影响，因此如何能够有效地去掉这些 干扰非常关键。虽然如此，但对于基于部件分析的人脸识别方法而言也有困难， 其难点在于如何建立好的模型来表达识别部件。近年来的一个趋势是，将人脸的 整体识别和特征分析的方法结合起来，如k i nm a nl a m 提出的基于分析和整体 的方法，a n d r e a sl a n i t i s 提出的利用可变形模型( f l e x i b l em o d e l ) 来对人脸进行 解释和编码的方法。 计算机人脸识别技术是近2 0 年才逐渐发展起来的，2 0 世界9 0 年代更成为 科研热点。近几年来关于人脸识别的研究取得了很大的进步，国际上发表有关论 文的数量大幅增长，仅1 9 9 0 1 9 9 8 年之间，工程索引( e n g i n e e r i n gi n d e x ，e 1 ) 可检索到的相关文献就多达数千篇。美国电气及电子工程师学会( i n s t i t u t eo f e l e c t r i c a la n de l e c t r o n i c se n g i n e e r s ，i e e e ) 的p a m i ( 模式分析与机器智能) 汇 刊还于1 9 9 7 年7 月出版了人脸识别专辑，每年的国际会议上关于人脸识别的专 题也屡屡可见。由于人脸识别实验所采用的人脸数据库通常不大，最常见的人脸 数据库仅包括1 0 0 幅左右的人脸图像，如m i t ( 麻省理工学院) 、y a l e 、c m u ( 卡 耐基梅隆大学) 等人脸数据库均为小型库，且由于不同的人脸数据库之间的输入 条件各异，因此不同的识别程序之间很难进行比较。为了促进人脸识别算法的深 入研究和实用化，美国国防部发起了人脸识别技术( f a c e r e c o g n i t i o n t e c h n o l o g y ， f e r e t ) 工程，它包括一个通用人脸数据库和一套通用测试标准。该f e r e t 人 脸数据库可用于各种人脸识别算法的测试比较。1 9 9 7 年，f e r e t 人脸数据库存 储了取自1 1 9 9 个人的1 4 1 2 6 幅图像，其中同一个人的图像差异，包括不同表情、 不同光照、不同头部姿势以及不同时期( 相隔1 个月以上) 拍摄差异等。如今 f e r e t 人脸数据库仍在扩充，并定期对各种人脸识别程序进行性能测试，其分 析测试结果对未来的工作起到了一定的指导作用。由于f e r e t 人脸数据库中包 括军人的图片，不能在美国以外获得，因此其他国家的研究只能采用本地的人脸 库，如英国的m a n c h e s t e ( 曼彻斯特) 人脸数据库。 天津大学硕十学位论文第一章人脸表情识别综述 2 2 2 表情识别 计算机人脸表情研究开始于2 0 世纪7 0 年代，s u w a 和s u g i e t 9 】等人于1 9 7 8 年对表情识别做了一个最初的尝试，他们跟踪一段脸部视频动画，得到每帧图片 上2 0 个关键点的运动规律，将此运动规律与预先建立的不同表情的关键点运动 模型相比较，进行表情分析。当然这还只是初步的尝试，表情分析、编码与识别 作为多模式人机交互的重要组成部分而受到关注，而真正发展是在2 0 世纪9 0 年 代。日本的东京大学、京都大学、a t r 研究所( a d v a n c e dt e l e c o m m u n i c a t i o n s r e s e a r c hi n s t i t u t ei n t e r n m i o n a l ，国际电气通信基础技术研究所) ；美国的麻省理工 学院( m i t ) 媒体实验室、卡内基梅隆大学( c m u ) 机器人研究所、马里兰 ( m a r y l a n d ) 大学、佐治亚工学院；欧洲的剑桥大学、曼彻斯特大学等都投入很 多人力物力来进行这方面的研究【1 4 1 。 在日本，2 0 世纪9 0 年代初，东京大学的h 的s h ik o b a y a s h i 和f u m i oh a r a 利用神经网络方法对基本表情和混合表情进行机器识别，最终将表情分解为惊 奇、恐惧、厌恶、愤怒、高兴和悲伤，并将这6 个基本表情中的2 或3 个表情进 行合成。他们借助来自眉毛、眼睛、嘴三个区域的6 0 个面部特征点( f a c i a l c h e r a c t e r i s t i cp o i n t ，f c p 纠) 的坐标来获取面部表情信息，并将其作为神经网络 的输入进行驯良，训练图像来自用录像带记录的3 0 个对象的1 7 2 幅具有混合表 情的面部图像。最后，将识别结果与人类对表情的识别结果进行了比较，已经得 到7 0 相对较好的识别率。日本a t r 媒体整合与通信研究实验室的k e n j im a s e 提出利用光流来跟踪运动单元，从而进行表情识别。m a s e t 6 】的表情分析思想分从 上至下和从下至上两个方向。从上至下：假设脸部图像被分解成肌肉单元 对 应于动作单元( a c t i o nu n i t ，a l l ) ，把肌肉单元集合成矩形，在矩形中计算光 流。这种方法严重依赖于矩形的定位。从下至上：在矩形区域中计算光流，量 化成4 个方向，每个窗口提取了一个主要的肌肉收缩的方向。定义并提取一个 1 5 维的特征向量来表征表情序列中光流变化最活跃的点。实验中对高兴、愤怒、 厌恶、惊奇四种表情进行了分类，用基于k 最近邻的方法，识别率达到了8 0 。 数据来源是作者本人的若干组各种表情图像序列：2 0 中作为样本数据( 每种表 情5 组数据) ，3 0 组作为测试数据，图像大小为2 5 6 2 4 0 像素。 在美国，同样是2 0 世纪9 0 年代，佐治亚工学院的i r f a na e s s a 教授和m i t 媒体实验室的a l e xp e n t l a n d 教授【4 】，用图像序列作为输入的计算机视觉系统来观 察面部的运动单元。视觉观察与感知是通过优化估计光流方法与描述面部结构的 几何、物理肌肉模型相结合得到的。这种建模方法产生了一个随时间变化的面部 形状的空间模板和一个独立的肌肉运动群的参数化表征。这些肌肉运动模板可以 天津大学硕士学位论文第：章人脸表情识别综述 被用于分析、解释与合成表情。数据库中图像的大小为4 5 0 x 3 8 0 像素，来源于 7 个对象的5 2 幅表情序列，产生所“需要”的表情，与真正意义下的情绪并无 关系。识别的表情或表情动作是：高兴、惊奇、愤怒、厌恶和抬眉毛，识别率达 到了9 8 。马里兰大学的y a s e ry a c o o b 和l a r r yd a v i s 7 ，b l a c k 和y a c o o b 的表 情识别方法都是基于面部动作编码系统( f a c i a la c t i o nc o d i n gs y s t e m ，f a c s ) 编码的。y a c o o b 和d a v i s 集中于分析与嘴、眼睛和眉毛边缘的相关运动，把光流 的方向场量化成8 个方向。同时建立了一个b e g i n n i n g a p e x e n d i n g 时间模型， 规定每种表情的整个过程以中性表情作为开始和结束，并定义了变化中每个阶段 的开始与结束的规则。识别方法使用简化的f a c s 规| i ! | j 来识别六种表情。他们的 数据库来自3 2 人的1 0 5 种各种表情，图像大小为1 2 0 x1 6 0 。对各种表情的识别 率分别是：高兴为8 6 ，惊奇为9 4 ，厌恶为9 2 ，愤怒为9 2 ，恐惧为8 6 ， 悲伤为8 0 。m a r kr o s e n b l u m 1 5 和y a s e ry a c o o b 等人用径向基函数网络( r a c i a l b a s i sf u n c t i o nn e t w o r k ，r b f n ) 结构，学习脸部特征与人类情绪之间的相关性， 在最高一级识别情绪，在中间一级决定脸部特征运动，在最低一级恢复运动方向。 特征提取中不关注脸部的肌肉运动模型，二是关注特征部件边缘的运动。此系统 的识别率达到了8 8 。 在欧洲，剑桥大学计算机实验室的r a n ae 1k a l i o u b y 和p e t e rr o b i n s o n t 8 】的研 究主要针对：自动识别用户实时的精神状态( 包括认知状态) 的接口，以及发展 表情在人机交互中的潜在用途。首先截取视频流中的头肩序列，接着对图像进行 运动单元分析，最后利用h m m 分类器分析头部运动和表情。实验测试在2 0 7 个 图像序列中进行，其中包括9 0 个基本表情和1 0 7 个混合表情，系统对于6 种基 本表情的识别率达到了8 6 ，而混合表情的识别率为7 9 。 曼彻斯特大学的图像科学与生物工程系的d a v i dc r i s t i n a c c e 和t i mc o o t e s 采 用a d a b o o s t 算法和哈尔小波( h a a rw a v e l e t ) 【l o 】变换来提取面部特征，该算法无 论对于高分辨率还是低分辨率的图像，都有稳定的人脸定位性能。 在国内，北京科技大学王志良教授首次提出了人工心理的概念，对人的心理 活动( 包括情感、意志、性格、创造等) 进行人工模拟，确立了人工心理理论结 构体系( 目的、法则、研究内容、研究方法、应用范围) ，并把这个理论应用于 情感机器人、商品选购系统等实际生活中，取得了较好的效果，目前该课题组正 在情感建模与计算、表情的分析与合成等方面进行深入探讨。此外，哈尔滨工业 大学、中国科学院计算机研究所、中国科学院自动化研究所也开展了相关的研究。 天津大学硕士学位论文第_ 章人脸表情识别综述 2 3 相关的数据库 人脸研究需要用到大量的人脸图像，人脸数据库是人脸识别算法研究、开发、 评测的基础，具有重要的意义。目前国际上常用的人脸数据库有 1 ) m i t 人脸数据库：由麻省理工学院媒体实验室创建，包含1 6 位志愿者 的2 5 9 2 张不同姿态、光照和大小的面部图像。 2 ) c m up i e 人脸数据库：由美国卡耐摹梅隆大学创建，p i e 就是p o s e ( 姿 态、i l l u m i n a t i o n ( 光照) 和e x p r e s s i o n ( 表情) 的缩写，包括来自6 8 个 志愿者的4 1 3 6 8 张面部图像，其中包括了每个人的1 3 种姿态条件、4 3 种光照条件和4 种表情下的照片，这些姿态和光照变化图像也是在严格 控制的条件下采集的。现有的多姿态人脸识别的文献基本上都是在c m u p i e 人脸数据库上的测试的。 3 ) y a l e 人脸数据库：由耶鲁大学计算视觉与控制中心创建，包括1 5 位志 愿者的1 6 5 张图片，包含光照、表情和姿态的变化。此外，耶鲁大学还 创建了用于光照和姿态问题的建模与分析的人脸数据库，包括了1 0 人的 5 8 5 0 幅多姿态、多光照的图像。其中的姿态和光照变化的图像都足在严 格控制的条件下采集的，主要由于采集人数较少，该人脸数据库的进一 步应用受到了比较大的限制。 4 ) f e r e t 人脸数据库：由美国国防部的f e r e t 项目创建的，包含1 4 0 5 l 张多姿态、光照的灰度人脸图像，是人脸识别领域应用最为广泛的人脸 数据库之一，其中的多数人是西方人，每个人所包含的人脸图像的变化 比较单一。 5 ) a r 人脸数据库：由西班牙巴塞罗那计算机视觉中心建立，包含1 1 6 人的 3 2 8 8 幅图像。采集环境中的摄像机参数、光照环境、摄像机距离等都是 严格控制的。 6 ) o r l 人脸数据库：由剑桥大学a t & t 实验窒创建，包含4 0 人的4 0 0 张 面部图像，部分志愿者的图像包括了姿态、表情和面部饰物的变化、该 人脸数据库在人脸识别研究的早期经常被人们采用，但由于变化模式较 少，多数系统的识别率均在9 0 以上，因此进一步利用的价值已经不大。 7 ) p f 0 1 人脸数据库：由韩国浦项科技大学创建，包含1 0 3 人的1 7 5 1 张不 同光照、姿态和表情的面部图像，志愿者以韩国人为主。 8 ) 汜v t s 人脸数据库：包含了2 9 5 人在4 个不同时间段的图像和语音视 频片段。在每个时间段，每人被记录了2 个头部旋转的视频片段和6 个 语音视频片段。 天津大学硕士学位论文第- 二章人脸表情识别综述 9 ) b a n c a 人脸数据库：该人脸数据库是欧洲b a n c a 计划的一部分，包 含了2 0 8 人、每人1 2 幅不同时间段的面部图像 1 0 )c a s p e a l 中国人脸图像数据库：由中国科学院计算技术研究所银 晨科技面像识别联合实验室负责建立，共采集并整理了1 0 4 0 位志愿者的 9 9 4 5 0 幅人脸图像库中的所有图片分为姿态变化、表情变化、饰物变化、 光照变化、背景变化、距离变化、时间跨度变化等7 种变化模式子库， 这7 个变化模式中又以姿态( p o s e ) 、赭( e x p r e s s i o n ) 、饰物( a c c e s s o r y ) 和光照( l i g h t i n g ) 4 种变化为主( 故简称为p e a l ) 。各个变化模式子库 均可以与姿态变化子库进行组合，以满足研究工作中的不同需求。 天津大学硕十学位论文 第三章基于图像序列表情区域的帧差表情识别算法 第三章基于图像序列表情区域的帧差表情识别算法 一个完整的人脸表情识别系统主要包括三个环节，即人脸检测、特征提取、 表情分类，如图3 1 所示。构建一个人脸表情识别系统，第一步需要对人脸进行 检测与定位，这一环节的研究实际上已成为一个独立的方