（生物医学工程专业论文）基于语义特征的面部表情识别方法研究及其应用.pdf

东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：j 基甄蕴l 一日期：二型蚪 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印 件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质 论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括 以电子信息形式刊登) 论文的全部内容或中、英文摘要等部分内容。论文的公布( 包括以电 子信息形式刊登) 授权东南大学研究生院办理。 一躲邋新鹕狮：必。7 摘要 摘要 基于语义特征的面部表情识别方法研究及其应用 硕士研究生马莉莉导师郑文明教授 东南大学 生物科学与医学工程学院 面部表情识别( f a c i a le x p r e s s i o nr e c o g n i t i o n ，f e r ) 旨在利用计算机技术提取面部表情特征， 并运用模式识别和机器学习方法进行表情的分类，进而分析和识别人的情绪。面部表情识别是模式 识别领域中一个重要的研究课题，研究内容涉及模式识别、计算机视觉、图像处理、心理学等多个 学科。典型的面部表情识别过程主要分为三个步骤：人脸检测、特征提取和表情分类。其中，特征 提取和表情分类是表情识别的关键步骤，直接影响着识别结果。本文将针对表情的特征提取和表情 分类问题进行深入研究。 首先，本文对情感的定义和分类进行了讨论，并简要介绍面部表情识别的一些基本概念，包括 面部表情识别的发展和现状、面部表情识别的步骤与特征提取的常用方法、面部表情识别的应用前 景以及目前存在的问题，并基于其中的问题提出了一些相应的解决方案。然后介绍了一种常用的稀 疏方法一l a s s o ( l e a s t a b s o l u t es h r i n k a g ea n ds e l e c t i o no p e r a t o r ) ，包括l a s s o 的概念和定义以 及相关的算法。 其次，本文介绍了o a b o r 小波变换和区域协方差矩阵的面部表情特征提取和表示方法，表情语 义特征的相关概念以及分析方法。在此基础上，提出了基于稀疏典型相关分析和基于稀疏偏最d x - - - 乘回归的面部表情识别方法，使用稀疏典型相关分析和稀疏偏最小二乘回归两种方法分别建立g a b o r 变换特征和区域协方差矩阵与语义特征之间的关系，最后使用语义特征进行表情分类。 本文使用e k m a n 表情数据库中1 4 个人的9 6 张图片和j a f f e 表情数据库中l o 个人的1 8 3 张图片 进行实验，共包含高兴、悲伤、惊讶、愤怒、厌恶和恐惧6 种表情。通过实验的验证，说明了使用 语义特征和稀疏方法的有效性。 关键字g面部表情识别l a s s o 语义特征g a b o r 区域协方差矩阵稀疏典型相关分析稀 疏偏最小二乘回归 东南大学硕士学位论文 a b s t r a c t a s t u d yo f s e m a n t i cf e a t u r eb a s e df a c i a le x p r e s s i o nr e c o g n i t i o n c a n d i d a t e ：m al i - l i ， s u p e r v i s o r ：p r o f e s s o rz h e n gw e n - m i n g d e p a r t m e n to fb i o l o g i c a ls c i e n c e & m e d i c a le n g i n e e r i n g s o u t h e a s tu n i v e r s i t y , p r c h i n a f e r ( f a c i a le x p r e s s i o nr e c o g n i t i o n ，f e r ) r e f e r st ot h ep r o c e s so fe x t r a c t i n gt h ef e a t u r eo fh u m a nf a c i a l e x p r e s s i o nw i t hc o m p u t e rt e c h n o l o g y , a n a l y z i n ga n dc l a s s i f y i n gt h ee x p r e s s i o na c c o r d i n gt ot h ew a y so f u n d e r s t a n d i n ga n dt h i n k i n go fh u m a n f e ri sa ni m p o r t a n tt o p i co fp a t t e r nr e c o g n i t i o n ，i tr e l a t e st om a n y s u b j e c t s ，l i k ep a t t e r nr e c o g n i t i o n ，c o m p u t e rv i s u a l ，i m a g ep r o c e s s i n g ，p s y c h o l o g ya n ds oo n at y p i c a l f e rs y s t e mi su s u a l l yi n c l u d i n g ：f a c ed e t e c t i o n ，f e a t u r ee x t r a c t i o na n de x p r e s s i o nc l a s s i f i c a t i o n ，a m o n g t h e mf e a t u r ee x t r a c t i o na n de x p r e s s i o nr e c o g n i t i o na r eq u i t ei m p o r t a n tb e c a u s et h e ya f f e c tt h er e s u l to f f e rd i r e c t l y w ew i l ld os o m ef u f t h e rr e s e a r c ha b o u tf e a t u r ee x t r a c t i o na n de x p r e s s i o nr e c o g n i t i o n f i r s t ，ar e v i e wo ft h eh i s t o r yo fe m o t i o nt h e o r ya n dt h er e s e a r c ho ff e ra r ei n t r o d u c e di nt h i sp a p e r , i n c l u d i n gt h ea c t u a l i t ya n dd e v e l o p m e n to ff e r ，t h ep r o c e s so ff e ra n dt h em e t h o d so ff e a t u r ee x t r a c t i o n , t h ea p p l i c a t i o no ff e ra n dt h eo p e nq u e s t i o n so ff e r a f t e rm a t - ar e s o l u t i o r r - - - - - l a s s o ( l e a s ta b s o l u t e s h r i n k a g ea n ds e l e c t i o no p e r a t o r ) i si n t r o d u c e di nt h ep a p e r , i n c l u d i n gt h e d e f i n i t i o na n dr e l a t e d a l g o r i t h m s s e c o n d , t w om e t h o d so ff e a t u r ee x 仃a c t i o n g a b o ra n dr c m ( r e g i o nc o v a r i a n c em a t r i c e s ) a r e i n t r o d u c e d t h e nt h ec o n c e p to fe x p r e s s i o n a ls e m a n t i cf e a t u r ei si n t r o d u c e di n c l u d i n gt h ed e f i n i t i o na n d r e l a t e dm e t h o d s a f t e rt h a t ，t h et w ol e a r n i n gm e t h o d s s p a r s ec a n o n i c a lc o r r e l a t i o na n a l y s i s ( s c c a ) a n ds p a r s ep a r t i a ll e a s t - s q u a r e s ( s p l s ) r e g r e s s i o n ，w h i c ha r eu s e dt oe s t a b l i s ht h er e l a t i o n s h i pb e t w e e n g a b o r ( o rr c m ) f e a t u r ea n ds e m a n t i cf e a t u r e ，a r ei n t r o d u c e d a n dt h es e m a n t i cf e a t u r ec a nb eu s e dt od o e x p r e s s i o nc l a s s i f i c a t i o n t h ee k m a n s p i c t u r e so ff a c i a la f f e c t d a t a b a s e ( i n c l u d i n g14p e o p l ea n d 9 6p i c t u r e s ) a n dj a f f e e x p r e s s i o nd a t a b a s e ( i n c l u d i n g10p e o p l ea n d18 3p i c t u r e s ) a r eu s e di nt h i sp a p e r , c o n t a i n i n g6e x p r e s s i o n s ： h a p p i n e s s ，s a d n e s s ，s u r p r i s e ，a n g r y , d i s g u s ta n df e a r t h er e s u l to ft h ee x p e r i m e n t sp r o v e st h es u p e r i o r i t yo f s e m a n t i cf e a t u r e sa n ds p a r s em e t h o d s k e yw o r d s ：f a c i a le x p r e s s i o nr e c o g n i t i o n ，l a s s o ，s e m a n t i cf e a t u r e ，r e g i o nc o v a r i a n c em a t r i c e s ， s p a r s ec a n o n i c a lc o r r e l a t i o na n a l y s i s ，s p a r s ep a r t i a ll e a s t s q u a r e sr e g r e s s i o n i i 目录 目录 摘要i a b s t r a c t i i 目录i h 第一章缌 论1 1 1 情绪理论基础l 1 1 1 情感的定义1 1 1 2 情感的分类l 1 1 3 情感与表情的关系2 1 2 面部表情识别概述一3 1 2 1 面部农情识别的发展及现状3 1 2 2 面部表情识别系统的结构3 1 2 3 面部表情识别的应用前景4 1 2 4 目前存在的问题4 1 3 本文的主要工作。5 1 4 章节安排6 第二章l a s s o 方法综述。7 2 1 引言7 2 2l a s s o 的提出与应用7 2 3l a s s o 的定义8 2 4l a s s o 的相关算法介绍9 2 4 1 二次规划，符号约束1 0 2 4 2 二次规划，非负变量一1 1 2 4 3 投影法1 1 2 4 4 基于奇异值分解的方法13 2 5 本章小结16 第三章语义特征和表情特征提取1 7 3 1 引言1 7 3 2 语义特征概述17 3 2 1 语义特征概念1 7 3 2 2 语义特征的分析方法1 8 3 3 特征提取方法1 9 3 3 1 基于g a b o r 小波变换的特征提取1 9 3 3 2 基于区域协方差矩阵的特征提取2 1 3 4 实验。2 2 3 4 1g a b o r 小波变换2 2 3 4 2 区域协方差矩阵2 5 3 5 本章小结2 6 第四章基于稀疏典型相关分析的面部表情识别2 7 4 1 引言2 7 i i i 东雨大学硕士学位论文 4 2 典型相关分析介绍2 7 4 2 1 典型相关分析概述。2 7 4 2 2 典型相关分析的原理2 8 4 - 3 稀疏典型相关分析介绍2 9 4 3 1 典型相关分析的最小二乘表示一2 9 4 3 2 稀疏典型相关分析的求解方法一3 0 4 4 模式分类【4 射3 2 4 5 实验介绍3 3 4 5 1 实验数据3 3 4 5 2 实验步骤。3 3 4 5 3 实验结果及分析3 4 4 6 本章小结3 7 第五章基于稀疏偏最小二乘回归的面部表情识别。3 8 5 1 引言3 8 5 2 偏最小二乘回归介绍3 8 5 2 1 偏最d - - 乘回归概述3 8 5 2 2 偏最小二乘回归的原理3 9 5 2 3 偏最d - - 乘回归的算法介绍4 0 5 3 稀疏偏最d - - - - - 乘回归介绍4 1 5 3 1 偏最小二乘回归的最小二乘形式4 l 5 3 2 稀疏偏最小二乘回归的求解方法4 2 5 4 面部表情识别实验过程及结果分析4 3 5 4 1 实验数据一4 4 5 4 2 实验步骤4 4 5 4 3 实验结果及分析4 4 5 5 本章小结4 7 第六章总结与展望4 8 6 1 总结一4 8 6 2 展望4 8 j s 【谢5 0 参考文献。5 l i v 第一章绪论 1 1 情绪理论基础 第一章绪论 有关人类情感的深入研究，早在1 9 世纪末就开始进行了【l 】。然而，过去极少有人将情感与无生 命的机器联系在一起。直到1 9 9 7 年，美国m i t 媒体实验室情感计算研究小组的领导人p i c a r d 教授 在她的专著( a f f e c t i v ec o m p u t i n g ) ) 中第一次提出了“情感计算( a f f e c t i v ec o m p u t i n g ) ”这个概念， 她指出：“情感计算是关于、产生于、或故意影响情感方面的计算”，让计算机也具备情感，从感知 信号中提取情感特征，通过对情感特征的分析和处理来获取对情感状态有关的生理和行为特征的高 层次语义上的解释，这就是情感计算【2 】。情感计算作为一个全新的研究领域，已经引起国内外各研 究机构的日益重视。 1 1 1 情感的定义 情感的理论定义是什么? 这一直是困扰许多学者的难题。在现代心理学纲要中情感定义为 “人对于客观事物是否符合自己的需要而产生的态度的体验”；在现代汉语词典中情感定义为“对 外界刺激肯定或否定的心理反应，如喜欢、愤怒、悲伤、恐惧、爱慕、厌恶等”；在新华字典中 情感定义为“外界事物所引起的爱、憎、愉快、不愉快、惧怕等的心理状态”；在其他不同的词典中 还给出了情感的其他定义，足见情感定义的复杂性。除了在权威词典中的定义，许多西方学者也对 情感的定义展开了讨论，文献【3 】总结了1 0 0 多位科学家对情感的定义，这些定义通常都是复杂而难 以理解的，从而也间接反映了情感研究的复杂性。 情感是一种主观体验、主观态度或主观反映，属于主观意识范畴，情感以诸如喜爱、仇恨、满 意、恼怒、高兴、悲伤、幸福、痛苦、快乐等形式反映人与外界、人与人、人与自身等等的主观关 系。o a t l e y 和j e n k i n s 4 1 认为情感是人与自己、人与人之间相互交流的手段，它是由感知到的重要特 殊事件以及由思考和外部事件引起的行为、生理特征变化和主观体验组成。 由于情感的定义是复杂的，这也必然导致情感分类的复杂性，如何才能合理的对情感进行分类 昵? 有关情感分类的问题，我们将在下一节中介绍。 1 1 2 情感的分类 由前一节的叙述中可知情感定义的复杂性，这也必将导致情感分类的复杂性。如何有效的对情 感进行分类一直是一个颇有争议的话题，目前主要使用三种标准对情感进行分类，分别是：基本情 绪论、维度空间论和基于基本情绪的维度空间论。本文使用的是基于基本情绪论的分类方法，下面 简要介绍一下基本情绪论。 以e k m a n 为代表的基本情绪论【5 】认为情绪在发生上有原型形式，即存在着几种基本情绪，而这 种基本情绪是人类和动物共有的，是与生俱来的，并且具有特定的生理模式和相应的表情，基本情 绪不同形式的组合形成了人类所有的情绪。e k m a n 6 1 提出六种基本情绪：高兴、悲伤、惊讶、愤怒、 厌恶和恐惧，他将基本情绪和对应的有特色的、普遍的面部表情以及八种其他属性联系起来，为计 算机识别面部表情提供了理论基础。 我国古代思想家对基本情绪的种类也有各种说法【7 】：例如，荀子天论将基本表情分为“好、 恶、喜、怒、哀、乐”，主张“六情”分类法；苟子正名还有“说、故、喜、怒、哀、乐、爱、 恶、欲以心异”所谓“九情”的说法。到了现代，我国的孟昭兰i s 从婴儿情绪的发生角度，认为人 类婴儿有六种基本情绪：快乐、兴趣、厌恶、恐惧、痛苦( 悲伤) 和愤怒。基本情绪随着个体的成 1 东南大学硕士学位论文 熟而出现，它们的出现有时问的顺序，但个体显现的时间是有差异的。 1 1 3 情感与表情的关系 情感虽是一种内心的体验，但常伴随外在的表现，情感的外在表现通常称为表情，表情是情感 状态下，身体各部分的动作量化形式，情感在人类社会中的交际作用在很大程度上是通过表情来体 现的例，表情包含三种一j ： ( 1 ) 面部表情：通过眼、眉、嘴和脸颊部位肌肉变化来表现情绪状态。人的眼神变化是面部表 情最重要的体现，其次是嘴角和眉头肌肉的变化。一个人喜悦时，眉毛下弯，双目含笑，颧肌收缩， 嘴角抬高：悲伤时则双眉紧锁，两眼呆滞，嘴角下拉，愁容满面。 ( 2 ) 姿态表情：面部以外的身体部位动作，包括手势、身体姿势等，喜悦时手舞足蹈，悲痛时 顿足捶胸，愤怒时双拳紧握，恐惧时手足僵硬，这些躯体和手、足的动作特征，可以真切的流露出 一个人的内在情感。 ( 3 ) 语音表情：言语的音调、节奏和速度。语音表情强调的不是言语的内容，而是语音的高低、 强弱，以及语调的变化。当一个人开心时，说话的语调急促而尖锐；当一个人悲痛时，说话的语调 缓慢而低沉。 在这三种表情中，面部表情能表达更多的情感信息，面部表情是一种刻画情绪、认知、主体状 态以及他们在社会交往中的作用和角色的方法【l o 】。在面对而的交流中，面部表情和姿态能够传达非 语言的交流信息，这些信息能够作为语音的辅助来帮助听者推断出说话人的意图【l ，在对话的交流 中面部表情具有相当大的作用，如图1 1 所示，因此，使用外在的面部表情来判断内在的情感，是 一种比较可行的方法。 以表情识别的观点来看，我们可以认为面部表情通过脸部组成部分及其空间位置关系的变形或 是脸部颜色、纹理变化来刻画。因此，面部表情识别的一个主要研究内容为如何对这些变形和颜色 纹理变化进行表示和分类。 图1 1 交流中各部分的作用 在交流中，面部表情占了5 5 的作用，声音占了3 8 的作用，言辞占了7 的作用1 1 l 2 第一章绪论 别概述 1 2 1 面部表情识别的发展及现状 人类对表情的研究可以追溯到1 9 世纪，d a r w i n 在其著作人类与动物的表情中就阐述了人 类与哺乳动物的表情具有关联性i l j ，但这只是一个初步的研究成果。直到e k m a n 的工作为计算机识 别而部表情提供了理论基础1 6 j ，才使得使用计算机识别面部表情成为可能。在此理论基础上，s u w a 和s u g i e l l 2 l 于1 9 7 8 年建立了第一个利用计算机进行面部表情识别的系统，提出基于图像处理的面部 表情识别方法。 近几十年来，随着理论体系与计算机设备的不断完善，面部表情识别得到了迅速的发展。1 9 9 1 年m a s e 【1 3 j 使用光流法来跟踪运动单元，1 9 9 3 年h a , 1 0 0l i 等人【1 4 j 提出了一种基于模型的表情编码方法， 1 9 9 4 年y a c o o b 和d a v i s 【l 副采用基于f a c s 编码的表情识别方法，等等。自此，表隋识别与分析领域开始 迅速发展，并逐步成为模式识别和人工智能领域的一个研究热点。 在国外，日本较早从事表情识别研究，其中具有代表性的是日本a t r 媒体信息科学实验室，该实验 室建立了日本女性表情公用数据库( j a f f e ) i t 6 ，除此之外还有城蹊大学( s e i k e i ) 、东京大学( t o k y o ) 和火坂大学( o s a k a ) 等科研机构也从事相关的研究。美国的很多研究机构也在面部表情识别方面进行 了深入的研究，例如伊利诺伊大学( u i u c ) 、卡内基梅隆大学( c m u ) 、麻省理工大学( m i t ) 等，其中， m i t 媒体实验室提出了“情感计算”这个新的研究方向【2 j ，并将研究内容分为：情感机理、情感信息的获 取、情感模式识别、情感的建模与理解、情感的合成与表达、情感计算的应用、情感计算机的接口、情感 的传递与交流和可穿戴计算机这九个方面。 我国也在逐步展开面部表情识别的研究丁作，从事研究的相关机构有东南大学、哈尔滨工业大学、北 京科技大学、清华大学等。表情识别的研究同时也引起了相关部门的关注，1 9 9 9 年，“和谐人机环境中j 睛 感计算理论研究”被列入了国家自然科学基金中的重点项目；2 0 0 3 年，北京举行了第一届中国情感计算 与智能交互学术会议，会上展示了国内各研究机构近几年来在情感计算领域取得的研究成果，这在一定程 度上填补了我国在表情识别领域的空白i l 。 1 2 2 面部表情识别系统的结构 一个典型的面部表情识别系统一般可以分为：人脸检测、表情特征提取和分类( 如图1 2 所示) 。 本文的工作主要集中在特征提取和分类上，其中，表情特征提取是至关重要的一步，有效的特征提 取能够简化后续分类器的工作。所谓有效的特征提取就是要遵循以下四条原则： ( 1 ) 尽可能完整表示出面部表情的本质特征，即信息量丰富l l 川； ( 2 ) 尽可能去除光照、噪声等与表情无关的外界因素的干扰，使得信息相对稳赳1 8 】； ( 3 ) 尽可能容易提取，使得数据表示形式紧凑，避免过高维数的产生； ( 4 ) 尽可能区分不同类别之间的表情特征。 为了遵循上面的几条原则，特征提取可以分为以下几个步骤： ( 1 ) 原始特征提取，对于灰度图像，原始特征就是每个像素点的灰度值： ( 2 ) 特征提取，通过映射或变换的方法将原始特征转化为新特征； ( 3 ) 特征选择，从所有的特征中选择一些最具代表性的特征。 在面部表情识别中，常用的特征提取方法有：基于统计特征的方法、基于几何特征的方法和基 于频率域的方法等。 基于统计特征的方法中最常用的就是主成分分析( p r i n c i p l ec o m p o n e n ta n a l y s i s ，p c a ) b g ， 其优点在于尽可能多的保留了样本的原始信息，同时处理过程也并不复杂。但是，提取的特征具有 强相关性和高冗余度，并且容易受到外界因素( 光照、角度、复杂背景等) 的干扰。 3 东南人学硕士学位论文 基于几何特征的方法则是通过提取人脸上的一些苇要特征点的形状、位置、尺度及彼此间的比 率，将人脸用一组几何特征矢量表示，其优点在于提取的特征维数较低并且对光照也不太敏感，但 是，它丢失了一些细微的表情变换特征，精确程度不容乐观，并且受到图像质量的影响，需要与其他方 法结合才能达到较好的效果。 基于频率域的方法中最典型的是g a b o r 小波变换，它是由d g a b o r 于1 9 4 6 年提出的【圳，而 d a u g m a n 于1 9 8 5 年将其推广到2 d 的情况，并应用在计算机视觉领域1 2 ，其优点在于：o g a b o r 小波变换是一个时间和频率的局域变换，能有效的从信号中提取信息，因而通过伸缩和平移等运算 功能对函数或信号进行多尺度细化分析；g a b o r 变换不会损失各个信息的特征信息以及它们之间 的相关性；在纹理特征中，g a b o r 变换特征表示法反映了信号在局部时域和频域上的频谱信息， 能够增强图像的低频信息以及高频信息；从视觉角度，g a b o r 变换特征很类似于人类的视觉系统。 1 2 3 面部表情识别的应用前景 图l - 2 面部表情识别系统结构 面部表情作为情绪的外在表现形式，在社会生活中对于协调人与人之间的相互关系具有很重要 的作用，是除了声音之外很重要的通信方式。面部表情作为声音的载体，能够表达许多声音不能表 达的信息。除此之外，面部表情在其他领域也有广泛的应用。 1 在安全领域中，面部表情信息作为一种重要的生物信息，可以与指纹、虹膜等生物信息一样， 使用在身份验证等安全管理中。尽管每个人都能做出同一种类型的表情，但是表情的发生部位、强 度、器官变形轨迹及表情持续时间都因人而异，与指纹、虹膜相比更不易被伪造j 。 2 在医疗领域中，对于需要特别护理的病人来说，病人身体情况的变化通常会反映在面部表情 中，因此面部表情识别可以作为医疗监护的辅助手段，当病人的表情出现痛苦的状态时及时通知医 护人员以便处理紧急情况。 3 在人工智能领域中，面部表情识别对于实现自然的入机交互具有重要的意义，在机器人中引 入而部表情识别系统，使其理解人类的感情并具备人类的感情。虽然现在还无法实现，但是电影中 的机器人瓦力和机器人阿童木等是我们的发展方向。 4 在教育领域中，面部表情识别可以用来检测儿童的异常，在教学过程中可以通过面部表情识 别系统来识别在场儿童的面部表情变化，从中找出个别与其他儿童不一样表情的儿童，并进行进一 步的面部表情跟踪，检测儿童的异常表情。 5 其他领域，如在语言学领域中，面部表情识别可以辅助唇语，便于听觉有障碍的人理解；在 商业领域中，面部表情识别可以与可视电话、视频会议相结合，加强彼此之间的交流；在计算机科 学领域，面部表情识别的发展推动着图像传输和处理的发展。 1 2 4 目前存在的问题 虽然面部表情识别的应用前景很广阔，但是也面临着种种的困难与挑战。人类自己可以毫无困 4 第一章绪论 难的辨别各类表情，但是让计算机完成这个任务却是一件很困难的事，这主要是凶为：人脸是柔 性体，脸部运动和表情变化之间的关系模型难以建立；面部表情的模式较为复杂，并且受到年龄、 种族、性别等因素的影响；在数据来源方面，实验中所用的数据带有强烈的人为性质，很难推广 到实际情况中。因此，在面部表情识别研究中，我们仍需要解决很多的问题，这些问题主要包括： ( 1 ) 特征选择问题。通常，通过特征提取算法后得到的特征都是高维特征，但这些特征并不是 都对表情识别有贡献的，并且高维的特征中通常存在大量的噪声，因此需要对其进行降维，去掉冗 余的数据。但是，选用何种方法，才能既保证特征的完整性，又能最大限度的降低特征的维数，去 除噪声，这仍是需要研究的地方。 ( 2 ) 鲁棒、准确的特征定位。面部关键特征的定位是面部表情识别的关键环节之一，并在很大 程度上影响着最终的识别率，但特征定位容易受到光照、姿态、噪声等外界条件的干扰。因此，我 们需要研究出一些对外界条件干扰具备一定鲁棒性的特征定位方法。 ( 3 ) 成像条件。成像条件包括物理条件和几何条件。物理条件是指光照、成像设备和图像储存 设备；几何条件是指成像时人脸与成像设备的关系( 如距离、角度等) 。我们需要针对不同成像条件 研究相应的特征提取算法。 ( 4 ) 表情本身的表现问题。表情的表现受到年龄、种族、性别等各种因素的影响，因此，不同 年龄、不同种族、不同性别的表情特征也不尽相同，因此，我们需要研究能够提取不受外界因素影 响的本质特征的特征提取方法。 1 3 本文的主要工作 本文主要针对上一节提出的前两个问题进行一些研究工作，下面分三个部分来简单介绍一下： 1 特征提取 本文使用两种特征提取方法。第一种方法是g a b o r 小波变换，它对于光照具有一定的鲁棒性， 通过手工在人脸图像上标注特征关键点，并提取关键点上的g a b o r 变换特征进行识别。但是，这种 方法需要手工标注，工作量大，而且容易受到外界因素的干扰。针对这一问题，本文使用第二种方 法，基于g a b o r 变换的区域协方差矩阵方法，通过计算某一区域内的区域协方差矩阵特征进行识别， 这种方法很好的实现了多特征的融合，并对旋转、缩放和平移有很好的适应性。 2 基于稀疏典型相关分析的面部表情识别 传统的典型相关分析是一种建立两组多样本数据集的相关性的统计学方法，集数据降维与相关 分析为一体。考虑到特征冗余、特征中存在噪声的问题，我们希望在数据降维的过程中通过增加某 种约束使得典型相关变量的系数尽量稀疏，使得某些与表情无关的特征为零，从而达到减少噪声和 选择特征的目的，忽略那些与表情无关的变量。与l a s s o 方法相似，稀疏典型相关分析是在传统的 典型相关分析中加入l l 范数惩罚函数，这样可以达到我们预期的目的。 本文使用稀疏典型相关分析的方法对表情特征与语义特征之间的相关关系进行估计，运用语义 特征进行表情识别。 3 基于稀疏偏最小二乘回归的面部表情识别 传统的偏最小二乘回归集多元线性回归、典型相关分析和主成分分析为一体，其目的是在解释 变量空间里寻找某些线性组合，以便能更好地解释反应变量的变异信息。与典型相关分析相比，偏 最小二乘回归能更好的解释反应变量的变异信息，建立的回归模型的精确度更高，这在文章后面的 章节会有详细的叙述。由于偏最小二乘回归会有低偏倚和高方差，而数据中不可避免的会存在噪声， 因此这种低偏倚和高方差会影响预测精度。针对这一点，可以通过将某些系数收缩到零来提高预测 精度，牺牲一些偏倚，降低预测值的方差，减少噪声的影响，从而达到提高总体预测精度的目的。 5 东南大学硕士学位论文 稀疏偏最d - - 乘回归是在传统的偏最d , - - 乘回归中添加l l 范数惩罚函数，可达到预期的目的。 本文使用稀疏偏最小二乘回归分析的方法估计表情特征与语义特征之间的回归模型，运用语义 特征进行表情识别。 1 4 章节安排 本文的章节安排如下： 第一章为绪论部分，首先介绍了情绪理论的基础，并阐明了情感的定义、分类及其与表情的关 系，说明了表情识别的意义和重要性；接着介绍了面部表情识别的发展，并简单介绍了特征提取方 法、表情识别的应用前景及目前尚存在的问题；最后介绍了本文的主要1 二作和本文的组织结构。 第二章l a s s o 方法综述，主要介绍了l a s s o 的提出和发展、l a s s o 的定义和基本概念、l a s s o 的相关算法实现，以及l a s s o 的应用。 第三章语义特征与特征提取。首先介绍了语义特征的概念及其相关算法，然后介绍了两种特征 提取算法电a b o r 小波变换和区域协方差矩阵的相关算法及其实验步骤。 第四章基于稀疏典型相关分析的面部表情识别。首先介绍了典型相关分析的原理与算法实现， 然后介绍了稀疏典型相关分析的原理与算法实现，最后将这两种算法与语义特征相结合，运用到实 验中，并对实验结果进行了对比和分析。 第五章基于稀疏偏最小二乘回归的面部表情识别。首先介绍了偏最小二乘回归的原理与算法实 现，然后介绍了稀疏偏最小二乘回归的原理与算法实现，最后将这两种算法与语义特征相结合，运 用到实验中，并对实验结果进行了对比和分析。 第六章总结与展望。 6 第二章l a s s o 方法综述 2 1 引言 第二章l a s s o 方法综述 传统的回归分析一般具有以下两个缺点1 2 3 】：( 1 ) 预测精度不够：由于传统的回归分析通常具有 低偏倚和高方差，会导致预测精度不够；( 2 ) 解释效果不理想：由于回归系数不收缩，当存在大量 预测因子时，通常不能得到一个便于解释的模型。 l a s s o ( l e a s ta b s o l u t es h r i n k a g ea n ds e l e c t i o no p e r a t o r ) 是一种针对变量选择和系数收缩的新 的线性模型估计方法田j ，它通过在最小化残差平方和的基础上添加一个惩罚函数来实现，通过惩罚 函数可以使某些系数收缩到零，得到稀疏的系数矩阵，从而得到一个便丁二解释的模型。下面就详细 介绍一下l a s s o 的发展和相关算法。 2 2l a s s o 的提出与应用 在介绍l a s s o 之前，我们先回顾一下传统的回归模型：设有数据集i x ，y ，i f = 1 , 2 ，n ，其 ，、甲 中x = k l ，x f 2 ，b ，和只分别是第f 个观测值的解释变量和反应变量。一般最小二乘( o r d i n a r y l e a s ts q u a r e s ，o l s ) 回归估计是通过最小化残差的平方和得到的，但是我们常常对一般最小二乘回 归得到的模型不是很满意，主要原因有两个【2 3 】： ( 1 ) 第一个原因是预测精度，一般最小二乘回归估计通常具有低偏倚和高方差的性质，有时可 以通过将某些系数收缩到零来提高预测精度，牺牲一些偏倚来降低预测值的方差，从而提高总体预 测精度； ( 2 ) 第二个原因足解释：当存在大量预测因子时，我们希望确定一个表现出最强影响的较小子 集，牺牲一些小细节从而得到数据的整体情况。 子集选择和岭回归是一般最小二乘回归的两种常用的改进方法，但存在着各自的缺陷： ( 1 ) 子集选择虽然能够使某些系数收缩到零而产生便于解释的模型，但它是一个离散的过程， 当数据有稍微的变化时就会产生不同的模型，这会降低预测精度( 如图2 1 ( a ) 所示) ； ( 2 ) 岭回归是一个系数收缩的连续过程，因而比较稳定，但是，它不能使某些系数收缩到零， 因此不能给出一个便于解释的模型( 如图2 1 ( b ) 所示) 。 针对这些情况，t i b s h i r a n i 于1 9 9 6 年提出了一种新的线性模型估计方法l a s s o ，它通过系数 收缩使得某些系数收缩到零( 如图2 1 ( c ) 所示) ，l a s s o 保留了子集选择和岭回归各自的优点并改进 了它们的缺点，t i b s h i r a n i 在文献【2 3 仲提出了l a s s o 问题中l l 范数的两种求解方法，但此时，l a s s o 的方法尚停留在理论研究的阶段。到了1 9 9 8 年，l e b l a n c 和t i b s h k a n i 将l a s s o 应用在回归分析中1 2 4 】， 自此，l a s s o 方法的研究和应用得到了较大的发展。 2 0 0 3 年，j o l l i f f e 和t r e n d a f i l o v 等人将l a s s o 的方法应用在主成分分析中，提出了s c o t l a s s ( s i m p l i f i e dc o m p o n e n tt e c h n i q u e l a s s o ) 的方法【2 5 】，通过在主成分分析中添加l l 范数惩罚函数 进行系数收缩，使得主成分系数中的某些元素收缩到零，从而达到一个变量选择的目的，并通过传 统的主成分分析与s c o t l a s s 之间的实验对比，论证了稀疏方法的有效性。 2 0 0 8 年，d u c h i 提出了一种新方法来求解l a s s o 问题中的l l 范数，这种方法称为投影法【2 6 】。 d u c h i 首先将问题定义在投影到单纯型的情况下进行求解，然后将单纯型的情况推广到l 1 一b a l l 进行求 解，这就解决了l a s s o 的求解问题( 这部分工作将在2 4 节中进行介绍) ，最后他提出了一种基于投 影