（计算机应用技术专业论文）人脸表情识别若干问题的研究.pdf

河南大学研究生硕士学位论文第l 页 摘要 人脸表情识别是利用计算机技术，将人脸表情特征与预先从图像库中提取的 特征进行综合比较，以达到人脸表情以别的技术。该技术在模式识别、智能控制 等领域都有着很高的社会价值和发展d 订景。人脸表情谚 别的研究内容主要包括人 脸表情特征提取、特征降维和特征分类等。其中，特征提取和特征降维是保证算 法识别率和实时性的关键技术。本文先钏对静态图像中的人脸表情识别算法进行 研究，然后对离散余弦变换( d c t ，d i s c r e t ec o s i n et r a n s f o r m ) 和二维主元分析 ( 2 d p c a ，t w o d i m e n s i o n a lp r i n c i p a lc o m p o n e n t a n a l y s i s ) 特征降维算法进行了比 较分析。主要工作归纳如下： 第一，对人脸表情特征的自动提耿和表情特征维数过大问题的研究。首先采 用丰动形状模型( a s m ，a c t i v es h a p em o d e l ) 进行人脸表情特征点提取；然后给 出了相应特征点基于g a b o r 小波的特i 1 f 向是的表示；最后用主元分析( p c a ， p r i n c i p a lc o m p o n e n ta n a l y s i s ) 结合线性判别分析( l d a ，l i n e a rd i s c r i m i n a n t a n a l y s i s ) 来实现特征降维和人脸表情彭 别，并给出了仿真结果。该方法提高了人 脸表情特征提取的自动化程度，有效地降低了人脸表情特征维数，并且具有较高 的人脸表情识别率。 第二，对人脸特征的有效降维进i ，研究。针对图像压缩和图像特征降维原理 的相似性，本文将图像压缩领域的经典算法d c t 应用到人脸图像的特征降维。首 先阐述了d c t 用于特征降维的可行性，阐明了d c t 图像降维的基本原理；然后 介绍了2 d p c a 算法，分析比较了d c t 与2 d p c a 算法的区别；最后在人脸表情图 像上进行的比较实验结果验证了d c t 方法的有效性。 关键词：人脸表情识别；g a b o r 小波；a s m ；特征降维：d c t 第1 i 页河南大学研究生硕士学位论文 a b s t r a c t f a c i a le x p r e s s i o nr e c o g n i t o ni sat e c h n o l o g yw h i c hc o m p a r e sf a c i a le x p r e s s i o n f e a t u r e sw i t ht h eo n e ss t o r e di nd a t a b a s ei na d v a n c et oi d e n t i f yf a c i a le x p r e s s i o n t h e t e c h n o l o g yh a sah i g hs o c i a lv a l u ea n dd e v e l o p m e n tp r o s p e c t si np a t t e r nr e c o g n i t i o n ， i n t e l l i g e n t c o n t r o la n do t h e rr e s p e c t s t h er e s e a r c ho ff a c i a l e x p r e s s i o nr e c o g n i t i o n m a i n l yi n c l u d e sf a c i a le x p r e s s i o ne x t r a c t i o n ，f e a t u r er e d u c t i o na n dc l a s s i f i c a t i o n ，a m o n g w h i c hf e a t u r ee x t r a c t i o na n df e a t u r er e d u c t i o na r et h ek e yt e c h n o l o g i e sw h i c hc a n e n s u r et h er e c o g n i t i o na n do n l i n ep e r f o r m a n c eo fa l g o r i t h m s t h i st h e s i sd e v o t e sm a i n e f f o r t st of a c i a l e x p r e s s i o nr e c o g n i t i o nr e s e a r c h i nt h e s t a t i o n a r yi m a g e sa n d t h e c o m p a r i s i o n r e s e a r c h e s o f d c t ( d i s c r e t e c o s i n e t r a n s f o r m ) a n d 2 d p c a ( t w o d i m e n s i o n a lp r i n c i p a lc o m p o n e n ta n a l y s i s ) f e a t u r e d i m e n s i o nr e d u c t i o n a l g o r i t h m s ，m a i n l yi n c l u d i n g ： ( 1 ) s o m ep r o b l e m so ff a c i a le x p r e s s i o nf e a t u r e sa u t o m a t i ce x t r a c t i o na n dh i g h e r f e a t u r ed i m e n s i o na r es t u d i e d f i r s t l y , f a c i a le x p r e s s i o nf e a t u r ep o i n t sa r ee x t r a c t e db y u s eo fa s m ( a c t i v es h a p em o d e l ) s e c o n d l y , c r e a t i n gt h ef e a t u r ev e c t o rr e l a t e dw i t h t h ef e a t u r ep o i n t si s e x p l a i n e db a s e do ng a b o rw a v e l e t f i n a l l y , p c a ( p r i n c i p a l c o m p o n e n ta n a l y s i s ) a l o n gw i t hl d a ( l i n e a rd i s c r i m i n a n ta n a l y s i s ) i su s e dt of i n i s h t h ef e a t u r ed i m e n s i o nr e d u c t i o na n dt h ef a c i a le x p r e s s i o nr e c o g n i t i o n ，a n ds i m u l a t i o n e x p e r i m e n ti sg i v e n t h i sm e t h o di m p r o v e st h ed e g r e eo fa u t o m a t i o no ff a c i a l e x p r e s s i o nf e a t u r ee x t r a c t i o n ，r e d u c e st h e f e a t u r ed i m e n s i o ne f f e c t i v e l y , a n dh a v ea b e t t e rr e c o g n i t i o no ff a c i a le x p r e s s i o n ( 2 ) t h ee f f e c t i v ed i m e n s i o nr e d u c t i o no ff a c i a lf e a t u r e si ss t u d i e d w i t hr e s p e c tt o t h es i m i l a r i t i e sb e t w e e nt h ep r i n c i p a lo fi m a g ec o m p r e s s i o na n di m a g ef e a t u r er e d u c t i o n ， t h i st h e s i sb r i n g st h ec l a s s i ca l g o r i t h m ( d c t ) i ni m a g ec o m p r e s s i o nt ot h ed o m a i no f f e a t u r ed i m e n s i o nr e d u c t i o no ff a c i a li m a g e f i r s t l y , t h ef e a s i b i l i t yo fd c tt ob eu s e di n i m a g ef e a t u r ed i m e n s i o nr e d u c t i o ni sa n a l y z e d ，a n dt h e b a s i cp r i n c i p l eo ft h ei m a g e f e a t u r ed i m e n s i o nr e d u c t i o nb a s e do nd c ti sg i v e n t h e n2 d p c aa l g o r i t h mi s i n t r o d u c e d ，a n dt h ed i f f e r e n c e sb e t w e e nt h ea l g o r i t h m so fd c ta n d2 d p c aa r e c o m p a r e d a tl a s t ，t h ee x p e r i m e n t sb yu s eo fd c t a n d2 d p c a a l g o r i t h m sa r eo p e r a t e d 河南大学研究生硕士学1 立论文第1 ll 页 0 1 1t h ef a c i a le x p r e s s i o ni m a g e s ，a n dt h er e s u l t sp r o v et h ee f f e c t i v e n e s so ft h ep r e s e n t e d m e t h o di nt h i sp a p e r k e yw o r d s ： f a c i a l e x p r e s s i o nr e c o g n i t i o n ； g a b o rw a v e l e t ；a s m ； f e a t u r e d i m e n s i o nr e d u c t i o n ；d c t 关于学位论文独立完成和内容创新的声明 本人向河南大学提出硕士学位中请。本人郑重声明：所呈交的学位论文是 本人在导师的指导下独立完成的，对所研究的课题有新的见解。据我所知，除 丈中特别加以说明、标注和致谢的地方外，论文中不包括其他人已经发袁或撰 写过寺勺研究成果，也不包括其他人为获得任何教育、科研机构的学位或证书而 段保存、汇编学位论文( 纸质文本和电子文本) ( 涉及保密内容的学位论文在解密后适用本授权书) 学位获得者( 学位论文作者) 茎名：荔邀2 2 , 0 护7 年月 日 学位论文指导教师釜名： 趁f 塾鲨皇 z oo 夕年月日 河南大学研究生硕士学位论文第1 页 1 1 引言 第一章绪论 人脸表情识别足皋丁人类视觉特征，采用计算机技术，对人脸运动和面部表 情特征进行归类的技术。它较早源于生物学家d a r w i n i lj 对相似性和延续性的研究， 并在二十世纪七t 年代i j j 荚国心理学家e k m a n 和f r i e s e n l 2 。3 j 做出了丌创性的j ：作。 首先定义了人类的六种基本表情：高兴( h a p p y ) 、生气( a n g r y ) 、吃惊( s u r p r i s e ) 、 恐惧( f e a r ) 、厌恶( d i s g u s t ) 和悲伤( s a d ) ，确定了识别对象的类别：其次是建立 了面部动作编码系统( f a c s ，f a c i a l a c t i o nc o d i n gs y s t e m ) ，使研究者按照系统划 分的一系列人脸动作单元( a u ，a c t i o nu n i t ) 来描述人脸血部动作，通过人脸运 动和表情的火系，进而榆测人脸面部细微表情。并为人脸表情识别系统的研究和 开发奠定了基础。人脸表情谚 别之所以受到人们关注，就在于人脸表情蕴含了丰 富的信息。掘心理学家a m e h r a b i a n l 4 j 的研究表明，在人类的r 常交流中，通过语 言传递的信息仅占信息总最的7 ，而通过人脸表情传递的信息却达到信息总量的 5 5 。因此人脸表情识别成为人机交互、情感计算、智能控制、机器视觉、图像处 理与模式识别等领域的重要研究课题。 人脸表情识别的处理对象是人脸表情。首先需要在一定的光照条件f 对人脸 正面图像进行采集，然后对采集到的图像逐一地去除噪声，并对所有图像的尺度 进行归一化。而实验条件的限制和处理工作的繁重，给研究者的准备工作带来了 很大困难。因此一些权威的研究机构制作的人脸表情图像库成为了解决问题的办 法之一，大多数研究者采用图像库进行实验，并取得了较好的实验效果，故本文 主要采用f 1 本a t r 研究所的同本女性人脸表情图像库1 5 l ( j a f f e ，j a p a n e s ef e m a l e f a c i a le x p r e s s i o nd a t a b a s e ) 作为实验图像库。 一般而占，人脸表情识别算法，按照处理的对象来区分，可分为静念图像的 人脸表情识别和动态图像( 即图像序列) 的人脸表情识别，而本文主要讨论二维 静态图像的人脸表情识别技术。对于静态图像的人脸表情识别算法来说，又可分 为基于几何特征的方法、基于外貌特征的方法和基于混合特征的方法。无论考虑 哪种方法，人脸表情特征提取和特征降维是必须要考虑的问题，它对算法的有效 性和识别率均有直接的影响。因为人脸表情识别算法的识别率是建立在有效提取 第2 页河南大学研究生硕士学位论文 人脸表情特征的摹础上的，如果特征提取算法自动化程度低，准确性差，算法就 不具有实用性，也会影响识别的结果；如果提取的特征维数过大，就会占用较大 的计算空问，并会对计算机的硬件环境有较高的要求，影响算法的实时性和实用 性。冈此，本文从有效提取人脸表情特征和降低表情特征维数的角度f 5 发，研究 一种准确、快速的人脸表情以别算法，要求即保证较高人脸表情谚泐j 率的f 一时兼 顾较低的特征维数。 1 2 研究意义和研究背景 人脸表情足，f 譬播人类情感信息，协调人际关系的重要方式。通过埘人脸表情 的谚! 别，叮以获取大量有价值的信息，对于判断人的心理情况和身体状态具有很 高的参考价值。人脸表情谚 别的应用领域十分广。泛：存安个领域，人脸表情识别 j 啦川到了司机疲劳驾驶程度的检测与预报1 6 j ，计算机f l j 以通过对司机行驶状念的人 脸表情信息进j 于分类，进而判断驾驶者的疲劳程度，避免交通事故的发生。在智 能控制万嘶，中国科学院自动化所研制出了能模仿人类表情的智能机器人。另外 在医疗、教育、娱乐、以及人机交互方面，人脸表情谚 别都具有很高的社会价值 和发展日，j 景。 作为人脸表情i ： 别算法的关键步骤，特征提取和特征降维足该领域研究的重 点。目前的成果表明，对于这两部分的研究仍然存在着不少l 、u j 题需要解决。目前 的特征提取方法主要是提取人脸特征点或者将局部、全局人脸区域的处理结果作 为特征。前者多依靠手工标定的方式获取人脸特征点，不适合计算机自动化发展 的趋势。后者虽然不依靠手工标定，但是计算量大，占用大量的运算空间，对计 算机的硬件要求较高，降低了算法的实用性。而特征降维方法也亟待提高，特征 降维方法在降低人脸表情维数的同时j 也不可避免地减少了表情特征信息，影响 了分类算法的识别率。如果为了提高识别率而降低特征降维效果，又会导致冗余 信息参与运算，浪费系统资源。因此特征提取和特征降维存在的这些问题具有研 究价值。 本文以河南省科委自然科学基金项目“双目视觉监控系统研制”和河南省高 校创新人爿。工程项目“基于p g f 和模糊技术的分布式图像分割”为依托，对人脸 表情识别中的特征提取和特征降维的若干问题进行了研究。 河南大学研究生硕士学位论文第3 页 1 3 研究现状 现代的人脸表情识别技术始f 二十世纪七十年代美国心理学家e k m a n 和 f r i e s e n 的工作，通过对人脸六种基奉表情的定义和f a c s ( f a c i a la c t i o nc o d i n g s y s t e m ) 系统的建立，为后来的研究者提供了建j 茳人脸表情模型的基础和人脸表 情的两大分类法则一基于基本表情的分类和基于f a c s 基本运动单元a u s 的分类。 虽然对人脸表情的研究工作取得了很大进展，但是此时的研究还未进入到人脸表 情的识别阶段。并且由于当时计算机技术的限制，人脸表情的研究主要以人工手 段为主。直至1 9 7 8 年，s u w a1 7 j 等人对一段人脸视频动i 惭进行人脸表情识别的最初 尝试，一系列的研究在人脸表情视频序列 ：展丌。到卜世纪九十年代中期，计算 机技术的发展使得人脸表情谚 别的计算机自动化处理成为可能，k m a s e 和 a p e n t l a n d i 8 j 是其中的先驱者。与此h 时，哈尔滨工业大学的高文教授l9 j 领导的团 队将人脸表情识别的研究成果弓i 入我幽。从1 9 9 6 年丌始，人脸表情识别的研究在 国际囤内逐渐升温。就国内来说，北京科技人学的王志良教授l 船1 1 】领导的团队， 将人脸表情识别算法应用于机器人的情感控制研究中，并对2 0 0 2 年以来人脸表情 识别的发展情况进行了阐述。清华大学的刘晓曼i l2 j 则对2 0 0 2 年至2 0 0 5 年以米国 际上人脸表情识别的发展进行了归纳和总结等。在国际上，p e n t i c 和r o t h k r a n t z l l 3 j 总结了至2 0 0 0 年的人脸表情识别的发展情况，该文分别从人脸静态图像和人脸动 态图像入手，用表格的形式对人脸表情识别的各个处理阶段进行分析。f a s e l 和 l u e t t i n l l 4 l 从自己的角度分析了人脸表情识别至2 0 0 2 年的发展情况。越来越多的国 内外学术机构对人脸表情识别展丌了研究，国内的清华大学、哈尔滨工业大学和 中国科学院，美国的c m u 、m i t 、s t a n f o r d 大学，荷兰的d e l f tu n i v e r s i t yo f t e c h n o l o g y 和同本的a t r 研究所是其中的代表。 完整的人脸表情识别系统，如图1 - 1 所示主要包含以下三部分：人脸检测和定 位、特征提取和特征降维，以及特征匹配。 第4 页河南大学研究生硕士学位论文 图i - 1 人脸表情识别系统 人脸检测和定位是在复杂的背景下，判断出人脸区域，然后通过算法标定出 人脸器官的某些特征点，最常用的方法是人眼定位方法。由于人脸检测和定位的 重要，目前它已经发展为一个独立的研究方向。又因为图像实时采集的难度和专 业人脸表情库的普遍使用，所以一般情况下，人脸表情识别算法的处理对象都是 图像库中的图像。人脸检测和定位虽然很重要，但已不是人脸表情识别研究的重 点。 特征提取是依靠数学手段，从不同的角度、不同的空i 日j 对人脸表情进行表示， 并将其转化为可以计算的特征矩阵。由于处理的二维人脸表情特征的维数较高， 给后续的识别带来繁重的计算量。因此通常情况下还会采取特征降维方法，在保 留主要表情特征的同时，尽可能的消除冗余，用最少的符号表示最多的信息。提 取识别工作所需要的人脸表情特征。 人脸表情的特征匹配方法分为表情特征分类和表情特征聚类两大类，前者是 河南大学研究生硕士学位论文第5 页 利用不同表情特征之间的差异来区分，后者是利用同种表情特征之间的相似束聚 合。相对而言，人脸表情特征分类应用的较为广泛，其本质就是应用分类器对表 情进行分类。一般情况下，表情特征匹配主要指的是表情特征分类的方法。 综上所述，从整个人脸表情识别系统看，特征提取与特征降维是人脸表情识 别算法研究的关键。 1 3 1 特征提取 常用的特征提取算法包含i j g 大类：基j ：) l f , i 特征的算法，基于外貌特征的算 法、基于混合特征的算法和肇于序列特征的算法。 一、基于几何特征的算法 该类算法的原理在于利用人脸器官的对称性以及相互之间的几何关系，柬反 映表情变化时人脸器官的相对变化。常用的疗法是在人脸主要器官，包括眉毛、 眼睛、鼻子、嘴巴这些表情变化时形变较为明娃的器官周围标定特征点，计算不 同表情发生时特征点之问的距离，面部不同特征点距离的比例，表情产生过程中 不同特征点形成的角度或者人脸局部轮廓曲率的变化，并以此作为判断人脸不同 表情的依据。该算法的优点是直观地反映了人脸表情发生时人脸的宏观变化。但 是该算法也存在两个方面的缺点：1 ) 很难表示表情的细节，包括额头、眉心、眼 角、嘴角的皱纹，以及图像的纹理细节。2 ) 特征点多为手工标注，自动化程度不 高，无法保证标注的准确性。所以在人脸表情特征点位置标记不准的情况下，算 法所得到的识别率不高，因此单纯使用几何特征作为表情特征处理的算法并不多。 二、基于外貌特征的算法 外貌特征是泛指全部人脸图像像素的特征。该类算法最主要的是基于局部特 征的方法，利用一组滤波器对图像滤波，结果可以反映局部像素之间关系。比如： 纹理或者梯度、相关性等统计特性。由于g a b o r 小波具有对光照不敏感的特点， 不会因为光照原因造成对灰度图像的噪声干扰，又因为小波变换具有的多尺度多 方向特点，因此g a b o r 小波1 1 5 d 6 l 是近年来使用较多的算法。研究者用g a b o r 小波 检测人脸表情图像不同尺度、不同方向的纹理特征，对整幅图像或者部分特征点 进行小波变换，取g a b o r 系数作为表情特征进行识别。 第6 页河南大学研究生硕士学位论文 因为相同表情的图像之i 日j 据有某种相关性，一些研究者从统计的角度对人脸 表情识别展丌研究，应用较为广泛的是p c a 构方法l l ，该方法是利用图像矩阼的 二阶相关性，找到数据变化的主要方向，提取人脸表情图像的主要特征。丽独立 分量分纠1 7 j ( i c a ，i n d e p e n d e n tc o m p o n e n ta n a l y s i s ) 算法则将人脸表情图像看成 是满足非高斯分和的、栩旺独立的隐藏信号的线性组合，通过寻找使隐减信号的 非高斯性最大的变换矩阵，柬实现人脸表情特征的提取。 基于外貌特征的方法可以有效的表示图像的局部变化。由于该方法对整幅图 像进行处理，因此可能会产生较人维数的特征，占用较大的计算空间，不利。j ：算 法的实时性。如果选取部分特 l f 的小波系数作为特征，又会而临特征点于工标 注的问题。因此如何自效提取特征并兼顾特征维数是研究肯必须要考虑的i u j 题。 三、基于混合特征的算法 基于几何特征和整体特征的探索，一些研究者考虑将各种特征信息结合起水， 以实现更高的识别率。z h a n g l l 8 l 将多种特征融合，通过几何特征的提取，人脸法令 纹检测，还有表情变化时人脸自，j 额、眉心和下颚的皱纹检测，结合贝叶斯例络， 实现对人脸表情的i ： 别。还彳j 一些研究者从人脸的形状特征出发，并结合了人脸 的纹理特征，运用主动外观模型i ”l ( a a m ，a c t i v ea p p e a r a n c em o d e l ) 形成了人舱 的参数化表示，以此来反映参数变化时，人脸表情的相应变化。 基于混合特征的算法运用的特征较为全面，具有一定的自动化程度，但是算 法实现过程相对复杂，不易仿真。 四、基于序列特征的算法 该算法主要应用在人脸表情的动态图像，即图像序列中。其中应用较多的是 基于光流的动态人脸表情识别算法。 1 9 8 1 年，h o m & s c h u n c k ! 驯首次提出了光流场的数学计算，文献1 2 1 1 给出了光 流的概念，指出当人的眼睛观察运动物体时，物体的景象在人眼的视网膜上形成一 系列连续变化的图像，这一系列连续变化的信息不断“流过”视网膜，好像一种光 的“流”，故称之为光流。然而在计算机视觉领域，对光流场的估计并非针对在视 网膜上的成像，而是针对我们用摄像机拍摄的视频序列的视频帧，因此在人脸表 河南大学研究生硕士学位论文第7 页 情u ! 刖的研究中，光流场概念可以邢解为视频帧中像素的维运动。 研究者分j ；从不同角度用光流法实现埘人廿盒衷情| 冬| 像序列的特征提墩。文献 1 2 2 1 利；i j 光流模，锉跟踪瞒毛、眼睛以及嘴角等k 域的运动，刷 决策投实现人脆表 情的分类艾献1 2 3 ； h o r n s c h u n c k 光流沾处州罔像，然肌脚h j 维博市lj l 变化的 系数作为特征i f l 艟t 通过隐。尔科走模型实现分类。文献1 2 4 1 t j i , u c a s k a n a d e 光流 池绱俞h e s s 油n 矩阵米消除局部邻域中不，叮帮的约爪点，以人舱表情卜列的p c a 降 维和髓化肝的向量作为特征向量，取得了较盘_ _ 的识别放粜。 “实际应川- p ，光流法用矢量图或者叫格降l 的形j 表小，奉章选驭 耐摹梅 胯人 r ：c o h n - k a n a d e 动作单元编码表情数捌片俐( c o h n k a n a d ea u c o d e df a c i a l e x p r e s s i o n d a t a b a s e ) 巾的纽图像序列，h j h o r n & s c h u n c k 光流法处删，选取其巾 以m 播i 冬| 的形式表示。如幽1 - 2 所日i 。 图i - 2 光流 击的同格表示图 t h 罔1 - 2 可以看出，人脸表情发生时，光流法可以明显地表示人脸肌肉的运动 趋势。眩算法的优点就足呵以反映图像序列帧问的娈化趋势，突出表情的局部变 化。似足浚算法成立的d u 提是亮度假设和空叫致性假设。所训亮度假设，是指 在同一视频序列的相邻两帧之间，山干运动，物体在两帧之州存在的位氍可能有 所不同，但物体h 要在两帧中同时存在，则假发它们的亮度保持一致。空间一致 第8 页河南大学研究生硕士学位论文 性假设是指在图像序列中，某一像素的运动与其周围的像素密切相关，它们应当 是相同的，至少它们之间的变化应当是平缓的。因此光流法要求图像序列每帧的 亮度一致，而且图像应当是平滑的。所以当图像序列不满足上述条件时，光流法 的效果就会受到很大影响。 综上所述，特征提取的方法虽然很多，但是特征提取方法目前遇到的较大问 题是如何使算法实现一定程度的自动化，并在有效提取人脸表情特征的同时兼顾 特征维数。因此该问题是本文的研究内容之一。 1 3 2 特征降维 特征降维方法发展至今取得了很大进腱，其本质就是对提取的特征维数进行 化简，用尽可能少的数据表示尽可能多的信息。由j ：特征降维的处理对象是提取 的人脸表情特征，如果将特祉降维铬法f f 接j 逦用f 人脸表情图像，就会同时实现 特征的提取和降维，因此应用在特征降维和特i j f 提取的很多算法往往是通用的。 其中p c a 是最常用的方法，该算法最初山p e a r s o n 于1 9 0 1 年提出，并由h o t e l l i n g 于1 9 3 3 年加以完善，因此在图像处理中，常用霍特林( h o t e l l i n g ) 变换来表示这 一方法，而在连续域则用k l ( k a r h u n e n l o e v e ) 变换末表示。该算法的主要思想 是：由训练样本的协方差矩阵获得空问变换矩阵，通过该矩阵将待处理样本映射 到变换后的空间，选择该空间中的主分量，以较少的数据表示较大的样本，简化 统计分布的数据集合。但是p c a 在处理样本时需要将样本转换为一维向量，这就 使算法形成的协方差矩阵的维数很大，占用了大量的计算空问，不利于算法的实 时性。因此，研究者在p c a 算法的基础上提出了2 d p c a 2 6 j 算法，2 d p c a 用二维 的数据矩阵直接构造一个协方差矩阵，简化了计算过程，更利于二维人脸表情特 征的计算，提高了算法的实时性。2 d p c a 算法是目前较为优秀的特征降维算法， 但是该算法仍然需要计算维数较大的协方差矩阵。特征降维所面临的问题是降维 程度兼顾识别率的问题，既要达到较好的特征降维效果，又不能因为过度压缩影 响提取的特征信息。而特征降维与图像压缩的本质是基本相同的。因此，能否将 图像压缩中的经典算法应用到特征降维领域，使其实现良好的降维水平并兼顾人 脸表情识别的精度，是本文所要研究的第二个内容。 河南大学研究生硕士学位论文第9 页 1 3 3 特征分类 人脸表情谚 别的最后一个步骤是应用分类器对表情特征进行分类。目自订应用 到人脸表情识别算法的分类器有最近邻法、神经网络、支持向量基等。最近邻法 是人脸表情谚 别巾最重要的分类方法之一，该方法是通过比较未知样本和所有已 知类别样本之i 、n j 的欧氏距离，来判定未知样本与离它最近的样本属j ：同类。最近 邻法分类的优点是简币可行，满足一般的表情分类要求。神经网络方法通过学习 机制获得对人脸表情谚 别中存在规律的隐性表达，适心性很强，不足之处是只有 在训练样本比较充分的情况下，才能得到较好的识别效果，而且神经网络的层数 和判断函数的选择没有统一的模式可循，因此需要通过反复实验j 能达到一个近 似准确的程度。支持向黾机方法是基于统计学习理论的一种学爿分类算法，陔方 法通过核函数将样本变换剑特征空间中，在特征空i 日j 中找到一个“最优分类旺i i ”， 将两类样本分丌。它一方面可以克服神经网络所固有的过学习和欠学习问题，另 一方面义有很强的j e 线性分类能力。但是由于它只适用于解决两类的模式分类问 题，因此对于人脸表情识别这样的多类问题，必须要把多类问题细化为二：分类问 题，才能完成表情的分类识别。 1 4 研究内容和论文结构 本文包括两部分研究内容： ( 1 ) 在特征提取方面，提出了基于a s m 和g a b o r 小波的a s mg w 人脸表 情识别算法，在满足一定的人脸表情识别率的条件下，实现了大幅度的人脸表情 特征维数地降低。首先给出了a s m 提取特征点的原理；然后说明了如何对相应特 征点进行基于g a b o r 小波的特征向量表示；其次使用p c a + l d a 算法完成特征降 维和人脸表情分类；最后利用j a f f e 人脸表情库对算法进行仿真，实验结果说明 算法的有效性。 ( 2 ) 在特征降维方面，基于d c t 算法在图像压缩中的应用，先分析了d c t 用于特征降维的可行性，并给出了d c t 特征降维的基本原理。然后以人脸表情识 别为背景，在d c t 和2 d p c a 具有相当的降维效果时，给出了d c t 比2 d p c a 具 有较高的人脸表情识别率的理论分析。最后，利用只本j a f f e 人脸表情库，通过 实验对d c t 和2 d p c a 进行了比较分析。实验平台为m a t l a b 7 0 。 第1 0 页河南大学研究生硕士学位论文 本文的组织结构如下： 第二章，针对特征点提取的自动化程度不高，以及人脸表情图像特征维数过 大的问题，提出了基于a s m 和g a b o r 小波的a s m g w 人脸表情谚 别算法。 第j 章，将d c t 应用于特征降维领域，并与2 d p c a 算法进行比较分析。 第四章，总结本文的主要工作和结论，对人脸表情谚 别的研究工作进行了展 挈。 1 5 小结 本章给出了人脸表情识别的定义，研究现状和研究难点，并介绍了人脸表情 j 剔研究的历史、现状和发展趋势，综述儿种常用的人脸表情谚 别方法。在此基 础l 二描述了其研究意义和研究背景；最后，给了小文的人脸表情谚 别的研究内 容以及本论文的结构安排。 河南大学研究生硕士学位论文第11 页 第二章基于a s m 和g a b o r 小波的人脸表情识别 由于g a b o r d x 波在特征提取方面具有良好的视觉特性和生物学背景1 2 刀，冈此很 多研究人员将基 ：g a b o r d x 波的特征提取方法引入到人脸表情识别中。文献 1 5 ，2 8 】 从与表情有关的人脸器官周【羽，比如：眼睛、眉毛、嘴巴等处，获取若干特征点。 由于表情的变化带柬人脸特征点位置的变化，相应的g a b o r d 、波值也会有很大区 别。因此，可以将特征点位旨处的像素值与g a b o r d , 波卷积的结果作为人脸表情特 征，用于识别人脸表情。该算法描述的人脸表情的特征维数较小，因此对计算机 硬件资源要求不高，容易满足算法的实时性。但该算法采用手工标定的方式来实 现特征点位置的提取，这利，做法既不利于计算机的自动化处理，也会凼为人为的 操作带来较大的误差，影响谚 别；钲。文献【2 9 】将整幅人脸图像和g a b o r d , 波卷移 的 结果作为特征矩阵进行处理，该方法包含了所有可能的人脸表情细节，因此j 叮以 获得较高的谚 别率。但是描述人脸表情的特征维数较大，对计算机硬件资源要求 较高，不容易满足算法的实时性。凶此，针对人脸表情识别的特点，需要一种既 能提高识别率，又小需要较大特征维数的人脸表情识别算法。 为了克服手工标定特征点的缺点，提高特征点标注的自动化程度，一些研究 者提出了自动提取特征点的方法，基于几何特征的灰度积分投影法利用水平和雄 直方向的投影曲线来判断人脸区域的位置，然后结合模板算子，或者利用形态学 图像处理的方法，比如：腐蚀、膨胀、分水岭算法等，提取人脸的主要特征点。 但是这种算法提取的特征点有限，并不适合人脸表情识别的研究。文献【3 0 】提出利 用人脸图像在色彩编码空间一y c b c r 空问中c b 分量( 蓝色色度分量) l t c r 分量( 红 色色度分量) 较强的特点，结合人脸的曲率图像( c u r v a t u r em a p 3 l 】) ，在不同的变化 域分别提取眼睛、鼻尖和嘴巴的特征点，该算法利用人脸器官的颜色特征，可以 较为准确、自动的标注出眼睛和鼻尖处的若干特征点。但是该算法标定的人脸表 情区域有限，提取的特征点数量不多，而且目前的人脸表情图像库提供的基本上 是二维灰度图像，所以该算法在当前的人脸表情识别对象的研究上存在一定的局 限性。 另一些研究者考虑利用变形模板进行特征提取的方法，这种方法适用于二维 灰度图像。1 9 8 7 年k a s s 3 2 l 等人提出的s n a k e 模型，即主动轮廓模型( a c t i v ec o n t o u r m o d e l ) 。该算法使用一条由若干个控制点组成的连续闭合曲线作为s n a k e 模型，再 第12 页河南大学研究生硕士学位论文 用一个能量函数作为匹配度的评价函数，首先将模型设定在目标对象预估位置的 周围，再通过不断迭代使能量函数最小化，当内外能量达到平衡时即得到目标对 象的边界与特征。该算法的改进算法很多，其中b a l l o o ns n a k e l 3 3j 算法就是在轮廓线 上施加另一个外部约束力，使轮廓线向目标靠拢。在该力的作用f 轮廓线不断向 外膨胀，最终进化剑h 标轮廓。该算法虽然提高了特征提取的自动化程度，但是 提取的火都是轮廓特征，对于特征点的选取和控制仍显不足。 1 9 8 9 ，# ：y u i l l e l 3 4 j 等人提出使用参数化的可变形模板末代臀s n a k e 模型的算法。模 板的参数指导轮廓变形过程的特征期望形状的先验知识束确定。为了确定这些 参数，需要利川图像的灰度等各种信息来建立能晕函数。通过渊恪模板的尺寸、 化胃和方向，可以实现能晕函数的最小化，同时能量函数的最小化埘应着模板与 图像的最佧匹配1 35 。该算泫将模板参数化，提高了对特征f j 动拧制的程度。 1 9 9 5 年c o o t e s l 3 6 l 等人提出了a s m 算法，该算法采用参数化的采样形状来构 成对象形状模型，并利用p c a 方法建立描述形状的控制一m 0 延z 力模型，最后利用 参数组末控：刨特征点的位置变化，从而逼近当前对象的形状，足利刖统计模型描 述物体形状的一种半自动化方法。虽然该方法仍需要手t 标定初始特征点，但是 该算法町以通过改变模型参数，自动地调整特征点的位置和训练次数，在图像数 量较多的情况下，可以极大地降低工作量。囚此近年来a s m 算法在特征点定位和 人脸识别方面都有所应用。基于上述特点，本章将a s m 算法引入到人脸表情识别 研究中，以此实现一种新的算法。该算法的本质是：首先用a s m 提取人脸表情特 征点；然后用g a b o r 小波对相应特征点进行表示，形成特征向量；最后用p c a + l d a 实现特征降维和人脸表情分类。 本章结构如下：首先给出a s m 特征点提取的基本思想以及相应特征点基于 g a b o r 小波的特征向量表示；然后用p c a + l d a 实现特征降维和人脸表情识别；最 后给出仿真实验结果。 2 1a s mg w 算法 2 1 1a s m 的基本原理 a s m 依靠一组事先标定过特征点的训练图像组成点分布模型( p d m p o i n t d i s t r i b u t i o nm o d e l ) ，然后通过调整权值参数，使模型与要提取特征点的图像相匹 河南大学研究生硕士学位论文第1 3 页 配，实现图像特征点的提取。除了事先标定训练图像的特征点和调整权值参数需 要人工操作以外，a s m 的其他过程完全由计算机自动实现。 a s m 算法的过程如图2 - 1 所示： 图2 - 1 a s m 算法流程 首先取幅人脸图像组成训练集，每幅图像上标记以个点作为人脸表情特征 点，特征点位置由该点的坐标表示。设训练集中第f 幅图像上的第，个点的坐标为 ( 薯，y ，) ，则第f 幅图像上的月个点的坐标表示如下： 毛= k o ，只o i ，咒1 ，- l ，y l 一一l r ；1 s fs n ( 2 1 ) 对于训练集的两幅图像来说，毛和x ；是两幅特征点分布相似的图像，设x ，为配准 第1 4 页河南大学研究生硕士学位论文 对象，选择尺度参数s ；，角度参数e 和平移参数f j l 3 6 - 3 8 1 ，然后用这些参数埘鼍进行 配准，使x i 按照公式( 2 2 ) 尽可能接近k ；，即使图像形成的两个形状尽可能接近。 配准的过程就是模型化、参数化的过程。 f 毫。m ( s f ，佛) 葺+ f f 卜咖叫嚣矧 汜2 毫是葺配准后的结果。对f 训练集的全部特征点图像来说，配准过程如图2 - 2 所示： 图2 - 2 特征点图像配准流程 河南大学研究生硕士学位论文第15 页 对于训练集来说，选定一幅特征点图像作为配准时象( 通常的做法是选择第 一幅图像) ，得到全部的配准结果后，计算出配准结果的平均图像，将平均图像规 范化1 3 7 l 作为新的配准对象，再次对训练集中的图像进行配准，不断循环直到收敛。 训练集中特征点图像五配准后的结果可表示为： x i = i x i o ，y f o x i l ，y 订，x i n l ，y 抽一l 】7 ；l s f n ( 2 - 3 ) 配准结束后，用p c a 算法对模型进行处理，采j j 较少的变量末表示模型，以 降低模型的维数【3 刀。令；是配准后的图像特征点的r 均形状，戤是配准后的图像 特i 1 f 点相对于平均形状的偏差，由其组成的大小为2 n 2 n 的协方差矩阵c 对应的 特征值和特征向量分别为九和p i ，则： 至一万1 善n 毫 xt 一、x ： n 惫l