（模式识别与智能系统专业论文）基于复小波变换的人脸表情识别研究.pdf

r 、 一 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的规定。特 授权北京交通大学可以将学位论文的全部或部分内容编入有关数据库进行检索， 提供阅览服务，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。 同意学校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名； 爹丕东 导师签名： f ) 易牟 f j 签字日期：) ，f ，年多月f 万日签字日期：z 口d 年石月夕日 ，j ? - -j 基于复小波变换的人脸表情识别研究 f a c i a le x p r e s s i o nr e c o g n i t i o nb a s e do nc o m p l e xw a v e l e t t r a n s f o r m 作者姓名：李亚东 导师姓名：阮秋琦 学位类别：工学 学号：0 8 1 2 0 4 8 2 职称：教授 学位级别：硕士 学科专业：模式识别与智能系统研究方向：计算机视觉 北京交通大学 2 0 1 0 年6 月 j e 立窒适厶堂亟淦塞 致谢 本论义的工作是在我的导师阮秋琦教授的悉心指导下完成的，阮秋琦教授严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢两年来 阮秋琦老师对我的关心和指导。阮老师渊博的学识、严谨的治学态度和科学的工 作方法使我敬佩，同时使我在学业上受益匪浅。阮老师悉心指导我们完成了实验 室的科研工作，在学习上和生活上都给予了我很大的关心和帮助，在此向阮老师 表示衷心的谢意。同时阮老师对于我的科研工作和论文都提出了许多的宝贵意见， 在此表示衷心的感谢。 同时在攻读硕士学位的两年时间里，信息所裘正定老师、丁晓明老师、朱振 峰老师、刘渭滨、赵瑞珍老师等教授的课程为我的研究工作打下了坚实的理论基 础。同时，安高云老师和金一老师对我的科研工作给予了很大的帮助。在此对信 息所的所有老师表示衷心的感谢。 在实验室工作及撰写论文期间，支瑞聪、郭松、刘帅、明悦、穆美如、李小 利、高海燕、李倩颖、李小娟、冉冉、姚永红、党兵等同学对我论文中的研究工 作给予了热情帮助，在此向他们表达我的感激之情。 另外也感谢在学习、工作和生活中给予我巨大帮助和支持的父母和家人，他 们的关爱和默默支持是我一生前进的动力，感谢他们无私的给予我的一切。 最后向所有在过去的日子里关心我、支持我、帮助我的人致以衷心的感谢。 i v ，j_1 中文捅要 摘要：人脸表情含有丰富的人体行为信息，在人类非语言方式的交流中起到了主 导作用，近几十年来在人机交互领域也受到越来越多的关注。若能使计算机拥有 更强的识别和理解人脸表情的能力，将会极大的改变计算机与人的关系，从而使 计算机更好的为人类服务。 本文对国内外关于人脸表情识别的文献进行了深入研究和分析，针对表情识 别的若干问题进行了探讨，并且对在识别过程中占据着重要地位的特征提取的各 种算法做了深入的研究，在此基础上提出了几种改进的算法。大量的实验证明本 文提出的算法的高效性。主要工作如下： 第一，改进了现有的有j i 督的谱特征分析算法。在原有算法的基础上，引入 了另外两种l a p l a c i a n 矩阵，并通过实验验证了算法的有效性。 第二，提出了基于双元树复小波变换的有监督的谱特征分析算法。引入双元 树复小波变换并进行了改进，利用其平移不变性、方向选择性、完全重构性和高 效计算能力等特性，对图像进行4 层分解来提取表情特征。每层分解得到6 幅指 向不同方向的带通子图，体现了其多尺度多方向的分辨能力，使得表情中细微的 局部特征更好的体现出来，并使得识别率有了大幅提高。然后结合有监督的谱特 征分析算法进行表情识别，在j a f f e 库和c k 库上通过大量的实验来验证本文算 法的有效性。 第三，引入单元树复小波变换与双元树复小波变换进行比较，同时提出基于 单元树复小波的有监督的谱特征分析算法。对比得知两种复小波变换虽然表征图 像特征的能力很相似，但单元树复小波变换计算相对复杂。 第四，搭建了人脸表情识别演示系统，将本文研究的算法的识别结果更直观 的显示出来，同时为后续研究提供了一个实验平台。 关键词：人脸表情识别；特征提取；谱特征分析；双元树复小波；单元树复小波 分类号：t p 3 9 1 4 1 i ， l 【 0 a bs t r a c t a b s t r a c t ：f a c i a le x p r e s s i o nh o l d sr i c hh u m a nb e h a v i o ri n f o r m a t i o na n dp l a y sa l e a d i n gp a r ti nh l l m a nn o n v e r b a l c o m m u n i c a t i o n i nt h ef i e l do fh u m a n - c o m p u t e r i n t e r a c t i o n ，m o r ea t t e n t i o n sh a v eb e e np a i do ni ti nr e c e n td e c a d e s i fc o m p u t e ri sa b l e t or e c o g n i z ea n du n d e r s t a n dh u m a ne m o t i o n sb e r e t , h u m a na n dc o m p 嗽i n t e r a c t i 叽 w i l lb eg r e a t l yi m p r o v e da n ds e r v e sh u m a nb e r e r i nt h i sp a p t h el i t e r a t u r e sh o m ea n da b r o a da b o u tf a c i a le x p r e s s i o nr e c o g n i t i o n a r ei nd e e pr e s e a r c ha n da n a l y s i s ，a n di t s h o w st h a tf e a t u r ee x t r a c t i o ng e t sm u c h i m p o r t a n c ei nr e c o g n i t i o ns y s t e m w ef o c u sa n u m b e ro fi s s u e sa b o u tf a c i a le x p r e s s l o n r c c o 朗i t i o na n dm a k er e s e a r c h o nf a c i a le x p r e s s i o nf e a t u r e e x t r a c t i o na l g o r i t h m s f u n 】1 e r m o r e ， s o m ei m p r o v e m e n t so ff e a t u r e e x t r a c t i o nm e t h o d s a l e p r o p o s e d e x p e r i m e n t sp r o v e t h ee f f i c i e n c yo ft h ep r o p o s e da l g o r i t h m s t h em a i n c 0 n 劬u t i o n so t t h i sp a p e ra r e ： f i r s t l v w ei m p r o v et h ee x i s t i n gm e t h o do fs u p e r v i s e ds p e c t r a la n a l y s i s a n o t h e r t w ol a p l a c i a nm a t r i x e sa r ei n t r o d u c e dt og e tb e t t e rp e r f o r m a n c e ，a n de x p e n m e n t s a r e d o n et ov e n f yi t se f f e c t i v e n e s s s e c o n d l y , s u p e r v i s e ds p e c t r a l a n a l y s i sb a s e d o nd u a l _ t r e ec o m p l e xw a v e l e t t r a n s f o 册i sp r o p o s e d w ei n t r o d u c et h ed u a l t r e ec o m p l e xw a v e l e tt r a n s f o r ma l l d b n n g f 0 州a r ds o m ei m p r o v e m e n t i nv i r t u eo ft h ea t t r a c t i v ep r o p e r t i e s s u c na s 茹r i n v 撕a n c e ，d i r e 嘶o ns e l e c t i v i t y , p e r f e c tr e c o n s t r u c t i o na n de f f i c i e n tc o m p u t i n g ，w e d e c o m p o s et h ei m a g et o4 s c a l e st oe x t r a c te x p r e s s i o nf e a t u r e 6s u b - i m a g e so r i e n t e da t 6d i 伍：r e n td i r e c t i o n sw i l lb eo b t a i n e da te a c hs c a l e ，a n d i ts h o w si t sm u l t i s e a l ea n d m u l t i d i r e c t i o nr e s o l u t i o na b i l i t y m e a n w h i l es u b t l ea n dl o c a lc h a r a c t e r i s t i c so t - i m a g e w i l lb ep r e s e n t e db e t t e r c o m b i n e dw i t hs u p e r v i s e ds p e c t r a la n a l y s i s ，t h e d u a l 仃e e c o m p l e xw a v e l e t t r a n s f o r me n h a n c e st h er e c o g n i t i o np e r f o r m a n c e r e n l a r k a b l y e x p e r i m e n t so nt h ej a f f e d a t a b a s ea n dc kd a t a b a s es h o wi t se f f e c t i v e n e s s t h i r d l v t h ed u a l t r e ec o m p l e xw a v e l e tt r a n s f o r ma n ds i n g l e - t r e ec o m p l e xw a v e l e t 勺咖鸭f 0 肌a r ec o m p a r e dw i t he a c ho t h e r f u r t h e r m o r e ，w ep r o p o s et h e m e t h o do f 唧e r v i s e ds p e c t r a la n a l y s i sb a s e d o nt h ed u a l t r e ec o m p l e xw a v e l e t 仃a i l s t 0 加b y c o m p a r i s o no ft h e s et w oc o m p l e xw a v e l e tt r a n s f o r m s ，w e l e a r n e dt h a tt h o u g ht h ea b i l i t y t op r e s e n ti m a g ef e a t u r e si sv e r ys i m i l a r , t h e m o r ec o m p l e xt oc o m p u t e s i n g l e - t r e ec o m p l e xw a v e l e tt r a n s f o r mi s f o u r t h l y ，ad e m o n s t r a t i o ns y s t e mf o rf a c i a le x p r e s s i o nr e c o g n i t i o ni sb u i l t t 0s h o w v n o u ra c h i e v e m e n t ，a n da ne x p e r i m e n t a lp l a t f o r mi s p r o v i d e df o rt h ef o l l o w u ps t u d ya t t h es a m et i m e k e y w o r d s ：f a c i a le x p r e s s i o nr e c o g n i t i o n ；f e a t u r ee x t r a c t i o n ；s p e c t r a la n a l y s i s ； d u a l - t r e ec o m p l e xw a v e l e tt r a n s f o r m ；s i n g l e t r e ec o m p l e xw a v e l e tt r a n s f o r m c l a s s n 0 ：t p 3 9 1 4 1 n 序 人脸表情识别分析是人工心理理论研究的重要组成部分。人脸表情含有丰富 的人体行为信息，在人类非语言方式的交流中占据主体地位。研究表明，通过对 人类面部表情的识别来判断人的心理状态的正确率可达到8 0 以上，这就使得通过 对表情的研究来进一步理解人类的心理状态变为可能。计算机和机器人如果能够 像人类那样具有理解和表达情感的能力，并能够自主的适应环境，这将会使计算 机能够更好的为人类服务。这也正是对人脸表情进行研究的课题的意义。 虽然人脸表情识别的研究意义重大，但是人脸表情识别是具有挑战性的一个 课题，目前正处于研究阶段，甚至在理论方面的知识还不完善，各种算法并不成 熟并处于摸索阶段。因此这个领域还需要研究人员不懈的努力使得该领域的技术 走向成熟，走向应用，走向商业化。 通过研究和学习，我们认为人脸表情识别是一个非常有前景的领域，还需要 很多创新工作要做，尤其是表情特征提取算法方面仍有很大的提升空间。我们最 终的目的是构建可以实现准确识别的表情识别系统。要达到这个目标，我们需要 深入研究当前存在的各种算法，并对算法进行不断的改进和创新。因此本文的内 容主要有两大部分：一是对算法的研究和改进，提出更有效的提取特征的方法从 而使识别率增大；二是搭建算法演示和比较平台。 本文内容分为五章，分别对人脸表情识别综述、理论知识基础、具体算法的 研究和改进、实验结果和分析、人脸表情识别系统以及本课题的总结和展望进行 了详尽的介绍与论述。 本文课题的研究得到国家自然科学基金( n o 6 0 6 7 2 0 6 2 ) 、教育部博士点基金资 助项日( n o 2 0 0 8 0 0 0 4 0 0 0 8 ) 资助。 x 目录 中文摘要v a b s t r a c t v i i 序i x l 综j 苤一l3 1 1课题研究的背景及意义1 3 1 2人脸表情识别的研究现状1 4 1 2 1 表情识别技术概述：1 4 1 2 。2 人脸检测与定位方法16 1 2 3 脸部特征提取方法18 1 2 4 表情识别算法。：2 3 1 3目前存在的问题。2 4 1 4本文的主要内容和结构安排2 5 2基于有监督的谱分析的特征提取和表情识别2 6 2 1图的基本概念及划分准则2 6 2 1 1 图的基本概念2 6 2 1 2 图的划分准则2 7 2 1 3 求解图的最优分割2 9 2 2基于有监督的谱特征分析的表情识别步骤3 2 2 3基于有监督的谱特征分析的算法分析3 3 2 4实验结果及分析3 4 2 4 。1 表情库及实验环境描述3 4 2 4 2 图像样本的预处理3 5 2 4 3 基于j a f f e 表情库的实验及分析一3 6 2 4 4 基于c k 表情库的实验及分析3 8 2 5本章小结4 0 3基于复小波分解的有监督的谱特征分析算法4 2 3 1引言4 2 3 2双元树复小波变换4 3 3 2 1 一维连续小波变换4 3 3 2 2 一维离散小波变换( 1 d d w t ) 一4 3 3 2 3 二维离散小波变换( 2 d d w t ) 4 6 3 2 4 复小波变换( c w t ) 4 8 3 2 5 双元树复小波变换( d t - c w t ) 4 9 3 3基于双元树复小波变换的特征提取5 3 3 4基于单元树复小波变换的特征提取5 6 3 4 1 单元树复小波变换( d t - c w t ) 5 6 3 4 2 基于单元树复小波变换的表情特征5 8 3 5基于g a b o r 变换的特征提取5 9 3 5 1g a b o r 变换5 9 3 5 2 基于g a b o r 变换的表情特征6 0 3 6基于复小波分解的有监督谱特征分析算法流程6 2 3 7实验结果与分析6 3 3 7 1 基于j a f f e 表情库的实验与分析6 3 3 7 2 基于c k 表情库的实验与分析6 7 3 8 本章小结：7 0 4人脸表情识别演示系统的设计与实现7 2 4 1系统基本软硬件环境7 2 4 2系统的总体流程图7 2 4 3系统界面7 4 4 4系统演示7 5 5 结论81 5 1本文工作总结8 1 5 2未来工作展望8 2 参考文献8 3 作者简历8 7 独创性声明8 9 学位论文数据集9 l 部表情的识别来判断人的心理状态的正确率达到8 0 以上，这就使得通过对表情的 研究来进一步理解人类的心理状态变为可能。计算机和机器人如果具有理解和表 达情感的能力，并能自主的适应环境，这将会使计算机能够更好的为人类服务。 这也正是对人脸表情课题进行研究的意义。 随着信息和计算机技术的飞速发展，入与人之间的交流方式正在发生转变， 从最简单的面对面的交谈、打电话到通过网络聊天、互发电子邮件，人们慢慢的 趋向于通过计算机在虚拟的网络世界中进行交流。这些趋势就要求计算机具有与 人类相似的理解和表达感情的能力，以便更好的进行人机交互。与此同时，人与 计算机之间的交互方式也经历着一场巨大的变革。人机交互的方式从典型的键盘 和鼠标操作向更加自然的交互方式转变，这种交互方式的手段主要包括视觉信息 和声音。科学家们认为人类之间的面对面的交流方式是一利，理想的人机交互的模 式，这说明人脸及其丰富的表情变化在交流中起到的关键作用。研究表明如果把 人们之间交流时传递的信息进行分割的话，人们所说的话语传递的信息占了7 ， 说话时的语调占了3 8 ，而说话人的表情占了5 5 。这些数据清楚地说明了人脸表 情在人们交流中所起的重要作用。 利用计算机进行人类面部表情识别在很多领域都有着很大的应用，例如： ( 1 ) 人机交互领域：在现代的网络社会里，计算机不仅仅被视为一台用来计算 的机器，它还给人类提供多种方便人们交流的途径。其中，通过视频的实时传输 进行聊天就是一种典型的功能。如果我们和朋友在网上聊天时还能看见他的影像， 那么我们就可以通过影像掌握更多的信息，交流的效果会更好。但由于网络传输 速度和流量的限制，影像传输的非常缓慢。这时，我们可以利用摄像机里的表情 分析器对朋友的表情进行分析，只传输得到的分析结果，例如：“您的朋友有点不 开心。 ，同样可以达到交流的效果。 ( 2 ) 电脑游戏：随着电脑游戏在青少年和成年人群盛行开来，这可能成为脸部 表情识别最有应用价值的一个领域。如果游戏可以根据游戏者的喜、怒、哀、乐 等情绪做出实时的反应，那么这些游戏肯定比传统的有固定规则的游戏更吸引入。 ( 3 ) 远程教育：老n t f ：j 普遍认为在远程教育过程中很难掌握学生对课程的掌握 情况。在正常的面对面授课巾，老师可以通过学生的表情及其他反应得知他们的 掌握情况。远程教育过程中就需要一种表情识别器把学生们的表情对应到对课程 的掌握程度并反馈给老师，这样，老师就可以做出相应的调整。 ( 4 ) 自动驾驶：疲劳驾驶容易酿成交通事故，通过安装的汽车里的感应器对驾 驶员进行脸部监控。如果发现驾驶员正在打瞌睡，可以发出警报；如果他睡着了， 可以自动停止汽车的进行。 ( 5 ) 压力检测：同自动驾驶巾的表情检测一样，表情检测在驾驶飞机的飞行员 以及一些工作压力较大的人员中同样可以得到应用。如果从他们的表情中检测出 痛苦或其它不适的表情，那么就需要做出反应，例如立刻对他们进行治疗以防止 危险的出现。 在安全保密、辅助医疗方面也需要对脸部表情进行分析，这些都使得人类面 部表情的识别和制作成为一项有实用意义的课题，国内外许多专家学者都在这一 领域内进行着广泛深入的研究。 1 2 人脸表情识别的研究现状 1 2 1 表情识别技术概述 早在1 9 世纪，达尔文在著作人类和动物的表情( t h ee x p r e s s i o no ft h e e m o t i o n si na n i m a l sa n dm a n ，1 8 7 2 ) 中就阐述了人的面部表情和动物的面部表 情之间的联系和区别，总结出表情是动物和人类进化过程巾适应性动作的遗迹。 1 9 5 4 年s c h o l s b e r g 提出了表情描述的3 个量化尺度：注意一拒绝、高兴一不高兴、 活跃程度。还有人提出了更多维如：“控制维”、“强度维”、“简单一复杂”等，尽 管不同研究者选用的维数及含义不尽相同，但在一定程度上反应了人们对表情乃 至情绪的认知程度。 1 9 7 8 年，在解剖学的基础上，e k m a n 和f r i e s e n h l 提出的人脸动作编码系统 f a c s ( f a c i a la c t i o nc o d i n gs y s t e m ) ，该系统将表情的变化与面部肌肉的运动联 系起来，使得对所有可能的人脸表情进行编码成为现实。1 9 8 4 年，e k m a n 和f r i e s e n 又提出特定的f a c s 动作单元的组合表示具有情感的表情，根据不同的情感将人脸 表情分为六种基本类型：高兴、悲伤、惊讶、恐惧、愤怒和厌恶嵋1 。这六种基本 类型被计算机研究者认同并广泛的作为人脸表情的类别。在以后的实验中将应用 六种基本的特定情感表情加上平静作为七种待识别的表情。六利，表情对应脸部主 要器官的运动特点如表1 - 1 所示睛1 ： 1 4 综述 表1 - 1 人种表情对应脸部1 i 要器官的运动特j _ t a b l e l lm o v e m e n tc h a r a c t e r i s t i c sc o r r e s p o n d i n gt os i xk i n d so ff a c i a le x p r e s s i o n so fm a j o ro r g a n s 表情额头 眼睛脸的下半部 高兴眉毛稍微下弯1 下眼睑下边可1 唇角向后拉并 能有皱纹，可能鼓抬高 起，但并不紧张2 嘴可能被张大， 2 鱼尾纹从外眼牙齿可能露出来 角向外扩张3 一道皱纹从鼻 子一直延伸到嘴 角外部 4 脸颊被抬起 悲伤 。 眉毛内角皱在一眼内角的上眼皮1 嘴角下拉 起，抬高，带动眉被抬高2 嘴角可能在颤 毛下的皮肤抖 惊奇1 眉毛被抬起来，1 眼睛睁大了，上下颌下落，嘴张 以至于变高变弯眼皮被抬高，下眼开，以至于唇和齿 2 眉毛下的皮肤皮下落分开，但嘴部并不 被拉伸2 眼白可能在瞳紧张，也不拉伸 3 皱纹可能横跨孔的上边露出来 额头 恐惧1 眉毛抬起来并上眼睑抬起来，下嘴张开，嘴唇或者 皱在一起眼皮非常紧张，并轻微紧张，向后 2 额头的皱纹只且被拉起来拉；或拉长，同时 集中在中部，并不向后啦 横跨整个额头 愤怒1 眉毛在一起，并1 下眼皮非常紧1 唇有两种基本 【 且被压低了张，可能被或可能位置：紧闭，唇角 2 在眉宇间出现不被抬起拉直或向下；张 了竖直的皱纹2 上眼皮是紧张开，仿佛要喊 的，可能被压低2 鼻孔可能是张 3 眼睛愤怒的瞪大的，这并不是必 着，可能鼓起要的 厌恶眉毛压低了，并压在下眼皮下出现1 上唇被抬起来 低了上眼睑了横纹，脸颊推动2 下唇于上唇闭 1 5 其向上，并小紧张紧，推动上唇向 上，嘴角下拉，唇 轻微凸起 3 鼻子皱起来 4 脸颊被抬起 人脸表情识别一般包括三个阶段：人脸检测与定位、脸部特征提取和表情识 别。人脸检测与定位是指在包含脸部的图像或图像序列r f l 分割出脸部区域。脸部 特征提取是从脸部图像中提取出识别时所需的脸部特征信息。脸部特征提取可提 取脸部的形变特征或脸部的运动特征。表情分类识别是将输入的脸部图像归入某 个具体类中，即给出一个类别标记。人脸检测与定位之后，在脸部特征提取时根 据某些算法的具体要求可以进行脸部标准化或脸部分割等操作，即进行表情图像 预处理操作，以此消除脸部尺度、光照和头部姿态的影响。预处理主要包括尺寸 归一化、灰度均衡化、旋转调整等。基本框架如图卜l 所示： 图1 - 1表情识别的基本框架 f i g 1 1b a s i cf r a m e w o r ko f e x p r e s s i o nr e c o g n i t i o n 1 2 2 人脸检测与定位方法 人脸检测与定位问题包含的内容非常广泛，从不同的角度分析有不同的分类 方法。在本文的研究工作当中主要是对静止图像中的人脸表情进行识别的。目前 已有的人脸检测与定位方法种类很多，大体可以分为四类1 ： 1 ) 基于知识的方法 首先要抽取人脸图像中几何形状、灰度、纹理等脸部特征，然后验证他们是 否符合人脸的先验知识。人脸区域内的各个器官有较为恒定的模式，故有些方法 先检测各个器官( 如眼睛、鼻子、嘴等) 的局部特征，然后再根据它们的相对位 1 6 置关系来判断整个区域是否为人脸。 2 ) 特征不变的方法 首先找到不受姿势、光照、角度等因素影响的人脸结构特征，然后使用这些 特征来定位人脸。这种方法主要从人脸的纹理、肤色、面部特征及其它特征的综 合方面进行考虑，重点是检测局部图像的结构，并且充分利用人脸特征的空间几 何不变性。 对于彩色图像，如果选用肤色模型，应该先进行肤色检测。在检测出肤色的 像素后，根据它们在色度上的相似性和空间上的相关性分割出可能的人脸区域， 然后利用区域的几何特征或灰度特征检验所选区域是否为人脸，从而排除色彩类 似于肤色的区域。区域分割与验证在很多方法中是密切结合的。对于较为复杂的 情况，则需要考虑两方面的问题晴1 ：( 1 ) 由于光照和脸部器官的影响，人脸可能被 - 分割为若干互不连通的肤色区域；( 2 ) 人脸区域可能与其它类肤色区域连在一起。 此外，还有一些方法使用肤色模板进行搜索匹配，或者在分割之前就将肤色检测 的结果与其它特征融合在一起。 3 ) 模板匹配的方法 在模板匹配方法中，首先应给出一个人脸的标准模板。输入一幅图像，计算 不同尺寸的标准模板的脸部轮廓、鼻子、嘴巴的关联值，从而判断是否为人脸。 然而，在人脸的大小和位姿发生变化时，它就不能正确的进行检测。该方法的正 确性主要取决于对人脸尺度、位置、角度及光照等变化具有鲁棒性模板的建立。 4 ) 基于统计的方法 由于人脸图像的复杂性，描述人脸的特征具有一定的困难，所以基于统计的 方法越来越受到重视。这种方法是将人脸区域看作一类模式即模板特征，使用大 量的“人脸 和“非人脸”样本训练、构造分类器，通过判别图像中所有可能区 域哪个属于“人脸”模板的方法实现人脸的检测。这种方法实际上是将人脸检测 问题转化为统计模式识别中的二分类问题。 常用的方法有以下几种： ( 1 ) 特征脸口1 ：主分量分析( p c a ) 是一种常用算法，它根据图像的统计特性 进行正交变换( k l 变换) ，以消除原有向量之间的相关性。变换后得到的特征值 依次递减对应的特征向量，就是特征脸。 ( 2 ) 人工神经网络( a n n ) ：它将模式的统计特性隐含在a n n 的结构和参数中， 对于人脸这类复杂的、难以用显示描述的模式，该方法具有独特的优势。 ( 3 ) 支持向量机( s v m ) n ：支持向量机是v a p p n i k 等n 妇提出的基于结构风险 最小化原理( s r m ) 的统计学理论，用于分类与回归问题。s r m 使v c 维数的上线最小 化，这使得s v m 方法比基于经验风险最小化的人工神经网方法具有更好的泛化能 1 7 力。 ( 4 ) 隐马尔科夫模型( h m m ) ：n e f i a n 等n ：1 根据正面人脸由上到下的各个领域 具有自然不变的关系这一事实，使用一个包含五个状态的一维连续h m m j h 以表示， 将人脸图像按照这五个区域划分为互相重叠的区域，对各块进行k - l 变换，选取前 若干个变换系数作为观测向量训练h m m 。n e f i a n 等3 1 还提出了基于嵌入式h m m 的人 脸检测方法。 1 2 3 脸部特征提取方法 由于人脸表情的复杂性，表情分析是一个比较困难的研究课题，主要体现在 表情特征提取的准确性和有效性上，因为各种表情体现在脸部各个特征点上的运 动差别本身就不大。比如：嘴巴张开并不一定就表示笑，也可能是哭或者惊讶， 而且同一种表情可能有很多不同的表现方式，比如高兴，有的人是张开嘴大笑， 有的人是闭着嘴微笑。关于人脸表情特征提取的方法主要有以下三种： ( 1 ) 基于几何特征的识别方法：它主要是根据面部的各个部分的形状和位置 ( 如眼睛、鼻子、眉毛、嘴) 来提取特征矢量，通过这些特征矢量代表人脸的几何 特征，然后确定其形状、大小、距离及相互比例等，进行表情识别。 ( 2 ) 基于整体的识别方法：它是通过对整幅人脸或人脸图像中的特征区域进 行变换，找出各种表情下的图像差异，获取人脸各种表情的特征来进行识别。 ( 3 ) 基于模型的识别方法：它主要是建立精确的物理模型，根据解剖学知识 确定关键特征并通过比较这些特征的变化来识别人脸表情，也就是说把人脸表情 识别问题转化为可变形曲面的弹性匹配问题。 典型的方法有以下几种： 1 主元分析法( p c a ) ： 主元分析又称k - l 变换，是一个非常有效的降维方法，特征脸方法在人脸识 别领域中是一个举足轻重的分支。尽管表情识别与人脸识别在特征提取上有很多 差异，但研究表明特征脸的方法在表情识别上同样有效。这种方法是根据像素间 的二阶相关性，将包含表情的人脸区域看作一个随机向量，采用k - l 变换得到正 交变换基，较大的特征值对应的基底( 特征脸) 组成了表情特征空间的一组基， 利用这组基底的线性组合就可以表达不同的表情，实现表情的识别。缺点：运算 量较大，对图像定位的要求比较高。 其具体的算法思想和计算步骤如下：假设参加训练的人脸图像一共有张，每 张图像的维数为mx m ，则可以分别表示为? s ，是，s ，s ，那么平均脸可以表 弋 特征脸需要做的就是找出矩阵c 的前z 个较大特征值对应的特征向量，但c 是一 个mx m 维的大矩阵，求这样一个矩阵的特征值计算量是非常大的，为此我们可以 先求出c 的特征值与特征向量。 首先计算m x m 矩阵c 。的特征向量m o = 1 ，m ) 。根据矩阵理论，矩阵c 。 的特征向量v o = 1 ，m ) 满足： c 2u = 五t 车a 2 彳u = 以u f 1 4 1 、 ， 等式两边同乘以矩阵a 得： 彳彳7 a v i = 么以- 亡 a a 7 ( 么v ) = 五( 彳_ ) = 她 ( 1 5 ) 所以矩阵c r 的特征值一定是矩阵c 的特征值，且矩阵c 的特征值兄f 对应的 特征向量咋o = 1 ，m ) n - j 由c r 对应的特征向量计算得到，如下式所示： “f = a v ( 1 6 ) 将特征值从大到小排列： 如。4 ! l f ，其对应的特征向量为u l ，u 2 ，u ，。 任何一幅人脸表情图像向量l 投影到由u l ，u 2 ，u l | l ，张成的子空间中，都能得到 一组坐标系数，这些系数表明了图像在子空间的位置，可以作为表情识别的依据。 m 为训练样本集的数目，通常m n 2 ，因此特征空间的维数大大降低了。 实际上，m ( i n 吼) ( 1 - 7 ) i - i 户l 主成份分析法在表情识别中主要用于提取特征，可以直接对人脸图像进行处 理，也可以对部分面部( 如眼睛) 使用p c a 方法( l p c a ) 。p c a 方法的最大优势 1 9 就是对高维图像的降维处理，经p c a 处理后的表情图像称为特征脸，特征脸能有 效地描述脸部的表情信息。缺点是图像平移和尺度变换对处理结果影响较大，运 算量比较大。 为了能有效的识别各种不同的表情，就需要对每种表情进行有效的分类，可 结合使用线性鉴别分析方法l d a ( l i n e a rd i s c r i m i n a n ta n a l y s i s ) 。l d a 方法是基于 f i s h e r 鉴别准则，借助于类内散布矩阵肼和类间散布矩阵& ，将不同的表情图像 划入相应的类别中，从而实现表情分类。f l d 的原则：在考虑类内离散度尽可能 小而类间离散度尽可能大的前提下，寻求达到最佳的投影方向。 设人脸表情图像x ( x ，y ) 为二维n x n 灰度图像，每个人脸图像的维数( 图像 宽与图像高的乘积) 即是n 2 ，用n 2 维向量r 表示。人脸图像训练集为 五k , i = l ，m ，k = 1 ，朋) ，其中my b i ) t l 练集中样本的总类别数，m 是第k 类 样本的数目。所有样本均值伊及各类样本均值饩的计算女1 1 t ： 缈= 万l 各z w l 善 k 五七 ( 1 - 8 ) 舻麦善f ( 1 - 9 ) 其中：= 织。于是得到类内散度矩阵& 和类间散布矩阵册： 在使类内离散度尽可能小而类间离散度尽可能大的原则下， 表示如下： = 以r g m a x l w 7 肜l i 形r 既形i ( 1 - 1 0 ) 最优的投影矩阵可以 ( 1 - 1 2 ) 其中= 【，w 2 ，w 3 ，】，m 是投影子空间的维数。可以证明，w ，i = l ，2 ， 3 m 就是下面这个公式所示特征方程中最大的m 个特征值所对应的特征向量。 & w = 五s w w ，i = 1 ，2 ，m ( 1 1 3 ) 由于勘有可能是奇异阵，所以首先对样本数据进行p c a 降维，保证s w 非奇 p 伊 一 吼 缈 一 纯 i m m 料 = 8s p 仇 一 肆 纵 一 磷 ，一 甚乙m 肼料 = s y 由此就可以得到最优投影矩阵。 2 独立分量分析法( i c a ) ： b a r t l e t t l 9 9 8 年n 们提出了基于独立分量分析的表情识别方法，把n 幅原始图 像看成是m 幅特征图像的线性组合，对这m 幅特征图像进行独立分量，然后就可以 得到特征图像。h a v r a nc 等n 和对经过p c a 特征提取的图像进行独立分量分析，同时 验证这种提取特征的方法比单独用主分量分析的提取方法更有效，对主分量的特 征窄间维数具有更低的敏感度。 3 f i s h e r 线性判别法( f l d ) 口1 ： 基本思想是在f i s h e r 鉴别函数取得极值的条件下，求得最佳的鉴别方向，然 后再将原来高维数据投影到最佳鉴别方向上，构成低维的判别特征空间，从而达 到维数压缩，投影后保证数据样本在特征空间中使得类间距和类内距的比值最大， 即数据在该方向上有最佳的可分离性。 4 聚类判别分析法： c h e n 等n 们2 0 0 2 年将聚类方法和线性判别分析( l d a ) 结合起来，提出了聚类 判别分析法。 5 弹性图匹配法： 将人脸图像建模为可变形的3 d 网络表情识别问题，从而将人脸表情识别问题 转化为可变形的曲面弹性匹配问题，即把空间和灰度放在一个3 d 空间中考虑。e s s a 等n 刀在t e r z o p o u l o s 等的基础上构建了一个解剖学的人脸模型用于人脸识别和表 情识别。示意图如图1 - 2 所示： 2 l f i g 1 - 2s c h e m a t i cd i a g r a mo fe l a s t i cg r a p h 6 g a b o r 小波法： g a b o r d , 波是一组具有多尺度、多方向分辨能力的带通滤波器，同时在空间域 和频率域都具有较好的分辨能力。g r b r a d s k i n 踟提出用g a b o r d , 波进行面部表情 信息的压缩编码：l y o n sm i c h a e lj 等n 町对人脸图像进行二维小波变换，然后进行 自动或者人工人脸网格标定从而形成的矢量，再利用线性判别分析( l d a ) 进行表 情识别。 小波变换是对傅立叶变换与短时( 窗i a ) 傅立叶变换的重大突破，在信号分 析、图像处理及其它非线性科学研究领域带来了革命性的影响在人脸表情识别等 图像处理领域，使用最为广泛的是g a b o r d , 波滤波器，它是一个由二维高斯函数衍 生出的复数域正弦曲线函数。g a b o r d , 波变换有三个重要性质：( 1 ) 有较强的频 率选择性和较好的时域定位特性；( 2 ) g a b o r 变换的结果能可视地表达人脸特定 区域的轮廓信息；( 3 ) g a b o r 滤波器相当于一组带通滤波器，其方向、基频带宽 及中心频率都可调。 对二维图像i ( x ) 进行g a b o r 变换可定义如下： ，f ( 缈) = i ，( x ) 少，( 彩一x ) d x ( 1 1 7 ) 其中g a b o r d x 波函数定义如下： 厕= 殴呼防一j 。 仃 ll 其中i 为复数运算符，盯= 万，k 为每个g a b o r 滤波器的特征频率。 可构造一组g a b o r 滤波器对人脸图像进行处理，从而提取基于特定频带的图 像成份。g a b o r 变换对光照、图像尺寸缩放、平移及旋转具有一定的不变性，故可 提高识别系统的鲁棒性。表情图像的预处理也常采用小波变换以消除光照及姿势 的影响。 7 局部主分量分析法( l o c a lp c a ) ：， 先对表情图像进行特征区域( 如眼睛、鼻了、嘴巴等) 分割，再对得到的局 部区域进行主分量分析( p c a ) 分析，得到人脸表情特征伽1 。选择局部特征示意图 如图1 - 3 所示： 孙“t ，一爹 图1 - 3选择局部特征示意图 f i g 1 - 3s