（信号与信息处理专业论文）人脸表情识别算法研究.pdf

重庆人学硕十学位论文 中文摘要 摘要 人脸表情识别是指利用计算机分析特定人的脸部表情变化，进而确定其内心 的情绪，实现人机之间更自然更智能化的交互。在很多领域都有其潜在的应用价 值，包括心理学研究、图像理合成脸部动画、视频检索、机器人技术、虚拟现实 技术以及基于脸部表情的新型人机交互环境的研究和开发等。 完整的表情识别系统一般包括人脸表情图像捕获、预处理、人脸检测与定位、 人脸分割与归一化、人脸表情特征提取、人脸表情识别。本文着重研究了人脸表 情特征提取、特征选择及表情分类等关键问题，并提出了一些改进的方法，同时 进行了仿真实验。 ( 1 ) 表情图像的预处理方法是整个识别系统的最初步骤。本文提出了基于复杂 度和模板匹配的方法对眼睛区域进行检测并定位，实验证明，该算法简单，计算 量小，且无须事先确定人脸位置，即可快速准确地确定眼睛位置，从而为图像的 剪切、缩放及灰度归一化等其他预处理奠定良好基础。 ( 2 ) 重点研究了基于二维g a b o r 小波的表情特征提取方法。由于g a b o r 小波变 换系数向量具有减弱图像光照及位置的敏感性等优点，所以本文采用g a b o r 小波 提取表情特征，并在五个尺度、六个方向上构造g a b o r 小波，对每幅图像用这3 0 个g a b o r 函数进行滤波，得到的系数作为表情特征。实验证明，本文方法相对于 传统的p c a 算法或2 d p c a 算法其识别率更加有效。针对g a b o r 系数的高维性， 本文提出了采用二次降维方法，即第一次降维采用不规则采样法，第二次降维采 用2 d p c a 方法，通过子空间变换，提取最有代表性的特征，有效地消除了冗余。 实验证明，本文方法明显降低了特征向量的维数，从而提高了识别速度。 ( 3 ) 分别采用最近邻分类器、欧式距离分类器、余弦距离分类器对生气、厌恶、 恐惧、高兴、中性、悲伤和惊讶七种表情进行识别，并利用模糊积分对子分类器 的识别结果进行融合。在信息融合中，改进了模糊密度函数，将各子分类器的不 同表情的识别被赋以不同的密度，充分考虑了一个分类器对不同表情具有不同的 识别率。实验结果表明，与基于平均识别率为模糊密度的识别方法相比，本文采 用的基于混淆矩阵为模糊密度的识别率更高，证明这种改进是有效的。 关键词：人脸表情识别，g a b o r 小波变换，多分类器融合，模糊积分 a b s t r a c t f a c i a le x p r e s s i o nr e c o g n i t i o ni st oa n a l y z ea n dd e t e c tt h es p e c i a le x p r e s s i o ns t a t e f r o m 垂v e ne x p r e s s i o ni m a g e so rv i d e of r a m e sa n dd e t e r m i n et h es u b j e c t ss p e c i f i c i n b o r ne m o t i o ns oa st oa c h i e v es m a r t e ra n dm o r en a t u r a li n t e r - a c t i o nb e t w e e nh u m a n b e i n g sa n dc o m p u t e r s f a c i a le x p r e s s i o nr e c o g n i t i o nh a sp o t e n t i a la p p l i c a t i o nv a l u e si n m a n yf i e l d s ，i n c l u d i n gp s y c h i c ss t u d y , i m a g eu n d e r s t a n d i n g ，s y n t h e t i c a l l yf a c ec a r t o o n ， v i d e or e t r i e v a l ，r o b o tt e c h n o l o g y , v i r t u a lr e a l i t y , a n dr e s e a r c ha n dd e v e l o po fn e w h u m a n c o m p u t e r - i n t e r f a c ee n v i r o n m e n tb a s e do nf a c i a le x p r e s s i o n t h es y s t e mo ff a c i a le x p r e s s i o nr e c o g n i t i o ng e n e r a l l yc o n s i s t so ff a c ee x p r e s s i o n i m a g ec a p t u r e ，p r e p r o c e s s i n g ，f a c ed e t e c t i o na n dl o c a t i o n ，f a c es e g m e n t a t i o na n d n o r m a l i z a t i o n ，f a c i a le x p r e s s i o nf e a t u r ee x t r a c t i o n ，f a c i a le x p r e s s i o nr e c o g n i t i o n t h e t a s ki n t h i sp a p e rf o c u s e so nt h ek e yi s s u e so ff a c i a l e x p r e s s i o nr e c o g n i t i o n ，s u c ha s f e a t u r ee x t r a c t i o n ，f e a t u r es e l e c t i o na n df a c i a le x p r e s s i o nc l a s s i f i c a t i o n a n ds oo n t h e p e r f o r m a n c e so fp r o p o s e dm e t h o d sa r ei l l u s t r a t e db ys i m u l a t i o ne x p e r i m e n t a lr e s u l t s ( 1 ) p r e p r o c e s s i n go fe x p r e s s i o ni m a g e si st h ef i r s ts t e pi nt h ew h o l er e c o g n i t i o n s y s t e m i nt h i sp a p e r , w ep r o p o s e dan e wa l g o r i t h mb a s e do nt h ec o m p l e x i t ya n d t e m p l a t em a t c h i tc a nd e t e c td i r e c t l ya n dl o c a t et h eh u m a ne y e si nh u m a nf a c ei m a g e s w i t h o u td e t e r m i n i n gt h eh u m a nf a c ep o s i t i o ni na d v a n c e t h ee x p e r i m e n t a lr e s u l t ss h o w t h a tt h i sa l g o r i t h mi ss i m p l ea n dc o n v e n i e n t i te s t a b l i s h e sf o u n d a t i o nf o rc l i p p i n ga n d s c a l i n g ，p h o t o m e t r i cp r e p r o c e s s i n ga n dh i s t o g r a me q u a l i z a t i o n ( 2 ) t h em e t h o d so ft h ef e a t u r ee x t r a c t i o nb a s e do nt w o d i m e n s i o n a lg a b o r t r a n s f o r ma r ed i s c u s s e di nd e t a i l s g a b o rw a v e l e t si n5s c a l e s ，6o r i e n t a t i o n sf o r e x t r a c t i n gf e a t u r e sa r ec o n s t r u c t e db e c a u s eo fg a b o rc o e f f i c i e n t s l o w e rs e n s i t i v i t yt o v a r i a t i o n so fl i g h t i n ga n dp o s i t i o n e a c hi m a g ei sf i l t e r e db y3 0g a b o rf u n c t i o n s a f t e r g a b o rf i l t e r i n g ，t h e a m p l i t u d ev a l u e s a r eu s e da sf a c i a l e x p r e s s i o nf e a t u r e s t h e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sm e t h o di sb e t t e rt h a np c ao r2 d p c a o nt h eo t h e r h a n d ，g a b o rc o e f f i c i e n t sh a v el a r g ed i m e n s i o n s ，w ep r o p o s et w ot i m e ss a m p l i n gm e t h o d t or e d u c ed i m e n s i o n t h ef i r s to n ei si r r e g u l a rs a m p l i n gw h i c h s i g n i f i c a n t l yr e d u c e st h e d i m e n s i o no ff e a t u r ev e c t o ra n di m p r o v e st h er e c o g n i t i o nr a t e ；t h es e c o n do n ei su s i n g 2 d - p c am e t h o d t h r o u g ht h es u b - s p a c em a p p i n g ，t h em o s tr e p r e s e n t a t i v ef e a t u r e sa r e e x t r a c t e dt or e d u c ed i m e n s i o na g a i n t h ee x p e r i m e n t a ls h o wt h a tt h i sm e t h o dc a n r e d u c ed i m e n s i o n o b v i o u s l y 1 1 重庆人学硕十学位论文 英文摘要 ( 3 ) n e a r e s tn e i g h b o rc l a s s i f i e r , e u c l i d e a nd i s t a n c ec l a s s i f i e r , c o s i n ed i s t a n c e c l a s s i f i e ra r eu s e dt oc l a s s i f ys e v e ne x p r e s s i o n si n c l u d i n ga n g r y , d i s g u s t ，f e a r , h a p p y , n e u t r a l ，a n ds a da n ds u r p r i s e t h e n ，f u z z yi n t e g r a li sa p p l i e dt of u s eo u t p u t sf r o mr e s u l t s o ft h r e ec l a s s i f i e r st og e tt h ef i n a lr e c o g n i t i o nr e s u l t t h ee x p e r i m e n t a lr e s u l t si n d i c a t e t h a tt h i si m p r o v em e t h o dh a sh i g h e rr e c o g n i t i o nr a t et h a nm e t h o do fb a s e do na v e r a g e r e c o g n i t i o nr a t ef o rf u z z yd e n s i t y k e y w o r d s ：f a c i a le x p r e s s i o nr e c o g n i t i o n ，g a b o rw a v e l e t st r a n s f o r m ，m u l t i - c l a s s i f i e r f u s i o n ，f u z z yi n t e g r a l i i i 学位论文独创性声明 本人声 明 所 呈交 的写n 士 学位论文 名自鬓壶蟮该! 捌缜磁韧玄 是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论 文中不包含其他人己经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 学位论文作者签名：立屈移 导师签名： 秭 签字日期：川r 谚 签字日期：泐厂夕 学位论文使用授权书 本人完全了解重庆大学有关保留、使用学位论文的规定。本人完全同意中 国博士学位论文全文数据库、中国优秀硕士学位论文全文数据库出版章程( 以 下简称“章程 ) ，愿意将本人的：旗士学位论文妪鳆丕鞲邃到墨匠琢究 提交中国学术期刊( 光盘版) 电子杂志社( c n k i ) 在中国博士学位论文全文数 据库、中国优秀硕士学位论文全文数据库以及重庆大学博硕学位论文全文 数据库中全文发表。中国博士学位论文全文数据库、中国优秀硕士学位论 文全文数据库可以以电子、网络及其他数字媒体形式公开出版，并同意编入c n k i 中国知识资源总库，在中国博硕士学位论文评价数据库中使用和在互联 网上传播，同意按“章程 规定享受相关权益和承担相应义务。本人授权重庆大 学可以采用影印、缩印或其他复制手段保存论文，可以公开论文的全部或部分内 容。 作者签名：童盗! 乏： 导师签 各注。审核通过的涉密论文不得签署。授权书一，须填写以下内容： 该论文属于涉密论文，其密级是，涉密期限至年一月一日。 说明：本声明及授权书! 鲤装订在提交的学位论文最后一页。 重庆人学硕十学位论文 1 绪论 1 绪论 语言是人类交流的重要工具，包括自然语言和形体语言两类，而面部表情是 形体语言的一部分，表达了人丰富的情感，在人们的同常交流中起着至关重要的 作用，心理学家m 蛐i a l l 【l 】曾给出了这样一个公式：感情表露= 7 的言词+ 3 8 的 声音+ 5 5 的面部表情，足以展示表情是交流中不可缺少的重要信息。 而人脸表情识别是实现计算机对人脸表情的理解与识别，通俗的说就是计算 机通过检测人脸，然后提取富含表情的信息，继而识别表情的类别。它将从根本 上改变人与计算机的关系，对于需要人机交互的实用系统性能的改进具有突破性 的进展，是人机交互与信息处理领域中的一个重要课题，具有很高的学术价值和 应用潜力。 1 1 课题研究的背景及意义 伴随着计算机及互联网应用的同益普及人们之间的交流方式也在发生改变， 从面对面的交谈、打电话到网络聊天、互发电子邮件，人们越来越趋向于在虚拟 的网络世界中进行交流，而机器对人脸表情的识别与认知也就变得越发重要。因 此，人脸表情作为一种情绪表现的形式和一种自愿自发的行为在如今通信捷便的 时代里有着不可替代的作用。 1 1 1 人脸表情识别的背景 在社会生活中，情绪对于协调人与人之间的相互关系具有很重要的作用。情 绪的研究也越来越受到社会的关注，且在心理学界也开始了比较深入的研究。而 表情又是情绪的独特表现形式。此外，在人类交往中，除了语言交流以外，脸部 表情是非常重要的交流方式。它作为信息的载体和自愿或自发的行为，包含有很 多的因素，能够表达非语言信息。表情包含了丰富的情感信息，是情绪的外在表 现，情绪通过表情的渠道达到人们互相了解，彼此共鸣。人工心理理论【2 】【3 】则是利 用信息科学的方法，对人的心理活动的更全面的再一次人工及其计算机、模型算 法等实现。人脸表情识别也是人工心理理论研究的重要组成部分之一。 在各学科领域中，面部表情识别的研究综合了模式识别、图像处理、分析与 理解、计算机图形学、认知科学，神经计算、生理学、心理学等多门学科的问题。 在这个课题上的研究极大地促进了这些学科的成熟和发展。人脸表情识别也是智 能人机接口领域的核心研究内容之一，其本质上是训练机器理解人类的情绪变化 的能力。随着科学的进步，计算机经过人的训练，在一定程度上已经能够模仿人 类的行为，但仍不具备人类的情感能力。在人机交互中人脸表情的识别能够很大 重庆大学硕十学位论文1 绪论 程度地促进其自然化的发展，改变目前呆板的人机交互环境，使得机器可以根据 人的情绪变化做出符合人心意的事，从一定程度上改变人们的生活方式。因此， 面部表情的分析与识别不仅是实现智能化人机接口必不可少的一个重要方面，同 时对促进计算机视觉通信、人体语言与自然语言的融合以及语言与表情的连接模 型的建立都有重要的作用。 因此，面部表情的分析与识别涉及到人们日常生活的许多方面，对改善和提 高人们的生活质量有重要的作用和意义。 1 1 2 人脸表情识别的应用领域 人脸表情识别使机器更具有感情能力，对建立友好的人机交互界面有着重要 意义。在计算机科学中，这种能力对促进计算机视觉系统建模和数据库的发展都 有直接的用途。其主要应用领域包括： 在多模式人机交互界面( m m h c i ) 中，表情与声音、视线、体态等结合起来可 以获得更高效、更人性化的人机交流。 司机安全驾驶智能监控系统。如果通过监控司机面部表情及时识别出其出 现疲劳、醉酒、分心等违章驾驶行为，并及时采取措施，则可及早排除由此引起 的道路事故隐患。 应用到监控系统设备中，通过在汽车、飞机、重要的车间岗位上的感应设 备对司机、飞行员、工人等进行脸部监控。通过其表情的痛苦或不适表现得到疲 劳、压力过大等精神状态信息，及时报警提示，避免事故发生。 此外，在安全保密、辅助医疗( 如面部神经瘫痪诊断) 等其他需要解释面部 信号的领域和行业中也会有广泛的应用。这些都使得人脸表情识别成为一项很有 实用意义的课题。 1 1 3 表情识别和人脸识别差异 人脸识别与表情识别有很多相似的地方，很多方法也是相通的，他们都有人 脸检测、特征提取和最后的分类三个步骤。但这是两类不同的问题，人脸识别的 目标是识别人物身份，分类的类别很多，目前的系统己经可以识别出数千人的数 据库；而表情识别的分类结果一般类别很少，不超过1 0 类，所以他们所使用的分 类方法一般不同。其次是他们所提取的特征不同，人脸识别所需要的是个性特征， 而表情识别需要的是共性特征，这就导致了特征提取方法有较大的差异。他们之 间完全一样的就是人脸检测，都是检测出人脸在图像中的位置。人脸识别重在确 定人的身份、性别、种族、年龄等；但是表情识别主要和心理学相关，重在研究 人的心理，情感，以及智能人机接口的研究等，涉及到许多研究领域。 1 2 国内外研究现状及发展 人脸表情识别技术是近几十年才逐渐发展起来的，现在已成为计算机科学领 2 重庆人学硕十学位论文i 绪论 域一个研究热点。国内外有许多研究人员在进行这方面的研究，尤其在美国、口 本。进入9 0 年代，对人脸表情识别的研究变得非常活跃，吸引了大量的研究人员 和基金支持。美国、口本、英国、德国、荷兰、法国等经济发达国家和发展中国 家如印度、新加坡都有专门的研究组进行这方面的研究。其中m i t ,c m u ， m a r y l a n d 大学、s t a n f o r d 大学、口本城蹊大学、东京大学、a t r 研究所的贡献尤 为突出。在国内，清华大学、哈尔滨工业大学、中科院、中国科技大学、东南大 学、北方交通大学等科研机构都有相当多的研究人员致力于人脸表情识别的研究。 由于目前的人脸识别技术已经相对很成熟，并在商业、医疗、军事等各个领 域里已经充分应用，这些技术的进步显然为表情识别的研究提供了很好的平台， 促进了表情识别研究领域的发展。 1 2 1 国内外研究发展阶段 对于人脸表情识别的研究最早可以追溯到2 0 世纪7 0 年代，早期的主要集中 在从心理学和生物学方面进行研究和分析。到现在为止人脸表情识别的发展大致 经历了以下两个阶段： 起步阶段( 1 9 6 0 1 9 9 0 ) ：早期关于人脸表情的研究主要是从心理学和医学 角度入手。d a r w i n 4 】首先揭示了表情在不同性别，不同种族的人群中的一致性。 e k m a n 和f r i s e n 5 】提出面部表情编码系统( f a c s ) ，用4 4 个运动单元( a u ) 来描述人 脸表情变化，并定义了6 种基本情感类别：惊奇、恐惧、厌恶、愤怒、高兴、悲伤。 这些研究得到了广泛的认同，并成为后来很多表情识别研究工作的基础。 快速发展阶段( 1 9 9 1 年至今) ：随着计算机技术的飞速发展和人脸的计算机 处理技术( 包括人脸检测和人脸识别) 不断完善，利用计算机进行面部表情分析 也就成为可能和一种必然的发展趋势。以1 9 9 1 年m a s e 6 和p e n t l e n d 7 1 用光流估计 的方法进行表情识别为开端，近2 0 年时间，表情识别研究发展迅速，有关文章和 识别的方法也越来越多，按照识别时所用的特征不同，可以将这些方法分成3 类： 基于灰度分布特征的方法、基于运动特征的方法和基于频率特征的方法。基于灰 度分布的典型方法主要有：主分量分析【8 】( p c a ) 、独立分量分析【9 】( i c a ) 、奇异 值分解【1 0 】 1 1 1 ( s v d ) 、f i s h i e r 1 2 1 线性判别( f i s h e r ) 、局部特征分析法( l f a ) 等； 基于运动特征的典型方法有：脸部运动单元分析法【1 3 】【1 4 】( f a c s ) 、m p e g 4 中的 脸部运动参数法【1 5 【1 6 】( f a p ) 、光流法【1 7 】【1 8 1 ( o p t i c a lf l o w ) 、f i s h e r 运动法( f i s h e r a c t i o n ) 等；基于频率的典型方法有g a b o r 小波变换【l9 】等。而现在面部表情识别已 经成为当前国内外模式识别和人工智能领域的一个研究热点。 比较成功的有中科院自动化所研究的成果。他们在运动检测、人脸跟踪、步 态识别和人体跟踪等方面开展了研究后，并且建立了相关的演示系统，中科院计 重庆大学硕十学位论文1 绪论 算所在人脸面部信息检索与识别方面已经取得了比较重大的进展，系统可以在 0 0 5 0 1 秒内捕获人脸，并且在1 秒内完成识别，可以说完全达到了实时性的要求。 虽然人脸表情自动识别技术取得了局部应用的成功，但广泛的商业应用还有很多 制约性技术鱼需突破，在工程应用中影响人脸表情识别性能的因素很多，要建立 实用人脸表情自动识别系统还有许多难点问题需要解决。在工程应用中，包括光 照、年龄、姿态、图像分辨率、成像噪声等因素，造成了有较强鲁棒性的人脸表 情自动识别系统研制、开发的难度很大，所以至今尚未见到有关大规模成功应用 的研究报道。正是因为表情识别技术还有很多的问题需要解决，所以有大量的研 究者以极大的热情投入其中，为表情识别技术早日进入应用而不懈努力。 1 2 2 表情识别存在的问题及难劁2 0 】 从综述中看到表情识别上已找到了很多种识别的方法并取得了很大进展，但 表情识别仍存在很多限制与不足而需开展。直到如今，还没有一套实用性的系统 问世，很多学者将表情识别的任务也只是明确为7 种单一的表情，即生气、厌恶、 恐惧、高兴、悲伤、惊讶和中性表情。表1 1 给出了6 种表情的特征。而现实中往 往是多种表情复合的。其原因主要有以下方面： 对于复杂背景下的人脸区域定位算法以及面部五官区域定位算法的研究， 这是实现表情特征抽取的基础。只有实现稳定可靠的面部区域和五官区域的定位 才能进一步进行各种表情特征的抽取。但目前很少涉及这方面。 特征提取的方法存在一些缺陷，很多模型的方法需要手工介入来标定一些 点或区域，外貌特征的方法不需要手工帮助，但提取出的信息往往不够可靠而且易 受干扰。 某些表情易于识别，而某些表情不易识别，心理学方面的研究认为，最容易 辨认的表情是快乐、痛苦，较难辨认的是恐惧、悲哀，更难辨认的是怀疑、怜悯，在 f e r 系统中也面临着对某些类别的表情识别率偏低的情况。 在目前的人脸表情识别系统中，往往是对比较夸张的表情进行分析和识别。 但在实际的生活中，很多表情可能是混和的表情，或者并不是很夸张的表情。对混 和表情、表情的强度方面，目前的研究还非常的缺乏。已经有研究针对表情的强度 方面做了一些尝试，但研究仍然处于初级阶段。 目前的研究大多数都针对特定条件下采集的图像或者图像序列。但要做到 对任意采集的图像或图像序列都适应，还需要人脸检测等其他领域的发展。 4 重庆人学硕士学位论文1 绪论 表1 16 种单一的表情特点 t a b 1 1c h a r a c t e r i s t i c so f6i n d e p e n d e n te x p r e s s i o n s 表情 额头、眉毛眼睛脸下半部 下颌f 落，嘴张开，唇齿分 眉毛抬起，变高变弯，眉 眼睛睁人，上眼皮抬 开，但嘴巴不紧张，也不拉 惊讶毛下的皮肤被拉伸，皱纹高 伸 可能横跨额头 眉毛抬起并皱在一起，额上眼睑抬起，下眼皮张嘴，嘴唇轻微紧张或嘴角 恐惧 头的皱纹集中在中部 拉紧 向后拉 眉毛压低，并压低上眼睑上眼皮下部出现横上唇抬起，下唇与上唇紧闭， 厌恶 纹，脸颊推动其向上，推动上唇向上。嘴角拉长， 但并不紧张鼻子皱起，脸颊抬起 眉毛皱在一起，压低，在下眼皮拉紧，上眼皮唇有两种基本位置：紧闭， 愤怒眉宇间出现竖直皱纹拉紧，眉毛压低，眼 唇角拉直或向下；张开，仿 睛瞪人，可能鼓起佛要喊。鼻孔可能张人 眉毛稍微下弯 下眼睑卜边可能有皱唇角向后拉并抬高，嘴可能 纹，可能鼓起但不紧被张大，牙齿可能露出，脸 高兴 张，鱼尾纹从外眼角颊被抬起 向外扩张 眉毛内角皱在一起，抬眼内角的上眼皮抬高嘴角下拉，嘴角可能颤抖 悲伤 高，带动眉毛下的皮肤 1 3 本文研究的主要内容 一般情况下表情识别系统主要由以下三部分组成：人脸检测部分、特征提取 部分、表情识别部分。文本的主要工作集中于脸部特征的提取和特征的分类，所 阐述的算法也是基于静态图像的。研究的主要内容如下： ( 1 ) 研究了表情图像预处理方法。采用基于灰度复杂度和模板匹配的人眼快 速定位法。该方法优势在于无需先确定人脸位置，即使在有背景的灰度人脸图像 中也能也能直接检测与定位人眼。 ( 2 ) 在分析多种表情识别算法的基础上，本文提出采用g a b o r 小波变换进行 特征提取，着重阐述了g a b o r 小波变换用于表情识别的方法及对其参数的选择。 本文将二维主元分析算法应用到人脸表情特征识别的特征降维中。以前二维主元 分析算法都只是用在人脸识别当中，本算法将其引入特征选取，从理论和实践两 方面与传统p c a 进行了比较，证实了本文算法的优势。 重庆大学硕士学位论文l 绪论 ( 3 ) 表情识别。在眼睛定位等预处理、特征提取研究的基础上，本文采用基 于模糊积分多分类器融合的表情识别方法。首先利用三个子分类器对七种表情进 行分类，最后利用模糊积分对子分类器的结果进行融合，提高了识别率。文章最 后在识别率、实时性等方面与经典的p c a 、基于各子分类器的识别方法进行比较。 6 重庆人学硕士学位论文2 现有典型表情识别技术分析 2 现有典型表情识别技术分析 2 1 概述 人脸表情识别的研究内容主要包括人脸表情区域的检测与定位、人脸表情特 征的提取及表情特征的分类识别。目前国内外在这方面的研究可大致分为两个阶 段：人脸检测与识别，以及人脸表情特征提取和识别。前者主要用于人脸识别， 已取得较好成果，并已经开始应用于身份检测鉴别等系统中，而后者还处于探索 和研究阶段。本章详细讲述表情识别系统的构成模块及常用算法。 2 2 人脸表情识别系统构成 典型的一个人脸表情识别系统一般包括3 个环节：人脸检测、特征提取、表 情分类，如图2 1 所示。 人脸榆测与定位特征提取 ( 降噪处理)( 降维) 表情分类 图2 1 人脸表情识别系统 f i g 2 1f a c i a le x p r e s s i o nr e c o g n i t i o ns y s t e m 第l 步需要对人脸进行检测【2 l 】与定位，这一环节的研究实际上已成为一个独立 的方向。之所以要对接收的图像进行检测、定位等操作，主要是因为一个正常的 系统往往要受到光照、图像噪声、人脸姿势改变及遮挡的影响，检测难度大。因 此要求检测并定位等一系列预处理使得系统能够从复杂的背景中检测出人脸的存 在，并确定其位置，对于图像序列，还要能精确的跟踪人脸区域。常用的方法如 灰度归一、直方图均衡、几何归一化等。 第2 步从人脸图像或图像序列中提取能够表征输入表情本质的信息，在提取特 征数据的过程中，为了避免维数危机，可能还需要特征降维、特征分解等进一步处 理。这阶段是决定人脸表情识别结果好坏的关键。对于静态图像，通常要提取表 情的变形特征，而对于图像序列，则不仅要提取每一帧的表情变形特征，还要提 取连续序列的运动特征。因此对于图像序列而言，特征提取的计算量是相当大的。 常用的方法有主元分析、小波变换等。 第3 步分析特征之间的关系，将输入的人脸表情分类到相应的类别，这是人 脸表情识别的最后一个阶段。根据目前提出的多种分类方法，大致分为三类：第 7 重庆人学硕十学何论文 2 现有典型表情识别技术分析 一类是基于相似度的方法，即把被测表情图像归入与该图像最为相似的类别中， 这种相似度通常由欧式距离来度量，与某类的中心距离最小，则与该类最为相似； 第二类是基于概率模型，要求估计表情图像的参数分布模型，分别计算被测表情 属于每个类的概率，取最大概率的类别为识别结果；第三类是基于连接机制，利 用神经网络的学习能力和分类能力实现表情的分类。 2 3 典型的人脸表情算法介绍 目前的表情识别算法基本上都是针对灰度图像，提取其灰度统计特征或者频 率特征，然后使用特定的分类识别算法实现人脸表情的识别。由上节介绍在整个 识别系统中表情特征提取算法是关键，决定了表情识别的好坏，因此本节将重点 介绍人脸表情特征提取的几种算法，其中一维主成分分析( p c a ) 结合线性判别 法和小波变换算法属于静态特征提取算法，而光流法和特征点跟踪法属于动态特 征提取算法，主要针对连续的视频进行特征提取。 2 - 3 1 主成分分析( p c a ) 法 主成分分析( p c a ) 是基于统计模型方法中最常用的一种方法，也是模式识 别领域常用的一种特征提取算法。其原理是通过变量变换保留高维数据空问的主 要特征信息，出去冗余的或来自噪声的次要分量，从而达到降维的目的。 设训练集中每一幅表情图像对应一个高维向量，则训练集为： s = 而，x 2 ，h ) ，其中玉表示第i 幅表情图像向量，n 为i ) t l 练图像的总数，则训练 集的总体协方差矩阵为： 1n c = 专( 薯一) ( 一) r ( 2 1 ) y i = 1 式中为为训练样本集的平均图向量。对该协方差矩阵对角化以获得矩阵的特征 值元和对应的正交归一特征向量u t 。然后将特征值从大到小的顺序排列： 五以，按照以下定义的贡献率选择前m 个主成分分量： m 丑 ，( m ) = 专l ( 2 2 ) 丑 i = 1 为了确定提取特征值的个数，一般定义一个阈值，即保留原图像空间的信息 量，一般取o 8 ，由此可以确定特征值的个数及其对应的特征向量，即前m 个特征 值对应的特征向量组成了m 维子空间：u = u 1 “：，) ，显然其维数远小于原 图像空间的维数。对于任一待识别样本亦可通过向子空间投影求出其系数向量： y = u r f ，特征表情脸能有效的描述脸部表情信息2 2 1 。 为了能有效的识别各种不同的表情，就需要对每种表情有效的分类，可结合 重庆大学硕十学位论文2 现有典犁表情识别技术分析 使用线性判别分析法( l d a ) 。l d a 方法基于f i s h e r 鉴别准则，借助于类内散布矩 阵和类间散布矩阵比值大小，将不同的表情图像划入相应的类别中，从而实现表情 的分类。 设原表情图像经p c a 投影变换后的向量为y ，有c 类表情，每类表情的训练 样本数为n i ( i = l ，2 ，c ) ，对于第k 个特征向量，训练样本的投影记为k ，表示k 在第i 类的均值，表示k 对所有样本的均值，如表示该特征向量对应的类间距 离，氏。表示该特征向量对应各个类的类内距离和，以。称为f i s h e r 判据f i s h e r 评判 准则定义如下： 厶= ” ( 2 3 ) 其物理意义是某个特征向量对应的训练样本的f i s h e r 比越大，则这个特征向量的 类别区分度越好，越利于分类。其原理线性判别分析法的目标是最小化类内距离， 同时最大化类间距离。p c a 寻找的是最能描述原始数据的矢量空间。 该组合方澍2 3 】比传统p c a 在识别率上提高了大约5 ，速度提高了十多倍。 此外，对提取的特征向量使用高斯最大概率分类器或支持向量机能有效解决小样 本的识别问题，采样聚类鉴别的方法对人脸表情逐级分类，有较好的识别率。 2 3 2 小波变换 在信号分析领域，f o u r i e r 变换是一个非常重要的工具，然而由于不能同时刻 画时间域和空间域上的局部性，使对突变信号的分析效果不理想，由此提出了小 波的概念。它是对傅罩叶变换的重大突破，在信号分析，图像处理及其它非线性 科学的研究领域带来了革命性的影响【2 4 之7 1 。 在人脸表情识别等图像处理中，g a b o r 小波滤波器是应用最广泛的，它是一个 由二维高斯函数衍生出来的复数域正弦曲线函数。相当于是一组带通滤波器，其 方向、基本带宽及中心频率均可调。对二维图像i 进行g a b o r 变化可定义如下： ，( z ) - i ，( z 矽，( z z ) d 2 z ( 2 4 ) 其中g a b o r 小波族核函数定义如下： 纵牛竽唧f _ 等l e x p ( i k z ) - e x p f - 孚 5 ， ll j 式2 5 中f 为复数算子，仃为小波滤波器的宽度，本文取仃= 2 巧，z = ( x ，y ) 表示图 像的坐标点，尼，_ 后，( c o s 0 ，s i n o ) t ，其中k ，= 2 叫2 佗) 万，y 不同的取值表示不同 的核频率，o 的取值表示不同的方向。 这样构造的一组g a b o r 滤波器对表情图像进行处理，然后提取基于特定频带 的图像成分为表情的特征，所以g a b o r 变换对光照、图像尺寸缩放、平移及旋转 具有一定的不变性，可提高系统的鲁棒性。经过小波族滤波后的表情特征维数很 9 重庆人学硕士学位论文 2 现有典型表情识别技术分析 高，一种基于g a b o r 小波变换的弹性图匹配算澍2 8 。2 9 】在表情识别中倍受重视。其 原理是在高维的g a b o r 特征中，在对表情变化较敏感的位置，如嘴角、眼睑等处， 定义拓扑图的定点，因为这些点在小波变换后的特征矢量模较大，有利于表情的 识别。然后用拓扑图分别表示已知表情和被测表情图像，根据拓扑图计算他们之 问的距离，距离越近的就把它匹配为该类表情。 与p c a 3 0 】相比，很显然g a b o r 小波变换的特征提取保留了源图像的空间相关 性，更易于表情的识别，但是弹性匹配的算法计算复杂，需要改进，例如本文采 用的2 d p c a 方法明显降低了弹性匹配算法计算量，而不影响识别率。 2 3 3 光流模型 光流模型是现在计算机视觉研究的一个重点，最早由h o r n 和s c h u n c k 于1 9 8 1 年提出，国外在这方面已有大量的研究成果。它是一种以平滑约束假设和亮度恒 定约束假设为基础的目标监测的有效方法，在序列图像中光流通常被描述成图像 亮度模式的表面运动，光流为3 d 速度场估计、物体运动分析、图像分割、估计 3 d 照相机的运动参数等提供很重要的信息。由于光流的重要性推动了一些方法的 发展，这些方法大致分为四类：基于梯度方法、基于区域方法、基于能量方法、 基于相位方法。 提取图像运动信息方面光流模型效果显著，对光照均匀的情况，只要光照在同 一组序列中强度不变，提取的特征就是稳定的，解决了图像处理中易受关照影响的 敏感问题。h o r n 和s c h u n k 最早提出基于梯度的光流场计算法。m a s e 和p e n t l a n d 3 l j 利用光流检测到f a c s 系统中4 4 个运动单元中的1 2 个，并结合k 近邻规则判别 表情种类。b a r l e t t t 3 2 】同时使用了p c a 和光流模型识别人脸表情。但是光流法也有 很大缺点即光照不均匀和脸部非刚体运动等因素会影响特征提取结果，且计算量比 较大、不太适合实时处理。 2 3 4 特征点跟踪法 特征点跟踪法是指利用灰度变化较大的眼角点、嘴角点等进行跟踪，并进一步 得到脸部特征的位移或形变信息选择脸部的显著特征点来进行运动估计，特征点 一般都选取在脸部的永久特征上。t i a n 等人【3 3 1 提出了一种不同的元素模型，其中嘴 巴、眼睛、眉毛和颧骨被用作特征点跟踪，根据隐藏的面部特征的变形来获得模型 的轮廓。o t s u k a 和o h y a 3 4 】提出了一种特征点跟踪法，其特征点不是由专家手工标记 的，而是由给定的序列图像中的第一帧自动标记的，这是通过从光照分布的局部极 值点中获取潜在面部特征点来实现的。 这种方法只考虑用感兴趣的特征点来分析表情，而不必理会背景等无关信息， 减少了运算量，但由于只提取了部分特征点，而忽略了其他的些脸部活动，可能会 丢失有用信息此外，自动标记特征点很难，基本都是人工标记，且需要较复杂的计 l o 重庆人学硕士学位论文 2 现有典型表情识别技术分析 算。这些都是特征点跟踪法的不足之处。 2 4 人脸表情识别方法的比较与总结 由于实验时采用的人脸表情库以及测试环境的不同，各种方法的优劣性没有 可比性，但从这些方法分类上可以找到各自的特点。各方法比较如下： 基于静态和序列的比较。前者处理的对象是静态图像，重点考虑的是图像 中特征点的位置及强度的变化，而且静态图像由于是单一的，处理起来更加简单。 而后者是针对动态图像视频的。重点考虑的是特征点的变化特征，而且视频对于 每一帧都要提取并处理，导致计算量较大。 基于全局图像和局部图像的特征提取方法比较。全局图像提取的是表情特 征的轮廓部分，局部特征不明显，而局部图像特征提取是针对富含表情的关键部 位，比如眼角、嘴巴等，由于提取区域范围小，从而那一部分收到的各种噪声影 响也较小，但丢失了整体的表情信息，如果两者结合效果会有所改善。 基于灰度和模型的方法比较。前者是根据图像中的灰度信息提取表情特 征，这种处理方法很容易受光照位置等坏境因素的影响。而后者是采用模型来跟 踪人脸，根据跟踪得到的模型参数及一些前后帧的信息表示人脸的表情状况。通过 建模能够精确描述表情信息，但是这种处理方法使特征提取算法的复杂度提高。 计算量也增大。 总的来说，表情特征提取是整个识别算法的关键步骤，从上述中可以看出任 何一种方法都有它的优势，同时也存在很多弊端。在实际研究中目前的很多算法 都是综合以上各种算法的优势，使系统的识别率达到较满意的水平。 2 5 本章小结 人脸表情识别的研究是富有挑战性的研究课题，涉及到心理学、行为学等领 域。目前对表情的研究侧重于图像处理及模式识别技术，而且大部分的算法都是 针对静态图像，且识别局限于6 种表情或增加中性表情。在实际应用中大都是复 合表情，比如生气中带着厌恶或惊讶中带着恐惧等表情，处理的对象很可能是图 像序列，这时庞大的计算机量往往达不到要求的实时性，系统的鲁棒性不强等缺 点，以致这一领域还存在着极大的困难和挑战。 重庆大学硕士学何论文 3 表情图像预处理 3 表情图像预处理 3 1 概述 表情特征提取是表情识别系统中最重要的部分，有效的表情特征提取工作将使 识别的性能大大提高。所以对于输入的每一副图像我们要尽可能精确的提取与表 情有关的特征，这就需要提取特征之前最大程度的降低与表情特征无关的各种干 扰，如光照，遮掩，变形及不同人的轮廓不一样等干扰因素。预处理的目的就是 要把图像变成便于后续处理的形式，提高对比度，抑制背景而突出面部表情特征； 去除噪声和其他有害的信息。 表情图像的预处理【3