（管理科学与工程专业论文）面部表情识别算法研究.pdf

独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得 的研究成果。据我所知，除了文中特另j ) j h 以标注和致谢的地方外，论文中不 包含其他人己经发表或撰写过的研究成果，也不包含为获得天津财经大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：刮李钎 签字目期：少o 年6 月7 日 学位论文版权使用授权书 本学位论文作者完全了解天津财经大学有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查 阅和借阅。本人授权天津财经大学可以将学位论文的全部或部分内容编入有 关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位 论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：叫圣雪 导师签名： 签字日期：2 - 4 0 年石月日签字日期： 学位论文作者毕业后去向： 工作单位：电话： 通讯地址：邮编： 内容摘要 在科技飞速发展的今天，面部表情识别作为一个非常有挑战性的交叉课题，涉及图像 处理、模式识别、人工智能和情感计算等众多学科的知识和理论。对表情识别领域的研究 可以推动计算机向智能化和人性化方向更好地发展，具有非常重要的现实意义，也将会产 生可观的社会经济效益，市场前景十分广阔。 论文针对表情特征提取及分类的一系列算法进行了深入研究，提出基于二维g a b o r 小 波变换与支持向量机相结合的表情识别改进算法，解决了特征区域定位、特征向量提取与 分类器设计等关键问题，并以j a f f e 数据库的表情图像为研究对象，通过一系列实验验 证其有效性和可行性。论文的具体工作和主要贡献如下： ( 1 ) 预处理。为了有效消除包括噪声在内的与表情识别无关的干扰因素，需要首先对原 始图像进行预处理。论文提出一种新的融合算法能够进行快速准确的人眼定位；然后利用 直方图均衡化对表情图像进行光照补偿；再根据双眼坐标点的连线与水平轴的夹角，进行 旋转、裁剪及缩放的几何归一化处理。 ( 2 ) 基于2 d g a b o r 小波变换的表情特征提取。面部表情识别的核心在于表情特征提取。 计算机识别面部表情之所以困难，是因为人脸是一个柔性体，对它进行精确建模的难度很 高。面部器官的位置稍有变动，表情就会发生相应变化，如何选择特征就成为决定识别精 度的关键。论文着眼于特征提取算法的重要性，进行了详细的分析，最终选取能够最大限 度地屏蔽光照条件与个体特征差异影响的2 d g a b o r 小波变换作为特征提取的方法。 ( 3 ) 表情特征降维。虽然2 d g a b o r 小波提取到的特征能有效地描述面部表情特征，但 这些特征在相邻像素间仍存在高度相关和信息冗余的问题，不利于最佳分类。因此论文结 合局部特征选择法和网格粒度算法，提出一种改进算法以达到进一步提高识别率的目的。 ( 4 ) 基于s v m 的表情分类。支持向量机是目前主流的机器学习算法，自诞生之日起就 赢得了众多研究人员的青睐，故此论文也将其引入面部表情识别中来解决这一非线性模式 下的小样本问题，提出一种改进的决策树多分类器模型实现了s v m 在非二类情况下的多 维表情分类，将求解最终转化为二次规划问题，利用s v m 分类器良好的核泛化性能优势， 可以顺利实现高识别率的表情分类。 总之，鉴于2 d g a b o r 小波变换能够有效提取静态图像的表情特征以及s v m 所表现出 来的强大分类能力，算法最终在j a f f e 数据库上的平均识别率达到了9 5 以上，获得了 预期理想效果。 关键词：表情识别人眼定位特征提取2 d g a b o r 小波支持向量机 y a b s t r a c t n o w a d a y sm o d e r ns c i e n c ea n dt e c h n o l o g ya r er a p i d l yd e v e l o p i n g ，a sav e r yc h a l l e n g i n g c r o s s - s u b j e c t ，f a c i a le x p r e s s i o nr e c o g n i t i o ni n v o l v e si m a g ep r o c e s s i n g ，p a t t e r nr e c o g n i t i o n ， a r t i f i c i a li n t e l l i g e n c ea n da f f e c t i v ec o m p u t i n g ，a n dm a n yo t h e rd i s c i p l i n e so fk n o w l e d g ea n d t h e o r y t h ef i e l do fe x p r e s s i o nr e c o g n i t i o nr e s e a r c hc a np r o m o t et h ec o m p u t e rt ot h ei n t e l l i g e n t a n dh u m a n ea n db e t t e rd e v e l o p m e n t ，h a sav e r yi m p o r t a n tp r a c t i c a ls i g n i f i c a n c ea n dw i l lh a v e c o n s i d e r a b l es o c i a la n de c o n o m i cb e n e f i t s ，t h em a r k e tp r o s p e c t sa r eb r i g h t t h et h e s i sh a ss t u d i e di ns e r i e s a l g o r i t h m so fe x p r e s s i o n f e a t u r e se x t r a c t i o na n d c l a s s i f i c a t i o nd e e p l y , a n dp r o p o s e da ne x p r e s s i o nr e c o g n i t i o ni m p r o v e da l g o r i t h mb a s e do n 2 d g a b o rw a v e l e tt r a n s f o r ma n ds u p p o r t i n gv e c t o rm a c h i n e ，i ta l s oh a ss o l v e dt h ek e yq u e s t i o n s o ff e a t u r er e g i o n sp o s i t i o n i n g ，e i g e n v e c t o re x t r a c t i o n ，c l a s s i f i e rd e s i g na n de t c ，a sr e s e a r c h o b j e c to fj a f f ed a t a b a s ee x p r e s s i o ni m a g e ，c r o s s e das e r i o u so fr e s e a r c ht op r o v ei t sv a l i d i t y a n df e a s i b i l i t y t h es p e c i f i cw o r ka n dt h em a i nc o n t r i b u t i o no ft h ep a p e ra sf o l l o w s ： ( 1 ) p r e t r e a t m e n t i no r d e rt oe f f e c t i v e l ye l i m i n a t et h ei n t e r f e r e n c ef a c t o r si n c l u d i n gn o i s ew i t ht h eu n r e l a t e d e x p r e s s i o nr e c o g n i t i o n ，i tn e e d st op r e p r o c e s st h eo r i g i n a li m a g ef i r s t l y p a p e rp r o p o s e san e w f u s i o na l g o r i t h mf o rf a s ta n da c c u r a t ee y el o c a t i o n ；t h e nu s e sh i s t o g r a me q u a l i z a t i o nt o c o m p e n s a t et h ei l l u m i n a t i o no fe x p r e s s i o no fi m a g e ；a n da c c o r d i n gt ot h ea n g l eb e t w e e nt h e c o n n e c t i o nl i n eo ft h ep o i n t so fc o o r d i n a t e sa r o u n dt h ee y e sa n dt h eh o r i z o n t a la x i s ，r o t a t e s ， c r o p sa n ds c a l e so fg e o m e t r i cn o r m a l i z a t i o n ( 2 ) e x p r e s s i o nf e a t u r ee x t r a c t i o nb a s e do n2 d g a b o rw a v e l e tt r a n s f o r m t h eh e a r to ft h ee x p r e s s i o nr e c o g n i t i o ni sf e a t u r ee x t r a c t i o n t h ed i f f i c u l t yi nc o m p u t e r i d e n t i f y i n gf a c i a le x p r e s s i o n s ，b e c a u s et h ef a c ei saf l e x i b l eb o d y ，i ti sv e r yd i f f i c u l tf o ra c c u r a t e m o d e l i n g t h es l i g h tc h a n g e si nf a c i a lo r g a nl o c a t i o n ，c o r r e s p o n d i n g l yt h ef a c i a le x p r e s s i o n c h a n g e sw i l lo c c u r , h o wt o c h o o s et h ec h a r a c t e r i s t i c so ft h ed e c i s i o nb e c o m et h ek e yt o i d e n t i f i c a t i o na c c u r a c y p a p e rf o c u s e so nt h ei m p o r t a n c eo ff e a t u r ee x t r a c t i o na l g o r i t h m ， a n a l y s e sd e n t a l l y , f i n a l l ys e l e c t s2 d g a b o rw a v e l e tt r a n s f o r mw h i c hi sh i g h - l i m i t e ds h i e l d i n g i l l u m i n a t i o na n dt h ee f f e c t so fd i f f e r e n c e si ni n d i v i d u a lc h a r a c t e r i s t i c sa sf e a t u r ee x t r a c t i o n m e t h o d ( 3 ) e x p r e s s i o nf e a t u r ed i m e n s i o nr e d u c t i o n a l t h o u g h2 d g a b o rw a v e l e tf e a t u r ee x t r a c t i o n sb e a b l et o e f f e c t i v e l y d e s c r i b et h e c h a r a c t e r i s t i c so ff a c i a le x p r e s s i o n s ，t h e s ef e a t u r e ss t i l le x i s tt h ep r o b l e m sb e t w e e na d ja c e n t p i x e l so fi n f o r m a t i o nh i g h l yr e l e v a n ta n dl e s sr e d u n d a n t ，i ti s n o tc o n d u c i v et ot h eb e s t c l a s s i f i c a t i o n t h e r e f o r e ，t h ep a p e rc o m b i n e sl o c a lf e a t u r es e l e c t i o na n d 鲥ds i z ea l g o r i t h m ， p r o p o s e so ni m p r o v e da l g o r i t h mi n o r d e rt oe n h a n c et h ef a c i a l e x p r e s s i o nr e c o g n i t i o nr a t e f u r t h e r ( 4 ) e x p r e s s i o nc l a s s i f i c a t i o nb a s e do ns v m s u p p o r tv e c t o rm a c h i n ei st h em a i nm a c h i n el e a r n i n ga l g o r i t h m ，s i n c ei tb o r ni tw i n st h e f a v o ro fm a n yr e s e a r c h e r s ，s ot h ep a p e rw i l l a l s oi n t r o d u c es v mi nt h ef a c i a le x p r e s s i o n r e c o g n i t i o nt os o l v et h es m a l ls a m p l e so f t h en o n l i n e a rm o d e l ，p r o p o s e sa ni m p r o v e dd e c i s i o n t r e em o d e lo fm u l t i p l ec l a s s i f i e r st oa c h i e v ed i m e n s i o n a le x p r e s s i o nc l a s s i f i c a t i o ni nt h e n o n - t y p ei ic o n d i t i o n ，t h es o l u t i o ne v e n t u a l l yt u r n e di n t oaq u a d r a t i cp r o g r a m m i n gp r o b l e m ， t h eg o o du s eo fs v mc l a s s i f i e rn u c l e a rg e n e r a l i z a t i o np e r f o r m a n c e ，c a ns u c c e s s f u l l ya c h i e v e h i g hr e c o g n i t i o nr a t eo fe x p r e s s i o nc l a s s i f i c a t i o n i ns h o r t ，i nt h ev i e wo ft h e2 d g a b o rw a v e l e tt r a n s f o r mc a ne f f e c t i v e l ye x t r a c tf a c i a l e x p r e s s i o nf e a t u r e so f s t a t i ci m a g e sa n ds v mc l a s s i f i c a t i o no fs t r o n ga b i l i t y ；f i n a l l yo nj a f f e d a t a b a s e ，t h ea v e r a g er e c o g n i t i o nr a t eh a sr e a c h e d9 5p e r c e n to rm o r e ，g e tt h ee x p e c t e di d e a l r e s u l t s k e yw o r d s ：e x p r e s s i o nr e c o g n i t i o n ，e y el o c a t i o n ，f e a t u r ee x t r a c t i o n ，2 d g a b o r , s v m a b s t r a c t i i 第1 章绪论1 1 1 研究背景和意义1 1 2 面部表情识别研究的发展及现状1 1 2 1 国外研究概况2 1 2 2 国内研究概况3 1 3 面部表情识别研究存在的问题和难点4 1 4 面部表情识别方法综述。5 1 4 1 人脸检测与定位6 1 4 2 表情提取与分类方法7 1 5 论文研究内容和结构安排9 1 5 1 论文研究内容9 1 5 2 论文结构安排1 0 第2 章表情图像预处理11 2 1 人眼定位1 1 2 1 1 眼部区域半且定位1 3 2 1 2 眉眼区域处理1 6 2 1 3 精确定位瞳孔1 6 2 2 光照补偿18 2 2 1 灰度直方图18 2 2 2 直方图均衡化19 2 3 表情图像标准化2 1 2 3 1 旋转校准2 1 2 3 2 表情图像按比例裁剪2 2 2 3 3 尺寸归一化一2 3 2 4 本章小结2 4 第3 章基于2 d g a b o r 小波变换的表情特征提取2 5 3 1g a b o r 小波理论背景2 5 3 2 二维g a b o r 小波变换2 7 3 32 d g a b o r 滤波器参数选择2 9 3 4 特征降维3 l 3 5 实验过程与结果分析3 l 3 5 1g a b o r 核函数窗设置与分析3 1 3 5 2 表情区域范围及网格化粒度选择与分析3 2 3 6 本章小结3 3 第4 章基于s v m 的表情分类3 4 4 1 统计学习理论概述3 4 4 2 最优分类面3 6 4 2 1 最优分类面3 6 4 2 2 广义最优分类面。3 8 4 3 支持向量机4 0 4 3 1 支持向量机基本原理4 0 4 3 2 训练算法4 2 4 3 3s v m 多类分类器模型4 4 4 4 实验过程与结果分析4 7 4 4 1s v m 核函数和多分类器对识别率的影响分析。4 7 4 4 2 不同表情识别率差异分析4 7 4 5 本章小结4 8 第5 章总结与展望4 9 5 1 论文总结4 9 5 2 未来工作展望5 0 参考文献5 1 后记5 5 厂一一 第1 章绪论 面部表情是人类进行非语言交流的一种重要媒介。表情含有人体丰富的行为信息，既 是人类情感最主要的载体，也是语言交流的霞要补充，对它的研究可以进一步了解人类相 应的一i i , 理状态。心理学家m e h r a b i a n 研究表明，感情表露= 7 言词+ 3 8 声音+ 5 5 面部表 情。由此可见，人类可以通过表情准确而微妙地表达自己的思想感情，也可通过表情辨认 对方的态度和内心世界。如果计算机和机器人能够像人类那样具有理解和表达情感的能 力，将从根本上改变人与计算机之问的关系，使计算机更好地为人类服务。 在计算机科学领域的研究中，面部表情识别对于实现自然的人机交互以及自动图像理 解具有重大意义。与此同时，它还拥有广泛的应用前景和潜在价值，不仅是模式识别、图 像处理、计算机视觉、人工智能、计算机图形学等具体应用问题，还涉及了心理科学、生 理科学、认知科学、神经系统科学、工程科学等跨领域学科知识。在实际生活中，典型的 应用包括情感分析与计算、远程教育、智能机器人、安全驾驶、智能监控、智能安全、电 脑娱乐游戏、辅助医疗、临床医学中的人类精神病理分析等等。表情分析与识别技术的发 展，关系到人类日常生活的诸多方面，对提高人们的生活质量及改善人们的生活方式都有 极其重要的作用和意义。 到目前为止，由于人类情感及面部表情的复杂性和特殊性，面部表情识别依然是计算 机领域中一个具有挑战性的课题 ，亦是当今的研究热点之一。表情识别技术是利用计算 机检测人脸图像，提取有效表情特征信息，进行识别和分析。尽管使用不同方法在不同条 件下表情识别效果各有优劣，但是表情特征提取对表情识别来说都是非常重要的步骤。其 次，表情模式分类方法众多，执行效率各有不同。如何有效分析表情特征提取与分类算法 的关系并提出较好的算法来提高表情识别率，都为本文提供了现实的研究目的和意义。 1 。2 面部表情识别研究的发展及现状 早在1 8 7 2 年，达尔文首先论证了人类与动物表情之间的统一性和连贯性，发现二者 表情存在一致性，并揭示了表情在不同性别、不同种族的人群中也具有一致性的特点。1 9 7 1 年，e k m a n 和f r i e s e n 通9 定义出六种基本情感类别：生气、厌恶、恐惧、悲伤、高兴和惊奇。 ”m e h r a b i a na c o m m u n i c a t i o nw i t h o u tw o r d s 【j 】p s y c h o l o g yt o d a y , i9 6 8 ，2 ( 4 ) ：5 3 - 5 6 四l i a n g h u ah e ，c a i r o n gz o u ，y o n g q i a n gb a o t h e r e s e a r c ha d v a n c eo f f a c i a le x p r e s s i o nr e c o g n i t i o n 【j 】j o u r n a lo f c i r c u i t sa n d s y s t e m s ，2 0 0 5 ，1 ：71 - 7 5 7d a r w i nc t h ee x p r e s s i o no f t h ee m o t i o n si nm a na n da n i m a l s m l o n d o n ：j m u r r a y , 18 7 2 锄e k m a ne f r i e s e nwv c o n s t a n t sa c r o s sc u l t u r e si nt h ef a c ea n de m o t i o n j j o u m a lo f p e r s o n a l i t ys o c i a lp s y c h o s ，1 9 7 1 ， 2 ( 1 7 ) ：1 2 4 1 2 9 他们认为这六种基本表情是全人类所共有的，并提出面部动作编码系统( f a c i a la c t i o n c o d i n gs y s t e m ，f a c s ) 。这一研究成果得到了广泛认同，并成为之后许多表情识别研究 工作的基础。此后s u w a o ： 等人在1 9 7 8 年对图像序列中自动表情分析进行研究，通过跟踪 一段脸部视频动画，得到每帧图片上2 0 个关键点的运动规律，将此运动规律与预先建立 的不同表情的关键点运动模型相比较，这成为了将面部表情识别引入机器视觉领域的最初 尝试。 进入9 0 年代，随着面部检测、面部识别、计算机硬件等技术的不断进步，基于图像 分析与计算机视觉的表情分析与处理方法也进入新的阶段。1 9 9 1 年，以m a s e 和p e n t l e n d 采用光流估计和本征脸法进行表情识别为开端，表情识别与分析发展迅速，并逐步在模式 识别和人工智能领域掀起研究热潮。 目前，美国、日本、英国、德国、荷兰、法国等经济发达国家和一些发展中国家如印 度、新加坡均已成立专门的研究组进行这一方面的研究。其中，以麻省理工大学的多媒体 实验室，卡耐基梅隆大学的机器人研究所，马里兰大学的计算机视觉实验室、斯坦福大学、 剑桥大学、东京大学、a t r 研究所的贡献尤为突出。在国内，清华大学、中科院、北京 科技大学、哈尔滨工业大学、南京理工大学、浙江大学、北方交通大学等多所著名研究机 构也都在致力于面部表情识别的研究。但是目前的面部表情识别技术总体而言仍不太成 熟，亟待提高和完善。 1 2 1 国外研究概况 日本是较早开展表情识别研究的国家之一。其中具有代表性的是日本a t r 媒体信息 科学实验室。该实验室建立了日本女性面部表t 青( j a f f e ) 公用数据库，并提出两种基于几 何特征的静态二维图像表情识别方法。实验只对高兴、愤怒、厌恶和惊奇四种表情进行了 分类，并需要人工确定3 4 个面部特征点位置。这两种方法也只能处理正面面部图像，不 能处理头部运动和遮挡。 美国的很多研究机构在表情分析方面一直进行着比较深入的研究，如卡内基梅隆大学 ( c m u ) 、伊利诺斯州大学( u m c ) 、加利福尼亚大学洛杉矶分校( u c s d ) 、美国麻省理工大 学( m i t ) 等。这些研究根据模型建立可分为基于二维图像和基于三维头部模型的表情识别。 m s u w a n s u g i e , k f u j i m o m ap r e l i m i n a r yn o t eo np a t t e r nr e c o g n i t i o no f h u m a ne m o t i o n a le x p r e s s i o n a i n t e r n a t i o n a l j o i n tc o n f e r e n c eo np a t t e r nr e c o g n i t i o n c 1 9 7 8 ：4 0 8 4 l o 圆m a s e k r e c o g n i t i o n o f f a c i a le x p r e s s i o n f o r o p t i c a l f l o w a s p e c i a l i s s u e o n c o m p u t e r v i s i o na n d i t s a p p l i c a t i o n s c 1 9 9 1 7 4 ( 10 ) ：3 4 7 4 3 4 8 3 四t u r km p e n t l a n da f a c er e c o g n i t i o nu s i n ge i g e n f a c e s a 1 n ：p r o ec o m p u t e rv i s i o na n dp a t t e r nr e o r g a n i z a t i o nc o n f e r e n c e 一 c 】- 1 9 9 1 ：5 8 6 5 9 1 蛐j a m e sjl i e n ，t a k e ok a n a d e ，jc o h n a u t o m a t e df a c i a ie x p r e s s i o nr e c o g n i t i o nb a s e do nf a c sa c t i o nu n i t s a 】1 n ：p r o ct h e t h i r di n t e r n a t i o n a lc o n f e r e n c eo na u t o m a t i cf a c ea n dg e s m r er e c o g n i t i o n c 1 9 9 8 。4 ：3 9 0 - 4 0 1 其中，基于二维图像的表情识别系统大多提取人脸的几何特征，然后根据其变化进行表情 识别；而基于三维人脸模型的表情识别系统则首先建立头部三维网格结构模型与二维图像 上关键点之间的映射关系，然后在三维模型上跟踪检测特征点的运动情况，进行表情识别。 这两类表情识别方法都需要精确定位一些面部关键点，所以在一般实际环境中不易实现。 马里兰大学y a c o o b 等人的表情识别研究是基于f a c s 编码的一种方法，主要是集中 分析嘴、眼睛和眉毛边缘的相关运动，把光流的方向场量化成8 个方向，同时建立了一个 时间模型，规定每种表情的整个过程以中性表情作为开始和结束，并定义了变化中每个阶 段的开始与结束的规则，实验己表明这种方法对厌恶的识别效果最好。 在其他欧洲国家中，荷兰代夫特大学( t u d e l f t ) 研制的系统主要用于处理静态图像， 识别过程需要同时得到人脸的j 下面和剖面两幅图像，将两幅图像上的特征点构成特征向 量，利用专家系统规则识别面部活动。由于该系统采用的是几何特征，因此特征点的自动 精确定位问题同样需要解决。 1 2 2 国内研究概况 在国内，多所知名大学和科研机构也在为面部表情识别的发展而不懈努力。 较早进行计算机表情分析、编码与识别研究的是哈尔滨工业大学高文教授等人。他 们主要进行的是多功能感知机的研发，即试图将智能体技术、并行计算技术、实时处理技 术、数字模拟混合计算技术、表情识别、人脸识别、人脸检测与跟踪、语音识别、文字识 别、手语识别、自然语言理解等技术综合在一起，构建成对视觉、听觉等人类语言进行研 究和开发的系统。 北京科技大学的王志良教授首次提出人工心理的概念，对人类心理活动进行人工模 拟。采用情感熵对所得出的情感概率分布进行评价，即用数学工具来描述情感的微观变化 与宏观表现，从而确立人工心理理论结构体系，并把这一理论应用于情感机器人、商品选 购等实际生活系统中。 南京理工大学的杨静宇教授等人从统计不相关性的角度，通过将原始图像矩阵分成 多个子图像矩阵，并将每个块的子图矩阵作为训练样本，采用模糊积分融合方法，利用局 部特征来对表情进行线性鉴别，完全避免使用矩阵奇异值分解，令特征抽取更为简便。 随着国内相关研究的不断发展和进步，国内成功举办了一些相关的国内及国际会议。 9 y a s e ry a c o o b ，l a r r yd a v i s c o m p u t i n gs p a t i a l t e m p o r a lr e p r e s e n t a t i o n so fh u m a nf a c e sf a l i n ：p r o cc o m p u t e rv i s i o na n d p a t t e r nr e c o g n i t i o nc o n f e r e n c e c ie e ec o m p u t e rs o c i e t y , l9 9 4 ：7 0 7 5 圆高文，金辉面部表情图像的分析与识别 j 】计算机学报，1 9 9 7 ，2 0 ( 9 ) ：7 8 2 7 8 9 二e 志良人工心理学关于吏接近人脑工作模式的科学【j 】北京科技大学学报，2 0 0 0 ，5 ：4 7 8 - 4 8 l ”y a n gj ，z h a n gd ，y a n gjyt w o d i m e n s i o n a lp c a ：an e wa p p r o a c ht oa p p e a r a n c e - b a s e df a c er e p r e s e n t a t i o na n dr e c o g n i t i o n j 1 i e e et r a n s a c t i o n sp a t t e r na n a l m a c h i n ei n t e l l i g e n t ，2 0 0 4 ，2 6 ( 1 ) ：1 3 一1 3 7 2 0 0 0 年，第一届人体生物特征识别进展国际学术会议暨中国生物识别学术会议引起关注。 2 0 0 3 年，由中科院自动化研究所等单位主办的第一届中国情感计算与智能交互学术会议 在北京召开，会议期间集中展示了国内各研究机构近几年来在认知、心理、模式识别等领 域的研究成果，并将面部表情识别与合成作为会议内容之一，吸引了国内外众多学者的日艮 球。2 0 0 5 年，首届国际情感计算及智能交互学术会议在我国成功举办，都极大地推动我 国表情识别技术研究的向前发展。 近几年来，尽管表情识别取得了较大发展，但由于表情与人类心理情绪紧密相连，表 情变化万千，导致表情识别受到多方面因素制约。其中包括表情真伪性与相似性、非视觉 因素、表情数据来源多样化导致的系统评判标准不统一、表情先验知识、光照强度、姿态、 遮挡、噪声、年龄等苛刻因素。总之，面部表情识别技术还有很多问题亟待解决。 1 3 面部表情识别研究存在的问题和难点 人类用视觉来识别面部表情是一件轻而易举的事情，但用计算机来分析和识别面部表 情却是一个非常复杂的问题，由于人脸表情的模式复杂性和人脸的非刚性，准确的表情识 别仍然存在诸多困难，目前面部表情识别研究的主要问题包括： ( 1 ) 人脸的准确定位 面部关键特征的准确定位是表情识别的关键技术之一，在很大程度上影响着人脸表情 建模的精度和最终识别性能。目前的人脸检测技术虽已取得很多成果，但在各种复杂环境 的前提下，人脸检测并不能完全保证能对目标人脸的实时检测和准确定位，从而直接影响 后续操作。现有的多数定位算法的精度都随着光照、姿态等外界条件变化而快速下降，而 在实际环境中，对目标的头发、眼镜等遮挡问题造成的影响也亟待解决。 ( 2 ) 图像采集条件 现实世界的图像采集效果能够直接影响表情识别的结果。图像采集条件包括几何条件 和物理条件。几何条件是指成像过程中人脸与成像设备的关系，比如距离，视角，姿态等； 物理条件是指光照条件、背景、成像设备与存储设备条件。几何条件与物理条件共同决定 了表情数据质量和识别性能是否稳定可靠，故外界条件上的不足限制着表情识别的精度。 ( 3 ) 表情本身的表现 由于表情的种类比人脸的种类要少很多，再加上人的年龄、种族、性别、文化等的差 国第一届中国情感计算及智能交互学术会议 e b o l 】h t t p ：w w w c a d z j u e d u c n c h i n a g r a p h c h i n e s e , a c a d e m i c a l l y a c a d e m i c a c l l 0 3 h t m ，2 0 0 3 圆亍h ef i r s ti n t e n l a t i 伽a lc o n f e r e n c eo na f f e c t i v ec o m p u t i n g & i n t e l l i g e n ti n t e r a c t i o n e b o l h t t p ：a f f e c t i v e c o m p u t i n g o r g ， 2 0 0 5 i n d e x h t m ，2 0 0 5 异，很难建立统一的表情模型。例如，老人的表情脸上通常有皱褶，仅凭这点即叮获得较 高准确率。但如果以同样的标准判断儿童则错误率变高。可见不同年龄阶段各种表情的表 现特征并不一样，同理，种族、文化等也有类似的影响。故在特定条件下建立的表情识别 系统很难将其推广到条件不同的情况。 另外上述问题并不是单独作用的，很多都是组合性的，例如年龄和光照问题会同时出 现，更增加了问题的难度。基于现阶段面部表情识别研究的复杂性，主要难点有4 个方面： ( 1 ) 计算机本身没有任何关于表情的知识和经验，一般是通过表情数据库的学习，从而 对表情数据库中各种表情进行识别，由于采用的表情数据库可能不同，导致识别率之问的 优劣没有可比性，各种算法都试图从不同的侧面来解释面部表情，各具特色，未形成统一 的评判标准。此外，在实际应用中，大部分人的表情计算机未学习，这就需要提高机器学 习能力，找到更好的算法，提高对计算机“不认识”人的表情识别率。 ( 2 ) 对各种表情程度的理解不同造成分类复杂。表情的表现有缓和的和激动的、细微的 和强烈的、轻松的和紧张的等诸多形式，同一种表情可能会有不同程度的面部运动体现出 来，其生理因素细微多变、非常复杂。此外，各种表情本身有很强的相似性，体现在各个 特征点运动上的差别也不大，嘴巴张开并不代表就是笑，也有可能是惊奇。因此不仅要求 能够准确提取有效特征，而且还能够利用已获得的这些特征将其准确地分类。 ( 3 ) 一些经典的识别算法虽已取得不错的识别率，但可能都基于一定条件下的几种方法 的综合，单独采取某种算法的识别率并不是很高。这样就不可避免地增加了算法复杂性， 运行时间变长，往往难以满足某些系统实时性要求。 ( 4 ) 由于各种面部表情之间的差别反映在图像上是灰度的变化和一些表情特征点的运 动，但光照强弱对灰度的影响也是十分显著的，有时甚至超过了图像本身所反映的内容。 加之其他成像条件如距离和角度，头发、眼镜等的遮挡都对表情识别造成干扰，给表情特 征的提取造成困难。虽然在进行识别之前要进行一系列归一化处理，但外界坏境对识别率 的影响是不可能完全消除的。 面部表情识别是跨学科的交叉课题，经过多年的研究，表情识别技术一直力图从理论 逐渐走向应用。尽管目前的表情识别技术的应用还只是一个探索性的行为，相信随着技术 的进步，成熟的表情识别产品进入到人类生活指日可待。 1 4 面部表情识别方法综述 面部表情识别是目前模计算机领域的重要课题，具有广