（计算机应用技术专业论文）基于gabor的人脸表情识别研究.pdf

基于g a b o r 的人脸表情识别研究 y7 l 珥0 0 刁刁刁 中文摘要 基于g a b o r 的人脸表情识别研究 中文摘要 人脸表情识别是情感计算和智能化人机交互的重要组成部分，是涉及图像处理、 模式识别、机器学习、生理学、心理学等多个研究领域的交叉性课题。由于其具有潜 在的市场价值和广泛的应用前景，近年来备受学术界的关注。 人脸表情识别一般分为图像预处理、表情特征提取和表情分类3 个阶段。本文针 对这3 个阶段存在的关键问题进行研究，并对一些算法进行改进，主要研究工作如下： ( 1 ) 将z e m i k e 矩人眼检测方法应用到人脸表情识别的图像预处理中。该方法以 往只被用于人脸识别，本文将其引入人脸表情识别领域，通过实验证明了该方法能够 很好地处理表情图像的偏转情况，并提高了人眼定位精度。 ( 2 ) 提出了一种p c a 变换扩散投影( p c a t s p ) 的人眼轮廓提取方法。实验中通过 与可变形模板方法相比较，结果表明p c a t s p 方法在平均形状参数误差及整体优化时 间上更能精确地提取人眼轮廓。 ( 3 ) 提出了一种用于特征选择的分块b o o s t 方法，同时，设计了一种结合优化方 差率( a v r ) 的分块b o o s t 特征选择方法。本文采用5 尺度、8 方向的g a b o r 滤波器提 取表情特征，并针对表情特征向量的高维信息冗余问题，提出了一种分块b o o s t 方法， 同时结合a v r 对特征区分性进行判断，实验中不仅获取了对分类更有利的特征数据 m d g f ，而且达到了降维的目的。 ( 4 ) 将表情样本识别结果的先验知识与其估计值进行融和，获得了最终的识别结 果。本文采用一对一支持向量机( s v m ) 进行表情分类，并通过实验找出不同方向、不 同尺度的m d g f 与表情识别结果的关系，最后将样本识别结果的先验知识与其估计 值进行融和，获得最终的识别结果，同时降低了运算代价及提高了分类精度。 ( 5 ) 开发了一个人脸表情识别系统。该系统集成了人脸检测、人眼检测、图像预 处理、特征提取和表情分类等功能，为后续表情识别研究工作奠定了良好的基础。 关键字：人脸表情识别；人眼轮廓提取；g a b o r 滤波器；特征选择；支持向量机 作者：刘秋菊 指导老! j i l i 徐汀荣 a b s t r a c tr e s e a r c ho nf a c i a le x p r e s s i o nr e c o g n i t i o nb a s e d0 1 1g a b o r r e s e a r c ho nf a c i a le x p r e s s i o nr e c o g n i t i o n b a s e do ng a b o r a b s t r a c t f a c i a l e x p r e s s i o nr e c o g n i t i o ni s a l li m p o r t a n tp a r to fa f f e c t i v ec o m p u t i n ga n d i n t e l l i g e n th u m a n c o m p u t e ri n t e r a c t i v e ，a n di sac r o s s - s u b j e c ti nt h em u l t i p l ef i e l d so f i m a g ep r o c e s s i n g ，p a t t e r nr e c o g n i t i o n , m a c h i n el e a r n i n g ，p h y s i o l o g ya n dp s y c h o l o g y b e c a u s eo ft h ep o t e n t i a lm a r k e tv a l u ea n dw i d ea p p l i c a t i o np r o s p e c t i ti sb e c o m i n gt h e t o p i c so fm o s tc o n c e r ni na c a d e m i cc o m m u n i t yn o w f a c i a le x p r e s s i o nr e c o g n i t i o nc o n s i s t so fs u c hm o d u l e sa si m a g ep r e p r o c e s s i n g , f e a t u r ee x t r a c t i o na n de x p r e s s i o nc l a s s i f i c a t i o na r es t u d i e d i nt h i sp a p e r , s e v e r a li m p r o v e d a l g o r i t h m sw h i c hr e f e rt ot h ec r i t i c a lp r o b l e m se x i s t i n gi na b o v e t h r e ep h a s e sa r ep r e s e n t e d t h em a j o rc o n t r i b u t i o n so f t h i sp a p e ra r ea sf o l l o w s ： ( 1 ) a ne y ed e t e c t i o nm e t h o du s i n gz e m i k em o m e n t si sa p p l i e dt of a c i a le x p r e s s i o n r e c o g n i t i o ns y s t e m e x p e r i m e n t a lr e s u l t ss h o wt h a ti tc a nn i c e l yp r o c e s st h ep r o b l e mo ft h e e x p r e s s i o ni m a g er o t a t i o n ( 2 ) an e we y e sc o n t o u re x t r a c t i o nm e t h o du s i n gp c a t r a n s f o r ms c a t t e r i n gp r o j e c t i o n ( p c a t s p ) i sp r o p o s e d e x p e r i m e n t a lr e s u l t ss h o wt h a tp c a t s pi s m o r er o b u s t l y c o m p a r e dt od e f o r m a b l et e m p l a t ef o re y ec o n t o u re x t r a c t i o ni nt h es h a p eo fa na v e r a g e e r r o ro ft h ep a r a m e t e r sa n do p t i m i z i n gt h eo v e r a l lt i m e ( 3 ) ap a r t i t i o n i n gb o o s ta l g o r i t h m u s e d b y f e a t u r es e l e c t i o ni s p r o p o s e d , s i m u l t a n e o u s l y , w ed e s i g nap a r t i t i o n i n g b o o s ta l g o r i t h mi nc o m b i n a t i o n 、析n lt h e a u g m e n t e dv a r i a n c er a t i o n t h i sp a p e ra d o p t s5s c a l e sa n d8o r i e n t a t i o n sg a b o rf i l t e r st o e x t r a c tt h ef e a t u r e so ff a c i a le x p r e s s i o n , a n da d o p tt h ep r o p o s e dm e t h o df o rf e a t u r e s e l e c t i o nt or e d u c et h ec u r s eo fd i m e n s i o n a l i t yo ff e a t u r e si nf a c i a le x p r e s s i o nr e c o g n i t i o n e x p e r i m e n t a lr e s u l t ss h o w t h a tt h ep r o p o s e dm e t h o dn o to n l ya c q u i r e st h ev e c t o rm d g f , b u ta c h i e v e st h ep u r p o s eo fd i m e n s i o n a l i t yr e d u c t i o n r e s e a r c ho nf a c i a le x p r e s s i o nr e c o g n i t i o nb a s e do i lg a b o r ( 4 ) w eg e tt h ef i n a lr e c o g n i t i o nm s u l t sb yc o m b i n i n gt h ep r i o r ik n o w l e d g eo ff a c i a l s a m p l er e c o g n i t i o nr e s u l t sw i t l li t se s t i m a t ev a l u e t h i sp a p e ru s e st h eo n e a g a i n s t - o n e s u p p o r tv e c t o rm a c h i n e ( s v m ) t od ot h ef e a t u r ec l a s s i f i c a t i o n , a n df i n dt h er e l a t i o n s h i p b e t w e e ne v e r ys c a l e ，e v e r yo r i e n t a t i o no nv e c t o rm d g fa n dr e c o g n i t i o nr e s u l t s f i n a l l y , w ea c h i e v et h ef m a lr e c o g n i t i o nr e s u l t sb yu s i n gt h ei n t e g r a t i o no ft h ep r i o r ik n o w l e d g ef o r s a m p l er e c o g n i t i o nr e s u l ta n di t se s t i m a t i o nv a l u e ，b yd e d u c i n gt h ec o m p u t a t i o nc o s ta n d i m p r o v i n gt h ec l a s s i f i c a t i o np r e c i s i o n ( 5 ) f a c i a le x p r e s s i o nr e c o g n i t i o ns y s t e mi sd e v e l o p e d i tc o n s i s t so fs u c hm o d u l e sa s f a c i a ld e t e c t i o n ，e y ed e t e c t i o n ，i m a g ep r e p r o c e s s i n g ，c h a r a c t e re x t r a c t i o na n de x p r e s s i o n c l a s s i f i c a t i o n , w h i c hi sp l a t f o r mf o rf u r t h e rr e s e a r c h k e y w o r d s ：f a c i a le x p r e s s i o nr e c o g n i t i o n ；e y ec o n t o u re x t r a c t i o n ；g a b o rf i l t e r ；f e a t u r e s e l e c t i o n ；s u p p o r tv e c t o rm a c h i n e w r i t t e nb y：l i u q i u - j u s u p e r v i s e db y ：x ut i n g r o n g 图表目录 图1 1人脸表情识别系统框架7 图2 1人眼候选区域检测16 图2 2不同尺寸图像的人眼检测1 6 图2 3 偏转图像人眼定位1 6 图2 - 4 表情图像倾斜矫正旋转图( 采用双线性插值算法) 1 7 图2 5 表情图像裁剪的几何模型1 8 图2 - 6 部分表情图像裁剪1 8 图2 7 两组尺寸归一化表情图像1 9 图2 8 双线性插值求2 i x ，y ) 的灰度值2 0 图2 - 9 直方图均衡化前后对比图2 3 图2 1 0 人脸表情图像预处理结果2 4 图3 1人眼轮廓模板2 7 图3 2 人眼轮廓提取精度比对3 0 图3 3 实验结果对比。3 1 图3 - 4 哺乳动物视觉皮层感受野剖面与逼近的二维g a b o r 函数3 1 图3 5g a b o r 特征提取流程图3 3 图3 - 65 x 8 g a b o r 小波滤波器的实部3 4 图3 7 不同半径大小的g a b o r 小波3 4 图3 8 表情图像及g a b o r 滤波结果3 5 图3 9 表情图像灰度值及g a b o r 滤波器响应随图像位置变化波动图3 6 图3 1 0a v r 值与特征向量维数的关系图3 8 图3 1 1 特征选择方法性能比较4 1 图4 1线性可分最优分类线4 3 图4 2 线性不可分情况下样本落在类分离段中4 5 图4 3 非线性s v m 分类器4 6 图4 4核函数的s v m 体系结构4 7 图4 5s v m 投票机制5 1 图4 - 61 3 个通道对6 种基本表情及中性的识别率5 1 图4 7m d g f 在不同尺度及方向上的分布情况5 2 图4 8 本文方法对人脸表情的识别结果5 3 图4 - 9 本文方法对未训练人脸表情的识别结果5 3 图5 1人脸表情识别系统框架5 6 图5 2 人脸表情识别系统界面一5 8 图5 3人脸表情识别系统人眼检测图5 9 图5 _ 4已知人脸的未知表情识别结果显示图5 9 图5 5 未知人脸的未知表情识别结果显示图6 0 表1 1六种基本表情的动作特征具体表现5 表1 2 理想人脸表情识别系统的特性归类6 表1 3 人脸检测方法归类及分析8 表1 4 人脸表情特征提取方法归类及分析9 表1 5 表情识别方法及结果归类1 1 表3 1改进后的可变形模板方法归类2 6 表3 - 2 实验结果比较3 0 表4 1基于不同核函数的性能比较( ) 5 4 表4 2 基于识别率的性能比较5 4 苏州大学学位论文独创性声明及使用授权的声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含 其他个人或集体已经发表或撰写过的研究成果，也不含为获得苏州大学 或其它教育机构的学位证书而使用过的材料。对本文的研究作出重要贡 献的个人和集体，均己在文中以明确方式标明。本人承担本声明的法律 责任。 研究生签名：玉鹾堑日 期： 学位论文使用授权声明 苏州大学、中国科学技术信息研究所、国家图书馆、清华大学论文 合作部、中国社科院文献信息情报中心有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本 人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分 内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名：耋堕垒墅钆日 期：j 生雩盟 导师签名：敝日期：必严 基于g a b o r 的人脸表情识别研究 第一章绪论 1 1 引言 第一章绪论 表情是人类非语言交流的有效手段，是信息传递的重要媒介，是情感的主要载体， 也是情绪的外在表现。情绪通过表情的渠道使人们相互了解，彼此共鸣。关于表情在 传递信息方面的重要作用，心理学家认为，感情表达= 7 的语言+ 3 8 的声音+ 5 5 的 表情。因此，对表情的研究能深入了解人类对应的情感状态或心理状态。 表情识别是情感理解的基础，是计算机理解人类情感的前提，也是实现智能化人 机接口不可或缺的重要方面。其主要目的是利用计算机进行人类表情的模拟和分析， 进而更好地理解表情在艺术、人际交往，特别是在非语言交流和情绪加工中所起的作 用。如何实现计算机拟人化，使之能够像人类一样具有理解和表达情感的能力，并能 够自适应地为交流对象提供最友好的操作环境，进而消除人机交互( h u m a n c o m p u t e r i n t e r a c t i o n ，h c i ) 的障碍，已成为人机界面未来发展的趋势。本文旨在探讨表情识别 中相关理论及技术，并初步构建一个人脸表情识别系统。 1 2 课题研究背景与意义 随着计算机、互联网技术及相关领域的飞速发展和社会自动化程度的不断提高， 人们对自然、和谐及智能化人机交互方式的需求与日俱增。目前，人机交互的研究热 点集中在多模态形式上，如人脸识别、人脸表情识别、虹膜识别、指纹识别、步态识 别、语音识别等。其中，人脸表情是人类情感状态、精神状态和健康状态的表达方式， 实现计算机对人脸表情的理解与识别将从根本上改善人机关系。在人脸表情识别系统 的开发过程中，可以采用人脸检测、人脸识别和人脸跟踪技术中的大量成熟算法。同 时，各类图形工作站和高精度摄像机的大量涌现，为表情识别研究提供了有力条件， 进而大大推动了表情识别技术研究的发展。此外，作为生物特征识别和情感计算领域 中一个极具挑战的交叉性课题，人脸表情识别成为近年来模式识别和人工智能领域的 研究热点。 人脸表情识别具有广泛的应用前景，如自然和谐的人机交互、计算机游戏、远程 教育、安全驾驶、公共场合安全监控、心理学研究、辨别谎言、临床医学、人类精神 病理分析等。以下是关于人脸表情识别方面的应用实例i l 】。 第一章绪论 基于g d b o r 的人脸表情识别研究 1 计算机游戏与娱乐系统 计算机是没有情感、没有个性的机器，不能根据游戏者的喜、怒、哀、乐作出实 时反应，这大大降低了人们的娱乐兴趣。未来游戏系统的发展趋势必然是计算机能够 通过分析人脸表情理解人类情感。 2 司机安全驾驶的智能监控系统 交通安全是全球关注的热点问题之一。目前，交通事故居高不下，疲劳驾驶、酒 后驾驶等违章现象普遍存在，给人们的生命财产安全造成了巨大损失。若能够通过监 控司机表情，分析其当前驾驶状态，并及时采取措施，则可及早排除由此引起的事故 隐患。 3 远程教育互动系统 目前，远程教育系统不具备分析学生表情的能力。学生往往处于被动接收知识的 状态，使得教学效果无法实时反馈，降低了学习效率。而结合表情识别的远程教育系 统会根据实时捕获的学生表情进行分析，以便随时调整教学方式，提高教学质量。 4 公共场合安全监控系统 基于人脸识别的身份鉴别系统可以识别“有前科的罪犯，但对可能发生的犯罪 没有预见性，表情识别可以弥补这一缺陷。安全监控系统能够通过人脸表情识别分析 出人们当前焦虑不安或攻击性的精神状态，由此可预防犯罪，维护公共安全。 以上四个实例说明了表情识别的研究内容和应用前景。 人脸表情识别涉及图像处理、模式识别、人工智能、运动跟踪、计算机视觉、心 理学、生理学等多学科知识，其研究对这些学科特别是对模式识别和人工智能发展有 较大的推动作用。此外，人脸表情识别技术作为一种典型的高端生物特征识别技术， 以其自然性、客观性及智能性等优点备受学术界关注。人脸表情分析与识别技术的发 展，将会涉及到人们日常生活的诸多方面，对改善和提高人们的生活质量及生活方式 都有极其重要的作用和意义。 1 3 国内外研究现状 表情研究源于生理学和心理学领域的研究，可追溯到2 0 世纪7 0 年代。早期生理 学家与心理学家主要关注表情与情绪之间的关系以及表情在交流中的作用。d a r w i n 2 】 首先论证了人与动物表情的统一性和连贯性，认为人和动物的表情具有一致性，并揭 示了表情在不同性别、不同种族的人群中也具有一致性。美国著名心理学家e k m a n 2 基于g a b o r 的人脸表情识别研究 第一章绪论 和f r i e s e n t 3 】定义了六种基本表情：惊奇、恐惧、厌恶、愤怒、高兴和悲伤，认为这六 种基本表情是全人类所共有，并在提出面部动作编码系统( f a c i a la c t i o nc o d i n g s y s t e m ，f a c s ) 的基础上对各种表情进行分析。f a c s 得到了广泛认同，并成为后来 人脸表情识别研究的基础。 随着人脸检测与人脸识别技术的发展、计算机硬件性能的提升和人们对h c i 的 热切期盼，表情识别与分析领域逐渐发展壮大，并逐步成为模式识别和人工智能领域 的研究热点，吸引了国内外多所知名大学、研究机构的大量研究人员投入研究。 1 国外研究状况 2 0 世纪9 0 年代，美国、日本、英国、德国、法国、荷兰等经济发达国家和印度、 新加坡等发展中国家都有专门的研究机构对人脸表情进行研究。其中，美国的麻省理 工学院( m i t ) 多媒体实验室、卡耐基梅隆大学( c m u ) 机器人研究所、马里兰大学 ( m a r y l a n d ) 视觉实验室和斯坦福大学( s t a n f o r d ) ，英国的剑桥大学( c a m b r i d g e ) 和曼彻斯 特大学( m a n c h e s t e r ) ，日本的城蹊大学( s e i k e i ) 、东京大学( t o k y o ) 、大坂大学( o s a k a ) 和国际电信技术研究所( a t r ) 等研究机构的贡献尤为突出。 日本是较早进行人脸表情识别研究的国家。其中，a t r 的媒体信息科学实验室 建立了日本女性人脸表情( j a f f e ) 公用数据库，并提出了两种基于几何特征的表情识 别方法降5 1 ，前提是人脸表情图像均为正面图像、无偏转，且需人工标定3 4 个面部特 征点。同为a t r 的m a s e l 6 1 采用光流法跟踪运动单元，其研究重点是计算脸部肌肉运 动，并从两个方向进行展开：( 1 ) 从上至下方向：在以脸部图像被分成运动单元( a c t i o n u n i t ，a 的前提下，将a u 集合成矩形，并在矩形中计算光流，缺点是严重依赖于 矩形的定位；( 2 ) 从下至上方向：在矩形中计算光流，量化成4 个方向，每个方向选 取一个肌肉收缩方向，并采用一个1 5 维的特征向量表示表情序列中光流变化最活跃 的点。实验中对高兴、愤怒、厌恶和惊奇四种表情进行了分类。 9 0 年代初，东京大学的k o b a y a s h i 和h a r a l 7 】利用眼睛、嘴巴和眉毛三个区域的 特征点坐标提取表情信息，并采用神经网络法对基本表情和混合表情进行机器识别， 最终将表情分解为惊奇、恐惧、厌恶、愤怒、高兴和悲伤，并将这六种基本表情的两 到三种表情进行合成。 在美国，佐治亚工学院的e s s a 和m i t 媒体实验室的p e n t l a n d l 8 】采用图像序列来 观察面部的a u ，通过优化估计光流法与面部结构的几何模型相结合得到视觉观察和 感知。该方法产生一个随时间变化的面部形状空间模板和个独立的肌肉运动群参数 3 第一章绪论基于g a b o r 的人脸表情识别研究 化表征。其缺点是由于几何网格在初始化阶段采用手工完成，且图像序列长度固定。 因此，无法反映肌肉随时间变化的运动情况。 m a r y l a n d 视觉实验室的y a c o o b 等【9 l 采用基于f a c s 编码的表情识别方法，重点 分析嘴巴、眼睛和眉毛边缘的相关运动，并将光流场量化成8 个方向；同时建立一个 以中性表情作为开始和结束的时间模型；最后采用简化后的f a c s 规则进行识别，实 验表明该方法对厌恶的识别效果最好。 c m u 机器人研究所的c o h n 掣加】采用3 种方法( 特征点跟踪法、密度流跟踪法和 高梯度成分分析) 自动提取图像序列的特征信息，并在基于f a c s 运动单元的自动人 脸表情识别和表情强度识别的基础上，对运算量作了详细比较。 2 国内研究状况 在国内，清华大学、哈尔滨工业大学、中科院、浙江大学、中国科技大学、东南 大学、南京理工大学、北方交通大学等多所知名大学和研究机构已经开展了人脸表情 识别关键技术的研究。 哈尔滨工业大学的金等【l l 】进行了多功能感知机的研发。其目的在于将智能、实时 处理、数字模拟混合计算、并行计算等技术与语音识别、表情识别、人脸识别、人脸 检测和跟踪、文字识别、自然语言理解等技术有机结合，构建成可以对视觉、听觉等 人类语言( 自然语言和行为语言) 进行研究和开发的软硬件平台。 随着国内相关研究的开展，我国成功举办了一些国内及国际会议。2 0 0 0 年，我 国开始举办每年一届的人体生物特征识别进展国际学术会议暨中国生物识别学术会 议。2 0 0 3 年，在北京召开了第一届中国情感计算与智能交互的学术会议，会议期间 集中展示了国内各研究机构近几年来在认知、心理、模式识别等领域的研究成果，并 将人脸表情识别与合成作为会议内容之一，引起了国内大量研究人员的极大关注。 2 0 0 5 年，首届国际情感计算及智能交互学术会议在我国举行，这极大地推动了我国 表情识别技术研究的进一步深入。 人脸表情自动识别发展迅速，但还有很多制约性技术尚待突破，还不能将其广泛 应用于商业。影响人脸表情识别性能的因素很多，包括光照、年龄、姿态、遮挡、噪 声、分辨率等因素。因此，建立实用的人脸表情自动识别系统还有很多问题亟待解决。 1 4 人脸表情识别概述 1 9 7 8 年e k m a n 和f r i s e n l 3 】提出了f a c s ，利用4 4 个能独立运动的表情a u ，将表 4 基于g a b o r 的人脸表情识别研究第一章绪论 情分为六种基本类别及3 3 种不同的表情倾向。相比无表情的人脸特征，这六种基本 表情的人脸特征具有相对独特的肌肉运动规律，如表1 1 所示。这些研究导致了面部 表情测量技术的问世，并为后续研究做好了铺垫。 表1 1 六种基本表情的动作特征具体表现 表 情 额头和眉毛眼睛脸的下半部 惊 1 ) 眉毛抬起，变高变弯 1 ) 眼睛睁大，上眼皮抬高， 下颚下落，嘴张开，唇和齿 2 ) 眉毛下的皮肤被拉伸 下眼皮下落 分开，但嘴不紧张，也不拉 奇 2 ) 眼白可能在瞳孔上下 3 ) 皱纹可能横跨额头 伸 边露出来 恐 1 ) 眉毛抬起，并皱在一起嘴张开，嘴唇或轻微紧张向 2 ) 额头的皱纹只集中在中 上眼皮抬起，下眼皮拉紧后拉伸，或拉长的同时向后 惧 部，而不横跨整个额头拉伸 1 ) 上唇抬起 厌 眉毛压低，并压低上眼皮 在下眼皮下部出现横纹，脸 2 ) 下唇与上唇紧闭，推动上 唇向上，嘴角下拉 恶颊推动其向上，并不紧张 3 ) 鼻子皱起 4 ) 脸颊抬起 1 ) 下眼皮拉紧，抬起或不 1 ) 嘴唇或是紧闭、嘴角拉直 愤 1 ) 眉毛皱在一起，压低抬起 或向下：或是张开，仿佛 怒 2 ) 在眉宇间出现竖直皱纹2 ) 上眼皮拉紧，眉毛压低 要喊，嘴可能张大，牙齿 露出 3 ) 眼睛睁大，可能鼓起 2 ) 鼻孔可能张大 1 ) 下眼皮可能有皱纹，可 1 ) 唇角向后拉伸并抬高 高能鼓起，但不紧张 2 ) 嘴可能张大，牙齿露出 兴 眉毛稍微下弯3 ) 一道皱纹从鼻子延伸到 2 ) 鱼尾纹从外眼角向外张 嘴角外部 开 4 ) 脸颊被抬起 悲眉毛内角皱在一起，抬高， 内眼角的上眼皮抬高 1 ) 嘴角下拉 伤带动眉毛下的皮肤 2 ) 嘴角可能颤抖 同年，s u w a 等【1 2 】研究了基于图像序列的自动表情分析，并将表情识别引入机器 视觉领域。f a s e l 等【1 3 l 提出的表情识别是基于视觉信息的脸部运动或脸部特征形变的 分类。简而言之，表情识别是将输入的表情图像通过某种分类法将其归入某种类别或 给出某种属性描述的过程。 近年来，随着人们对机器智能研究兴趣的日益增加，人脸表情自动识别也随之受 到广泛关注，理想人脸表情识别系统的特性如表1 2 所示。遗憾的是，由于年龄、种 族、性别、发型等个体差异以及光照、姿态等环境因素影响，大多数人脸表情识别系 第一章绪论 基于g a b o r 的人脸表情识别研究 统研究都不具备表1 2 中的特性4 ( 不受人脸遮挡限制) 、1 1 ( 识别各类人脸表情) 和1 5 ( 量 化人脸面部运动) ；极少数系统在测试集与训练集相一致的前提下验证表情识别方法， 对表1 2 中的特性3 ( 光照不敏感) 、9 ( 能处理不精确的人脸表情数据) 、1 4 ( 能区分4 4 种人脸面部单元运动) 、1 8 ( 量化解释结果) 、1 9 ( 解释方式多样性) 和2 0 ( 特征实时处理) 提出了解决方法。因此，真正理想的自动人脸表情识别系统实现还有待深入研究。 表1 2 理想人脸表情识别系统的特性归类 类别序号 特性 1 自动获取人脸图像 2 不受年龄、种族及外貌限制 3 光照不敏感 4 不受人脸遮挡限制 5 无需人工标记特征点 6 能处理头部刚性运动 一般特性 7 自动人脸检测 8 自动人脸表情特征提取 9 能处理不精确的人脸表情数据 1 0自动人脸表情识别 1 l 识别各类人脸表情 1 2 能处理单边人脸表情变换 1 3遵循解剖学原理 行为科学研究 1 4能区分4 4 种人脸面部单元运动 应用特性 1 5 量化人脸面部运动 1 6 表示方式多样性 多模式多媒体人 1 7 表情特征容易学习 机交互应用 1 8量化解释结果 特性1 9 解释方式多样性 2 0 特征实时处理 1 4 1 人脸表情识别系统结构 表情识别系统包括三个关键部分：表情图像预处理、表情特征提取和表情分类。 其中，在表情图像预处理之前需要获取表情图像，目前，大多数系统都是基于已有人 脸表情库进行操作，本文亦是如此；表情图像预处理包括人脸( 眼) 检测、分割、人脸 标准化等操作，意在消除尺度、光照、姿态及背景的影响：表情特征提取包括形变特 征提取和运动特征提取，即基于静态图像和图像序列两种情况；在人脸表情分类之前， 往往需要对表情特征数据进行进一步压缩表情特征表示，不同的特征表示方式将 6 基于g a b o r 的人脸表情识别研究第一章绪论 对表情分类和表情特征提取造成直接影响；最后，选择适当的算法对已获取的表情特 征数据进行分类。 般而言，人脸表情识别系统框架如图1 1 所示。 图1 - 1 人脸表情识别系统框架 对于模式分类问题，关键是适合模式类别的模式特征提取。因此，本文重点放在 图像预处理、表情特征提取及选择和表情分类3 个方面。 1 4 2 表情图像预处理 1 4 2 1人脸检测 人脸检测最初在自动人脸识别系统的定位环节被提出，后来逐渐应用于实时人脸 识别系统和表情识别系统中。近年来，随着网络与计算机硬件技术的发展，人脸检测 在表情识别、安全访问控制、视觉监控、基于内容的检索和多模式人机界面等领域的 应用，开始作为一个独立的课题受到研究人员的普遍重视。 人脸检测是指在图像或视频流中确定人脸( 若存在) 位置、大小和姿态等信息的过 程，也是人脸表情识别的基础。其算法可归纳为3 类：基于肤色的检测方法、基于启 发式模型的检测方法和基于统计模型的检测方法，如高斯模型【1 4 1 、支持向量机”】等 方法。 主要的人脸检测方法及性能分析如表1 3 所示。 7 第一章绪论基于g a b o r 的人脸表情识别研究 表1 3 人脸检测方法归类及分析 人脸检测方法人脸检测具体方法 特点分析 高斯模型【1 4 j 考察了归一化的九种色度空间，论证了混合高 混合高斯模型1 1 4 1 斯模型在肤色区域分布描述方面优于高斯模型 肤色模型 研究了r g b 空间中肤色与非肤色区域的分布， 直方图模型1 1 6 l建立了三维直方图，并且论证了直方图模型的 性能略优于混合高斯模型 变形模板【1 7 1 采用变形模板匹配头项轮廓线和左右两条脸颊 启发式模型 轮廓线 将人脸区域分别划分为4 x 4 和8 x 8 马赛克块， 镶嵌图【1 叼 利用一组规则及边缘特征进行验证 人工神经网络【1 9 1采用多个a n n 进行多姿态人脸检测，其中涉 ( a n n ) 及正面、半侧面及侧面人脸 估计人脸图像和非人脸图像的条件概率检测人 统计模型概率模型1 2 0 】 脸 对每一个1 9 x 1 9 检测窗口采用s v m 进行分类， 支持向量机1 1 5 l 以区分人脸和非人脸 1 4 2 2人眼检测 人眼是人脸中最稳定、最显著的特征，其原因是人眼位置固定，且双眼间距与人 脸宽度息息相关。因此，当人眼被精确定位，面部其他特征( 眉毛、鼻子和嘴巴等) 的 位置则可以根据人脸器官分布比例获得，进一步将人脸从原图像中分割出来。 人眼检测是表情图像预处理的关键环节，也是人脸分割、人脸几何归一化及灰度 归一化的重要前提，已被广泛用于人脸识别、表情识别、视频会议、人机交互等领域。 目前，常用的人眼检测方法包括梯度特征、模板匹配1 2 1 j 、投影函数【2 2 j 等。 1 4 2 3表情图像预处理 。表情图像预处理的目的是尽量保留对表情识别有用的信息，抑制并分隔外界干 扰。从f a c s 3 】和表1 1 可知，表情对图像的平移、缩放和旋转非常敏感，这些因素 最终会对表情识别造成干扰。因此，必须对表情图像进行标准化操作，包括人眼定位、 几何归一化和灰度归化。几何归一化包括尺寸归一化和角度归一化，即根据人脸特 征点，将各表情图像中人脸变换到同一位置和相同大小。灰度归一化是指对表情图像 进行光照补偿等处理( 如直方图均衡化) ，在定程度上降低光照变化的影响，有利于 识别精度的提高。 8 基于g a b o r 的人脸表情识别研究第一章绪论 1 4 3 表情特征提取 表情特征提取是人脸表情识别系统的核心，直接影响到表情识别的最终结果。该 环节一般由特征提取和特征选择两部分构成。在人脸表情识别系统中，特征的提取与 分类是将像素描述的表情图像数据转化为更高级的描述，如对表情图像的形状、运动、 颜色、纹理特征或空间构造的描述。表情特征选择主要用于处理特征提取后的高维信 息冗余问题，尽可能在保证系统稳定性和识别率的前提下，对高维数据进行降维。 表情特征提取方法可根据系统输入数据是静态图像还是动态图像序列进行分类。 其中，基于静态图像的表情特征提取方法又可分为两类：基于整体的特征提取方法和 基于局部的特征提取方法。如p c a l 2 3 、g a b o r 小波【4 1 、局部主分量分析等方法。表l - 4 给出了表情特征提取的主要方法归类及各方法的性能分析。 表1 - 4 人脸表情特征提取方法归类及分析 数据 特征提取方法 性能分析 类型 优点缺点 有效降维，较大程度保留原运算量大，对图像定位 p c a 2 3 1 始数据要求较高 a a m ( a c t i v ea p p e a r a n - 对正面人脸比较有效 要求人脸无头发、眼镜 c em o d e l s ，a a m ) 2 q等干扰，且需手工干预 整 体 p d m ( p o i n td i s t r i b u t i o n对正面人脸比较有效，降低要求人脸无头发、眼 性 m o d e l ，p d m ) i 2 5 1了对噪声和形变的影响镜、背景等干扰 方 独立分量分析、法【2 6 】 对主分量特征空间维数的选运算量较大，实时性较 静态 法 择具有较低的敏感度 差 对其他几种表情识别 图像 聚类判别分析法【2 7 1对微笑的识别率较高 率较低 构建了一个解剖学的人脸模 弹性图匹配法【8 1运算量大 型并可用于表情识别与合成 局 g a b o r 小波法【4 1 光照不敏感，能容忍一定程经g a b o r 处理后的特征 部 度的图像旋转，实时性较好维数高，运算量大 性 系统的编码速度慢，可 方 f a c s l 3 1 系统将表情划分为4 4 个运动 法 单元，易于理解 靠性、精确性和实时性 较差 光流法 6 , 8 , 1 0 1简洁易实现，表情特征稳定光照敏感、运算量大 动态 隐马尔科夫模型法i d e 对高兴的识别效果较好模型参数的选取较难 图像 m a r k o vm o d e l ，h m m ) 2 8 i 只选取感兴趣的特征点，从丢失了部分有用信息， 序列 特征点跟踪法i 捌 而降低了运算量需要人工标定特征点 9 第章绪论基于c i , d b o r 的人脸表情识别研究 1 4 4 表情分类 人脸表情识别系统的最后一个环节就是表情分类。系统中分类器的作用是根据特 征提取得到的特征向量给被测对象赋予类别标记，如高兴、悲伤等类别。良好的分类 器应该使得分类造成的误差率最小。因此，选择适当的分类器对表情识别效果至关重 要，典型的分类器有如下几种。 1 最近邻规则( n e a r e s tn e i g h b o r ，n n ) 最近邻规则最初由c o v e r 和h a r t 于1 9 6 8 年提出。该方法是基于样本间距离的一 种分类方法，其相似度量以待测样本到模板的距离为判据。距离的测度主要有l l 范 数、l 2 范数、马氏距离等。其典型的推广就是k 近邻。 2 模板匹配 表情图像匹配是在表情图像中寻找所关心的目标。该方法为每一个待分类的表情 建立一个模板，并将待测表情与每种表情模板进行匹配，匹配量度越高，说明待测表 情与模板表情越接近。优点是计算量小，易实现；缺点是识别率较低。 3 人工神经网络( a n n ) a n n 是一种全新的模式识别技术，它充分吸收了人类识别物体的特点，在被分 类图像信息的引导下，通过自学习，修改自身的结构及识别方式，从而提高图像的分 类精度和分类速度，并取得满意的分类结构。近年来，用于表情识别的a n n 主要有： b p 神经网络、多层感知器、r b f 网等。缺点是运算时间太长，很难实现实时分类； 改变输入必须重新训练网络，扩展性不强。 4 支持向量机( s v m ) s v m 是一种两类分类器，其泛化能力很强。基本思想是将训练样本经非线性变 换映射到另一个高维空间，在变换后的高维空间内寻找一个最优分类面，并且在类间 空隙最大的情况下将样本无错误或接近无错误地分开。由于人脸表情识别是多类别分 类，因此，需要将s v m 扩展到多类别情形。主要包括两种策略：一对一分类法和一 对多分类法。 此外，还有基于规则法、线性判别分析( l i n e a rd i s c r i m i n a t ea n a l y s i s ，l d a ) 法、 a d a b o o s t 法等。 部分人脸表情识别方法及结果归类如表1 5 所示。 1 0 基于g a b o r 的人脸表情识别研究第一章绪论 表1 5 表情识别方法及结果归类 表情 方法识别任务数据类型 正确率 数据库 ( ) 静态图像( 9 人 r p r o p 传播的神经网络【5 i6 种表情及中性 9 0 2 1 3 帧) 静态图像( 9 人 g a