（信号与信息处理专业论文）人脸表情识别算法的研究.pdf

安徽大学硕上学位论文摘要 摘要 人脸表情识别作为人脸检测领域的一个重要组成部分，是人工智能领域的一 个新兴的研究课题，涉及到计算智能、模式识别、图像处理，甚至还包括生理学 和心理学等学科领域，属于一种交叉性学科。表情识别的研究目标是让计算机能 够自动识别出入的表情信息，从而能够更进一步地增强人机交互的友好性及智能 性。同时，随着社会的生活水平不断提高，人们对于生活品质的安全要求也越来 越高。针对现实生活中的很多场景，诸如驾驶监控、医疗监护等，若计算机能够 自动识别人脸面部表情，则可大大降低悲惨事件发生的可能性并对人类的安全提 供有效的保障。所以人脸表情识别研究具有极高的潜在应用价值和广阔的应用前 景。 目前对于正脸的人脸检测技术已经基本成熟，表情识别作为人脸检测技术的 一个延伸却处于起步阶段，仍然没有一个比较成熟的算法。目前已经存在的多种 表情特征提取算法，总体可以将其归纳成静态图像和图像序列的表情特征提取算 法两种形式。而经典l b p ( l o c a lb i n a r yp a t t e r n s ) 和l b pt o p ( l o c a lb i n a r yp a t t e r n s f r o mt h r e eo r t h o g o n a lp l a n e s ) 算法分别作为该两种形式的常用算法，但是它们的 实时性及识别率却没有达到令人满意的程度。本文以该两种常用算法为基础，对 表情区域选取进行了改进，在不降低识别率的前提下，有效地提高了表情特征提 取的速度。此外，针对图像几何特征提取，本文提出了基于链码的思想，该方法 对静态图像和图像序列均可提取较鲁棒的几何特征。将两种几何特征分别与改进 后的l b p 和l b pt o p 表情特征进行有效融合，大大提高了最终表情识别的识别 率。实验数据证明了本文所提取的几何特征具有合理性和有效性。最终本文有效 地结合了静态图像和图像序列的两种表情特征，构建出入脸表情识别的实时检测 系统。具体研究内容及创新点如下： ( 1 ) 对静态人脸图像或图像序列进行人脸检测、特征点定位和面部归一等图 像预处理操作，得到本文规定的标准人脸图像或图像序列，为后期特征提取打下 必备的基础。 ( 2 ) 基于链码思想，对静态图像的各面部目标上的关键特征点进行循环链码 编码，并对其进行有效的顺序串接组合及归一，得到静态图像的几何特征。基于 安徽人学硕j 二学位论文人脸表情识别算法的研究 经典的l b p 表情特征提取算法，并对表情区域选取方面做了部分改进，在不降 低识别率的前提下，有效地降低了l b p 表情特征的维数，得到改进的l b p 表情 特征。将静态图像的几何特征与改进的l b p 表情特征进行有效融和，构成本文 最终的静态图像表情特征。 ( 3 ) 针对图像序列，本文对各序列图像中的对应关键特征点的位置在同一坐 标系下进行统计，以形成各关键特征点的运动轨迹，这些运动轨迹的组合可以描 述某人脸表情的形成过程。对各运动轨迹进行非循环链码编码及有序组合归一， 得到图像序列的几何特征。基于经典的l b pt o p 表情特征提取算法，对图像序 列进行l b pt o p 表情特征提取。将图像序列的几何特征与经典l b pt o p 表情 特征进行有效融和，构成本文最终的图像序列表情特征。 ( 4 ) 采用支持向量机多分类算法中的“一对一”分类算法及径向基核函数对表 情特征进行表情模板训练及表情分类。 ( 5 ) 开发人脸表情识别实时检测系统，对测试者进行图像序列提取、人脸图 像预处理、静态图像和图像序列表情特征双重提取，并对两种表情特征分别进行 表情分类得到两种表情结果。遵守以图像序列表情特征为主，静态图像表情特征 为辅的原则，对两种表情结果进行最大概率推断，得到最终最为可能的表情结果。 关键词：表情识别，链码，几何特征，表情特征，支持向量机 安徽人学硕十学位论文a b s t r a c t a b s t r a c t a sa ni m p o r t a n tp a r to ft h ef a c ed e t e c t i o nt e c h n o l o g y , f a c i a le x p r e s s i o nr e c o g n i t i o n i san e wr e s e a r c ht o p i ci nt h ef i e l do fa r t i f i c i a l i n t e l l i g e n c e f a c i a le x p r e s s i o n r e c o g n i t i o ni sa ni n t e r d i s c i p l i n a r yt o p i cs i n c ei tr e l a t e dt oc o m p u t a t i o n a li n t e l l i g e n c e ， p a t t e r nr e c o g n i t i o n ，i m a g ep r o c e s s i n g , e v e np h y s i o l o g ya n dp s y c h o l o g ya n ds oo n t h eg o a l so fe x p r e s s i o nr e c o g n i t i o na r et oe n a b l ec o m p u t e rt o r e c o g n i z ef a c i a l e x p r e s s i o ni n f o r m a t i o na u t o m a t i c a l l y , a n df u r t h e r e n h a n c et h ef r i e n d l i n e s sa n d i n t e l l i g e n c eo fm a n - m a c h i n ei n t e r a c t i o n a tt h es a m e t i m e ，a l o n g w i t ht h e i m p r o v e m e n to fl i v i n gs t a n d a r d ，t h es e c u r i t yr e q u i r e m e n t so fp e o p l e sl i v i n gq u a l i t i e s a r eg a i n i n gh i g h e ra n dh i g h e ra t t e n t i o n c o n s i d e r i n gm a n ys c e n e si nr e a ll i f e ，s u c ha s d r i v i n gm o n i t o ra n dm e d i c a lc a r ea n ds oo n ，i fc o m p u t e ri sc a p a b l eo fr e c o g n i z i n g f a c i a le x p r e s s i o na u t o m a t i c a l l y , t h ep o s s i b i l i t yo f t r a g i ce v e n t sc a nb eg r e a t l yr e d u c e d a n de f f e c t i v ep r o t e c t i o nc a nb ep r o v i d e df o rt h eh u m a n s a f e t y s ot h ef a c i a le x p r e s s i o n r e c o g n i t i o nr e s e a r c hh a sh i g hp o t e n t i a la p p l i c a t i o nv a l u e sa n db r o a da p p l i c a t i o n p r o s p e c t s n o wt h et e c h n o l o g yo ft h ef r o n t a lf a c ed e t e c t i o ni sa p p r o a c h i n gm a t u r e ，b u tt h e t e c h n o l o g yo ff a c i a le x p r e s s i o nr e c o g n i t i o na sa ne x t e n s i o no ft h ef a c ed e t e c t i o ni si n i t si n f a n c y , w h i c hs t i l ld on o th a sar e l a t i v e l ym a t u r ea l g o r i t h m t h ec u r r e n tf a c i a l f e a t u r ee x t r a c t i o na l g o r i t h mc a nb ed i v i d e di n t ot w oc a t e g o r i e s ：s t a t i ci m a g e sb a s e d a n di m a g es e q u e n c e sb a s e d t h ec l a s s i cl b p ( l o c a lb i n a r yp a t t e r n s ) a n dl b p - 1 o p ( l o c a lb i n a r yp a t t e r n sf r o mt h r e eo r t h o g o n a lp l a n e s ) a r et w om o s tc o m m o n l yu s e d a l g o r i t h m sw h i c hb e l o n gt ot h ea b o v em e n t i o n e dc a t e g o r i e sr e s p e c t i v e l y h o w e v e r , t h e i rc o m p u t a t i o nt i m ea n dt h er e c o g n i t i o nr a t e sa r en o ts a t i s f a c t o r y b a s e do nt h e s e t w oc l a s s i ca l g o r i t h m s ，w em o d i f i e dt h ee x p r e s s i o nr e g i o ns e l e c t i o nm e t h o d a sa r e s u l t ，t h ee x p r e s s i o nf e a t u r e se x t r a c t i o ns p e e dw a sg r e a t l yi m p r o v e dw i t h o u tr e d u c i n g t h er e c o g n i t i o nr a t e i na d d i t i o n ，f o rt h eg e o m e t r i cf e a t u r ee x t r a c t i o n ，w ep r o p o s ea c h a i nc o d eb a s e dm e t h o dw h i c hc a ne x t r a c tt h eg e o m e t r i cf e a t u r er o b u s t l yf o rb o t h s t o i ci m a g e sa n di m a g es e q u e n c e s b yc o m b i n i n gt h eg e o m e t r i cf e a t u r e sw i t ht h e i i i 安徽大学硕上学位论文人脸表情识别算法的研究 i m p r o v e d l b pa n d l b p t o pe x p r e s s i o n f e a t u r e s e f f e c t i v e l y , t h ee x p r e s s i o n r e c o g n i t i o nr a t e sc a nb eg r e a t l yi m p r o v e d e x p e r i m e n t a lr e s u l t ss h o w e dt h e r e a s o n a b i l i t ya n dv a l i d i t yo fp r o p o s e dg e o m e t r i cf e a t u r e se x t r a c t i o nm e t h o d f i n a l l y , a r e a lt i m ef a c i a le x p r e s s i o nr e c o g n i t i o ns y s t e mw h i c hc o m b i n i n gt h ef e a t u r e se x t r a c t e d f r o ms t a t i ca n ds e q u e n c ei m a g ew a sb u i l t b e l o wi st h ed e t a i l e dr e s e a r c hc o n t e n ta n d i n n o v a t i o no ft h i st h e s i s ： ( 1 ) a st h ep r e p r o c e s s i n gs t e p ，t h ef a c ed e t e c t i o n ，f a c i a lf e a t u r ep o i n t sp o s i t i o n i n g a n df a c i a l i m a g e sn o r m a l i z a t i o nf o rs t a t i ca n ds e q u e n c ei m a g e sw a sp e r f o r m e d ，t h i s l a i ds o l i df o u n d a t i o nf o rt h ef o l l o w i n gf e a t u r ee x t r a c t i o np r o c e d u r e ( 2 ) b a s e do nt h ei d e ao fc h a i nc o d i n g ，t h eg e o m e t r i c a lf e a t u r e so fs t a t i ci m a g e w e r eo b t a i n e db yk e yf e a t u r ep o i n t sc i r c u l a r l yc h a i nc o d i n gs e q u e n t i a lc o m b i n i n ga n d n o r m a l i z i n g b a s e d o nt h ec l a s s i c a ll b pf a c i a l e x p r e s s i o n f e a t u r ee x t r a c t i o n a l g o r i t h m s ，w ed e c r e a s et h ed i m e n s i o no fl b p f a c i a le x p r e s s i o nf e a t u r ee f f e c t i v e l yb y m o d i f y i n gt h ef a c i a le x p r e s s i o nr e g i o ns e l e c t i o nm e t h o d t h ef i n a ls t a t i ci m a g ef a c i a l e x p r e s s i o nf e a t u r e sw e r eo b t a i n e db ye f f e c t i v e l yc o m b i n i n gg e o m e t r i c a lf e a t u r e sw i t h i m p r o v e dl b p f e a t u r e s ( 3 ) f o ri m a g es e q u e n c e s ，t h em o v e m e n tp a t t e r no fk e yf e a t u r ep o i n t sw a so b t a i n e d b ya n a l y z i n gt h ep o s i t i o no ft h ec o r r e s p o n d i n gk e yf e a t u r ep o i n t s t h ec o m b i n a t i o no f t h e s em o v e m e n tp a t t e r n sc a nd e s c r i b et h ef o r m a t i o no fd i f f e r e n tf a c i a le x p r e s s i o n s t h eg e o m e t r i c a lf e a t u r e so fi m a g es e q u e n c ec a nb eo b t a i n e db yn o r m a l i z i n gt h e n o n - c i r c u l a r l yc h a i nc o d i n ga n do r d e r l yc o m b i n i n gt h em o v e m e n tp a t t e r n s t h ef i n a l f a c i a le x p r e s s i o nf e a t u r ei sac o m b i n a t i o no fg e o m e t r i c a lf e a t u r e sw h i c he x t r a c t e d f r o mi m a g e s e q u e n c ea n dt h ec l a s s i c a ll b p t o pf e a t u r e s ( 4 ) u s i n gs u p p o r tv e c t o rm a c h i n ew h i c hu s et h e o n et oo n e c l a s s i f i c a t i o n a l g o r i t h ma n dr b fk e r n e lf u n c t i o nt op e r f o r mt h ee x p r e s s i o nf e a t u r e st e m p l a t e t r a i n i n go fe x p r e s s i o nc l a s s i f i c a t i o n ( 5 ) ar e a l - t i m ef a c i a le x p r e s s i o nr e c o g n i t i o ns y s t e mw a sd e v e l o p e d t h i ss y s t e m c o n s t i t u t e st h e f o l l o w i n gf u n c t i o n s ：i m a g es e q u e n c e se x t r a c t i o n ，f a c ei m a g e p r e p r o c e s s i n g ，f a c i a le x p r e s s i o n f e a t u r e s e x t r a c t i o n ，a n d f a c i a l e x p r e s s i o n c l a s s i f i c a t i o n i no r d e rt og e tam o r er e a s o n a b l er e s u l t ，t h em a x i m u mp r o b a b i l i t y 安徽人学硕士学位论文 a b s t r a c t i n f e r e n c ew a sp e r f o r m e do nt h er e s u l t so b t a i n e df r o ms t a t i ca n d s e q u e n t i a li m a g e sb y t a k i n gt h ef e a t u r e se x t r a c t e df r o mi m a g es e q u e n c e sa st h em a i nj u d g i n gf a c t o r , a n dt h e f e a t u r e se x t r a c t e df r o ms t a t i ci m a g e sa sal e s s e rj u d g i n gf a c t o r k e y w o r d s ：f a c i a le x p r e s s i o nr e c o g n i t i o n ，c h a i nc o d e ，g e o m e t r i c a lf e a t u r e ， e x p r e s s i o nf e a t u r e ，s u p p o r tv e c t o rm a c h i n e v 安徽人学硕上学位论文第章绪论 第一章绪论 1 1 课题研究背景及意义 在日常交流过程中，善于观察别人的面部表情，可以达到更好地控制交流气 氛的目的。心理学家m e h r a b i a n 曾提出：语言传递的信息仅占人类日常生活交流 信息总量的7 ，声音传递的信息占3 8 ，而人脸面部表情所传递的信息却占到 5 5 。所以，人脸表情是同常生活中传递人类情感信息的重要媒介和重要途径， 是除了语言交流方式之外的主要交流方式。人脸的面部表情是人类情感状态、健 康状态以及精神状态的主要表达方式，而随着计算机的快速发展，它的应用范围 基本覆盖了人们的日常生活，所以实现让计算机对面部表情进行自动处理与分析 可以更加缩短人类与计算机之问的距离。 研究人脸表情识别是将计算机引入到我们人类情感生活之中的必要前提，也 是实现使科技更智能化的必要方面。同时，研究人脸表情识别也是研究人类心理 理论和人类情感理论的重要组成部分。它涉及到模式识别、图像处理、机器视觉、 生理学、心理学和认知学等多门学科，所以研究人脸表情识别是一个非常复杂的 研究课题。 随着社会的生活水平不断提高，人们对于生活品质的安全要求也越来越高。 目前的人工交互技术并不能完全满足人们的需求，更智能化的装置越来越受到人 们的喜爱。针对现实生活中存在一定安全隐患的一些场景，当危难真的来临时， 目前的科学技术只能对危难的发生过程进行记录，而不能在危难发生之前进行自 动报警并采取一定的预防措施。在某些场景下，若计算机能够对人脸面部表情自 动识别，可大大降低悲惨事件发生的可能性并对人类的安全提供有效的保障。甚 至当人们面临灾难时而表现出的恐慌，或者当人们经历灾难之后时所表现的痛 苦，若计算机能够自动识别其表情并及时的报警，也能大大降低悲剧事件更进一 步恶化的可能。 例如，对于在医疗行业中的一些特殊重症病人，在医疗过程中可以利用自动 人脸表情识别装置对他们进行自动表情分析。当病人由于病情恶化导致情绪较差 或面部表情非常痛苦时，表情识别装置可以及时地报警或采取相应的预防措施， 塞徽厶堂亟堂焦论塞厶脸盍：瞳迟剔篡鎏曲硒究 从而在一定程度上可降低意外发生的可能性。 酒后驾驶、疲劳驾驶等违章驾驶事件是人们普遍关注的热点问题，给人们的 生命财产安全带来了严重威胁。若在主干路口装置大量人脸表情识别监控系统， 分析驾驶司机的面部表情并推断当前的驾驶状态，可提前排除这些交通事故的发 生。 基于人类视觉特征，采用计算机技术对人脸表情特征进行归类的人脸表情辨 认己成为人机交互、智能控制、机器视觉、图像处理与模式识别等领域的重要研 究课题。它对提高和改善人们的生活质量以及保障人类的生命安全均具有极其重 要的意义。近年来，它受到了人们的普遍关注，并成为学术界中的研究热点问题 之一。 1 2 国内外研究现状 早在1 9 世纪时期，人类就开始对人脸表情做了初步研究。1 8 7 2 年，生物学 家达尔文【2 】做了一项心理实验，得出人类的面部表情不会随着种族、性别以及国 家的不同而不同的结论。在2 0 世纪的7 0 年代，美国心理学家e k m a n 与f f i e s e n 3 】 定义了6 种人脸的基本表情：高兴、生气、伤心、厌恶、害怕和惊讶，并开发了 面部动作编码系统( f a c i a la c t i o nc o d i n gs y s t e m ，f a c s ) ，该系统可以检测出面 部表情出现的细微变化【4 1 。这6 种入脸的基本表情的提出和f a c s 的开发对人脸 表情识别的发展具有决定性的意义，后期研究学者所设计的人脸表情识别系统大 部分都是对该6 种表情进行辨认，并且f a c s 系统一般都是他们的研究基础。19 7 8 年，s u w a 5 】等人首次利用视频信号进行人脸表情识别，此后，越来越多的研究学 者都将目标转移到人脸图像序列之上，带动了人脸表情识别技术的快速发展。 在2 0 世纪9 0 年代，英、美、日、德、法、印度、荷兰以及新加坡等多个国 家都相继建立起了人脸表情识别研究机构。其中，英国的剑桥大学( c a m b r i d g e ) 和曼彻斯特大学( m a n c h e s t e r ) ，美国的麻省理工学院( m i t ) 多媒体实验室、马里兰 大学( m a r y l a n d ) 视觉实验室、卡耐基梅隆大学( c m u ) f l , 器人研究所和斯坦福大学 ( s t a n f o r d ) ，日本的城蹊大学( s e i k e d 、大坂大学( o s a k a ) 和国际电信技术研究所 ( a t r ) 等研究机构的贡献尤为明显。 美国的m i t 媒体实验室采用图像序列来分析面部运动单元( a c t i o nu n i t ， 2 a u ) ，通过将人脸面部结构的几何模型和光流法进行结合，从而能得到视觉感知。 该方法能够产生一个随时间变化的人脸面部形状模板和一个肌肉运动参数。不过 该方法是采用人工交互方式对几何网格模型进行初始化，并且图像序列的长度不 可更改，从而降低了实际的应用性，并无法反应出肌肉的运动随时间变化而变化 的情况。 m a r y l a n d 视觉实验室曾采用基于f a c s 编码的表情识别方法，重点是分析嘴 巴、眼睛和眉毛边缘的相关运动，并将光流场量化成8 个方向；同时建立一个以 中性表情作为开始以及结束的时间模型；最后采用简化后的f a c s 规则进行识 别，实验结果表明该方法对厌恶的识别效果最好。 国内人脸表情识别研究的起步较晚。1 9 9 7 年，哈工大高文教授【6 】在国内首次 研究人脸表情识别，此后越来越多的国内研究人士逐步开始研究人脸表情识别技 术，并在2 0 0 6 年，人脸表情识别技术的研究已经在国家自然科学基余中立项， 而且项目总数一直呈增长的趋势。 国内的清华大学、浙江大学、安徽大学、中科院、哈工大、中科大等多所大 学及研究机构己经对人脸表情识别展开了全面研究，部分高校或机构还多次举办 了关于人脸表情识别的重要会议。2 0 0 3 年，首届中国情感计算与智能交互的学 术会议在北京隆重拉开了序幕，向大家展示并讨论了近几年来关于国内在认知领 域和模式识别等领域的主要研究成果，且会议讨论内容之一就是人脸表情辨认的 研究。2 0 0 5 年，第一届国际情感计算及智能交互学术会议在北京隆重召开，这 对我国的人脸表情识别领域的深入快速研究发展起到了巨大的促进作用。2 0 11 年，本文作者曾组织团队代表安徽大学参加了由台湾油田新技股份有限公司主办 的第六届人脸信息识别比赛，其中一项比赛内容就为人脸表情识别并取得了优异 的成绩。 哈工大是国内中较早步入人脸表情识别研究领域之一，并且高文教授的研究 团队曾研发出多功能感知机。该感知机除了将数模混合计算、语音识别和文字识 别等技术相结合之外，还包括人脸表情识别。除此之外，2 0 0 5 年哈工大研究成 功出国内第一台有表情的机器人j 百智星”。 目前研究学者普遍使用的表情数据库为日本a t r 所建立的日本女性表情数 据库( j a f f e ) 和美国c m u 所建立的c o h n k a n a d e 人脸表情数据库。它们分别被 应用于研究静态图像和图像序列的人脸表情辨认。除此之外，加州大学建立了基 于f a c s 的人脸运动表情图像库，耶鲁大学和普渡大学也建立了各自的人脸表情 图像库。 虽然人脸表情识别的研究处于火热阶段，但是研究学者清楚，表情识别的鲁 棒性目前还达不到非常高的程度，仍然属于起步阶段。正是因为有图像噪声、部 分遮挡、图像分辨率以及讨厌的光照等因素的存在，才使得研发出具有高鲁棒性 的人脸表情识别系统的难度非常之大。因此，鲁棒表情识别系统的研发仍有很多 实际问题有待解决。 1 3 表情特征提取算法概述 尽管目前已经存在多种表情识别算法，但是表情识别系统的一般流程却基本 相似，如图1 3 1 所示。人脸表情特征的自动提取以及提取表情特征的准确性是 决定人脸表情识别系统装置具有高识别率且更智能化的决定因素。 厂 厂 厂 厂 l 图像信号获取_ 叫人脸图像处理i 啼表情特征提取尸l 叫 表情分类 【，j 1_【。，一【j 图1 3 1 表情识别系统一般流程 f i g 1 - 3 - 1t h eg e n e r a lp r o c e d u r eo ff a c i a le x p r e s s i o nr e c o g n i t i o ns y s t e m 研究学者所研究的表情识别技术，主要是研究表情特征提取部分。通过计算 机实现表情特征提取，主要是将人脸图像进行特殊处理，以形成计算机可以识别 的数据，该数据被称作表情特征。完成该表情特征的过程称作表情特征提取。对 于计算机而言，一张具有表情的人脸图像和一张无表情的人脸图像之间的差别仅 仅表现在面部区域的形状和纹理不同，根本不能反映测试者心理变化的情况。针 对目前已经存在的多种表情特征提取算法，可以将其归为两类：静态图像和图像 序列的表情特征提取算法。静态图像反映的是单张人脸图像的表情状态，而图像 序列反映的是多幅静态图像的表情状态，即脸部区域的形状和纹理在一段时间之 内的运动过程。目前，关于研究静态图像的表情特征提取算法可以总结为两种： 整体法、局部法；关于研究图像序列的表情特征提取算法可以归纳为三种：模型 法、光流法、几何特征提取算法。 4 整体法一般包括主成分分析法( p m c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 、独立成 分分析法( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 和线性判别分析法( l i n e a r d i s c r i m i n a n ta n a l y s i s ，l d a ) 。其中p c a 无需监督，一般可以处理维数较高的特 征数据，但需生成一个更高维数的协方差矩阵，降低了执行效率。i c a 算法也无 需监督，适合对不服从高斯分布的特征数据进行处理，并且可以提取图像中的隐 藏信息，但算法的实时性不能满足研究者的需求。l d a 算法需标记训练样本特 征数据的类型，因此它是一种需要监督的算法。近年来，研究学者不断对整体法 进行改进，或者另辟新路，构造新的基于整体思路的表情特征提取算法，使得整 体法也向前跨越了一步【7 。1 0 】。 局部法中的典型算法为局部二值模型( l o c a lb i n a r yp a t t e r n s ，l b p ) 算法和 g a b o r 小波算法。g a b o r 小波算法在特征提取中，具有独特的视觉效果，但是由 于该算法需要在不同尺度及不同方向上计算它的小波核，因此产生了维数非常高 的特征向量，不利于系统的实时处理，甚至造成了信息冗余。相对g a b o r 小波算 法，l b p 算法更优越，但是不同的l b p 表情区域划分方式会产生不同维数的直 方图特征向量。近年来，研究学者对l b p 算法与g a b o r 小波算法不断地进行改 进【l l _ 13 1 。 模型法中的典型算法包括主动形状模型( a c t i v es h a p em o d e l ，a s m ) 和主动外 观模型( a c t i v ea p p e a r a n c em o d e l ，a a m ) 两种算法。a s m 反应了图像的局部纹理， 而a a m 反应了图像的全局纹理，且它们都可以反应人脸图像序列的形状模型。 不过这两种算法均需要手动标记人脸的特征点，增加了算法的繁杂程度。所以将 模型法完全应用到表情特征提取中还有待改进，而目前研究学者却热衷于用 a s m 或者a a m 应用到人脸的特征点定位算法之中【1 4 。光流法主要研究图像序 列中人脸发生形变的过程或人脸运动的趋势，针对图像序列的表情识别研究，该 算法仍然是一种主流方法【1 5 】。但是运用光流法的前提是默认灰度守恒及光流场平 滑，这就使得人脸图像序列必须满足灰度守恒和图像平滑的前提，否则该算法得 出的结果会很不准确。为了解决这个问题，文献【1 6 对常用光流算法进行改进，有 效地实现了通过光流法对人脸图像序列进行表情特征提取。 在提取人脸表情特征时，研究人员所计算出的表情特征一般都是依据面部器 官的变化，面部主要器官或皱纹区域都将成为表情特征提取区域。因此研究学者 5 开始对各面部目标上标记关键特征点，并计算同目标上的各特征点之间的距离、 曲线曲率等数据组合成表情几何特征。起初该特征提取算法主要针对静态图像的 表情几何特征提取，且得出结论：该特征足以描绘出人脸的整体形变情况，但在 局部特征信息中存在了明显的缺陷。然而近几年来，该方法在图像序列的特征提 取中被广泛使用。因为通过图像序列中的对应面部目标上的关键特征点在每帧中 的变化，描绘了某个表情由始到终的全部过程，为提取更鲁棒的几何特征提供了 足够的数据。 k o t s i a 与p i t a s 1 7 1 首次通过形变网格将人脸图像网格化，不同的表情人脸得 到不同的网格节点坐标，而该节点坐标就作为了他们的表情几何特征。文献【1 8 1 是在人脸检测的基础之上，对面部特征点初始化完成之后，通过粒子滤波器和颜 色模型，对连续帧图像上的人脸特征点进行有效跟踪，并由特征点坐标计算出几 何特征。 f r e e m a n 链码是图像处理和模式识别中的一种常用编码技术，基本的链码原 理可以用来描述直线、曲线或者区域等形状，很多实际问题都使用了链码编码技 术【1 9 捌】。本文在表情特征提取的研究中，提出采用链码思想，对静态图像和图像 序列分别提取了各自的几何特征。基本的链码一般为四向或八向，不能在表情几 何特征提取中得到很好的应用，所以本文将链码的方向数量进行扩展，使得到的 链码编码向量足以描述面部局部区域的几何形状。然而目前学术界对人脸表情几 何特征提取算法仍然停留在研究阶段，还没有出现一个鲁棒性较高的且仅依据几 何特征的表情识别系统。本文所提出的基于链码思想提取的几何特征虽不能作为 最终的表情特征，但是它却可以建立在其它表情特征的基础之上，从而提高表情 识别率。本文是将该几何特征串接到传统中的相对比较成熟的表情特征中，从最 终的实验结果来看，级联上几何特征后的表情特征在最终表情识别中的识别率均 得到了很大改善。 随着科学技术的发展，计算机可以从人脸表情图像中获取大量有价值的信 息。而如何通过计算机自动获取脸部信息、如何获取鲁棒性的表情特征以及如何 利用已经获取的信息对人们的内在心态进行分析等等，这些问题都是需要研究人 脸表情识别的学者逐一解决的问题。 6 1 4 本文主要研究内容及结构安排 本文主要探讨了人脸表情识别算法流程。在表情特征提取过程中，本文对传 统l b p 人脸表情特征提取算法进行部分改进，通过人脸特征点信息对面部进行 表情区域特定划分，在不降低识别率的前提下，大大降低了特征向量的维数，使 得提取出的表情特征更具有合理性。同时，本文还提出基于链码思想提取静态图 像及图像序列的人脸表情几何特征，大大提高了最终表情识别的识别率。 本文的具体算法理论主要从人脸检测、人脸图像预处理、表情特征提取及表 情分类四方面进行分析，最终构建出一个实时性的人脸表情识别系统。该系统是 在v s 2 0 0 8 编写环境中通过c + + 语言开发，且利用o p e n c v l 0 软件包以实现对图 像的快速处理。 ( 1 ) 人脸检测：对于人脸检测部分，本文利用p a u lv i o l a 和m i c h a e lj o n e s 所 提出的人脸检测算法【2 2 】，即基于h a a r 特征、积分图、级联分类器和a d a b o o s t ( a d a p t i v eb o o s t i n g ) 学习算法的方法。该算法能对图像中的正脸进行快速准确性 地定位检测。 ( 2 ) 人脸图像预处理：人脸定位之后，本文接着就对人脸图像进行预处理， 得到标准的人脸图像，为后期的表情特征提取的准确性打下基础。其中包括主动 形状模型( a s m ) 特征点定位，几何归一和光照归一。 ( 3 ) 表情特征提取：对于表情特征提取部分，本文先详细讨论了利用传统l b p 特征提取算法对人脸静态图像进行表情特征提取，并分析了该算法的利弊；接着 分析了用传统l b pt o p 提取算法对表情序列进行特征提取；最后用链码思想， 分别对人脸静态图像和图像序列进行几何特征提取，并分别结合传统l b p 和 l b pt o p 表情特征，构建出本文最终的人脸表情特征。考虑到传统l b p 表情特 征的维数过高，从而导致最终表情辨认的实时性较低。在大量的实验之后，本文 对传统l b p 表情特征的提取算法进行部分改进，即对标准人脸图像进行表情区 域划分。在该区域内提取l b p 表情特征，大大降低了特征向量的维数，从而节 省了最终表情辨认的时间。在人脸静态图像和图像序列中的表情特征提取过程 中，实验图像分别取自于日本a t r 的女性表情数据库( j a f f e ) 4 4 】和美国c m u 的 c o h n k a j l a d e 【4 5 】人脸表情库。 7 ( 4 ) 表情分类：在最后的人脸表情分类部分，本文采用支持向量机( s u p p o r t v e c t o rm a c h i n e ，s v m ) 作为表情分类器，采用s v m 多分类算法中的“一对一” 分类算法及径向基核函数对表情特征进行表情模板训练及表情分类。 本文各章节具体安排如下： 第一章绪论：主要对本文课题的研究背景、研究意义和国内外发展现状 作了阐述，并介绍了本文的主要内容及结构安排。 第二章人脸表情图像预处理：首先介绍人脸检测算法理论，在此基础上 接着介绍了a s m 人脸特征点定位算法理论，最后对获取的人脸图像进行几何归 一与光照归一。最终得到的人脸图像为本文所规定的标准人脸图像。 第三章人脸表情特征提取：该章节主要介绍了静态人脸图像的l b p 表 情特征提取并对其做表情区域特定选择的改进处理、图像序列的l b pt o p 表情 特征提取、基于链码的静态图像和图像序列的人脸表情几何特征提取。最终分别 将l b p 和l b pt o p 表情特征与相应的几何特征相结合作为本文最终的静态图像 和图像序列的人脸表情特征。 第四章基于s v m 的人脸表情识别：该章节主要介绍了支持向量机基本 原理、一对多分类问题以及利用s v m 对人脸表情特征进行表情分类。 第五章人脸表情识别系统的设计：该章节首先通过流程图的形式总结了 人脸表情识别系统的实际操作步骤，接着利用o p e n c v l 0 软件包在v s 2 0 0 8 编写 环境中编写c + + 程序，设计出人脸表情识别系统。由于本文提取了两种人脸表情 特征，则可得到两种表情结果，该系统将该两种结果进行有效处理，最终得到一 组最接近正确值的表情结果。 第六章总结与展望，总结本文已经完成的工作任务并对后续工作做了展 望。 2 1 引言 第二章人脸表情图像预处理 计算机进行人脸表情识别，唯一的判断因素就是表情图像，它没有像人脑可 以进行心理及五官分析得出面部表情结果的能力，所以送入计算机的表情图像的 质量好坏决定了最终表情识别系统具有高识别率的关键前提。由于不同场景下光 照条件不尽相同、摄像机与测试者之间的距离以及各种噪声等因素的影响，使得 不同的人脸图像之间存在较大的差异。因为人脸图像的获取没有建立在同一背景 条件下，若此时对其提取表情特征必然不具有可比性。因此必须要对送入计算机 的人脸图像做必要的预处理，使得在提取表情特征时让人脸图像具有近似相同的 环境参数。 本章节主要讨论人脸表情图像的预处理问题，并规定了人脸标准图像的形 式，后期人脸表情特征提取必须建立在此标准图像的基础之上。具体研究内容包 括人脸检测、特征点定位、几何参数归一及光照灰度归一。 2 2