（信号与信息处理专业论文）多姿态人眼定位与表情识别研究.pdf

重庆大学硕士学位论文 中文摘要 摘要 随着计算机技术和生物医学工程技术的飞速发展，利用人体生物特征来研究有 关人体身份、语音、指纹、表情等的生物识别技术成为安全验证的首选方式。在人 工智能研究领域，人脸作为重要的生物特征，其检测、识别和表情分析对于实现机 器智能化起到很关键的作用，有着广泛的应用前景。 对人脸信息的处理技术随着图像处理和模式识别的巨大进步得到了很好的发 展，但是还是受到现实环境中不确定因素的影响，比如说光照、姿态、表情、遮挡 等。而有关表情识别的研究更是受到不同人表情程度不同、同一人不同表情的影响， 理论和方法都有待于完善。完整的表情识别主要包括人脸检测与定位、人脸表情特 征提取和降维以及最终的表情分类。本文主要是针对静态图像的多姿态人眼定位、 人脸表情识别的问题做了以下工作： 针对彩色图像中人脸在复杂背景及多姿态下眼睛定位困难的情况，提出了一 种基于肤色分割与g a b o r 滤波的人眼定位方法。首先采用粒子群算法优化改进的最 大类问方差( o t s u ) 对图像进行肤色分割，找到人脸的候选区域；然后构造g a b o r 滤波 器对候选区域进行滤波；最后经过灰度投影得到眼睛的位置。实验结果表明，本文 采用的肤色分割方法效果好，应用于人眼定位方面使得定位精确度高，尤其在背景 复杂和多姿态的情况下也有着明显的优势。 研究了经典的线性人脸识别方法p c a ，并将其应用到人脸表情的识别中，该 方法假设输入的数据具有全局线性结构，所以当遇到非线性流形上的数据时，处理 的结果受到影响；另外研究了非线性特征提取方法核p c a 、局部线性嵌入算法( l l e ) 以及核s l l e 算法，并在j a f f e 人脸表情库中实现了以上4 种方法，结果显示，非 线性降维算法在表情识别中有着更好的结果，也进一步验证了人脸空问可能是一个 高维的非线性子空间，即位于一个非线性流形上。 提出了一种融合局部特征进行表情识别的算法，针对在人脸表情中贡献较大 的人眼和人嘴，将二者融合起来进行表情识别，并赋予二者不同的权重系数，比起 整体的特征分析，不仅节约了计算量，也在一定程度上降低了因同一个人特征相似、 不同人表情程度差别大所引起的表情判别误差，提高了识别率。 关键词：表情识别，人眼定位，粒子群优化算法，局部线性嵌入，局部特征融合 重庆人学硕十学位论文 英文摘要 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e r t e c h n o l o g ya n db i o m e d i c a le n g i n e e r i n g t e c h n o l o g y ，t ou s eo fh u m a nb i o l o g i c a lc h a r a c t e r i s t i c st os t u d yb i o m e t r i cr e c o g n i t i o n t e c h n o l o g y ，s u c ha sh u m a ni d e n t i t y ，v o i c e ，f i n g e r p r i n t ，f a c i a le x p r e s s i o n ，w e r eb e c a m e t h ep r e f e r r e dm e t h o di ns e c u r ea u t h e n t i c a t i o n i nt h ef i e l do fa r t i f i c i a l i n t e l l i g e n c e r e s e a r c h ，a sa ni m p o r t a n tb i o l o g i c a lc h a r a c t e r i s t i c s ，f a c ed e t e c t i o n ，f a c ei d e n t i f i c a t i o n a n de x p r e s s i o na n a l y s i sp l a yak e yr o l ei nt h er e a l i z a t i o no fm a c h i n ei n t e l l i g e n c e ，h a sa b r o a da p p l i c a t i o n s w i t ht h et r e m e n d o u sp r o g r e s si n i m a g ep r o c e s s i n ga n dp a t t e r nr e c o g n i t i o n ， p r o c e s s i n gt e c h n o l o g yo nh u m a nf a c eh a sb e e nw e l ld e v e l o p e d ，b u tt h e r es t i l le x i s t r e a l i t ya n du n c e r t a i nf a c t o r s ，s u c ha sl i g h t ，g e s t u r e ，e x p r e s s i o n ，o c c l u s i o na n ds oo n r e s e a r c ho nf a c i a le x p r e s s i o nr e c o g n i t i o nw a si m p a c t e db yd i f f e r e n tp e o p l ei nd i f f e r e n t d e g r e e sw i t hs a m ee x p r e s s i o na n dd i f f e r e n te x p r e s s i o n sf r o ms a m ep e r s o n ，t h e o r i e sa n d m e t h o d sn e e dt ob ep e r f e c t e d c o m p l e t ef a c i a le x p r e s s i o nr e c o g n i t i o ni n c l u d i n gf a c e d e t e c t i o na n dp o s i t i o n i n g ，f e a t u r ee x t r a c t i o n ，d i m e n s i o nr e d u c t i o na n de x p r e s s i o n c l a s s i f i c a t i o n t h em a i nc o n t e n t so ft h i st h e s i si n c l u d e i n gm u l t i p o s i t i o ne y el o c a t i o n a n df a c i a le x p r e s s i o nr e c o g n i t i o n ，a sf o l l o w s ： 1 t os o l v et h ep r o b l e mo fe y el o c a t i o no fh u m a nf a c ei n m u l t i p o s i t i o na n d c o m p l e xb a c k g r o u n do fc o l o ri m a g e ，am e t h o df o re y el o c a t i o nb a s e do ns k i n s e g m e n t a t i o na n dg a b o rf i l t e ri sp r o p o s e d f i r s t l y ，t h ei m p r o v e do t s ua l g o r i t h mb a s e d o np a r t i c l es w a r mo p t i m i z a t i o ni su s e dt os e g m e n tt h ei m a g ea n dc a n d i d a t er e g i o n so f f a c ea r eo b t a i n e d ；t h e na ng a b o rf i l t e ri sd e v i s e dt of i l t e rt h ei m a g et oh i g h l i g h tt h ee y e r e g i o n ；f i n a l l y ，t h eg r a yp r o je c t i o nw a su s e dt od e t e r m i n et h ep o s i t i o no fe y e s a c c u r a t e l y t h er e s u l t ss h o wt h a tt h em e t h o do fs k i ns e g m e n t a t i o ni sw o r kw e l la n dh a s a d v a n t a g e sa b o u te y el o c a t i o no fh u m a nf a c ei nm u l t i p o s i t i o na n dc o m p l e xb a c k g r o u n d ， w h i c hi si m p o r t a n tf o rf a c er e c o g n i t i o ni nr e a lt i m e 2 p c af a c er e c o g n i t i o na l g o r i t h mw a ss t u d i e da n da p p l yi tt of a c i a l e x p r e s s i o n r e c o g n i t i o n t h em e t h o da s s u m e st h a tt h ei n p u td a t at ob eg l o b a ll i n e a rs t r u c t u r e ，s o w h e nt h ed a t ao nt h en o n l i n e a rm a n i f o l d ，t h ep r o c e s s i n gr e s u l t sw i l lb ea f f e c t e d i n a d d i t i o n ，n o n l i n e a rf e a t u r ee x t r a c t i o nm e t h o d sk e m e l p c a ，l l ea n dk e m e l s l l ew e r e s t u d i e d ，a n dt h e s ef o u rm e t h o d sw e r ei m p l e m e n t e do nj a f f ef a c ed a t a b a s e t h er e s u l t s s h o wt h a tn o n l i n e a rd i m e n s i o n a l i t yr e d u c t i o na l g o r i t h m sh a v eb e t t e rr e s u l t si nf a c i a l 重庆大学硕士学位论文英文摘要 e x p r e s s i o nr e c o g n i t i o n ，i ts h o wt h a tf a c es p a c em a yb eah i g h d i m e n s i o n a ln o n l i n e a r s u b s p a c e ，w h i c hi sl o c a t e do n an o n l i n e a rm a n i f o l d 3 aa l g o r i t h mi n t e g r a t i o no fl o c a lf e a t u r e sf o rf a c i a le x p r e s s i o nr e c o g n i t i o ni s p r o p o s e d t h eg r e a t e s tc o n t r i b u t i o nt of a c i a le x p r e s s i o nr e c o g n i t i o na r eh u m a ne y e sa n d h u m a nm o u t h ，s oi n t e g r a t i n gt h e s et w oa s p e c t st of a c i a le x p r e s s i o nr e c o g n i t i o n ，a tt h e s a m et i m eg i v e nt h e s et w oa s p e c t sd i f f e r e n tw e i g h tc o e f f i c i e n t s c o m p a r e dw i t ht h e o v e r a l lc h a r a c t e r i s t i c sf e a t u r ee x t r a c t i o n ，n o to n l yr e d u c et h ec o m p u t a t i o n a lc o m p l e x i t y ， b u ta l s or e d u c e dt h e e x p r e s s i o n d i s c r i m i n a t i o ne r r o rc a u s e d b y t h es i m i l a r c h a r a c t e r i s t i c so fs a m ep e r s o na n dd i f f e r e n tp e o p l ei nd i f f e r e n td e g r e e s ，i m p r o v et h e r e c o g n i t i o nr a t e k e yw o r d s ：f a c i a le x p r e s s i o nr e c o g n i t i o n ，e y el o c a t i o n ，p a r t i c l es w a r mo p t i m i z a t i o n ， l o c a ll i n e a re m b e d d i n g ，l o c a lf e a t u r ei n t e g r a t i o n i i i 重庆大学硕士学位论文 1 绪论 1 绪论 1 1 课题研究背景与意义 1 1 1 研究背景与意义 在人们的日常交往中，语言是表达情感和交流的最直接最重要的载体1 1 ，它包 括自然语言和形体语言两类。人的脸部表情属于形体语言，是除了自然语言交流 之外的另一种很重要的沟通方式，人脸表情通常是人们较自然的表现情感的方式， 通过人脸的一些细微的变化，就能表达出各种各样的感情；同时，人脸表情比言 语更能体现出情感的真实性，它是一种不经意的流露。有的时候，人们会用言语 来掩饰其情感，但表情则很难被掩饰，因为情感一旦产生，常伴随产生相应的非 言语行为，如面部表情和身体姿势等。人们可以通过表情准确、充分而微妙的表 达出自己当时的喜怒哀乐，也可以通过表情辨别出对方的态度和心理世界，因此， 对于表情的识别有着很重要的交流沟通作用。 早在1 9 6 8 年，心理学家m e h r a b i a n 2 就提出，人类情感的表达是由声音、语言 和面部表情来决定的，其中所占比例分别为3 8 、7 和5 5 ，足以显示表情是彼 此相互沟通的不可或缺的重要信息。人脸表情识别f e r ( f a c i a le x p r e s s i o nr e c o g n i t i o n ) 是对人脸的表情信息进行特征提取和分析，按照人的认识和思维方式来加以归类 和理解，利用人类所具有的情感信息方面的先验知识使计算机进行联想、思考和 推理，进而从人脸信息中去分析、获取人的情绪，比如快乐、厌恶、伤心、惊讶 等等。表情识别技术是情感计算研究的内容之一，也是一个包含心理学、生理学、 模式识别、图像处理和机器视觉等领域的富有挑战性的交叉课题。 人脸表情识别的研究是实现智能人机交互( h u m a nc o m p u t e ri n t e r f a c e ，h c i ) 的重 要基础，随着计算机技术在模式识别、图像分析等领域的进步，表情识别相关理 论方法和实用性技术得到了迅速发展，在人机交互、安全驾驶、智能机器人、医 疗、教育领域、r 常监护、心理学研究、人脸图像合成与动画等多个领域有着非 常广泛的应用前景。计算机和机器人如果能够像人类那样具有理解和表达情感的 能力，并能够自主适应周围的环境，这将从根本上改变了人和计算机之间的关系， 可以使计算机更好的为人类服务，这也正是研究人脸表情识别并赋予计算机以情 感理解和情感表达的重要意义。所以，对于人脸检测、识别和表情识别的研究， 具有很高的学术价值和应用潜力。 1 1 2 表情识别与人脸识别 表情识别是人脸识别的重要组成部分，表情识别与人脸识别的思想相似但却 有所不同。二者都是由人脸检测、特征提取和分类三部分组成；但是人脸识别主 里鏖_ 人堂堡堂垡笙壅 1 绪论 一一 =：= 要解决的是类与类的分类问题，而表情识别是要解决类内的问题，即同一个人脸 的表情差异问题。他们之间有所不同又有所相似，如图1 1 所示。计算机表情识别 与人脸识别是密切相关的，在人脸检测、人脸跟踪这些环节上是一致的，区别在 于特征的提取。人脸识别提取的特征是不同人脸之问的个体差异，而表情识别提 取的特征是同一人脸在不同表情下的差异；在人脸识别系统中，同一个人的各种 不同表情是一个干扰信号，人与人之间脸部的差异是主要的研究对象，而表情识 别中人脸个体差异是干扰，各种表情是主要研究的对象。 图1 1 表情识别与人脸识别的关系 f i g 1 1r e l a t i o n s h i pb e t w e e nf a c i a le x p r e s s i o nr e c o g n i t i o na n df a c er e c o g n i t i o n 二者比较而言，表情识别难度比较大，因为每个人的人脸构造是一定的，而 不同人的各种表情模式以及表情程度都是随机的，这就为表情识别带来一定的难 度，但是人脸表情的简单模式基本是确定的。 1 2 表情识别研究历史及现状 对于脸部表情的研究最早可以追溯到2 0 世纪7 0 年代【3 ，早期主要集中从心理 学和生物学方面进行研究和分析。目前，人机交互方面的研究同益得到关注，同 时吸引了来自不同领域的学者，包括心理科学、工程科学、计算机科学及神经系 统科学等。由于人脸在社会活动中扮演着相当重要的角色，因此人脸表情识别已 成为模式识别的一个非常重要又极具意义的分支。 1 2 1 基本表情分类 有许多研究者对情绪进行过分类，其中e k m a n 等人在1 9 7 1 年定义了六种最基 本的表情被广泛采用，包括高兴、悲伤、惊奇、恐惧、愤怒和厌恶，当然，人的 表情是极为细微和复杂的，实际表现出来的表情也远远不只这六种，不过人类所 有的表情却都可由这六种基本表情经过复杂的融合而产生。本文只针对这六种基 本表情进行研究和分析。图1 2 为7 种面部表情( 包括中性表情) 的简笔画图，可以 看出，每种表情都有其不同的特征，诸如眉毛、眼睛、嘴的变化。 e k m a n 和f r i e s e n 在19 7 8 年提出了用运动单元( a c t i o nu n i t ，a u ) 描述面部表情的 面部运动编码系统 4 ( f a c i a la c t i o nc o d i n gs y s t e m ，f a c s ) 来描述面部表情。其基本思 2 重庆大学硕+ 学位论文 1 绪论 想是：人脸的表情主要由一个或者几个离散的局部特征的细微变化而引起的，比 如说双眼睁大意味着惊讶，而双唇绷起则意味着生气等等。面部表情是由面部肌 中性恐惧惊奇 厌恶 愤怒 高兴悲伤 图1 2 基本面部表情的简笔画图 f i g 1 2b a s i cf a c i a le x p r e s s i o nd r a w i n gw i t hs i m p l el i n e s 肉和腺体的变换来表现情绪的，是由眉毛、眼睛、鼻子、嘴的不同组合构成的， 所以对于不同的表情，这些部分也都有着各自不同的特征，都可以在一定程度上 反映出表情的特点，这也为单独研究人脸这些特殊部位的特征提供了可能。 1 2 2 研究现状 计算机进行人脸表情识别是近几十年逐步发展起来的，在国外，进入9 0 年代 之后，一些发达和发展中国家都有了专门的科研机构对这个课题进行研究，其中 成绩突出的有美国的麻省理工学院( m i t ) 、加州大学圣地亚哥分校( u c s d ) 、卡 耐基梅隆大学( c m u ) 、马里兰大学( m a r y l a n d ) 、瑞士的i d i a p 研究院以及日本的东 京大学( t o k y o ) ；币l l 大坂大学( o s a k a ) 等。美国的m i t 多媒体实验室提出了脸部表情 的自动分析和处理；s o n y 公司研制开发的a i b o 狗 5 可以通过与人交流来“学习” 某些简单动作并通过身上的l e d 反映情感；由日本早稻阳大学和日本机器人制造 商t m s u k 共同开发的k o b i a n 机器人j 能表现出七种不同的表情。 国内，虽然情感计算的研究不太久，但也已受到学术界的高度重视，国家自 然科学基余委员会已将其研究列为今后发展的重点项目。许多科研机构也开始在 表情识别方面展开积极的研究，比如中科院计算所、清华、浙大、北大、哈工大、 重庆大学硕士学位论文 1 绪论 华科、东南大学和华南理工大学等。2 0 0 3 年和2 0 0 5 年，首届国内、国际情感计算 与智能感知交互学术- 氧r ( a c i i ) t 7 , 8 1 在北京举行，由中国科学院自动化研究所、中 国图象图形学会、国家自然科学基金委员会等知名科研机构主办，同时云集了国 内外著名的学者和研究人员，有力的推动了国内在这一领域的发展，自此以后， 这个会议每两年举办一次，第四次国际a c i i 会议于2 0 11 年1 0 月在美国举行。 智能人机交互和情感计算作为一门涉及多学科的交叉学科，目前为止依然缺 乏系统的智能化理论体系，还处在探索阶段，但是在国内外研究人员的不懈努力 下也取得了很多可喜的成果，推动着人脸表情识别技术的快速发展。z h a o 等人 9 1 将经典的人脸识别算法主成分分析法( 埘n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 应用到入 脸表情识别上，后来陆续出现其改进算法二维主成分分析法2 d p c a 1 0 】、核主成分 分析法 1 1 1 k p c a 等，以及局部特征提取算法g a b o r 小波法【1 2 】、局部二元算子法 刮( l b p ) 等；近年来，有科学家提出人脸图像很可能位于一个低维的非线性子流形 上，有人将流形算法【1 4 17 j 应用到表情识别上来，这些算法由线性到非线性，试图 寻找到最合适的描述人脸数据流形分布的方法，促进了人脸表情识别的迅速发展。 1 3 问题的提出 目前，在较理想的条件下，正面人脸检测及脸部特殊部位( 诸如眼睛、嘴巴等) 的定位已取得了比较满意的效果。但是在现实环境中，很容易受到光照、多姿态、 复杂背景以及遮挡的影响，以致不能达到实际应用的要求，仍需进一步的研究和 分析。 对于人脸表情识别，目前只是针对最基本的6 种表情进行研究，且在识别的 过程中，很容易受到同类之问的干扰而造成低的识别率，因为同一个人虽然表情 有所不同，但是人脸上的特征点，诸如额头、脸颊、鼻子等不会因为表情的不同 而有太大的改变；而相同表情虽然特征相似，但是不同人的相同表情又存在着程 度上很大的差别，这也为表情识别带来了一定的困难；另一方面，在特征提取的 时候，如何准确的提取特征并有效的降维，也是一直困扰学者们的一个研究方向。 1 4 本文研究内容及组织结构 本文对人脸检测和表情识别算法做了综述性的介绍，在人脸检测和定位方面 重点研究了基于肤色特征的分割算法以及多姿态的人眼定位问题；在表情识别方 面，首先研究了p c a 、k p c a 、l l e 及k s l l e 经典降维算法，并将这几种算法应 用到整幅人脸图像的表情识别中进行比较；然后通过实验研究分析眼睛和嘴部特 征对表情变化影响的大小，并提出了一种融合眼睛和嘴部特征进行表情识别的方 法；最后通过实验比较算法在运算量和精确度上的优越性。论文的总体安排如下： 4 重庆大学硕士学位论文 1 绪论 第一章绪论，主要介绍了研究人脸表情识别的背景及意义，并指出有关表情 识别与人脸识别之间的差别和联系，然后介绍了表情识别的研究历史和现状，最 后提出了目前在人脸检测、人脸关键部位定位以及表情识别方面存在的一些问题。 第二章人脸检测与表情识别概述，首先介绍了人脸表情识别的系统组成，指 出人脸检测与定位是表情识别的一个很关键的步骤，并介绍了主流的人脸检测的 算法；另外从特征提取和特征分类两个方面介绍了有关表情识别的方法。 第三章粒子群优化算法下的肤色分割，研究了基于肤色特征的分割方法，首 先介绍了色彩空问和高斯肤色模型的建立，然后介绍了传统的二维最大类间方差 法及改进算法，最后引入粒子群优化算法，在保证分割效果的同时减少了运算时 问，降低了运算量。 第四章多姿态人眼定位，本章是在第三章的基础上进行的，首先对肤色分割 之后的图像进行形态学处理并与原图像相乘得到灰度图像，然后针对只含有人脸 的图像进行g a b o r 滤波，突出眼睛区域，最后采用灰度投影的方式得到眼睛区域。 第五章融合局部特征的表情识别，分为两个部分，第一部分是介绍了线 性、非线性共4 种降维算法，并在j a f f e 人脸库上验证实现：第二部分，分析了 基于整体特征提取的识别效果，提出一种融合局部特征提取的表情识别算法，该 算法只针对图像中的人眼和人嘴两部分进行特征提取，并根据二者对于表情识别 所作的贡献不同赋予不同的权限系数，实验证明融合之后的识别率有所提高并减 少了运算量。 第六章总结与展望，总结全文，展望未来人脸表情识别的发展方向。 重庆火学硕士学位论文 2 人脸检测与表情识别概述 2 人脸检测与表情识别概述 2 1 人脸表情识别系统 人脸表情识别主要包括三个主要的技术环节，如图2 1 所示：首先是人脸图像 的获取与预处理，即人脸检测与定位；然后是对人脸表情的特征提取，最后是针对 提取的特征进行分类。由此系统构造可知，这三个步骤环环相扣，每一个环节都会 影响后续工作的进行，而人脸检测是进行表情识别的第一个步骤，有着至关重要的 作用。 f 磊匠嘉砸一1 多组表情图像 夏至至垂三至至三卜 至至至垂 ) 翘 识别过程 图2 1 人脸表情识别的基本结构 f i g 2 1b a s i cs t r u c t u r eo ff a c i a le x p r e s s i o nr e c o g n i t i o n 由图2 1 可以看出，人脸表情识别主要包括训练和识别两个过程：先对多幅已 知表情图像进行训练，得到一定的规律；然后再进行个别表情图像的识别，识别是 利用了训练的结果，这两个过程都要经过相同的环节，而在同一个表情识别系统中， 表情分类和表情识别往往采用相同的方法处理。 2 2 人脸检测的方法 人脸检测所包含的内容非常广泛，从不同的角度可以有多种分类方法。根据图 像背景的复杂程度可以将人脸检测分为“简单背景人脸检测”和“复杂背景人脸检 测”；根据y a n g 等对人脸检测的定义可以分为基于静态图像和动态图像的人脸检测； 根据利用人脸面部知识的不同，现有的静态人脸检测方法可分为基于特征的方法 ( f e a t u r e b a s e d ) 和l 基于图像的方法( i m a g e - b a s e d ) 两大类。 基于特征的方法 重庆大学硕士学位论文 2 人脸检测与表情识别概述 根据使用特征方式的不同，基于特征的人脸检测方法又分为基于低层特征的方 法和基于模型的方法。 1 ) 基于低层特征的方法 此类方法的基本思想是利用图像的像素信息，如灰度特征、纹理特征和最常见 的肤色特征等对视觉信息进行分割。由于本身固有的特点，由低层信息得到的这些 特征可能比较模糊，不过在接下来的特征分析中利用人脸的几何分布就可以使人脸 面部特征的位置确定得到解决。 a 、基于灰度特征【i8 j 的方法。灰度特征主要包括器官特征( 人脸轮廓、对称性等) 、 人脸灰度分布特征( 直方图特征、镶嵌图特征等) 。 人脸的拓扑位置信息是最早被用来检测人脸的信息，虽然人脸在外观上的变化 是比较大的，尤其是受表情、年龄等的影响，但是也都遵循着一些普遍适用的规则， 即人脸上五官的分布，每个人都有两只眼睛、一个鼻子、一张嘴等等，而且还具有 对称性。检测是否有人脸，即是否存在满足这些基本规则的图像块。y a n g 等 1 9 首 先提出了人脸镶嵌图( m o s a i ci m a g e ，又称马赛克图) 特征，所谓镶嵌图，是指将原始 图像的分辨率有规则的降低后得到的图像，首先将原始图像均匀的划分为一组大小 一样的方格，每个方格的灰度为格中每个像素的平均值。镶嵌图规则是指这些块的 值应该满足的约束规则，这个方法虽然检测率小是很高，但是镶嵌图和分级搜索的 思想逐渐的应用到了其它的方法上。 b 、基于肤色特征( f e a t u r ec o l o r b a s e d ) 的方法【2 0 】是近年广泛被采用的方法，人 的肤色是区别于非人脸的显著特征，肤色特征具有相对的稳定性，并且和大多数的 背景物体颜色不一样；并且肤色不依赖于人脸面部的细节特征，对丁旋转、姿态、 表情等都不敏感，所以通过肤色分割可以在一定程度上将人脸从背景中区分出来。 肤色特征主要是由肤色模型来描述。肤色模型就是用一种代数的( 解析的) 或查表的 方式来分析哪些像素的色彩属于肤色，或者表征出某一个像素是肤色的相似程度。 常见的肤色模型有高斯模型、混合高斯模型和直方图模型三类。 一股睛况下利用肤色特征进行人脸检测时，首先利用肤色模型进行肤色分割， 缩小搜索范围；然后对肤色区域进一步利用形状、尺度等几何特征，找到人脸的候 选区域：最后在候选区域中利用眼睛、嘴等局部特征分析验证是否存在人脸。该方 法的理论基础是人类肤色在某些色彩空间中有较强的聚类特性【2 ，会群聚在一个较 小的像素范围中，这样更有利于分割出肤色。具体细节将在后续章节中介绍。 c 、基于纹理特征的方法。该方法以d a i 等 2 2 提出的基于空间灰度共生矩阵( s p a c e g r a yl e v e ld e p e n d e n c em a t r i x ，s g l d ) 的方法为代表，利用空间灰度共生矩阵纹理信息 作为特征进行低分辨率的人脸检测，人脸的纹理模型由一组不等式构成，若在某个 重庆人学硕十学位论文 2 人脸检测与表情识别概述 区域这组不等式都能成立，则该区域被认为是检测到的人脸区域。该方法缺点在于 纹理特征难以处理多视角问题。 2 ) 基于模型的方法 基于模型的方法首先人为的建立一个标准感兴趣的目标模型，通过比较所有可 能的待检测区域与目标模型的匹配程度来得到结果，即计算输入图像与模板的相似 程度，然后确定一个相似度阈值，用以判断输入图像中是否包含所要的目标。由于 该方法是针对感兴趣的目标而建立的特定的模型，因此鲁棒性比较好，但是建立模 型本身是相对困难的，并且计算量也非常大。目前主要有以下几种： a 、固定模板 固定模板匹配法【2 3 】是一种很经典的模式识别方法，它的中心思想是将人脸五官 位置的比例关系做成一种固定的模板，用这个模板在输入的图像中逐点的进行匹配， 计算此图像的各区域与该模板在人脸边界。眼睛、鼻子、嘴等的相关程度，若是超 过某个预先设定的值就显示检测到人脸。但是存在的问题是人脸的特征变化比较大， 很难构成一个适合于任何情况的模板，因此在实际情况中，应用受到一定的局限。 b 、弹性模板 针对固定模板存在的对不同表情人脸鲁棒性差的问题，有学者提出了弹性模板 匹配，弹性模板 2 4 也称为可变形模板( d e f o r m a b l et e m p l a t e s ) ，它是由一个根据被测物 体形状而设定的参数化的可调模板和与之对应的能量函数所构成，其中能量函数要 根据图像的灰度信息等先验知识来设计。该方法的基本思想是根据待检测的人脸形 状信息，设计一种用多个参数描述并且参数可调的模型，定义一个能量函数，通过 调节模型参数使能量参数最小。 c 、活动轮廓模板 活动轮廓模板又称s n a k e s 模板，是k a s s 等 2 5 1 于1 9 8 7 年提出来的，它是一种边 界检测和图像分割的方法，也可以用于脸部特征和边缘的定位。s n a k e s 模型把图像 中感兴趣的物体轮廓看做一条封闭、连续的链条结构，然后设计一个能量函数，以 迭代的方式来求能量最小。 d 、点分布模板 1 9 9 2 年，c o o t e s 等 2 6 提出了一种参数化的形状来描述模型，即点分布模型( p o i n t d i s t r i b u t i o nm o d e l 。p d m ) ，它用一组离散的点来描述研究对象的形状，并采用p c a 算法来建立各个点的运动模型，同时对控制点的基准位置和移动方式做了限制，用 此来保证模型的整体形变始终是在可以接受的范围内。之后，他还提出了主动形状 模型( a c t i v es h a p em o d e l ，a s m ) e 27 1 ，该方法建立了特征点局部的纹理模型和全局的形 状模犁，之后产生的主动外观模型【2 8 ( a c t i v ea p p e a r a n c em o d e l ，a a m ) n 建立了全局的 重庆火学硕士学位论文 2 人脸检测与表情识别概述 纹理模型和形状模型，是a s m 的一个扩展，在人脸识别、自动识别嘴唇形变等方 面得到了比较好的应用。 总之，基于特征的人脸检测方法，主要是利用了先验知识来考察人脸所包含的 特征和分布，并由此判断待测图像是否为人脸。其优点是速度快，但是当出现复杂 的情况时，效果很不明显。 基于图像的方法 由于人脸图像本身的复杂性，显式描述人脸特征具有一定的困难，因此基于图 像特征的方法渐渐受到人们的重视，与基于特征的检测不同之处在于，它无需检测 各个面部特征，而是选取人脸样本与非人脸样本进行训练，生成分类器之后对人脸、 非人脸加以区分，实现人脸检测。常见基于图像的人脸检测方法有以下几种： 1 ) 基于线性子空间的方法 子空问分析的思想就是根据一定的性能目标来寻找一个线性或者非线性的空 间变换，把原始的信号数据压缩到一个低维的子空问，使数据在子空间的分布更加 紧凑，更好地描述数据的同时降低复杂度。较为经典的一种方法是p c a 算法，它是 模式识别中一种经典的方法，p e n t l a n d 等【2 9 1 首先将p c a 引入到人脸检测中，该方法 根据图像的统计特性进行正交变换( k 一三变换) 以消除原本各分量中之间的相关性， 取变换之后得到的最大的若干个特征向量来表示原来的图像，保留了原图像的最大 信息，这若干个特征向量( 也称做特征脸) h q 做主成分。换言之，就是将表征人脸的 高维向量映射到由若干个特征向量生成的子空间中，实现对人脸图像的最优解析和 重构，特征向量保留了原数据中主要的信息而忽略了次要的部分。运用p c a 进行人 脸检测时，通过计算待测图像区域与人脸特征空间距离的远近来判断其是否包含人 脸。 2 ) 人工神经网络方法 人工神经网络t 3 0 ( a r t i f i c i a ln e u r a ln e t w o r k ，a n n ) 方法利用神经网络的学习能力 和分类能力，对“人脸”样本集合和“非人脸”样本集合进行学习，从而产生分类器， 达到人脸检测的目的。该方法是把模型的统计特征隐含于a n n 的结构和参数中， 可避免复杂的特征提取工作，有很大的优势。但是它的缺点在于整个网络结构需要 大范围的调整诸如层数、学习速率、节点数等才能获得期望的性能。 3 ) 基于统计的方法 利用统计方法研究人脸是从整幅人脸图像出发，利用统计学原理，将整幅图像 看做1 个高维向量，然后将人脸检测问题转化为高维空间中信号分布的问题，从很 多幅人脸图像中寻找到人脸的共同规律，最后利用这些规律来进行人脸检测。目前 存在的主要有以下几种： a 、隐马尔可夫模型 垩壅_ 人堂堡主堂篁堡文 2 人脸检测与表情识别概述 一一 ：二：= ：= 隐马尔科夫模型( h m m ，h i d d e nm a r k o vm o d e l s ) 原本是用来描述信号统计特性的 一组统计模型，是一种双重的随机过程，用借点来表示状态、有向边来表示状态之 间的转移，是一种常用到的模型。最早被用在声音识别上，之后被n e f i a n 等 3 1 1 引入 到人脸识别领域，进行人脸检测。 b 、a d a b o o s t 方法 基于a d a b o o s t 的方法能从一个很大的特征集中选择很小的一部分关键特征，从 而产生一个有效的分类器。最初该方法用来提高某些简单分类器的性能，最终形成 的强分类器就有很好的训练错误率。2 0 0 1 年康柏研究院的v i o l a 和j o n e s 3 2 1 提出了 基于a d a b o o s t 和快速特征提取的正面实时人脸检测算法，通过综合a d a b o o s t 和 c a s c a d e 算法实现了实时人脸检测系统，使得人脸检测真正走向实用。 c 、支持向量机 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) t 3 3 1 是2 0 世纪9 0 年代以来依据统计学 理论发展起来的一种通用的模式识别方法。目前，s v m 算法主要存在以下问题：首 先是太耗时间，因为它是一个基于数据描述的分类器，训练s v m 需要求解二次规 划问题，也就是说当它用一些支持向量来刻画数据空间的分类面时，往往会产生一 些信息上的冗余，是计算复杂度变高；另外，当训练样本个数较大的时候，会有大 量的支持向量，也使分类器计算量过高。 d 、贝叶斯决策 贝叶斯决策也称为贝叶斯判别准则，是计算输入图像区域( r e g i o n ) 属于人脸模式 ( o b j e c t ) 的后验概率p ( o b j e c tr e g i o n ) ，据此对有可能的图像窗口进行判断。 目前在已有的人脸检测方法中，当采集条件可控时，可以得到比较好的检测效 果。但是当光照条件变化比较大，人脸发生旋转以及有遮挡等情况出现的时候鲁棒 性不够。因此，近年来也有人提出了基于融合方法的人脸检测。基于融合的方法可 以结合两种或更多前面所提到的算法，以此来降低因为一种方法的弊端而引起的误 检率。基于融合方法的优点是实现了信息的融合，使一种方法的缺点被另一种方法 的优点所补偿。因此，融合方法有着很好的发展前景。 2 3 表情识别的主要技术方法 2 3 1 特征提取 目前人脸：表情特征提取的方法主要分为基于形变特征和基于运动特征这两类。 形变特征一般针对静态图像或者视频序列中的一帧图像，相对于中性表情不同的一 些基本的表情变化特征；运动特征则是针对视频序列中当表情发生变化的时候，脸 部所产生的连续变化的一些复杂特征。 基于形变的特征提取 l o 重庆人学硕士学位论文 2 人脸检测与表情识别概述 表情特征的形变主要包括形状形变和纹理形变。因此基于形变的表情特征提取 方法又分为基于图像和基于模型这两类。其中基于图像的方法有主成分分析、局部 二元模式l b p 、g a b o r 小波变换等；基于模型的方法包括点分布模型等。 1 ) 主成分分析法 主成分分析算法是一种数学变换，它把给定的一组相关变量通过线性变换成另 一组不相关的变量，这些新的变量按方差从大到小的顺序排列，最大程度的保持着 原来数据之间的差异。在表情识别的过程中，将高维的人脸图像经过k l 变换得到 了一组新正交基，然后通过分析人脸训练样本集的统计特性保留下部分正交基，得 到低维的人脸空间，最后将待识别的表情图像投影到新的低维空间进行分类，取得 了比较好的识别效果【1 0 。 2 ) g a b o r 小波法 g a b o r 小波滤波器相当于一组窄带带通滤波器，其参数包含方向、基频带宽和 中心频率，三者均可以调节，而不同参数的g a b o r 滤波器在提取图像特征时能够捕 捉图像中不同的空问频率、位置和方向信息 1 2 ，所以g a b o r 小波可以应用于人脸图 像的某个特定部位的滤波或对整幅人脸图像进行滤波。通常会采用滤波器组进行特 征提取，也就是设置多个不同尺度和通道的g a b o r 滤波器，并根据图像的特点选择 参数，从而使滤波器组覆盖整个频域以尽可能多的提取人脸信息。但是采用多尺度 多方向的g a b o r 滤波器也存在一定的问题，那就是这样进行特征提取的特征向量维 数太高，运算量比较大。 3 ) 局部二：元模式法 l b p 1 3 算子是一种灰度范围内的纹理度量，它是从一种纹