（计算机应用技术专业论文）基于粗糙集理论的表情识别研究.pdf

西南交通大学博士研究生学位论文第1 页 摘要 包括情感计算和情感识别在内，以人为中心的，对人的情感和认知的研究 是目前人工智能领域的一个热点研究方向。对这一方向的研究将有助于推动实 现人与机器之间的自然交互。虽然目前情感计算和情感识别的研究已经取得了 初步的成果，但是由于缺乏坚实的心理学和认知科学的理论基础，在研究中还 存在诸多待解决的关键问题。本文就人脸表情识别系统所涉及的特征选择和识 别方法进行研究。这些研究工作不仅能推动计算机表情识别、计算机情感仿真 等的进展，而且对于自然人机交互、远程教育、医疗看护、游戏娱乐等应用领 域都有重要意义。 本文以粗糙集理论为基础，研究了粗糙集属性约简算法，并把粗糙集属性 约简算法作为一种人脸表情识别系统的特征选择方法。根据人脸几何特征直观 性好的优点，以人脸的几何特征作为研究对象，对人脸表情识别的重要特征进 行研究。此外，本文还基于粗糙集理论，结合集成学习理论，对人脸表情识别 方法进行研究。取得的主要研究成果如下： 1 ) 提出了基于粗糙集属性约简的人脸表情识别的特征选择方法。 本文引入粗糙集理论，提出了采用粗糙集属性约简算法作为一种人脸表情 识别的特征选择方法。基于经典粗糙集理论，采用基于信息熵的属性约简算法 和特征选择的属性约简算法对人脸表情识别采用的特征进行了特征选择，并提 出了一种r s + s v m 的人脸表情识别方法。研究结果表明，相比较传统的特征选 择算法，粗糙集属性约简方法不仅能有效地降低特征的维度、得到人脸表情识 别的重要特征，而且基于这些重要特征，能得到较好的人脸表情识别结果。 2 ) 提出了自主式的人脸表情特征选择算法。 本文基于粗糙集理论和面向领域的数据驱动的数据挖掘模型思想，对连续 值信息系统的属性约简方法进行了研究，提出了一个自主式的属性约简算法， 首先，将条件属性集对决策的可区分性作为知识的一种属性特征，并基于粗糙 集理论提出一种可区分性的度量方法。然后，根据在知识获取过程中可区分性 的不变性原则，提出了一个针对连续值信息系统的自主式属性约简算法 ( s a r a ) ，该算法可以从训练数据中自动获取控制学习过程所需要的参数。研 第1 l 页西南交通大学博士研究生学位论文 究结果表明，该方法在不依赖于领域专家先验知识的情况下也能得到很好的结 果。本文把s a r a 作为一种人脸表情识别的特征选择方法，把s a r a 挑选的表 情特征应用于人脸表情识别，得到了很好的人脸表情识别结果，同时还得到了 在人脸的几何特征中嘴部的特征对人脸表情识别起到最重要作用的结论。 3 ) 基于粗糙集理论和集成学习理论，提出了一种选择性集成的人脸表情识 别方法。 首先，基于经典粗糙集理论的可辨识矩阵求出信息系统的多个约简，并对 得到的多个约简训练多个候选分类器。然后，基于双误的差异性度量方法，对 候选分类器按差异度进行聚类。最后，采用选择性集成的策略，从每两类候选 分类器中选择出差异性最大的分类器进行相对多数投票，得到集成的输出结果。 仿真实验结果表明，该方法得到了良好的表情识别结果。 4 ) 基于扩展的粗糙集理论和集成学习理论，提出了一种动态选择的人脸表 情识别方法。 首先，基于面向领域的数据驱动的数据挖掘模型思想，提出了一个求核属 性的算法和一个基于信息熵的求多个属性约简的算法。然后采用该方法求出信 息系统的多个约简，并根据得到的多个约简训练候选分类器集合。最后，根据 多分类器的本地精确性，基于动态选择的策略从候选分类器集合中挑选出最优 的分类器对待识别的样本进行分类识别。该方法成功用于直接处理人脸表情特 征的连续值属性，仿真实验结果表明，该方法得到了良好的表情识别结果。 5 ) 开发了一个语音和视频的双模情感识别系统 基于本文的研究成果，开发了一个语音和视频的双模情感识别系统。该系 统能实现实时的单模人脸表情识别、单模语音情感识别和双模情感识别。实际 测试结果表明，该系统具有很好的实时性和识别结果。 关键词：表情识别；表情特征；粗糙集；集成学习；特征选择 西南交通大学博士研究生学位论文第1 i i 页 a b s t r a c t t h es t u d yo fh u m a nc e n t e r e de m o t i o na n dc o g n i t i o n ，i n c l u d i n g a f f e c t i v e c o m p u t i n ga n de m o t i o nr e c o g n i t i o n ，i sah o tr e s e a r c ht o p i ci na r t i f i c i a li n t e l l i g e n c e a c h i e v e m e n t so nt h e s er e s e a r c h t o p i c s w i l l p u s h t h e d e v e l o p m e n t o f h u m a n c o m p u t e ri n t e l l i g e n ti n t e r a c t i o n ( i q c i i ) a l t h o u g ht h e r ea r ea l r e a d ys o m e a c h i e v e m e n t so fa f f e c t i v ec o m p u t i n ga n de m o t i o nr e c o g n i t i o ni nr e c e n ty e a r s ，t h e r e a r es t i l ls o m ek e yp r o b l e m su n s o l v e dd u et ot h ea b s e n c eo fs o l i dt h e o r yb a s i so f p s y c h o l o g ya n dc o g n i t i o n i nt h i st h e s i s ，f e a t u r es e l e c t i o nm e t h o d sa n de m o t i o n r e c o g n i t i o nm e t h o d si na f a c i a le m o t i o nr e c o g n i t i o ns y s t e ma r es t u d i e d t h e s e r e s e a r c hw o r k sc a nn o to n l yp u s ht h ed e v e l o p m e n to fe m o t i o nr e c o g n i t i o na n d e m o t i o ns i m u l a t i o n ，b u ta l s oa r ei m p o r t a n tf o rt h ea p p l i c a t i o n si nh c i i ，e - l e a m i n g ， m e d i c a lc a r i n g ，g a m e ，e t c i nt h i st h e s i s ，a t t r i b u t er e d u c t i o na l g o r i t h m sa r es t u d i e db a s e do nr o u g hs e t t h e o r ya n du s e df o rf e a t u r es e l e c t i o no faf a c i a le m o t i o nr e c o g n i t i o ns y s t e m g e o m e t r i c a lf a c ef e a t u r e sa r et a k e na st h er e s e a r c ho b j e c t ss i n c ei t i si n t u i t i o n i s t i c i m p o r t a n tf e a t u r e sf o re m o t i o nr e c o g n i t i o na r es t u d i e db a s e do na t t r i b u t er e d u c t i o n a l g o r i t h m s f u r t h e r m o r e ，e f f i c i e n te m o t i o nr e c o g n i t i o nm e t h o d sa r ea l s os t u d i e d b a s e do nr o u g hs e tt h e o r ya n de n s e m b l el e a r n i n g t h em a jo ra c h i e v e m e n t so ft h i s t h e s i sa r ea sf o l l o w s 1 ) af e a t u r es e l e c t i o nm e t h o df o re m o t i o nr e c o g n i t i o nb a s e do nr o u g hs e t t h e o r yi sp r o p o s e d i nt h i st h e s i s ，t h ea t t r i b u t er e d u c t i o na l g o r i t h m sb a s e do nr o u g hs e tt h e o r ya r e i n t r o d u c e da n dp r o p o s e df o rf e a t u r es e l e c t i o nm e t h o d sf o re m o t i o nr e c o g n i t i o n b a s e do nt r a d i t i o n a lr o u g hs e tt h e o r y , t h ea t t r i b u t er e d u c t i o na l g o r i t h mb a s e do n c o n d i t i o n a le n t r o p ya n dt h ea t t r i b u t er e d u c t i o na l g o r i t h mb a s e do nf e a t u r es e l e c t i o n a r eu s e da sf e a t u r es e l e c t i o nm e t h o d sf o re m o t i o nr e c o g n i t i o n m e a n w h i l e an o v e l e m o t i o nr e c o g n i t i o nm e t h o db a s e do nr sp l u ss v mi sp r o p o s e d t h ee x p e r i m e n t r e s u l t ss h o wt h a tt h ea t t r i b u t er e d u c t i o na l g o r i t h m sc a nr e d u c et h ef e a t u r ed i m e n s i o n 第1v 页西南交通大学博士研究生学位论文 a n de x t r a c tt h ei m p o r t a n tf e a m r e sf o re m o t i o nr e c o g n i t i o n b a s e do nt h e s ef e a t u r e s ， b e t t e rr e c o g n i t i o nr e s u l tt h a nt r a d i t i o n a lf e a t u r es e l e c t i o nm e t h o d sc a nb ea c h i e v e d 2 ) as e l f - l e a r n i n ge x p r e s s i o nf e a t u r es e l e c t i o na l g o r i t h mi sp r o p o s e d i nt h i st h e s i s ，b a s e do nt h ei d e ao fd o m a i n o r i e n t e dd a t a d r i v e nd a t am i n i n g t h e o r y , a l la t t r i b u t er e d u c t i o na l g o r i t h mf o rc o n t i n u o u s l yv a l u e di n f o r m a t i o ns y s t e m s i s s t u d i e d ，a n das e l f - l e a r n i n ga t t r i b u t er e d u c t i o n a l g o r i t h m i s p r o p o s e d d i s c e m a b l e a b i l i t yo fc o n d i t i o n a la t t r i b u t es e tw i t hr e s p e c tt od e c i s i o na t t r i b u t es e ti s t a k e na sa n i m p o r t a n tp r o p e r t y o f k n o w l e d g e ，a n d am e a s u r e m e n to f d i s c e r n a b l e - a b i l i t yi sp r o p o s e db a s e do nr o u g hs e tt h e o r y a c c o r d i n gt ot h ec r i t e r i o n t h a t d i s c e m a b l e a b i l i t ys h o u l dh o l di nt h ec o u r s eo fk n o w l e d g ea c q u i s i t i o n ，a s e l f - l e a r n i n ga t t r i b u t er e d u c t i o na l g o r i t h m ( s a r a ) i sp r o p o s e df o rc o n t i n u o u s l y v a l u e di n f o r m a t i o ns y s t e m s i t s p a r a m e t e rc a nb eo b t a i n e da u t o m a t i c a l l yf r o m t r a i n i n gd a t as e t e x p e r i m e n tr e s u l t ss h o wt h a tt h em e t h o dc a ng e tg o o dr e s u l te v e n i ft h e r ei sn op r i o rd o m a i nk n o w l e d g e s a r a i st a k e na saf e a t u r es e l e c t i o nm e t h o d f o re m o t i o nr e c o g n i t i o ni nt h i st h e s i s ，a n dg o o d r e c o g n i t i o nr e s u l ti sa c h i e v e db a s e d o nt h ef e a t u r e si tf o u n d f u r t h e r m o r e ，t h ef e a t u r e sw h i c hc o n c e m e dm o u t ha r ef o u n d a st h em o s ti m p o r t a n te x p r e s s i o nf e a t u r e s 3 ) as e l e c t i v ee n s e m b l ef e a t u r es e l e c t i o nm e t h o df o re m o t i o nr e c o g n i t i o ni s p r o p o s e db a s e do nr o u g hs e tt h e o r ya n de n s e m b l el e a r n i n g a tf i r s t ，a na l g o r i t h mb a s e do nd i s c e r n i b i l i t ym a t r i xi s a d o p t e da n dm u l t i p l e r e d u c t i o n sa r eg e n e r a t e d ，c o r r e s p o n d i n g l ym u l t i p l ec a n d i d a t ec l a s s i f i e r sa r et r a i n e d s e c o n d l y , t h ed o u b l ef a u l tm e t h o di st a k e na st h em e a s u r eo ft h ed i v e r s i t yo ft h e c a n d i d a t ec l a s s i f i e r s ，a n dt h ec a n d i d a t ec l a s s i f i e r sa r ec l u s t e r e d a c c o r d i n gt o m e a s u r e m e n to ft h ed o u b l ef a u l tm e t h o d ，a n dt h em o s td i v e r s ec l a s s i f i e r s a r e s e l e c t e df r o me a c hp a i ro fc l u s t e r s a tl a s t ，t h ec r i t e r i o no fr e l a t i v em a j o r i t yv o t i n gi s a d o p t e df o rt h es e l e c t e dc l a s s i f i e r s ，a n dt h eo u t p u to ft h ee n s e m b l ei s g o t t e n e x p e r i m e n tr e s u l t ss h o wt h a tg o o dr e c o g n i t i o nr e s u l tc a nb ea c h i e v e db a s e do nt h e p r o p o s e dm e t h o d 4 ) ad y n a m i ce n s e m b l ef e a t u r es e l e c t i o nm e t h o df o re m o t i o nr e c o g n i t i o ni s p r o p o s e db a s e do ne x t e n d e dr o u g hs e tt h e o r ya n de n s e m b l el e a r n i n g 西南交通大学博士研究生学位论文第v 页 a tf i r s t ，a na l g o r i t h mf o rc a l c u l a t i n gt h ec o r eo fad e c i s i o nt a b l ei sp r o p o s e d b a s e do nt h ed o m a i n - o r i e n t e dd a t a - d r i v e nd a t am i n i n gt h e o r y s e c o n d l y , a n a l g o r i t h mf o rf i n d i n gm u l t i p l er e d u c t i o n sb a s e do nc o n d i t i o n a le n t r o p yi sp r o p o s e d a c c o r d i n g l y , m u l t i p l ec a n d i d a t ec l a s s i f i e sa r eg e n e r a t e du s i n gt h i sa l g o r i t h m a tl a s t ， ad y n a m i c a ls e l e c t i v em e a s u r ei su s e dt os e l e c tt h em o s ts u i t a b l ec l a s s i f i e rf o re a c h u n s e e n s a m p l ea c c o r d i n g t ol o c a l p r o p e r t y o ft h ec a n d i d a t ec l a s s i f i e r s ，a n d r e c o g n i t i o nr e s u l t i s g o t t e na c c o r d i n g l y e x p e r i m e n tr e s u l t ss h o wt h a tg o o d r e c o g n i t i o nr e s u l tc a nb ea c h i e v e db a s e do nt h ep r o p o s e dm e t h o d 5 ) a na u d i oa n d v i s u a ld o u b l em o d u l ee m o t i o nr e c o g n i t i o ns y s t e mi s d e v e l o p e d ad o u b l em o d u l ee m o t i o nr e c o g n i t i o ns y s t e mb a s e do nb o t ha u d i oa n dv i s u a l i n f o r m a t i o ni sd e v e l o p e d i tc a nr e c o g n i z ef a c i a le x p r e s s i o n ，e m o t i o n a ls p e e c ha n d e x p r e s s i o no ft h ec o m b i n a t i o no ff a c i a l a n ds p e e c he m o t i o n si nt i m e g o o d r e c o g n i t i o nr e s u l t sa r ea c h i e v e di nr e a lt e s t i n ge n v i r o n m e n t s k e y w o rd ：e m o t i o nr e c o g n i t i o n ；e x p r e s s i o nf e a t u r e ；r o u g hs e t ；e n s e m b l el e a r n i n g ； f e a t u r es e l e c t i o n 西南交通大学博士研究生学位论文第1 页 西南交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权西南交通大学可以将本论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印 或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在年解密后适用本授权书； 2 。不保密囱，使用本授权书。 ( 请在以上方框内打“) 学位论文作者签名：拗 日期：2 7 指导老师签名：矽愠j 务l 日期：2 的7 西南交通大学四南父迥大罕 学位论文创新性声明 本人郑重声明：所呈交的学位论文，是在导师指导下独立进行研究工作所 得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体 已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中作了明确的说明。本人完全意识到本声明的法律结果由本人承担。 本学位论文的主要创新点如下： ( 1 ) 基于粗糙集理论和面向领域的数据驱动的数据挖掘模型思想，提出了 一种自主式的人脸表情特征选择方法。 基于粗糙集理论和面向领域的数据驱动的数据挖掘模型思想，对连续值信 息系统的属性约简方法进行了研究。首先，将条件属性集对决策的可区分性作 为知识的一种属性特征，并基于粗糙集理论提出一种可区分性的度量方法。然 后根据在知识获取过程中可区分性的不变性原则，提出一个针对连续值信息系 统的自主式属性约简算法( s a r a ) ，该算法可以从训练数据中自动获取控制学 习过程所需要的参数。仿真实验结果表明，该方法在不依赖于领域专家先验知 识的情况下也能得到很好的结果。本文把s a r a 作为一种人脸表情特征的特征 选择方法，并基于特征选择得到的特征子集进行人脸表情识别，得到了很好的 识别结果。同时发现了在人脸的几何特征中嘴部特征是人脸表情识别最重要的 特征。( 第4 章) ( 2 ) 基于经典粗糙集理论的属性约简算法，对人脸表情识别的重要特征进 行了有效选取，并提出了一种r s + s v m 的人脸表情识别方法。 采用经典粗糙集理论的属性约简算法对人脸表情的几何特征进行特征选 择，得到了人脸表情识别中比较重要的特征，并提出了一种r s + s v m 的人脸表 情识别方法。研究结果表明，该方法能得到较好的人脸表情识别结果。( 第3 章) ( 3 ) 基于粗糙集理论和集成学习理论，提出了一种选择性集成的人脸表情 识别方法，得到了良好的识别效果。 首先基于经典粗糙集理论中的可辨识矩阵求出多个约简，训练候选分类器 集合，然后基于双误的差异性度量方法对候选分类器进行聚类，从每两类中挑 选出差异性最大的分类器，并采用相对多数的投票方法进行集成。将该方法应 用于人脸表情识别，得到了良好的识别结果。( 第5 2 节) ( 4 ) 基于扩展的粗糙集理论和集成学习理论，提出一种动态选择的人脸表 情识别方法，得到了良好的识别效果。 针对经典粗糙集理论中数据离散化可能导致信息丢失的问题，对经典粗糙 集理论进行扩展。首先，基于面向领域的数据驱动的数据挖掘模型思想，提出 了一个求取核属性的算法和一个基于信息熵的求多个属性约简的算法。然后， 采用该方法求出系统的多个约简，并训练候选分类器集合。最后，根据多分类 器的本地精确性，基于动态选择的策略从候选分类器集合中挑选出最优的分类 器对待识别的样本进行分类识别。该方法应用于人脸表情识别，对人脸表情特 征的连续值属性不进行离散化处理，而是直接用扩展粗糙集模型处理，得到了 良好的识别结果。( 第5 3 节) 学位论文作者签名：桫 日期：如c 7 年月j 日 西南交通大学博士研究生学位论文第1 页 第1 章绪论 让计算机拥有和人一样的情感处理能力，是由人工智能创始人之一、美 国麻省理工学院的m i n s k y 教授首先提出的，他在1 9 8 5 年出版的专著t h e s o c i e t yo fm i n d ) ) 中指出“问题不在于智能机器能否拥有任何情感，而在于 机器实现智能时怎么能没有情感”i 1 】。目前，赋予计算机情感能力并让计算 机能够理解和表达情感的研究和探讨，已经引起了各界人士的广泛关注。对 人的情感和认知的研究已经进入了人工智能的高级阶段，对这一领域的研究 将会大大促进拟人控制理论、情感机器人、人性化的商品设计等方面的发展， 为最终实现自然人机交互( h u m a n c o m p u t e ri n t e l l i g e n ti n t e r a c t i o n ，h c i i ) 做 出贡献 2 。5 】。对人的情感和认知的研究必将为未来计算机的应用展现一个全新 的方向【6 1 。 本文主要基于粗糙集理论对人脸表情识别的特征选择方法进行研究，并 且基于粗糙集理论和集成学习理论，提出了高效的人脸表情识别方法。 本章首先介绍情感计算、情感识别等的研究背景及意义，对已有的研究 成果进行归纳和总结，指出该项研究工作所面临的主要挑战；然后引出本文 研究的主要问题，即人脸表情识别的特征选择问题；最后给出本文的主要工 作及组织结构。 1 1 研究背景和意义 表情含有丰富的人体行为信息，是情感最主要的载体，是智能的体现。 美国心理学家艾帕尔指出“信息表达= 7 文字+ 3 8 声音+ 5 5 面部表情”【7 j 。 可见人脸表情与信息表达的关系十分密切。由于人脸表情在人们的交流中起 着非常重要的作用，因此，对它的研究可以进一步了解人的心理状态。如果 计算机能够像人一样具有理解和表达情感的能力，将从根本上改变人与计算 机之间的关系，使计算机能够更好的为人服务，最终实现人机自然交互。 表情识别是情感理解的基础，是计算机理解人们情感的前提。表情识别 是智能机器走迸人们日常生活必须解决的问题，是实现智能机器必然要面临 第2 页西南交通大学博士研究生学位论文 的问题，也是人们探索智能、理解智能的有效途径。如何实现计算机的拟人 化，使其能根据周围的环境以及对象的状态等，自适应地为交流对象提供最 友好的操作环境，消除操作者和机器之间的障碍，己经成为下一代人机交互 发展的目标【3 ，4 】。人脸面部表情的分析具有广泛的应用前景，如自然人机交 互、远程教育、安全驾驶、公共场合安全监控、辨别谎言、电脑游戏、临床 医学、人类精神病理分析等【6 j 。 由此可见，包括情感识别和表情识别在内的“以人为中心”的研究将是 未来信息学科领域的一个重要研究方向和研究内容。因而，对情感识别的研 究具有极其重要的价值。 1 2 情感计算的研究现状 1 2 1 情感计算的概念 学术界较早对人类情感进行计算机实现研究的是美国麻省理工学院媒 体实验室的p i c a r d 教授。p i c a r d 于1 9 9 7 年出版了专著( ( a f f e c t i v ec o m p u t i n g ) ) ， 书中给出了情感计算( a f f e c t i v ec o m p u t i n g ) 的定义，即情感计算是与情感 相关、来源于情感或能对情感施加影响的计算【8 】。 p i c a r d 指出情感计算就是试图赋予计算机像人一样的观察、理解和生成 各种情感特征的能力。情感计算的研究就是试图创建一种能感知、识别和理 解人的情感，并能针对人的情感做出智能、灵敏、友好反应的计算系统【8 】。 p i c a r d 将情感计算的研究内容具体分为九个方面：情感机理、情感信号 的获取、情感模式识别、情感的建模与理解、情感合成与表达、情感计算的 应用、情感计算机的接口、情感的传递与交流、可穿戴计算机【4 9 】。目前国 内外有关情感计算的研究工作主要集中在情感信号的获取( 如各类传感器的 研制) 与情感识别上。 1 2 2 情感计算的国外研究现状 从2 0 世纪9 0 年代开始，美国和欧洲各国的研究机构就加快了对情感计 算的研究步伐。麻省理工学院、剑桥大学、飞利浦公司等通过深入研究“环 西南交通大学博士研究生学位论文第3 页 境识别”、“环境智能、“智能家庭”等科研项目来开辟这一领域。欧洲许多 大学成立了情感与智能关系的研究小组，其中比较著名的有日内瓦大学 k l a u ss o b e r e r 领导的情绪研究实验室、布鲁塞尔自由大学d c a n a m e r o 领导 的情绪机器人研究小组以及英国伯明翰大学a s l o m a n 领导的c o g n i t i o na n d a f f e c tp r o j e c t 研究组等。在市场应用方面，德国m e h r d a dj a l a d i s o l i 等人在 2 0 0 1 年提出了基于e m b a s s i 系统的多模型购物助手。该系统是由德国教育 及研究部( b m b f ) 资助并由2 0 多个大学和公司共同参与的，以考虑消费者 心理和环境需求为研究目标的网络型电子商务系统【6 l 。 在人类情感的计算机系统实现的研究中，特别值得一提的是日本开展的 研究工作。日本在上世纪7 0 年代提出了“感性工学”( k a n s e ie n g i n e e r i n g ) 的概 念。所谓感性工学，就是将感性与工程结合起来的技术，是在感性科学的基 础上，通过分析人类的感性，把人的感性需要加入到商品设计中去，是一门 从工程学的角度实现能给人类带来喜悦和满足的商品制造的技术科学【6 】。由 于感性工学可以给人们的生活带来快乐和舒适，因而也被称为“快乐而舒适” 的科学，把基于感性工学技术而生产的商品称为“感性商品”。目前日本在 感性工学的研究领域已经取得了很好的成果，索尼公司生产的a i b o 机器狗 【1 l 】和n e c 公司开发的服务型机器人p a r e r o 1 2 】是其中的典型代表。 1 2 3 情感计算的国内研究现状 我国对情感计算的研究始于2 0 世纪9 0 年代。 北京科技大学王志良教授提出了人工心理的概念，对人的心理活动( 包 括情感、意志、性格、创造等) 进行人工模拟，并确立了人工心理理论结构 体系，并把这一理论应用于情感机器人、商品选购系统等方面，取得了较好 的研究成果 1 3 1 。目前该课题组正在情感建模、人机情感交互系统、情感机器 人等方面进行深入探讨 1 4 1 7 】。哈尔滨工业大学以高文教授为主，研究多功能 感知机，它是将人工智能与并行处理相结合，将智能体技术、数字模拟混合 计算技术、并行计算技术、实时处理技术以及语音识别、表情识别【1 8 - 2 0 、人 脸识另l j 2 1 , 2 2 、人脸检测与跟踪、文字识别、手语识别、手语合成、表情合成、 自然语言理解等技术有机结合在一起，构造一个可以研究和开发包括视觉、 第4 页西南交通大学博士研究生学位论文 听觉等信息的软件和硬件平台，并与海尔公司合作研究服务型机器人。中国 科学院计算所王兆其的研究组研究带有表情和动作的虚拟人。北京工业大学 进行多功能感知机和情感计算的融合研究。中国科学院自动化研究所谭铁牛 的研究组主要从事基于生物特征的身份验证。中科院心理学所、生物所主要 侧重于生理学、心理学的研究。重庆大学主要研究智能服务、增强现实、环 境感知、智能手表等，注重软件方面的研究。东南大学的学习科学研究中心 把儿童面部表情与情感语音信息分析、情绪与认知、虚拟现实与脑科学可视 化技术、认知与生物信息学研究作为主要研究方向【1 6 】。 更为重要的是，1 9 9 8 年国家自然科学基金委将“和谐人机交互环境中的 情感计算理论研究”列为信息科学技术高技术探索第六主题。1 9 9 9 年“和谐 人机环境中的情感计算理论研究”被列入国家高技术研究发展计划纲要新概 念新构思探索课题重点项目指南中。2 0 0 4 年国家自然科学基金委将情感计算 的研究列入重点项目的指南。在国家中长期科学和技术发展规划纲要( 2 0 0 6 - - 2 0 2 0 年) 中也指出将促进基于生物特征的、以图像和自然语言理解为基 础的“以人为中心”的信息技术发展，推动多领域的创新，重点研究人性化 的智能机器人和人机交互系统等。2 0 0 9 年国家自然科学基金委公布了“视听 觉信息的认知计算”的重大研究计划。上述研究计划的制定和实施表明，包 括对人的情感在内的“以人为中心 的研究逐步在我国走向广泛和深入。 1 2 4 情感计算研究的挑战 情感计算的研究涉及到众多学科的交叉，包括心理学、生理学、脑科学、 计算机科学、自动化科学、人工智能等。目前，虽然情感计算在应用方面取 得了许多进展，但是，由于情绪心理学理论方法的多样性，导致在基础理论 与方法上还不成熟，因而应用研究也受到很大影响。目前，在该研究领域中 还有很多挑战，在计算机科学和智能科学的研究领域中存在的问题主要包 括：还没有适用于信息科学的人工情绪的统一理论方法；还没有符合人类情 感规律并适于机器实现的人工情绪自动生成模型；如何从多模态的角度进行 情感信息的融合、识别与理解；实现自然和谐的人机交互平台环境等【6 】。 西南交通大学博士研究生学位论文第5 页 1 3 人脸表情识别的研究现状 早在十九世纪，达尔文通过观察发现人类与哺乳动物的表情具有关联 性。1 9 7 1 年e k m a n 提出人类具有六种基本情绪：高兴( h a p p i n e s s ) 、悲伤 ( s a d n e s s ) 、害。t f l ( f e a r ) 、厌恶( d i s g u s t ) 、惊讶( s u r p r i s e ) 、愤怒( a n g e r ) ，而且， e k m a n 还认为每一种情绪都与特定的面部表情相关联【2 3 】。2 0 世纪7 0 年代末， s u w a 等人率先开始基于图像处理方法对面部表情识别和分析进行研究【2 4 1 。 2 0 世纪9 0 年代，随着计算机软件和硬件的发展，以及人脸检测和人脸识别 等方面的技术进步，基于图像分析与计算机视觉的表情分析与处理方法获得 了持续发展。 通常，基于图像处理的人脸表情识别系统具有以下基本流程。 图1 - 1 人脸表情识别系统的流程图 在上述的流程图中，图像的输入可以是静态的人脸图片，也可以是包含 人脸的视频片段。图像预处理部分主要是对人脸图片或者人脸视频信息的处 理，是服务于特征提取的。通常的预处理工作主要包含人脸检测、除去饰物 等干扰、光照补偿等。特征提取模块的关键是为了获取便于计算机处理且能 较好刻画图像中人脸表情的特征。模式分类模块的关键是设计出能得到较高 正确识别率的人脸表情识别方法。 在人脸表情识别的流程中，特征提取和模式分类是其中的重点和难点， 而且两者相互关联【2 引。关联性表现为两个方面：一个方面是如果抽取的特征 越能表征图像中的表情信息，则分类器的分类效果就会越好；另一个方面是 如果分类器的功能越强大，则对面部特征的要求越低。由于这两个方面都对 最终的识别结果起举足轻重的作用，因而需要从这两个方面共同努力才有可 能得到较好的结果【26 l 。下面对这两个部分进行简要介绍，而本文所采用的图 像预处理方法以及人脸表情特征的提取方法将在第二章进行介绍。 第6 页西南交通大学博士研究生学位论文 1 3 1 特征提取 1 3 1 1 几何特征的提取方法 基于几何特征的表情识别方法通过在图像上测量人脸面部特征点之间 的距离以及对称性实现表情分类。这类方法往往首先确定眉、眼、口、鼻等 部位的特征点，然后根据这些特征点之间的距离、距离的比例关系、对称性 等进行表情分类。 p a n t i c 改进并完善了一种自动提取脸部器官和轮廓基准点的方法【27 1 。首 先从正面人脸提取1 9 个特征点，并且从侧面人脸提取1 0 个特征点。然后， 通过一致性检验为每个特征点赋予一个确定性因子( c e r t a i n t yf a c t o r , c f ) 。 最后，采用多检测器的方法，通过对c f 进行比较，从多个检测器输出中选 择最精确的检测结果。 高文等人选择面部五官之间的关键距离构建了面部六元组，并通过可形 变参数模型方法求出面部六元组的数值，最后使用分类判别树实现表情识别 2 0 】 o b o u r e l 和c h i b e l u s h i 定义了九个面部特征点之间的距离并通过它们构建 表情特征向量进行表情分析。他们的研究着重于面部有遮挡的情况对于表情 识别结果的影响【列2 9 1 。 k o t s i a 和p i t a s 先对人脸图片进行几何特征点标定，然后采用基于人脸形 变的模型和网格跟踪，对人脸表情图片序列进行特征点跟踪，对提取的几何 特征采用多类支持向量机进行分类，得到了较好的实验结剁3 0 】。 金辉等人基于人脸面部物理一几何结构模型，提取面部表情特征区域， 通过动态图像序列中的光流估计，计算其运动场，进而计算特征流向量，把 一组图像序列的运动向量组成运动特征序列，对表情进行分析【3 1 1 。 几何特征的识别效果对基准点提取的准确性要求较高，在图像质量低和 背景复杂的情况下难以实现。同时，几何特征的提取忽略了脸部其他部分的 信息，如皮肤的纹理变化等，因此在识别细微变化的表情时区分性不够高。 但是，基于几何特征的识别方法具有如下优点：符合人类识别人脸的机理， 易于理解：对每幅图像只需存储一个特征矢量，存储量小；对光照变化 西南交通大学博士研究生学位论文第7 页 不太敏感1 3 2 。正是由于几何特征具有直观、方便提取等特点，本文的研究采 用了几何特征作为研究对象。 1 3 1 2 统计特征的提取方法 统计特征的提取方法是通过对整幅人脸或人脸图像中特定的区域进行 变换，获取人脸表情的特征并用于表情识别。 统计特征的提取中最有代表性、应用最为广泛的就是主成分分析 ( p r i n c i p a lc o m p o n e n t a n a l y s i s ，p c a ) 。其基本原理是：假设人脸处于低维线 性空间，且不同表情具有可分性，将高维图像空间的人脸图像进行 k a r h u n e n l o e v e 变换( k l 变换) 得到一组新的正交基，通过分析人脸训练 样本集的统计特