（计算机应用技术专业论文）基于粗糙集与混合特征的人脸表情识别研究.pdf

江苏大学硕士学位论文 摘要 人脸表情识别( f a c ee x p r e s s i o nr e c o g n i t i o n ，f e r ) 是指利用计算机技术对人脸 表情信息进行特征提取，按照人的思维方式加以归类和理解，进而从人脸信息中 去分析理解人的情绪，是涉及生物特征识别、模式识别、图像处理、机器视觉、 运动跟踪、生理学、心理学等研究领域的一个极富挑战性的交叉课题，是情感计 算、智能人机交互的重要组成部分，有着广泛的应用前景和潜在的市场价值。 本文首先综述课题的研究背景，并分析目前国内外已提出的表情特征提取方 法以及表情识别方法。在此基础上，提出基于粗糙集与混合特征的人脸表情识别 方法，主要内容如下： ( 1 ) 把粗糙集引入到人脸表情识别中，提出改进的粗糙集属性约简算法， 弥补了原有的启发式属性约简算法仅从核属性出发的缺点，既考虑了属性的重要 度，又考虑了各属性对信息系统贡献的重复度，可以有效的选择表情特征。 ( 2 ) 针对已有的w p c a 只是强调人脸图像中某一个或两个位置的信息，加 权特征区域形状不够灵活的缺点，提出改进的加权主成分分析算法( u w p c a ) ， 分散强调对表情变化有重要贡献的人脸中眼睛、眉毛、嘴巴区域，使面部表情特 征更加突出；加入水平、垂直两方向的渐变比例系数，实现加权区域的双向可调。 ( 3 ) 为提取更有效的特征，提出基于局部几何特征和整体特征相融合的混 合特征提取方法。采用a a m 定位图像序列中人脸图像的特征点，选取其中眉毛、 眼睛、鼻子、嘴巴、脸颊区域的3 2 个关键点，然后计算每幅图像的不同点的不 同距离，再采用粗糙集进行特征选择，得到局部几何特征；采用u w p c a 与粗糙 集相结合的方法提取表情图像的整体特征。两种特征的优缺点相互补充，采用核 典型相关分析对这两种特征进行融合，将融合后的特征作为离散h m m 的观察值 向量，取得较好的识别率。 ( 4 ) 采用面向对象的设计方法，设计实现基于图像序列的人脸表情识别原 型系统，该原型系统主要包括：图像预处理、表情特征提取( a a m 和u w p c a 相 关操作) 、特征选择、情感特征融合和典型表情识别等功能模块。 关键词：表情识别，主动表观模型，粗糙集，u w p c a ，特征融合，k c c a ，离 散h m m 江苏大学硕士学位论文 a b s t r a c t t h ef a c ee x p r e s s i o nr e c o g n i t i o n ( f e r ) r e f e r st ou s et h ec o m p u t e rt e c h n o l o g yt o e x t r a c tf e a t u r e sf r o mt h ef a c ee x p r e s s i o ni i m a g ea c c o r d i n gt ot h eh u m a nt h i n k i n gw a y t oc l a s s i f yt h ef e a t u r e s ，i no r d e rt oa n a l y z ea n du n d e r s t a n dt h eh u m a nf e e l i n g sf r o m t h eh u m a nf a c ei n f o r m a t i o n t h ef e ri sac h a l l e n g i n gc r o s s c u t t i n gi s s u ew h i c hi s r e l a t e dt ob i o l o g i c a lf e a t u r e s r e c o g n i t i o n ，p a t t e mr e c o g n i t i o n ，i m a g ep r o c e s s i n g ， m a c h i n ev i s i o n ，m o v e m e n tt r a c k i n g ，p h y s i o l o g y , p s y c h o l o g ya n ds oo n a tt h es a m e t i m e ，i ti sa ni m p o r t a n tp a r to fa f f e c t i v ec o m p u t i n ga n di n t e l l i g e n th u m a n c o m p u t e r i n t e r a c t i o nw h i c hh a sb r o a da p p l i c a t i o n sa n dp o t e n t i a lm a r k e tv a l u e s i nt h i st h e s i s ，w ef i r s t l yd i s c u s st h eb a c k g r o u n da n dt h e na n a l y z et h em a i ne x i t i n g e x p r e s s i o nf e a t u r ee x t r a c t i o na n dr e c o g n i t i o na l g o r i t h m s o nt h i sb a s i s ，w ep r o p o s e t h em e t h o do ff a c i a le x p r e s s i o nr e c o g n i t i o nb a s e do nr o u g hs e ta n df u s e df e a t u r e 。 n em a i nc o n t e n t sa r ed e s c r i b e da sb e l l o w s ： ( 1 ) t h er o u g hs e ti si n t r o d u c e dt of e r ，a n dt h ea l g o r i t h mo fi m p r o v e dr o u g hs e t a t t r i b u t er e d u c t i o ni sp r o p o s e d ，i tm a k e su pt h es h o r t c o m i n g so ft h eo r i g i n a la t t r i b u t e r e d u c t i o na l g o r i t h mw h i c ho n l ye m b a r k sf r o mt h ek e r n e la t t r i b u t e s i tc o n s i d e r st h e i m p o r t a n c ed e g r e eo ft h ea t t r i b u t et a k e si n t oa c c o u n tt h ec o n t r i b u t i o n sd e g r e eo f v a r i o u sa t t r i b u t e s s oi tc a nb eu s e dt os e l e c te x p r e s s i o nf e a t u r e se f f e c t i v e l y ( 2 ) t oo v e r c o m et h ep r o b l e mo fe x i s t i n gw p c a w h i c h o n l ys t r e s s e ds o m eo rt w o r e g i o ni n f o r m a t i o na n dw e i g h t e dr e g i o n ss h a p ei sn o tf l e x i b l ee n o u g h ，t h eu p d a t e d w e i g h tp r i n c i p a lc o m p o n e n t sa n a l y s i sa l g o r i t h m ( t n 胛c a ) i sp r o p o s e d i ts c a t t e r s e m p h a s i so nt h er e g i o n sw h i c h h a v ei m p o r t a n tc o n t r i b u t i o n st ot h ee x p r e s s i o nc h a n g e s s u c ha st h ee y e ，e y e b r o wa n dm o u t h ，8 0t h ef a c ee x p r e s s i o nf e a t u r e sa r em o r e p r o m i n e n t t h e n ，t w oc o e f f i c i e n t so ft h eh o r i z o n t a la n dv e r t i c a ld i r e c t i o na r ej o i n e dt o a c h i e v et w o - w a ya d j u s t a b l eo ft h ew e i g h tr e g i o n ( 3 ) i no r d e rt oo b t a i nm o l ee f f e c t i v ef e a t u r e ，an e wm e t h o db a s e do nt h ep a r t i a l f e a t u r e sa n dt h eo v e r a l lf e a t u r e si sp r o p o s e dt oe x t r a c tt h eh y b r i df e a t u r e s a a m m e t h o di su s e dt op a r t i a lp o s i t i o n ，s e l e c t3 2k e yp o i n t sf r o mt h ee y e b r o w s ，e y e s ，n o s e ， c h e e ka n dm o u t ha r e a s ，c a l c u l a t et h ed i f f e r e n td i s t a n c e sb e t w e e nd i f f e r e n tp o i n t s ，u s e t h er o u g hs e tt os e l e c tt h ef e a t u r e s rt oa c h i e v et h ep a r t i a lg e o m e t r yf e a t u r e s ；u w p c a i su s e dt ot h eo v e r a l lf e a t u r e sf r o mt h ee x p r e s s i o ni m a g e sw i t ht h er o u g hs e t t h e nt h e k c c ai su s e dt of u s et h e s et w of e a t u r e sa st h eo b s e r v a t i o nv e c t o r so fd i s c r e t eh m m ， w h i c hc a na c h i e v eag o o dr e s u l t ( 4 ) ap r o t o t y p es y s t e mo ff a c i a le x p r e s s i o nr e c o g n i t i o nb a s e do nr o u g hs e ta n d f u s e df e a t u r ei sd e s i g n e da n di m p l e m e n t e d t h em o d u l e si nt h i ss y s t e mm a i n l y i n c l u d e ：i m a g ep r e t r e a t m e n t ，e x p r e s s i o nf e a t u r ee x t r a c t i o n ，f e a t u r es e l e c t i o n ，e m o t i o n f e a t u r ef u s i o na n dt y p i c a le x p r e s s i o nr e c o g n i t i o n k e y w o r d s ：e x p r e s s i o nr e c o g n i t i o n ，a a m ，r o u g hs e t ，u w v c a , f e a t u r ef u s i o n ， k c c a , d h m m 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文 的规定，同意学校保留并向国家有关部门或机构送交论文的 复印件和电子版，允许论文被查阅和借阅。本人授权江苏大 学可以将本学位论文的全部内容或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存和 汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密囤。 学位论文作者签名：住、韵 寸叩年p 2 月i ；日 指导教师签名： 气年) 只| ； 日 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指 导下，独立进行研究工作所取得的成果。除文中己注明引用 的内容以外，本论文不包含任何其他个人或集体已经发表或 撰写过的作品成果。对本文的研究做出重要贡献的个人和集 体，均已在文中以明确方式标明。本人完全意识到本声明的 法律结果由本人承担。 学位论文作者签名：隹两 日期：沙p c 7 年工月；日 江苏大学硕士学位论文 1 1 研究目的及意义 第一章绪论 随着计算机技术的发展与普及，软、硬件取得了极大的进步，计算机的使用 者也从计算机专家迅速扩大到广大未受过专门训练的普通用户，由此极大地提高 了用户界面的重要性，强烈地刺激了人机交互界面的进步。新型的人机交互 ( h u m a nm a c h i n ei n t e r a c t i o n ，h c i ) 技术正逐渐成为研究热点。人类自然形成的与 自然界沟通的认知习惯和形式必定是人机交互的发展方向，一方面要求计算机能 看、能说、能听、能感觉，即能够智能地感知使用者的意图，另一方面，使用者 可以不必坐在计算机前通过鼠标和键盘操作计算机，而是可以在三维空间中以更 加自然和人性化的方式同计算机交流。 表情是一个人的情感状态、内心活动、意图、个性的外在表现，传达的是一 种非口头语言信息，可以帮助交谈双方理解隐藏在话语下面的潜在意图，是人际 交往中信息传达、情感交流不可缺少的手段，也是了解他人主观心理状态的客观 指标。关于表情传递信息的作用，心理学家m e h r a b i a n l l 】给出了一个公式：感情表 露= 7 的言词+ 3 8 的声音+ 5 5 的面部表情。可以看出表情包含了大部分非语言 交流中传递的情感信息，借助表情，我们才能“察言观色”，在别人的举手投足 间洞悉他的内心感受，人脸表情在人们的交流中起着非常重要的作用，是人们进 行非语言交流的一种重要方式【2 】。表情含有丰富的人体行为信息，是情感最主要 的载体，是智能的体现，对它的研究可以进一步了解人类对应的心理状态。在计 算机视觉领域中，通过人脸面部信息的理解，能够在时间和空间上，详尽的估计 脸部运动，测量肌肉的动作，精确表征人脸表情，推动了生物学结构所支持的运 动检测视觉通信在人类的交流中起着重要的作用，表情的识别对低带宽的数据传 递，先进的编码通信和动态的交互系统研究中，以及对动态序列图像中的人脸识 别和多媒体面部图像处理的问题等，都将有很大的贡献，对实现人体语言和自然 语言的融合，以及语言和表情的连接模型的建立有重要的意义。 人脸表情包含描述人感情状态的各种行为信息，如恐惧、愤怒、高兴、悲伤、 惊讶、憎恶以及很多复杂感情。对人类的信息交流具有重要作用。在r 常生活中， 人们不可能永远保持一种固定不变的脸部表情，通过脸部表情来表达自己情感是 人们最自然的表现方式。脸部表情在表达人微妙情绪反应的同时，填补语言交流 的不足。由于人的脸部表情是反映人内心情绪和想法的最自然最直接的方式，而 在工程应用、心理学、人类学、整容术和牙科等许多领域，人脸和表情都得到广 江苏大学硕士学位论文 泛的研究，成为一个重要的研究课题。因此，基于数字图像的人脸表情识别技术 的研究是继人脸检测及识别之后的又一研究热点。本文便是在这样的背景下开展 人脸表情识别的相关研究工作。 1 2 r 国内外研究现状 人脸表情识别( f a c i a le x p r e s s i o nr e c o g n i t i o n ，f e r ) 是计算机对人脸的表情信 息进行特征提取并归类的过程，它使计算机能获知人的表情信息，进而推断人的 心理状态，从而实现人机之间的高级智能交互，是模式识别、生理学、心理学、 计算机视觉等多学科交叉的一个极富挑战性的课题。 最初表情相关的研究主要集中在生理学、心理学和认知科学等领域，1 9 7 8 年s u w a 等【3 】对选定的连续图像序列中脸部固定的2 0 个点进行跟踪识别并与原型 模式进行比较以实现识别，将表情识别引入机器视觉领域。9 0 年代，以m a s e 和 p e n t l a n d 的工作为起点，使用计算机进行自动人脸表情分析的研究工作迅速展开。 目前国际上有很多机构都在进行人脸表情识别方面的研究，对人脸表情识别 及其相关方向的研究主要有美国的麻省理工大学、卡耐基梅隆大学、马里兰大学、 伊利诺大学香槟分校、斯坦福大学、日本的名古屋大学、城螟大学、东京大学、 大阪大学和a t r 研究所，瑞士的戴尔莫尔感知人工智能研究所等。国内从事这 方面研究的研究机构与大学有清华大学、哈尔滨工业大学、中科院、南京理工大 学等。卡耐基梅隆大学已经建立了比较简单的自动面部分析系统。荷兰的代夫特 大学研制的系统1 4 】主要处理静态图像，识别过程中需要同时得到人脸的正面剖面 两幅图像，由两幅图像上的特征点构成特征向量，利用专家系统规则识别面部表 情活动。m m 提出了蓝眼睛计划，其主要目标是给电脑以人类的触觉、听觉和 视觉感受，并进一步达到能够分析人类目光和表情，察觉人类情感的状态。美国 伊利诺斯大学的t h o m a s 教授一直致力于通过面部表情的识别读取人物情绪状态 的研究。 1 2 1 人脸表情自动识别系统 人脸表情识别所要研究的就是如何自动、可靠、高效地利用人脸表情所传达 的信息。人们对表情识别的研究可以追溯到1 9 世纪6 0 年代，早期主要集中在从 心理学和生物学方面进行研究和分析。法国学者莫罗在他的关于人相学的论 文中试图阐明各种表情的意义和起源。达尔文在他著名论著人类和动物的表情 ( t h ee x p r e s s i o no f m o t i o n si na n i m a l sa n dm a n1 8 7 2 ) ) ) 中阐述了人的面部表情和动 物的面部表情之间的联系和区别；并提出苦恼、忧郁、担心、悲哀、绝望、喜悦、 反省、默想、不平、怨恨、愤怒等3 6 种人类的表情，他的这些研究为后人对人 2 江苏大学硕士学位论文 类行为的研究提供了丰富的资料。1 9 7 1 年，e k m a n 和f f i e s e n 【5 l 研究了6 种基本 表情：即高兴、悲伤、惊讶、恐惧、愤怒和厌恶，并系统地建立了上千幅不同的 人脸表情图像库以及3 3 种不同的表情倾向，说明了具有这六种表情的人脸特征 与无表情的人脸特征相比有相对独特的肌肉运动规律。 人脸表情自动识别系统包括人脸检测、面部特征提取和人脸表情分类三个核 心环节。人脸检测部分是在脸部图像或图像序列中定位人脸：面部特征提取是从 脸部图像中提取所需的脸部运动或形变信息；表情分类是将输入的脸部图像归入 某个表情类别中。人脸检测和面部特征提取之间根据某些具体算法的要求可能需 要人脸分割和脸部归一化等操作，人脸分割能够有效的去除背景干扰，分离无用 特征；脸部归一化主要指人脸姿态、尺寸、灰度和位置的归一化。面部特征抽取 和表情分类之间可能还需要进行人脸描述，人脸描述是人脸表情识别前期工作， 包括特征区域描述，稀疏特征描述，高级特征描述等多种方式，人脸描述方式决 定了人脸表情特征抽取的方法。人脸表情识别的框架图如图1 1 所示。 表 情 图 像 序 列 脸部整体信息l 厂孚区域分莉 人脸检测 尺寸归一化ll 灰度均衡化 图1 1 人脸表情识别的基本框架 人类识别人脸信息几乎没什么困难，但对计算机却相当不容易。因此，采用 计算机对人脸表情进行自动分析与识别是一项具有挑战性的任务。虽然已经取得 了一些成绩，但是实用化还需要不懈努力。由于静态图像很难精确揭示表情变化， 基于图像序列的表情识别便已成为目前研究的热点。由于人脸表情变化表现在图 像上会产生多种不同的变化，如五官位置、形状，以及皮肤纹理、阴影等，因此 将多种特征混合起来，最大限度地利用表情变化产生的信息，更完整地表示表情。 1 2 2 人脸检测与定位 人脸检测( f a c ed e w i o n ) 可以描述为对任意一副静止图像或一段动态图像序 列，采取一定策略，从未知的图像背景中分割、提取并确认可能存在的人脸，如 3 江苏大学硕士学位论文 果检测到人脸，提取人脸特征，并返回人脸的位置、大小和姿态。人脸检测问题 所包含的内容十分广泛，从不同的角度可以有多种分类方法，见表1 1 所示。 表1 1 人脸检测问题的分类 分类依据类别 静i ：图像( 包括如数字化的照片、 动态图像( 即视频序列，包括t 作 图像图像来源 数码相机拍摄的图片等，目前考虑 台前的人脸序列保安监控录像、 的主要问题是算法的适应性和鲁 影视资料等，往往与人脸的跟踪 问题交织在一起，对算法的速度 类型 棒性，算法速度在其次) 有很高的要求) 颜色信息彩色灰度 镜头类型头肩部图像、卜身全身图像 图像 人脸姿态正面( 包括端正及平面内旋转)侧面( 包括俯仰、侧影及旋转) 前景 单人( 又可以称为人脸定位，是人 未知( 需要判定图像中是否存在 人脸数目 脸检测问题在已知人脸数目情况 人脸，人脸的数目以及各个人脸 的尺度和位置，即完全的检测问 下的特例) 题) 简单背景( 指无背景或背景的特征 复杂背景( 指背景的类型和特征 图像背景复杂程度 被严格约束，在该条件卜- 只利用人 不受约束，某些区域可能在色彩、 脸的轮廓、颜色、运动等少量特征， 纹理等特征上与人脸相似，必须 利用较多的人脸特征才能做剑准 就能够进行准确检测 确枪测) 应用领域 人脸信息处理( 验证、识别、表情分析等) 系统、视频会议或远程教育 系统、视觉监视与跟踪、基丁内容的图像与视频检索等等 人脸检测的基本思想是用知识或统计的方法对人脸建模，比较待检测区域与 人脸模型的匹配程度，从而得到可能存在人脸的区域。大致可分为以下两类： ( 1 ) 基于统计的人脸检测：将人脸图像视为一个高维向量，将人脸检测问题 转化为高维空间中分布信号的检测问题，分为三种：子空间方法：这类方法把 人脸区域图像变换到某一低维特征空间，根据其在特征空间中的分布将其归类。 m o g h a d d a m 7 将k - l 变换引入人脸检测，利用p c a 求出主元子空间( 特征脸) ，子空 间方法的特点在于简便易行，但由于没有利用反例样本信息，对于人脸类似的物 体辨别能力不足。模板法：模板分为固定模板和变形模板。固定模板是求取测 试样本与参考样本之间的某种度量，由阈值大小的定义来判断测试样本是否是人 脸。它多用于粗检测和预处理过程【6 】。变形模板包含一些非固定的元素，加入了 惩罚机制，以参数化或自适应的曲线和曲面来构成人脸模板。样本学习：将人 脸检测视为从非人脸样本中识别人脸样本的模式分类问题，通过对人脸样本集和 非人脸样本集进行学习以产生分类器。目前幽际上普遍采用人工神经网络。 ( 2 ) 基于知识的人脸检测：是利用人的知识建立若干规则，从而将人脸检 测问题转化为假设验证问题。分为三种：颜色、纹理信息：同一种族人的面 4 江苏大学硕士学位论文 部肤色在颜色空间中的分布相对比较集中，颜色信息在一定程度上可以将人脸从 大部分背景区分开来。对称性：人脸具有一定的轴对称性，各器官也具有一定 的对称性。r e i s f e l d l 8 】提出了广义对称变换方法检测局部对称性强的点来进行人脸 器官定位。人脸规n - 人脸规则是人脸遵循的一些几乎是普遍适用的空间相关 性。它包括： 1 灰度分布规则。如五官的空间位置分布大致符合“三停五眼 ， 人脸不同区域的明显关系不变，眼睛的灰度总是比i j 额和颧骨低，鼻梁的灰度一 般比两侧亮等。 2 轮廓规则。人脸的轮廓可以简单地看作一个近似椭圆，而人 脸检测可以通过椭圆检测来完成。 3 运动规则。通常相对背景人总是在运动的， 利用运动信息可以简单有效地将人从任意复杂背景中分割出来。 1 2 3 表情特征提取 表情特征提取需要对人脸的器官特征、纹理区域和预定义的特征点进行定位 和提取，是表情识别系统中的核心，决定着最终的识别结果。有效的表情特征提 取工作将大大提高表情识别的性能。表情识别特征提取常见方法：基于统计的方 法、基于几何特征的方法、基于模型的方法、基于神经网络的方法、其他方法【9 】。 ( 1 ) 基于统计的方法 基于统计的方法是通过对整幅人脸或人脸图像中特别的区域进行变换，获取 人脸各种表情的特征来进行识别的。与下面基于几何特征的方法相比，它主要是 强调尽可能多的保留原始人脸表情图像中的信息并允许分类器发现表情图像中 相关的特征。通过对人脸表情图像进行变换，获取特征来进行识别。这种全局表 情特征未必有明确的含义，但在某种意义上是易于分类的。由于基于全局的表情 识别方法具有强相关性及高冗余度，因此如何在抽取优化特征的同时提高识别的 自适应性，至今还没有一个行之有效的方法。 在基于统计的识别方法中最有代表性、应用最为广泛的就是主成分分析 ( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 方法，现在已成功的用于人脸识别和人脸表 情识别中，其基本原理是：它借助于一个j 下交变换将其分量相关的原图像向量转 化成其分量不相关的新随机向量。在代数上表现为将原随机向量的协方差阵变换 成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本 点散布最开的p 个正交方向，然后对多维变量进行降维处理，使之能以一个较高 的精度转换成低维变量系统。它的优点是最大化的保留了原始数据的差异，缺点 是当样本类间离散度增大的同时，样本类内离散度也在增大。a n d r e w 、c a l d e r 等【1 0 l 详细的介绍了p c a 在面部表情识别方面的应用。 ( 2 ) 基于几何特征的方法 5 江苏大学硕士学位论丈 最早，研究人员利用人脸特征显著点导出一组用于识别的特征进行人脸及其 表情识别【1 1 1 。采用几何特征提取方法是通过提取人脸的眼睛、鼻子、嘴巴、下巴 等重要特征点的位置，尺度，以及相互间的比率，将人脸用一组几何特征矢量表 示。l a n i t i s 、t a y l o r 和c o o t e s 1 2 1 用脸部一系列的特征点组成可变形的模型，通过 检测特征点的相互位置和形状来识别人脸表情。 。基于几何特征的谚 别方法具有如下优点：符合人类识别人脸的机理，易于 理解；对每幅图像只需存储一个特征矢量，存储量小；对光照变化不太敏感。 该方法同样也有缺点：从图像中抽取稳定的特征比较困难，特别是在特征受到 遮挡时；对强烈的表情变化和姿态变化的适应性较差：一般几何特征只描述 了部件的基本形状与结构关系，忽略了局部细微特征，造成部分信息丢失。 ( 3 ) 基于模型的方法 基于模型的特征提取方法主要是建立精确的物理模型，根据解剖学知识确定 关键特征并通过比较这些特征的变化来识别人脸表情。点分布模型p d m ( p o i n t d i s t r i b u t i o nm o d e l ) 是一种参数化的形状描述模型，用一组离散的控制点来描述对 象的形状，并用p c a 方法建立起各个控制点的运动模型，对控制点的基准位置 和移动模式作了约束，从而保证模型的整体形变始终在可接受的范围之内。此方 法在模型中引人了与目标特征有关的信息，从而降低了对噪声和形变的影响，不 过运算量较大。活动外观模型a a m i ”l ( a c t i v ea p p e a r a n c em o d e l s ) 也是一种基于 模型的方法，它建立了一种对目标对象变化程度的参数化描述。这种方法首先从 训练集中通过手工标定一组点构成形状信息，然后通过灰度插值法得到灰度信 息，综合这两种信息并用主成份分析法去除冗余信息得到a a m 基向量。在应用 时，要对实际图像进行形状定位与灰度信息获取，然后计算这些信息在各个a a m 基向量上的投影，调整模型参数使得通过a a m 模型合成图像与真实图像间的差 异达到最小，并以满足这个条件时的模型参数构建表情特征向量。主动形状模型 ( a s m ) 最初是由c o o t e s t l 4 】等人提出的一种用于在图像中搜索某一特定类型对象 的方法。其主要思想和s n a k e t l 5 l 方法类似，不同的是它在搜索目标模型的变形时 依赖于训练集，这就保证了目标搜索的正确性。m a h o o r ”】等利用颜色信息对a s m 方法进行了改进，在r g b 彩色空间模拟特征点的局部结构，使用2 d a f f i n e 转换 对面部特征重新排序，补偿了头部姿态变化和3 d 数据到2 d 转换的影响。 ( 4 ) 基于神经网络的方法 神经网络是在生物神经学研究成果的基础上提出的人工智能的概念，是对人 类大脑系统一阶特性的一种描述。对于人脸这类复杂的，难以显式描述的模型， 基于人工神经网的方法具有独特的优势。在利用神经网络进行模式识别的系统 中，神经网络的输入策略主要有两种：一种是将提取得到的特征向量作为输入向 6 江苏大学硕士学位论文 量，这种输入策略可以有效地控制神经网络的规模，提高神经网络的运行速度， 但对提取特征的要求较高；同时提取什么特征以及提取多少特征才能满足识别的 要求很难先验得出。第二种是将人脸图像像素直接输入神经网络，这种输入策略 对于特征提取的要求降低，并可以根据样本自身的群体特性来进行特征选择，但 同时带来的问题是网络的规模扩大而造成收敛的缓慢和不稳定。 ( 5 ) 其它方法 用小波方法进行图形识别的技术已r 趋成熟。m i c h a e ll y o n s 和s h i g e r u 和 a k a m a t 等f 1 6 1 用g a b o r 小波进行面部表情信息的压缩编码，但在图像序列中只考 虑特征点位移纹理信息，并未运用颜色信息。c m u 为实现自动识别运用了三种 提取表情信息的方法：特征点跟踪、流跟踪和边缘检测。p e n g 和h a y e s 研究了 人脸表情建模与合成，用基于模型图像编码的方法使用遗传算法来编码，识别与 合成各种不同的表情。 1 2 4 表情识别分类 表情分类指定义一组类别，并设计相应的分类机制对表情进行识别，归于相 应的类别。如按照脸部动作分类( f a c s ) ，将脸部的动作分类到4 4 个a u s ( a c t i o n u n i t s ) ；或按照情感分类，将表情分类到e k m a n 和f r i e s e n 定义的6 种基本情感。 目前主要的方法总结如下： ( 1 ) 基于模板的匹配方法。为每一个要识别的表情建立一个模板，将待测表 情与每种表情模板进行匹配，匹配度越高，则待测表情与某种表情越相似。对6 种典型的基本人脸表情可以建立相应的模板，但对于识别非典型脸部表情比如混 合表情时较困难，很难用有限的模板来代表无限多的人脸表情的情况。 ( 2 ) 基于似然度的方法。把被测表情图像归入与该图像最为相似的类别中， 这种相似性通常由欧氏距离( e u c l i d e a nd i s t a n c e ) 和余弦相似度( c s m ) 来度量，欧 氏距离判定规则为：与某类的中心欧氏距离最小，则与该类最为相似，判为该类； 余弦相似度的规则为：与某类的夹角余弦值最大，则与该类最为相似，判为该类。 ( 3 ) 基于人工神经网络的方法。人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k , a n n ) 可以作为单纯的分类器( 不包含特征提取、选择) ，也可以用作功能完善的分类器。 近年来，用于表情识别的人工神经网络分类器主要有：多层感知器、b p 网、r b f 网。g u e o r g u i e v a l l 7 1 使用多层感知的神经网络来进行表情识别，训练并测试了4 种网络，得出s 形函数和径向基函数的神经单元混合，能较好地适合于前馈神经 网络的结论。p a d g e t t 等使用反向传播算法训练人工神经网络，在e k m a n 人脸表 情库上能够达到8 6 的识别率。h a r a 和k o b a y a s h i 采用一个2 3 4 x 5 0 6 的反向传 播神经网络，输入层的神经元对应从输入脸部图像中提取的亮度分布数据，输出 7 江苏大学硕士学位论文 神经元对应6 种基本表情类别。但是，如果对自然表情类型而不是6 种基本表情 分类，那么神经网络方法的训练过程的工作量会非常大。针对现有的脸部表情分 析与识别方法往往对头部的姿态与光照条件等很敏感，算法在识别前往往需要很 复杂和耗时的预处理等问题。瑞士的b e a tf a s e l 采用卷积神经网络进行特征的提 取和脸部表情的识别，该方法无需对图像进行预处理，即可解决多姿态、多角度 和大小不一等面部表情识别的问题，使得算法具有很强的鲁棒性。 ( 4 ) 基于支持向量机的方法。支持向量机( s u p p o r tv e c t o rm a c h i n e s ，s v m ) 是一种泛化能力很强的分类器，它在解决小样本、非线性及高维模式识别问题方 面表现出了许多特有的优势，其基本思想可概括为：将训练样本经非线性变换映 射到另一高维空间中，在变换后的高维空间内寻找一最优的分界面，在类间空隙 最大的情况下将样本无错误或接近无错误分开。由于表情识别一般是多类别的分 类问题，因此需要将s v m 方法扩展到多类别的情形。主要有两种策略，一种是 将多类别问题分解成一系列二类别u j 题来求解；另外一种是将包含一类不同样本 的多类别问题分解成一个二类别问题，每次任选c 类样本作为二类别问题的一 类，剩下的c 一1 类样本作为另一类。 ( 5 ) 基于隐马尔科夫模型( 瑚1 旧的方法。表情是一个动态过程，如何有效地 利用动态信息将影响识别结果。隐马尔可夫模型( h i d d e nm a r k o vm o d e l ，h m m ) 能 够有效地对动念信息进行建模，既可以描述瞬态的随机过程又可以描述动态的随 机过程的转移特性，在语音识别、手写体识别、形状识别和图像分割等领域有着 广泛的应用。同样很容易使用隐马尔可夫模型对表情动态信息进行建模。l i m i n t l 8 1 等人提出了一种基于时间与空间分类的h m m ( h h m m ) 来识别图像序列中的表情 的方法，此方法通过多级h m m 对图像序列中的而部表情进行建模，对四种基本 表情如高兴、生气、害怕、伤心分别进行了实验。从实验结果知，此方法对单个 人的平均识别率达到了9 0 9 8 ；而且他们分别对基于时间、空间、及时间与空 间联合的h m m 建模进行了实验，发现在上述几种方法中，h h m m 所获得的性 能是最优的。a l e k s i c 等人提出了基于面部运动参数法与多流的h m m 的人脸表 情自动识别系统。从实验结果知，此方法可获得的最高识别率为9 3 6 6 ，多流 的h m m 比联合特征的单流h m m 的系统性能提高了大约5 。伪3 dh m m ( p 3 d h m m ) ，利用p 3 d h m m 进行表情识别，图像序列中的每一帧用其内嵌的 p 2 d h m m 表示，图像的行和列( 或数行、数列) 分别对应p 2 d h m m 的小超状 态和h m m 的状态，整个图像序列用p 3 d h m m 表示。i r ac o h e n 等【1 9 l 采用多层 h m m 结构对视频图像进行自动分割和表情识别，考虑六种基本表情，分别训练 一个h m m ，共六个h m m 作为底层h m m 组，解码底层h m m 组的状态序列， 并把其作为一个新的观测序列作为高层h m m 的输入信号，这个高层h m m 由7 8 江苏大学硕士学位论文 个状态组成，分别代表六种表情和中性表情，对高层h m m 状态序列解码得到视 频序列中每一帧所对应的表情。近几年的文献中，h m m 被普遍采用 2 0 , 2 1 1 。 ( 6 ) 其它分类方法。a d a b o o s t 方法将多个弱分类器结合起来训练形成强分类 器，不同分类器针对不同的特征，通过训练可以达到特征选择的目的。w a n g 2 2 1 用a d a b o o s t 方法训练查找表型的弱分类器进行表情识别，在自己收集的数据库 上的测试结果略优于s v m 。分层识别的思想，即先使用一种方法粗分类各种表 情，然后再使用别的方法进行细分类表情。 虽然人脸表情识别技术已被很多人所研究，但是现有的方法没有分散强调对 表情变化有重要贡献的人脸部眼睛、眉毛、嘴巴等区域的信息，而且，单一的特 征提取方法并不能涵盖所有的有效信息，为此，本文提出基于粗糙集与混合特征 的人脸表情识别方法。 1 3 论文的研究内容及主要工作 本文在广泛阅读国内外现有的关于人脸表情特征提取和表情识别技术的文 献后，比较和借鉴现有成功的人脸表情识别方法，对相应的人脸表情特征提取及 识别的关键技术进行改进和完善，同时提出自己的算法，并开发相应的人脸表情 识别原型系统。论文的主要研究内容和工作包括以下几方面： ( 1 ) 研究快速、准确的人脸关键特征点定位方法及加权主成分分析方法 特征部件或特征点的准确定位是人脸表情识别的重要前提，其准确性和高效 性是表情识别系统的重要性能指标，本文采用主动表观模型标定人脸关键特征 点。针对现有的加权主成分分析方法的不足，提出改进的三中心双向加权主成分 分析方法，用以突出对人脸表情变化有重要贡献的人脸部眼睛、眉毛、嘴巴区域 的信息。 ( 2 ) 基于粗糙集的表情特征选择方法 把粗糙集引入到人脸表情识别中，提出改进的粗糙集属性约简算法，弥补了 原有的启发式属性约简算法仅从核属性出发的缺点，既考虑到了属性的重要度， 又考虑到了各属性对信息系统贡献的重复度，可以有效地选择表情特征，降低提 取到的表情特征的维数。 ( 3 ) 研究混合特征的提取方法 特征提取足表情识别的至关重要的一步，特征的有效提取直接影响分类识别 的准确性。基于多种类型特征融合的混合方法成为发展的主要方向。本文主要提 取两种特征：采用主动表观模型和粗糙集相结合的方法( a a m r s ) 提取表情的局 部几何形变特征，采用改进的加权主成分分析法和粗糙集( u w p c a r s ) 相结合提 取表情的整体特征。 9 江苏大学硕士学位论文 h ) 基于混合特征融合与离散隐马尔可夫模型的表情识别算法 基于上文提取的两种特征，采用高维小样本下的核典型相关分析进行特征融 合。将融合后的特征作为离散h m m 的观察值向量，进行分类识别，最后得到分 类结果。 佟) 人脸表情识别原型系统设计 采用面向对象技术设计并实现人脸表情识别原型系统。该系统由人脸图像预 处理，人脸特征定位，表情特征提取，特征选择。表情分类识别五个模块组成， 并从实验角度验证上述方法的有效性。 最后，对全文的内容进行了总结，并提出进一步研究的目标和方向。 1 4 论文的结构 本文共分七章，主要内容概括如下： 第一章介绍课题的研究背景和研究意义，概述人脸表情识别所涉及的研究领 域及其潜在的应用领域。综述国内外的研究现状并介绍表情识别各阶段的主要算 法，对这些算法的优缺点从理论上给出比较，同时分析和提出本文的主要研究工 作。 第二章阐述人脸检测和表情图像的预处理，介绍本文使用的人脸检测算法以 及针对人脸表情图像所采用的预处理算法，预处理算法主要包括表情图像旋转调 整、尺寸归一化和灰度均衡化算法。 第三章详细阐述本文所使用的局部特征提取方法：主动表观模型和粗糙集相 结合的特征提取方法。首先分别介绍a a m 和粗糙集理论，然后给出具体的表情 特征提取算法，并给出实验结果与分析。 第四章详细阐述改进的加权主成分分析与粗糙集相结合的整体特征提取方 法。首先介绍改进的加权主成分分析方法，接着介绍表情特征提取算法，最后给 出实验结果与分析。 第五章介绍核典型相关分析( k c c a ) 的特征融合算法以及基于离散隐马尔可 夫模型( d h m v 0 的人脸表情识别算法。首先介绍核典型相关分析和隐马尔可夫模 型的基本理论和算法，然后将提取的两种表情特征通过典型相关分析进行特征融 合，并采用离散h m m 进行分类识别，最后给出实验结果及分析。 第六章介绍采用面向对象及设计模式的思想设计并开发人脸表情识别原型 系统的方法与过程，并给出了系统的部分功能界面图。 第七章对全文工作进行总结，并指出下一步需要开展的工作。 1 0 江苏大学硕士擘住论文 第二章人脸检测与表情图像的预处理 在进行人脸表情识别之前的第一步就是要准确地进行人脸检测。人脸检测的 月的是检测图像中的人脸并从背景中分割出来，是人脸表情自动识别系统中不可 缺少的部分。对人脸表情图像进行预处理是表情识别系统中一个重要的环节。人 脸图像由于实际的拍摄条件不叫，如光照以及拍摄设备的性能优劣等诸多因素的 影响，往往存在噪卢对比度不足等缺陷。另外，拍摄时的距离、角