（计算机应用技术专业论文）基于混合特征融合和离散hmm的人脸表情识别研究.pdf

江苏大学硕士研究生毕业论文 摘要 近2 0 多年来，通过计算机对人脸表情进行自动识别成为计算机视觉、图像 处理、模式识别等领域的一个热点研究课题，在视频会议、影视制作、智能人机 接口等方面有着非常广泛的应用前景。本文在前人有关表情识别方法研究的基础 上，提出了基于离散小波变换和标准正交非负矩阵分解( d w t 一0 的纹理特 征提取方法，提出了基于主动表观模型( a a 蛐的几何形变特征提取方法，并将提 取的两种表情特征利用典型相关分析( c c a ) 进行特征融合，将融合后得到的混合 特征作为离散隐马尔可夫模型( h 的观察值向量，进行表情的分类识别。主 要工作体现在以下几个方面： ( 1 ) 针对目前非负矩阵分解方法在表情特征提取方面存在的分解时间长和 信息冗余的问题，提出了两维离散小波变换和标准正交非负矩阵分解相结合的特 征提取方法。该方法首先对人脸表情图像进行两维离散小波变换，提取保存有大 部分原图像信息的低频信息作为研究对象，然后针对低频信息进行标准正交非负 矩阵分解，得到用于图像分类的标准正交特征子空间，通过将图像序列向该子空 问投影进行纹理特征提取。 ( 2 ) 提出了纹理特征和几何形变特征的混合特征提取方法。采用离散小波变 换和标准正交非负矩阵分解的方法提取表情图像的纹理信息；采用主动表观模型 ( a a m ) 定位图像序列中各幅人脸图像的6 8 个特征点，选取其中的眉毛，眼睛， 鼻子和嘴巴区域的1 6 个关键点，然后计算图像序列中表情帧和中性帧的表情关 键点的坐标差提取几何形变特征。 ( 3 ) 提出了基于混合特征融合和离散删分类识别的表情识别方法。针对 提取的纹理特征和几何形变特征之间可能存在的信息冗余，采用典型相关分析 ( c c 舢对这两种特征进行特征融合，将融合后的特征作为离散删的观察值向 量，用来训练针对六种表情建立的离散删模型。该特征融合方法将两组特征 向量之间的相关性特征作为有效判别信息，既达到了信息融合的目的，又消除了 信息冗余；采用离散h m m 作为分类器，达到了较好的识别效果。 ( 4 ) 采用面向对象的设计思想，设计并开发了基于混合特征融合和离散删m 识别的人脸表情识别系统。该系统主要包括：离散小波变换，标准正交非负矩阵 分解，删相关操作，典型相关分析和离散删分类识别模块。从实验的角 度验证了本文表情识别算法的有效性。 关键词：表情识别，离散小波变换，标准正交非负矩阵分解，主动表观模型，典 型相关分析，特征融合，离散删 江苏大学硕士研究生毕业论文 a b s t r a c t f o rm o r et h a i l2 0y e a r s ，f a c i a le x p r e s s i o nr e l a t e dp r o c e s s i n gb yc o m p u t i 玎h 硒 b e e n 锄a 仕r a c 如ei s s u ei i lt l l ea r e 硒s u c h 弱c 0 m p u t e rv i s i o n ，c o m p u t e rg r 印h i c s ， p a t t e mr e c o 嘶t i o n ，e t c i tc a nb ew i d e l ya p p l i e di n t 0v i d e oc o n f e r e n c e ，m o v i e p r o d u c t i o n ，i i l t e l l i g e n th u m a nc o m p u t e ri n t e r f a c e ，e t c o nt h eb a s i so f 孤a l l y z i n gm e e x i s t e dm e m o d sc a r e f u l l v w ep r o p o s et h et e x t u r ei n f o m l a t i o nf e a t l l r ee x t r a c t i o n m e t h o db 弱e do nd i s c r e t ew a v e l e tt r a n s f o 肌a t i o n o n l l o n o m l a l ln o n n e g a t i v em 砷r 仅 f a c t o 血撕o n w t o 卜眦) ，卸dt h eg e o m e t r i c a ls h a p 酣i i 讧b n n a t i o ne x t r a c t i o n m e m o db 嬲e do n 枷v ea p p e a r a n c em o d e l l 7 a am ) ，m e nf i l t l l e s et w of c a t u r e sb v c a j l o 血c a lc o r r c l a t i o n 锄a l y s i s ( c c 舢，w t l ic ：hi su s e df b rt l l eo b s e a t i o nv e c t o f so f d i s c r e t ehmmt or e c 0 趼娩e l ef a c i a l le x p r e s s i o n s t h em a i l lw o r ki sl i s t e dh e r e ： f 1 1t bo v e r ( 幻m em ep r c b l e mo fn m fo nt h ef a c t o r 泣a t i o nt i r n e 锄dt h e r 甜蚰d a n c vo fb 船i sm a t 血【u s e dh lt l l ef a c i a le x p r e s s i o nf e a t u r ee x t r a c t i o nc u r r e n v ， t l l ec 0 i n b i n a t i o no fd w t 锄do n m fi sp r o p o s e di i lt l l i sp a p e r d w ti sf i r s vu s e dt 0 e x 仃a c tt l l el o wf 把q u e n c yi i 】曲肌a t i o nt l l a ti l l d u d e sm o s t0 fe n e r 霉呵o faf 幻ei l n a 2 e ， m e nd o l eo n n i ff o ri t ，s o 、ec a i lo b t a i l l 竹l eo n h o n o m a lf e a t u r es p 孤t 0e x t r a c tt h e t e x t i l r ef e a t i l r e st l l r o u 曲t h ep r o j e 嘶o no f 砷a g e q u e n c c s f 劲an e wm e m o db 弱e do nt e x t u r ei i l f o m a t i o nf e a t i l r e 姐dg e o m e t r i c a ls h a p e d i r 伍d 衄a t i o nf e a t u r ei sp r o p o s e dt oe x t r a c tt l l eh y b r i df e a t i l r e d w t o n m 匝i su s e dt 0 e x t r a c tt e x t u r ef e a t u r e s ；a amm e m o di su dt 0l o c a t et h ep o s i t i o no ft l l e6 8p o i n t s 洫 t t l ei n l a 霉r es e q u e n o e s ，1 6l 【e yp o i i l t si 1 1t h ee y e b r o 、ke y e s ，r l o s e 觚dm o u t t l 棚广c a sw e r c l e 西e d ，t h e n l e 衄e r e n c c s0 fc o o r d h l a t e sb e 佩傥ne x p r e s s i o n 胁e s 觚dt l l e n 印仃a 】仃锄e 、e r cc o m p u t e dt oe x 仃a c tt h eg e o m e t r i c a ls h a p e df e a t u r e s d ) af a d a le x p r e 蹒i o nr e c o g i l i t i o nm e t i l o db 弱e do nh v b r i df e a t u r e sf u s e db v c c a 觚dd h m mi sp r o p o s e d 1 oo v e r c o m et h ep o t e n t i a li i 血衄a t i o n 咖d a n c v b e t w e e nt c x t u r ef c a t l l r e s 锄dg e o m e t r i c a ls h a p e df e a t l l r e s ，o c ai su s c dt of u s et h e t w df 色a t u r e s m e n 吐屺f u s e df b a t u r ei su s e df b ro i b s e a t i o nv e c t o r so fd i s c r e t ehm m t 0t r a i l lt l l e6 坤p i c a lf a c i a l le x p r e s s i o i l s t h ep r o p o s e dm e t h o du s e sc o r r e l a t i o nf e a t u r e s 0 f 俺，0g r o u p so ff e a t u r ev e c t o r s 弱e f f 硎v ed i s c r i m i i l a mi i l f o r m a t i o n ，s 0i tn o t0 1 1 l vi s s u i t a b l ef b ri i b m a t i o nf u s i o n ，b u ta l s oe l i i n i i l a t e st h er e d u n d a n ti 1 1 f b n n a t i o n 、i t t 血 t h ef e a t u r c s ，w h i c hc a na c m e v eag o o dr e s u l tu s et h ed h m m 嬲c ：l 雒s i f i e 瑙 h 1ap r o t o t y p es y s t e m0 ff a c i a le x p r e s s i o nr e c o 鲫t i o nb 弱e do nf 砌f c a t u r e 觚dd h m mi sd e s i 凹e da i l d 曲p l e m e n 伽t h em o d i l l e si i lt t l i ss 、，s t 锄m a i l l l yi i l d u d e d w t ，o n m es o m eo p e m t i o na _ b o u ta a m ，c c a 锄dd h m m nc 觚b ep r o v e dm a t o l l ra l l g o r i t h mi se 虢c t i v e k | i y w o r d s ：f a d a le x p r e s s i o nr e c o 印i t i o n ，d i c r e t ew w e l e tt r 锄s f 0 咖a t i o n ，0 m 峨 a a m ，c q f c a t i l r cf l l s i o n ，d h m m 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已注明引用的内容以外，本论 文不包含任何其他个人或集体己经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均己在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：杨丽砗 日期：淞年月肜日 江苏大学硕士研究生毕业论文 1 1 课题研究背景 第一章绪论 计算机科学技术的迅猛发展对人类社会产生巨大的影响，一场信息革命正在 进行。人们认知自然，改造自然的方式也随之发生变化，在众多领域，机器控制 的智能机器人正逐渐代替人类完成一些极具挑战性的任务。大大提高了人类的工 作空间和工作效率。为了解决人类与计算机之间更加智能更加自然的交互，新型 的人机交互m 锄m a c h i i l ei i l t e m c t i o n ，h c i ) 技术正逐渐成为研究热点。人类自 然形成的与自然界沟通的认知习惯和形式必定是人机交互的发展方向，一方面要 求计算机能看、能说、能听、能感觉，即能够智能地感知使用者的意图，另一方 面，使用者可以不必坐在计算机前通过鼠标和键盘操作计算机，而是可以在三维 空间中以更加自然和人性化的方式同计算机交流。总之，新型的人机交互环境要 求计算机必须具有自然化、智能化、人性化等特点。 表情是人类用来表达情绪的一种基本方式，是非语言交流中的一种有效手 段。人们可以通过表情准确而微妙地表达自己的思想感情，也可以通过表情辨认 对方的态度和内心世界。关于表情传递信息的作用，心理学家m e l l r a b i 趾【1 】给出 了一个公式：感情表露= 7 的言词+ 3 8 的声音+ 5 5 的面部表情，可以看出表情 包含了大部分非语言交流中传递的情感信息，这意味着面部表情在人们之间的交 流中起着非常重要的作用。长期以来，人机交互中最常用的是简单的单向交互， 主要还是通过鼠标、键盘进行，计算机本身无法自主的判断人的精神状态，这使 得人机交互机械、呆板。如果计算机能够识别人的表情，跨越这一鸿沟，将会使 整个交互过程友好而有趣。自动分析识别人脸表情对于人机交互具有革命性的意 义，使人与计算机之间的鸿沟进入新的时代。 计算机软硬件技术的提高，为人脸表情识别的进行提供了可行性条件。随着 计算机速度的不断提高、存储容量的不断扩大、价格的不断降低以及网络技术的 不断发展，许多原来无法完成的工作现在已经能够实现：在人脸表情识别系统的 开发过程中，人脸检测与定位，人脸识别，跟踪技术中有许多成熟的算法都可以 应用到表情识别系统中，从而大大推动了表情识别技术的研究。因此，作为生物 特征识别和情感计算领域的一个极富挑战性的交叉课题，人脸表情识别成为近年 来的热点研究课题，本文就是在这种课题背景下进行人脸表情识别的研究工作 的。人脸表情识别的研究对于增强计算机的智能化和人性化，开发新型人机交互 江苏大学硕士研究生毕业论文 环境，以及推动心理学，医学等学科的发展，有着重要的现实意义，并最终产生 巨大的经济效益和社会效益。 1 2 人脸表情识别技术涉及的研究领域及应用 人脸表情识别技术是一个多学科交叉的研究课题，涉及到图像处理、运动跟 踪、模式识别、计算机视觉，生命科学、应用心理学，认知科学等学科研究领域。 这些诸多因素使得人脸表情识别成为一项极富挑战性的课题。 人脸表情识别技术可应用于多个领域，主要包括：人机交互，智能机器人， 安全领域，远程教育以及通信领域。 人机交互：在人们的日常生活中，面部表情对于人们之间的交流起着重要的 作用，同样，在与计算机进行交流的过程中，面部表情是一种不可或缺的信息。 在多模式人机交互界面( m c i ) 中，表情与声音、视线、体态等结合起来可以 获得更高效、更人性化的人机交流。 在智能机器人领域：很多高难度岗位或是危险工作行业，智能机器人代替人 们去工作是一种趋势，并取得了一些成功，表情识别应用在智能机器人上，使得 机器人不再是一个简单的、按照既定程序工作的机器，而是一个开始通过学习去 理解人的意图，以便更好地为人类服务的“智能人 ，这将逐渐改变机器人在人 类社会中的地位。 在安全领域：表情识别可用于核电站的管理和长途汽车司机等着重强调安全 的工作岗位。在岗者一旦出现疲劳、瞌睡的征兆，识别系统及时发出警报避免 险情发生；还可用于公安机关的办案和反恐中。 远程教育：多媒体技术和因特网的日益普及，信息技术正在改变着人类社会 的工作方式、生活方式和学习方式，而且这种变化与日俱增。随着e k a n 血g 的 提出并迅速在全世界推广，现代信息技术对人类学习方式产生了深刻的影响并由 此而产生了教育、教学领域的巨大变革，将人脸表情识别技术、语音情感识别技 术应用于e l e a n 血g 系统中，大大地弥补了e k a m i i 培系统在情感交流和反馈方 面的不足。 在通信领域：随着人们生活水平的提高，简单的语音通信已经不能满足人们 的生活和工作需要。可视电话、视频会议等应用技术的开发及普及已经逐渐提上 日程，但是由于目前带宽有限，尽管只需要显示用户的脸部图像，所传输的数据 量也是相当可观的。由于在人与人之间交谈时，面部本身器官的结构特征对于获 取信息来说是次要的，语言和面部表情才是传递信息的主要载体，因此我们可以 为通话的双方都建立一个虚拟人头部模型，而网络仅仅传递对方的语言和面部表 2 江苏大学硕士研究生毕业论文 情，利用接收到的面部表情信号使虚拟的人头部模型产生相应的表情，那么就可 以在大大节省带宽的情况下，尽可能的传递对方要表达的信息。 另外，人脸表情识别技术在虚拟现实，医疗诊断领域，电脑游戏等许多领域 都有着潜在的应用价值，从而基于面部表情的新型人机交互环境的研究与开发也 逐渐引起众多学者的广泛关注。 1 3 论文的研究内容及主要工作 本文在广泛阅读国内外现有的关于人脸表情特征提取和表情识别技术的文 献后，比较和借鉴现有成功的人脸表情识别方法，对相应的人脸表情特征提取及 识别的关键技术进行改进和完善，同时提出自己的算法，并开发相应的人脸表情 识别原型系统。论文的主要研究内容和工作包括以下几个方面： ( 1 ) 深入研究最新的一种特征提取算法：非负矩阵分解算法，找出其在表情 识别方面的不足，结合离散小波变换，提出离散小波变换和标准正交非负矩阵分 解的人脸表情特征提取算法。针对非负矩阵分解收敛速度慢和分解后的子空间存 在信息冗余的问题，先进行一层小波变换降低图像的噪声，并得到图像的低频信 息表示；再将图像的低频信息进行非负矩阵分解，并把非负矩阵分解后的基矩阵 进行正交化去除冗余信息，建立更有利于分类的表情特征子空间提取表情特征， 从而得到更有效的表情特征。 ( 2 ) 研究混合特征的提取方法：特征提取是表情识别的至关重要的一步，特 征提取的有效性直接影响分类识别的准确性，基于多种类型特征的特征提取方法 成为发展的主要方向。本文主要提取两种特征：使用离散小波变换和标准正交非 负矩阵分解( d w t o 提取表情的纹理特征，使用主动表观模型( a a m ) 提取 表情的几何形变特征。 ( 3 ) 基于混合特征融合与离散隐马尔可夫模型的表情识别算法：基于提取的 两种特征，使用高维小样本下典型相关分析( c q 吣进行特征融合。将融合后的特 征作为离散删的观察值向量，进行分类识别，最后得到分类结果。典型相关 分析方法在保留两类特征有效信息的同时，压缩特征维数，提高分类识别的准确 性。 ( 4 ) 人脸表情识别原型系统设计：采用面向对象思想设计开发人脸表情识别 原型系统，从实验的角度验证本文方法的效果。 1 4 论文的结构 3 江苏大学硕士研究生毕业论文 论文共分七章，全文的结构安排如下： 第一章介绍课题的研究背景和研究意义，概述了人脸表情识别所涉及的研究 领域及其潜在的应用领域，同时分析了本文的主要研究工作。 第二章综述人脸表情识别的研究与发展现状，阐述了表情识别各阶段的主要 算法，并对这些算法的优缺点从理论上给出比较和说明。 第三章阐述人脸检测和表情图像的预处理，介绍了人脸检测算法以及针对人 脸表情图像所采用的预处理算法，预处理算法主要包括表情图像旋转调整、尺寸 归一化和灰度均衡化算法。 第四章详细阐述了本文所使用的两种特征提取方法：离散小波变换和标准正 交非负矩阵分解的人脸表情纹理特征提取算法以及基于删的人脸表情几何形 变特征提取方法。 第五章介绍了典型相关分析( c q 吣的特征融合算法以及基于离散隐马尔可 夫模型( d 玎) 的人脸表情识别算法。首先介绍典型相关分析和隐马尔可夫模型 的基本理论和算法，然后将提取的两种表情特征通过典型相关分析进行特征融 合，并采用离散h m m 进行分类识别，最后给出实验结果及分析。 第六章介绍了采用面向对象及设计模式的思想设计并开发人脸表情识别原 型系统的方法与过程，并给出了系统的部分功能界面图。 第七章对全文工作进行总结，并指出下一步需要开展的工作。 4 江苏大学硕士研究生毕业论文 2 1 概述 第二章人脸表情识别技术的研究现状 人脸表情识别就是对人脸的表情信息进行特征提取分析，按照人的认识和思 维方式加以归类和理解，利用人类所具有的情感信息方面的先验知识使计算机进 行联想、思考及推理，进而从人脸信息中去分析理解人的情绪，如生气，厌恶， 害怕，高兴，悲伤，惊奇等。计算机人脸表情识别技术是近2 0 年才逐渐发展起 来的，属于交叉学科研究分支，涉及心理学领域和计算机等多个领域的研究，现 在逐渐成为科研热点，国内外很多机构都在进行这方面的研究，尤其美国、欧洲 和日本。进入9 0 年代，随着计算机计算能力的提高，人们对机器智能的研究兴 趣愈来愈浓厚，对人脸表情识别的研究变得非常活跃，吸引了大量的研究人员和 基金支持，e i 可检索到的相关文献就多达数千篇。人们对表情识别的研究可以 追溯到2 0 世纪7 0 年代，早期主要集中在从心理学和生物学方面的研究和分析。 生物学家达尔文所作的心理学实验表明，面部表情的含义不随着地区和国家的不 同而不同【2 1 。人脸面部表情的产生是由于肌肉的牵引将正常的人脸变形成为有表 情的人脸。1 9 7 1 年，e k m 锄和f r i n 【3 】提出面部表情编码系统( 】f a c s ) ，用4 4 个 运动单元( a 功来描述人脸表情变化，并定义了6 种基本情感类别：生气m g e n 、 厌恶p i s g u s t ) 、害怕( f e 哪、高兴( h 印p ”、悲伤( s a d ) 、惊奇( s u 叩r i s e ) 以及3 3 种 不同的表情倾向，说明了具有这六种表情的入脸特征与无表情的人脸特征相比有 相对独特的肌肉运动规律，后来进一步的研究大多数都是在f a c s 系统的基础上 构建人脸表情模型，所以说这一系统的提出具有里程碑的意义。第一次使用计算 机实现人脸表情识别是在1 9 7 8 年，s 啪a 【4 】对选定的连续图像序列中脸部固定的 2 0 个点进行跟踪识别，并与原型模式( p r o t o 帅ep a 慨r r 坞) 进行比较以实现识别。 9 0 年代，以m a s e 和p e m l 锄d 的工作为起点，使用计算机进行自动人脸表情分析 的研究工作迅速展开纠。 人脸表情自动识别系统包括人脸检测、面部特征提取和人脸表情分类三个核 心环节。人脸检测部分是在脸部图像或图像序列中定位人脸；面部特征提取是从 脸部图象中提取所需的脸部运动或脸部形变信息；表情分类是将输入的脸部图像 归入某个表情类别中，即给出一个类别标记。人脸表情识别的框架图如图2 1 所 示。人脸检测和面部特征提取之问根据某些具体算法的要求可能需要人脸分割和 脸部归一化等操作，人脸分割能够有效的去除背景干扰，分离无用特征，脸部归 一化主要指人脸姿态，尺寸，灰度和位置的归一化。面部特征抽取和表情分类之 5 江苏大学硕士研究生毕业论文 间可能还需要进行人脸描述，人脸描述是人脸表情识别的前期工作，需要在系统 定义的时候就完成。人脸描述方法包括了整体描述，特征区域描述，稀疏特征描 述，高级特征描述等多种方式描述，人脸描述方式决定了人脸表情特征抽取的方 法。 下面将按照图2 1 中的三个核心环节进行各个关键技术进展的分类综述。 2 2 人脸检测与定位 图2 1 人脸表情识别框架图 人脸检测与定位是指对于任意一幅给定的图像，采用一定的策略对其进行搜 索，以确定其中是否有人脸，如果是则返回人脸的位置、大小和姿态。光照变化、 头部姿势的变化、脸部表情、图像的旋转以及图像质量等因素决定了人脸检测与 定位是一项具有挑战性的工作。人脸检测方法大致可分为两大类：基于显式特征 的方法和基于隐式特征的方法。 2 2 1 基于显式特征的方法 基于显式特征的方法是指由人通过肉眼观察，总结出人脸区别于“非人脸 区域的特征，然后根据被检测区域是否满足这些“人脸特征 ，来判定该区域是 否包含人脸。根据所选择的“人脸特征 ，把基于显式特征的方法分为以下三类： 基于肤色模型的方法；基于模板匹配的方法；基于先验知识的方法。 ( 1 ) 基于肤色模型的人脸检测 基于肤色模型的方法是一种最为常用的人脸检测算法。研究表明，特定人种 的人脸肤色在本质上是相近的，它在某些特定颜色空间中具有较好的聚类特性。 研究者利用肤色的聚类特性建立起肤色模型，然后基于肤色模型进行人脸肤色的 检测。h s u 等人在y c b c r 彩色空间内建立了根据光照和背景变化的补偿模型， 并利用肤色模板确定了人脸区域6 】；y 趾g 等【7 1 根据色度的一致性和空间距离将肤 色像素聚类成区域，然后逐步归并直到得到符合一定先验知识的椭圆区域为止， 最后检查区域中由眼睛、嘴巴等特征形成的暗区或空洞，以确定是否为人脸。 6 江苏大学硕士研究生毕业论文 ( 2 ) 基于模板匹配的人脸检测 模板匹配的方法一般是先人为地定义一个标准人脸模板，计算输入图像与模 板的似然度，然后，确定一个似然度阈值，用以判断该输入图像中是否包含人脸。 标准人脸模板可以是固定的样板，也可以是带参变量的曲线函数。y u i l l e 等【8 】提 出用可变形模板来描述人脸的形状信息，通过和输入图像的边缘、峰、谷和可变 形模板中参数进行动态性交互、修正，采用优化算法，在参数空间内进行能量函 数极小化来判定人脸。艾海舟等【9 】采用“平均脸模板匹配 ，首先选取多个样本 人脸，构造平均脸原始模板，按多种宽长比拉伸原始模板，与待检测图像中所有 可能尺度和形状的图像窗口进行匹配，并利用似然度计算公式计算出似然度，根 据相应阈值进行判断。 ( 3 ) 基于启发式模型的方法 基于启发式模型的方法又称基于知识建模的方法。该方法在分析人脸图像样 本的基础上，针对人脸的几何形状、灰度、边缘、纹理等信息，建立了一种关于 人脸的知识库。在检测中，首先抽取这些灰度、边缘等信息，然后检验它是否符 合知识库中关于人脸的先验知识。y 觚g 【1 0 】等提出基于马赛克图的人脸检测方法。 他将人脸的五官区域划分为4 4 个马赛克块( 四分图) ，使用一组规则进行检验， 并利用边缘特征做了进一步的验证。后来，卢春雨等人1 1 1 l 经过改进，采用了符合 人脸生理结构特征的三分图分块方案( 即3 3 个马赛克块) 。这种划分方法充分 利用人脸器官的自然分布规律，使得在规则制定过程中对先验知识的利用更加直 观。 2 2 2 基于隐式特征的方法 此类方法将人脸区域看成一类模式，使用大量“人脸”和“非人脸 样本训 练构造分类器，通过判别图像中所有可能区域是否属于“人脸模式的方法来实 现人脸检测。这类方法有特征脸法、人工神经网络法、支持向量机法、b ( o s 衄 方法。 ( 1 ) 特征脸法 特征脸法( e i g e i l j f 弛) 把单个图像看成一维向量，众多的一维向量形成了人脸 图像特征空间，再将其变换到一个新的相对简单的特征空间，通过计算矩阵的特 征值和特征向量，利用图像的代数特征信息，寻找“人脸和“非人脸 两种模 式在该特征空间中的分布规律。s 吼g 等【1 2 】采用k 均值聚类方法在特征空间里建 立了6 组对应的“人脸”和“非人脸 簇( a 惦t e r s ) ，通过检测图像到各簇中心 的距离来判断是否“入脸 模式。在训练过程中“非人脸样本的收集是通过“自 7 江苏大学硕士研究生毕业论文 举”o o ts 仃a p ) 的方法实现的，即把上一轮训练中的错误报警作为新增加的“非 人脸”样本。 ( 动人工神经网络法 人工神经网络c i a ln e 砌n e t w 0 叱的方法是通过训练一个网络 结构，把模式的统计特性隐含在神经网络的结构和参数之中。其核心问题是如何 决定网络连接的加权系数。对于人脸检测，其优点在于能够训练出一个感知人脸 复杂模式的分类器，但是其缺点在于需要指定和调整神经网络层数、节点数、权 值等参数。m 1 1 r 的研究者将人脸样本集和非人脸样本集的子类之间距离作为识别 特征向量，利用多层感知器( m i j p ) 网络作为分类器实现了人脸检测【1 3 】。 ( 3 ) 支持向量机法 支持向量机( s u p p o r t 、仅幻rm a c h i n e ，s ) 法是在统计学习理论的基础上 发展出的一种新的模式识别方法，它是基于结构风险最小化原理的方法，较之于 基于经验风险最小化的人工神经网络，一些难以逾越的问题，如：模型选择和过 学习问题、非线性和维数灾难问题、局部极小点问题等都得到了很大程度上的解 决【1 4 1 。 ( 4 ) b o o s t i n g 方法 b ( o s t i i l g 方法是将弱分类器组合成为强分类器的统计学习方法。v i o l a 等f 1 5 】 提出了一种基于b o o s 血g 方法的实时人脸检测系统。其首先提出了一种称为“积 分图像( h l t e 伊a lh n a g e ) 的图像表示方法。这种表示方法提高了对特征的计算速 度。然后他们采用了a d 减o s t 方法对积分图像表示的特征进行选择，选择出少 量但是关键的特征来组合成强分类器。最后，他们使用“级联( c a s c a d e ) ”的策略， 每级的特征由少至多，在开始粗检的几级就排除了大量的非人脸区域，因此该系 统的检测速度可以达到每秒1 5 帧，基本满足实时检测的要求。 2 3 表情特征提取 面部表情特征提取是表情识别系统中的核心，它决定着最终的识别结果。目 前用到的识别特征主要有灰度特征、运动特征和频率特征三种。灰度特征是从表 情图像的灰度值上处理，利用不同表情有不同灰度值得到识别的依据，如非负矩 阵分解( 】岫，主元分析( p c i a ) 及其改进算法两维主分量分析( 2 d p c a ) 1 1 6 】属于灰 度特征提取，其中2 d p c a 直接由图像矩阵构造训练样本的总体散布矩阵( 协方 差) ，然后计算其特征值和特征向量，与p c a 相比，2 d p c a 有两个优点：1 、易 于估计协方差矩阵，2 、计算协方差矩阵的特征向量的时间比较少。灰度特征提 取下要求图像对光照、角度等因素要进行充分的预处理，使得获得的灰度值具有 8 江苏大学硕士研究生毕业论文 归一性。运动特征利用了不同表情情况下人脸的主要表情点的运动信息来进行识 别，如光流法属于运动特征提取。频域特征主要是利用了表情图像在不同的频率 分解下的差别，速度快是其显著特点，如小波变换( w t ) 属于频谱特征提取。 脸部特征提取算法可以根据提取脸部形变特征还是提取脸部运动特征以及 是基于局部操作还是基于全局操作进行分类。表2 1 给出了计算机视觉领域中用 于脸部分析和特征提取的主要方法【l7 1 。各种方法都有其各自的特点，没有一种方 法是绝对有效的，只是在一定条件下某种方法可能更为有效。 表2 1 表情特征提取方法 形变特征提取整体性方法局部性方法 亮度轮廓( i n t c l l s 时p m f i l ) 人工神经网络( n e u m ln e t 、v o 一【) 基于图像 高梯度组件( h i 曲g r a d i e n t m p o n 删 g a b o f 小波变换( g a b o r 、v a v c l 面 主元分析结合神经网络( p c a 十n e 啪ln e 咐o r k ) 主动表观模型( a 两v ea p p e 卿l c cm o d e l ) 几何脸部模型( g c o m e 仃i cf l 雠m o d e l ) 基于模型点分布模型( p o i n td i s t r i b u t i m o d e l ) 两视角点模型( 似ov i e wp o i n t - b 丛c dm o d c l s ) 标志图( 1 a b e l e dg r a p h s ) 运动特征提取整体性方法局部性方法 稠密光流场( d f l o wf i e l d s ) 区域光流( r e 百o n b 私c dn o w ) 稠密光流 三维运动模型( 3 dm o t i o nm o d e l s )参数运动模型( p 猢e t r i cm o t i m d d e l s ) 运动模型 三维形变模型( 3 dd e f o m 吐i o nm o d e l s )三维运动模型( 3 dm 鲥o nm o d e l s ) 特征点跟踪( f e 咖r c 舰c k i n 曲 特征点跟踪 区域差分图像( r e g i o n - b 撇dd i 位r e n c c i m a g e ) 差分图像 全局差分图像( h o l i s t i cd i 妇衙c c - 证嘲；e ) 高亮度脸部特征( h i g i i l i 曲t c df ；l c i a lf e a t u r e s ) 标志点 点标志( d o tm a r k e r s ) 表情特征提取方法按照特征提取的部位、特征产生的方式、是否利用三维模 型等可以进行如下几种分类： 1 全局特征提取方法和局部特征提取方法 脸部特征处理方法按照特征提取的部位，可以分为基于全局特征提取的方法 和基于局部特征提取的方法。基于全局的方法将整个面部当成一个整体对待，将 面部整体的变化模式与表情类型关联起来；基于局部的方法集中分析由表情变化 引起的面部特征或者面部区域的变化。我们可以区分两种面部特征：永久性面部 特征和暂时性面部特征。永久特征是永远存在脸上的特征，它们能够随着脸部的 一运动发生形变，包括眼皮、眉毛和嘴巴这些总是和面部表情联系在一起的特征， 9 江苏大学硕士研究生毕业论文 而纹理、面部绒毛和永久皱纹组成了另外一种影响面部表情的永久特征。暂时特 征主要包括随着表情的发生而出现的各种类型的皱纹和凸出部分，特别是前额、 嘴和眼睛周围的区域更容易产生暂时性皱纹，眼睛和嘴巴的张合能进一步导致典 型的变化。暂时性特征随着脸部运动而出现，它们不是永久保持在脸部的。 基于全局特征提取方法是一次性提取所需的脸部永久特征和暂时特征；而基 于局部特征提取方法是将脸部划分成子区域或将脸部特征分解成一些局部特征， 独立地对子区域或局部特征进行操作。 2 形变提取方法和运动抽取方法 脸部运动抽取方法着眼于表情出现时面部区域的运动，提取相邻两时刻脸部 相对运动信息；而脸部形变提取方法采用中性脸或者脸部模型作为参考脸，提取 因脸部运动引起的脸部特征。脸部形变提取方法通过当前脸与中性脸的比较得到 脸部形变信息，中性脸在提取形变的方法中是必须的，而对于提取运动的方法中 则不是必须的。但提取运动的方法一般也需要参考脸，多数为前一时刻的脸部图 像，如经典的光流算法就是使用相邻两帧信息提取脸部运动信息。 脸部的形变主要反映在脸部纹理的改变和脸部形状的改变两个方面。纹理主 要表现为图像中出现高梯度信息，而这些高梯度信息很好的反映了脸部运动，可 以在图像或者空间频率领域对其进行分析。脸部形变抽取除了可以采用基于图像 的方法，也可以采用基于模型的方法。主动表观模型( a d i v ea p p e a m c e m o d e l s ，a a m ) 是一种广泛用于脸部特征提取的方法，它是在主动形状模型d i v e s h a p em o d e l s 郑m ) 的基础上扩展了对脸部灰度信息的使用得到的，定位更加准 确。 脸部运动抽取一般采用光流、运动模型、特征点跟踪、差图像以及标志点等 技术。稠密光流是使用较早、应用较为广泛的一种方法，同样也可以分为全局稠 密光流和局部稠密光流。全局稠密光流用于提取整个脸部的运动信息，如u e n 【1 8 】 使用基于小波的多分辨率稠密光流分析脸部整体运动。由于光流计算量大，同时 对运动的不连续较为敏感，在整个人脸区域内计算光流可能会消耗很多时间，所 以局部稠密光流有时是更好的选择。e s s a 和p e n a i l d l l 9 】使用三维运动模型和肌肉 模型完成用于表情识别的脸部特征提取，同时利用卡尔曼滤波器来提高特征跟踪 的稳定性。整体运动模型被用来描述由于说话引起的表情时多数采用m p e g 4 中定义的脸部模型；局部运动模型是在局部区域建模或对单个特征建模，y a c o o b 和d a v i s 【捌使用局部参数模型对嘴巴、鼻子、眼帘和眼眉进行建模。局部运动模 型较之整体运动模型使用参数较少，从而计算复杂度低，但是往往精度不如整体 运动模型。 3 基于图像的方法和基于模型的方法 1 0 江苏大学硕士研究生毕业论文 基于图像抽取特征的方法不依靠先验知识，单纯从图像出发抽取特征。基于 图像的方法速度快且算法简单，但可靠性差，适用面窄。基于模型的方法需要根 据物体的先验知识对物体进行建模，然后利用这个模型提取特征。该方法算法较 为复杂并且搜索时间花费较多，基于模型脸部特征提取方法包括基于二维模型的 方法和基于三维模型的方法。基于二维模型的方法是基于脸部表观，即脸部图像， 提取脸部特征，不考虑脸部三维信息；基于三维模型的方法考虑脸部在三维空间 中的几何信息，有两种典型的三维脸部模型：脸部肌肉模型和脸部运动模型【1 9 】。 三维脸部模型相对于二维脸部模型需要更多的计算，算法也更复杂。而且构造精 确的头部和面部模型必须手工进行，任务量繁重。 2 4 表情分类识别 表情分类指定义一组类别，并设计相应的分类机制对表情进行识别，归于相 应的类别。如按照脸部动作分类s ) ，将脸部的动作分类到4 4 个a u s ( a c t i o n u 1 1 i 嘲；或按照情感分类，将表情分类到e k m 舳和f r i e n 定义的6 种基本情感。 目前主要的方法总结如下： ( 1 ) 基于专家规则( e x p e nn n e s ) 的方法 这类方法从人的观察角度出发来制定一些规则，对特征提取得出的参数， 判断它符合哪一类规则，将其归于相应的类别。p 姐t i c 【2 1 】利用a u 编码来描述输 入的表情，然后与每一种表情类别的a u 编码描述进行比较，将其分类到最相近 的一类基本表情中。 ( 2 ) 基于似然度的方法 即把被测表情图像归入与该图像最为相似的类别中，这种相似性通常由欧氏 距离( e u d i l e 孤d i s t a i l c e ) 和余弦相似度( c s m ) 来度量，欧氏距离判定规则为：与 某类的中心欧氏距离最小，则与该类最为相似，判为该类；而余弦相似度的规则 为：与某类的夹角余弦值最大，则与该类最为相似，判为该类。 ( 3 ) 基于人工神经网络的方法 人工神经网络脚c i a ln e u r a l 全i c 时o r k ，a n i d 可以作为单纯的分类器( 不包 含特征提取、选择) ，也可以用作功能完善的分类器。近年来，用于表情识别的 人工神经网络分类器主要有：多层感知器、b p 网、砌狐网。g u e o r g u i e v a 【2 2 】使用 多层感知的神经网络来进行表情识别，训练并测试了4 种网络，得出s 形函数和 径向基函数的神经单元混合能较好地适合于前馈神经网络的结论。 ( 4 ) 基于支持向量机的方法 支持向量机( s u p p o r t 、k c c o rm a c l 曲e s ，s 田是一种泛化能力很强的分类器， 1 1 江苏大学硕士研究生毕业论文 它在解决小样本、非线性及高维模式识别问题方面表现出了许多特有的优势，其 基本思想可概括为：对于非线性可分样本，首先通过非线性变换将输入空间变换 到一个高维空间，然后在这个新空间中求取最优线性分界面，而这种非线性变换 是通过定义适当的内积函数k 似五) 实现的。常用的3 种内积函数为：多项式内 积，径向基内积和s i 舯o i d 内积函数。 ( 5 _ ) 基于隐马尔科夫模型( h m 的方法 表情是一个动态过程，如何有效地利用动态信息将影响识别结果。分类方法 选择和设计时可以考虑动态信息的使用。隐马尔可夫模型皿d d e nm a r k o v m o d e l ，加m ) 能够有效地对动态信息进行建模，既可以描述瞬态的随机过程又可 以描述动态的随机过程的转移特性，在语音识别、手写体识别、形状识别和图像 分割等领域有着广泛的应用。同样很容易使用隐马尔可夫模型对表情动态信息进 行建模。近几年的文献中，删m 被普遍采用瞄一。 ( 6 ) 其它分类方法 a d a b o o s t 方法将多个弱分类器结合起来训练形成强分类器，不同分类器针对 不同的特征，通过训练可以达到特征选择的目的。w a n g 瞄】用a d a b o o s t 方法训练 查找表型的弱分类器进行表情识别，在自己收集的数据库上的测试结果略优于 s v m 。 分层识别的思想，即先使用一种方法粗分类表情，然后再使用其它的方法细 分类表情。如f e n g 【2 6 1 提出的两阶段分类识别的思想。 2 5 小结 本章介绍了面部表情识别的三个部分：人脸检测与定位、脸部特征提取和表 情分类的国内外研究现状和主要的研究方法。通过计算机进行面部表情识别是目 前面临的一项具有挑战性的任务，主要的难点在于提取到有效的表情特征。 通过本文仔细对现有的表情特征提取和识别算法的分析和比较，可以看到人 脸表情信息的复杂性很高，各种特征提取方法都有不同的适应环境和各自的优缺 点，单纯的使用一种特