（计算机应用技术专业论文）基于小波变换和bp神经网络方法的表情识别研究.pdf

摘要 在现代科技飞速发展的今天，人工智能作为一门新兴的前沿学科问世以来，已经取 得了许多引人瞩目的成就。而作为人工智能研究分支领域机器学习、模式识别、机器人 学交叉涉及的人脸表情识别在由于其在人机交互、远程通讯、法规执行与心理研究等领 域的广泛应用已引起科学界的广泛关注并成为十分活跃的研究领域。 人脸是人类最重要的生物特征之一，包含着极其丰富的信息。与此同时，在计算机 视觉、模式识别和多媒体技术等研究领域中，人脸作为图像与视频中的视觉对象之一， 占有非常重要的地位。人脸表情是人们之间交流情感和表达意图的最快捷和有力的手段 之一，研究人脸表情的自动分类方法对于人机交互技术具有重要意义，在计算机辅助的 训练及远程教育等众多领域具有潜在的应用价值。 本文提出了一种基于快速小波变换投影b p 神经网络( m p r o j e c t b p m d 的人脸表 情识别方法。该算法首先利用f 、；n ? 对表情图像进行变换以期在不明显损失图像信息的基 础上达到压缩数据量的目的。然后分别对变换后的水平方向与垂直方向的高频数据子图 做水平方向与垂直方向投影。将得到的水平与垂直向量组成该表情识别算法的特征向 量。最后建立一对一的b p 神经网络来进行训练。实验结果表明该算法能够在一定条件下 快速且较准确地识别出悲伤、愤怒、高兴、惊讶、恐惧、厌恶、中性七种通用样本表情。 本文在最后对人脸表情技术的未来工作进行了展望。增强人脸表情识别的自动化与 实时性是本论文未来的工作研究方向。 关键词：表情识别；快速小波变换；投影变换；b p 神经网络 a b s t r a c t n o w a d a y sw i t ht h er 印i dd e v e l o p m 锄t0 fm o d e mt 晓h n o l o g y ，a n i f i c i a li n t e l l i g e n c ea sa n e w r i s i n gs u b j e c th a sb e e nb e c o m i n gaf o c l l so fa t t e n t i o n f a c i a le x p r e s s i o nr c c 0 印i t i o na s t h ec r o s sa r e ao fm a c h i n el e a m i n 参p a t t e mr e c 0 印i t i o na n da u t o m a t o nw h i c hb e l o n gt 0t h e b m c h e s0 f 触：，h 弱g o tw i d e l ya t t e n t i o na 1 1 db e c o m et 0 觚a c t i v es t u d y i n ga r e ad u et 0i t s a p p l i c a t i o nt 0m 细一m a c h i n ec o n v e r s a t i o n ，t e l e c o m m u n i c a t i o n ，1 a we x e c u t i o n ，p s y c h o l o g y s t u d y f a c ei m a g ei so n eo ft h em o s ti m p o n a n th u m a nb i 0 1 0 沓cf e a t u r ew h i c hi n d u d e sp l e n t y r i c hi n f o m a t i o n m e a n w h i l eh u m a nf a c ea st h ev i s u a lo b j e c to fi m a g e sa n dv i d e o si st a k i n g 锄i m p o r t a n tp o s i t i o no fs t a t u si nt h es t u d y i n ga r e ao fc o m p u t e rv i s i o n ，p a t t e mr e c o 印i t i o n a n dm u l t i m e d i at e c h n o l o g y f a c i a le x p r e s s i o ni so n eo ft h em o s tp o w e d - u ls h o r t c u t so f c o m m u n i c a t i n ge m o t i o n s 觚de x p r e s s i n gi n t e n t i o n sw h i c hi su s u a l l yd a s s i f i e dt o s e v e n c l a s s e s ：a n g e r ，d i s g u s t ，f e a r h a p p i n e s s ，n e u t r a l ，s a d n e s sa n ds u 叩r i s e t bf i n d aw a yo f a u t o m a t i c a l l yd 觞s i f y i i l gt h eh u m 姐c x p r e s s i 衄i ss i 印i f i c a i l t t ot h eh u m 柚c o m p u t e r i n t e r 0 0 n l m u n i o n 锄dh 弱p o t e n t i a la p p l i c a t i o nv a l u ei nt h ea f e a0 fc o m p u t e r 弱s i s t 锄tt r a i n i n g a i l dt e l e 吒d u c a t i n ge t c t 1 l i sp a p e rp r e s e n t sam e t h o df o rf 犯i a l e x p r e s s i o nr e c 0 印i t i o nb a s e d 髓tw | a v e l e t t r a n s f o 姗一p r o j e c t i o n - b pn e u r a ln e m o r k ( f w t - p r o j e c t - b p m ma p p m a c h e s f i r s t l y ，t h ef a s t w a v e l e tt r a n s f b 皿w 勰c a 仃i e d0 u tt 0c o m p r e s st h ep r e p r o c e s s e di m a g e s d a t ao nt h eb a s i s0 f n o tl o s i n ge s s e n t i a li m a g ei i l f o 衄a t i o n n e na f t e r 硎汀w ep r o j e c t e dt h eh o 血o n t a lh 谫 址q u e n c ys u b - i m a g et 0ah o 血o n t a lv e c t o r 锄dt h ev e r t i c a lh i g l lf r e q u e n c ys u b 蛔a g et 0a v e n i c a lv e c t o rr c s p e 碰i v e l y t h ef e a t u r cv e c t o r sw e r c9 0 tb yc 0 皿e c t i n gt h e 懿p r e s s i o n i i n a g e s h o r i z o n t a lp r o j e c i o nw i t ht 埘l s p o s e dv e n i c a lp f o j e c t i o n f i n a l l y ，b pn e u r a ln e 储。出 ( b p n n ) i su s e dt 0m a k eac l a s s i f i c a t i e x p e r i m e n t a lr e s u l t si n d i c a t et h a tt h ep r o p o s e d m e t h o dc a nb es i m p l c ，h i g hr a t i o no fr e c o g n i t i 蚰，b u ti ts t i l ln e e dt 0b ei m p l - 0 y c d 彻t h e c a p a b i l i t y0 fe x t e n s i v e n e s s k e y w o r d s ：f a c i a le x p r e s s i o nr c c o g i l i t i o n ；鼢tw | a v e l e tt r 趾s f o 曲；p r o j e c t i t r 孤s f 0 皿； b pn e u r a ln e t 、7 i ，0 r k 独创性声明 本人郑重声明：所提交的学位论文是本人在导师指导下独立进行研究工作所取得的 成果。据我所知，除了特别加以标注和致谢的地方外，论文中不包含其他人已经发表或 撰写过的研究成果。对本人的研究做出重要贡献的个人和集体，均已在文中作了明确的 说明。本声明的法律结果由本人承担。 学位论文作者躲鳖 日期： 学位论文使用授权书 本学位论文作者完全了解东北师范大学有关保留、使用学位论文的规定，即：东北 师范大学有权保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文 被查阅和借阅。本人授权东北师范大学可以采用影印、缩印或其它复制手段保存、汇编 本学位论文。同意将本学位论文收录到中国优秀博硕士学位论文全文数据库( 中国 学术期刊( 光盘版) 电子杂志社) 、中国学位论文全文数据库( 中国科学技术信息研 究所) 等数据库中，并以电子出版物形式出版发行和提供信息服务。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：肇数 日期：逖：堇：乡 学位论文作者毕业后去向： 工作单位： 通讯地址： 指导教师签名： 日期： 彳 和。罟、i 电话： 邮编： _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ 一 东北师范大学硕士学位论文 第一章引言 1 1 人脸表情识别研究的背景及意义 经过几十年的努力，人工智能的研究已经达到了很高的水平。然而，它的研究目的只 是在于模拟人的智能，如判断、推理、证明等思维活动。人工心理理论则是利用信息科 学的方法，对人的心理活动更全面内容的再一次人工机器( 计算机、模型算法等) 实现n 1 。 它的应用前景非常广泛，主要是情感机器人的技术支持、拟人机械、人性化商品设计、 感性市场开发、人际和谐环境技术和人机和谐多通道接口等。 人脸表情识别也是人工心理理论研究的重要组成部分。人脸表情含有丰富的人体行 为信息，对它的研究可以进一步了解人类对应的心理状态。计算机和机器人如果能够象 人类那样具有理解和表达情感的能力，并能够自主适应环境，这将从根本上改变人与计 算机之间的关系，使计算机能够更好的为人类服务。这也正是研究人脸表情识别并赋予 计算机具有情感理解和情感表达课题的意义。 1 2 人脸表情识别研究的发展现状及难点 有关人脸面部表情，过去主要是从心理学和医学的角度来研究。生物学家达尔文所 做的心理学实验表明，面部表情的含义不随着地区和国家的不同而不同。人脸面部表情 的产生是由于肌肉的牵引将正常的人脸变形成为有表情的人脸。s c h l o s b e r g 堙1 首先提出了 表情描述的3 个量化尺度：注意拒绝( a r ) 、高兴一不高兴( p u ) 和活跃程度。例如， 轻视、厌烦两种表情就有很大的“不高兴 值。斯托曼在文献口1 中提到面部表情的分析 有两种不同的体系：一类是对情绪的维量分析：另一类是对情绪分类。多数的维量分析通 常把情绪用三维空间来表示。在e k m 觚和f r i e s e n 脚提出的面部运动编码系统( f a c s ) ( 如 图1 1 所示) 中采用4 4 个能够独立运动的表情活动单元( a u ) 描述面部动作，这些单元与 使面部表情改变的肌肉结构紧密相连，在这个系统中还定义了六种最基本的表情：惊奇、 恐惧、厌恶、愤怒、高兴、悲伤以及3 3 种不同的表情倾向，说明了具有这六种表情的人 脸特征与无表情的人脸特征相比有相对独特的肌肉运动规律，后来进一步的研究大多数 都是在f a c s 系统的基础上构建人脸表情模型，所以说这一系统的提出具有里程碑的意 义。后来，研究者们进一步揭示了运动单元与肌肉运动之间的关系口1 ，提供了表情识别的 心理学方面的依据。i a e s s a 等人晦3 把提取的新运动单元命名为f a c s + ，它基于物理和几 何模型，用模板匹配的方法识别表情。国内的研究中提出了f a c s ( 转换f a c s ) 的表情 编码，把运动单元的运动转化为基于物理结构和肌肉模型的运动特征向量序列对眼部和 嘴部分别进行表情编码，相应的运动基于f a c s 的规则，同时又克服了f a c s 的弱点。 可以说心理学及生物学的发展与计算机识别能力的提高是一种相辅相成的关系：一 东北师范大学硕士学位论文 方面通过对人类心理神经感知和人脑的研究，可以提高机器的识别能力；另一方面又 可以通过机器的识别能力进一步深入探索人类的心理神经感知和人脑感知的过程。 图1 1f a c s 把脸部运动分解为肌肉运动 计算机人脸表情识别技术是近几十年才逐渐发展起来的，现在逐渐成为科研热点。 国内外很多机构都在进行这方面的研究，其中以美国、日本对人脸表情识别技术的研究 尤为关注。进入9 0 年代，对人脸表情识别的研究变得非常活跃，吸引了大量的研究人员 和基金支持，e i 可检索到的相关文献就多达数千篇。美国、日本、英国、德国、荷兰、 法国等经济发达国家和发展中国家如印度、新加坡都有专门的研究组进行这方面的研 究。其中m r r 、c m u 、m a r y l 锄d 大学、s t a n f b r d 大学、日本城蹊大学、东京大学、a 限 研究所的贡献尤为突出。国内的清华大学、哈尔滨工业大学、中科院、中国科技大学、 南京理工大学、北方交通大学等都有人员从事人脸表情识别的研究。 最早的人脸表情研究见于文献1 ，s u w a 和s u 西e 等人于1 9 7 8 年对表情识别做了一个 最初的尝试，他跟踪一段脸部视频动画，得到每帧图片上2 0 个关键点的运动规律，将此运 动规律与预先建立的不同表情的关键点运动模型相比较，这还只是初步的尝试。直到 1 9 8 1 年才有人用仿生学方法从肌肉角度的观点为面部表情建立模型。1 9 7 8 年t e r z o p o u l o s 和w a t e r s m 则运用了简化的e l ( 1 1 1 a 1 1 f 五e s 即模型，用计算机产生人脸动画，同时也做了 人脸视频序列的表情分析。m 弱e 阳1 则使用光流来跟踪面部的运动单元。 起初b 强和f h e n 系统地建立了一个有上千幅不同人脸表情的图像库。近来美国 c m u 机器人研究所和心理学系共同建立了c 0 h n k a n a d ea u c 0 d e d 人脸表情库。现有2 1 0 个1 8 到5 0 岁成年人的脸部表情图像序列。c m u 还建立有p 表情库，其中包括6 8 人的 4 1 ，3 6 8 幅图像。加州大学圣克鲁兹分校知觉实验室的人脸运动表情图像库是基于f a c s 主要用于神经网络方法分类面部行为的训练图像。日本虹汀建立了日本女性表情数据 库( j 栅) 。还有耶鲁大学、普渡大学、马里兰大学也各自建立了自己的人脸表情图像 库。 过去对人脸研究主要集中于人脸识别。虽然表情识别与人脸识别密切相关( 例如在 人脸检测与定位、人脸跟踪这些环节上是一致的) ，但特征提取方法和研究的主要对象 有很大区别：人脸识别提取的特征是不同人脸的个体差异( 特性) ，面部表情作为干扰信 号存在：而表情识别是忽略个体差异，提取人脸在不同表情模式下的差异特征，人脸个体 差异成为干扰信号。 人脸表情识别难度较大，主要难在人脸都是塑性变形体，因此人脸表情不能用经典 2 东北师范大学硕士学位论文 的几何模型来进行识别分类，更适合用弹性模型来描述。这也恰恰符合了人脸表情识别 的神经学特性：人脸表情识别是一个整体识别和特征分析的过程。而基于多种类型特征 信息融合的混合方法成为发展的主要方向。也就是说，无论对于检测定位还是识别，如何 将各种信息最大限度、有机的结合起来加以利用，是有效提高人脸表情识别系统效率的 手段。 人脸表情识别是一个跨学科富挑战性的前沿课题，但目前还只是研究课题尚没有进 入实用化的领域。成功的人脸表情识别系统( 针对二维图像) 至少要包括以下几个因素： ( 1 ) 由于外部干扰不可避免，预处理的效果会直接影响识别结果，所以图像预处理要 尽量保留有用信息并且抑制和分隔外界干扰。 ( 2 ) 细节是区分人脸表情的关键，因此选择方法要充分考虑人脸表情细微的形变。 ( 3 ) 对于人脸表情的各种特征表达方法需要进行比较和选择，要找出合适的人脸表 情特征表达方法。 1 3 论文结构 针对研究内容，本文的结构安排如下： 第一章：介绍了人脸表情识别技术研究的背景和意义以及人脸表情识别技术的发展 现状。 第二章 第三章 第四章 第五章 对人脸表情识别系统结构及各模块方法做出简要概述。 具体介绍了本文提出识别方法的总体设计及理论说明。 描述了本文的实验过程，并给出结论。 对本识别方法进行了总结并对今后的工作方向进行了展望。 1 4 本文工作 通过阅读大量的中外文文献，在分析现有人脸表情识别技术及其研究现状的基础 上，提出了一种基于快速小波变换一投影一b p 神经网络识别的方法，具体工作如下： 1 在预处理阶段，对人脸表情r o i 区域进行定位、纠偏、灰度化及尺度归一化等操 作用于之后的快速小波变换阶段； 2 在特征提取阶段，首先使用二维快速小波对预处理后的人脸表情r o i 区域进行变 换处理，然后采用本文提出的投影向量的方法分别对滤波后水平垂直高频分量图投影并 提取人脸表情的特征向量； 3 在识别阶段，建立并训练一对一：即一种表情用于一个b p 神经网络训练识别的 方法对提取的表情特征向量进行分类识别： 4 在实验阶段，首先对快速小波变换的小波族的选择进行对比测试，选择最佳表 述人脸表情的小波族对预处理后的人脸表情图片进行快速小波变换。分别对小波变换后 的水平垂直高频分量子图投影并提取表情特征向量后，建立并训练一对一的b p 神经网 3 东北师范大学硕士学位论文 络，对各类表情识别神经网络隐层节点参数进行实验调试后，对各类表情进行训练识别。 5 对实验结果进行分析总结并对未来工作做出展望。 4 东北师范大学硕士学位论文 第二章人脸表情识别系统概述 2 1 人脸表情自动识别系统 人脸表情识别就是对人脸的表情信息进行特征提取分析，按照人的认识和思维方式 加以归类和理解，利用人类所具有的情感信息方面的先验知识使计算机进行联想、思考 及推理，进而从人脸信息中去分析理解人的情绪，如快乐、惊奇、愤怒、恐惧、厌恶、悲 伤等。它主要包括两个技术环节( 如图2 1 所示) 首先是人脸的检测与定位，然后进行表情 特征提取和识别，即从输入的图像中检测和定位人脸，然后再提取出对表情识别有用的 信息并进行分类识别。 图像 人脸的检测 表情特征提 与定位取与识别 图2 1 人脸表情自动识别系统构成 这两个环节的研究独立性很强。由于在很多特定情况下人脸检测与定位的工作比较 简单，因此表情特征提取与识别环节得到更广泛和深入的研究；而近几年随着人们越来 越关心各种复杂条件下的人脸表情识别系统，人脸检测与定位才得到了较多的重视。 2 2 人脸检测与定位方法简介 人脸检测作为人脸信息处理中的一项关键技术，近年来成为模式识别与计算机视觉 领域内一项受到普遍重视、研究十分活跃的课题。人脸检测是指在输入图像中确定所有 存在的人脸的位置、大小、姿态的过程。y 觚g 等n 钔将人脸检测定义为：任意给定一幅 图像或者一组图像序列，人脸检测的目的在于判定该图像或图像序列中是否存在人脸。 如果存在，则返回其位置和空间分布。如图2 2 啪1 所示。 5 东北师范大学硕士学位论文 对于人脸检测问题，从不同的角度可以有多种分类方法，如表2 1 乜所示。 表2 1 人脸检测问题的分类 分类依据类别 图静止图像( 包括如数字化的动态图像( 即视频序列、包括 像图像来源照片、数码相机拍摄的图片等、工作台前的人脸序列、保安监控录 类目前考虑的主要问题是算法的适像、影视资料等，往往与人脸的跟 型应性和鲁棒性、算法速度再其次)踪问题交织在一起，对算法的速度 有很高的要求) 颜色信息 彩色灰度 图像镜头头肩部图像半身全身图像 前景类型 人脸姿态正面( 包括端正及平面内旋转)侧面( 包括俯仰、侧影及旋转) 单人( 又可以称为人脸定位，未知( 需要判定图像中是否存在人 人脸数目是人脸检测问题在已知人脸数目脸、人脸的数目及各个人脸的尺度 情况下的特例)和位置，即是完全的检测问题) 简单背景( 指无背景或背景复杂背景( 指背景的类型和特 图像背景的特征被严格约束，在该条件下征不受约束，某些区域可能在色 复杂程度只利用人脸的轮廓、颜色、运动彩、纹理等特征上与人脸相似，必 等少量特征、就能够进行准确检须利用较多的人脸特征才能做到 测)准确检测) 应用领域人脸信息处理( 验证、识别、表情分析等) 系统、视频会议或远 程教育系统、视觉监视与跟踪、基于内容的图像与视频检索等 鬈巍f 奚翌鹗蟹爹羹麴露蓬裂鎏戮黎滋誓 一 鬣浚甄警罗爆凳蛰霸 慧l 羁”钭瑾匿： 慝蕴窿篱蒸。噌缀缪鬟饔黪确 闲蕊 嘲穆1 0 纛 燃缓，i 戮蓊麓。a 罐磐瓣l l 錾曩可吲曩盔越7 一伽甜一置霜鹈遂4 矿”黛绷黪鬻碧缓缀 东北师范大学硕士学位论文 人脸图像所包括的模式特征十分丰富，如图2 3 所示。 直方图特征 ( 分布、距离等) 镶嵌图特征 ( 马赛克规则等) 结构特征 ( 对称性投影特征等) 颜色特征 ( 肤色、发色等) 人脸 特征 变换域特征 ( 特征脸小波特征等) 图2 3 人脸模式的特征 轮廓特征 ( 椭圆轮廓等) 启发式特征 ( 头发、下颚等) 模板特征 ( 均值方差距离特征等) 这些特征中哪些是最有用的、如何利用这些特征，是人脸检测要研究的关键问题。 人脸模式具有复杂而细致的变化，因此一般利用这些信息需要采用多种特征综合的方 法，如图2 4 所示。 简单组合 ( 加权平均等) 概率分布 ( b a y 懿推理等) 统计推断 ( 假设检验等) 人脸 特征 图2 4 各种特征的综合 启发式综合 ( 知识规则推理等) 一 燕习 ( 模糊推理等) i 如图2 3 与图2 4 乜u 所示人脸检测的基本思想是用知识或统计的方法对人脸建模， 比较待检测区域与人脸模型的匹配程度，从而得到可能存在人脸的区域。其方法大致可 分为以下两类： 基于统计的入脸检测：是将人脸图像视为一个高维向量，将人脸检测问题转化为高 维空间中分布信号的检测问题。 基于知识建模的人脸检测：是利用人的知识建立若干规则，从而将人脸检测问题转 7 东北师范大学硕士学位论文 化为假设验证问题。 2 2 1 基于统计的人脸检测方法 1 样本学习：将人脸检测视为从非人脸样本中识别人脸样本的模式分类问题，通 过对人脸样本集和非人脸样本集进行学习以产生分类器。目前国际上普遍采用人工神经 网络。 2 子空间方法：p e n t l 觚d 将k l 变换引入了人脸检测，利用主元子空间( 特征脸) ， 而人脸检测利用的是次元子空间( 特征脸空间的补空间) 。用待检测区域在次元子空间 上的投影能量，也即待检测区域到特征脸子空间的距离作为检测统计量，距离越小，表明 越像人脸。子空间方法的特点在于简便易行，但由于没有利用反例样本信息，对与人脸类 似的物体辨别能力不足。 3 模板法：模板分为固定模板和变形模板。固定模板是求取测试样本与参考模板 之间的某种度量，由阈值大小的定义来判断测试样本是否是人脸。它多用于粗检测和预 处理过程。变形模板包含一些非固定的元素，加入了惩罚机制，以参数化或自适应的曲线 和曲面来构成人脸模板。 2 2 2 基于知识建模的人脸检测方法 1 人脸规则：人脸规则是人脸遵循的一些几乎是普遍适用的空间相关性，它包括： 灰度分布规则：如五官的空间位置分布大致符合“三停五眼 等，人脸不同区域 的明暗关系不变，眼睛的灰度总是比前额和颧骨低，鼻梁的灰度一般比两侧亮等； 轮廓规则：人脸的轮廓可以简单地看成一个近似椭圆，而人脸检测可以通过椭圆 检测来完成； 运动规则：通常相对背景人总是在运动的，利用运动信息可以简单有效地将人从 任意复杂背景中分割出来。 2 颜色、纹理信息：同一种族人的面部肤色在颜色空间中的分布相对比较集中，颜 色信息在一定程度上可以将人脸从大部分背景区分开来。 3 对称性：人脸具有一定的轴对称性，各器官也具有一定的对称性。r e i s f e l d 提出广 义对称变换方法p 1 检测局部对称性强的点来进行人脸器官定位。 近2 0 年来，研究者在人脸检测方面取得了许多成绩，但是要设计并实现一个健壮的 人脸检测系统，以下的一些问题还有待于解决咖1 ： ( 1 ) 图像自身的影响。光照条件将给建立一个鲁棒的人脸检测系统带来很多影响。 人脸实际上是三维线性空间中具有立体感的图像，在不同的光照条件，或者不同的人脸 表情下会得到不同的结果。 ( 2 ) 建立用于测试的标准数据库。目前存在很多的人脸检测方法，但是，为了对这 些方法进行比较和评测，需要一个公正的测试环境，这就需要建立一个标准的人脸库。 ( 3 ) 多种检测方法的结合。目前的人脸检测方法都各自存在着缺点和不足，考虑将 几种检测策略结合在一起，将是一种有益的尝试。 8 东北师范大学硕士学位论文 2 3 人脸表情识别方法概述 在对人脸表情特征提取和分类之前一般需要做几何归一化和灰度归一化。几何归一 化是指根据人脸定位结果将图像中人脸变换到同一位置和同样大小：灰度归一化是指对 图像进行光照补偿等处理，光照补偿能够一定程度地克服光照变化的影响而提高识别 率。关于人脸表情特征提取与识别的方法可概述如下： 1 基于几何特征的识别方法：主要是对人脸表情的显著特征，如眼睛、鼻子、眉毛、 嘴等的位置变化进行定位、测量，确定其大小、距离、形状及相互比例等特征，进行表情 识别。 2 基于整体的识别方法：是通过对整幅人脸或人脸图像中特别的区域进行变换，获 取人脸各种表情的特征来进行识别。应用最广的是主元分析( p c a ) 方法。 3 基于模型的识别方法：主要是建立精确的物理模型，根据解剖学知识确定关键特 征并通过比较这些特征的变化来识别人脸表情。也就是说把人脸表情识别问题转化成可 变形曲面的弹性匹配问题。 2 3 1 基于几何特征的识别方法 人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和相对 位置的各种变化才使得人脸表情千差万别，因此对这些部件的形状和结构关系变化的几 何描述，可以作为人脸表情识别的重要特征。最早，研究人员利用人脸特征显著点导出一 组用于识别的特征进行人脸及其表情识别n 引。 采用几何特征进行正面人脸表情识别一般通过提取眼、口、鼻等重要特征点的位置 和眼睛等重要器官的几何形状作为识别特征。l a i l i t i s 1 妇用脸部一系列的特征点组成可变 形的模型，通过测量特征点的相互位置和形状来识别人脸表情( 如图2 5 所示) 。左图为训 练图像中定位特征点，右图说明变形模板上关键的1 4 个点。 一毋一 c 7 参 ， 哮毒9 奄妻 ： 一园 j 西。| 0 、一9 7 图2 5 训练图像和变形模板 其基本思想是：对每一种表情( 高兴、悲伤、惊奇、恐惧、厌恶、愤怒和平静共七种) 在选出来的训练图像中建立全局参数的分布，以便对一幅新的人脸图像计算其全局参数， 以此来识别人脸表情。他们在实验中具体的运用了可变形模型，通过计算特征点的相互 位置和形状来识别表情，达到7 4 的识别率。 基于几何特征的方法很大程度上减少了输入的数据，但是用有限的特征点来代表人 苫 1 东北师范大学硕士学位论文 脸图像，一些重要的表情识别和分类信息就会丢失。实验研究表明几何特征提取的精确 性结果不容乐观。现在对于人脸图像处理技术，基于整体的正面灰度信息的方法越来越 引起重视。 2 3 2 基于整体的识别方法 与基于几何特征的识别方法相比，基于整体的识别方法主要强调尽可能多的保留原 始人脸表情图像中的信息，并允许分类器发现表情图像中相关特征，通过对整幅人脸表 情图像进行变换，获取特征来进行识别。这种全局表情特征未必有明确的含义，但在某种 意义上是易于分类的。由于基于全局的人脸表情识别方法具有强相关性及高冗余度，因 此如何在抽取优化特征的同时提高识别的自适应性，至今还没有一个行之有效的方法。 基于整体的识别方法中最有代表性，应用最广泛的就是主元分析( p c a ) 方法。主元 分析就是要找到一个正交的维数空间来说明数据中变化的主要方向。而坐标轴就成了称 之为h o l o n s u 羽和e i g e n f a c e s n 卅的近似人脸的模板图像轴。它是最小方差准则条件下基于 图片的最优描述方法，将输入空间的维数从模板中的象素数减少到特征脸的数目。如图 2 6 所示：e k m a n 和f r i e s e n 得到的基于形状无关的人脸表情图像的特征脸n3 1 。主元分 析现在已成功的用于人脸表情识别和人脸识别。 另一种基于整体的识别方法是运用神经网络。神经网络模型由简单的、并行处理的 互连处理单元构成，每个神经元与其它神经元相连并从与其相连的神经元接受输入，输 入加权后输出送给其它的神经元，各神经元之间的连接强度通过连接权值来描述。 囵口囹日 国日囵日 图2 6e l 锄a n 和蹦e s 得到的与形状无关的特征脸 2 3 3 基于模型的识别方法 现在很多人脸表情识别系统是基于人脸物理模型的方法。它是将人脸图像建模为可 变形的3 d 网格表面，将人脸表情识别问题转化为可变形曲面的弹性匹配问题，把空间和 灰度放在一个3 d 空间中同时考虑。e s s a 和p e n u 觚d n 4 1 在t e 彪o p o u l o s 和w a 铆e s n 3 1 的基础上 构建了一个基于解剖学的人脸模型并且把它用于识别和合成人脸表情( 如图2 7 所示) 。 这个模型是基于物理的合成面部结缔组织和一组基于解剖学的面部肌肉活动的结 合。它将人脸描述成为一种层状结构的实体，层与层之间有许多弹簧相连。包含了弹性 的皮肤和与皮肤相连的4 4 块脸部肌肉。基于脸部6 个特征点的位置，把各种形变的人脸图 像与物理模型相匹配。在一个递归的估计和控制框架中，用光流的方法估计模式的运动 来细化物理模型( 如图2 8 所示：光流描绘的人脸扬眉和微笑时的表情) ，并且用这个被估 1 0 东北师范大学硕士学位论文 计的量对表情分类n 划。 ：蝴触 + k i i ，0 j 翩孵艏妇嗍慨如# 确 图2 7 几何网格和有限元法描述人脸 在一个基于模型的系统中，物理模型的精确度决定了表情分类的准确性。但是在一 个确定的人脸物理模型中很难精确的说明肌肉收缩后引起皮肤运动的方向，从而也就很 难准确的对表情进行分类。很多研究工作都是通过构建物理模型，再使用神经网络的方 法对表情序列进行识别和分类。 ：! 黝皤黔凳： ；誊鹦 蒸藜 图2 8 光流描述的人脸表情变化 2 3 4 其他识别方法 由于小波理论已逐渐成为一种成熟的技术，用小波方法进行图像识别的技术也已日 趋成熟。日本九州大学n 提出用g a b o r 小波进行面部表情信息的压缩编码，但在图像序 列中只考虑特征点位移纹理信息，并未运用颜色信息。美国c m u n 刀运用隐马尔可夫模型 ( h m m ) 分析人脸表情的细微变化，自动区别各种基于f a c s 表情活动单元( a 功的细微面 部表情。为实现自动识别运用了三种提取面部表情信息的方法：特征点跟踪、流跟踪和 边缘检测。p e n g 和h a y e s n 阳研究了人脸表情的建模与合成，用基于模型图像编码的方法 使用遗传算法来编码、识别与合成各种不同的表情。 嗽咿蘩哆譬一孙“鹾亳一磐， 瓣器辩骥x一 东北师范大学硕士学位论文 第三章基于f w t p r o j e c t i o n b p n n 方法的表情识别 如2 3 4 中所述，小波理论已逐渐成为一种成熟的技术，用小波方法进行图像识别的 技术也已日趋成熟。本文设计运用二维快速小波首先对人脸表情图像进行变换，后分别 对变换后水平与垂直方向高频分量进行投影，从而得到特征向量。最后利用一对一的b p 神经网络进行识别，并通过实验验证了本文方法的可靠性与有效性。 3 1 快速小波变换( m 本文在不损失图像基本必要信息的情况下对预处理后图片进行快速小波变换。小波 是一种用于多层次分解函数的数学工具。信号经过小波变换后可以用小波系数来描述， 小波系数体现了信号的性质。因此，小波变换用于图像处理是小波变换应用效果比较突 出的领域之一。它在图像处理中的基本思想是把图像进行多分辨率分解成不同的空间和 独立的频率带的子图像，然后对子图像的系数进行处理，例如图像压缩、图像增强、图 像的分解和重构等。 3 1 1 二维小波变换 当，o ，) ，) 表示一幅图像信号时，其二维小波变换相当于厂0 ，y ) 分别沿x 轴方向和) ， 轴方向经不同的一维滤波器滤波，得到低频和高频子带图像，图3 1 ( a ) 为一级小波分解 示意图。 l lh l h h ( a ) 图3 1 小波分解示意图 其中，u 隶示图像的水平和垂直方向的低频信息，嗾示图像的水平高频信息及垂直 低频信息，l h 表示图像的水平低频信息及垂直高频信息，衄则表示图像的水平和垂直 高频信息。通过小波变换，当图像在某一频率和方向上具有较明显的特征时与之对应 的子带图像的输出就具有较大的能量，因此图像信息集中在相应的少数小波系数上。图 东北师范大学硕士学位论文 3 1 ( b ) 为二级小波分解示意图，同理，多级小波分解每次都在低频子带上进行。 在二维小波变换的情况下，需要一个二维尺度函数妒 ，) ，) 和三个二维小波妒日o ，y ) ， 妒y o ，y ) ，妒d o ，y ) 。每一个都是一维尺度函数妒和妒相应的小波函数的乘积。排除产 生一维结果的乘积，留下乘积产生可分离的尺度函数： 妒o ，) ，) 一伊0 ) 缈( y ) ( 3 1 ) 和可分离的“方向敏感的小波： 妒月 ，) ，) 一妒 ) 驴( y ) ( 3 2 ) 妒o ，y ) 一驴o ) l f ，( ) ，) ( 3 3 ) 妒d ，y ) 一妒 砂( ) ，) ( 3 4 ) 这些小波度量函数会有变化沿着不同方向的图像强度或灰度的变化：妒h 度量 沿着列的变化( 水平方向) ，缈v 影响沿着行的变化( 垂直方向) ，妒d 对应于对角线方向 的变化。方向敏感是式3 2 到式3 4 所引起的可分离性的自然结果。 给定可分离的二维尺度和小波函数，一维离散小波变换到二维的扩展很简单。首先 定义一个尺度和平移基函数： 妒f ，尊一o ，y ) 一2 2 妒( 2 7 石一m ，2 ) ，一矽 ( 3 5 ) 妒：舢o ，y ) 一2 川2 妒( 2 x 一优，2 7 y 一万) ，f - 日，y ，d ( 3 6 ) 其中，上标i 指出式3 2 到式3 4 的方向小波。不像指数，上标i 代表了值h ，v ，和d 。 则尺寸为m n 的函数f ( x ，y ) 的离散小波变换是： ( 如m ) 2 击乏乏地y 切枷) 妈7 州朋) 。击荟乏他 y 弘枷如) ，加俐研 ( 3 愿) 如同一维情况，厶是任意的开始的尺度，睨( j 口，研，万) 系数定义了在尺度l 的的近似。 形妒( - ，肌，忍) 系数对于| 厶附加了水平、垂直和对角方向的细节。通常令厶= 0 并且选 择一m 一2 j ，j 一o 工2 ，j 一1 和朋，万一毗2 ，2 ，一1 。给出式3 7 和式3 8 的w ：和 w 2 妒，厂o ，y ) 可通过离散小波变换得到。 舷加击善；嘶胁砌枷 ) + 砺萧；荔刀磊善；崂( j ，朋，以渺；棚，o ，y ) 3 1 2 快速小波变换 快速小波变换( 网汀) 是一种实现离散小波变换( d w t ) 的高效计算。该变换找 到了相邻尺度d w t 系数间的重要关系( 见公式3 1 0 ；3 1 1 ) 。 ( ，七) 一如一蕊) ( j + 五小) ( 3 1 0 ) 1 3 东北师范大学硕士学位论文 ( ，七) 一浙一蕊) ( j + l 肌) ( 3 1 1 ) 公式( 3 1 0 ) 与( 3 1 1 ) 揭示了d w ，r 相邻尺度系数问的重要关系。即尺度j 的近似值和 细节系数( j ，七) ( j ，七) 可以通过做尺度j + 1 的近似值系数( j + 1 七) 和时域反转的 尺度与小波向量【j l l 9 ( 一，1 ) 】和【( 一，1 ) 】的卷积，而后对结果亚取样来计算。见公式( 3 1 2 ) 与( 3 1 3 ) 。 ( ，七) i ( 一万) 掌( j + l 咒) l i 教j 研 ( 3 1 2 ) ( j ，七) = | l 妒( 一咒) 奉( _ + l 以) l 强脚 ( 3 1 3 ) 其中，卷积在n = 2 k 时计算( k 0 ) 。 类似一维离散小波变换，二维d w t 可以用数字滤波器和抽样来实现。用可分离的 二维尺度和小波函数，我们简单地先取，o ，y ) 的行的一维f w t ，紧接着用结果列的一 维f 、胛。二维f w t “滤波器”尺度- + 1 的近似系数建立了尺度f 的近似和细节系数。 在二维情况下，得到三组细节系数水平、垂直、和对角线细节。经二维快速小波分 解与降维后的图片，其图片数据量如图3 2 ( a ) 所示被压缩为原预处理后图片的1 1 6 。滤 波得到的4 幅子图像分别为v ，吖，吖，w 。示于图3 2 ( b ) 中间的子图像是原图像 与( 3 1 ) 到( 3 4 ) 中二维尺度与小波函数的内积，紧接着在每维进行抽样。滤波处理的两次 迭代在图3 ( b ) 的右侧产生两尺度分解。 圈鋈熏圉 豳i 一豳 ( a ) 二维快速小波分解降维后的实验表情图片 嘞二维快速小波分解降维流程示意图 图3 2 二维快速小波分解示意图 1 4 东北师范大学硕士学位论文 3 2 投影向量 众所周知，表情是人脸为传达某种感受所做出的一种容貌表述。因此在研究表情时 不可避免地需要对人的面部器官乃至面部肌肉的外形加以研究。 翩麓烂照。翩警懑蓊皤橐戮 ( a ) 不同表情之下嘴的形貌 除岩镰茹黛i 鬣灏蕊满奢 ( b ) 不同表情之下眼与眉的形貌 图3 3 不同表情下面部器官形貌 如图3 3 所示，当实验对象感受到不同情绪之时，口、眼与眉在不同的表情之下所呈 现出形状与外观不尽相同。如此本文提出假设即面部图像的水平与垂直投影由于面部器 官与肌肉外形差异会随着表情变换而彼此不同。尽管经快速小波变换后的低频分量子图 像保留有原图像的大部分信息，其低频数据分量同时也保留有与实验对象相关的特有面 部细节信息如图3 2 ( a ) 所示，而这些细节信息会在某种程度上影响到对实验对象面部表 情的识别。因此，我们选择仅包含与表情信息相关的高频分量作为实验数据。分别对经 快速小波变换后的水平与垂直高频分量做水平与垂直方向上的投影分别得到一组6 3 维 向量，如图3 4 所示。并将所得水平投影向量与转置后的垂直投影向量结合组成一1 2 6 维 向量自此得出本文用于表情识别的特征向量。 水平方向高频分量 “，j u 垂直方向高频分量 n 水平投影向量+垂直投影向量= 特征向量 图3 4f w t 滤波后不同方向高频子图像投影图示 1 5 东北师范大学硕士学位论文 3 3b p 神经网络分类器 3 3 1b p 神经网络结构 目前，以神经系统为中心的神经网络理论的研究正取得迅速的发展，它以自组织、 自学习、自适应的特点，已经广泛地被应用于众多领域。神经网络的信息分布存储于连 接权系数中，使网络具有很高的容错性和鲁棒性，而模式识别中往往存在噪声干扰或输 入模式的部分损失，神经网络的这一特性是其成功解决模式识别问题的原因之一。另外， 神经网络具有自组织、自适应学习功能，只要待识别的模式具有一定的差异，网络就可 以通过自适应聚类学习，从而识别出不同模式的类别，因此它在模式识别领域得到了广 泛且成功的应用。 人工神经网络模型各种各样，目前己有数十种，它们是从各个角度对神经系统不同 层次的描述和模拟。代表性的网络模型有感知器、多层映射b p 网络、r b f 网络、双向联 想记忆( b a m ) 、h o 呻e l d 模型、b o l t z m a n n 机、自适应共振理论( a r t ) 、c p n 模型等。 运用这些网络模型可实现函数近似( 数字逼近映射) 、数据聚集。模式分类、优化计算、 概率密度函数估计等功能，因此人工神经网络广泛用于人工智能、自动控制、机器入、 统计学等领域的信息处理中。 在获得特征后，设计分类精度高、误识率低、可靠性好的分类器是识别的最终目的， 神经网络分类器在模式识别中得到了广泛的应用。本文研究了基于b p 神经网络的识别分 类器。由于人工神经网络具有很强的自适应学习、动态的大规模并行计算、非线性变换 和容错能力，近年来被广泛地应用于模式识别、信号处理、自动控制等多个领域。其中， 采用了误差反向传播学习算法( b p 算法) 的b p 神经网络是模式识别中应用最广泛的神 经网络之一。