（计算机应用技术专业论文）基于灰度差投影与贝叶斯分类器的表情识别研究.pdf

中文摘要 人脸表情识别研究近年来取得了很大的研究成果，目前国内外多所大学和研 究机构已经研制出一些简单的人脸表情识别系统原型，其中一些人脸表情分析技 术已经在监控中投入应用。但由于影响人脸表情识别性能的因素很多，包括环境 的复杂程度、光照的强弱程度、年龄大小、姿态正面或者侧面、图像分辨率和成 像噪声等因素，对表情识别率的提高仍有很大限制，在图像定位的精确度和识别 率方面有待提高。 本文根据当前研究现状，以降低表情识别的时间复杂度、提高表情识别率为 目的，进行了如下研究和改进： 首先，在灰度投影的基础上，提出基于灰度差投影的人脸定位算法。由于数 据库图像中背景与面部之间即面颊的边界近似为一个水平方向边缘点组成的垂 直的阶跃边缘，并且每一个象素的水平灰度差( 即灰度变化幅度) 都较大，因此把 这些竖直边界上象素的水平灰度差都加起来，进行竖直积分投影就可以得到定位 结果，实现用差值投影取代直接投影，从而降低定位误差和时间复杂度。 其次，基于p c a 重建提取特征算法。将表情识别的训练集按表情分类形成 不同表情子集，然后在子集上运用p c a 算法，分别得到各个子集对应的正交基。 对于待测图像，在不同表情子集生成的正交基上分别进行投影，利用投影坐标重 建，得到一幅图像在七种表情下投影的七幅图像。 最后，基于贝叶斯分类器的表情分类算法。针对欧式距离在表情分类方面不 能适应光照和表情变化等问题，提出贝叶斯分类器算法。求出每种表情不同图像 的灰度差，根据各个灰度差后验概率所占的比重来判定待测图像是哪种表情。 通过实验证明采用本论文的算法在表情识别率与时间复杂度方面都有了大 幅提高。 关键词：表情识别灰度差投影p c a 重建贝叶斯分类器 a b s t r a c t f a c i a le x p r e s s i o nr e c o g n i t i o nh a sa c h i e v e dg r e a tr e s e a r c hi nr e c e n ty e a r s n o w d o m e s t i ca n df o r e i g nu n i v e r s i t i e sa n dr e s e a r c hi n s t i t u t i o n sh a v er e s e a r c h e ds o m e s i m p l ef a c i a le x p r e s s i o nr e c o g n i t i o ns y s t e mp r o t o t y p e ，a n ds o m eh a v eb e e na p p l i c a t e d u n d e rs u r v e i l l a n c e h o w e v e r , t h e r ea r ean u m b e ro ff a c t o r si m p a c t i n gt h ep e r f o r m a n c e o ff a c i a l e x p r e s s i o nr e c o g n i t i o n ，i n c l u d i n gt h ec o m p l e x i t yo ft h ee n v i r o n m e n t ，t h e s t r e n g t ho ft h ed e g r e eo fi l l u m i n a t i o n ，a g eo fp e r s o n s ，p o s t u r e ，t h ei m a g er e s o l u t i o n ， i m a g en o i s e ，a n do t h e rf a c t o r sa n ds oo n s o ，e x p r e s s i o nr e c o g n i t i o nr a t e sa r es t i l l l i m i t e d r e c o g n i t i o na c c u r a c yr a t es t i l ln e e d st ob ei m p r o v e d b a s e do nr e c e n tr e s e a r c h ，w i t ht h ea i mo fr e d u c i n gt i m ec o m p l e x i t ya n d i m p r o v i n gr e c o g n i t i o nr a t e ，t h ep a p e rd o e sr e s e a r c ha sf o l l o w s ： f i r s t l y , f a c el o c a t i o na l g o r i t h mb a s e do ng r a y s c a l ed i f f e r e n c ep r o j e c t i n g i nt h e p h o t oo ft h ed a t a b a s e ，t w os i d e so ff a c ea r eb e t w e e nt h ep h o t ob a c k g r o u n da n dt h e f a c e ；t h e ya r es i m i l a rt ov e r t i c a ls t e pe d g e sm a d eu po fh o r i z o n t a le d g ep o i n t s a n d e a c hg r a yl e v e ld i f f e r e n c e ( t h a ti s ，g r a y s c a l er a n g e ) a r ev e r yl a r g e ，s oa d du pt h e g r a y s c a l ed i f f e r e n c eo fh o r i z o n t a le d g ep o i n t so nv e r t i c a ls t e pe d g e s ，a n dp r o j e c ti n t h ev e r t i c a lw a y ，t h e nw ec a ng e tt h ep o s i t i o n t h i sa l g o r i t h mu s e st h em e t h o do f d i f f e r e n c ep r o j e c t i n gi n s t e a do fd i r e c tp r o j e c t i n g ，r e d u c e st h ep o s i t i o n i n ge r r o ra n d t i m ec o m p l e x i t y s e c o n d l y ，f e a t u r ee x t r a c t i o na l g o r i t h mb a s e do np c ar e c o n s t r u c t i o n a c c o r d i n g t oe x p r e s s i o n s ，d i v i d et r a i n i n gs e to ff a c i a le x p r e s s i o ni n t od i f f e r e n ts u b s e t so ff a c i a l e x p r e s s i o n ，t h e nu s et h ea l g o r i t h mo fp c at oc o m p u t eo ns u b s e to fe x p r e s s i o n b yt h e c o m p u t i n g ，w eg e tt h eo r t h o g o n a lb a s i sc o r r e s p o n d i n gd i f f e r e n c es u b s e to fe x p r e s s i o n f o rt e s ti m a g e s ，p r o j e c to no r t h o g o n a lb a s i so fs e v e ns u b s e to fe x p r e s s i o n u s et h e p r o j e c t i o nc o o r d i n a t e st or e c o n s t r u c t ，a n dg e ls e v e np h o t o so ft h et e s ti m a g e t h i r d l y , e x p r e s s i o n c l a s s i f i c a t i o n a l g o r i t h mb a s e d o nb a y e s i a nc l a s s i f i e r b e c a u s ee u c l i d e a nd i s t a n c ec a nn o ta d a p tt oc h a n g e si ni l l u m i n a t i o na n de x p r e s s i o ni n f a c i a le x p r e s s i o nc l a s s i f i c a t i o n ，w ep u tf o r w a r db a y e s i a nc l a s s i f i e ra l g o r i t h m g e t t h eg r a y - s c a l ed i f f e r e n c eo fd i f f e r e n c ep h o t o so fe v e r ye x p r e s s i o n ；g e tt h ep o s t e r i o r p r o b a b i l i t yo ft h eg r a y s c a l ed i f f e r e n c e ，a c c o r d i n gt ot h ep r o p o r t i o nt od e t e r m i n e w h i c he x p r e s s i o nt h et e s ti m a g eb e l o n g st o p r o v e db ye x p e r i m e n t s ，u s i n gt h ea l g o r i t h mi nt h i s p a p e r , f a c i a le x p r e s s i o n r e c o g n i t i o nr a t ea n dt h et i m ec o m p l e x i t yh a sb e e ng r e a t l yi m p r o v e d k e yw o r d s ：e x p r e s s i o nr e c o g n i t i o n ，p r o j e c t i o nb a s e do ng r a y - s c a l ed i f f e r e n c e ， p c ar e c o n s t r u c t i o n ，b a y e s i a nc l a s s i f i e r 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得叁盗盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：璐殛娟 签字日期： 沏尹年多月日 学位论文版权使用授权书 本学位论文作者完全了解墨鲞盘堂 有关保留、使用学位论文的规定。 特授权苤垄盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：碱、娟娟 导师签名： p 起弘 签字日期： 如7 年6 月f 日 签字日期： 泗夕年 么月 日 天津大学硕士学位论文第一章绪论 1 1 课题研究背景及意义 第一章绪论 人脸表情识雯j l j ( f a c i a le x p r e s s i o nr e c o g n i t i o n ，简称f e r ) 提取人脸的表情变化 信息，对这一表情信息进行分类识别，通过人的表情变化分析人的内心世界和心 理变化情况，是一种完全基于可视化的识别方法。 在人们的交流中，人脸表情起着非常重要的作用，是人们进行非语言交流的 一种重要方式。表情中蕴含着丰富的个人行为信息，是情感最主要的载体，是智 能的体现。通过对人脸表情的研究可以进一步了解人类对应的心理状态。计算机 和机器人如果能够像人类那样具有理解和表达情感的能力，将从根本上改变人与 计算机之间的关系，从而使计算机能够更好的为人类服务，因此随着信息技术的 高速发展和人类对计算机依赖性的不断增强，人机交互能力越来越受到研究者的 重视，情感计算领域的研究也越来越受到重视。 心理学家认为，在特定情景下情感表达= 7 语言+ 3 8 声音+ 5 5 面部表情i l 】， 可见人脸表情与情感表达的关系十分密切。表情识别是情感理解的基础，是计算 机理解人们情感的前提，表情识别【2 】是智能机器走进人们日常生活必须解决的问 题，是实现智能机器必然要面临的问题，也是人们探索智能、理解智能的有效途 径。实现计算机的拟人化【2 】，使它能够根据环境和对象信息等内容为对象提供友 好的操作环境，消除人与机器之间的障碍，成为下一代人机交互发展的目标，这 一目标的实现对表情识别的研究提出了很高的要求。 1 2 国内外研究现状 近几十年，随着各种理论知识进一步的完善及计算机技术的飞速发展，关于 人脸表情识别的方法层出不穷。e k m a n 和f r i e s e n l 3 】1 4 j 于19 7 7 年提出的面部运动 编码系统( f a c s ) 。i e s s a i5 j 等人用动态模型和运动能量函数的方法，从人脸序列 图像中抽取光流信息来识别人的动态表清。金辉、高文 6 1 1 7 等人提出了f a c s p ( 转 换f a c s ) 的表情编码，把运动单元的运动转化为基于物理结构和肌肉模型的运 动特征向量序列对眼部和嘴部分别进行表情编码。在计算机自动识别方面， s u w a 引等人于1 9 7 8 年尝试跟踪一段脸部视频动画中每帧图片上的2 0 个关键点 天津大学硕士学位论文第一章绪论 的运动规律，将此运动规律与预先建立的不同表情的关键点的运动模型相比较， 从而达到表情识别的目的。1 9 7 8 年t e r z o p o u l o s 和w a t e r s t 9 j 则运用了简化的 e k m a n f r i e s e n 模型，用计算机产生人脸动画，同时也做了人脸视频序列的表情 分析。m a s e l 5 j 则使用光流来跟踪面部的运动单元。 在国际上日本较早开始了表情识别研究，另外美国的麻省理工学院( m i t ) 媒 体实验室、卡耐基梅隆大学( c m u ) 机器人研究所、马里兰大学( m a r y l a n d ) 、佐治 亚工学院，欧洲的剑桥大学、曼彻斯特大学等也都投入很多人力物力来进行这方 面的研究。 在国内九十年代中后期以来，在国家自然科学基金和8 6 3 计划等资助下，国 内众多研究机构的研究组开始对人脸识别进行研究，其中的主要研究单位有：中 科院自动化所、中科院计算所、哈尔滨工业大学、清华大学【l0 1 、南京大学、北京 交通大学、北京科技大学j 、浙江大学、复旦大学、天津大学等。 1 3 本文研究内容 本文从人脸表情识别的三个重要环节进行讲述，包括人脸检测和定位，表情 特征提取，以及表情分类三部分。在分析人脸表情和抽取表情特征之前，首先进 行人脸的检测和定位。然后对于定位出的人脸进行表情特征提取，最后定义表情 类别、设计分类算法对表情进行分类。 本文基于日本j a f f e 数据库，采用v c + + 6 0 作平台，使用m m l a b 实现算法 改进，结合开源的o p e n c v 图像处理函数库进行开发。具体工作内容如下： 1 、人脸检测和定位。采用基于“h a a r 1 i k e 特征的a d a b o o s t 算法检测人脸区 域，然后对提取的人脸区域进行大小归一化，直方图均衡化增强图像对比度，二 维中值滤波去噪，得到预处理图像。 对预处理图像进行二值化后，提取图像的灰度差进行水平和垂直投影定位脸 部特征位。由于图像中背景与面部之间即面颊的边界近似为一个水平方向边缘点 组成的垂直阶跃边缘，并且每一个象素的水平灰度差( 即灰度变化幅度) 都较大， 因此把这些竖直边界上象素的水平灰度差都加起来，进行竖直积分投影即得到定 位结果。用差值投影取代直接投影，降低定位误差和时间复杂度。 2 、表情特征提取。本文基于p c a 重建提取特征算法。将表情识别的训练 集按表情分类形成不同表情子集，然后在子集上运用p c a 算法，分别得到对应的 正交基。对于待测图像，在不同表情子集生成的正交基上分别进行投影，之后利 用投影坐标重建，得到一幅图像在七种表情下投影的图像。 3 、表情分类。提出基于贝叶斯分类器的表情分类算法。贝叶斯决策理论是 天津大学硕士学位论文第一章绪论 统计模式识别中的一个基本方法。依据贝叶斯决策理论设计的分类器具有最优的 性能，即所实现的分类错误率或风险在所有可能的分类器中是最小的。针对欧式 距离在表情分类方面不能适应光照和表情变化等问题，提出基于贝叶斯分类器的 算法，求出每种表情不同图像的灰度差，根据各个灰度差后验概率所占的比重来 判定待测图像是哪种表情。 1 4 本文结构安排 第一章，绪论。介绍表情识别研究的背景和意义，国内外研究现状，本文的 研究内容和结构安排。 第二章，人脸表情识别研究综述。包括表情识别概述，表情识别系统框架图， 表情识别的主要技术方法，表情识别的难点和不足，表情识别的应用领域等等。 第三章，人脸检测和定位。首先介绍人脸的检测和预处理，然后讲述基于灰 度差投影的人脸定位算法，并分析其实验结果。 第四章，基于p c a 重建算法的特征提取方法。介绍p c a 算法，基于p c a 重建的特征提取方法及其实验结果。 第五章，基于贝叶斯分类器的表情分类算法。详细介绍了贝叶斯分类器算法 的原理，并通过实验证明了该算法在识别率方面的可行性。 第六章，表情识别系统的设计与实现，介绍本文系统的设计流程和具体实现 结果o 第七章，对全文研究工作进行总结，并对今后的工作做出展望。 天津大学硕士学位论文第二章人脸表情识别研究综述 第二章人脸表情识别研究综述 2 1 表情识别概述 表情识别作为一种生物特征识别技术可以用来理解与分类计算问题，为模式 识别研究【l2 1 ，图像处理，计算机视觉分析1 1 3 】，人工智能深层发展，人机交互， 认知科学等多学科提供了一系列具体问题，为这些学科领域构建实验平台提供了 便利，表情识别问题的研究分析和进一步发展解决，可以极大地促进这些学科的 发展，为这些学科的发展奠定基础。 1 9 7 8 年s u w a l 5 1 等人做了一个在图像序列中自动进行表情分析的研究，将表 情识别引入机器视觉领域。f a s e l 1 4 】认为表情识别是基于视觉信息部的运动或脸 部特征的形变进行分类，所以可以说表情识别是一个模式分类问题。分类问题有 三个基本要素即分类类别、分类的特征和分类分法。表情类别一般分为4 到8 类， 也有学者根据情感理论对表情类别属性进行分析。分类特征和分类方法由于问题 出发点差异而不同。总之，可以说表情识别过程是将输入的表情图像通过某种分 类方法归入某个具体类别和给出某种属性描述的过程。 表2 1 理想的人脸表情识别系统的属性 一般特点 1自动人脸图像获取 2不受年龄、种族、外观的限制 3能够处理光照变化情况 4能够处理人脸遮挡的情况 5不需要特殊的人工标记 6能够处理头部的刚性运动情况 7自动人脸检测 8自动人脸表情数据提取 9能够处理不精确的人脸表情数据 1 0自动人脸表情分类 1 1 能够区分各种可能的表情 1 2能够处理单边人脸变化情况 1 3 遵守解剖学规则 天津大学硕士学位论文第二章人脸表情识别研究综述 表2 1 中列出了理想人脸表情识别系统的属性。需要说明的是，大多数表 情识别系统中，验证表情识别方法的测试集与训练集都是一样的，对于训练集之 外的其他数据的测试情况还有待于考察。因此，真正理想的人脸表情识别系统的 实现还需要更进一步的深入研究。 2 2 表情识别系统框架图 为了能够清晰的表示出入脸表情识别系统的流程，本文以图例的形式来介 绍，如图2 - 1 。图中给出了人脸表情识别的工作流程，该流程可以简单的分为三 个组成部分，包括人脸图像获取，表情特征提取和人脸表情分类，详细信息如图 所示。 图2 1 表情识别框架图 2 3 表情识别的主要技术方法 在介绍了表情识别的流程后，接下来本文详细阐述一下当前表情识别领域的 主要技术方法。归纳起来可以大致分为基于几何特征的方法、模板匹配方法、特 征子空间方法、隐马尔可夫方法、神经网络方法、弹性图匹配方法和柔性模型方 法等几大类。下面简要介绍其中的主要方法。 2 3 1 基于几何特征的方法 基于几何特型1 6 1 的识别方法将人脸用一个几何特征矢量表示，然后用模式识 天津大学硕士学位论文第二章人脸表情识别研究综述 别中的层次聚类思想设计分类器对人脸进行识别。在这种识别方法中，识别可以 归结为特征矢量之间的匹配，其中基于欧氏距离的判决方法是最常用的识别方 法。 侧影识别方法是最早的基于几何特征的人脸识别方法1 17 1 ，它主要是从人脸侧 面轮廓线上提取识别特征点入手。一般将侧影化简为轮廓曲线，从轮廓曲线中抽 取若干基准点，用这些基准点之间的几何特征来进行表情识别。由于现在大部分 应用领域都是为正面照，并且侧面照片约束很多，所以最近对侧面表情识别的研 究已经不多见，重点转向正面表情识别的研究。正面识别最关键的一步是选择合 适的角度进行归一化，使归一化后的图像不依赖于图像中人脸位置的尺度和旋转 位置变化。上述识别所采用的几何特征包括人脸的五官如眼睛、鼻子、嘴巴等局 部形状特征，整体脸型特征和五官在脸上分布的几何关系特征。以人脸五官的形 状和整脸与五官几何关系为基础的特征矢量，其分量一般包括人脸指定两点间的 欧式距离、曲率和角度等。p o g g i o 和b r u n e l l i t 塌j 提出用积分投影法提取出3 5 维 人脸特征矢量用于模式分类。 基于几何特征的识别方法具有以下优点：( 1 ) 与人类识别人脸的机理相吻合， 易于理解；( 2 ) 存储量小，对每幅图像只需存储一个特征矢量；( 3 ) 对光照变化 不太敏感。但是这种方法也存在一些缺点：( 1 ) 当特征受到遮挡时，从图像中抽 取稳定的特征比较困难；( 2 ) 鲁棒性较差，特别是对强烈的表情变化和姿态变化； ( 3 ) 注重描述部件的基本形状与结构关系，但是忽略了局部细微特征，容易造 成部分信息丢失，进而对识别率造成影响。 2 3 2 模板匹配方法 模板匹配 j 9 , 2 0 存储着已知人脸的若干表情模板，这些模板即可以是整张人脸 的灰度图像，也可以是眼睛、鼻子、嘴巴等特征区域的灰度图像，也可以选择经 过某种变换的表情图像作为模板存储。为了取得光照的不变性，有些方法中采用 经过梯度滤波后的人脸表情图像作为模板。在表情识别时，经过同样变换处理的 输入图像的所有像素点位置与库中所有模板采用归一化相关度量进行匹配识别， 来完成分类工作，完成表情识别。以上所述为静态模板匹配方法。但是这种方法 存在着对不同表情的人脸鲁棒性差的问题，针对这一问题，人们提出了弹性模板 匹配方法。 弹性模板匹配1 16 j 是根据待检测人脸表情特征的先验的特征信息( 通常利用小 波特征) 定义出一个参数描述的形状模型，该模型的参数反映了对应特征部位的 可变部分，如位置的选取、大小的分析、角度的选择等，最终通过模型与图像的 边缘、峰、谷和灰度分布特性的动态交互适应信息来得以修正。在这种方法中模 天津大学硕士学位论文第二章人脸表情识别研究综述 板变形过程中利用了特征区域的全局信息，所以可以较好地检测出相应的特征形 状信息。但是由于可变形模板要采用优化算法在参数空间内进行能量函数极小 化，因此该算法存在两个缺点：第一，对参数初值的依赖程度过高，容易陷入局 部最小的问题；二，计算时间较长。对于这两方面的问题，可采用一种由粗到细 的检测算法，首先利用嘴巴、眼睛等器官构造的先验知识、表情图像灰度分布的 峰谷和频率等特性粗略地检测出眼睛、鼻子、嘴、下巴的大体位置和一些关键的 特征点信息。然后在此基础上，给出模板的初始参数，从而可以大幅度地提高算 法的速度和精度。 2 3 3 特征子空间方法 在线性子空间【l6 j 中经常使用的方法有：本征子空间、判别子空间、独立分量 子空间、局部特征分析法和因子分析法等方法。这些方法也可以被用于混合线性 子空间和非线性子空间。 t u r k l 2 l j 用特征脸( e i g e n f a c e s ) 方法实现人脸识别。由于每个本征矢量的图像形 式都与人脸相似，所以称本征脸。对原始图像与重构图像的差分图像进行k l 变换可以得到二阶本征空间，又称二阶本征脸1 2 引。p e n t l a n d 等1 2 3 j 提出对于眼、鼻 和嘴等特征分别建立本征子空间，通过本征脸子空间方法获得了较好的识别结 果。s h a n 等| 2 4 1 采用特定人本征空间法获得了好于本征脸方法的识别结果。 a l b e r t 2 5 1 等提出了t p c a 方法，识别率有所提高。p e n e v 掣2 6 】提出的局部特征分 析方法的识别效果好于本征脸方法。当每个人有多个图像信息时，本征空间法中 没有考虑样本类别间的信息，因此，b e l h u m e u r 等【27 1 和s w e t 等【2 8 】基于线性判别 分析方法识别人脸。其中，b e l h u m e u r 等提出的方法就是f i s h e r f a c e s 方法，获得 了比较好的识别率。b a r t l e t t 等1 2 9 采用独立分量分析( i c a ) 的方法识别人脸，得到 了优于p c a 的识别率。与p c a 算法相比i c a 有许多优点：p c a 方法是沿数据 集方差最大方向寻找一些相互正交的轴，i c a 算法是用一些基函数来表示一系 列随机变量，假设它的各成分之间是统计独立的或者尽可能独立的，它将不限制 这些轴是否正交，它的轴是沿最大统计独立方向，因此它输出元素之间的相关性 被移走，这样，在这些轴上的投影就很少有交叠产生。 人脸受光照、姿势和表情等的影响在空间的分布是非常复杂的。m o g h a d d a m 等 3 0 , 3 1 】采用线性混合的p c a 法，估计出类内和类间差异的概率分布情况，并采 用贝叶斯方法识别人脸。c a p p e l l i l 3 2 1 等通过分割样本集，由每个子集求得相应的 子空间，然后对每个样本选用适当的子空间或多个子空间共同描述特征。k i m 3 3 】 等利用基于多个本征空间的混合模型，提出多投影空间的混合l d a 方法，获得 了较好的识别率。f r e y l 3 4 1 等用m f a 方法识别人脸。 天津大学硕士学位论文第二章人脸表情识别研究综述 在s v m 的k e r n e l 方法的基础上，p c a 、l d a 和i c a 等方法被发展为了 k e m e l p c a 3 5 1 ， k e m e l l d a l 3 6 1 和k e m e l i c a 3 刀。基于k e r n e l 的方法获得了比线 性子空间方法更好的识别效果【3 8 1 ，缺点是计算量较大。另一些实验表明采用 混合线性模型的方法好于基于k e r n e l 的方法。 2 4 表情识别的难点不足和应用 2 4 1 表情识别的难点 人脸表情识别在很多方面都有应用前景，随着硬件条件的飞速提高和人脸表 情识别技术不断改进，从1 9 7 8 年第一个表情识别系统开始，到现在国际上成熟 的表情识别系统应用于各个领域，人脸表情识别的实现在一定程度上成为了现 实，并且很多芯片中也都加上了表情的处理。但是，在这些技术的发展过程中仍 然有很多的难点、关键点没有解决好，从而制约了表情识别技术的进一步发展和 完善。这些难点和关键点主要有： ( 1 ) 表情库的建立1 3 9 1 。人脸表情识别与人脸识别的数据库不同，后者是一 个纯客观的过程，不存在标定表情特征的问题，在建立表情数据库的过程中考虑 的技术因素主要是测试算法的鲁棒性、稳定性、准确性等方面，其他工作大都是 些重复的手工操作。但是建立表情库与之有很大差距。首先得确定表情表达的准 确性，是否真实的表达了悲痛，高兴等等表情，希望建立一个自然真情流露的表 情库，而不是那种娇柔做作的表情库，这样的数据库用来做实验才具有较高的可 靠性。其次要考虑表情标定的准确性，就是说我们是否正确的将悲痛标定为了悲 痛，而没有把它错误的标定为高兴，是否完成了主观与客观相统一的认定。即使 是同一幅表情图像，不同的人会得出的标定结果也不相同，即使是同一个人，在 不同心情和不同的客观条件下得出的标定结果也不见得相同，因此说要建立一标 定准确的数据库难度很大。 ( 2 ) 文化差异造成表情表达的不同。具有不同文化背景的人在做相同的表情 时表现出来的表情很可能是不同的，具有一定的差异性。比如，亚洲人比较内敛， 很少有夸张的表情，所以表达恐惧、悲伤、厌恶、高兴时面部运动很小。但是欧 洲和美洲人就相对张扬一些，他们的面部表情很丰富，我们在研究一段视频中时 几乎看不到他们没有表情的时候。 ( 3 ) 性别差异造成表情表达的不同。男性与女性在表情的表达上差异很大， 女性相对比较感性，表情丰富，表达方式多样，而且每一种表情幅度都可以被观 察识别而男性一般不会轻易将内心的意识表现在脸上，脸上表达的表情一般较 天津大学硕士学位论文 第二章人脸表情识别研究综述 少，不容易被察觉，因此在识别时有一定的难度，给表情的分析与识别带来了一 定的困难。 ( 4 ) 人脸特征对表情识别的干扰。在人脸识别中必须考虑表情的影响，因 为可能受表情变化的影响使提取的信息中含有干扰信息，对识别产生一定的误 导。同理，在表情识别的研究中也必须考虑人脸差异的影响，相同的表情可能在 不同的人脸上识别的结果不同。就单纯的识别率而言，有表情的人脸与无表情的 人脸在识别上得到的结果可能相差不大，对结果产生不了很大影响，但是在表情 识别中，去除人脸差异的表情特征信息与有人脸差异的比表情特征信息在识别效 果上差比很大，基本上都是1 0 个百分点以上。具体分析就是，人脸的类别多达 几十亿，而典型的表情类别却很少，只有几种。因此表情识别中人脸差异的干扰 更大于人脸识别中表情的干扰。这是我们在进行表情识别研究时需要克服的一个 难题。 2 4 2 表情识别的不足 表情识别过程中不仅存在着上述的许多难点，由于技术、客观条件等因素的 影响，表情识别还有很多的不足，主要表现在： 1 可靠性和准确率不是很高。虽然不同的表情表现不一样，但是不同的表 情如何确定为相似在技术上有很大的要求，我们很难对每幅图像都能精确的识 别，因此表情识别在识别率上存在一定的不足。 2 表情识别的推广存在一定的难度。在上一小节中说到因为表情的种类与 比人脸的种类少很多，另外还有种族因素，性别因素、文化因素等方面的影响很 难建立起统一的标准的表情数据库供研究使用，因此要推广表情识别的研究成果 有一定难度。 3 图像采集容易受外界条件影响。图像在采集过程中容易受光照条件不同、 采集角度不同、距离变化不同等方面的影响，因此采集的图像就包含了很多个人 信息，这些个人差异信息对表情识别的结果造成一定程度的影响，使识别性能不 很非常稳定。 由于以上缺点的存在，使人脸表情识别研究成为一个非常具有挑战性的课 题，尤其是在对象差异性大并且采集情况不理想的条件下。当然，随着技术的不 断进步和发展，相信这些问题可以一一得到解决，从而使得f e r 技术能够得到 更好的发展，更加广泛的应用。 2 4 3 表情识别的应用 表情识别作为一种典型的生物特征识别技术，因其自然性、客观性、高可接 天津大学硕士学位论文第二章人脸表情识别研究综述 受性等优点受到了人们的一致好评和喜爱，并在各行各业中得到了一定程度的应 用。表2 2 【3 9 1 汇总了当前人脸表情识别应用的一些典型情况。 表2 2 人脸表情识别典型应用 应用模式典型具体应用特点说明应用领域 智能操作系统分析人类的适时表情人工智能 智能机器人分析人类的适时表情人机交互 智能环境提供人类最准确的需要人工智能 识别分析 课堂调查对学生的爱好、教师的教学能力很好的调查教育 心理学场景实验客观观察心理学 不同文化背景人同可以对比研究文化差异的影响 跨文化研 一场景反映的研究 究 虚拟重构表情模拟模拟各种表情人脸识别 表情动画生成各种搞笑表情动画娱乐 天津大学硕士学位论文第三章基于灰度差投影的表情区域定位算法 第三章基于灰度差投影的表情区域定位算法 人脸表情识别包括3 个阶段：人脸的检测和定位、人脸表情特征的提取、人 脸表情的识别。其中人脸的检测定位作为第一步，有着至关重要的作用。 人脸检测定位方法大致可以分为三种类型：第一类是在彩色图像中利用人脸 的肤色信息检测定位人脸，第二类是用模板匹配方法进行检测定位，对众多质量 较好的图像进行训练构造出一个人脸的标准模板，在该标准模板的基础上生成一 系列多角度、多尺度的模板，然后用这些模板对输入图像进行匹配得到输入图像 的识别结果，最后一类是根据人脸的像素分布信息进行人脸的检测定位。 对于上述三种方法，第一类方法主要适合于彩色图像，但是容易受到与肤色 信息相似的背景的干扰；第二类方法在检测过程中耗费的时间较多、涉及的计算 量比较大，所以采用这种方法定位一张人脸所花的时间较长；第三类方法和前两 类相比，优点是速度较快并且适合于各种色彩图像，但是它的缺点在于对图像的 要求比较高，比如图像的质量内容要受到限制，图像的亮度要适中，图像的背景 要简单，人脸在图像中要占较大的篇幅等等。本文先对人脸进行检测和预处理， 然后采用基于灰度差的表情定位方法对表情区域进行定位。 3 1 人脸检测 本文使用的人脸检测方法是基于a d a b o o s t 级联分类器分类的检测方法。 a d a b o o s t 算法作为一种迭代方法，通过改变数据分布来实现人脸检测。该方法 最早由p a u lv i o l a 4 0 】提出，并由r a i n e rl i e n h a r t 4 1j 对这一方法进行了改善。利用 样本图片的h a a r 特征进行分类器训练，得到弱分类器，然后采用a d a b o o s t 算法 挑选少量关键的弱分类器形成强分类器并级联起来。 在级联过程中【4 2 1 ，首先判断上一轮训练的总体分类准确率和每轮训练中每个 样本的分类是否正确，根据判断得到的结果来确定下轮训练中每个样本的权值。 然后把每次训练得到的分类器级联起来形成最后的决策分类器。 在该算法中【4 2 1 ，对于每个训练样本都赋予其一个权重，以表明该样本被选入 某个弱分类器训练集的概率。如果一个样本在一次训练中没有被正确的分类，那 么在下一次构造训练集时，它被选中的概率就会增加，如果在上一次训练中该样 本已经被正确分类那么它被选中的概率就会降低。通过这种方法，a d a b o o s t 算法 天津大学硕士学位论文第三章基于灰度差投影的表情区域定位算法 能够将更多的时间放在那些较难分类的样本上，这些样本一般含有丰富的特征信 息，对于后面的识别具有重要作用。 在具体操作过程中，初始时令每个样本的权重都相等，根据这些权重来选取 样本点，接着训练分类器。然后根据这些分类器，来提高上次训练过程中被错分 的那些样本点的权重，同时降低被正确分类的样本的权重。经过上述权重变换后 的样本集接着被用来进行下一个分类器的训练，如此循环进行，直至整个训练过 程完成。 3 1 1 使用h a a r - l i l k e 特征构造弱分类器 使用h a a r - l i l k e 特征信息对人脸表情图像进行建模有利于缩小人脸和非人脸的 类内距离，并且增加人脸与非人脸的类间距离，有利于建立正确的判别函数。另 外，h a a r - l i l k e 特征更容易形式化，形式化之后的特征信息计算起来更加方便快捷， 从而有利于提高人脸检测速度。 h a r r - l i k e 特征最早由p 印a g e o 唱i o n 等【4 3 】人用于人脸的表示。v i o l a 掣2 5 】在此基 础上进行了扩展，应用了三种类型四种形式的特征。四种形式分别是卜矩形特征、 2 一矩形特征、3 一矩形特征、4 一矩形特征四种形式，如图3 1 所示。 ( 2 )( 3 )( 4 ) 图3 1四种h a a r l i k e 特征形式 水平特征( 1 ) 和垂直特征( 2 ) 是将一个正方形区域等分成水平或垂直相邻的两 部分，对角特征( 3 ) 是将该正方形区域等分成四个相邻部分。 对于( 1 ) 、( 2 ) 和( 3 ) 这类特征，特征数值计算公式为： v = s u m a - s u m 膏 ( 3 1 ) 而对( 4 ) 来说，计算公式为： v = s u m 震- - 2 s u m a ( 3 - 2 ) 在定义了上述特征值之后，非重叠的在图像上移动上述小正方形区域，对于 天津大学硕士学位论文第三章基于灰度差投影的表情区域定位算法 图像中不重叠的每一个正方形区域，按照定义的上述方法分别计算四种特征值， 就可以得到该图像的所有h a a r l i k e 特征。在图像上遍历所有可能的正方形尺度 并算出相应尺度上的所有值就可以获得该图像的全部h a a r - l i k e 特征。 但是上述计算方法存在着一定的问题，若是非重叠的移动则会造成移动的覆 盖率过低，使部分区域的特征值没有计算进去，若是重叠的移动则会造成覆盖率 过高，使一些区域的特征值被重复计算，降低了定位执行速度。v i o l a t 2 5 】在提出 了上述四种h a a r l i k e 特征的基础上，提出了一种快速特征值计算方法，在这种 算法中应用了积分图像这一概念。通过对原图像进行积分变换得到积分图像。变 换公式为： s ( x ，y ) 2 垃，i ( x ，y ) ( 3 - 3 ) 其中，i ( x ，y ) 表示点( x ，y ) 处原始图像的灰度值，s ( x ，y ) 表示点( x ，y ) 处积分图 像的值。根据几何意义可知s ( x ，y ) 表示矩形( 0 ，0 ，x ，y ) 内所有点的灰度值之和。进 而推出另外一个公式： s ( x ，y ) _ s ( x - l ，y ) + s ( x ，y 一1 ) + f ( x ，y ) - s ( x - 1 ，y 1 ) ，( 3 - 4 ) 其中s ( - i ，y ) = s ( x ，- 1 ) = 0 ； 按照这个公式顺序扫描一遍图像即可得到新的积分图像。设h a r r l i k e 特征 值所要用到的任意宽w 高h 的矩形为( x ，y ，x + w - 1 ，y + h 1 ) ，计算该矩形内所有点的 灰度值之和定义为r e c s u m ( x ，y ，x + w 一1 ，y + h 1 ) 。其计算公式为： r e c s u m ( x ，y ，工+ w 一1 ，y + h 1 ) = s ( x + w - 1 ，y + h 一1 ) 一s ( x 一1 ，y + h 一1 ) 一s ( x + ，一1 ，j ，一1 ) + s ( 工一1 ，j ，一1 ) ( 3 - 5 ) 从公式( 3 5 ) 中可以看出，计算任意一个矩形区域的灰度值之和，只需要计算 图像中四个点的积分图像值即可。因此在计算一幅图像h a a r - l i k e 特征值时，可 以按照公式( 3 4 ) ，计算出该图像的积分图像，将积分图像存储在一个二维的表中 并且表的索引就是像素点的坐标( x ，y ) 。对于任意矩形区域的灰度值之和只需查找 四个点处的积分值，然后按照公式( 3 5 ) 进行计算，将查到的值代入公式，即可得 到要求的结果。图3 2 给出了四种特征值基于积分图像的具体求解方法。采用积 分图像方法使得特征值的求解变得快速方便。 为了提高训练和检测速度，v i o l a 根据矩形特征，采用了一种计算量小但是 结构简单的弱分类器。公式如下： _ ) = 矿p 。j f f 厅：p ( x 刑) l 7 ，则可 认为它们属于同一种表情。如果有多个表情后验概率大于1 1 7 ，则概率最大的表 情为待测图像的表情。为简化计算过程，降低计算复杂度，我们可以直接采用 s = p ( q i 驯 ( 5 1 2 ) 通过实验得知，在大多数情况下( 5 1 1 ) ，( 5 1 2 ) 式在识别率方面的差别不大， 但是( 5 1 2 ) 式的运算速度却要比( 5 11 ) 快好多。因此该简化可行，最终我们采用 ( 5 1 2 ) 的方法。在尸伯i q l ) 和p ( o i q 矽，尸r q i q 7 ) 等均为l 维零均值高斯分布 的假设下： p q q i = e x p ( - 1 2 0 , le i lq ) 2l - i ) ( d 2 ) e i 1 2 ) 。13 ) 其中，五为q 肭协方差矩阵，d 为选取的最大的特征值的个数。将( 5 1 3 ) 式代入( 5 1 2 ) 式中计算后验概率。 考虑到同一种表情在不同的采集环境下，采集到的不同图像中可能呈现出不 同的两种表情，进而对识别结果产生