（通信与信息系统专业论文）自动人脸表情识别.pdf

摘要 心理学家m e h r a b i a n 曾给出一个公式：感情表露= 7 的言词+ 3 8 的声音+ 5 5 的面部表情，说明人脸表情含有丰富的人体行为信息，是情感最主要的载体。作 为情感计算的一个重要研究方向，表情识别不仅构成了情感理解的基础，而且是 计算机理解人们情感的前提。本文从自动人脸表情识别入手，重点探讨和研究了 表情识别中的数据获取、图像预处理、人脸表情特征提取和识别等关键问题。主 要工作如下： 1 阐述了人脸表情识别的研究背景和意义，介绍了国内外的发展现状。从特 征提取和分类两个方面对人脸表情识别领域的主要方法做了总结。 2 研究了人脸检测算法以及人脸图像的预处理方法。采用基于a d a b o o s t 算法 检测人眼。根据左右眼睛坐标点的连线与水平轴的夹角，对图像进行旋转、剪切 及缩放等几何预处理；使用直方图均衡化等方法对图像进行灰度预处理。 3 针对传统的纹理特征提取算法计算复杂度高、速度慢等缺点，实现了基于 局部二进制模式( l o c a lb i n a r yp a t t e r n ，l b p ) 的纹理特征提取算法。该方法不仅计算 速度快，而且对光照变化具有很好的鲁棒性。虽然提取的特征有效地描述了人脸 的纹理特征，但是对分类不一定是最佳的。在此基础上，结合经典的线判别分析 ( l i n e a rd i s c r i m i n a n ta n a l y s i s ，l d a ) 方法，提出了具有判别能力的纹理特征提取方 法( l d a + l b p ) ，进一步提高了表情识别率。 4 开发了自动人脸表情识别系统。该系统可以自动完成图像采集、人脸检测、 五官定位、表情识别等功能，并能实时识别出高兴、惊奇、悲伤、恐惧、生气和 厌恶等六种表情。 关键词：表情识别特征提取局部二进制模式线性判别分析 a b s t r a c t f a m o u s p s y c h o l o g i s t a l b e r tm e h r a b i a nh a dm a d eac o n c l u s i o nt h a t t h e c o m m u n i c a t i o ni sm a d eu po f7 w o r d s ，38 t o n eo fv o i c ea n d5 5 f a c i a le x p r e s s i o n f a c i a le x p r e s s i o nw h i c hc a r r i e sr i c hi n f o r m a t i o no fb o d yb e h a v i o ri st h el e a d i n gc a r r i e r o fh u m a ne m o t i o n s a sa l le s s e n t i a lb r a n c ho fa f f e c t i v ec o m p u t i n g ，f a c i a le x p r e s s i o n r e c o g n i t i o ni st h eg r o u n d w o r ko ft h ee m o t i o nu n d e r s t a n d i n g ，a n di st h ep r e c o n d i t i o nf o r c o m p u t e r s t ou n d e r s t a n dh u m a n se m o t i o n i nt h i sd i s s e r t a t i o n ，f a c e d e t e c t i o n ，f a c e p r e 。p r o c e s s i n g ，f a c i a le x p r e s s i o nf e a t u r e se x t r a c t i o na n dr e c o g n i t i o na r et a l k e da b o u t t h em a i nc o n t e n t so f t h i sd i s s e r t a t i o na l ea sf o l l o w s ： 1 t h er e s e a r c hb a c k g r o u n do ft h ef a c i a le x p r e s s i o nr e c o g n i t i o ni si n t r o d u c e d ，s oi s t h ed e v e l o p m e n t as u r v e yo ff a c i a le x p r e s s i o nf e a t u r ee x t r a c t i o na n dc l a s s i 矗c a t i o n a l g o r i t h m sa r ep r e s e n t e d 2 t h ef a c ed e t e c t i o na n dt h ee x p r e s s i o ni m a g ep r e p r o c e s si ss t u d i e d 。g e o m e t r i c p r e p r o c e s s i n gi n c l u d i n gr o t a t i o n ，c l i p p i n ga n ds c a l i n g ，a n dl i g h t i n gp r e p r o c e s s i n g s u c ha sh i s t o g r a me q u a l i z a t i o n ，a r ea d o p t e d 3 a ne f f e c t i v ef a c i a lf e a t u r ee x t r a c t i o na l g o r i t h m ，l o c a lb i n a r yp a t t e r n s ( l b p ) ，i s s t u d i e d l b pc a ne n s u r ee x t r a c te n o u g hd e t a i l e de x p r e s s i o n a li n f o r m a t i o n t h o u g hl b p c a nd e s c r i b et h el o c a lf e a t u r e sa c c u r a t e l y , m a yn o tb eg o o df o r c l a s s i f y i n g ac o m b i n e d m e t h o do fl b pa n dl d ai sp r o p o s e d e x p e r i m e n tr e s u l t ss h o wt h en e w m e t h o di sb e t t e r t h a nt h el d ab o t hi nr e c o g n i t i o nr a t ea n di nt i m ec o n s u m p t i o n 4 a na u t o m a t i cf a c i a le x p r e s s i o nr e c o g n i t i o ns y s t e mi sr e a l i z e d ，w h i c hc a n c l a s s i f y t h ef a c i a le x p r e s s i o ni n t os i xt y p e s ：h a p p i n e s s ，s u r p r i s e ，s a d n e s s ，f e a r , a n g e ra n d d i s g u s t i nr e a l t i m e k e y w o r d s ： f a c i a le x p r e s s i o nr e c o g n i t i o n l o c a lb i n a r yp a t t e r n f e a t u r ee x t r a c t i o n l i n e a rd i s c r i m i n a n ta n a l y s i s 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：主包差堡 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍是西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公开论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 日期j 雹乙丛丝一一一 第一章绪论 第一章绪论 1 1 研究背景与意义 随着计算机技术的进步，人工智能得到飞速的发展，在很多方面有着相当成 功的应用，如专家系统、文字识别、机器学习等。但是现在的人工智能都无法理 解和适应人的情绪或心理。没有这种情感能力，就很难期望计算机具有与人一样 的智能，也很难期望人机交互真正做到和谐与自然。虬睛感计算是未来人工智能理 论与应用的重要组成部分，其目的就是通过赋予计算机识别、理解、表达和适应 人的感情能力，来建立和谐的人机环境，并使计算机具有更高、更全面的智能”【l 】。 表情，作为情感的外在表现方式，是研究人类情感的重要途径。人们可以通 过表情准确而微妙地表达自己的思想感情，也可以通过表情辨认出对方的态度和 内心世界。表情识别，就是让计算机从给定的表情图像或是视频序列中分析检测 出特定的表情状态，进而确定被识别对象的心理情绪，为情感计算提供重要的研 究基础。 人与人之间的沟通，有超过5 0 的信息是靠脸部表情和肢体动作，而不是我 们的语言。表情才是所有人类共通的语言，不论任何语言、任何文化背景、任何 年纪的人，表情都是一样的。即使仅是皱眉头、嘟着嘴，都可以得到对方想要表 达的信息。假使计算机有了如此逼真且丰富的脸部表情，不仪能促进计算机与人 之间的更好沟通和交流，还可以使计算机达到模拟真实人类的效果。这将从根本 上改变人与计算机之间的关系，使计算机能够更好地为人类服务。 人脸表情识别系统也将在广告、医疗、网络、汽车驾驶上具有广泛的用途。 可以想象有这样一台电脑：它可以根据你的表情播放适合你的广告；可以帮助医 院的病人在四肢无力时进行紧急呼叫；可以在网络教育中分析学生是否已经领会 了所学内容；可以根据驾驶员的表情判断他是否处于疲劳驾驶。 人脸表情识别的研究涉及人工智能、计算机视觉、生理学、心理学、认知科 学等学科。人脸表情是自然界中结构和变化最复杂的模式之一，对面部表情的识 别和理解的研究必将促进相关学科的发展，并为解决其他类似复杂模式的研究提 供重要的启示。 总之，随着人工智能和情感计算的发展，人脸表情识别和分析必将发挥越来 越重要的作用。 自动人脸表情识别 1 2 国内外相关领域的研究 由于人腧表情的多样性和复杂性，表情识别具有较大的难度，因此与其他生 物识别技术( 如指纹识别、虹膜识别、人脸识别等) 相比，发展相对缓慢，应用还不 广泛。但是作为和谐人机交互领域中不可或缺的一部分，国内外很多研究机构及 学者都致力于这方面的研究，并且取得了一定的成果。但总体而言目前的表情识 别研究还很小成熟。 人们对表情谚 别的研究可以追溯到2 0 世纪7 0 年代，早期丰要集中在心理学 与牛物学方面的研究和分析。d a r w i n 2 1 首先揭示了表情在不同性别，不同种族的人 群中的一致性。e k m a n 和f f i s c n ”】在1 9 7 8 年提出丁腧部动作编码系统( f a c i ma c t i o n c o d i n gs y s t e m ，f a c s l ，采用4 4 个运动单元f a o r i o nu n i t s ，a u s ) 来描述人脸衷情 变化，并第一次系统地对表情进行了分类，定义了6 种基本表情：愤怒( a n g e r ) 、恐 惧( f c 神、厌恶( d i s g u s t ) 、高兴( h a p p i n e s s ) 、惊奇( s u r p r i s e ) 、悲伤( s a d n e s s ) 。这一分类 得到了广泛的认同，并成为后来很多表情识别研究工作的基础。 现阶段还有很多机构在进行这方面的研究。美国的卡耐基梅隆大学的视觉和 自动化中心开发了自动人脸图像分析系统( a u t o m a t e df a c i a li m a g ea n a l y s i s ， a f a ) 【4 】，能够自动地识别人脸的运动单元，分析一段时间内的表情行为；2 0 0 2 年 e k m a n 重新改进了f a c s 系统，使用更准确的方法描述面部行为：麻省理j 二学院 多媒体实验室的个人机器人组在2 0 0 7 年秋研制了能够识别人脸表情并且能做出相 应刚应的机器人，如图11 所示；加州大学圣地亚哥分校开发的系统可以检测到人 在观看视频时的表情变化，预测该人更倾向于要快进还是慢放并实现它；日术的 a t r 媒体信息科学实验室建立了日本女性面部表4 隋( j a f f e l 公用数据库，并提出两 种基于几何特征的静态二维图像表情识别方法口】【。 图1 1 m i t 机器人表情示例 第一章绪论 3 国内的中科院、清华大学、中国科技大学、哈尔滨工业大学、东南大学等机 构都对表情识别做了研究。中科院计算所的山世光、高文建立了一个大规模、多 样化的东方人脸库c a s p e a l 人脸库【7 】其中就包括了人的各种表情。哈尔滨工业 大学研制了具有视觉及面部表情的机器人【8 】。中科院自动化所模式识别国家重点实 验室，从美国引进运动捕获系统、三维扫描等设备用于语音和表情的识别，以加 快情感计算的步伐。北京航天航空大学针对国内外情感数据匮乏的现状，设计并 实现了较全面的视频人脸表情数据库【9 】。但相比之下，国内对表情识别的研究和重 视程度很不够，研究成果与国际水平还存在一定距离。 但现有的表情识别方法很难推广到实际应用中。目前面部表情识别研究的发 展趋势是：建立稳健的、实时、全自动表情识别系统，能够在遮挡、光照变化等 情况下进行表情识别。为此很多学者致力于基于三维模型的表情识别研究，但是 由于其复杂性，进展也比较缓慢。 1 3 人脸表情识别综述 1 3 1 人脸表情识别系统概述 人脸表情识别系统一般包括3 个环节：人脸检测、特征提取、表情分类，如 图1 2 所示。建立一个人脸表情识别系统，第一步需要对人脸进行检测与定位，这 一研究现在已经成为一个独立的方向并取得了很好的成果。第二步从人脸图像或 视频序列中提取能够表征输入表情本质的信息。第三步特征分类，将输入的人脸 表情分类到相应的类别。 ， 表情特钮e 的提取表情分类 图1 2 人脸表情识别系统f a c i a le x p r e s s i o nr e c o g n i t i o n ( f e r ) 从广义上讲一个良好的人脸表情识别系统应该包括以下几个不同的功能： 1 人脸检测与跟踪 人脸检测任务要求计算机从输入的图像中判断是否存在人脸。如果存在，同 时需要给出人脸的位置。而人脸跟踪则需要进一步给出上述检测到的人脸有关信 息随时间连续变化的情况。 2 面部特征检测与提取 要求系统能够确定出面部图像中的眼睛、嘴巴、鼻子等_ 丰要器官的位置，最 好还能够描述出这些器官及面部的轮廓。 3 人脸属性分类 4 自动人脸表情识别 根据面部特征检测与提取的结果，结合面部图像中的亮度信息，对检测到的 人脸的性别、种族、年龄等属性做出判断。 4 基于不同对象的人脸表情识别 表情识别不但能识别出表情库中已有人脸的表情来反映这个人的情感变化， 而且能识别出非库中人脸的表情，研究表情的共性及本质。 1 3 2 表情特征提取的方法 表情特征提取是人脸表情识别系统中最重要的部分，有效的表情特征提取工 作将使识别的性能大大提高。现有的特征提取的主要方法有：基于几何特征、统 计特征、局部结构特征和运动特征等。 基于几何特征的方法【1 0 】f 1 1 】。主要是对人脸表情的显著特征，如眼睛、眉毛、 嘴巴等位置变化进行定位与测量，确定其大小、距离、形状及相互比例特征进行 表情识别。几何法的优点是减少了数据量，缺点是丢失了一些重要的识别和分类 信息，因为人的表情并不仪仅是这几个显著特征的变化，导致的结果是精确性不 。e l l 口jo 基于整体统计特征的方法【1 2 】 1 3 】。主要是强调尽可能多地保留人脸表情图像中 的信息，通过对整幅人脸表情图像进行变换，获取特征并采用分类器分类表情。 主要方法是主成分分析( p c a ) 和独立分量分析( i c a ) 。 基于图像局部结构的方法【1 4 】【1 5 】【1 6 】。这一类获得广泛认可的方法有g a b o r 和局 部二进制模式( l b p ) 。近年来g a b o r 小波的方法被广泛应用于人脸表情的特征提取， 它能够检测多尺度、多方向的纹理变化，同时受光照变化影响较小。l b p 描述人 脸具有判别力强、抗光线干扰和计算简便等优点，也被用于表情识别。 基于运动特征的方法【1 7 】。主要用来提取动态图像序列的运动特征。运动向量 即光流是指图像亮度模式引起的表观运动( a p p a r e n tm o t i o n ) ，光流反映了图像的变 化，由于它包含了目标运动的信息，因此可以被观察者用来确定目标的运动情况。 光流场是指图像中所有像素点构成的一种二维瞬时速度场，光流场携带了运动和 结构的丰富信息，可以作为表情特征来提取。 在研究了现阶段多种表情提取方法后，发现基于几何法提取的特征，识别率 比较低；而基于统计的方法对于从采集卡采集的帧进行矩阵运算时，速度比较慢； 采用g a b o r 能很好的描述人脸的纹理信息，但是同样的缺点是计算量大、运算时 间长，不适合用于实时的表情识别。因此在对多种方法进行分析和实验后选择了 纹理描述性好、运算速度快的l b p 方法用于实时系统。 第一章绪论 13 3 表情分类的方法 表情分类是指定义一组类别并设汁相应的分类机制把待识别的表情进行归 类。在表情的分类上主要有两个方向：一个是根据e k m a n 和f r i e s e n 构建的f a c s 系统内的动作单元a u 来做判断。另一个是直接根据提取的特征来判断表情，主 要有人工神经网络、支持向量机、隐马尔可夫等方法。 脸部动作编码系统( f a g s ) 。f a c s 是最早研究面部表情采用的方法之一，很多 的方法都以它为基础。心理学家e k m a n 和f r i e n s e n 于1 9 7 8 年开发了脸部动作编码 系统( f a c s ) ，用来描述面部表情和研究人类的认知行为。他们根据人脸的解剖学 特点将其划分为“个基本动作单元( a c t i o n u n i t s ，a u s ) 。单一动作单元可以用来 描述脸部特定区域个圳移动情况，丰要是脸部肌肉的变化，例如a u l 为眉毛内角 上扬、a u l 2 为嘴角上扬等，见图i3 、图1 4 。不同的动作单元也可咀相互的结合， 称为组合a u s 。这样的定义方式可以很明确的确定胎部的表情，而且这“个基本 动作单元还可以相百组合，所以可以形成数千种的脸部表情。但是很多单独的动 作单元在日常表情中并不发生或很难区分，即使是经过训练的对f a c s 十分熟悉的 人也很难根据规则进行准确的区分。而且由于f a c s 系统是用来编码人脸运动的静 态方法，那么使用f a c s 描绘动态人脸表情时就显得非常刚难 a u ia u 2a u 4 矗秣r lj i n n e rb r o wr a i s e r o u t e rb r o wr a i s e rb r o wl o w e r a u 5a u 6a u 7 _ 暴忝落主磋豢；襞譬 u l 职r - l i d r a i s e rc h e e k r a i s e r l i d t i g h t e n e r 幽1 3 上部脸基本动作单元 自动人脸表情识别 a u l oa u l 2a u l 5 r i 1 瓷 。 i il 。囊参麓。 u p p e r - l i pr a i s e r l i pc o m e rd e p r e s s o rl i pc o m e rd e p r e s s o r h = j 【一了：一j l o w e r - l i pd e p 赢s 。r c i nr a i s e r l i ps t r e t c h e r 一 幽14r 部脸基本动作单兀 人工神经网络在静态陶像的人脸表情识别中有很多运用。g u e o r g u i e v a ”1 使用 多层感知的神经网络来进行表情识别。m a 1 9 ) 在全脸图像中用2 维离散余弦变换进 行特征检测，然后用个结构性单隐层的前馈神经网络作为表情分类器，效果比 传统的神舞网络好。 支持向量机( s v m ) 是在统计学习理论的基础卜发展起来的一种分类方法，在解 决小样本、非线性和高维问题e 很有优势。目前s v m 是机器学习中应用最多的分 类器之一，近年来也被用于表情识别中。c a i f e n gs h a h 唪0 1 使用l b p 特征与s v m 分 类相结合的方法进行分类，取得了较好的识别结果。 隐马尔可夫模型( h m m ) 适闩j 于动态过程甘f 问序列建模，具有强大的模式分类 功能。m u l lc r 【2 1 1 运j | 隐马尔可夫模型进行动态人腑表情分析。对序列中的每一幅图 像用一个伪2 维的隐马尔可夫模型( p 2 d h m m ) 进行建模，再用i d h m m 对时间状 态进行建模晟后得到表不完整表情动作的p 3 d h m m ；中科院自动化所的周晓旭 等【2 2 1 采用改进的嵌入式隐马尔可夫模型进行实时表情识别。 1 3 4 人脸表情数据库介绍 目前，研究中比较常用的表情库主要有：美国c m u 机器人研究所和心理学系 共同建立的c o h n k a n a d e 数据库，在很多研究中被列为算法比较的标准。 c o h n - k a n a d e 数据库是基于a u 编码的数据库，含有2 l o 个对象的大约2 0 0 0 个图 像序列，每个人有一系列的脸部活动，包括单个a u 或者a u 组合如图1 5 所示： 日本a t r 的女性表情数据库( j a f f e ) 也得到较多的使用。j a f f e 是以7 种基本表 情为基础的数据库，包括1 0 位日本女性，每种表情有大约3 、4 幅图像，总共2 1 3 幅图像如图1 6 所示。 第一章绪论 卜零 图l5 c o h n k a n a d e 中的6 种表情依次为：愤怒、害怕、厌恶、高兴、悲伤、吃惊 叠套。套q 窟q 图16j a f f e 数据库中相应的六种表情 目前人脸表情数据库还很不完善，因为表情识别和人脆识别不同，表情的小 确定性是表情识别问题中的显著特点，因此同一种算法在不同的表情图像库中可 能有完全不同的识别率。另外有些表情只能给大家一些模糊的印象而不能明确地 表明该表情的类别。 1 4 主要工作及安排 术文的研究 = 要围绕着表情识别的一曲关键技术而展开。机器自动表情识别 是模式识别领域的一个新课题，也是情感计算的一部分，佃由于呵部肌肉运动的 复杂性及表情因人而异的差异性，给该问题的研究带来了很多用难。随着国内外 众多学者对该问题的不断深入研究，已经取得了很显著的成果。本文在查阅大量 文献的基础上对人脸表情自动识别中的一些常见问题进行了研究。 论文的主要工作如下： 采用a d a b o o s t 算法检测人脸和人眼，详细介绍了如何采用a d a b o o s t 检测人 跟。并对检测到的人脸进行几何归一化和光照归一化等预处理。 分别使用l b p 、改进的l b p 、l d a 提取人腧表情特征。提出l b p + l d a 算法 提取特征，综合rl b p 特征提取速度快和l d a 分类准确的特点，比单独使h jl b p 或l d a 效果都要好，且基本能片j 于实时处理。 完成自动人脸表情识别系统的设计开发。能够实时识别出6 种表情，并能检 测出一段时间内人的眼睛张合次数以显示心理的变化情况。 论文各章内容安| 非如下： 第一章：简要介缁了课题的研究背景和意义、当前该领域的研究热点与现状。 并且对现有的表情识别的特征提取算法、分类算法和图像 车做了介耋f 。 111门一 ri-fr、 自动人脸表情识别 第二章：对表情识别的预处理工作进行了研究，介绍了a d a b o o s t 算法的基本 原理，应用a d a b o o s t 算法检测人脸与人眼，并对检测到的人脸进行几何预处理和 光照的预处理。 第三章：研究子空间分析方法，比较了主成分分析、线性判别分析用在表情 识别时的优缺点。 第四章：根据l b p 较好的纹理描述特性，采用l b p 的方法提取纹理特征进行 表情识别，并提出了使用l b p + l d a 的方法进一步提高识别率。 第五章：开发一个基于l b p + l d a 的自动人脸表情识别系统，能够在自然场 景下进行实时的人脸表情的识别。 第六章：对本文工作进行总结，并对下一步工作进行展望。 第二章人脸检测与预处理 9 第二章人脸检测与预处理 人脸检测是表情识别的关键技术，在一个完整的表情识别系统中，能否对人 脸进行准确的检测定位将对整个表情识别系统的性能优劣产生极其重要的影响。 本章主要研究基于积分特征和a d a b o o s t 分类器的人脸检测和人眼检测。又由于图 像采集设备、光照条件、人脸相对镜头位置差异，使得检测到的人脸图像具有不 同的尺度大小、不同的光照。为了有效地减少这些因素对后续分析的影响，还应 该对得到图像进行几何预处理和光照预处理。 2 1 基于积分图像与a d a b o o s t 的人脸人眼检测算法 人脸检测目前已经成为模式识别中的一个独立的研究方向。主要有两大类方 法：一类是基于先验知识和规则的方法，利用人脸形状、纹理特征、五官分布关 系，其特点是快速但不稳定。另一类是基于人脸整体外观的方法，例如人工神经 网至各( a n n ) t 2 3 】 2 4 1 、支持向量机( s v m ) t 2 5 】【2 6 1 以及基于a d a b o o s t 2 7 1 的方法。其特点是 性能稳定、鲁棒性强，但训练困难、计算量大。 p a u lv i o l a 2 s j 于2 0 0 1 年提出的基于积分图像( i n t e g r a li m a g e ) 与a d a b o o s t 训练的 层叠人脸检测分类器的方法具有速度快、检测率高等优点，是人脸检测的里程碑。 该方法利用积分图像快速计算图像的矩形特征，然后通过a d a b o o s t 算法选择少量 的关键特征并构造分类器。在检测时，将多个分类器组成一个级联分类器，快速 排除非人脸区域。可以说使人脸检测从真正意义上走向了实用。 2 1 1 特征提取 v i o l a 方法的分类器基于简单的矩形特征( r e c t a n g l ef e a t u r e ) ，而不像传统学习 方法是基于像素的。这样做的目的是为了加快检测的速度。图2 1 为v i o l a 采用的 四种称为“类哈尔 ( h a a r - l i k e ) 的矩形特征模板，模板内有白色和黑色两种矩形， 并将此特征模板的特征值定义为白色矩形灰度累加减去黑色矩形的灰度累加。 1 0 自动人脸表情识别 田a 回b c 图2 1h a a r - l i k e 矩形特征 对于2 4 2 4 的图像窗口，全部特征的数目超过1 6 0 ，0 0 0 个。通过引入积分图像， 这些矩形特征可以在常数时间内快速计算。下面介绍积分图像的概念。 积分图像中对每个点计算其积分图像值。在( x ，y ) 的积分图像值就是在( x ，y ) 左 上角所有像素之和，即： 打( x ，y ) = i ( x 7 ，y ) ( 2 1 ) x sx y sy 其中i i ( x ，y ) 是( z ，y ) 点的积分图像值，f ( x ，y ) 为点( x ，y ) 处的原始图像灰度 值。i i ( x ，y ) 也可以通过下式迭代求出： s ( x ，y ) = s ( x ，y 一1 ) + i ( i ，y ) ( 2 2 ) i i ( x ，少) = i i ( x 一1 ，j ，) + s ( x ，y ) 其中s ( x ，y ) 为点( x ，y ) 及其y 方向向上所有原始图像之和，称为“列积分 和”，可以定义 s ( x ，y ) = i i ( x ，y )( 2 3 ) y y 并定义 s ( x ，0 ) = 0 ，i i ( o ，y ) = 0 矩形特征就是矩形区域像素灰度累加的差，而通过积分图像，任何矩形的像 素灰度累加可以通过4 个点积分图像值的加减计算完成。如图2 2 中：点“l ”的积 分图的值是矩形框a 中所有像素的像素值之和。点“2 ”的积分图所对应的值为 a + b ，点“3 ”是a + c ，点“4 ”是a + b + c + d ，所以d 中所有像素之和可以用 4 + 1 一( 2 + 3 ) 计算。所以矩形特征可以用积分图像在常数时间内快速计算。 第二章人脸检测与预处理 2 1 2 分类器的训练 图2 2 积分图示例 设计完分类器，选定特征，还要训练分类器。使得分类器能够选取合适的特 征来区分人脸和非人脸。对于2 4 x 2 4 的图像窗口有1 6 0 ，0 0 0 个矩形特征，现在问题 就是通过训练找到少量有效的特征构成一个分类器。a d a b o o s t 就是用于选择有效 的特征并训练分类器。a d a b o o s t 通过组合弱分类器构成强分类器。所谓弱分类器， 就是它不期望能很好地进行分类，只要达到5 0 的正确率即可，而这总是可以保 证的。在这里每个特征对应构造一个弱分类器。具体而言，特征厂，对应的弱分类 器h ；( x ) 如下： 咏加0 i f 。珈p p 眦j f j 伫。4 其中，o j 是在训练样本上最小错误分类的阈值，p j 表示不等式的方向。 1 表示人脸，0 表示非人脸。 a d a b o o s t 是一种贪婪算法，在训练时，对于好的弱分类器加大权值，对于差 的分类器减少权值。其算法如下： a d a b o o s t 训练算法 给定样本( x ，y 。) ，( x ：，y 2 ) ，( x 。，y 。) ，其中y i = o 或1 ，分别表示负样本、 正样本。 初始化权值： 1 2 自动人脸表情识别 i 亡，y ；是负样本 彬，= 午 ， 其中俄和，分别是负样本、正样本的个数。 i 寺，y ，是正样本 嵋，：士， 这样w f 呈概率分布k f2 乏夏j i 返秤w 呈儆率分币 2 对于每个特征，训练无j 。其错误率占j = ，w 凇j ( 一) 一y ，f 4 更新权值：w f + 1 ，f = m ，f ，如果样本x ，正确分类则白= 0 ，否则 姆，= s ，吼篆茅二其中a t = l o g 去 l u d 砌p ，1 v 括p 图2 3 级联分类器结构 从图中可以看出，最终得到的分类器是由多层的分类器级联而成。把这样的 层叠分类器用于人脸检测，其速度是可以满足实时需要。 第一二章人脸检测与预处理 2 1 3 人脸与人眼检测 遗过上述人脸检测方法，司以得到只包古人脸的图像，并且a d a b o o s t 算法由 于其速度快，检测率高等特点还可以用于其他的特征检测。下面十要研究采用 a d a b o o s t 算法进行人眼的检测。 首先是训练样本，训练样本分为正样本和负样本其中正样本是指只有人眼 的图片，负样本是其他不含人眼的图片，将图片的尺寸统一缩放到1 8 x 1 2 的大小。 其中芹右眼分开进行训练。下面拿左眼的训练做介绍。如图2 4 所示的是所有芹眼 正样本，共1 0 0 0 幅；图25 为眼睛的负样本，共4 0 0 幅。 舶瓣霸霸哟霸妒妒赍驴 酶矿翩啦廓舯钠帆黔霸 m “忡幽伊“”伊“愈 癣带m 廊舯俩新霸孵愈 图2 4 用来训练左眼的正样本 颡。”露翟 j g ；7 ，川，i ， 器：、：滢姒翳，蕈j 艮：! i i 确 ! 蓊。x 图弱 了 、7 翻漱+ 盖ri 图25 片j 粜训练左眼的馈样本 用同样的方法可以检测出右眼。在v c 开发环境下，术文利用o p e n c v 函数 库进行样本特征的提取和强、弱分类器的训练，形成用丁人眼检测的级联分类器。 算法流程见图2 6 。其中，设置训练阶段数为2 0 ；每个阶段分类器需要的最小命中 率为0 9 9 5 ：总的错误警告率为0 5 。分类器的训练使用o p c n c v 函数库实现，并 通过v c 加载训练所得的分类器，进行人眼的检测。 自动人脸表情识别 214 检测结果 图2 6 基于a d a b o o s t 算法眼睛检测流程幽 通过使用a d a b o o s t 算法检测人脸和人眼，正确率可以选到9 0 ，r 面部分检 测结果。 豆q 豆 阁27 采用a d a b o o s t 检测人脸与人眼的结果示例 第二章人脸检测与预处理 22 图像的几何预处理 对下检测到的人脸图像还需进行预处理操作，在图像预处理中人眼定位是关 键的一步，采用a d a b o o s t 算法检测人眼能够基本满足要求。而嘴巴的定位也可以 有比较简单的方法进行定位。一旦腧部的器官定位准确后，就可以对检测图像进 行几何划分，得到标准图像。 2 2 1 旋转校准 对于人脸有明显倾斜的图像，需要进行适当的旋转校准，但是这种旋转校准 一般只考虑2 d 平面上的情况，而不考虑3 d 的深度旋转，因为对3 d 的深度旋转 到目前为i 还没有比较好的解决方案。 由213 节得到丁人腑图像中的两眼的位簧，由此可以求得两眼连线与水平位 置的夹角，即旋转角度。 设左眼中心坐标( ( 朋，r 1 ) ，右眼中心毕标( x r ，y r ) ，则选择的角度0 ： 0 ：t a n f 堕二婴 ( 2 5 ) ( s t a t ) 当0 为正值时顺时针旋转图像，为负值时逆时针旋转图像。 旋转结果如图2 8 所示。 净，叱醪 汁国 吲2 8 旋转校正的结果 自动人脸表情识别 2 2 2 嘴巴定位 在眼睛位置确定的情况下，嘴巴的中心线很容易确定，直接对灰度图像中人 脆的下半部分进行水甲灰度投影，找到灰度投影不为零的最长区域，则此区域的 两个端点对麻于两个嘴角，从而可以得到嘴巴的水平中心的位置坐标。在眼睛准 确定位的前提下，嘴巴两嘴角的连线准确率可以达到9 5 ，如图2 9 所示。 图2 9 嘴巴检测结果 2 23 图像裁剪与尺度校准 人脸大小各有差异，检测得到的人脸图像大小不尽相同，因此需要对得到的 人脸进行裁剪，为了后续特征提取的方便，我们还需把每幅图像都变成l o o 1 0 0 像素的相同尺寸。具体做法如图21 0 所示。 幽2 1 0 裁剪示意图 设芹眼巾心坐标( 抑，r t ) ，右眼中心毕标( x r ，y r ) ，嘴巴巾心线在m 行。则可 以通过以下步骤来切割边界： 两眼的距离：埘一廿= 2 d 眼中心到嘴巴的距离：y ，一y m = p 0 一纛 段 i 霸 睦誓 第一章人脸检测与预处理 切割上边界：u p = y r0 6 p 切割下边界：d o w n = y r + 14 口 切割左边界：l e f t = 姗一d 切割右边界：r i g h t = x r + d 这样就町以得到一个经过标准切割的图像，再把图像缩放到1 0 0 x 1 0 0 像素 就町以得到规范的人脸图像，见图2 1 1 。 艮拿愍 o 日墨 噬 q 鹱 1 啊冒_ 图2 1 1 经过裁剪后的斟像 23 表情图像的光照预处理 图像采集时不同的光照会在很太程度上对表情识别的性能造成影响。光照是 阻碍人脸和表情识别技术应用到实际的瓶颈之一，且光照问题一直没能得到褴好 的解决。本文只采用常规的力法对光照问题进行处理，如直方罔均衡、均方差标 准化等，并希望表情图像的采集和识别在光照均匀稳定的环境中进行。 2 3 1 直方图均衡化 直方图均衡化( h i n o 簪a me q u “i z 撕o n ) 就是把原始图像的灰度直方图从比较集 中的某个灰度区间变成在全部灰度范围内的均匀分布。直方图均衡化就是对图像 进行非线性拉伸，蕈新分配图像像素值，使一定灰度范围内的像素数量大致相同， 以起到增强图像的作用。 设图像有l 级灰度( o j ，2 ，l 一1 ) ，”为图像像素个数，h ，为第i 级灰度的像 素数，则直方图均衡化将第k 级的灰度变化为，。，即 自动人脸表情识别 伽c 噻鲁 图21 2 所示为直方图均衡前与均衡后的结果 丛圳 232 像素值规范化 图21 2 直方图均衡前后的图像示倒 为了进一步增强人脸模式的紧致性，对图像的统计特性也进行标准化，将统 计学中两个很重要的指标，灰度的均值和方差，调整到给定值。具体做法如下： 令大小为wx h 像素的灰度图像矩阵为z ( x ，y ) ( 0 w ，0 - y h ) ，则有该 图像的灰度均值和方差分制为： 变换 i ：j 一笋岁m 川 wx h 篇舞。 了：士窆芝似w)一i)wh 盏蛊一一 ( 2 7 ) 为了将图像的灰度均值和方差调整到给定值：盹，d 。，对每个像素值作如下 ( ) = 詈) 一i ) + “( o m 巩0 y ) ( 2 - 9 ) 这样就能得到光线分布较为均匀的人脸图像。 謦 匿一 鳝匿 第二章人脸检测与预处理 2 4 实验结果 经过上面的几何预处理和光照预处理可得到规范化的标准图像如图21 3 所 示。表情特征的提取和表情分类都是基于这个规范化的图像进行了，实验表明经 过规范化的图像能够大大增加识别率。因此图像的预处理对表情识别有很大的影 响。而且本文后续的l b p 算法也需要用到眼睛和嘴巴的位置。当然由于实时系统 的要求，我们可以有选择的使用其中一些算法以换取较快的速度。 幽21 3 经过规范化后的标准蹦像 25 小结 人脸检测和预处理是表情识别中不可缺少的一部分。检测正确的人脸，进行 有效的预处理往往能够消除冈像中的无关信息，恢复有用的真实信息增强有关 信息的可检测性和最大限度地简化数据，从而改进特征提取、图像匹配和识别的 可靠性。本章主要采用a d a b o o s t 算法检剃9 人脸和人眼，详细介绍了人眼检测的方 法。并对得到的人脸图像进行旋转校准、尺度校准、直方图均衡化和像素值规范 化以得到规范化的标准图像。同时标出丁眼睛和嘴巴的位置，方便后续处理。 第三章基于线性子空间的表情识别 2 l 第三章基于线性子空间的表情识别 图像的空间维数通常都很高，例如一幅1 0 0 1 0 0 像素的图像，就有1 0 0 0 0 维。 然而高维图像数据对识别速度来说是非常不利的，也不利于实时识别系统的实现。 解决这一问题的常用方法是利用子空间对数据进行降维，把数据从原始图像空间 转换为维数大大减少的子空间，同时又保留原始图像数据的绝大部分信息。子空 间分析是人脸识别中的主流方法，本章主要研究了子空间分析的方法在人脸表情 识别上的应用。 3 1 基于p c a 的表情识别 主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 是一种应用十分广泛的数据降 维技术，该方法选择与原始数据协方差矩阵前几个最大特征值对应的特征向量构 成一组基，以达到最佳表征原数据的目的。t u r k 和p e n t l a n d 首先把丰成分分析的 子空间思想引入到人脸识别中，即e n g i n e f a c e 2 9 1 。e n g i n e f a c e 无疑是人脸识别中里 程碑的工作，就使用的方法而言，p c a 不是新方法，但被第一次明确使用在人脸 识别上，并取得了很好的效果。因此本文也尝试着把p c a 用于人脸表情的识别。 将p c a 用于表情识别，可以按照以下步骤进行：使用大量的表情图像进行训 练，得到一个特征空间。然后把表情模板投影到该特征空间中，得到表情模板在 该空间的投影系数，作为该模板的特征。对于一幅待识别的表情图像，也在该特 征空间进行投影，根据某种分类法则与表情模板进行匹配，从而实现对该幅表情 图像的分类。具体做法如下： 假设m 幅人脸表情图像，每幅图像i ( x ，y ) 为二维n n 灰度图像，表示成向 量形式，构成2 维样本集合 x i ) 。可以进一步将该集合表示成一个矩阵形式： x = 【x 。x ：x m 】r 矿洲。令m 是所有样本的均值向量即平均表情，从x 的每列中 抽取m 得到： = l x l mx 2 一m x m m j - 眵l 伊2 伊mj ( 3 _ 1 ) - 丰成分分析的目标就是寻找一组最小均方误差重建意义下的正交基向量u ；。 这组正交基可通过求解原数据的协方差矩阵： s = 纯纯t = t ( 3 2 ) 的特征向量得到： s u i = 九i u j ，i = 1 , 2 ，d ( 3 3 ) 自动人脸表情识别