（计算机软件与理论专业论文）基于视频的面部表情强度度量方法研究.pdf

基丁视频的面部表情强度度量方法研究 摘要 随着情感计算和智能化的人机交互界面的发展，要求机器具备感知和理解人的情感 的能力。因此，面部表情分析作为一个重要的课题被提出来，并在近十多年来展开了广 泛的研究。目前已有多种面部表情识别方法，但是对表情强度的度量并没有充分展开。 对面部表情进行强度度量有助于进一步理解人的情感状态和情绪强度，是情感机器人的 未来发展趋势。 本文在总结面部表情分析研究现状的基础上，针对面部表情强度度量的方法开展研 究，并构建了一个表情强度度量系统实例，其主要工作如下： 1 采用一种基于l - k 光流算法的改进的跟踪方法对面部特征点进行跟踪。原始l k 光流算法用于面部特征点跟踪时，易出现跟踪不稳定的情况。通过把面部特征点之间的 几何位置关系作为约束，对跟踪偏差大或丢失跟踪的点进行修正跟踪，提高了面部特征 点的跟踪准确率。 2 在表情特征降维阶段，采用一种非线性降维方法一等容特征映射( i s o a m p ) ，从高 维的面部特征点运动轨迹中抽取出表示表情强度的一维流形。这种降维方法自动产生了 训练集的表情强度大小和范围。 3 将s v m 用于对表情强度等级的度量。引入5 级表情强度等级，训练集中的图像 由i s o m a p 提取出表情强度值，划分为5 个强度等级之一。训练的面部特征点轨迹与相 应帧的表情强度等级作为s v m 的学习样本，建立表情强度模型，对测试序列中的表情 帧进行强度等级的分类。 4 运用以上方法，构建了一个面部表情强度度量系统实例。针对特定个体的高兴 表情进行强度度量。实验结果表明，该系统用于面部表情强度度量是有效的。 关键词：面部表情强度度量；特征点跟踪；等容特征映射；表情强度模型 硕士学位论文 a b s t r a c t a st h ed e v e l o p m e n to fa f f e c t i v ec o m p u t i n ga n di n t e l l i g e n th u m a n - c o m p u t e ri n t e r f a c e ( h c i ) ，m a c h i n e sa g er e q u i r e dt oh a v et h ea b i l i t yo fa p p e r c e i v i n ga n du n d e r s t a n d i n gm a n s f e e l i n ga n de m o t i o n u n d e rt h i sc i r c u m s t a n c e ，f a c i a le x p r e s s i o na n a l y s i sc a m eu pa s a l l i m p o r t a n tt a s ka n di th a sb e e nw i d e l ys t u d i e di nt h er e c e n ty e a r s n o w , t h e r e r em a n ym e t h o d s o ff a c i a le x p r e s s i o nr e c o g n i t i o n ，b u tr e s e a r c ho ne x p r e s s i o ni n t e n s i t ym e a s u r e m e n th a s n t b e e nd e v e l o p e d m e a s u r e m e n to ff a c i a l e x p r e s s i o ni n t e n s i t yi sh e l p f u lt ou n d e r s t a n dm a n s e m o t i o ns t a t ea n de m o t i o ni n t e n s i t y , i ti st h ed e v e l o p m e n tt r e n do fa f f e c t i v ec o m p u t e r t h i sp a p e rf i r s ts u m m a r i z e st h ec u r r e n tr e s e a r c hs t a t eo ff a c i a l e x p r e s s i o na n a l y s i s ， t h e nt h em e t h o do ff a c i a le x p r e s s i o ni n t e n s i t ym e a s u r e m e n ti ss t u d i e da n dae x p r e s s i o n i n t e n s i t ym e a s u r e m e n ts y s t e mi sc o n s t r u c t e d t h em a i nw o r ki sa sf o l l o w s ： 1 a ni m p r o v e dm e t h o do ff a c i a lf e a t u r ep o i n tt r a c k i n gi sp r o p o s e di nt h i sp a p e r l - k o p t i c a lf l o wa l g o r i t h mi sn o tv e r ys u i t a b l ei n f a c i a lf e a t u r ep o i n tt r a c k i n g am e t h o do f r e v i s i n gt r a c k i n go nt h eb a s i so fl - ko p t i c a lf l o wi su s e d b yu s i n gt h eg e o m e t r i cp o s i t i o n r e l a t i o n s h i pa m o n gf a c i a lf e a t u r ep o i n t sa sc o n s t r a i n t ，f e a t u r ep o i n t st h a tw e r ei n a c c u r a t e l y t r a c k e da r et r a c k e da g a i na sar e v i s i o n t h ev e r a c i t yo ff a c i a lf e a t u r ep o i n t s t r a c k i n gi s i m p r o v e d 2 i nt h es e c t i o no ff a c i a lf e a t u r ed i m e n s i o n a l i t yr e d u c t i o n ，an o n l i n e a rd i m e n s i o n a l i t y r e d u c t i o nm e t h o d i s o m e t r i cf e a t u r em a p p i n g ( i s o m a p ) i su s e dt oe x t r a c tt h el - dm a n i f o l d w h i c hr e p r e s e n t st h ee x p r e s s i o ni n t e n s i t yf r o mt h eh i g hd i m e n s i o n a lf a c i a lf e a t u r ep o i n t t r a j e c t o r i e s t h ee x p r e s s i o ni n t e n s i t ys p e c l r u mo ft h et r a i n i n gs e q u e n c e si sc o n s t r u c t e d a u t o m a t i c a l l y 3 s u p p o r tv e c t o rm a c h i n ei su s e dt ob u i l dt h ee x p r e s s i o ni n t e n s i t ym o d e lf o rs p e c i f i c e x p r e s s i o no fs p e c i f i cs u b j e c ta n df i v ei n t e n s i t yg r a d e sa r ei n t r o d u c e d e x p r e s s i o ni n t e n s i t y v a l u eo ft r a i n gf l a m e sa r ee x t r a c t e df r o mi s o m a p ，a n dt h ef r a m ei sd i v i d e di n t oo n eo ft h ef i v e g r a d e s b a s e do nt h ei n t e n s i t y v a l u e t r a i n i n gf a c i a lf e a t u r ep o i n tt r a j e c t o r i e sa n d c o r r e s p o n d i n ge x p r e s s i o ni n t e n s i t yg r a d e s a r eu s e da sl e a r n i n gs a m p l e so fs v m ，a n d e x p r e s s i o ni n t e n s i t ym o d e li sb u i l tt oc l a s s i f yt h ee x p r e s s i o nf l a m e si nt h et e s ts e t 4 u s i n gt h ea b o v em e t h o d s ，a f a c i a l e x p r e s s i o ni n t e n s i t ym e a s u r e m e n ts y s t e mi s c o n s t m e t e da n dh a p p ye x p r e s s i o no fas p e c i f i cs u b j e c ti sm e a s u r e d t h ee x p e r i m e n tr e s u l t s s h o wt h a tt h es y s t e mi so fv a l i d i t yi ne x p r e s s i o ni n t e n s i t ym e a s u r e m e n t n i 基于视频的面部表情强度度量方法研究 k e yw o r d s ：f a c i a le x p r e s s i o ni n t e n s i t ym e a s u r e m e n t ；f e a t u r ep o i n tt r a c k i n g ；i s o m a p ； e x p r e s s i o ni n t e n s i t ym o d e l l v 硕士学位论文 插图索弓 图2 1 面部表情分析基本框架“9 图2 2 模板及其搜索图1 4 图3 1 面部特征点的选取，1 6 图3 2 面部图像归一化1 8 图3 3 对嘴角点进行跟踪恢复2 2 图3 4 对嘴角及眼角点的检测2 2 图3 5 跟踪面部特征点的流程图+ 2 3 图3 6 原始l k 光流算法对特征点跟踪的效果2 4 图3 7 使用修正跟踪的方法对特征点跟踪的效果2 4 图3 8s w i s sr o l l 数据集2 6 图3 9 高兴表情视频序列2 7 图3 1 0 以视频前2 0 帧为实验对象的降维结果2 8 图3 1 1 面部表情强度的学习和估计3 1 图4 1 系统框架3 2 图4 2 特征点跟踪模块的初始界面3 3 图4 3 交互式的特征点标定界面3 3 图4 4 对面部特征点进行跟踪的窗口3 4 图4 5 表情视频序列示例3 5 图4 6 面部特征点跟踪图示3 5 图4 7i s o m a p 对1 个视频序列降维3 6 图4 8i s o m a p 对2 个视频序列降维3 7 v i l 基于视频的面部表情强度度量方法研究 附表索引 表3 1 六种基本表情相关的脸部运动”1 1 7 表3 2 改进前后的方法进行特征点跟踪的跟踪结果统计2 5 表4 1s v m 对高卷表情进行强度等级分类的结果3 8 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的 研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：李。蠡、日期：妒5 年月站日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 l 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“”) 作者签名：巷蠢己 导师签名：彦尸3 篓 翻粕 日期：妒6 年j 月；工b 日期：勿“年厂月二z ，日 硕士学位论文 第1 章绪论 1 1 表情分析研究目的和意义 人类主要通过两种方式进行交流：语言和非语言。我们不仅可以通过语言来 传递信息，还可以利用很多其它的方式来表达我们的意思。像脸部表情、身体动 作，甚至诸如脸红、出汗这些生理反应。其中，人脸面部表情在交流中扮演着尤 为重要的角色，它可以表达非常丰富的信息，是人类交流中信息传递的主要媒介， 我们可以通过一个人的面部表情来得知他所处的情绪状态，帮助我们在交流中做 出及时正确地调整。表情是情绪的外在表现，情绪通过表情的渠道达到人们互相 了解、彼此共鸣。而且，表情作为人体语言不同于自然语言的是，它几乎不随国 家和民族的不同而变化，因而具有更为普遍的意义。 人们一直期盼着能拥有并使用更为人性化和智能化的计算机，只有这样，才 能实现从人操作计算机转变为计算机辅助人，才能实现计算机由认知型转变为直 觉型。创建一种能感知、识别和理解人的情感，并能针对人的情感做出智能、灵 敏、友好反应的计算机系统，是情感计算的研究目的。情感计算的本质就是对人 的情感表达的生理学成分进行测量与计算，以及对人的情感表达模式进行识别。 对情感的计算，在计算机科学上具有熏要的理论和应用价值。对情感计算的研究 可以有效地促进人机交互系统的发展和计算机图像自动理解的研究。表情是情感 最主要的一种表现形式，通过表情可以部分或全部理解情感。其中，面部表情、 姿态表情、语调表情三种表情被称之为体语，构成了人类的非语言交往方式。面 部表情包含了太部分非语言交流中传递的情感信息，是情感理解最有效的途径之 一。因此，对面部表情进行分析有非常重要的意义。面部表情分析是实现智能化 的人机接口必不可少的一个方面，是关于情感计算的一个重要组成部分，对促进 计算机视觉系统、建模和数据库的发展都有直接的作用；在语言学中，则可辅助 唇读；在行为学中能帮助人们研究和建立交流中的可信度；在商业应用方面、可 视电话和电话会议方面以及国际闻商业政治的交流方面都有着重要的意义。表情 分析中，对面部表情强度的度量，使得智能化的机器能够更好地理解人的情绪状 态；同时，对表情的度量有助于自动的表情分类，只有将表情强度考虑在内，才 能够更准确的对情绪分类。因此，有效的表情强度度量，对深入的把握人的情绪 状态有重要的作用，在情感机器人、智能化人机交互等领域有熏大的应用价值。 1 2 生理学背景 人脸是一个柔韧性很强的非刚体，人脸面部的运动可以表现出能传递丰富信 基于视频的面部表情强度度量方法研究 息的表情。面部表情的分析涉及到生理学和解剖学。我们所表现出的每一个细微 的表情，都是脸部的肌肉、骨骼、软骨、脂肪组织、结蒂组织、神经、血管、皮 肤和毛发等相互协作的外在表象。以上各个组成部分对各种表情的作用也是有差 别的，其中一些是辅助性的、从属的，另一些是主要的，例如表情肌的运动、面 部皮肤的纹理、器官的形状以及骨骼的位置等。而面部皮肤的纹理、器官的形状 以及骨骼的位置无一不与表情肌肉相关，人们做出各种表情，更是表情肌肉运动 的结果1 1 】。人的面部表情肌肉有许多，每块肌肉在每一种表情的产生中发挥着各 自不同的作用。肌肉在神经系统的支配下运动，而且，在各部分肌肉协作作用下， 面部各器官的运动不是孤立的，而是存在不同程度的联动。人脸的复杂变化是表 情分析的困难之处。 1 3 研究现状 1 3 1 相关领域研究 有关人脸面部表情，过去主要是从心理学和医学的角度来研究。生物学家达 尔文通过实验说明，面部表情的含义不随地区和国家的不同而不同，这一结果具 有普遍的意义。s l o s b e r g 首先提出了表情描述的3 个量化尺度：注意拒绝( a r ) 、 高兴不高兴( p u ) 和活跃程度。例如，轻视、厌烦两种表情就有很大的“不高兴” 值，斯托曼提出面部表情的分析有两种不同的体系：一类是对情绪的维量分析； 另一类是对情绪分类。多数的维量分析通常把情绪用三维空间来表示。在e k m a n 和f r i e s e n 2 l 提出的面部运动编码系统中，采用4 4 个能够独立运动的表情活动单 元( a c t i o nu n i t s ) 描述面部动作，这些单元与使面部表情改变的肌肉结构紧密相连， 在这个系统中还定义了六种最基本的表情：高兴、惊奇、厌恶、愤怒、悲伤和恐 惧以及3 3 种不同的表情倾向，说明了具有这六种表情的人脸特征与无表情的人脸 特征相比有相对独特的肌肉运动规律，后来进一步的研究大多数都是在f a c s 系 统的基础上构建人脸表情模型，所以说这一系统的提出具有里程碑的意义。后来， 研究者们进一步揭示了运动单元与肌肉运动之间的关系，提供了表情识别的心理 学方面的依据。i a e s s a 等人把提取的新运动单元命名为f a c s + ，它基于物理和 几何模型，用模板匹配的方法识别表情，国内的研究中提出了f a c s f 转换f a c s ) 的表情编码，把运动单元的运动转化为基于物理结构和肌肉模型的运动特征向量 序列对眼部和嘴部分别进行表情编码，相应的运动基于f a c s 的规则，同时又克 服了f a c s 的弱点。可以说心理学及生物学的发展与计算机分析表情能力的提高 是一种相辅相成的关系：一方面通过对人类心理神经感知和人脑的研究，可以提 高机器对表情的分析能力；另一方面又可以通过机器的分析识别的能力进一步深 入探索人类的心理神经感知和人脑感知的过程。 2 硕士学位论文 1 3 2 计算机领域的研究 计算机面部表情分析技术是近几十年才逐渐发展起来的，现在逐渐成为科研 热点。国内外多所大学和科研机构都在进行这方面的研究，尤其美国、日本。进 入9 0 年代，对人脸表情分析的研究变得非常活跃。其中m i t 、c m u 、m a r y l a n d 大 学、s t a n f o r d 大学、日本城蹊大学、东京大学的贡献尤为突出。国内的清华大学、 哈尔滨工业大学、中科院、东南大学、北方交通大学等都有人员从事人脸表情识 别的研究。 最早的人脸表情研究是s u w a 和s u g i e 等人于1 9 7 8 年对表情识别做的一个最初 的尝试 3 1 。他跟踪一段脸部视频动画，得到每帧图片上2 0 个关键点的运动规律， 将此运动规律与预先建立的不同表情的关键点运动模型相比较。1 9 8 1 年有人用仿 生学方法从肌肉角度的观点为面部表情建立模型。1 9 7 8 年t c r z o p o u l o s 和w a t e r s 则 运用简化的e k m a n f r i e s e n 模型，用计算机产生人脸动画，同时也做了人脸视频序 列的表情分析。m a s e 则使用光流来跟踪面部的运动单元。 在表情数据库的建立方面，起初e k m a n 和f r i e s e n 系统地建立了一个有上千幅 不同人脸表情的图像库。近来c m u 机器人研究所和心理学系共同建立了 c o h n k a n a d e a u c o d e d 人脸表情库，现有2 1 0 个i 8 至u 5 0 岁成年人的脸部表情图像 序列。c m u 还建立有p i e 表情库，其中包括6 8 人的4 1 ，3 6 8 幅图像。加州大学圣克鲁 兹分校知觉实验室的人脸运动表情图像库是基于f a c s 主要用于神经网络方法分 类面部行为的训练图像。e t 本a r t 建立了日本女性表情数据库( j a f f e ) ，还有耶鲁 大学、普渡大学、马里兰大学也各自建立了自己的人脸表情图像库。 国内外多所大学和科研机构在进行面部表情识别的研究中，研制出一些简单 的人脸表情识别系统原型【引。在具体表情识别方法上，方向主要有三个：整体识 别法和局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。整体 识别法中，无论是从脸部的变形出发还是从脸部的运动出发，都是将表情人脸作 为一个整体来分析，找出各种表情下的图像差别。其中典型的方法有：基于特征 脸的主分量分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ) 法、独立分量分析法( i n d e p e n d e n t c o m p o n e n ta n a l y s i s ) 法、f i s h e r 线性判别法( f i s h e r sl i n e a rd i s c r i m i n a n t s ) 、局部特 征分析( l o c a lf e a t u r e a n a l y s i s ) 、f i s h e r 运动法、隐马尔可夫模型法( h m m ) 和聚类 分析法。局部识别法就是将人脸的各个部分在识别时分开，也就是说各个部位的 重要性是不一样的。比如说在表情识别时，最典型的部位就是眼睛、嘴、眉毛等， 这些地方的不同运动表示了丰富的面部表情。相比较而言，鼻子的运动就较少， 这样在识别时就可以尽量少的对鼻子进行分析，能加快速度和提高准确性。其中 最典型的方法就是脸部运动编码分析法( f a c s ) 和m p e g 4 中的脸部运动参数法。 其他的还有局部主分量分析法( l o c a lp c a ) 、g a r b o r d 、波、运动模板法( a c t i v es h a p e 3 基于视频的面部表情强度度量方法研究 m o d e l ) 和点分布模型( p o i n td i s t r i b u t i o nm o d e l ) 法。运动法是根据人脸在表达各种 特定的表情时一些特定的特征部位都会作相应的运动这一原理来识别的。典型的 识别方法有光流法( o p t i c a lf l o w ) 。几何特征法是根据人的面部的各个部分的形状 和位置( 包括嘴、眼睛、眉毛、鼻子) 来提取特征矢量，这个特征矢量来代表人脸 的几何特征。根据这个特征矢量的不同就可以识别不同的表情。重要的方法是： 基于运动单元( a u ) 的主分量分析法。在容貌特征法中，主要是将整体人脸或者是 局部人脸通过图像的滤波，以得到特征矢量。常用的滤波器是g a b o r d 、波。这三个 发展方向是从不同侧面来提取所需的表情特征。 具体的表情识别算法有：脸部运动单元分析法( f a c s ) 是早期研究面部表情采 用的方法之一，很多方法是以它为基础的【“。与f a c s 相似，m p e g 4 的脸部运动 参数法( f a p ) 是个完整的脸部基本运动的集合，它是基于对人脸细微运动的研 究，与脸部肌肉运动密切相关，所以用f a p 可以描述自然的脸部表情。需创建一 个公共脸，然后针对具体的不同人再建立一个具体的中性脸，这样就可以根据具 体的表情脸和中性脸获得f a p 参数进而识别出表情脸的表情了。主分量分析法根 据像素间的二阶相关性，利用代数中的子空间法给图像矩阵大大降维，提取那些 能代表所要识别的几种特征人脸表情的主要特征分量并形成特征识别空间，利用 待识别区域在此特征空间的投影距离来识别。g a b o r d 波也被用来进行面部表情识 别，并取得了较好的识别结果。g a b o r d x 波是一组窄带带通滤波器，在空间域和频 率域均有较好的分辨能力，有明显的方向选择和频率选择特性。f i s h e r 最佳鉴别 矢量方法的基本思想是将原来高维的模式样本投影到最佳鉴别矢量空间以达到维 数压缩的效果，投影后保证模式样本在新的空间中有最大的类间距离和最小的类 内距离，即模式在该空间中有最佳的可分离性。局部特征分析法( l f a ) 是利用表情 图像的先验结构和灰度分布知识，找出人脸图像的特征点的一种识别方法。它的 优点是很快的找到特定的特征点，不受夕 部条件( 如光照等) 的干扰。它定义了一 系列的局部映射核函数来达到与输入图像序列在二阶统计上的最佳匹配。还有将 聚类方法和线性判别分析( l d a ) 结合起来，提出的聚类判别分析方法，用在表情 特征的提取上取得了很高的微笑表情识别率。 目前对表情分析的研究多集中在表情识别方面，如基于6 种基本情绪表情的 识别以及基于f a c i a la c t i o nc o d i n gs y s t e m 的a c t i o nu n i t 的识别。对表情强度的 度量，目前还没有展开广泛的研究。在人机交互领域，对面部表情强度的度量也 是非常必要的。第一，表情强度可以帮助智能化的机器理解人的情绪。可感知的 情绪强度往往随着表情的物理强度呈线性变化。在情境信息缺失的情况下，人们 倾向于将面部表情作为情绪状态的直接解读【5 】。第二，表情强度的估计有助于自 动情绪分类。在愤怒和悲伤两种情绪中，只有当相关肌肉的运动强度超过一定水 平，表达者的不同情绪状态才能被其他观察者或智能机器人正确感知【引。第三， 4 硕士学位论文 不同个体在表达同一种表情的方式上存在差别，比如变化速度、幅度和持续时间。 因此有必要建立面部表情的个人化的计算模型，以适用于不同个人风格和处理个 体所特有的表情。第四，面部表情强度的感知依赖于许多不同因素，比如性别、 文化背景和交流的语境等【6 j 【7 1 。因此，需要找出一种方法来自动构建面部表情变 化的强度范围，基于某些计算标准来构建强度模型而无须考虑个人感知的差异。 另外，面部表情的变化通常十分迅速，某些迅速的表情变化往往被观察者所忽视， 在人机交互中使智能机器具备检测人脸细微表情的能力是很有必要的。 国内外相关机构在表情识别的基础上开展了一系列对表情强度度量的研究。 h i r o s h ik o b a y a s h i 和f u m i oh a r a 埘基于静态图像进行表情强度的估计，他们 在单帧图像中定义面部五官的几何尺寸及位置信息作为表情特征提取，同时人为 标定各图像的表情强度值，通过神经网络进行表情强度的训练和测试。s a t o s h i k i m u r a 和m a s a h i k oy a c h i d a 9 】将整个面部区域视为一个整体势能场，利用弹 性网格模型提取面部表情形变信息，对每种表情构建一个强度模型，即一组由无 表情到高潮的逐渐变化的图像序列，由强度模型提取的表情变化信息用来构建情 绪空间，对待测试表情图像进行类型识别和强度估计。j a m e sj - jl i e n 和t a k e o k a n a d e i ”j 开发的计算机视觉系统，基于f a c s a u 进行面部特征提取与强度估计。 采用特征点跟踪、密度流跟踪+ 主成分分析、时空域的高梯度成分分析三种方法 来提取表情变化信息并构建特征空间，人为标定训练序列各帧的表情强度作为基 准，通过比较训练序列和测试序列在特征空间的投影来估计表情类型与表情强度， 其中投影向量的方向表示表情类型，向量的长度表示表情强度。m e i w a n g 1 1 】等人 依据面部特征点的位移轨迹，利用b 样条曲线来建立表情变化模型，表示面部特 征点的运动与表情变化之间的关系。由匹配图标记的方法跟踪到面部特征点的运 动，将特征点运动轨迹与表情变化曲线模型进行比较，来估计测试序列的表情强 度。k ak e u n gl e e 和y a n g s h e n gx u ”j 通过提取表情变化特征，从面部运动轨迹 中自动抽取表情强度值，使用c a s c a d en e u r a ln e t w o r k 和s u p p o r tv e c t o rm a c h i n e 分别建立表情强度模型来对表情强度值进行预测。已有的方法总的说来分为两类： 全局的和基于局部特征的方法。全局方法考虑到整个面部图像包含的信息，需要 保存人脸的所有信息并从这些数据中发现相关的特征。这样，预处理的过程包含 了整个图像，计算量很大且需要较大内存空间。这种方法对细微的面部运动不够 敏感，识别和估计的结果易受光照条件的影响。局部特征方法跟踪人脸的某些特 征( 如眼睛、嘴巴) 的位置并假设这些特征的相对运动与表情强度相关。使用局 部特征方法，获取的特征数据维度低，分类过程的计算负荷因此降低，处理时间 加快。不过跟踪的可靠性对处理结果有很大影响。对于表情分析实时性这个发展 趋势的要求，局部特征方法更为合适。 5 基于视频的面部表情强度度量方法研究 1 3 3 难点分析 用计算机来分析面部表情是一个非常复杂的问题，无论是表情识别还是表情 强度的度量，都需要提取表示表情变化的面部特征并建立情绪模型或强度模型。 人脸本身是非刚体，很难用模型来精确描绘，且表情分析还依赖于其他方面的因 素： 1 对人脸的熟悉程度 人脸作为表情的载体，对表情的识别有至关重要的作用。在不同的人之间以 及同一个人的不同年龄阶段之间，面部呈现的特征并不一致，这与人的生理结构 有关，这种差异势必会影响表情的分析。在表情识别系统中，有两个重要部分依 赖于人脸结构，其一是提取的特征的幅度，其二是建立的人脸三维模型。对人脸 进行充分地认识，对可能存在的变化予以适当地处理，能使对表情的理解变得更 加深入和精细。 2 对各种表情的体验 表情的表现有缓和的和激动的、细微的和强烈的、轻松的和紧张的等诸多形 式，它的生理因素也是细微多变的，所以非常复杂。从统计的角度来看，表情的 多样性主要表现在表情强度的差异以及表情类型的差异两个方面，同样的高兴表 情，不同的人有不同的表现，有些只是嘴角稍微向两侧上抬；有些不仅仅上抬嘴 角，而且眼睛部位也出现上下眼睑的相对运动；有些在高兴时并不习惯上抬嘴角， 而是整个嘴先轻微张开，然后向左右两边运动等等之类。对表情的体验还需要结 合心理学方面的知识，所以，对表情的充分认识一直是表情分析的难点所在。 3 对脸部的注意程度 在实际应用中，待测目标的运动是无法受到限制的，从非正面的人脸面部得 到的表情信息是不完整的，这种不完整性会导致识别结果的可信度下降，甚至导 致识别错误。实时获得人脸面部变化的完整信息，或者采用合理的补偿方法进行 补偿也是表情分析系统中需要处理的难题。 4 非视觉的因素也给表情识别带来一定的困难 人脸面部的头发遮挡、眼睛等附属器件的干扰以及面部化妆带来的对表情识 别的影响，都是表情分析中必须面对的问题。这种干扰的随机性比较大，影响程 度也无法事先确定，目前的解决方法是在训练的时候尽可能地将带有以上干扰的 样本纳入训练集，或者直接给予限制。 5 数据来源方面 目前人脸库的建立已经比较完善，但是对于人脸表情来说，得到大家广泛认 可的、并且兼顾了表情动态性的自然表情库并不存在。已有的较大规模的表情库 通常也只是对几种基本表情数据进行了采集，并且还带有较为突出的人为性质。 6 硕士学位论文 采集自然表情的难度有三个方面，其一是自然表情的种类繁多；其二心理学方面 对于表情的定义目前还不统一，无法提供有力的理论依据；其三是对采集手段要 求比较高，既要进行采集，又不能让待测对象有事先的准备。 6 光照等外界环境因素对图像的影响大 光照等外界环境的变化会对人脸检测带来一定的干扰，尤其是对基于肤色的 面部区域检测方法来说干扰更为严重。在特征的提取过程中，外界环境的变化会 使提取的特征中存在较多的干扰杂质。在分类阶段，训练时往往无法对光照情况 进行事先的预测，也就无法对可能出现的外界环境变化进行覆盖性训练，外界环 境的变化会直接导致识别出现错误 1 3 】。 对于表情强度度量来说，不像表情分类，目前并没有一个普遍承认的标准： 并且对表情强度的测量通常需要人为给出强度基准，这种人为的给定本身具有很 大主观性，研究如何自动建立表情强度的辐值范围是很有必要的；另外，表情强 度的度量涉及到非常细微的面部运动，对面部特征的提取要求更高的准确性和鲁 棒性。种种困难的存在使得表情强度度量的研究并末充分展开。 1 4 本文的主要研究内容 本文主要是围绕着面部表情分析系统韵算法研究与实现展开的。主要的研究 内容包括：1 视频序列中面部表情的特征提取；2 表情强度范围的自动抽取：3 基于支持向量机的表情强度模型的建立；4 实际的表情强度度量系统的构建。下 面是本文的主要工作： 1 表情特征提取 表情分析中，后续的表情识别和表情强度度量都建立在一定的特征选择基础 上。无论是表情分类还是表情强度度量都需要依据一定的面部特征信息。如何从 单帧表情图像或视频序列中提取出表情特征，已存在多种方法，适用于不同的分 类算法。本文采用特征点跟踪方法从视频序列中提取面部特征信息，以特征点位 移向量表示的特征适合予支持向量机s v m 的学习和建模。在面部特征点的跟踪 中，普通的l - k 光流跟踪算法跟踪效果不稳定，本文将一种修正跟踪的方法作为 改进，将人脸的五官位置结构和视觉特征作为约束条件，对跟踪过程中偏移较大 的点和丢失跟踪的点进行修正跟踪，提高了特征点跟踪的准确性和稳定性。 2 表情强度范围的自动抽取 已有的表情强度度量方法，通常由专门人员对训练集中的面部图像进行强度 值的人为标定，以这些强度值作为测试图像表情度量的基准。这种人为给定训练 数据表情强度的过程非常繁琐费时，且存在很大的主观性和误差。本文采用一种 非线性降维的方法一等容特征映射，对表情特征降维，从连续变化的表情状态中自 7 基于视频的蘑部表情强度度量方法研究 动抽取表情强度的范围。 3 表情强度模型的建立 使羯一静绞计学习方法一支持淘量规对袭婕建立强度模型，鄄对嚣落特 匠点辕 迹与袋情强度等缀之闻酶关系建模。使用特定人的裔必表情视频序掰作灸训练序 列，构建针对特定个体的高必表情的强度模型，对测试序列中的图像帧进行表情 强度簿级的归类。 4 蠢帮表清强度度量漂黧系统 采用本文前述的基于l k 光流的改进的特征点跟踪方法、n o m a p 降维方法殿 s v m 分类，构建了一个实际的表情强度度量系统，系统由图像预处理、特征跟踪 攘凌、特薤降臻及表溃强度模型梅建趸鼙分橡成。激怒对象装蒜兴表猿程频黪 列作为实验对象，验证了该系统的稳定馁和有效性。通过系统构建，对面部表祷 分析的各阶段有了更为清晰的认识。 l 。5 零文戆结构 企文分为四个章节，内容如下： 第一章为绪论，分绍了西部表情分柝的研究意义，以及相关领域和计算机领 域孛辩表簿分耩麓磺究，奔绥了研究豹箍蕊所在，最纛奔绍了本文貔主要工终。 第二章介绍丁面部表情分析的基本疹骤，对各个舻骤所采用的主要技术和融 有方法做了一个总结。同时介绍了相关的一些图像处联的知识。 第三章费绍了一静表媾强菠度量方法。对手表媾姆薤夔提取，凌毛x 竞滚缀 踪算法的基础上，提出一种改进的修正跟踪面部特征点的方法，对改进前后的特 征点跟踪效果进行了比较。特征降维采用的是非线憔降维方法，镣容特征映射 i s o m a p ，对其缀壤进行了夯绍，并会缨了其在表情强度自动越取上熬应霜。通 过支持向量辊来鞫建表情强魔模型，弓 入s 缀表情强魔等级，对表情赖进行强度 等级的归类。 第四章介绍了构建的表情强度度量系统实铡，从系统框架和系统工作流程几 方舔逑行了撵述，劳镬强本塞骚室采集瓣裘壤数据进程7 涌试，锋瓣单令个舔滋 行商激表情强度的度量。 绪论与展望部分对全文王作做了一个总结，并提出了该课题中需要改进的方 嚣及瓣下一步工箨舞曩望。 8 第2 章表情分析概述 2 1 表情分析基本步骤 表情识别和表情强度度量都是表情分析的一部分。一个面部表情分析系统应 包括预处理、人脸检测分割、特征提取、表情分类发强度度量几部分。图2 1 显 示了一个典型的自动面部表情分析系统的基本框架。 图2 1 面部表情分析基本框架“” 2 1 1 预处理 预处理的执行与否完全取决于图像的质量和待研究的问题。如果图像不清 晰，通常改善的方法有直方图均衡、图象锐化等。如果需要提取不同的频带信息， 则进行相应的低通、带通或高通滤波。图像的边缘、梯度信息的提取，消除照相 机位置、方向的影响和相机抖动，某些背景的去除等也属于预处理操作。背景的 去除是必要的，否则会影响表情分析的结果。有时候，由于研究的需要，还需对 图像进行人为处理，如剪切、配准、对齐等。 2 1 2 人脸检测与定位 人脸检测与定位是面部表情分析系统中非常关键的部分，检测与定位的成功 与否及准确性将直接影响系统的性能。人腧检测一般可分为复杂背景和简单背景 两类。监控、跟踪等主要在复杂背景下，而访问控制、证照管理等是在简单背景 两类。监控、跟踪等主要在复杂背景下，而访问控制、证照管理等是在简单背景 9 基于视频的面部表情强度厦量方法研究 下。人脸检测的研究方兴未艾，实际上现今人脸检测已经成为一个独立的课题成 为很多学者关心的领域。 人脸图像检测与定位就是在输入图像中找到人脸确切的位置，它是人脸表情 分析的第一步。人脸检测的思想使用知识或统计的方法对人脸建模，比较待测区 域与人脸模型的匹配程度，从而得到可能存在人脸的区域。其方法大致可以分为 以下两类： ( 1 1 基于统计的人脸检测是将人脸图像视为一个高维向量，将人脸检测问题 转化为高维空间中分布信号的检测问题。 。 ( 2 ) 基于知识的人脸检测是利用人的知识建立若干规则，从而将人脸检测问 题转化为假设验证问题。 基于统计的人脸检测又包括样本学习法、子空间法、模板法。样本学习法是 将人脸检测视为从非人脸样本中识别人脸样本的模式分类问题，通过对人脸样本 集和非人脸样本集进行学习以产生分类器。目前国际上普遍采用人工神经网络。 子空间方法中，p e n t l a n d 将k l 变换引入人脸检测，利用主元子空间( 特征脸) ，而 人脸检测利用的是次元子空间( 特征脸空间的补空间) 上的投影能量，也即待检测 区域到特征脸子空间的距离作为检测统计量，距离越小，表示越像人脸。子空间 方法的特点在于简便易行，但由于没有利用反例样本信息，对与人脸类似的物体 辨别能力不足。模板法中，模板分为固定模板和变形模板。固定模板是求取测试 样本与参考模板之间的某种度量，由闽值大小的定义来判断测试样本是否是人脸。 它多用于粗检测和预处理过程，变形模板包含一些非固定的元素，加入了惩罚机 制，以参数化或自适应的曲线和曲面来构成人脸模板。 基于知识建模的人脸检测方法主要用到人脸规则、颜色及纹理信息、对称性 等信息。人脸规则是人脸遵循的一些几乎是普遍适用的空间相关性。它包括：1 ) 灰度分布规则：如五官的空间位置分布大致符合“三庭五眼”等，人脸不同区域 的明暗关系不变，眼睛的灰度总是比前额和颧骨地，鼻梁的灰度一般比两侧亮等。 2 ) 颜色及纹理信息：同一种族人的面部肤色在颜色空间中的分布相对比较集中， 颜色信息在一定程度上可以将人脸从大部分背景区分开来。3 ) 对称性：人脸具有 一定的轴对称性，各器官也具有一定的对称性。r e i s f e l d 提出广义对称变换方法 检测局部对称性强的点来进行人脸器官定位。 2 _ 1 3 特征提取 表情特征提取方法按照特征提取的部位、特征产生的方式、是否利用三维模 型等可以进行如下几种分类： 全局方法和局部方法：全局方法将整个面部当成一个整体对待，将面部整体 的变化模式与表情类型关联起来；而局部方法集中分析由表情变化引起的面部特 l o 琰学燕论文 征或者区域变化。 基于图像和基于模型鲍方法；鏊予图象抽歌特征的方法不依靠先验娜识，单 纯扶图象发插取特缎；丽基于模缀豹方法需黉根据物体的先验知识对物体迸行 建模，然后利用这个模测提取特征。基于图象的方法一般速殿较快并且算法简单； 两基于模型的方法算法较为复杂并腿搜索时间裁费较多。但是基于图象的方法可 靠注差，逡矮嚣窄。纂予摸鍪验郝耱薤提取方浚惫括基予=