（模式识别与智能系统专业论文）上半人脸运动单元状态识别的研究.pdf

江苏大学硕士研究生毕业论文 摘要 人脸运动单元状态识别是指通过计算机分析人的脸部不同运动单元和其组 合的状态变化，由此可确定其内心情绪或思想活动，实现人机之间更自然更智能 化的交互。人脸运动单元识别的研究对于增强计算机的智能化和人性化，开发新 型人机环境，以及推动心理学等学科的发展，有着重要的现实意义，并最终产生 很大经济效益和社会效益。 本文首先综述课题的研究背景，分析目前国内外已提出的主流人脸运动单元 识别方法，重点对小波变换、独立分量分析、矩的方法和光流模型进行了详细阐 述和比较。然后针对人脸运动单元识别系统中人脸图像预处理和运动单元子区域 的定位与分割、运动单元特征提取和运动单元特征分类识别三个主要部分，提出 了自己的一些算法，具体包括如下： ( 1 ) 提出了基于h a r r i s 角点检测的上半人脸运动单元子区域定位与分割算 法。在从图像中检测出人脸区域的基础上，对检测出的人脸区域进行归一化处理， 然后用基于h a r r i s 角点检测的算法精确地定位各个上半人脸运动单元子区域，并 将其分割出来。该算法能准确地从人脸区域中将不同的上半人脸运动单元分割出 来。 ( 2 ) 提出了基于k p c a 的上半人脸运动单元状态特征的提取算法。在定位分 割出上半人脸运动单元子区域图像之后，提出了采用k p c a 算法提取它们的特 征。在设计k p c a 算法中，根据上半人脸运动单元图像的状况，选择设计相应 的核函数，形成合理可用的有针对性的改进k p c a 特征提取算法。该算法既能 屏蔽与个人有关的特征以及光照的变化，基本做到与入无关的运动单元状态识 别，使识别系统更加可靠、鲁棒：又能将图像映射到特征空间，大大降低了图像 矩阵的维数，从而有效地减少计算量。 ( 3 ) 采用了基于改进的s v m 分类器，进行上半人脸运动单元状态的分类识 别。通过对提取出的k p c a 特征的性质进行分析和试验，然后合理选择设计相 关的核函数和惩罚因子，从而形成基于s v m 的上半人脸运动单元状态的分类识 别算法。该算法能够获得较好的识别结果，同时保证较快的执行速度。 最后采用面向对象的设计方法，结合应用了v c + + 和m a t l a b 中的相应库函数， 设计开发了上半人脸运动单元状态特征提取与识别的原型系统，从实验角度验证 了上述方法的有效性。 关键词：模式识别；面部运动编码系统；h a r r i s 角点检测；核主分量分析；支持 向量机 江苏大学硕士研究生毕业论文 a b s t r a c t f a c i a la c t i o nu n i tr e c o g n i t i o ni st oa n a l y s i st 1 1 es t a t e so fd i f f e r e n ts i n g l ef a c i a l a c t i o nu n i t sa n dt h e i rc o m b i n a t i o n sb yc o m p u t e r w i t hf a c i a la c t i o nu n i tr e c o g n i t i o n m a nc a na s c e r t a i nt h es u b j e c t ss p e c i f i ci n b o r ne m o t i o n ，a c h i e v i n gs m a r t e ra n dm o r e n a t u r a li n t e r a c t i o nb e t w e e nh u m a na n dc o m p n t c r 地s t u d yo ff a c i a la c t i o nu n i t r e c o g n i t i o nh a sf o u n di m p o r t a n tr e a l i s t i cv a l u e sf o re n h a n c i n gc o m p u t e ri n t e l l i g e n c e ， d e v e l o p i n gn e wh u m a n - c o m p u t e re n v i r o n m e n t ，a n dp r o m o t i n gp s y c h o l o g yr e s e a r c h ， w h i c hw i l lc r e a t eg r e a te c o n o m i c a ia n ds o c i a lb e n e f i t i nm i st h e s i s w ef i r s t l yd i s c u s st h eb a c k g r o u n da n dt h e na n a l y z et h em a i nf a c i a l a c t i o nu n i tr e c o g n i t i o na l g o r i t h m sp r e s e n t e d ，e m p h a s i z i n go nw a v e l e tt r a n s f o r m a t i o n ， i n d e p e n d e n tc o m p o n e n t sa n a l y s i s ( i c a ) ，m o m e n ti n v a r i a n t sa n do p t i c a lf l o w m o d e l s ( o f m ) t h e nf o rt h em a i np r o c e s s e si nt h ef a c i a ia c t i o nu n i tr e c o g n i t i o n t h a t i s ，f a c i a li m a g ep r e p r o c e s s i n g ，a c t i o nu n i tl o c a t i o na n ds e g m e n t a t i o n ，a c t i o nu n i t f e a t u r ee x t r a c t i o na n dr e c o g n i t i o n ，w ep r e s e n ts o m en o v e la l g o r i t h m s t h e ya r e d e s c r i b e da sf o l l o w s ( i ) 佻a l g o r i t h mo f u p p e rf a c i a la c t i o nu n i tl o c a t i o na n ds e g m e n t a t i o nb a s e do n h a r r i sc o r n e l 7d e t e c t i o ni sp r o p o s e d o nt h eb a s eo ff a c er e g i o ni m a g ed e t e c t a t i o n , t h e i m a g ei sp r e p r o c e s s e d t h e ne v e r yu p p e rf a c i a la c t i o nu n i ti sl o c a t e db yu s i n gt h e a l g o r i t h mb a s e do nh a r r i sc o i t i c rd e t e c t i o na n di sd i v i d e df r o mf a c ei m a g e 1 1 h i s a l g o r i t h mc a nd i v i d ed i f f e r e n tu p p e rf a c i a la c t i o nu n i te x a c t l yf r o mf a c ei m a g e ( 2 1n l ea l g o r i t h mo fu p p e rf a c i a la c t i o nu n i tf e a t u r ge x t r a c t i o nb a s e do nk p c ai s p r e s e n t e d a r e ru p p e rf a c i a la c t i o nu n i tl o c a t i o na n ds e g m e n t a t i o n ，w ep r e s e n tt h e f a c i a la c t i o nu n i tf e a t u r ee x t r a c t i o na l g o r i t h mb a s e do nk p c a i nk p c aa l g o r i t h m d e s i g n ，a c c o r d i n gt ot h ec h a r a c t e r i s t i c so fu p p e rf a c i a la c t i o nu n i ti m a g e ，w ec h o o s e a n dd e s i g nc o r r e s p o n d i n gk e r n e lf u n c t i o na n df o r mt h ei m p r o v e da l g o r i t h mt oe x t r a c t k p c af e a t u r e sr e a s o n a b l y t h i sa l g o r i t h mn o to n l yc a nm a s kd i f f e r e n th u m a n f e a t u r e sa n di l l u m i n a t i o nv a r i a t i o n ，r e c o g n i z et h ea c t i o nu n i t st h a ti s s u b j e c t i n d e p e n d e n t ，w h i c hm a k e st h es y s t e mm o r er e l i a b l ea n dr o b u s t ，b u ta l s oc a nm a p t h e i m a g eo n t ot h ef e a t u r es p a c e ，w h i c hr e d u c ed i m e n s i o no fi m a g em a t r i xh u g e l ya n d r e d u c ec o m p u t a t i o n a lc o s t ( 3 ) r n l cc l a s s i f i e rb a s e do nt h ei m p r o v e ds v m i su s e dt or e c o g n i z eu p p e rf a c i a l a c t i o nu n i ts t a t e u g ha n a l y z i n ga n de x p e r i m e n t i n go nt h ec h a r a c t e r i s t i co fk p c a f e a t u r e s t h er e l a t i v ek e r n e lf u n c t i o na n dc h a s t i s e m e n tf a c t o ra r ec h o s e na n dd e s i g n e d f i n a l l y t h eu p p e rf a c i a la c t i o nu n i ts t a t er e c o g n i t i o na l g o r i t h mb a s e do ns v m i sb u i l t t h ea l g o r i t h mc a no b t a i ns u p e r i o rr e c o g n i t i o nr a t ea n dh a sf a s ts p e e d i nt h ee n do ft h i st h e s i s ，w ed e s i g na n dd e v e l o pa p r o t o t y p es y s t e mo fu p p e r f a c i a la c t i o nu n i tf e a t u r ee x t r a c t i o na n dr e c o g n i t i o nb a s e do no b j e c t o r i e n tm e t h o d s a n du s i n gc o r r e s p o n d i n gl i b r a r yf u n c t i o n si nv c + + a n dm a t l a b t h es y s t e mr u n n i n g p r o v e st h a ta b o v ea l g o r i t h m sa r ec o r r e c ta n de f f e c t i v e k e yw o r d s ：p a t t e r nr e c o g n i t i o n ；f a c s ；h a r r i sc o r n e rd e t e c t i o n ；k p c a ；s v m i i 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权江苏大学可以将本学位论文的全部内容或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在 年解密后适用本授权书。 本学位论文属于 不保密西 学位论文作者签名褐 砷年堋；7 日 墨移 指导教师签名：孱叠c ：哆 ，砂年口y 月；日 独创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容以 外，本论文不包含任何其他个人或集体已经发表或撰写过的作品 成果。对本文的研究做出重要贡献的个人和集体，均已在文中以 明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：喝i 孝、净 日期：砷年a s - 月纠日 江苏大学硕士研究生毕业论文 第一章绪论 1 1 课题研究的背景与意义 在日常生活中，人类的智能不仅表现在正常的理性思维和逻辑推理能力上， 也表现在正常的情感能力上。在自然化的人机交互中，计算机不能没有理解和表 达情感的能力。为了解决人类与计算机间更加智能更加自然的交互，新型的人机 交互( h u m a nm a c h i n ei n t e r a c t i o n , h c i ) 技术正逐渐成为研究热点。人类自然形成 的与自然界沟通的认知习惯和形式必定是人机交互的发展方向，这一方面要求计 算机能看、能说、能听、能感觉，即能够智能地感知使用者的意图，另一方面， 使用者可以不必坐在计算机前通过鼠标和键盘操作计算机，而是可以在三维空间 中以更加自然和人性化的方式同计算机交流。总之，新型的人机交互环境要求计 算机必须具有自然化、智能化、人性化等特点。 在新型的人机交互环境中，计算机能够通过采集用户的图像信息和语音信 息，形成计算机视觉和听觉，然后处理采集到的多媒体信息，并进行识别，从而 感知使用者的意图，完成人机间的自然交互。在该研究领域，基于数字图像的人 脸检测技术、人脸识别技术、手势识别技术、人脸表情识别技术等陆续被提出， 相关的应用系统也将逐渐改变人们的工作与生活。 在人际交往中，人们常说“观其眼色行事”，这就意味着眼睛区域的行为、 动作在人际交往中有着多么重要的作用。自然的人机交互就是使得人与计算机的 交互如同人与人间的交互，因此人际交互中常见的行为举止的分析与理解方法必 将足人机交互所要解决和实现的技术。本文便是在这样的背景下开展人脸运动单 元识别的相关研究工作。随着i n t e m c t 的普及以及计算机性能的大幅提高，人脸 运动单元识别技术将被广泛应用于包括新型人机交互在内的诸多领域，并将产生 很好的经济效益和社会价值。 1 2 人脸运动单元识别涉及的研究领域及应用 人脸运动单元是由美国心理学家p a u le k m a n 和f r i c s e n 所提出的【1 1 。他们在 对脸部肌肉群的运动及其对表情的控制作用做了深入研究后，于1 9 7 8 年开发了 面部运动编码系统( f a c i a la c t i o nc o d i n gs y s t e m ，f a c s ) 来描述面部表情和研究人 类的认知行为。他们根据人脸的解剖学特点，将其划分成大约4 6 个既相互独立 又相互联系的运动单元( a u ) ，并分析了这些运动单元的运动特征及其所控制的主 要区域以及与之相关的表情，给出了大量的照片说明。i r f a n a e s s a l 2 i 在f a c s 的基础上进行了改进，通过在物理模型上加入自动的肌肉模块，建立f a c s + 系 统，这个系统可以用做动态建模和运动估计。 江苏大学硕士研究生毕业论文 人脸运动单元识别技术的研究属于交叉学科的研究分支，主要涉及的领域除 了以上所提及的心理学研究领域之外，还有计算机视觉等技术领域。近一个多世 纪以来，这两个领域的研究学者们对人脸运动单元识别做了大量的研究工作。研 究者们对人脸运动单元感兴趣的原因是多方面的，但其主要是由于人脸检测、头 部跟踪、人脸识别、人脸表情识别等相关领域的研究已经取得了巨大成就，以及 近年来相对廉价和高性能的计算资源的使用，都极大地推动了人脸运动单元识别 技术的研究与发展，并使其成为科研热点。人脸运动单元识别在许多领域都有着 潜在的应用价值，这些研究领域包括心理学研究、计算机视觉、图像理解、合成 脸部动画、视频检索、机器人技术、虚拟现实技术、人机交互、远程教育及自动 驾驶和驾驶员疲劳检测等。以下举几个例子来说明人脸运动单元识别在一些领域 中的应用。 ( 1 ) 在人机交互领域中：在现今的网络社会里，计算机已经不是被仅仅视为 一台用于计算的机器了，它还应该提供各种使人们之间可以相互交流的功能。其 中，影像的实时传输就是一个很重要的功能，如果我们和一个朋友在网上聊天的 同时还可以看见他的影像，那么交流的效果肯定会更好。但在有些时候，因为流 量及速度的限制，影像的传输还是非常缓慢，而且也不是必须的，这时，就可以 用摄像机晕的表情分析器对用户的人脸运动单元进行分析，进而分析出其表情， 然后只传输得到的分析结果，例如：“您的朋友正在微笑l ”，这也同样能够达 到很好的交流效果。 ( 2 ) 在远程教育的过程中：有过远程教育经历的老师普遍觉得很难掌握学生 对课程的掌握程度，在正常的授课中，老师可以通过学生们的脸部运动单元的变 化来得知他们掌握得怎么样，这也就需要一种表情识别器把学生们的表情规定为 对课程的掌握程度并反馈给远程的教师，老师们就可以做出相应的反应了。 ( 3 ) 在汽车自动驾驶期间：通过安装在汽车里的感应器对驾驶员进行脸部运 动单元监控，如眼睛等。如果发现驾驶员正在打瞌睡，可以发出警报；如果他睡 着了，可以自动停止汽车的运行。 ( 4 ) 在危险领域作业的人的疲劳检测中：同汽车自动驾驶中的人脸运动单元 检测一样，人脸运动单元的检测对飞机驾驶员以及一些工作压力较大、稍不留神 就易出意外的工人同样是非常必须的，如果从他们的人脸运动单元中检测出痛苦 或其它不适的状态，那么马上就需要对他们进行提醒或处理，否则会出现危险。 在安全保密、辅助医疗中也需要对入脸运动单元进行分析，这些都使得人脸 运动单元的识别成为一项很有实用意义的课题，所以，基于脸部运动单元分析识 别的新型人机交互环境的研究与开发也越来越引起众多学者的广泛关注p “。 2 江苏大学硕士研究生毕业论文 1 3 论文的研究内容及主要工作 本文在广泛阅读国内外现有的关于人脸运动单元检测和识别技术的文献后， 比较和借鉴现有成功的人脸运动单元识别方法，对相应的上半人脸运动单元特征 提取及识别的关键技术进行改进和完善，同时提出自己的算法，并开发相应的上 半人脸运动单元识别子系统。论文的主要研究内容和工作包括以下几方面。 ( 1 ) 研究人脸图像中上半人脸运动单元子区域的定位与分割方法 f a c s 将人脸划分为4 6 个单独的运动单元及其近7 0 0 0 种组合，而本文所研 究的内容仅为上半人脸运动单元，故将上半人脸运动单元子区域从整幅人脸图像 中准确定位并分割出来就显得尤其必要。此外，定位与分割出上半人脸运动单元 子区域可以降低图像的维数，在以后的上半人脸特征提取与分类识别算法中，可 以加快其处理速度。 ( 2 ) 研究上半人脸运动单元状态特征的提取算法 为了有效的识别该运动单元图像隶属于何种状态，研究该运动单元状态的特 征参数的快速算法，同时保证对外界环境和个人特征差异具有一定的鲁棒性。 ( 3 ) 研究上半人脸运动单元状态特征的分类识别算法 当所提取的运动单元的特征能较好的反映出该运动单元图像所处的状态时， 研究一种能快速准确地识别出该运动单元状态的分类识别算法。 ( 4 ) 研究开发上半人脸运动单元状态特征提取与识别的原型系统 为了对人脸运动单元状态的特征进行提取与识别，研究开发出上半人脸运动 单元状态特征提取与识别的原型系统，能将上半人脸运动单元子区域定位与分割 出来，并对其状态特征进行提取与识别。 本文的研究内容属于江苏省青蓝工程基金项目( 1 1 9 1 1 7 0 0 0 4 ) 和国家自然科 学基金项目( 6 0 6 7 3 1 9 0 ) 中研究内容的一部分。 作者在攻读硕士学位期问发表学术论文如下： ( 1 )e y ef e a t u r ee x t r a c t i o nb a s e do ng r a yi n f o r m a t i o na n dh a r r i sc o m e r d e t e c t i o n i n ：l e c t u r es e r i e so nc o m p u t e ra n d c o m p u t a t i o n a ls c i e n c e s ， 2 0 0 6 ( 2 )u p p e rf a c i a la c t i o nu n i t sr e c o g n i t i o nb a s e do nk p c aa n ds v m i n ： t h ep r o c d i n g so ft h ef o u r t hi n t e r n a t i o n a lc o n f e r e n c eo nc o m p u t e r g r a p h i c s ，i m a g i n ga n dv i s u a l i z a t i o n , 2 0 0 7 ( 已录用) 3 江苏大学硕士研究生毕业论文 1 4 论文的结构概要 论文共分七章，主要内容概要如下： 第一章介绍课题的研究背景与研究意义，概述了人脸运动单元识别所涉及的 研究领域以及其潜在的应用范围。同时分析并提出本文的主要研究工作。 第二章综述人脸运动单元识别的研究现状，重点介绍小波变换、独立分量分 析、矩的方法和光流模型等运动单元状态特征提取和识别的算法，并对这些算法 的优缺点从理论上给出比较。 第三章介绍针对上半人脸运动单元图像所采用的预处理算法，主要包括上半 人脸运动单元区域的自动定位与分割算法、运动单元图像的尺寸归一化和灰度归 一化算法。 第四章详细阐述本文所提出的基于k p c a 的上半人脸运动单元特征提取算 法。首先介绍p c a 和k p c a 理论，然后给出具体的运动单元特征提取算法，并 给出实验结果和分析。 第五章重点介绍基于s v m 分类的识别算法，实现上半人脸运动单元状态的 快速准确的分类识别。 第六章介绍采用面向对象及设计模式的思想设计并开发基于上半人脸运动 单元状态识别系统的方法与过程。 第七章对全文进行总结，并指出进一步需要开展的工作。 4 江苏大擘硕士研究生毕业论文 第二章上半人脸运动单元状态识别技术的研究与进展 2 1概述 在人们的日常生活交往过程中，很多是非言语的交流，比如人脸表情、手 势以及其他肢体语言等，在这些非言语的交流中，由人脸运动单元所表现出来的 人脸表情扮演着十分重要的角色，它不仅反映了人的情绪，而且还反映出其他的 精神活动、社会交往活动、生理信息等。在过去的十几年间，在计算机视觉、情 感计算、计算机图形学和心理学等研究领域中，人脸运动单元状态分析与识别不 断有研究成果公布于众。总体上说，人脸运动单元识别应能够根据人脸运动单元 的外在表现，判断其内心活动，进行运动单元及情感的识别。研究人脸运动单元 识别的目的是利用计算机视觉信息，采用适当的图像处理和模式识别算法，提高 计算机的理解能力，加强其智能化程度。 因此，人脸运动单元状态识别的研究内容主要包括人脸区域与运动单元子 区域的检测与定位、人脸运动单元状态特征的提取及表征、运动单元状态特征的 分类识别这几个部分。目前国内外在这方面的研究可大致分为两个阶段：人脸的 检测与识别，以及人脸特征提取和识别。其中对人脸区域的检测与识别的研究成 果显著，并已经开始应用于身份检测鉴别等系统中。而在人脸特征提取和识别中， 人脸表情识别在计算机视觉等领域中，越来越受到研究者们的关注，并已经成为 当今前沿的研究领域，在当今大多数的表情分析系统中，各个系统都只是尝试着 去识别七种基本表情：中性( n e u t r a l ) 、高兴0 0 y ) 、悲伤( s a d n e s s ) 、惊奇( s u r p r i s e ) 、 恐惧( f e a r ) 、厌恶( d i s g u s t ) 、愤怒( a n g e r ) i s - ”。然而，在人们日常的生活中，相对而 言，这样的基本表情发生的并不是很频繁，反而，由一两个不连续的运动单元动 作的改变更能表达出人们的情感，例如：在生气时紧咬嘴唇和在悲伤时嘴唇中心 向下倾斜等掣羽。因此，在人脸表情识别技术中，人脸运动单元状态识别技术己 成为其当今研究的热点之一。然而，在此研究领域，大多研究成果由国外学者提 出，国内则明显落后许多年，此外，虽然单个的人脸运动单元只有4 6 个，但是 其组合的数目确是非常巨大的，超过7 0 0 0 个，因而人脸运动单元状态识别的研 究还面i 临着很艰巨的挑战。 本章以下内容先对美国心理学家p a u le k m a n 和f r i e s e n 所提出的面部运动编 码系统( f a c i a la c t i o nc o d i n gs y s t e m ，f a c s ) 做一介绍，然后按照上半人脸运动单 元状态识别系统总体结构的先后顺序，分别介绍了上半人脸运动单元状态识别所 涉及的技术任务，然后详细介绍目前典型的几种上半人脸运动单元状态识别算 5 江苏大学硕士研究生毕业论文 法，最后对这些典型识别算法从理论上进行对比，给出各自的优缺点及其适用场 合，并得出结论和启示。 2 2 面部运动编码系统介绍 面部运动编码系统( f a c i a la c t i o n c o d i n gs y s t e m ，f a c s ) 是由美国心理学家 p a u le k m a n 和f r i e s e n 所提出的【l l 。他们在对脸部肌肉群的运动及其对表情的控 制作用做了深入研究后，于1 9 7 8 年开发了f a c s 来描述面部表情和研究人类的 认知行为【9 ，”j 。从人脸的解剖学特点来看，f a c s 跟面部每块肌肉的收缩运动相 联系，如图2 1 所示。根据以上特点，p a u le k m a n 和f d e s e n 将人脸划分成大约 4 6 个既相互独立又相互联系的运动单元( a u ) ，每个运动单元对应于人脸每个相 互独立的运动。在这些运动单元中，有1 2 个对应于上半人脸，有1 8 个对应于下 半人脸，表2 1 中列举了9 种上半人脸运动单元。运动单元或者以单个形式或者 以组合的形式出现。虽然最小单元的运动单元的数目相对来说是比较小的，然而 不同的运动单元组合的数目却是巨大的，超过了7 0 0 0 种。f a c s 详细分析了这 些运动单元的运动特征及其所控制的主要区域以及与之相关的表情，并给出了大 量的照片说明。在面部运动编码系统中，一个训练的f a c s 编码器将被观察的表 情分解为产生这些表情的特定运动单元或者运动单元组合。除了在形态( 发生的 特定脸部运动) 上之外，它还在脸部运动的动态( d u r a t i o n , o n s e t a n d o f f s e t t i m e ) 上给出了精确的定义。 图2 if a c s 将脸部的运动分解为多块的运动单元。如上半人脸的运动可分解为 1 、2 、4 、6 、7 这儿个运动单元( p a u le k m a n 和f r i e s e n ( 1 9 7 8 ) ) 。 虽然这种方法很直观，易于为人理解，但是f a c s 并不包含情绪信息，数据 的分析只是单纯地描绘运动单元a u ，或者把f a c s 通过字典规则转化成情绪。而 且由于在实施过程中需要专家的大量时间来人工标记录像带上的特征运动点，且 需要1 0 0 多个小时的训练才能得到每段录像带的满意结果【9 1 。在这种情况下，系 统的编码速度、可靠性、精确性和实时性就成为其广泛应用的阻碍。i r f a n a e s s a ! 列 在f a c s 的基础上进行了改进，通过在物理模型上加入自动的肌肉模块，建立 6 江苏大学硕士研究生毕业论文 f a c s + 系统，这个系统可以用做动态建模和运动估计。在进行表情分析时，通过 光流法分析视频流中脸部数据。此外，通常当运动单元发生时会附带其他的运动 单元或者运动单元组合，这也给运动单元的识别增加了不少的难度。 表2 1 上半人脸运动单元 2 3 上半人脸运动单元状态识别系统总体结构分析 人脸运动单元状态识别系统主要包括人脸检测与定位、人脸运动单元状态特 征的提取与表征和运动单元状态特征的分类识别三个主要阶段，如图2 2 所示。 其中在人脸检测与定位阶段之后还包括了人脸图像的归一化和运动单元子区域 的定位与分割两个环节，这两个环节对于抑制干扰、降低计算复杂度和提高识别 率有重要的作用。运动单元予区域在本文中主要是左右眉毛和左右眼睛区域。 ( 1 ) 人脸检测与定位 人脸检测与定位就是在输入图像中找到人脸确切的位置。人脸检测的基本思 想是用知识或者统计的方法对人脸建模，比较待检测区域与人脸模型的匹配程 度，从而得到可能存在人脸的区域。文献 1 l 】将人脸检测方法分成四类：基于知 识的方法( k n o w l e d g e b a s e dm e t h o d s ) 、特征不变方法( f e a t u r ei n v a r i a n t a p p r o a c h e s ) 、模板匹配方法( t e m p l a t em a t c h i n gm e t h o d s ) 和基于外观的方法 ( a p p e a r a n c e - b a s hm e t h o d s ) 。 7 江苏大学硕士研究生毕业论文 图2 2 人脸运动单元状态识别的几个阶段 基于知识的方法是基于规则的人脸检测方法，规则来源于研究者关于人脸 的先验知识。一般比较容易提出简单的规则来描述人脸特征和它们的相互关系， 如在一幅图像中出现的人脸，通常具有互相对称的两只眼睛、一个鼻子和一张嘴。 特征之间的相互关系可以通过它们的相对距离和位置束描述。在输入图像中首先 提取面部特征，确定基于编码规则的人脸候选区域。方法有采用符合人脸生理结 构特征的人脸镶嵌图模型【1 2 1 等。 特征不变方法的目的是在姿态、视角或光照条件改变的情况下找到存在的 结构特征，然后使用这些特征确定人脸。基于特征的方法不仅可以从已有的面部 特征而且可以从它们的几何关系进行人脸检测。与基于知识的方法相反，它是寻 找人脸的不变特征并将其用于人脸检测。 模板匹配方法的思想是存储几种标准的人脸模式，用来分别描述整个人脸 和面部特征；计算输入图像和存储的模式间的相互关系并用于检测。方法有形状 模板匹配、变形模板匹配、灰度模板匹配和平均脸模板匹配 1 3 - 1 5 1 等。 基于外观的方法与模板匹配方法相反，它主要是从训练图像集中进行学习 从而获得模型( 或模板) ，并将这些模型用于检测。通常，基于外观的方法依靠 统计分析和机器学习技术找到相应的人脸和非人脸图像的特征。学习的特征由分 布模型或判别函数形成。方法有基于特征空自j 的主分量分析方法( p r i n c i p a l c o m p o n e n ta n a l y s i s 。p c a ) 以及核主分量分析方法( k e r n e lp r i n c i p a lc o m p o n e n t a n a l y s i s ，k p c a ) 、基于经验风险最小的神经网络方法、基于概率模型的方法( 如 b a y e s 模型、隐马尔可夫模型( h i d d e nm a r k o vm o d e l s ，h m m ) 等) 和基于支持向量 机( s u p p o r tv e c t o rm a c h i n e 。s v m ) 的方法【1 6 - l8 1 等。 8 江苏大擘硕士研究生毕业论文 ( 2 ) 人脸运动单元状态特征的提取与表征 人脸运动单元状态特征的提取与表征是整个系统中最关键的一个阶段。如何 有效而准确地提取人脸运动单元的特征直接决定着运动单元识别结果的好坏。 目盼所用到的识别特征主要有：灰度特征、运动特征和频率特征三种。灰 度特征是从图像的灰度值上来处理，利用不同运动单元有不同灰度值来作为识别 的依据。这种情况下要求图像对光照、角度等因素要进行充分的预处理，使获得 的灰度值具有归一性。运动特征利用了不同表情情况下人脸各个运动单元的运动 信息来进行识别。频域特征主要是利用了图像在不同的频率分解下的差别，速度 快是其显著特点。在具体的方法上，文献 1 9 将其分为三个方向：整体识别法和 局部识别法、形变提取法和运动提取法、几何特征法和容貌特征法。由于这三个 发展方向不是严格独立，他们只是从不同侧面来提取所需要的特征，他们之间相 互联系，相互影响。有很多方法是介于两者甚至是三者之间。例如，主分量分析 ( p c a ) 方法不仅是整体识别法的一种，同时它也是形变提取法的一种。 下面仅以几何特征法和容貌特征法这一方向对一些重要的特征提取方法作 一简单介绍，相关方法可以参阅相关资料 2 0 - 2 6 。在下一节中将对几个典型的特征 提取算法作一详细介绍。几何特征法是根据人的面部的各个部分的形状和位置 ( 包括嘴、眼睛、眉毛、鼻子) 来提取特征矢量，这个特征矢量来代表人脸的几 何特征根据。这个特征矢量的不同就可以识别不同的运动单元。方法主要有主分 量分析( p c a ) 方法和p a n t i c 2 7 捌提出的一种自动提取脸部器官和轮廓基准点的方 法。外貌( a p p e a r a n c e ) 特征泛指使用全部人脸图像像素的特征，反映了人脸图像 底层的信息。外貌特征提取最主要的方是基于局部特征的方法，利用一组滤波器 对图像进行滤波，结果可以反映局部像素之间的关系( 梯度、相关性、纹理等) 。 例如g a b o r 小波、h a r r 小波、高阶局部自相关( h l a c ) 、局部二元模式( l b p ) 等。 此外，还可归为外貌特征提取方法的有：非负矩阵分解、基于脸部不对称的方法、 基于不变矩的方法等。除了以上提及的特征提取方法外，还有以下的方法：核主 分量分析法、独立分量分析法( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ，i c a ) 、f i s h e r 线 性判别法( f i s h e r sl i n e a rd i s c r i m i n a n t , f l d ) 、局部特征分析法( l o c a lf e a t u r e a n a l y s i s l f a ) 、f i s h e r 运动法( f i s h e ra c t i o n s ) 、脸部运动编码分析法( f a c i a l a c t i o n sc o d es y s t e m ，f a c s ) 、运动模板法( a c t i v es h a p em o d e l ，a s m ) 、点分布模 型( p o i n td i s t r i b u t i o nm o d e l p d m ) 、光流法( o p t i c a lf l o w ) 和m p e g - 4 中的脸部运 动参数法( f a c ea n i m a t i o np a r a m e t e r , f a p ) 。 ( 3 ) 运动单元状态特征的分类识别 分类识别指定义一组类别，并设计相应的分类机制对其进行识别，归入相应 类别。文献 2 9 】将分类的方法分为基于空间分析的方法和空时结合的方法两类。 9 江苏大学硕士研究生毕业论文 基于空间分析的方法主要有基于专家规贝l j ( e x p e r tr u l e s ) 的方法和基于机器学习 ( m a c h i n el e a r n i n g ) 的方法。基于专家规则的方法从人的观察角度出发来制定一些 规则，对特征提取得出的参数，判断它属于哪一类规则，将其归入相应的类别。 基于机器学习的方法有人工神经网络分类器、贝叶斯分类器、支持向量机( s u p p o r t v e c t o rm a c h i n e ，s v m ) 和a d a b o o s t 分类器。基于空时结合的方法主要是隐马尔可 夫模型法( h i d em a r k o vm o d e l h m m ) 。 2 4 上半人脸运动单元状态识别若干算法 目前的运动单元识别算法基本上都是针对灰度图像，提取其灰度统计特征或 者频率特征，然后使用特定的分类识别算法实现人脸运动单元状态的识别。其中 运动单元特征提取算法是关键，决定了运动单元识别的好坏，因而本节重点介绍 人脸运动单元特征提取的几种常用算法。 2 4 i 小波变换 在时频域分析中，采用有限宽度的基函数进行伸缩和平移变化，生出一组函 数，这种基函数称为基本小波( w a v e l e t ) ，由基本小波“膨胀”出相应的小波族。 小波变换是对傅立叶变换与短时( 窗口) 傅立叶变换的重大突破，在信号分析、图 像处理及其它非线性科学的研究领域带来了革命性的影响。 在人脸运动单元识别等图像处理领域，使用最为广泛的是g a b o r 小波滤波 器，它是一个由二维高斯函数衍生出的复数域正弦曲线函数。g a b o r 小波变换有 三个重要性质 2 2 1 ：一是有较强的频率选择性和较好的时空域定位特性。二是 g a b o r 变换的结果能可视的表达人脸特定区域的轮廓信息。三是g a b o r 滤波器相 当于一组带通滤波器，其方向、基频带宽及中心频率均可调。对二维图像，( j ) 进 行g a b o r 变换可定义如下： ，( 访) = f ， ) ，( 谛一贾) 赢 ( 2 1 ) 其中g a b o r 小波族函数定义如下： 删：哗i 譬心咖i 譬)( 2 - 2 ) 其中f 为复数运算符，o 一2 万，k 为每个g a b o r 滤波器的特征频率。 可构造一组g a b o r 滤波器对人脸图像处理，提取基于特定频带的图像成份， 所以g a b o r 变换对光照、图像尺寸缩放、平移及旋转具有定的不变性，可提高 识别系统的鲁棒性。运动单元图像的预处理也常采用小波变换以消除光照及姿势 的影响。基于g a b o r 小波变换的弹性图匹配( e l a s t i cg r a p hm a t c h i n g 。e g m ) 算法在 1 0 江苏大擘硕士研究生毕业论文 人脸识别及表情识别领域倍受重视1 2 2 1 。其基本思想是，采用二维属性拓扑图( 如 图2 3 所示) 来表达人脸图像，拓扑图的任一点由人脸图像经小波变换后的特征矢 量表达。在对表情变化较敏感的位置，如嘴角、眼睑等处，定义拓扑图的顶点， 这些位置小波变换后的特征矢量模较大，有利于运动单元的识别。用拓扑图分别 表示已知运动单元( 通常训练得到) 和被测运动单元图像，根据匹配拓扑图算出它 们之间的距离，作为相似度准则，最后选择最佳匹配的人脸运动单元作为识别结 果。 图2 3 基于g a b o r 小波变换的二二维拓扑图 与p c a 方法相比，由于基于g a b o r 小波的弹性图匹配方法保留了二维图像 空间相关性信息，其识别效果明显好于基于p c a 的方法【3 0 】。但弹性图匹配算法 的最大缺点就是计算复杂，数据冗余度高。作为对这种方法的改进，可将p c a 应用于小波变换，来生成二维网格中顶点的特征矢量以降低其维数而不影响识别 率。此外还有其它的改进措施也能明显降低弹性图匹配算法的计算量【2 7 j o j 。 2 4 2 独立分量分析( i c a ) 独立分量分析( i c a ) 3 1 - 3 4 方法是二十世纪9 0 年代发展起来的一种新的统计 信号处理技术，在只给出多元混合信号( 观察信号) 情况下，将观察信号分解成 相互独立成分的一种信号分解技术。i c a 方法假设目标信号由各个互相独立的源 信号组成。i c a 算法基于数据间独立性最大的度量准则。假设有个观察信号 置，而，其中每个观测各为若干个独立源信号而，是，如的某种线性组合