（计算机应用技术专业论文）近红外成像下的人脸特征提取和三维重建关键技术的研究.pdf

浙江大学硕士学位论文 摘要 摘要 近年来，通过计算机对人脸进行自动处理成为当前计算机视觉、模式识别、 计算机图形学等领域的一个热点研究课题，在影视制作、视频会议、智能人机交 互等方面有着广泛的应用前景。 本文讨论基于近红外相机的人脸特征提取和三维重建系统的设计与实现问 题。一般而言，人脸特征提取和三维重建系统应由以下几个模块组成：摄像机定标、 特征检测提取、三维重建和三维显示。本文工作重点集中在两个方面，一方面研 究特征检测提取模块关键技术，另一方面研究原型系统整体的架构与实现。 论文首先阐述了国内外研究现状和存在的问题，并简要介绍了论文的主要思 路和内容。然后在第二章中分别对人脸表情特征提取和三维重建两个领域现有的 主流方法进行了详细综述。接着在第三章中介绍了整个系统的设计与实现，重点 讨论了根据近红外相机人脸成像的特点，对人脸图像的特征提取效果进行改进的 两个方法：基于m a r k 点几何特征和基于极线几何约束的方法，并介绍了利用i n t e l 公司的o p e nc o m p u t e rv i s i o nl i b r a r y ( o p e n c v ) i 函数库实现系统的过程。论文最后 对实验的结果进行了分析，对影响实验结果的三个重要因素的取值进行了讨论， 并给出了结论。 关键词：人脸特征提取三维重建近红外相机o p e n c v 浙江大学硕士学位论文 a b s t r a c t a b s t r a c t i nr e c e n ty e a r s ，c o m p u t e r - a i d e dh u m a nf a c ep r o c e s s i n gh a sb e c o m eah o ti s s u e i nf i e l d sl i k ec o m p u t e rv i s i o n ，c o m p u t e rg r a p h i c s ，p a a e r nr e c o g n i t i o n ，a n dm o r e t h i s t e c h n o l o g yc a nb ew i d e l ya p p l i e dt om o v i ep r o d u c t i o n ，v i d e oc o n f e r e n c e ，i n t e l l i g e n t h u m a nc o m p u t e ri n t e r f a c e ，e t c i nt h i sd i s s e r t a t i o n ，w ed i s c u s s e di nd e t a i lt h ed e s i g na n di m p l e m e n t a t i o no fa f a c i a lf e a t u r ee x t r a c t i o na n d3 dr e c o n s t r u c t i o ns y s t e mb a s e do nt h en e a r - i n f r a r e d c a m e r a g e n e r a l l y , t h ea b o v e m e n t i o n e ds y s t e ms h o u l db ec o m p o s e do ft h ef o l l o w i n g m o d u l e s ：c a m e r ac a l i b r a t i o n , f e a t u r ed e t e c t i o na n de x t r a c t i o n , 3 dr e c o n s t r u c t i o na n d 3 dd i s p l a y o u rs t u d yf o c u s e dm a i n l yo nt w oa s p e c t s ，n a m e l y , t h ek e yt e c h n o l o g yi n t h ef e a t u r ed e t e c t i o na n de x t r a c t i o nm o d u l ea n dt h eo v e r a l lf r a m e w o r ka n d i m p l e m e n t a t i o no ft h ep r o t o t y p es y s t e m f i r s t l y , l i s d i s s e r t a t i o ns u m m a r i z e dt h ec u r r e n tr e s e a r c hs t a t u sa n de x i s t i n g p r o b l e m sw h i l et h es t r u c t u r ea n dt h em a i nc o n t e n t so ft h ed i s s e r t a t i o nw e r eb r i e f l y i n t r o d u c e d i nt h es e c o n dc h a p t e r , w eg a v ed e t a i l e do v e r v i e w so ns e v e r a lm a i n s t r e a m m e t h o d si nf a c i a lf e a t u r ee x t r a c t i o na n d3 dr e c o n s t r u c t i o n t h ed e s i g na n di m p l i c a t i o n o ft h ee n t i r es y s t e mw a sd i s c u s s e di nt h et 1 1 i r dc h a p t e r a c c o r d i n gt ot h ef a c ei m a g i n g f e a t u r e so ft h en e a r - i n f r a r e dc a m e r a , w ep u tf o r w a r dt w om e t h o d sw h i c hm i g h t i m p r o v et h ee x p e r i m e n t a lr e s u l t so ft h ef e a t u r ee x t r a c t i o nm o d u l e t h et w om e t h o d s ， w h i c hw e r eb a s e do nt h eg e o m e t r yc h a r a c t e r i s t i c so ft h em a r k e ra n dt h ec o n s t r a i n to f e p i p o l a rg e o m e t r yr e s p e c t i v e l y , w e r ed e s c r i b e di ng r e a td e t a i l b e s i d e s ，w ee l a b o r a t e d h o wi n t e l so p e nc o m p u t e rv i s i o nl i b r a r y ( o p e n c v ) w a sa d o p t e dt oi m p l e m e n tt h e s y s t e m a tl a s t ，t h i sd i s s e r t a t i o na n a l y s e dt h er e s u l t so ft h ee x p e r i m e n t ，d i s c u s s e dt h e p o s s i b l ev a l u e so ft h et h r e ek e yf a c t o r sw h i c hs i g n i f i c a n t l ya f f e c t e dt h ee x p e r i m e n t a l r e s u l t s ，a n dg a v et h ef i n a lc o n c l u s i o n s k e y w o r d s ：f a c i a l f e a t u r ee x t r a c t i o n ，3 dr e c o n s t r u c t i o n , n e a r - i n f r a r e dc a m e r a ， o p e n c v 浙江大学硕士学位论文 表目录 表目录 表2 1 六种基本表情的的具体特征1 0 表4 1 欧式距离计算结果4 3 表4 2 欧式距离计算结果4 4 表4 3 欧式距离计算结果4 5 表4 4 欧式距离计算结果4 6 i v 浙江大学硕士学位论文 图目录 图目录 图1 1 利用运动捕获数据驱动虚拟角色2 图1 2 通过人脸运动操作w i n d o w s 系统鼠标4 图1 3 索尼公司h a n d y c a m 高清数码摄像机的脸部识别功能。5 图1 4 近红外摄像头拍摄的两个角度的人脸图像7 图1 5 原型系统工作流程图8 图2 1 基于h m m 的人脸表情识别系统结构示意图1 2 图2 2a u 6 + 1 2 + 2 5 1 4 图2 3f a p u 定义15 图2 4 表情帧序列之间的光流跟踪l6 图2 5g a b o r 小波表征人脸1 7 图2 6 由三维激光扫描仪获取三维人脸模型l8 图2 7 结构光扫描仪获取的三维人脸模型1 9 图2 8 通过两幅正交图片进行三维人脸重建2 0 图2 9 利用s f s 获得的莫扎特的三维人脸模型。2 l 图3 1 针孔成像模型2 6 图3 2 定标用的棋盘格2 8 图3 3 棋盘格上角点的位置2 8 图3 4 实验使用的近红外摄像头2 9 图3 5 近红外摄像头拍摄的两个角度的人脸图像3 0 图3 6 选取1 3 5 作为阈值对图3 5 进行图像处理的结果3 0 图3 7 选取1 4 0 作为阈值对图3 5 进行图像处理的结果3 1 图3 8 使用滚动条分别设置阈值为1 3 5 和1 4 0 3 2 图3 9 用于多视角三维人脸建模的极线几何示意图3 4 图3 1 0 在两幅图像中手工标定出匹配的对应点3 6 图3 1 l 运用极线几何约束进行特征点匹配3 6 图3 1 2 人脸部的3 1 个m a r k 点3 9 图3 1 3 三维显示结果4 0 图4 1 相机a 的j ：分布曲线4 2 图4 2 相机b 的万z 分布曲线4 2 图4 3 实验参照图像4 3 图4 4 像素阈值t 的选取一4 6 图4 5 中性人脸三维显示结果4 7 图4 6 叫喊的人脸三维显示结果4 7 图4 7 侧头微笑的人脸三维显示结果4 8 i i i 浙江大学研究生学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得逝婆盘堂或其他教育机构的学位或证书而使用过的材料。与我一 同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：杯搬 签字日期：妒o g 年占月日 学位论文版权使用授权书 本学位论文作者完全了解逝江盘鲎有权保留并向国家有关部门或机构送交本 论文的复印件和磁盘，允许论文被查阅和借阅。本人授权逝姿盘鲎可以将学位论文的 全部或部分内容编入有关数据库进行检索和传播，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 林孑乏 导师签名： 签字日期：硼o g 年6 月易日 签字日期： o 留年6 月6 日 浙江大学硕士学位论文第1 章绪论 第1 章绪论 1 1研究目的 计算机科学中，图形图像及其相关领域内专门针对人所进行的研究很多。例 如在图形学中，通过精细的三维几何建模和丰富的纹理贴图，可以使计算机合成 出的虚拟人物具有能与照片相媲美的真实感。而在计算机视觉和模式识别领域， 则致力于从静态图片或者动态视频中，自动识别出人的身份或者动作行为，并且 能够更进一步的获取到人体的运动数据，将其用于驱动虚拟的人或物体，能够让 这些虚拟角色在计算机动画中做出与人类真实动作相似的行为，从而产生逼真的 视觉效果。在上述的研究当中，人脸作为人体的一个具有特殊意义的部分，得到 很多学者们的特别关注。 1 1 1 人脸运动获取技术的出现及其研究意义 人脸是人体最具表达力的部分，具有个性化和多样化的特点。生活中我们通 过人脸来辨别身份，通过人脸来表达喜怒哀乐，人脸在我们平时的生活中起着举 足轻重的作用。由于人脸并不是千人一面，故个体的面部特征客观存在着差异，且 这种差异有时会相当明显，即使看起来非常相似的双胞胎，在某些部位也存在着 不同之处。 从古至今，对于人脸的描述和刻画一直得到人们的广泛关注。人脸所具有的 一些特殊性，使得不论是在图形学中合成具有真实感的虚拟人脸，还是在计算机 视觉中对人脸进行检测、识别都具有独特的困难之处：如在人脸的重建和合成 方面，由于人脸复杂的生理特征和几何特征。需要相当精细的模型才能达到逼真 的程度；而在人脸识别方面，表情变化问题始终是一个阻碍提高识别率的关键因 素，另外，人脸图像拍摄时的光照、色彩、拍摄角度等的不同都有可能造成数据 上出现很大差异。 这些困难使得计算机处理人脸成为一项极富挑战性的课题，也因此吸引了很 浙江大学硕士学位论文第l 章绪论 多学者对这一课题的关注。与入脸计算机处理相关的研究课题，有的已经有了大 规模的商业应用，有的有着广阔的应用前景。从应用领域而言，可以概括为如下 这几个方面： 1 ) 在娱乐业中，目前的计算机图形技术已经对人脸的重构、合成有了很成 熟的研究，并已广泛应用到构造高度真实感的虚拟角色中，在游戏和电 影中大量出现。在这些作品的制作过程当中，经常使用的一种手法是录 制真人动作乃至表情，再利用这些数据驱动虚拟角色，这样无须从头开 始制作虚拟角色的模型和动画，节省了大量成本。王玉顺等在【l l 中运用 一段运动捕获数据重新驱动了著名的蒙娜丽莎画像，生成了蒙娜丽莎的 各种三维表情( 图1 1 ) 。此外更有魅力的应用，可以实时的捕捉用户的动 作，并将其映射到虚拟场景中的角色上，在视频游戏及虚拟现实中可以 很大程度的提高用户的互动性。 图1 1 利用运动捕获数据驱动虚拟角色 2 浙江大学硕士学位论文第1 章绪论 2 ) 医学研究领域，通过人脸表情识别，心理学家可以根据病人表情变化的 统计数据开展人脸与表情运动的心理学研究。而人脸表情动画系统则可 以为设计心理学交互模型以及脸部外科手术的预测提供研究平台。 3 ) 在信息安全方面，通常登录一台计算机或者从a t m 机取款都需要用户输 入口令，但这样仅仅是判断了用户是否知道这个口令，而无从得知输入 口令的人是否真的应该被赋予相应的权限。当然通过指纹和虹膜分析可 以准确地判断用户身份，这样做的缺点是仍需要用户的充分合作。与此 相比，通过人脸的正面及侧面照片来识别用户身份，不仅无需用户的任 何操作，甚至可以不必让用户意识到这套识别系统的存在。如果这种识 别方式足够准确可靠，必定将会有广阔的应用前景。 4 ) 在日常安全方面，我们可将表情识别技术用于譬如核电站的管理和长途 汽车司机等着重强调安全的工作岗位。在岗者在实时视频中一旦出现疲 劳、磕睡的征兆，识别系统就能及时发出警报从而避免险情发生。 5 ) 人机交互领域，人们力图以智能的交互方式来取代传统上只能依赖键盘 鼠标这些输入设备操作计算机的情况。一方面通过人脸的重构、合成制 作逼真而又富有表情的虚拟人物对人的操作作出反馈，使得交互过程更 友好并具有趣味性。另一方面，计算机也可以识别用户的状态，例如检 测用户的表情，再来分析用户的情绪来作出不同的回应，使计算机程序 更加人性化。有些学者还尝试着跟踪人眼观察的位置，将眼睛注视作为 一种对计算机进行操作的方式。例女h j i l i nt u 和h a it a o 在【2 】中，就通过视 觉方法追踪人的脸部运动，并根据得到的脸部运动信息来操纵计算机鼠 标，成功的在微软公司的w i n d o w sx p 系统中进行了移动，单击和拖动等 鼠标操作( 图1 2 ) 。 浙江大学硕士学位论文第1 章绪论 图1 2 通过人脸运动操作w i n d o w s 系统鼠标 6 ) 在刑事及“反恐 领域，通过重建与合成技术，再现犯罪嫌疑分子人脸， 为案件侦破和追捕提供关键线索。近年来，基于三维的人脸识别技术发 展很快，而人脸的重建与合成在其中起着十分重要的作用。 7 ) 在远程教育领域，所有有过远程教育经历的老师普遍觉得很难把握学生 对课程的掌握程度。在正常的授课中，老师可以通过学生们的表情来得 知他们掌握的怎么样。因此如果能够提供一种在线表情识别器把学生们 的表情实时反馈给远程的教师，老师们就可以根据学生对课程的掌握程 度来做出相应的反应了。 8 ) 在线视频对话，通过系统对视频的处理，提取人物的表情信息并参数化， 进而将参数用于驱动远程客户端上的个性化数字人脸，从而达到低带宽 在线视频表情对话的效果。 9 ) 在日常生活中，目前市场上的许多主流数码相机和摄像机都已经具有了 脸部识别( f a c ed e t e c t i o n ) 的功能，即相机可通过识别画面中的眼睛、 嘴等特征信息，锁定画面中的人脸位置，并自动将人脸作为拍摄的主体， 设置准确的焦距和曝光量( 图1 3 ) 。即使画面中有多个人物时，脸部识别 4 浙江大学硕士学位论文第l 章绪论 功能也能够准确工作，挑选最主要的对象。当脸部识别功能开始工作的 时候，相机就会自动根据画面中人脸的位置和照度进行设置，确保人脸 的清晰和曝光准确，极大的提高了成像质量。 图1 3 索尼公司h a n d y c a m 高清数码摄像机的脸部识别功能 1 1 2 国内外研究现状 当前国际上一些著名的研究单位f 如卡耐基梅隆大学、华盛顿大学、伊力诺依 大学香槟分校、加州大学圣地亚哥分校、微软亚洲研究院) 都设立有专门进行人 脸图像处理研究的课题组，著名的国际会议如a c ms i g g r a p h ， i c c v ( i n t e m a t i o n a lc o n f e r e n c eo nc o m p u t e r s i o 小，c v p r ( i n t e m a t i o n a lc o n f e r e n c e o nc o m p u t e rv i s i o na n dp a r e mr e c o g n i t i o n ) 等，权威的国际期刊如p a m i ( i e e e t r a n s a c t i o n so np a t t e r na n a l y s i sa n dm a c h i n ei n t e l l i g e n c e ) 、c v i u ( c o m p u t e rv i s i o n a n di m a g eu n d e r s t a n d i n g ) 、i j c v ( i n t e m a t i o n a lj o u r n a lo fc o m p u t e rv i s i o n ) 、i e e e t r a n s a c t i o n s o n so nv i s u a l i z a t i o na n dc o m p u t e rg r a p h i c s 等为快速地促进相关成果 交流提供了有效平台。 国内在这方面的研究起步较晚，但发展较为迅速。浙江大学c a d & c g 国家 重点实验室在曲线曲面建模、真实感图形绘制、计算机动画等方面取得了较大进 浙江大学硕士学位论文第l 章绪论 展；清华大学利用三角样条曲面进行了面部建模和动画研究；中国科技大学从正面 和侧面两幅图像出发合成了三维人脸模型并制作了简单的面部表情动画；中国科 学院自动化研究所研制出了基于激光扫描的三维数据获取方法。 要对人脸运动数据进行准确的获取，首先需要建立逼真的三维人脸模型。纵 观当前国内外关于三维真实感人脸建模的研究，按照获取方式不同，可以分为基 于扫描仪的人脸建模和基于图像进行人脸重建两类方法。基于扫描仪得到的模型 分辨率高，真实感强，但需要购买较为昂贵的扫描设备如三维激光扫描仪、结构 光扫描仪等，另外要对扫描数据进行去噪、缝合操作等。基于图像进行人脸重建 又可以细分为三种方法，一种是通过对齐不同角度的人脸图像，利用特征点之间 的位置关系和通用模型的变形进行重建：第二种则是采用s h a p ef r o ms h a d i n g ( 基 于阴影的形状恢复) 技术进行基于单幅图像的人脸三维建模：第三种则是基于相机 参数和多视角图像精确恢复特征点三维坐标，并进行变分操作。第一种方法一般 要求输入图像满足预置条件( 如正交图像等) ，并有一部分手工交互；第二种方法对 于光照，材质等变化敏感；第三种方法则要求对特征点的跟踪要准确，受摄像器 材影响较大。 1 1 3 目前存在的问题及本文创新点 从上节可以知道，目前常见的三维人脸建模方法均各有利弊。基于扫描仪的 方法虽然能得到比较理想的效果，但是相关设备价格比较昂贵，实验成本太高。 而基于图像的方法得到的模型一般较为粗糙，真实感较差。但通过纹理映射可以 弥补这些缺点，取得很高的真实感效果，井且由于其顶点数较少，容易操作，实 现人脸动画开销小，因此，是目前较为常用的方法。 鉴于此，本文采用上述基于图像方法中的第三类方法进行三维人脸运动的重 建和恢复。但是此类方法要求对特征点的跟踪要准确，受摄像器材影响较大。为 了尝试解决这个技术难题，本文选取成本较低，相对易于获得的近红外摄像机作 为人脸部运动的获取装置，并根据近红外图像的特点，运用视觉的方法对相机拍 摄的图像进行处理，以期能够达到对特征点准确的提取和跟踪。 6 浙江大学硕士学位论文第1 章绪论 1 2 本文的主要工作 论文的工作是围绕“国家科技支撑计划”项目中“动漫素材获取技术与装置” 这个课题展开的。论文在深入分析近红外相机拍摄的人脸图像特性的基础上，研 究了多种人脸特征检测和三维重建的算法，并最终设计完成了一套双相机人脸运 动捕捉和三维重建的原型系统。该系统实现了基于图像基础上双相机定标，人脸 m a r k 点识别提取以及人脸三维信息重建和显示等功能。 1 2 1 实验环境及实验装置 论文中所有实验均是在没有其它光源的暗室中进行的。在人脸部贴上一定 数量的由高度反光材料制成的m a r k 点，然后采用两个监视用的近红外摄像头从 不同角度同时进行摄像。由于室内只有近红外光源，人脸部m a r k 点接收到并反 射回去的全都是近红外光线，因此在摄像头拍摄的图像中，m a r k 点会特别的明亮， 而人脸其它部位在图像中的像素值则都会比较低( 见图1 4 ) 。 图1 4 近红外摄像头拍摄的两个角度的人脸图像 1 2 2 人脸部m a r k 点的自动提取和匹配 人脸特征检测是指在图片中确定人脸的位置及大小之后，然后检测出反映人 脸主要特征的信息来进行人脸验证、人脸识别、表情识别等，它作为人脸信息处 理的一个重要研究内容，是当前计算机视觉与模式识别领域的研究热点之一，它在 浙江大学硕士学位论文 第l 章绪论 实际生活中有着广泛的应用前景。 本文中，反映人脸主要特征的信息即是人脸部的m a r k 点。所以能否在单幅 图像中精确的定位人脸部的m a r k 点，以及在两幅图像之间准确的匹配对应的 m a r k 点成为实验成功的关键。 对于单幅图像中m a r k 点的定位，我们利用m a r k 点的几何特性，通过对于图 像中高亮度区域的边缘点检测和几何形状分析，来判断某个高亮度区域是否为 m a r k 点。 而对于两幅图像之间对应m a r k 点的匹配，我们则是根据极线几何学的相关 理论，先分别计算出待匹配m a r k 点在另一幅图像中的对极线，再根据极线约束 条件进行判断。 1 2 3 人脸运动捕捉系统的设计与开发 论文设计并最终开发了一套基于近红外摄像头的人脸特征提取和三维重建 原型系统。该系统实现了基于图像基础上的双相机定标，人脸m a r k 点识别提取 以及人脸三维信息重建和显示等功能。 系统工作的流程如图1 5 所示 图1 5 原型系统工作流程图 8 浙江大学硕士学位论文第1 章绪论 1 3 本文的组织结构 本文的后续章节，将作如下安排： 第二章，人脸表情特征提取和三维人脸重建技术回顾。系统地归纳和总结己 有的人脸表情特征提取和三维人脸重建技术，对它们的优缺点进行描述和比较。 第三章，介绍本文提出的基于近红外相机的人脸特征提取和三维重建系统的 总框架，包括其中关键算法和各个子模块的作用。 第四章，给出了具体的实验结果图，并着重分析了方差阈值，基本矩阵的计 算，像素阈值等重要因素对实验结果的影响。 第五章，对本文工作做出总结，指出其中的不足之处并在此基础上给出未来 研究工作的展望。 9 浙江大学硕士学位论文第2 章人脸表情特征提取和三维重建技术回顾 第2 章人脸表情特征提取和三维重建技术回顾 2 1人脸表情特征提取技术回顾 人脸作为人体中最复杂的部位之一，在传递信息和情绪状态方面起着至关重 要的作用。人们对于人脸表情的研究，可以追溯到1 9 世纪7 0 年代，生物学家达 尔文在其著作人类和动物的表情一书中，就对人类面部表情与动物面部表情 进行了研究和比较。1 0 0 年后，随着计算机性能的提高以及人工智能技术的发展， 2 0 世纪7 0 年代以来，人们展开了对人脸表情空间、人脸表情建模以及自动识别 人脸表情的研究，e k m a n 等【3 l 首次提出人的情绪大体可以分为六种，并且每一种 都有与其对应的人脸表情。一般称这六种情绪为“基本情绪 【4 】，即，高兴、沮 丧、害怕、厌恶、吃惊以及生气。相应地，人们将人脸表情分为这六种“基本表 情。后续的很多有关研究大体也都是按照这六种“基本表情 的假设展开的。 后来e k m a n 又为丰富和完善该理论做了进一步研究【5 - 8 1 ，从而确立了六种基本表 情理论的有效性和可行性。它们的具体特点见表2 1 ： 表2 1 六种基本表情的的具体特征 表 情 额头，眉毛眼睛脸的下半部 1 )眼睛睁大，上眼皮抬 惊 1 ) 眉毛抬起，变高变弯高，下眼皮下落、下颌下落，嘴张开，唇 奇 2 )眉毛下的皮肤被拉伸 2 ) 眼白可能在瞳孔的和齿分开，但嘴部不紧 3 )皱纹可能横跨额头 上边和或下边露出张，也不拉伸 来 恐 1 ) 眉毛抬起并皱在一起嘴张，嘴唇或轻微紧张， 惧 2 ) 额头的皱纹只集中在中 上眼睑抬起，下眼皮拉紧向后拉；或拉长，同时 部，而不横跨整个额头向后拉 1 0 浙江大学硕士学位论文第2 章人脸表情特征提取和三维重建技术回顾 2 1 1 面部表情特征提取的研究现状 随着计算机科学的飞速发展和计算机对人脸处理技术( 包括人脸检测和人脸 识别) 的不断完善，利用计算机进行面部表情分析也就成为可能和一种必然的发 展趋势。国内外很多机构都在进行这方面的研究，美国的麻省理工学院、卡耐基 梅隆大学机器人研究所、日本的东京大学、国际电信技术研究所( a t r ) 等的贡献 尤为突出，我国的清华大学、浙江大学、哈尔滨工业大学、中国科技大学、中科 院自动化研究所等均作了一定的研究工作。近2 0 年来，有关面部表情特征提取 的高级别文章越来越多，方法层出不穷。按照提取特征时所用的特征不同分类， 可以将这些方法分成三类【9 1 ：基于灰度分布特征的方法、基于运动特征的方法和 基于频率特征的方法。基于灰度分布的典型方法主要有：主成分分析( p c a ) 、独 立成分分析( i c a ) 、隐马尔可夫模型法( h m m ) 、局部特征分析法( l f a ) 等；基于运 动特征的典型方法有：差分图像法，脸部运动单元分析法( f a c s ) 、m p e g - - 4 中 的脸部运动参数法( f a p ) 、特征点跟踪法、光流法( o p t i c a lf l o w ) 等；基于频率的典 型方法有g a b o r 小波法等。 2 1 2 几种主流方法的简要介绍 1 ) 主成分分析( p c a ) 方法 p c a 基于k l 正交变换，是一种无监督的线性特征提取方法。其基本原理是： 假设人脸处于低维线性空间，且不同表情具有可分性，将一组高维训练图像 k - l 正交变换，生成一组新的正交基，以消除原有向量间的相关性。然后提 取出该正交基中对应较大特征值的部分特征向量，从而生成低维的表情特征 空间，同时保留原高维空间的主要成分分量，它的优点是最大化的保留了原 始数据的差异，缺点是当样本类间离散度增大的同时，样本类内离散度也在 增大【9 】。由于p c a 只考虑到图像数据当中的二阶统计信息，并未利用高阶统 计信息，b a r t l e t t 于1 9 9 8 年提出了基于独立成分分析i c a ( i n d e p e n d e n t c o m p o n e n ta n a l y s i s ) 的识别方法【1 0 1 。i c a 方法是基于信号的高阶统计特性的 分析方法，经i c a 分解出的各个信号分量是相互独立的。徐正光【l l 】介绍了i c a 浙江大学硕士学位论文 第2 章人脸表情特征提取和三维重建技术回顾 在表情识别中的应用，并与p c a 进行了对比。此外k y u n g i mb a c k 等对p c a 和i c a 做了一个比较，认为在特定的判别距离情况下，p c a 的结果要比i c a 的效果好。 2 1 隐马尔科夫模型( h m m ) 法 h m m 是在m a r k o v 链的基础上发展起来的。作为信号的一种统计模型，h m m 具有十分健壮的数学结构，已经在语音信号处理领域取得了很大的成功。1 9 9 5 年s a k a g u c h i 首先将h m m 应用到图像序列，实现人脸表情的特征提取和识 别。将h m m 应用到人脸特征提取和表情识别中，有3 个问题需要解决【9 】： 首先是评估问题，怎样由观察的面部表情序列及模型去计算观察面部表情序 列的概率，这对以后的表情识别的算法有很大的影响。其次是如何选用最佳 准则来决定状态的转移。最后是如何根据观察的面部表情序列来计算给定的 模型参数，以使得本次观察序列对该模型具有最大的概率，这涉及到此h m m 对各种表情描述的准确程度。图2 1 为尹星云等【1 2 1 用h m m 模型设计的人脸 表情识别系统示意图。 寅爱i - i m m 轰精( 6 ) 垂虹m 蹦 图2 1 基于h m m 的人脸表情识别系统结构示意图 1 2 浙江大学硕士学位论文 第2 章人脸表情特征提取和三维重建技术回顾 3 ) 局部特征分析法( l f a ) l f a 方法是利用表情图像的先验结构和灰度分布知识，找出人脸图像特征点 的一种方法。它的优点是能够很快的找到特定的特征点，不受外部条件( 如 光照等) 的干扰。l f a 定义了一系列的局部映射核函数来达到与输入图像序 列在二阶统计上的最佳匹配【9 1 。核函数的定义是至关重要的，如果根据主成 分来定义核，可以克服p c a 分析后续分析困难的缺点。 4 1 差分图像法 差分图像法的基本思想是将视频序列中相邻的两帧作差分运算，即将对应像 素相减，等于零的点代表“不变 区域，而非零点代表“变化 区域。当用 于表情分析时，通常对被测帧( 含有表情的人脸图像) 与标准帧( 相同背景下中 性表情的人脸图像) 进行差分运算，来检测图像序列中处于极大状态时表情对 应的关键帧，因为此时的表情信息最为丰富【1 3 1 。m a 等人【1 4 1 将含表情的脸和 中性表情的脸相减，然后对差值图像进行离散余弦变换( d c t ) ，最后以低阶 离散余弦变换系数构建特征向量。 5 ) 脸部运动单元分析法( f a c s ) f a c s 是最早研究面部表情采用的方法之一。很多的方法都是以它为基础的。 美国心理学家p a u le k m a n 和f r i e s e n 于1 9 7 8 年开发了人脸动作编码系统 ( f a c i a la c t i o nc o d i n gs y s t e m ，f a c s ) 9 1 来描述面部表情和研究人类的认知行 为。f a c s 对人脸的运动进行编码，包含了对面部肌肉、下巴和舌头动作的 描述，值得一提的是，f a c s 中还包含了对于皱纹的描述，共包含了4 4 个基 本动作单元( a u ) ，不同a u 的组合会产生不同的表情，比如a u 6 + 1 2 + 2 5 1 1 5 】 ( a u 6 脸颊升高，a u l 2 表示嘴角倾斜，a u 2 5 表示眼角皱纹的有无出现) 构成微笑表情( 如图2 2 ) 。这种方法很直观，易于为人理解，但是由于在实 施过程中需要专家的大量时间来人工标记录像带上的特征运动点，并且需要 1 0 0 多个小时的训练才能得到每段录像带的满意结果。在这种情况下，系统 的编码速度、可靠性、精确性和实时性就成为其广泛应用的阻碍。另外f a c s 是一种基于外观的模型，它反映了脸部肌肉拉动所造成的人脸变形，但对于 浙江大学硕士学位论文第2 章人脸表情特征提取和三维重建技术回顾 肌肉如何作用则没有涉及，因此也就无法依据f a c s 构造出细微逼真的人脸 表情。 图2 2a u 6 + 1 2 + 2 5 6 ) m p e g 一4 中的脸部运动参数法( f a p ) f a p 是f a c s 的一个扩展，它拥有2 个高层参数和6 6 个底层参数，高层参数 指出是“表情”( e x p r e s s i o n ) 还是“视位”( v i s e m e ) 1 1 6 】。“视位 是对应人 发音时嘴部变形的动画参数，“表情”对应于人脸做不同表情时面部变形的 动画参数，目前共定义了6 种最基本的表情，分别是高兴，愤怒，害怕，厌 恶，悲伤和惊讶。其他6 6 个底层参数一般都是和人脸的某一个局部区域的 运动有关。另外，通过f a p u ( f a c i a la n i m a t i o np a r a m e t e r su n i t s ) 来定义不 同f a p 参数的位移大小( 如图2 3 ) b 6 】。f a p 通过编码方式驱动人脸表情， 该编码方式具有较好的压缩功能，非常适合用于低比特率的表情动画参数传 输。事实上，f a p 是分层实现的，6 8 个参数都是分层次进行解码量化，最后 形成对三维人脸网格的顶点操作。尽管f a p 扩展了f a c s ，但由于仍然不能 描述人脸的细微变化，所以生成的人脸表情仍然存在不自然、不逼真的问题。 1 4 浙江大学硕士学位论文第2 章人脸表情特征提取和三维重建技术回顾 注释 f a p u 虹膜直径( 规定为中性人脸中i r i s d = l i u s d o 上下眼皮之间的距离) 1 0 2 4 缓裂 眼球间距 e s = e s o 1 0 2 4 眼睛鼻子间距 e n s = e n s 0 1 0 2 4 l 一、弋! 棼一 鼻子嘴唇间距 m n s = m n s o 1 0 2 4 斟m n j ，y s 口 产、 ， 嘴唇宽度m w = m w 0 1 0 2 4 秽 角度单位 a u ：1 0 r a d i 觚 图2 3f a p u 定义 7 ) 特征点跟踪法 特征点跟踪法顾名思义是选择人脸部的显著特征点来进行运动估计。为了防 止在跟踪过程中丢失特征点，特征点一般都选取在脸部的永久特征上。这种 方法只根据感兴趣的特征点来分析表情，而不必理会背景等无关信息，减少 了运算量。但由于只提取了人脸的部分特征点，而忽略了其它的一些脸部活 动，可能会丢失有用信息【1 3 】。此外，依靠计算机程序自动标记特征点很难， 基本都是依靠人工标记。t i a n 等人1 1 7 】提出了一种不同的元素模型，其中嘴巴、 眼睛、眉毛和颧骨被用作特征点跟踪，根据隐藏的面部特征的变形来获得人 脸模型的轮廓。o t s u k a 和o h y a 1 8 】提出了一种特征点跟踪法，其特征点不是 由专家手工标记的，而是在给定的图像序列中的第一帧自动标记的，这是通 过从光照分布的局部极值点中获取潜在面部特征点来实现的。 8 ) 光流( o p t i c a lf l o w ) 法 光流是运动特征提取法中的一种，所谓光流是指亮度模式引起的表观运动， 理想的情况是这种表观运动反映了实际的运动，基于光流的算法包括：基于梯 度的光流计算法，基于区域匹配的光流计算方法，基于频率域的方法。光流 浙江大学硕士学位论文第2 章人脸表情特征提取和三维重建技术回顾 场在运动估计、运动分割、物体结构的恢复等领域得到了广泛的应用，也是 人脸表情特征提取的一种非常有效的算法。h o r n 和s c h u n k t l 9 】最早提出来基 于梯度的光流场计算法。余棉水【2 0 l 等利用光流技术对人脸表情图像序列中的 特征点进行跟踪，并提取特征向量。图2 4 演示了在表情帧序列之间进行的 光流跟踪【1 5 1 。用光流特征作为特征向量，对光照均匀的图像序列鲁棒性较强。 只要光照在同一组序列中强度不变，提取的特征就是稳定的，解决了图像处 理比较敏感的问题。光流法的缺点是：受光照不均匀和脸部非刚性运动等因素 影响特征提取结果，且计算量比较大，不太适合实时处理1 1 3 】。 图2 4 表情帧序列之间的光流跟踪 9 ) g a b o r 小波法 近来，有不少人对g a b o r 小波进行深入的研究，取得了很优异的识别结果。 g a b o r 小波滤波器是一个由二维高斯函数衍生出的复数域正旋曲线函数，相 当于一组带通滤波器，其方向、基频带宽及中心频率均可以调节，不同参数 的g a b o r 滤波器能够捕捉图像中对应于不同的空间频率、空间位置以及方向 信息，这些使得其对于亮度和人脸姿态的变化不敏感。m i c h a e lj l y o n s 等人 1 6 浙江大学硕士学位论文第2 章人脸表情特征提取和三维重建技术回顾 对图像进行二维小波变换，对变换后的图像进行自动人脸网格标定或者人工 人脸网格标定，再对标定区域的图像提取特征矢量1 9 1 。叶敬福【2 l 】提出了基于 g a b o r 小波的弹性图匹配识别，有效地提取了与表情变化有关的特征向量且 能屏蔽光照变化及个人特征差异的影响，做到与人无关的表情特征提取。图 2 5 为使用g a b o r 小波进行表征人脸的示意图1 。 囵圈 囊匿j 匦囹 图2 5g a b o r d 、波表征人脸 2 2人脸三维重建技术回顾 人脸建模是真实感人脸动画的必要条件。三维真实感人脸建模的方法主要可 以分为两类【1 5 1 ：基于物理设备的人脸建模和基于图像的人脸重建。下面分别对这 两方面的内容进行回顾。 2 2 1 基于扫描设备的人脸三维重建 目前，用于直接获取人脸模型的扫描仪主要有两类，一类是三维激光扫描仪 ( c y b e r w a r e 2 3 】) ，还有一类是结构光扫描仪。 浙江大学硕士学位论文第2 章人脸表情特征提取和三维重建技术回顾 1 ) 三维激光扫描仪 激光扫描是获取距离数据的一个准确有效的方法，可以同时获得大量的三维 数据和纹理信息，获取的数据精度高速度快，但是要求高性能的计算机和高价格 的硬件设备。目前，国际上已经有多家研究机构研制开发了基于激光扫描的三维 数据获取装置并进行科学研究。文献阱】中采用激光扫描仪对真实人脸进行扫描获 取三维人脸模型，但因为扫描所得数据存在重复和叠加，需要进行进一步修正才 能使用。另一个存在的问题是扫描需要时间较长，对于人脸这种易于变化的非刚 性物体来说，脸部肌肉的动作会导致扫描失真【1 6 1 。yl e e 等【2 5 1 又进行了进一步改 进，采用一个通用人脸网格对扫描所得的结构化人脸网格进行匹配，达到去噪和 实现配准的效果( 如图2 6 ) ，但付出的代价的是后期处理的工作量增加，使时间 开销加大。 ( a ) 原始数据( b ) 柱面通用人脸网格( c ) 匹配后的通用人脸网格 图2 6 由三维激光扫描仪获取三维人脸模型 2 ) 结构光扫描仪 另外一种常用的扫描设备是结构光扫描仪( s t r u c t u r e dl i g h ts c a n n e r ) ，结构光 扫描仪是运用结构光投影仪与摄像机之间具有的几何关系，将二维像素点转换为 三维坐标。结构光可