（模式识别与智能系统专业论文）三维人脸识别算法的研究.pdf

西南科技大学硕士研究生学位论文第1 页 摘要 人脸识别作为生物识别领域的研究热点，在二维人脸识别方面取 得了一定的成果；然而由于光照、姿态、表情变化的影响，距离实际 的应用还有很大的差距。为了解决上述问题，在三维人脸识别方面大 量的研究方法涌现出来，如三维变形模型方法，光照椎方法，支持向 量机方法，对称s f s 法等，这些方法都在一些方面对三维人脸识别作 了深入的研究，然而目前为止，三维人脸识别相关的应用产品还未见 雏形。 本文在较深入的二维人脸识别方法的研究基础上，提出了离散模 板精匹配的实现思路，并验证其可行性，试验结果较为满意；对二维 人脸识别方法以及三维人脸识别方法进行了较全面的综述，尤其在三 维人脸识别方面，对三维变形模型方法进行较系统的剖析，对三维人 脸识别中的一些核心算法，如光流算法，主动表观模型算法，进行分 析研究及试验验证，取得了较为满意的结果，对三维点云数据进行特 征识别分析；并搭建了三维人脸识别所需的研究平台。 通过本论文的工作，能够为人脸识别的相关研究提供一些有益的 启发，也为实验室的后期工作提供一个良好的平台。 关键词：离散模板匹配主动表观模型算法光流算法 三维形变模型 西南科技大学硕士研究生学位论文第1 i 页 abstrac t f a c er e c o g n i t i o ni sak e yp a r to fb i o l o g yr e c o g n i t i o na r e a i n2 d f a c er e c o g n i t i o n ， m a n yg r e a ta c h i e v e m e n t sh a v ea c q u i r e d h o w e v e r ， u n d e rt h ei n f l u e n c eo fi l l u m i n a t i o n ， p o s e ，e m o t i o n ，t h e r eh a sab i g d i s t a n c et oa c h i e v er e a l a p p l i c a t i o n i no r d e rt os o l v et h ea b o v e p r o b l e m s ，i o t so f3 df a c er e c o g n i t i o nm e t h o d sh a v eb e e np r e s e n t e d ， s u c ha st h r e e - d i m e n s i o n a l m o r p h a b l em o d e l ， i l l u m i n a t i o nc o n e s ， s u p p o r tv e c t o rm a c h i n e ，s y m m e t r i cs h a p ef r o ms h a d i n g a l lt h e s e m e t h o d sh a v et h e i ro w nc h a r a c t e r si ns o m e a s p e c t so f3 d f a c e r e c o g n i t i o na r e a u n t i ln o w ，n or e l a t i v ep r o d u c ta r i s e s o nt h eb a s i co fa n a l y s i sm a n y2 df a c ef e c o g n i t i o nm e t h o d sf u l l y ， d i s c r e t e t e m p l a t em a t c h i n gm e t h o di sp r e s e n t e da n dt e s t e d i n m y e x p e r i m e n t ，a n dab e t t e rc o n s e q u e n c eh a sb e e na c q u i r e d ； ac o m p l e t e d e p i c ta n dc o m p a r ea b o u t2 da n d3 d ，h a v eb e e nd o n e ，e s p e c i a l l yi n3 d f a c er e c o g n i t i o nm e t h o d s ，ad e e pa n ds y s t e m a t i cu n d e r s t a n d i n ga b o u t 3d m mh a v ea l s ob e e nm a d e ；s e v e r a li m p o r t a n tf a c e f e c o g n i t i o n a l g o r i t h m sh a v eb e e na n a l y s i sa n dd o n ec o r r e s p o n d e n c ee x p e r i m e n t st o t e s ta n dm a k eb e t t e r c o n s e q u e n c e s ， s u c ha so p t i c a lf l o wa l g o r i t h m ， a c t i v ea p p e a r a n c em o d e la l g o r i t h m ，s o m ec h a r a c t e ra n a l y s i sh a v ea l s o b e e nd o n eo n3 dc l o u d so fp o i n t s ；a d d i t i o n a l l y ，3 dr e s e a r c hp l a t f b r m h a sb e e nf i n i s h e d t h r o u g ht h ea b o v ew o r k ，s o m es i g n i f i c a n ti d e a sm a yb ea c q u i r e d f o mt h ep a p e r ，a n dap r a c t i c ep l a t f 6 r mw i l lb ep r o v i d e df b rt h ef u t u r e r e s e a r c hi n0 u rl a b o r a t o r v k e yw o r d s ：d i s c r e t e t e m p l a t em a t c h i n g ；a a ma l g o r i t h m ； o p t i c a lf l o wa l g o r i t h m ； 3 dm o r p h a b l em o d e l 独创性声明 本人声明所呈交的论文是我个人在导师指导下( 或我个人) 进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得西南科技大 学或其它教育机构的学位或证书而使用过的材料。与我同工作的同志对本研究 所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 签名： 互入日期：瑚参移场 关于论文使用和授权的说明 本人完全了解西南科技大学有关保留、使用学位论文的规定，即：学校有权 保留学位论文的复印件，允许该论文被查阅和借阅；学校可以公布该论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：互火髟新虢柳日期：渺乃馅 西南科技大学硕士研究生学位论文第1 页 1 绪论 1 1 研究目的和背景 人脸识别的研究最早在国外兴起，较著名的机构有：美国麻省理工 学院媒体实验室( m i tm e d i al a b ) 、人工智能实验室( a il a b ) 、南加州大 学( u s c ) 、c m u 卡内基一梅隆机器人研究及交互系统实验室及马里兰大学 ( u m d ) 等。国内在9 0 年代后期，有相当一批单位如清华大学计算机系、自 动化系、电子系以及哈尔滨工业大学，南京大学，中科院自动化所，上海交 通大学图像处理与模式识别研究所，中山大学等都在人脸识别方面做了卓有 成效的工作。到目前为止，在人脸识别方面己申请的专利有4 0 项左右，如 基于眉毛的身份鉴别，基于面部认证的确认系统等等；在e i 上检索到的相 关论文达2 0 0 0 余篇，而且绝大部分集中在2 0 0 0 年以后，而且，在这些论文 中，又以二维人脸识别相关的算法及成果为主。由此可见，三维人脸是一个 具有极大的发展空间的研究领域，当然，也存在着极大的挑战性。 由于人们安全意识的不断增强，社会上各种恐怖组织的威胁，尤其是 9 1 l 事件以后，为确保高安全性，各国对身份鉴别提出了更高的要求，而传 统的指纹识别技术已经不能满足人们在身份识别、高安全性等方面的要求。 鉴于这种情况，人脸识别技术得到了发展的最有利时机。另外，从学科的发 展而言，人脸识别技术涉及模式识别、计算机视觉、数字图象处理、心理学、 人工智能、人机交互、认知科学、神经计算、生理学等多学科提供了一个良 好的具体问题，有利于构建这些学科领域的基础试验平台，并用于尝试新方 法、验证新理论、解释新现象。人脸识别问题的深入研究，有利于极大的促 进这些学科的成熟与发展。 作为生物识别技术的人脸识别具有巨大的应用前景。身份识别与验证是 人类日常生活中基本的活动之一，尽管是无意识的，我们每天都要对很多人 的身份进行判别。而人脸识别与其它识别方法相比较，具有主动性、非侵犯 性、不遗忘和用户友好等优点。二维人脸发展相对较早较快，大量的研究工 作者纷纷涌向该领域，也正是随着人们研究的不断深入，逐渐发现在二维人 脸识别领域中，有一些在二维环境下无法解决的人脸识别瓶颈，如易受到光 照、姿态、表情、年龄的影响以及人脸三维信息的大量丢失等。这些就直接 西南科技大学硕士研究生学位论文第2 页 导致了后续的研究工作是在信息不完整的情况下进行的，以至于目前所有的 二维人脸识别方法都没有达到比较理想的识别率，也没有以人脸识别的独立 技术做成并投入使用的人脸识别产品。为此，三维人脸识别技术的出现，正 是基于弥补二维人脸识别技术在信息量少、识别率低、易受到光照、姿态、 表情的影响等方面的不足而发展起来的。鉴于二维人脸识别的局限，三维信 息能更准确的描述人脸的细节特征，提取出某些鲁棒性强，细节信息丰富的 人脸特征来作为识别的依据。人脸识别除了身份识别方面的应用，基于三维 数据的人脸识别方法以及所积累的经验还将为医学研究和实践提供重要的 研究信息，相信还会有更多未知的领域需要三维人脸识别的发展。 1 2 人脸识别的问题描述 人类似乎具有“与生俱来”的人脸识别能力，赋予计算机同样的能力是 人类的梦想之一，这就是所谓的“自动人脸识别 ( a u t o m a t i cf a c e r e c o g n i t i o n ，以下简称a f r ) 研究。如果我们把照相机、摄像机、照片扫描 仪等看作计算机的“眼睛”，数字图像可以看作计算机观察到的“影像”， 简单地说，a f r 研究试图赋予计算机根据其所“看到”的面部照片来判断人 物身份的能力。广义的讲，这种识别能力包括以下不同功能的任务： ( 1 ) 人脸检测与跟踪 人脸检测任务要求判断计算机的“眼睛 观察到的“影像”中是否存在 人脸。如果存在，需要同时给出其在图像中的坐标位置、人脸区域大小等信 息。而人脸跟踪则需要进一步输出所检测到的人脸位置、大小等状态随时间 的连续变化情况。 ( 2 ) 面部特征检测与提取 这一任务既要求确定面部图像中眼睛、鼻子、嘴巴等器官的位置，还要 求对这些器官及其面部轮廓的形状信息做出描述。 ( 3 ) 人脸属性分类 根据面部特征检测与提取的结果，结合面部图像中的亮度分布信息，对 检测到的人脸的性别、表情、种族、年龄等属性做出判断。 ( 4 ) 基于人脸图像比对的身份识别 即通常意义上的人脸识别问题。通过将输入人脸图像与人脸数据库中的 西南科技大学硕士研究生学位论文第3 页 所有已知原型人脸图像计算相似度并对其排序来给出输入人脸的身份信息。 这包括两类识别问题：一类是无拒识的闭集( c l o s es e t ) 人脸识别问题：即 假定输入的人脸一定是人脸库中的某个个体；另一类是有拒识的开集( o p e n s e t ) 识别，即首先要对输入人脸是否在已知人脸库中做出判断，如果是，则 给出其身份。 ( 5 ) 基于人脸图像比对的身份验证 即通常意义上的人脸确认问题。系统在输入人脸图像的同时输入一个用 户宣称的该人脸的身份信息，系统要对该输入人脸图像的身份与宣称的身份 是否相符作出判断。在这几种不同的功能中，尤其需要注意的是识别问题与 验证问题的区别。简单地，可以认为识别是一个多类分类问题，而验证则通 常是一个二类判别问题。但其中涉及的关键问题是一致的，多数技术方法是 通用的。 1 3 人脸作为生物特征识别方法的优势与不足 如前所述，可供选用的生物特征识别手段有很多种，但他们在身份鉴别 方面的安全性、可靠性等性能上是各有千秋的。其中，人脸识别是人类用来 互相识别的最重要的方法。 1 3 1 人脸识别的技术优势 与其它生物特征识别技术相比，人脸识别在可用性方面具有独到的技术 优势，这主要体现在： ( 1 ) 可以隐蔽操作，尤其适用于安全监控 这一点特别适用于解决重要的安全问题、罪犯监控与网上抓逃等应用， 这是指纹、虹膜、视网膜等其他人体生物特征识别技术不能比拟的。 ( 2 ) 非接触式采集，没有侵犯性，容易被接受 因此，不会对用户造成生理上的伤害，另外也比较符合一般用户的习惯， 容易被大多数的用户接受。 ( 3 ) 具有方便、快捷、强大的事后追踪能力 西南科技大学硕士研究生学位论文第4 页 基于面像的身份认证系统可以在事件发生的同时记录并保存当事人的 面像，从而可以确保系统具有良好的事后追踪能力。例如，用于考勤系统时 候，管理人员就可以方便的对代打卡进行事后监控和追踪；这是指纹、虹膜 等生物特征所不具有的性质。 ( 4 ) 图像采集设备成本低 目前，中低档的u s bc c d c m o s 摄像头价格已经非常低廉，基本成为标 准的外设，极大的扩展了其实用空间；另外，数码相机、数码摄像机和照片 扫描仪等摄像设备在普通家庭的日益普及进一步增加了其可用性。 ( 5 ) 更符合人类的识别习惯，可交互性强 例如，对于指纹、虹膜等识别系统，一般用户对识别往往是无能为力的， 而对人脸来说，授权用户的交互和配合可以大大提高系统的可靠性和实用 性。 1 3 2 人脸识别的弱点 然而，人脸作为生物特征识别技术也有其固有的缺陷，这主要表现在： ( 1 ) 人脸特征稳定性较差 尽管面部通常不会发生根本性的变化，但人脸是有极强可塑性的三维柔 性皮肤表面，会随着表情、年龄等的变化而发生改变，皮肤的特性也会随着 年龄、化妆乃至整容、意外伤害等发生很大变化。 ( 2 ) 可靠性、安全性较低 尽管不同个体的人脸各不相同，但人类的面孔总体是相似的，而且地球 上人口如此众多，以致很多人的面孔之间的差别是非常微妙的，技术上实现 安全可靠的认证是有相当难度的。 ( 3 ) 图像采集受各种外界条件影响很大，因此识别性能偏低， 图像的摄制过程决定了人脸图像识别系统必须面对不同的光照条件、视 角、距离变化等非常困难的视觉问题，这些成像因素都会极大影响人脸图像 的表观，从而使得识别性能不够稳定；这些缺点使得人脸识别成为一个非常 困难的挑战性课题，尤其是在用户不配合、非理想采集条件下的人脸识别问 题，更成为目前的热点问题。目前，世界上最好的人脸识别系统也只能在用 户比较配合、采集条件比较理想的情况才可以基本满足一般应用的要求。当 然，随着技术的进步，相信这些问题也应该可以逐步解决，从而使得a f r 技 西南科技大学硕士研究生学位论文第5 页 术能够更好的满足公众的期望。 表1 1 人脸识别典型应用 t a b l el 1t y p i c a la p p l i c a t i o n so ff a c er e c o g n i t i o n 1 4 论文的结构组织 本文选题旨在对当前三维人脸识别方法进行较全面系统的理解，为今后 的研究工作奠定基础，本论文完成的工作主要有以下几个方面： 西南科技大学硕士研究生学位论文第6 页 在较深入详细的二维人脸识别方法的研究基础上，提出了离散模板精匹 配的实现思路，并验证其可行性。 对二维人脸识别方法以及三维人脸识别方法进行了较全面的综述，对各 种方法的适用性作了适当的分析，尤其在三维人脸识别中，对三维变形模型 ( 3 d m m ) 方法进行较系统的分析，对研究中的可能遇到的问题进行的较全面 的解答，对光流算法，主动表观模型算法进行较深入的研究，并对三维点云 数据进行特征分析。 搭建了三维人脸识别所需的研究平台，为后续工作奠定基础。 具体安排如下： 第一章是绪论部分，对人脸识别的研究背景以及这项研究的优势和存在 的困难进行了总结分析；第二章是二维人脸识别方法的研究综述，并对标准 二维人脸图像库进行介绍，对提出的离散模板精匹配方法进行了详细深入的 解释及实验验证；第三章是对三维人脸识别算法进行较全面地总结，并对三 维可变形模型方法具体的建模过程进行阐述，并在现有试验条件下，对三维 点云数据进行几何识别方法分析实现三维人脸识别的可行性；第四章对三维 工作平台的搭建进行了介绍，对其涉及到的o p e n g l 开发包、摄像机标定及图 像后期的配准、拼接方法作整体上的分析总结，这部分工作也是论文完成的 一个重要的基础性工作。 西南科技大学硕士研究生学位论文第7 页 2 二维人脸识别算法研究 二维人脸识别的研究始于上世纪6 0 年代，在研究的早期，人脸识别算法 主要有两大方向：一是基于人脸几何特征的识别方法，即将人脸上的眼睛、 鼻子、嘴巴分别提取出来或将眼睛、鼻子、嘴巴的几何特征提取出进行识别， 而眼角、嘴角、鼻尖的二维拓扑信息也是重要的识别补充信息。但在人脸的 五宫中，各自对识别所起的作用是不同的，如耳朵在脸部的侧面，一般对人 脸的识别起的作用相对较小；眼睛和嘴巴对人脸的识别起关键作用。而人脸 的上半部分又比下半部分更有助于人脸的识别。二是模板匹配的识别方法， 主要是通过模板和图像灰度的自相关性来进行识别。 目前二维人脸的识别方法也主要是分为两个方面，一是基于整体的研究 方法，如特征脸( e i g e n f a c e ) 方法、奇异值( s v d ) 方法、人脸等密度线分析匹 配方法、弹性图匹配( e l a s t i cg r a p hm a t c h i n g ) 方法、隐马尔可夫模型 ( h i d d e nm a r k o vm o d e l ) 方法及神经网络方法等；二是基于特征分析的方法， 即将人脸的一些关键点对比率和其他能够描述人脸特征的量一并作为特征 向量对人脸进行识别。而近年来的一个趋势是将人脸的整体识别和特征分析 的方法结合起来，如k i n m a n l a m 提出的基于分析和整体的方法，a n d r e a s l a n i t i s 提出的利用可变形模型( f l e x i b l em o d e l s ) 来对人脸进行解释和编 码的方法。 2 1 二维人脸识别算法的主要研究方法 二维人脸的主要识别方法，在上面已经做了简要的介绍，下面就应 用较多的主流的二维人脸识别方法进行较详细的说明。 k l 变换是一种最优正交变换方法，将人脸的高维数据通过k l 变换保留部分正 交基，进行降维处理，生成低维人脸空间，从而不同的人脸具有了可分性。 k l 变换的生成矩阵可以是训练样本集的总体散布矩阵，也可以是训练样本集 的类问散布矩阵。但是特征脸的匹配方法有其固有的一些缺点，由于是统计 的分析方法，在进行人脸的分析过程中，图像中的每一个象素点都被赋予了 同等的地位，而光照、尺度、表情的影响对人脸的不同部位是有着显著的差 异的，但是在识别的过程中却不能恰当的分析。 西南科技大学硕士研究生学位论文第8 页 表2 1 人脸识别发展简表 t a b l e 2 1ab r i e f h i s t o r yo ff a c er e c o g n i t i o nr e s e a r c h 对特征脸的改进方法之一就是f i s h e r 特征脸方法。f i s h e r 方法的本质是 线性投影。f i s h e r 判别准则是：不同类样本尽可能远，同类样本尽可能近。 形状和狄度分离的可变形模型副 ，是从形状、局部灰度和总体灰度三 个方面描述人脸。 在论文的工作中，提出了离散模板的人脸识别方法。这种方法的思想是 对待识别的人脸图像各部件，根据预先对每个人各部件在不同表情下选取的 西南科技大学硕士研究生学位论文第9 页 多个模板，分别进行匹配识别。只要与同一个人的多个模板中的任一个匹配 成功，就可以完成匹配任务。 面部器官的结构关系统计：尽管人脸的构型不同，但是在整体上人脸构 型是可以假设为服从正态分布的。通过手工测量人脸样本的面部器官之间的 距离情况，并运用统计学中的方法来完成协方差的计算，从而分析该样本的 整体特点。由此可见，人脸的分布具有较大的相似性，可以用来指导面部特 征的粗定位。 虹膜中心的定位可以采用对面部( 包括头发) 区域首先进行合适的二值 化，用预先设置的面积域值进行滤波处理，在对余下的黑色连通域进行分割， 并以l 和r 代表左右眼部所在的深色区域，以h 代表头发的深色区域，紧接着 进行如下一系列的判断： l 和r 的中心要在头发区域h 的下方； l 和r 的下方一定距离内不能有其他的连通区域； l 和r 的中心横坐标差值不能太小； l 和r 的中心纵坐标差值不能太大； l 和r 在原图相对应区域内的频率要足够大； 利用虹膜的谷特性和眼睛区域的高频特性，在得到的l 和r 区域点集后， 通过计算该区域的重心， r1 略卜胆似即似知锄户叶 q 。1 其中q 是f ，j ，y ，) 的领域。在得到几个候选瞳孔位置上，通过下面式子计算 驴毛石，乙， ( 2 屯) s p 2 万，手即w ， 蟛_ ， 以及支持函数： p 工p 厅，r f r g ( j j l ，一xsp ) ( 2 3 ) p e r n g l e n 尸月f g j l l f ，r 捃= 口，g ( 朋_ x s p ) ( 2 4 ) p r n gr i g h t 来最终确定眼部的瞳孔中心。用定位好的瞳孔中心位置来进行仿射变 换，可以进行图像的矫正。 通过积分投影来获得嘴部和鼻尖的关键点：鼻孔和中唇线在人脸灰度图 像中总会在双眼的下侧中垂线上形成两个谷区。基于这个特性，通过水平方 向的积分投影曲线的分析进行嘴部和鼻子区域的检测。根据人脸五官的大致 西南科技大学硕士研究生学位论文第1 0 页 分布，首先估计出嘴部的大致范围，并用水平窗框选该区域进行积分投影， 再经过高斯滤波的平滑，计算积分投影曲线的极小值，而最小的极小值作为 中唇的定位点；在鼻子区域在垂直方向上用类似的方法进行处理鼻孔和鼻翼 造成的阴影，从而得到鼻孔的位置；而在两个鼻孔点上方通过搜索最大领域 灰度均值的方法得到鼻尖点。 弹性模板的边缘函数的定义： p ( j ，j ，) = 口c ( z ，y ) + ( j 一口) s ( 工，j ，)( 2 5 ) 其中：c 和s 分别为c a n n y 和s o b e l 边缘算子的相应输出，为了将模板从开 始的可能离实际边缘较远引导到目标边缘区，还需要对边缘图像进行能量分 散，可以用二维高斯卷积实现，n ，m 和s 分别表示从式( 2 5 ) 得到的边缘图像 上的点数。 上眼皮能量项： c 一 e h = 一7 三 p 2 ( 工，j ，) ( 2 6 ) 1 | 开( ) e l 秽 下眼皮能量项： r = _ 一 e ，= f 上 p 2 ( j ，j ，) ( 2 7 ) v 历( j ，y ) 憎 虹膜边缘能量项： c 一 如= 一仁 p 2 ( 训) ( 2 8 ) 1 厅( j ，y ) c 舭。 为了充分利用眼睛结构的先验知识，通过建立一个内部能量项来表达相 关的信息。 e f = r 2 ，一r 口+ 6j j 2 + r 工r 一鼻c ，2 + rj ，r 一) ，c ，2 + r c 一2 口j 2 ( 2 9 ) 同时，为了避免模板朝显然不合理的方向变形，建立了一个能量项作为 约束条件： 驴p 艺：帅6 c 州：二二，( 2 - 1 0 ) 最后，得到能量函数如下： e = w p e p + w f e f + w ”e “+ w ，e ，+ w c e c ( 2 11 ) 西南科技大学硕士研究生学位论文第1 1 页 其中， w f ，w f ，啦，w z ，聊为经验权系数。 在k l 变换中，待识别人脸与人脸数据库中的人脸是通过欧式距离来判别 相似度的，而弹性图匹配川n 是在二维空间定义了一个对一般的人脸变形具 有一定程度的不变性，同时又不要求待识别人脸与人脸库中的人脸维数相同 的距离，采用属性拓扑图来表达人脸的关键点特征。而二维拓扑图的顶点矢 量是通过将人脸进行小波变换后得到的特征矢量。 对弹性图匹配的改进之一就是进行小波变换的时候结合k l 变换，以生成 二维网格中的矢量串，从而降低了人脸表达的维数，也减少了表达一幅人脸 所需的特征数，有效地提高人脸识别的效率。另外，在人脸特征库的存储中， 应选用面向人脸基准点的存储方法。而且，弹性图匹配方法在实现中，还应 考虑参数的选取，如小波变换参数的选取，拓扑图的大小。 近年来，对图像灰度进行多尺度、多方向的g a b o r 小波变换逐渐成为主流 的思路之一，这主要是因为g a b o r 小波可以很好地模拟大脑皮层中单细胞感 受野的轮廓，捕捉突出的视觉属性，例如空间定位、方向选择等。特别是g a b o r 小波可以提取图像特定区域内的多尺度、多方向空问频率特征，像显微镜一 样放大灰度的变化，这样，人脸图像中的眼睛、鼻子和嘴以及其他一些局部特 征被放大。因此，采用g a b o r 变换来处理人脸图像，可以增强一些关键特征， 以区分不同入脸图像。 提取特征需要用线卷积的方式，即线卷积得定义： 少( 以) = j ( 力) 宰 ( n ) = 荡：一o ox ( m ) j l ( 厅一m ) = 荡：一j j ( 肌) x ( 刀一m ) ( 2 1 2 ) 线卷积的含义是两个函数重叠部分以外的用零填充。g a b o r 变换是一种加窗 的傅立叶变换。 尽管模型匹配方法要优于基于相对距离的特征分析方法，但是传统的部 件建模方法”，仍然被很多研究者所采用，究其原因，主要是部件建模方法 相对直观，容易理解和应用；而其他的建模方法又没有能够彻底的解决识别 问题，目前仍处于探索过程。 另外，s v d 方法与特征脸识别方法都是统计识别方法，区别仅在于特征 基选取的不同，也可以理解为是对人脸图像数据的不同角度的分析。而等密 度线分析方法是通过在人脸二维图像上寻找等灰度线的方法来反映人脸的 三维信息，其主要思想来源于在地图中用等高线分析地形特征。神经网络方 法通常将人脸作为一维向量输入，因而神经网络的输入节点庞大，不易于实 现。 西南科技大学硕士研究生学位论文第1 2 页 2 2 二维人脸识别图像库 人脸数据库对算法的研究与开发、模型训练、算法测试比较是不可或缺 的。尤其是在统计学习占主导地位的今天，模型训练所采用的人脸库的人数 规模、覆盖的成像条件变化在很大程度上影响着算法的精度和鲁棒性能；而 算法性能测试所用到的人脸库的规模和属性同样决定了评测的合理性和测 试结果的有效性。下面简单介绍人脸识别领域经常被采用的人脸图像数据库 的情况。 ( 1 ) f e r e t 人脸数据库 由f e r e t 项目创建，包含1 4 ，0 5 1 幅多姿态、不同光照条件的灰度人脸图 像，并严格划分了训练集合、g a l le r y 、不同的测试集合等，是人脸识别领 域应用最广泛的人脸数据库之一。 ( 2 ) p i e 人脸数据库n ” 由美国卡耐基梅隆大学创建，包含6 8 位志愿者的4 1 ，3 6 8 张多姿态、光 照和表情的面部图像。其中的姿态和光照变化图像也是在严格控制的条件下 采集的。 ( 3 ) b a n c a 人脸库 该人脸库是欧洲b a n c a 项目资助创建的，包含2 0 8 人的多模态生物特征， 覆盖了不同图像质量、不同时间段等变化条件。该人脸库划分了不同的训练、 测试条件。 。 ( 4 ) c a s p e a l 人脸数据库 该人脸库包含了1 ，0 4 0 名中国人共9 9 ，4 5 0 幅头肩部图像。所有图像在专 门的采集环境中采集，涵盖了姿态、表情、饰物和光照四种主要变化条件， 部分人脸图像具有背景、距离和时间跨度的变化。 ( 5 ) a r 人脸库 该人脸库是由西班牙巴塞罗那计算机视觉中心于1 9 9 8 年创建的，包括 1 1 6 人不同光照、表情、遮挡和老化的人脸图像共3 2 8 8 幅。 ( 6 ) 0 r l 人脸数据库 由剑桥大学a t t 实验室创建，包含4 0 人共4 0 0 张面部图像，部分志愿者 的图像包括了姿态、表情和面部饰物的变化。该人脸库在人脸识别研究的早 期经常被人们采用，但由于变化模式较少，多数系统的识别率均可以达到9 0 以七。 西南科技大学硕士研究生学位论文第1 3 页 ( 7 ) x m 2 v t s 多模态生物特征数据库 该数据库包括2 9 5 人在4 个月时问内4 次录制的人脸和语音数据。每次采 集都包括2 个头部旋转视频片断和6 种不同语音视频片断。另外，其中2 9 3 人 的3 d 模型也是可以得到的。 ( 8 ) m i t 人脸数据库 由麻省理工大学媒体实验室创建，包含1 6 位志愿者的2 ，5 9 2 张不同姿 态、7 光照和大小的面部图像。 ( 9 ) y a l e 人脸数据库 由耶鲁大学计算视觉与控制中心创建，包含1 5 位志愿者的1 6 5 张图片， 包含光照、表情和姿态的变化。 ( 1 0 ) y a l e 人脸数据库b 包含了1 0 个人的5 ，8 5 0 幅多姿态、多光照的图像。其中的姿态和光照变 化的图像都是在严格控制的条件下采集的，主要用于光照和姿态问题的建模 与分析。 ( 1 1 ) p f 0 1 人脸数据库 由韩国浦项科技大学创建，包含1 0 3 人的l ，7 5 l 张不同光照、姿态、表情 的面部图像，志愿者以韩国人为主。 ( 1 2 ) k f d b 人脸图像库 该人脸库包含1 0 0 0 名韩国人的共5 2 ，0 0 0 幅图像，涵盖7 种不同姿态、1 6 种不同光照条件和5 种表情变化。 2 3 基于离散模板精匹配的人脸识别及验证 在对二维人脸识别盯方面进行了大量的分析比较后，提出了离散模板匹 配的人脸识别方法，其具体的思想如下： 在小型人脸识别系统的开发中，在特征脸识别的基础上，可以用离 散多模板的识别算法实现精匹配。即首先对人脸图像进行边缘检测 | - 儿川，并对边缘所有点进行最小平方椭圆拟合，根据脸部器官( 如嘴部) 的宽度和高度比，给定域值，确定相应部位候选区域；然后运用训练过 的支持向量机( s v m ) 分类器验证该区域；如果是嘴部区域，还应进行嘴角 定位，如果是眼睛、眉毛部位，也要进行相应的定位操作，而后采用离 西南科技大学硕士研究生学位论文第1 4 页 散多模板方法对这些部位进行匹配识 2 3 1 特征脸匹配的过程 特征脸方法是人脸图像经k l 变换后，得到组正交基，通过保留部 分l f 交基，生成低维人脸空间。k l ，变换的生成矩阵可以是训练样本集的 总体敞碲矩阵，也可是训练样本集的粪问散布矩阵。根据矩阵求出一组 正变的特征向量( u u 。，u ) ，其对应的全部特征值为 ( t ， ：， ) 。 那么，在人脸正交特征空间中，人脸样本x 可以表示成： x ：，l l( 2 l3 ) 选用m ( m “) “( 小”。) ，m ( r ，) ) ( 3 ) 具体的代价晒数表达式为： 。c ! 。c ，。( 。1 6 j 其中 。? = ，( x ，) 一r 。( “，v 口) p 。( 一，y 。口) ( l7 把式( 3 l7 ) 右边的参数换成通过采样参考帧( 而不是图像帧) 得到的形状映 射函数吖“，h 剀，使得代价雨数是依赖r 形状映射函数的，其表达式如下： e ?，( x ，y ，) p ( w ：v 。口) f 。( “，v ，口) ( # j8 j 在3 删m 中，要表小出人肫形状，就耍建立输入图像与参考图像的像素对 应戈系。通过像素饱和度恢复的影像作为图像深度信息阢复的依据。对应关 系通过下式子术4 典现是蛀蚶的。 西南科技大学硕士研究生学位论文第3 5 页 输 图像 标准削像 通过系统识制 置参数 囊拟含后前视目 箩 矧3 l0 一维人脸模型的41 别流牲 f lgp l ok u c o g l l ll lo npto c e f f a c e m n i l f ”pe a f | i f 2 l “p f l 口) i “p f f l 口p “p ( 8ji j 3 、q 边缘独立性的特 】= 作为形状和位簧参数的个约束是很直接的，在跌复 特殊面部特征( 眼l | 吉，鼻了，嘴，眉色) 时是非常自效的。边缘的二值化映 射是通过c a n n y 边缘检测并子实现的，即： 7 ( ，( r ，) ) 一一，( ，( ry ) ) ( j2o ) 若在整幅图像中边缘特征，。i 足独立n 可识别的，那么边缘特征的代价两数 为： 一hp ( ，。( 口) ，( 。r “r 。 ( 3 2 1 ) 西南科技大学硕士研究生学位论文第3 6 页 pff ，p j = 0 9 龛rf 夕一pf rp ) 0 ( 3 2 2 ) 其中g r fj 是与三维模型编号为i 的边缘点对应的二维图像边缘点的位置，且 是被投影到图像帧上的p ；点，i = l ，2 n 。，n 。是模型边缘点总数。模型边缘 点到图像边缘点的映射通过下面表达式实现： 川) = 螂，舅k 4 ( 3 2 3 ) 另外纹理的拟合用到c d t 算法，算法的表达式： 。= ，z _ 忙一x8 c 3 捌) ，= j 厂 。 p0 = d ( p f ( 口) ) ( 3 2 5 ) 对式( 3 2 5 ) 进行微分，得到： 普= 等( pf ) 瓣+ 等( p ，) 瓣( 3 - 2 6 ) 边缘信息包含纹理边缘和轮廓边缘。纹理边缘在参考帧上是一个常值； 而轮廓边缘正好相反，这些都依赖于参数的设置和调整。 除了上面提及到的，还有光特征拟合，高斯优化，纹理约束特征，以及 用统计梯度下降算法来拟合输入图像与模型产生的图像。 ( 9 ) 另外，大量的人脸信息又是如何实现快速存贮、检索的呢? 通过建立人脸数据库，将人脸的特征有序化进行存储，而且采用分块存 储处理的方法，同时也采用快速检索的方式实现检索。 ( 1o ) 同一个人的各幅图像是如何建立对应的关系的? 通过光流法( o p t i c a lf lo w ) 可以建立同一个人的各幅图像的对应象素 的对应关系，这是三维形变模型的核心环节。光流法的详细讨论在下面介绍。 3 5 本论文在三维人脸识别算法方面的研究 论文主要研究了在三维人脸识别建模过程中的关键性算法，如光流算 法，主动表观模型算法，对其进行较为全面深入的研究分析，并对获得的三 西南科技大学硕士研究生学位论文第3 7 页 维点云数据进行特征提取以及选择分析。具体内容如下。 在3 d m m 方法中，解决多幅图像象素点间的对应关系是最关键的工作量。 本文中采用光流法来实现同一个人的多幅图像的对应关系。在光流法设计的 图像对应过程中，一定要注意如下几个问题： 图像应首先被变换( 通过旋转缩放) 为标准脸；其中的旋转，缩放因子 是三维形变模型中的渲染参数。 将标准化后的脸部图像根据脸部的曲率特征分为双眼，鼻子，嘴部， 其余脸部共五个部分。 图像因拍摄的角度不同，脸部信息可能会不完全相同。譬如鼻子可能遮 住的部分，侧脸时遮挡的面部信息等等。当图像进行对应时，必须确定那些在 图像上都有的部分精确的对应起来，图像上多余的部分原样保留，缺少的部 分可以进行补充。 ( 1 ) 光流算法 根据所处理的图片性质不同以及预期的不同要求，可以适当选择光流 法的实现方法，。本文对光流法的实现方法进行比较全面的综述，在光流法 的实现过程中，也用到由粗到细逐步精化的实现思想。即首先对要处理的图 片进行滤波处理( 较多采用k a l m a n 滤波器) ，对于处理后的图片，通过逐渐增 大采样的频率，加大采样密度的方法进行多次图片重采样来分析。其总体实 现流程如图3 1 1 所示。 基于状态空间描述对混有噪声的信号进行滤波的方法，简称卡尔曼滤 波。卡尔曼滤波的局限性是只能用于线性的信号过程，即状态方程和观测方 程都是线性的随机系统，而且噪声必须服从高斯分布。 光流算法基础的数学表达过程如下： 设，( x ，f ) 是图像密度函数，表示为：，( 工，f ) ，扛+ 融，f + 6 f ) 。式中融表 示，( 工，f ) 在6 f 后所发生的位移量。用泰勒级数展开j ( x ，z ) 如下： ，( 工，f ) = ，( x ，f ) + v ，舐+ 6 f ，f + d 二( 3 2 7 ) 式中v i 代表，( 工，f ) = ( ，j ，y ) ，f 是，( 石，f ) 的一阶偏导，。2 是，( 工，f ) 偏导的二阶 或高阶项，在具体的分析中是可以被忽略的。在式( 3 2 7 ) 两边减去，( x ，f ) ， 忽略d 2 ，并用6 t 去除得到如下表达式： 1 ，+ ，f = o( 3 2 8 ) 西南科技大学硕士研究生学位论文第3 8 页 其中w = ( ，工，y ) 表示空间密度梯度，v = ( u ，v ) 是图像变换速度。所以式( 3 2 8 ) 被作为光流法的约束方程，且是独立的图像行为的局部约束，但是它受采样 率和图像对齐的影响。 光流算法整体上分为差分方法，基于频率的方法，基于相互关系的方法， 多行为方法及局部精细法，如图3 一1 2 所示。 差分方法概述 全局模型的数学模型是在式( 3 2 7 ) 的基础上进行变形分析，s c h u n c k 根 据图像特征密集度的变化，借用流体动力及变换理论的连续方程得到如下约 束方程： 获得输入图像的坐标信息( 和纹理信息) 上 通过旋转缩放进行脸部对齐 上 将脸部信息分割为五部分，通过曲率计算来指导 土 在每个区域，进行关键点定位，如眼角，鼻尖 上 在每个区域进行点数统计 上 在每个部分中，建立时间轴上点对应 土 建立约束方程，并建立光流参数模型 上 求解模型参数 图3 1 1光流算法实现流程 f i g 3 1 1d i a g r a mo fo p t i c a if i o wa l g o r i t h m 西南科技大学硕士研究生学位论文第3 9 页 vj v + j ( “工+ v y ) = 一，f( 3 2 9 ) 其中，( y ，) 包含了图像在进行仿射变换时图像频域发生膨胀收缩所引起 的光流偏差。另外n a g e l 提出的光流约束是基于三维场景的几何属性，从而 对式( 3 2 7 ) 作如下变形： v 讪( 筹一书 弦3 。， p 是三维环境点；p 是p 点的三维速度量，乞是沿着光方向的单位向量。 光流参数模型 r1rr1r1 差分方法 l 基于频率方法基于相互关系的方法多行为方法局部精纽 - i 1 l上上1 l 、，上 上上1 _ _ r1r 表全轮局 j 基 多基 线 混 参 面局廓 部 选于 框 于 性 厶 数口 模模模模 方相 关 化速化 架 系 过 度模型型型型 的 方 的 程分型 向 位 的 滤滤 匹 配 波波 配 图3 1 2 光流算法框图 f ig 3 1 2d ia g r a mo fo p t i c a if i o wa i g o r i t h m 西南科技大学硕士研究生学位论文第4 0 页 e2 乏( u ；l i l ；ih v ；) 蔷q = 麓0 2 伊3 ， + l l ( q x c i x ) 2 + ( qy c l y ) zi r 、。7 ， + v 乏( c + c ；) 2 o 项建立了空间光变换和图像密度变换的关系， g 工= c ，j 和g 广d y ，且第四项确保 w 2 ( z ) ( v ，( 工，f ) v + ，f ( x ，f ) ) 2 ( 3 3 2 ) l v0 ix + iy + it 、) dy = lsu i dydt + l sv i d xdt 一眵，( ”x + “yb z j j ，口r 芒 ( 3 3 3 ) + i s idxdy=o v 泸v 似咿等+ 暑+ 导+ 等鲁 3 4 ， 舞= 2 鲁，o m 3 5 ， 每= ( o ，2 鲁 3 6 ， 西南科技大学硕士研究生学位论文第4 l 页 式表达如下： j 芸d s ( 3 3 7 ) 如果估计的向量至少有两个不同，在实际应用中，式( 3 3 7 ) 可表示为下 式： ( 磬) 2 + b ( 川1 1 2 ) 2 ds ( 3 3 8 ) 其中i i 表示在v 上方向上的单位向量，b 是权重因子，( v 五1 v j 2 厂是估计值和 理想值的平方差。 基于频率的方法概述 基于频率的光流处理方法基础的数学分析公式为： ，( 七，w ) 2，o ( 七) 6( vr 七+ w ) ( 3 3 9 ) 其中，j o ( j ) 是j ( x ，0 ) 的傅利叶变换，x 表示空间位置，6 是狄利克莱函数，k ，w 表示空间频率。由式( 3 2 7 ) 推导出光流法的频域