（计算机软件与理论专业论文）基于子空间的人脸图像处理与识别方法研究.pdf

a b s t r a c t i nt h is p a p e r t h em a i nc o m p o n e n to fa f a c er e c o g n i t i o ns y s t e ms u c h a s i m a g ep r e p r o c e ss i n g ，f a c ed e t e c t i o n ，f e a t u r e e x t r a c t i o na n df a c e r e c o g n i t i o ni s s t u d i e di n i m a g ep r e p r o c e s s p o r t i o n ，b o t ht h ep r o c e s sf o r o r i g i n a li m a g es u c h a s b r i g h t n e s sa n dc o n t r a s t p r e p r o c e s s ，a n d t h a tf o r e x t r a c t e df a c ep o r t i o nf r o mo r i g i n a li m a g e ，s u c ha su n i f yp r o c e s sf o rs i z e ， z o o ma n dl i g h t i n gi sd i s c u s s e di nf a c ed e t e c t i o ns e c t i o n ，ad e t e c tm e t h o d b a s e do na r t i f i c i a ln e u r a ln e t w o r ka n dk n o w l e d g ei s d i s c u s s e d ，a n d af a s t d e t e c t i o na r i t h m e t i ci s p u tf o r w a r db yl e a r n i n gt h eo u t p u tc h a r a c t e r i s t i co f t h ef a c ed e t e c t o r ，a n do b t a i n e dag o o dp e r f o r m a n c e i nf e a t u r ee x t r a c t i o n s e c t i o n ，w eg e n e r a l i z e dy a n g si m p c a a tl a s t ，f a c er e c o g n i t i o nm e t h o di s d is c us s e di nt h i s s e c t i o n ，a c o n t r i b u t i o nm a t r i x c o n c e p t f o rf a c e c l a ss i f i c a t i o ni sf i r s t p u t f o r w a r di t s p u r p o s e i st od e t e r m i n et h e c o n t r i b u t i o nm a t r i xi nt e r m so fd i f f e r e n tc o n t r i b u t i o n so fe a c hd i m e n s i o n o fa n e i g e n v e c t o r t ot h e p e r f o f i n a n c e o ft h ec l a s s i f i c a t i o n a n dt h e na m o d i f i e ds u b s p a c e c l a s s i f i e ri s d e s i g n e db ym u l t i p l y i n g e a c h o r i g i n a l p a t t e r n v e c t o rw i t ht h em a t r i xa sa p r e p r o c e s s i n gm e t h o d ，a n d s oa n i m p r o v e m e n to ft h er e c o g n i t i o np e r f o r m a n c ec o m p a r e dt ot h ec o n v e n t i o n a l s u b s p a c ec l a s s i f i e ro nt h em a n c h e s t e rf a c ed a t a b a s ei so b t a i n e d s e g o n d l y 、 t ol o w e rt h em i s r e c o g n i t i o ni n d u c e df r o mt h eo v e r l a p p e d s u b s p a c e sa n d t oi n c r e a s et h e r e c o g n i t i o np r e c is i o n ，w ee m p l o yt h e k e r n e lm e t h o dt o i m p l i c i t l y f u l f i l la m a p f r o mt h e p a t t e r ns p a c e t o h i g h e r d i m e n s i o n a l f e a t u r es p a c es oa st on u l l i f yt h ei n t e r s e c t i n g s u b s p a c e sa n dt o m a k et h e r e c o g n i t i o np r o b l e me a s i l y s o l v e d i nt h et r a n s f o r m e d s p a c e f i n a l l yo u r e x p e r i m e n t s o nt h es a m ef a c ed a t a b a s e v e r i f y t h e f e a s i b j l i t y a n d e f f e c t i v e n e s so ft h ep r o p os e dm e t h o d k e yw o r d s ：f a c er e c o g n i t i o n ，f a c ed e t e c t i o n ，p r o j e c t i o no p e r a t o r ， k e r n e l f u n c t i o n ，s u b s p a c e ，c l a s s i f i e r ，i m a g ep r i n c i p l e c o m p o n e n t a n a l y s i s ( i m p c a ) 南京航空航天大学硕士论文 第一章绪论 1 1 人脸识别的研究概况 人脸自动识别是一个有着重要的理论价值和广泛的应用前景的课 题。2 0 多年来，计算机视觉和模式识别领域 卜5 的人们一直在研究它。 最近几年，随着微电子与计算机技术的高速发展，使得低成本的实用人 脸自动识别系统成为可能，人脸识别的研究再度受到普遍重视。 如同人的指纹、视网膜一样，人脸也具有唯一性，可以用来鉴别一 个人的身份。但是，由于人脸的结构远比指纹复杂，并且受到很多因素 的干扰：人脸表情的多样性、姿态的变化、光照的强弱等，即使同一个 人，在不同的环境下，人脸相片也有所不同，因此同指纹识别和虹膜识别 取得的成功相比，人脸识别相对落后，目前尚未能取得象指纹识别那样令 人满意的结果。然而在许多特定的应用条件下。人脸识别是难一可用的方 法，并且人脸识别系统更加直接、友好，使用者无任何心理障碍。目前， 人脸自动识别系统的一般出错率大约是2 - 2 5 如果同其他生物特征结 合起来，人脸识别系统的效果也很好 国外对于人脸别的研究较早，已有较成熟的产品问世。如m i r o s 的 t r u e f a c e 系列产品，主要用于计算机的网络登录、防盗、来访控制等需 身份鉴别的场所，但是，对于成像的条件比较苛刻，只能适用于特殊的领 域。国内对人脸识别的研究相对较晚，但也有一些科研机构从事这方面 的研究，并取得一些成果，但还没有具有实用性的成熟产品面世。 经过几十年的研究发展，人们提出了许多方法来解决人脸识别这一 难题。最初人们都几乎局限于以人脸几何特征为主的识别研究。这类识 别方法用一个几何特征矢量表示人脸，用层次聚类的模式识别思想设计 分类器来达到识别的目的。这就要求选取的几何特征矢量具有一定的独 特性，能够反映不同人脸之间的差别，同时又具有一定的弹性，以消除 南京航空航天大学硕士论文 第一章绪论 1 1 人脸识别的研究概况 人脸自动识别是一个有着重要的理论价值和广泛的应用前景的课 题。2 0 多年来，计算机视觉和模式识别领域 卜5 的人们一直在研究它。 最近几年，随着微电子与计算机技术的高速发展，使得低成本的实用人 脸自动识别系统成为可能，人脸识别的研究再度受到普遍重视。 如同人的指纹、视网膜一样，人脸也具有唯一性，可以用来鉴别一 个人的身份。但是，由于人脸的结构远比指纹复杂，并且受到很多因素 的干扰：人脸表情的多样性、姿态的变化、光照的强弱等，即使同一个 人，在不同的环境下，人脸相片也有所不同，因此同指纹识别和虹膜识别 取得的成功相比，人脸识别相对落后，目前尚未能取得象指纹识别那样令 人满意的结果。然而在许多特定的应用条件下。人脸识别是难一可用的方 法，并且人脸识别系统更加直接、友好，使用者无任何心理障碍。目前， 人脸自动识别系统的一般出错率大约是2 - 2 5 如果同其他生物特征结 合起来，人脸识别系统的效果也很好 国外对于人脸别的研究较早，已有较成熟的产品问世。如m i r o s 的 t r u e f a c e 系列产品，主要用于计算机的网络登录、防盗、来访控制等需 身份鉴别的场所，但是，对于成像的条件比较苛刻，只能适用于特殊的领 域。国内对人脸识别的研究相对较晚，但也有一些科研机构从事这方面 的研究，并取得一些成果，但还没有具有实用性的成熟产品面世。 经过几十年的研究发展，人们提出了许多方法来解决人脸识别这一 难题。最初人们都几乎局限于以人脸几何特征为主的识别研究。这类识 别方法用一个几何特征矢量表示人脸，用层次聚类的模式识别思想设计 分类器来达到识别的目的。这就要求选取的几何特征矢量具有一定的独 特性，能够反映不同人脸之间的差别，同时又具有一定的弹性，以消除 基于予互二州的人脸图像处理与识别方法研究 时f 司跨度、光照等的影响。几何特征矢量是以人脸器官的形状和几何关 系为基础的特征矢量，其分量通常包括人脸指定两点( 如两眼) 间的欧 氏距离、曲率、角度等。这种方法对于如何抽取特征以及抽取什么特征 作了许多探索，在应用中也比较直观，所提出的特征比较稳定，受光照、 旋转、形变等因素影响小。但是这种方法的缺点是： 1 过多地依赖于先验知识，首先需要研究确定人脸各个部位的特征是什 么，哪些特征对于识别重要，如何选择合适的特征，特征之间的关系如 何。 2 特征提取较难，如果提取两眼间距，就需先定出眼睛的位置，而这本 身就是图象理解及识别要解决的问题。提取的特征过于严格，则识别的 自适应性不强，提取的特征过于简略，则不足以识别相似度极高的人脸 样本。 随着计算机技术和智能计算方法的高速发展，基于代数特征的人脸 识别方法不断提出。这类识别法仍然是将人脸用特征矢量表示，只不过 用的是代数特征；、即人脸图象在由“特征脸”张成的降维子空间上的投 影。s i r o y i c h 和k i r b y 首先将k - l 变换用于人脸图象的最优表示。t u r k 和p e n t l a n d 进一步提出了“特征脸”方法，该方法以训练样本集的总体 散布矩阵为产生矩阵，经k l 变换后得到相应的一组特征矢量，称为“特 征脸”。这样，就产生了一个由“特征脸”矢量张成的予空间，每一幅人 脸图象其投影都可以获得一组坐标系数，这组坐标系数表明了人脸在子 空间的位置，实验表明其具有较强的稳定性，可以作为人脸识别的依据。 这种基于代数特征的人脸识别方法的优点在于提取的特征与样本集的统 计特征有关，不需事先确定。人脸的几何特征自然寓于其中，不需分割 脸部的各个组成部公。但这种方法对表情的描述不够充分，难以用于表 情分析。本文主要采用这种方法。 近年来，基于连接机制的人脸识别方法取得了很大的发展。这类识 别法将人脸直接用灰度图( 二维矩阵) 表征，利用了神经网络的学习能 力及分类能力。由于神经网络的非线性和联想记忆的功能，其固有的并 南京航空航天大学硕士论文 行运算机制以及分布全局存储，在模式识别方面有得天独厚的优势，而 且和人的感知和记忆有相似的地方。但由于原始灰度图象数据量十分庞 大，因此神经元数目通常很多，训练时间很长。另外，完全基于神经网 络的识别法在现有的计算机系统上也有其内在的局限性。 基于几何特征的识别方法、基于代数特征的识别方法和基于连接机 制的识别方法对“人脸识别”这一研究领域都有很大的贡献，但由于人 脸识别因其表征对象的年龄、表情等因素的可变性而使其特征表述比较 困难，因此它的识别效果离实用还有较大的距离。 1 2 本文研究内容总述 本文就人脸识别系统中涉及的各个环节进行了研究，其中主要包括 图像预处理、人脸检测与定位、图像归一化处理、特征提取、人脸识别 算法等方面的研究。 1 在图像预处理中本文分别对亮度归一化、对比度归一化、直方图 归一化处理的方法作了研究，并通过实验比较了各种算法的实际效果。 特别的，对从图像中提取出的脸部图像，根据人脸的对称性，通过使用 光照不变性处理，消除了因光照强弱不同及光线照射方向不同而对人脸 部图像的影响。实验结果表明效果很好。 2 在人脸检测与定位部分，本文分别介绍了使用神经网络的基于统 计信息的人脸检狈4 算法和基于知识建模的人脸检测方法。前者主要根据 人脸图像的统计信息建立人脸的模型，而后者则是根据人们的先验知识， 例如，人脸器官的分布特点、脸部图像的灰度分布情况、人脸部轮廓、 脸部的对称性等知识来构造人脸模型，并使用这些信息来确定未知图像 中是否包含人脸 3 特征提取部分，主要介绍了直接基于图像矩阵的p c a 方法，并 对该方法作了推广，取得了较好的实验效果。 4 人脸的识别算法，该部分是本文的重点研究内容，主要研究了线 性子空间方法，并提出了贡献矩阵的概念，通过贡献矩阵的使用取得了 明显的效果，同时对子空间方法进行了核化，对使用各种核函数的结果 作了比较，最后介绍了核子空问分类器并对其特点进行了讨论和实验。 南京航空航天大学硕士论文 行运算机制以及分布全局存储，在模式识别方面有得天独厚的优势，而 且和人的感知和记忆有相似的地方。但由于原始灰度图象数据量十分庞 大，因此神经元数目通常很多，训练时间很长。另外，完全基于神经网 络的识别法在现有的计算机系统上也有其内在的局限性。 基于几何特征的识别方法、基于代数特征的识别方法和基于连接机 制的识别方法对“人脸识别”这一研究领域都有很大的贡献，但由于人 脸识别因其表征对象的年龄、表情等因素的可变性而使其特征表述比较 困难，因此它的识别效果离实用还有较大的距离。 1 2 本文研究内容总述 本文就人脸识别系统中涉及的各个环节进行了研究，其中主要包括 图像预处理、人脸检测与定位、图像归一化处理、特征提取、人脸识别 算法等方面的研究。 1 在图像预处理中本文分别对亮度归一化、对比度归一化、直方图 归一化处理的方法作了研究，并通过实验比较了各种算法的实际效果。 特别的，对从图像中提取出的脸部图像，根据人脸的对称性，通过使用 光照不变性处理，消除了因光照强弱不同及光线照射方向不同而对人脸 部图像的影响。实验结果表明效果很好。 2 在人脸检测与定位部分，本文分别介绍了使用神经网络的基于统 计信息的人脸检狈4 算法和基于知识建模的人脸检测方法。前者主要根据 人脸图像的统计信息建立人脸的模型，而后者则是根据人们的先验知识， 例如，人脸器官的分布特点、脸部图像的灰度分布情况、人脸部轮廓、 脸部的对称性等知识来构造人脸模型，并使用这些信息来确定未知图像 中是否包含人脸 3 特征提取部分，主要介绍了直接基于图像矩阵的p c a 方法，并 对该方法作了推广，取得了较好的实验效果。 4 人脸的识别算法，该部分是本文的重点研究内容，主要研究了线 性子空间方法，并提出了贡献矩阵的概念，通过贡献矩阵的使用取得了 明显的效果，同时对子空间方法进行了核化，对使用各种核函数的结果 作了比较，最后介绍了核子空问分类器并对其特点进行了讨论和实验。 基于予空问的人脸图像处理与识别方法研究 第二章人脸自动识别系统及人脸识别的一般方法 2 1 人脸自动识别系统 一个完整的人脸自动识别系统( f a c ea u t o m a t e dr e c o g n i t i o ns y s t e m ) 主要由摄像头( 扫描仪) ，人脸检测模块，人脸预处理模块，人脸特征提 取模块，以及人脸识别模块组成。由摄像头( 扫描仪) 形成含有人脸的 图象文件，输入人脸检测模块，检测定位出人脸的大致位置，并分割出 含有人脸图象的部分，形成新的小图象文件，输入人脸预处理模块。在 人脸预处理模块，对人脸图象进行几何校正、光照不变性处理、灰度归 一化等标准化处理，然后送到特征提取模块，提取人脸的特征。最后进 入人脸识别模块，输出识别结果。整个流程如图2 1 所示： 图2 1 整个流程图 同其他生物特征识别系统一样，人脸图像自动识别系统总的要求是 对已有的人脸数据库，识别一给定的人脸时性能要好。人脸图像自动识 别系统的性能主要从以下几个方面来判断：匹配的精确度；有不利因素 时( 如光照变化、图像的噪声等) 系统的稳健性如何；识别速度；设备的 基于予空问的人脸图像处理与识别方法研究 第二章人脸自动识别系统及人脸识别的一般方法 2 1 人脸自动识别系统 一个完整的人脸自动识别系统( f a c ea u t o m a t e dr e c o g n i t i o ns y s t e m ) 主要由摄像头( 扫描仪) ，人脸检测模块，人脸预处理模块，人脸特征提 取模块，以及人脸识别模块组成。由摄像头( 扫描仪) 形成含有人脸的 图象文件，输入人脸检测模块，检测定位出人脸的大致位置，并分割出 含有人脸图象的部分，形成新的小图象文件，输入人脸预处理模块。在 人脸预处理模块，对人脸图象进行几何校正、光照不变性处理、灰度归 一化等标准化处理，然后送到特征提取模块，提取人脸的特征。最后进 入人脸识别模块，输出识别结果。整个流程如图2 1 所示： 图2 1 整个流程图 同其他生物特征识别系统一样，人脸图像自动识别系统总的要求是 对已有的人脸数据库，识别一给定的人脸时性能要好。人脸图像自动识 别系统的性能主要从以下几个方面来判断：匹配的精确度；有不利因素 时( 如光照变化、图像的噪声等) 系统的稳健性如何；识别速度；设备的 成本。 2 2 人脸检测的方法 对于一个人脸识别系统，人脸检测的好坏直接影响到系统的性能， 一个好的人脸检测算法应该能从复杂的背景中准确定位人脸，并将人脸 从背景中分割出来，并且具有较小的漏检率和虚警率。目前人脸检测方 法大致可分为基于统计和基于知识的两类 7 ，l o 】。前者将人脸图像视为 一个高维向量，从而将人脸检测问题转化为高维空间中分布信号的检测 问题；而后者则利用人的知识建立若干规则，从而将入脸检测问题转化 为假设验证问题。 2 2 1 基于统计的人脸检测方法 ( 1 ) 事例学习：将人脸检测视为区分非人脸样本与入脸样本的两类 模式分类问题，通过对人脸样本集和非人脸样本集进行学习以产生分类 器。目前普遍采用人工神经网络和支持向量机【8 ，1 1 】。本文采用神经网络 作为入脸检测的第一级检测器。采用2 层前向b p 神经网络，输入层为 2 4 * 2 8 = 6 7 2 个节点，对应于图像的子窗口大小。隐含层为2 0 个节点，输 出为一个节点，输出值为1 到1 之间，l 表示人脸，1 表示非人脸。图 2 2 为本文所使用的神经网络模型，隐舍层和输出层都使用( t a n s i 8 ) 双 曲正切s 型( s i g m o i d ) 传递函数的神经元。图2 3 为双曲正切s 型传 递函数的曲线图。 图2 2 神经网络模型 神经网络的训练集由两类样本组成，一组为人脸图像，我们选取了 1 0 0 幅含有人脸的灰度图片，用手工标定了15 0 幅个人脸的瞳孔、嘴角 等特征点，根据这些特征点，对各个人脸进行几何校正并且裁减出宽2 4 成本。 2 2 人脸检测的方法 对于一个人脸识别系统，人脸检测的好坏直接影响到系统的性能， 一个好的人脸检测算法应该能从复杂的背景中准确定位人脸，并将人脸 从背景中分割出来，并且具有较小的漏检率和虚警率。目前人脸检测方 法大致可分为基于统计和基于知识的两类 7 ，l o 】。前者将人脸图像视为 一个高维向量，从而将人脸检测问题转化为高维空间中分布信号的检测 问题；而后者则利用人的知识建立若干规则，从而将入脸检测问题转化 为假设验证问题。 2 2 1 基于统计的人脸检测方法 ( 1 ) 事例学习：将人脸检测视为区分非人脸样本与入脸样本的两类 模式分类问题，通过对人脸样本集和非人脸样本集进行学习以产生分类 器。目前普遍采用人工神经网络和支持向量机【8 ，1 1 】。本文采用神经网络 作为入脸检测的第一级检测器。采用2 层前向b p 神经网络，输入层为 2 4 * 2 8 = 6 7 2 个节点，对应于图像的子窗口大小。隐含层为2 0 个节点，输 出为一个节点，输出值为1 到1 之间，l 表示人脸，1 表示非人脸。图 2 2 为本文所使用的神经网络模型，隐舍层和输出层都使用( t a n s i 8 ) 双 曲正切s 型( s i g m o i d ) 传递函数的神经元。图2 3 为双曲正切s 型传 递函数的曲线图。 图2 2 神经网络模型 神经网络的训练集由两类样本组成，一组为人脸图像，我们选取了 1 0 0 幅含有人脸的灰度图片，用手工标定了15 0 幅个人脸的瞳孔、嘴角 等特征点，根据这些特征点，对各个人脸进行几何校正并且裁减出宽2 4 成本。 2 2 人脸检测的方法 对于一个人脸识别系统，人脸检测的好坏直接影响到系统的性能， 一个好的人脸检测算法应该能从复杂的背景中准确定位人脸，并将人脸 从背景中分割出来，并且具有较小的漏检率和虚警率。目前人脸检测方 法大致可分为基于统计和基于知识的两类 7 ，l o 】。前者将人脸图像视为 一个高维向量，从而将人脸检测问题转化为高维空间中分布信号的检测 问题；而后者则利用人的知识建立若干规则，从而将入脸检测问题转化 为假设验证问题。 2 2 1 基于统计的人脸检测方法 ( 1 ) 事例学习：将人脸检测视为区分非人脸样本与入脸样本的两类 模式分类问题，通过对人脸样本集和非人脸样本集进行学习以产生分类 器。目前普遍采用人工神经网络和支持向量机【8 ，1 1 】。本文采用神经网络 作为入脸检测的第一级检测器。采用2 层前向b p 神经网络，输入层为 2 4 * 2 8 = 6 7 2 个节点，对应于图像的子窗口大小。隐含层为2 0 个节点，输 出为一个节点，输出值为1 到1 之间，l 表示人脸，1 表示非人脸。图 2 2 为本文所使用的神经网络模型，隐舍层和输出层都使用( t a n s i 8 ) 双 曲正切s 型( s i g m o i d ) 传递函数的神经元。图2 3 为双曲正切s 型传 递函数的曲线图。 图2 2 神经网络模型 神经网络的训练集由两类样本组成，一组为人脸图像，我们选取了 1 0 0 幅含有人脸的灰度图片，用手工标定了15 0 幅个人脸的瞳孔、嘴角 等特征点，根据这些特征点，对各个人脸进行几何校正并且裁减出宽2 4 基于子空间的人脸图像处理与识别方法研究 高2 8 人脸区域，进一步，为了提高神经网络的泛化能力，在几何校正时 引入如下变换：( 1 ) 左右镜像；( 2 ) 纵向拉伸1l 倍：( 3 ) 尺度放大l1 倍：( 4 ) 左右旋转5 度。经过上述变换的组合，每个人脸可以生成2 4 个不同的原始人脸样本，共计3 6 0 0 个。对它们进行直方图均衡化、光照 不变性、亮度均衡化后，随机选取3 0 0 个作为人脸样本。另一组为5 0 0 个非人脸区域组成，大小也是宽2 4 高2 8 像素的灰度图像。非入脸样本 的构造使用自举方法( b o o s t ) 。下面为本文所采用的自举方法【1 1 ，1 4 】： 1 ) 建立一个仅有人脸样本集的初始样本集训练系统 2 ) 用测试样本对系统进行测试，把所有错误报警( 不是人脸而被错 检为人脸的结果加入非人脸样本集) 3 ) 用新的非人脸样本集和人脸样本集重新训练系统 4 ) 以上过程不断迭代，直到收集到足够的非人脸样本 图2 4 为部分人脸和非人脸训练样本。 d = t a n j _ i 瘿，r j 图2 3 双曲正切s 型传递函数 图2 4 神经网络训练样本集部分样本( 第一行为人脸样本，第二行为非人脸样本) ( 2 ) 子空闻方法：p e n t l a n d 等将k l 交换引入到人脸检测中，在， 、 脸识别中利用的是主元子空间，而在人脸检测中则利用的是次元子空间 ( 特征脸空间的补空间) 。用待检测样本在次元子空间上的投影能量，也 即待检测样本到特征脸子空间的距离作为检涣4 统计量，距离越小，表明 越像人脸。子空间方法的特点在予简便易行，但由于没有利用反例样本 信息，对于与人脸类似的物体辨别能力不足。 ( 3 ) 空间匹配滤波器方法：包括各种模板匹配方法、合成辨别函数 方法等。 2 2 2 基于知识建模的人脸检测方法 ( 1 ) 器官分布规则：虽然人脸在外观上变化很大，但遵循一些普遍 适用的规则，如五官的空间位置分布大致符合三停五眼等，检测图 像中是否有人脸即是检测该图像中是否存在满足这些规则的图像块。这 种方法一般有两种思路：一种是“从上到下”，其中最为简单有效的是 y a n g 等人提出的m o s a i c 1 2 ，1 3 ，15 ，它给出了基于人脸区域灰度分布的 规则，依据这些规则对图像从低分辨率到高分辨率进行筛选，以样本满 足这些规则的程度作为检测的判据。另一种思路则是“从下至上”，先直 接检测几个器官可能分布的位置，然后将这些位置点分别组合，用器官 分布的几何关系准则进行筛选，找到可能存在的人脸。因为人脸器官和 周围图像的灰度有所不同，例如：眼睛、鼻子、嘴等器官比周围图像的 灰度值小，变化比较大。据此可以建立人脸器官特征的知识库。 本文采用人脸图像的三分图模型。如图2 5 所示，三分图模型考虑到 人脸的生理结构特点，充分利用了人脸器官的自然分布，即从人脸的生 理结构上讲，两眼睛的内眼角之间的距离约为一个眼睛长度，根据图2 5 所示的三分图子块划分，子块0 对应于左眼区域，子块2 对应于右眼区 域，子块4 对应于鼻子区域，子块7 对应于嘴巴区域，子块( 3 ，6 ，5 ， 8 ) 对应于两侧面颊区域，当然，对于不同的脸形，会存在一点偏差，例 如，左眼并不完全在子块0 位置，嘴巴不完全在子块7 位置，但这并不 会影响规则的作用，因为提取的特征是子块区域的整体特征。 ol2 345 67 8 图2 5 三分图及其编号 接下来要从模型中抽取恰当的特征统计量，通过对人脸的照片的观 ( 3 ) 空间匹配滤波器方法：包括各种模板匹配方法、合成辨别函数 方法等。 2 2 2 基于知识建模的人脸检测方法 ( 1 ) 器官分布规则：虽然人脸在外观上变化很大，但遵循一些普遍 适用的规则，如五官的空间位置分布大致符合三停五眼等，检测图 像中是否有人脸即是检测该图像中是否存在满足这些规则的图像块。这 种方法一般有两种思路：一种是“从上到下”，其中最为简单有效的是 y a n g 等人提出的m o s a i c 1 2 ，1 3 ，15 ，它给出了基于人脸区域灰度分布的 规则，依据这些规则对图像从低分辨率到高分辨率进行筛选，以样本满 足这些规则的程度作为检测的判据。另一种思路则是“从下至上”，先直 接检测几个器官可能分布的位置，然后将这些位置点分别组合，用器官 分布的几何关系准则进行筛选，找到可能存在的人脸。因为人脸器官和 周围图像的灰度有所不同，例如：眼睛、鼻子、嘴等器官比周围图像的 灰度值小，变化比较大。据此可以建立人脸器官特征的知识库。 本文采用人脸图像的三分图模型。如图2 5 所示，三分图模型考虑到 人脸的生理结构特点，充分利用了人脸器官的自然分布，即从人脸的生 理结构上讲，两眼睛的内眼角之间的距离约为一个眼睛长度，根据图2 5 所示的三分图子块划分，子块0 对应于左眼区域，子块2 对应于右眼区 域，子块4 对应于鼻子区域，子块7 对应于嘴巴区域，子块( 3 ，6 ，5 ， 8 ) 对应于两侧面颊区域，当然，对于不同的脸形，会存在一点偏差，例 如，左眼并不完全在子块0 位置，嘴巴不完全在子块7 位置，但这并不 会影响规则的作用，因为提取的特征是子块区域的整体特征。 ol2 345 678 图2 5 三分图及其编号 接下来要从模型中抽取恰当的特征统计量，通过对人脸的照片的观 基于子空间的人脸图像处理与汉州方i 去g f 冗 察，可以发现人脸灰度分布具有明显的特点，如两眼睛、鼻孔、嘴巴中 间的灰度值比周围低；同时，人脸图像还具有很多的梯度信息，如眼睛、 嘴巴、鼻子等部位的边缘信息比人脸的其他部位更丰富。因此，根据人 脸图像的灰度和梯度信息，可以得到下面两个知识规则库： 1 ) 灰度规则库( g l i 表示i 子块平均灰度值) 规则1 ：g o 】 g 3 ，且g 2 】 g t 5 j 规则2 ：g o 】 g c l 】，且g 2 】 g 1 规贝3 ：g 0 1 + g 1 + g 2 n 6 】 规则2 ：t 2 】 玎5 】，且r 2 】 r 8 】 规则3 ：r i o 】 玎l 】，且t 2 】 z 1 规则4 ：r 【4 】 t 3 】，且t 4 】 r 5 1 规则5 ：t 7 】 7 1 6 】，且t 7 】 玎8 】 上面建立了九条规则，对于一个人脸候选图像，每满足一条规则它的 置信度增加0 1 ，所有规则测试完之后，即可得到该图像的置信度，当 它小于预设好的阀值( 0 7 ) 时，认为它不是人脸，否则，则进入下一阶 段判断。 ( 2 ) 轮廓规则：人脸的轮廓可以看成一个近似椭圆的形状，而人脸 检测可以通过椭圆检测来完成。g o y i n d a r a j u 提出认知模型方法，将人脸 建模为两条直线和上下两个弧，通过修正h o u g h 变换来检测直线和弧。 t a n k u s 则利用凸检测的方法进行人脸检测。 ( 3 ) 颜色、纹理规则：同民族人的面部肤色在颜色空间中的分布相 对集中，颜色信息在一定程度上可以将人脸从大部分背景中区分开来。 l e e 等设计了肤色模型表征人脸颜色，利用感官模型进行复杂背景下人 脸及器官的检测与分割。d a i 利用了s g l d ( 空间灰度共生矩阵) 纹理图 信息作为特征进行低分辨率的人脸检测。s a b e r 等将颜色、形状等结合 在一起来进行人脸检测。 ( 4 ) 对称性：人脸具有一定的轴对称性，各器官也具有一定的对称 性。z a b r o d s h k y 提出连续对称性检测方法，检测一个圆形区域的对称性， 从而确定是否为人脸：r i e s f i e l d 提出广义对称性变换方法检测局部对称 性强的点来进行人脸器官的定位。我们则定义方向对称变换，分别在不 同方向上考察对称性，不仅能够用来寻找强对称点，而且可描述有强对 尚京航空航天大学硕士i 八文 称性物体的形状信息，在进行人脸器官定位时更为有效。本文利用人脸 整体的对称性来检测候选图像是否是人脸： 令( y ) 代表从待识别图像中选取的候选图像，图像的宽度和高度分 别为w 、h ： hw ，2 乃= i f ( x ，y ) 一f ( w x ，y ) i ( 2 1 ) y - - oz = 0 hw s = ，( t ，) ( 2 2 ) y = o # 0 v ：t s s( 2 3 ) 当矿小于预设好的阀值( 0 4 左右) 时，认为该候选图像不是人脸， 否则进入下一级检测。 2 2 3 基于各种模型组合的人脸检测方法 该方法是综合各种人脸检测方法，用多种方法进行级联或者多种方法 分别检测，然后进行投票决策等方法检测人脸。这种组合的方法通常可 以得到较小的误警率。本文所采用的人脸检测方法即是一种级联的检测 方法，下面是该算法的基本思想，图2 6 为该算法的流程图： 1 ) 对待检测图像先进行亮度、对比度等归一化处理，具体处理过程 将在本文下一节中讨论。 2 ) 经过预处理的图像，使用人工神经网络对其进行检测，当神经网 络输出小于给定阀值时，认为该图像不是人脸。当输出大于给定 阀值时，则把该图形送入下一级检测器继续进行检测，以减小误 警率。阀值的选择会影响到系统的识别率和误警率，当阀值取的 较高时系统会有较小的误警率，但会使识另0 率减小。反之，当阀 值较小时，识别率会增加，但同时会使系统有较大的误警率。因 此识别率和误警率是一对矛盾体，要根据实际系统的性质及要求 进行权衡，以确定阀值大小。 3 ) 经过第二步的检测不能确定为非人脸的图像进入本级的对称性检 测，不满足对称性要求时，认为该图像非人脸，否则进入下一级 检测器。具体的检测算法已经在2 2 2 节的第四部分讨论过了， 在此不再赘述。 4 ) 对通过第三步检测的图像，继续使用本级检测图像的器官分布特 点，按照上一小节中关于脸部器官的灰度及梯度特点建立起来的 9 条规则来判断是否是人脸。当满足人脸的条件时认为输入图像 尚京航空航天大学硕士i 八文 称性物体的形状信息，在进行人脸器官定位时更为有效。本文利用人脸 整体的对称性来检测候选图像是否是人脸： 令( y ) 代表从待识别图像中选取的候选图像，图像的宽度和高度分 别为w 、h ： hw ，2 乃= i f ( x ，y ) 一f ( w x ，y ) i ( 2 1 ) y - - oz = 0 h w s = ，( t ，) ( 2 2 ) y = o # 0 v ：t s s ( 2 3 ) 当矿小于预设好的阀值( 0 4 左右) 时，认为该候选图像不是人脸， 否则进入下一级检测。 2 2 3 基于各种模型组合的人脸检测方法 该方法是综合各种人脸检测方法，用多种方法进行级联或者多种方法 分别检测，然后进行投票决策等方法检测人脸。这种组合的方法通常可 以得到较小的误警率。本文所采用的人脸检测方法即是一种级联的检测 方法，下面是该算法的基本思想，图2 6 为该算法的流程图： 1 ) 对待检测图像先进行亮度、对比度等归一化处理，具体处理过程 将在本文下一节中讨论。 2 ) 经过预处理的图像，使用人工神经网络对其进行检测，当神经网 络输出小于给定阀值时，认为该图像不是人脸。当输出大于给定 阀值时，则把该图形送入下一级检测器继续进行检测，以减小误 警率。阀值的选择会影响到系统的识别率和误警率，当阀值取的 较高时系统会有较小的误警率，但会使识另0 率减小。反之，当阀 值较小时，识别率会增加，但同时会使系统有较大的误警率。因 此识别率和误警率是一对矛盾体，要根据实际系统的性质及要求 进行权衡，以确定阀值大小。 3 ) 经过第二步的检测不能确定为非人脸的图像进入本级的对称性检 测，不满足对称性要求时，认为该图像非人脸，否则进入下一级 检测器。具体的检测算法已经在2 2 2 节的第四部分讨论过了， 在此不再赘述。 4 ) 对通过第三步检测的图像，继续使用本级检测图像的器官分布特 点，按照上一小节中关于脸部器官的灰度及梯度特点建立起来的 9 条规则来判断是否是人脸。当满足人脸的条件时认为输入图像 基十子空间的人脸图像处理与识别方法研究 为人脸，否则该图像非人脸。 圈2 6 人脸检测流程图 1 0 湘京航空航天犬二硕士论文 2 2 4 人脸定位算法 2241 人脸定位算法思想 为了解决多尺度问题，将输入图像以12 比率不断重新采样，产生 一系列的金字塔图像( 如图2 7 所示) 。我们将上面讲的人脸检测器看作 图2 7 金字塔图像 一个滤波器，对各个金字塔图像进行滤波，得到卷积图像。卷积图像中 每个像素代表相应的检测窗口图像经过检测器所得到的输出值( 即置信 值，其值代表为人脸的可能性大小) 。可以看到，由于训练神经网络的人 脸样本经过缩放等变换，加上神经网络本身所具有的泛化能力，使得真 实的人脸可以在两个乃至三个不同伸缩率的图像中的一定区域内产生高 值输出。同时，人脸检测器也会产生一些错误报警，但一般是比较孤立 的。如果根据滤波器的输出直接产生代表人脸的矩形框，将产生远远多 于真是人脸数目的输出，并且也会有许多错误报警。因此，一方面需要 利用尺度空间与位置空间的相关性，综合各个尺度和位置的滤波输出值； 另一方面也要充分利用数值信息，定位出最佳的人脸矩形框。 综合以上考虑，并参考r o w l e y 8 ，9 】综合多尺度的神经网络信息进行 人脸定位的方法，结合我们的实际问题，我们提出了如下的人脸定位算 法： 1 ) 首先将金字塔图像系列中相邻的每三幅卷积图像进行加权叠加。令第 n 个尺度对应的三幅相邻卷积图像为，。 y ) ，。 ，力和，。( x ，y ) ，采用双 线性插值的方法将l 一。( x ，y ) 和，。( x ，y ) 重新采样为l o ，力的尺度，得到 ，。( x ，y ) 和k 。( r ，j ，) 。然后计算加权平均图像： ( w ) = 争，。 ，j ，) + 2 ，。( w ) + ，。( w ) 考虑l ，y ) 中5 x 5 的领域内的相关性， ( 2 4 ) 将其中的数值加权求平均得到用 越于子空间的人脸图像处理与u 别方法研究 f - 人脸定位的图像，即对t ( x ，y ) 作卷积运算，卷积核为5 x 5 的高斯核 h ( i ，) = 00 0 0 500 0 5 000 1 0 90 0 0 5 00 0 0 0 5 00 0 5 000 5 2 201 1 4 100 5 2 20 ，0 0 5 0 00 1 0 901 1 4 l02 4 9 101 1 4 100 1 0 9 00 0 5 000 5 2 201 1 4 l00 5 2 200 0 5 0 00 0 0 500 0 5 000 1 0 90 0 0 5 000 0 0 5 22 f n ( x ，y ) = h ( i ，抄l ( x + i ，y + j ) ( 2 - 6 ) 一2 1 5 。2 处理过程如图2 8 所示，图中每一个像素的数值代表了相应位置和 尺度的图像窗口与人脸的相似程度，称之为“相似度图像”。 2 ) 为了定位出最佳的人脸矩形框，并合并相邻人脸矩形框，采用如下的 搜索局部最优点的算法；首先建立候选人脸列表并置空，分别对各个相 似度图像逐行逐列的扫描每一个数值，若大于设定的阀值，则将相应的 代表人脸的矩形加入候选人脸列表。加入时若与列表中已有的入脸发生 重叠，则以相似度为权值对该人脸位置进行修正，并把新加入点的相似 度加到该人脸的相似度上，如图2 8 ( c ) 所示。然后将各个尺度的搜索 合并的结果映射回原输入尺度，再进行重叠的判断和处理，从而得到最 终的结果，如图2 8 ( f ) 所示。 ( a ) 金字塔 ( b ) 卷积图( c ) 多尺度加权平 ( d ) 映射为 ( c ) 和并相邻 ( f ) 人脸 图像像均并和并相 原尺度点定位结 邻点果 图2 8 人脸定位的处理过程 22 41 人脸定位快速算法 直接使用上面的算法时，要对每个尺度下每个位置的子窗口应用人脸 检测器进行检测，其搜索数量巨大。通过研究本文的检测器发现，作为 第一级检测器的神经网络的具有很强的选择性：即背景上的子窗口图像 图2 9 神经网络输出特性 在检测器上的输出相对于人脸部位子窗口的输出值很小，而且在人脸部 位置周围子窗口检测器输出是单调增函数【1 4 ，1 6 】，如图2 9 所示： 根据这些特性我们建立了下面的算法来减少所需检测的子窗口，从而 提高人脸定位速度： 1 ) 在各种尺度下，对每个网格的交点对应的子窗口进行检测，网格宽度 和高度可以改变，如图2 1 0 所示： 图2 1 0 网格图像 2 ) 当在网格某点处的输出大于设定的阀值1 ( t h r e s h o l d l ) 时，在该点 附近改为小步长搜索，对每个点处的子窗口进行检测。 3 ) 当该点附近某处的检测输出值大于给定阀值2 ( t h r e s h o l d 2 ) 时，把 该子窗口的参数存到r 中，每个子窗口的参数信息由它的坐标、缩放系 数、检测输出值组成。 4 ) 在每尺度下，消除并合并所检测到的子窗口，并以检测值为权值修 正新的子窗口的坐标和检测输出值。 羔：! ! 竺型塑堕塑堡竺些竺坚! ! 塑鲨堕壅 5 ) 把4 ) 中合并后的子窗口映射回原始尺度，重新消除重叠的子窗口， 并按照检测输出值作为权值修正坐标、缩放系数和最终检测输出值。 6 ) 由合并后的子窗口的参数，及原始图像，确定检测到的人脸坐标及尺 寸。 由于上面的算法只在人脸附近区域作完全的搜索，因而大大减少了 所需检测的子窗口数量。例如一幅1 0 0 x 1 0 0 的图像，如果作1 0 次尺度缩 放，将要对约1 0 0 + 1 0 0 + 1 0 = 1 0 0 0 0 0 个子窗口进行检测。当使用上面的算 法时，如果