（计算机应用技术专业论文）复杂背景下人脸检测与识别技术研究.pdf

j i ! 2 ：兰三：j i ：圭i 譬l i ：鎏j ： 一 摘要 人脸检测与识别技术是一种重要的生物特征验证手段，在安全访问控制、 视觉监测、智能用户接口、基于内容的图像检索等方向有着重要的应用。 本文在研究了人脸检测和识别的基本理论和关键技术的基础上，重点讨论 了在复杂背景和可变光条件下，彩色静止图像的人脸检测和识别问题，它包含 基于肤色的人脸粗检测和基于人眼的细检测、基于主成分分析法的人脸特征提 取和基于改进的神经网络人脸识别四个主要模块。 首先，对人脸肤色的聚类特性进行了研究，基于不同的颜色空间肤色聚类 结果的对比，本文选择了y c b c r 颜色空间，接着建立高斯肤色模型，对人脸 图像进行相似度计算，采用基于梯度调整的改进o t s u 算法进行自适应闽值肤 色分割，最后通过数学形态学处理，排除部分假区域( 非肤色区域) ，实验证 明该方法可以有效地从复杂背景下的彩色人脸图像中提取出较准确的肤色。 其次，利用边缘检测算法、制定人脸规则，排除类肤色和明显非人脸区域， 接着根据人眼灰度特征和人眼区域复杂度特点，改进了一种人眼精确定位算 法，实验证明该方法可以精确地提取出人眼，然后根据人眼几何特征提取出人 脸，并归一化、标准化。 随后，利用p c a 算法读取人脸库，训练形成特征子空间，接着把训练图 像和识别图像投影到该特征子空间中，得到对应的特征向量和特征值，然后通 过传统的和基于改进的b p 神经网络算法对人脸进行训练和识别。通过实验结 果分析，证明改进的b p 方法识别率更高，训练次数也远远小于传统的b p 神 经网络方法，识别时间也明显少于传统的b p 神经网络算法，为复杂背景下实 时人脸检测和大型人脸库的快速准确识别提供了可能。 最后，给出一个复杂背景下的人脸检测和识别系统的架构，并用v i s u a l c + + 实现了人脸检测系统，结论表明该人脸检测系统适用于复杂背景下的人脸 检测，并且具有较强的鲁棒性。对于特征提取和识别系统通过m a t l a b 仿真实 现，结论表明提取和识别系统对o r l 人脸库样本有很高的识别率。 关键词：肤色分割；人脸检测：特征提取；人脸识别 b p 神经网络 当至：三銮兰翟圭主譬兰兰盒： a b s tr a c t f a c ed e t e c t i o na n dr e c o g n i t i o nt e c h n o l o g yi s a n i m p o r t a n t m e t h o df o r i d e n t i t y a u t h e n t i c a t i o nb a s e do nb i o l o g i c a lc h a r a c t e r i s t i c ，i th a si m p o r t a n ta p p l i c a t i o ni nt h ea r e a s o fs a f e t ya c c e s sc o n t r o l ，v i d e o s u r v e i l l a n c e ，i n t e l l i g e n th u m a n c o m p u t e r i n t e r f a c e sa n d c o n t e n t b a s e dr e t r i e v ee t c t h i sp a p e rg i v e sar e v i e wo nt h eh i s t o r yo ff a c ed e t e c t i o na n dr e c o g n i t o n ，t h e nm a i n l y d i s c u s s e st h ef a c ed e t e c t i o np r o b l e m si ns t a t i cc o l o ri m a g ei nc o m p l e xb a c k g r o u n da n d v a r y i n gi l l u m i n a t i o n i tc o n s i s t so ff o u rm a i np a r t s ：i m a g e - s e g m e n t i n gp r e p r o c e s s i n gb a s e d o ns k i nc o l o ra n df r o n t a lf a c ed e t e c t i o nb a s e do ne y eg r a y , f e a t u r ee x t r a c t i o nb a s e do np c a a n df a c ed e t e c t i o nb a s e do ni m p r o v e db pa l g o r i t h m f i r s t ，s t u d yt h ec l u s t e r i n gc h a r a c t e r i s t i c so ff a c ec o l o ru n d e rs o m ec o l o rs p a c e s ，t h e n c h o o s ey c b c rm o d e l sf o rs k i ns e g m e n t a t i o n ，e s t a b l i s haf a c eg a u s sm o d e l ，m a k eu s eo ft h e o s t u a l g o r i t h mi m p r o v e dt oc a r r yo u ts k i nc h e e kf o rf a c ei m a g e ，h a n d l ei ti nm a t h e m a t i c s m o r p h o l o g y t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e da p p r o a c hi se f f e c t i v et od e t e c t h u m a ns k i no fa n yn u m b e rw i t ha n yp o s e si na n yb a c k g r o u n d s e c o n d ，m a k eu s eo fb o r d e rd e t e c t i o na l g o r i t h ma n dw o r ko u tf a c er e g u l a t i o n ，r e m o v e s i m i l a r i t y s k i na n d o b v i o u si n h u m a nf a c ea r e a a c c o r d i n gt oe y eg r a ya n de y ea r e a c o m p l i c a t e dd e g r e ec h a r a c t e r i s t i c ，i m p r o v eak i n do fe y ed e t e c tm e t h o d ，a n dn o r m a l i z e s ， s t a n d a r d i z e sf o rf a c ei m a g e t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ee y e sc a nb ed e t e c t e db y t h ep r o p o s e da p p r o a c ha c c u r a t e l y t h i r d ，m a k e u s eo ft h ep c aa l g o r i t h mt oe x t r a c t f a c e f e a t u r e ，g e t t h e c h a r a c t e r i s t i c - v e c t o ra n dt h ec h a r a c t e r i s t i c - v a l u e ，c a r r yo u t t r a i n i n ga n dr e c o g n i z i n gf a c e a c c o r d i n gt ot h et r a d i t i o n a l a n di m p r o v e db pa l g o r i t h m ，t h ee x p e r i m e n t a lr e s u l t si n d i c a t e t h a tt h ei m p r o v e db pa l g o r i t h mc a r li m p r o v er e c o g n i t i o nr a t ea n dr e d u c et r a i nt i m ef a r t h e r f i n a l l y , af a s td e t e c t i o na n dr e c o g n i t i o ns y s t e mf o ri m a g e si nt h ec o n d i t i o no fc o m p l e x b a c k g r o u n di sp r o p o s e da n di m p l e m e n t e db yv i s u a lc + + a n dm a t l a b t h em o d e ls y s t e m a c c o m p l i s h e sf a c ed e t e c t i o na n dr e c o g n i t i o nf r o mi m a g e si nc o m p l e xb a c k g r o u n dr o b u s t l y a n da c c u r a t e l y k e yw o r d s ：s k i ns e g m e n t a t i o n ；f a c ed e t e c t i o n ；f e a t u r ee x t r a c t i o n ；f a c er e c o g n i t i o n ； b pn e u r a ln e t w o r k 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得山东理工大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名 镰铬云 时间： d 7 年6 月f i 关于论文使用授权的说明 本人完全了解山东理工大学有关保留、使用学位论文的规定，即：学校有权保留送 交论文的复印件和磁盘，允许论文被查阅和借阅；学校可以用不同方式在不同媒体上发 表、传播学位论文的全部或部分内容，可以采用影印、缩印或扫描等复制手段保存、汇 编学位论文。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名：幺辱籍厶 导师签名： 占、1 承h 时间：。7 年f 月留f i 时间： 口7 年f 月g 同 当耋：銮：2 ：耋竺竺三釜= 兰兰兰 1 1 选题的背景和意义 第一章绪论 近年来，随着计算机技术的迅速发展，生物特征的识别技术得到广泛研究 与开发，如指纹识别、掌形识别等。人脸识别是基于脸像的身份鉴别，旨在使 计算机具有通过脸像来鉴别身份的功能，与其它人体生物特征识别技术相比具 有直接、友好和方便的特点，是最自然直接的手段，易于为用户所接受。 人脸检测与识别( f a c ed e t e c t i o na n dr e c o g n i t i o n ) 就是对给定的动态或静 态图像序列进行分析，进而从中检测并提取出有效的识别信息。通过已有的人 脸库来“辨认”或“确认”一个或多个人身份，是生物特征识别技术应用于身 份验证的一种，主要包括人脸检测部分和人脸识别部分。由于人脸有复杂的三 维表面结构，同时面部肌肉的运动使得人脸成为一种非刚性目标，与刚性目标 识别相比，非刚性目标的识别更困难。人脸表情丰富，而且随着年龄增长而变 化，以及受光照、成像角度和成像距离等因素变化的影响，所得到的人脸图像 会有很大变化。此外，所有人脸都具有相似的结构特征，而同一人的不同面部 图像由于采集条件的变化会发生较大的变化，所以人脸识别算法必须挖掘不同 类别间微妙而可靠的差别。所有这些都极大地增加入脸识别工作的难度。总之 人脸识别是一项涉及到图像处理、计算机视觉、模式识别以及神经网络等学科 的极富有挑战性的课题。 在国内，已经有一些学校和科研机构从事人脸检测与识别相关的研究，有 一些相关的作品问世。但是，由于我国对人脸的研究起步较晚，尽管对正面人 脸图像的研究上取得了显著的成果，但成形的产品质量并不高，不能满足日益 增长的市场需求；对怎样从复杂的背景下检测出人脸的研究还刚刚起步，所采 用的算法往往准确度不高，检测速度不快；所采用的识别算法也往往针对背景 简单的正面人脸图像，对复杂的多姿态人脸图像的识别效率不高，所生成的系 统运行速度不快，不能适应实时性要求。 本论文主要对复杂背景下人脸的检测与识别技术展开了研究。在研究过程 中，主要对肤色提取、人脸细检、特征提取和人脸识别，以及最后实现一个基 于复杂背景下人脸检测系统和人脸识别系统进行了探讨。通过编程实现一个初 级的、鲁棒的复杂背景下人脸检测系统，并且该系统稍加修改可用于多个领域 中，通过m a t l a b 仿真实现了人脸识别系统，为以后的研究提供了一个良好的平 台。 山东理t 人学硕卜学位论文第一章绪论 1 2 人脸检测与识别的研究状况 在人脸检测与识别方面，人类最早的研究工作至少可追溯到二十世纪五十 年代在心理学方面的研究和六十年代在工程学方面的研究。其中1 9 5 4 年 j s b r u n e r 和1 9 6 4 年b l e d s o e 分别从心理学和工程学的角度对人脸检测与识别 进行了阐述l lj 。但由于受技术条件的限制，发展缓慢，因而在最初的二三十年 里关于这个课题只有少量的论文出现。八十年代开始，随着计算机技术及图像 处理和模式识别技术的发展，人脸识别技术受到重视并得到了进一步的发展。 进入九十年代以后，由于各方面对人脸识别系统的迫切需求，人脸识别的 研究变得热门起来。近十年来，国际上发表有关人脸检测与识别方面的论文数 量大幅度增加，每年的国际会议上关予人脸检测与识别的专题也屡屡可见。与 此同时，一些科研单位和公司开始将研究成果转移为实用产品，如m i c r o s o f t 公司的t r u e f a c e ，v i s i n o e s 公司的f a c e l t ，以及z nb o c h u mg m b h 公司研制的 z n f a c e 等【2 1 。 不同的研究团体，其研究产品所采用的核心方法各有不同，最后的结果看 来都不错，这些方法包括：以c m u 为代表的神经网络方法；以m i t 为代表的 支持向量机方法：以b e r k e l e y 为代表的随机图匹配方法以及以l e i d e n 大学为 代表的信息论方法。国内的许多研究机构在自然科学基金、8 6 3 计划和攀登计 划等资助下，也开始了对人脸检测与识别的研究口l 。 但是我们也应该看到，不论是国际上的还是国内的研究成果与真正的实用 还距离甚远，特别是在系统和识别策略优化与组合方面的研究还只是起步阶 段。人脸检测与识别技术走向应用还需要我们长期艰苦的努力。 目前常见的人脸识别库有m i t 库、c m u 库、y a l e 库、o r l 库和f e r e t 库，这些库因其规模较小，主要用于学术研究，用来测试比较人脸识别算法在 某些方面的能力。 目前测量人脸检测的主要性能指标是误检率( f a l s e a c c e p t r a t e ，f a r ) ：这 是将非人脸误作人脸的概率；测量人脸识别的主要性能指标有：( 1 ) 误识率 ( f a l s ea c c e p tr a t e ，f a r ) ：这是将其他人误作指定人员的概率；( 2 ) 拒识率( f a l s e r e j c o tr a t e ，f r r ) ：这是将指定人员误作其它人员的概率。 1 3 人脸检测与识别的遇到的挑战 人脸检测与识别系统虽然有诱人的应用前景，但是在现实中却还没有开始 大规模的使用。其主要原因之一就是计算机自动进行人脸的检测和识别十分困 2 山东理t 大学硕十学位论文第一覃绪论 难，目前的检测和识别的效果( 检测率、识别率和速度) 不如其它的生物识别 技术。对于目前所面临的困难可以归结以下两方面”聆： ( 1 ) 人脸模式的可变性，主要包括以下几点： 人脸具有相当复杂的细节变化，不同的外貌，如脸形、肤色等；不 同的喜怒哀乐表情；以及局部特征，如眼睛、嘴的开和闭等。 人脸遮挡，如眼镜、胡须、头发和头部饰物以及其他外部遮挡物等。 发型的变化，化妆的浓淡程度等。 ( 2 ) 外界场景的复杂性，主要包括： 由于成像角度的不同造成人脸的多姿态，如平面内旋转、深度旋转 和上下旋转，其中深度旋转影响较大。 光照的影响，如图像中的亮度、对比度的变化和阴影等。 图像成像的背景复杂多样。 由于以上的两个方面的原因，使人脸检测与识别研究一直很难取得满意的 结果。由此可见，人脸检测和识别有很大的难度，但是对这一问题的深入研究 不仅可以不断完善对此问题的解决，还会附带解决很多诸如汽车、动物等其它 物体的检测，而且必将推进模式识别、计算机视觉和人工智能等计算机科学分 支的发展。在近十年，人脸检测和识别问题得到广泛的关注和长足的发展，国 内外很多研究人士也提出了很多方法，在不同的领域取得了一定的成果。但是 对于寻找一种能够普遍适用于复杂背景的准确率很高的算法，还处于起步阶 段，还有很大的探索空间。 1 4 本文的主要研究工作 本文主要研究了复杂背景下的静态图像人脸检测与识别问题。首先在彩色 图像中进行肤色分割，再提取出入眼，根据人眼提取出人脸，并进行归一化、 标准化，然后提取特征，最后完成识别。主要研究工作如下； ( 1 ) 彩色图像的肤色分割问题 在分析各种彩色空间和肤色模型的基础上，就彩色空间的选择和肤色模型 的建立阐述了自已的见解，对参照白光照补偿算法进行了适当改进，在自适应 阈值分割方面，通过对o t s u 算法和传统的最大熵法进行对比研究，提出了一 种基于梯度调整改进的o t s u 算法。该算法更好地克服了光照等变化对人脸检 测带来的影响，能较准确地计算出分割阈值，从而有效地将肤色区域从复杂背 景下分割出来，最后通过数学形态学处理，排除部分假区域( 非肤色区域) 。 ( 2 ) 基于边缘检测和人跟灰度特征的入脸检测问题 山东理t 大学硕卜学位论文第一帝绪论 i 对肤色区域进行边缘检测，利用人脸区域面积等规则排除明显非人脸区域 和噪声，接着将处理后的彩色图像转为灰度图像，再利用人眼的灰度特性和人 眼区域的对称特点，改进了一种基于模板和人眼复杂度的人眼检测算法，实验 证明，该改进算法在人眼检测过程中非常准确。最后利用人眼进行人脸提取， 并对图像归一化、标准化。 ( 3 ) 灰度图像的特征提取和人脸识别问题 利用p c a 算法读取入脸库，训练形成特征子空间，接着把训练图像和识 别图像投影到该特征子空问中，得到对应的特征向量和特征值，然后通过传统 的和基于改进的b p 神经网络方法对人脸进行训练和识别，并对o r l 入脸库加 上一组检测人脸进行实验。实验结果证明，基于改进的b p 神经网络算法在识 别率，训练次数等方面明显优于传统的b p 算法。 1 5 本文的章节安排 第一章，绪论。主要介绍了人脸检测与识别的背景知识、研究意义、国内 外的研究状况和人脸检测与识别所面临的困难，最后简要阐述了本文的主要研 究工作和章节安排。 第二章，人脸检测与识别技术综述。从一个完整的人脸检测与识别系统出 发，在收集目前国内外相关参考文献的基础上，整理了系统每个模块使用的各 类方法，并分析了各类方法的优缺点。 第三章，基于肤色分割的人脸粗检测。本章主要改进了一种基于肤色的人 脸粗检测方法，它是针对复杂背景下，肤色是人脸最显著的特点，并且肤色在 y c b c r 色彩空间具有聚类特性而设计的，建立高斯肤色模型，进行相似度计算， 然后进行肤色分割。 第四章，基于人眼的人脸检测。首先对肤色区域进行边缘检测，制定人脸 规则，排除类肤色和明显非人脸区域，接着基于人眼灰度和复杂度特点进行人 眼定位，然后根据双眼的对称性进行人脸位置矫正，最后进行归一化。 第五章，特征提取和人脸识别。本章首先基于主成分分析法降维，接着用 传统的和改进的b p 神经网络进行人脸训练和识别，并在o r l 人脸库加上一 组检测结果图像进行识别，最后对实验结果进行了对比分析。 第六章，人脸检测与识别系统设计与实现。本章着重介绍了一个复杂背景 下的人脸检测和识别系统的架构，并用v i s u a lc + + 实现了人脸检测系统，对于 特征提取和识别系统通过m a t l a b 仿真实现。 第七章，总结和展望。对本文的研究成果进行了归纳总结，并展望了人脸 检测与识别技术的未来。 4 山东理t 大学硕十学位论文 第二章人脸检测与识别技术综述 第二章人脸检测与识别技术综述 人脸检测与识别系统( f a c e d e t e c t i o na n d r e c o g n i t i o ns y s t e m ) 主要由以 下几个基本部分构成：基本图像处理，入脸检测与定位，正规化，特征提取和 人脸识别，如图2 1 所示。它在工作的时候，主要完成四步工作： 第一，对人脸图像进行基本处理。主要包括人脸扶正( 旋转、剪贴和缩放) 、 人脸图像的增强及其几何归一化和灰度归一化等工作。 第二，对经过基本处理后的图像进行检测，判断图像中是否包含人脸。如 果包含有人脸，进一步确定图像中的人脸数目以及对各个人脸进行定位。 第三，从人脸图像中提取出该人脸图像的特征值。 第四，人脸识别。根据人脸的特征值，选择适当的匹配策略将得到的人脸 与数据库中的已知人脸相比较，确定是否为已知的人脸。 _ hnnnr _ 1 输出 l 获取图像h 基焘黔h 人芝秽h 正归化h 特征提取h 人脸识别p 果 图2 - 1 人脸检测与识别系统结构图 下面分别阐述人脸检测与识别系统的各个部分。 2 1 获取图像 图像获取又叫图像采集，是指利用数码相机或摄像头等各类采集设备来获 取图像或视频。对于市场上常用的数字摄像头，在w i n d o w s 系统中，我们 可采用v f w 方式或者d i r e c t s h o w 方式来采集摄像头传过来的数字信号。 对于复杂背景下的图像采集，一般需要采用高分辩率的数码相机或是高清晰的 摄像机。 2 2 基本图像处理 基本图像处理部分是入脸检测与识别过程中一个重要环节。由于本文是基 于复杂背景下进行人脸检测与识别技术的研究，图像采集环境非常复杂，如光 照明暗的程度以及设备性能的优劣等，往往还存有噪声、对比度不够等缺陷。 另外，距离远近、焦距大小等又使得人脸在整幅图像中的位置和大小不确定。 为了保证人脸图像中人脸位置、大小以及人脸图像质量的一致性，必须对图像 山东珲t 大学硕卜学位论文第二罩人脸枪测与识别技术综述 进行一些基本处理。 基本图像处理主要包括人脸扶正( 旋转、剪贴和缩放) 、人脸图像的增强 及其几何归一化和灰度归一化等工作。人脸扶正是为了得到人脸位置端正的人 脸图像；图像的增强是为改善人脸图像的质量，不仅产生视觉上更清晰图像， 而且使图像更有利于计算机的处理和识别，如对图像进行光照补偿。归一化工 作的目标是取得尺寸一致性，灰度取值范围相同的标准化人脸图像。下面简单 介绍一下基本图像处理的具体方法。 2 2 1 直方图均衡 宣方图均衡是一种点操作，它逐点改变图像的灰度值。尽量使各个灰度级 别都具有相同数量的像素点，这样就增加了像素灰度值的动态范围从而达到增 强图像整体对比度的效果。 设图像有n 个灰度级，m 个像素点，h f f n ) 是输入图像的直方图，图像g ( x ，川 为输入图像直方图均衡后的输出，依照式( 2 1 ) 和式( 2 - 2 ) 进行直方图均衡1 6 】： p ，( 甩) = 吉厨( 疗) n = l 2 一， ( 2 1 ) 1n = l g ( x ，y ) = n xp & f ( x ，y ) 】 ( 2 - 2 ) 2 2 2 非线性平滑滤波 无论是直接获取的灰度图像，还是由彩色图像转换得到的灰度图像，里面 都有噪声的存在，噪声的存在对边缘提取有很大的影响。非线性平滑滤波就是 让与周围像素灰度值的差比较大的像素改取与周围像素值接近的值，从而可以 消除孤立的噪声点。由于它不是简单的取均值，所以产生的模糊比较少。 非线性平滑滤波处理的的主要步骤如下： ( 1 ) 一般采用一个含有若干点的模板在待处理图像中漫游，并将模板中心与图 像的某个像素位置重合； ( 2 ) 读取模板下各对应像素的灰度值； ( 3 ) 将这些灰度值从小到大排成l 列； ( 4 ) 找出这些值里排在中问的1 个； ( 5 ) 将这个中间值赋给对应模板中心位置的像素。 6 山东理工大学硕忙学位论文第二章人脸榆测与识刖技术综述 2 2 3 归一化 人脸图像归一化的目的是使不同成像条件( 光照强度、方向、距离和姿势 等) 下拍摄的同一个人的照片具有一致性。人脸的归一化主要包括两方面的内 容，一是几何归一化，二是灰度归一化。 几何归一化也称为位置校准，它将有助于矫正因成像距离和人脸姿态变化 造成的尺寸差异及角度偏斜。它的目的是在于解决人脸尺度变化和人脸旋转问 题，具体包括人脸尺度归一化，平面人脸旋转矫正( 歪头) ，深度人脸旋转矫 正( 扭脸) 。 灰度归一化用来对不同的光强和光源方向下得到的人脸图像进行补偿，以 减弱单纯由于光照变化造成的图像信号的变化【6 】。 2 3 人脸检测与定位 人脸检测是指在输入图中确定所有入脸( 如果存在) 的位置和大小等的过 程。目前关于人脸检测与定位的算法主要依靠人类对人脸认识的规则性表述或 是利用人脸样本的统计特性来处理，其本质是寻找人脸区域区别于其它非人脸 区域的特征，符合这个特征的区域就是人脸区域。 人脸检测最早作为自动人脸识别系统中的一个关键环节，主要针对具有较 强约束条件的人脸图像( 如无背景的图像) ，往往假设人脸位置已知或很容易 获得，因此人脸检测问题并未受到重视。但是近几年随着电子商务等应用的发 展，它又不仅仅限于人脸识别，而作为一个单独的课题受到了日益广泛的重视， 如在电子政务、会议电视、视频监控、视频数据压缩、国家安全、金融和电予 商务等诸多方面具有广泛的应用。 人脸检测与定位的算法很多，按照不同的分类原则会产生不同的分类结 果。本章将目前已存在的人脸检测方法归纳为以下几类，并对各类方法进行了 整理分析。 2 3 1 基于知识模型的方法( k n o w l e d g e b a s e dm e t h o d s ) 这种方法是基于我们在认识人脸的过程中所总结出来的一些先验知识，把 它们归结成为一些复杂程度由简而繁的规则，从而实现对人脸的编码。例如， “一幅图像中出现的人脸，一般具有两个眼睛、一个鼻子和一张嘴”、“眼睛 一般位于人脸的上半部分，且相互对称，鼻子和嘴位于两个眼睛连线位置的下 方”等。将这一系列规则应用到输入图像中，搜索出符合规律的人脸区域。这 7 山东理t 大学硕 学位论文 第荦人脸榆删与识别技术综述 种方法的主要难点在于如何把人类感知的经验转化为合适的规则。如果规则太 具体，可能无法检测出那些通过所有规则的人脸，造成漏检率高；但是如果规 则太普通化，可能会导致许多错误的检测，从而误检率居高不下。此外，这种 方法也很难用于检测姿态各异的人脸。 y a n g 提出一种基于知识的层次性方法，该方法由三个层次的规则构成。 在最高层上，基于该层的规则来扫描输入图像，并且找出可能的人脸候选区域； 中间层的规则主要包含对人脸图像的概括性描述；最低层的规则主要包含了对 人脸的各个器官的描述【7 1 。虽然该方法并没有取得很高的人脸检测精度，但是 该方法所提出的马赛克方法和多层次方法给后续的人脸检测研究提供了很大 的启示。 该类方法的优点是如果使用丰富的人脸特征，能适用于复杂图像中的人脸 检测，当使用人脸特征少时。可实现实时检测与跟踪。缺点是在很大程度上依 赖于人脸的先验知识，且工作量大，运算时间长。 2 3 2 基于人脸特征的方法( f e a u t u r e b a s e dm e t h o d s ) 与基于知识规则的方法相比，该类方法主要是试图寻找人脸不变化的特征 对人脸进行检测。即首先采用各种数字图像处理方法对输入图像进行处理，根 据处理结果提取出某些特征，然后将这些特征与人脸所具有的共性特征进行比 较，借此来判断某一区域是否为人脸，其中肤色就是一种典型的人脸特征。 在彩色图像中，人脸的肤色是一个区别于非人脸的很显著的特征。因此， 利用人脸的肤色在彩色图像中检测人脸是一种很自然的想法。经研究表明：( 1 ) 人类皮肤的颜色在颜色空间中聚集于一个很小的区域里：( 2 ) 通过亮度归一化 可以大大地减少不同人乃至不同种族的人之间的肤色差异，即肤色的不同主要 体现在亮度上，而色度变化不大。 j c t e r r i l l o n 等对两种不同色度模型和在九种色度空间下的人脸检测性能 进行了分析和比较1 8 1 。对选取合适的颜色空间进行人脸检测提供了参考依据。 j o n e s 等搜集了上万张肤色区域标定的图像( 包括上十亿个像素点) 来建立肤 色和非肤色两类的直方图模型n 1 ，并且比较了直方图模型和混合高斯模型的性 能，得出前者检测精度和计算量两者性能都优于后者的结论。 基于肤色特征方法的优点是快速、适用于实时的人脸检测。使用肤色模型 检测入脸的缺点在于当光源的亮度、光谱发生变化时会引起肤色的较大变化， 从而导致检测失败。同时这类方法受到图像类型( 必须为彩色图像) 的限制， 并不能应用于所有的场合。 8 当至翌：查：竺土：竺兰三至三兰兰竺翌：翌型茎銮釜兰 2 3 3 基于模扳匹配的方法( t e m p l a t e b a s e dm e t h o d s ) 模板匹配方法首先需要手工或使用参数可调的函数定义一个标准人脸模 板，将模板与输入图像进行排序并计算相似度值，然后确定一个相似度阈值， 以判断该图像是否包含入脸，最后确定其位置。由于人脸位置、尺度以及形状 大小的多变性，单一的入脸模板不能有效地检测人脸，因此提出了多分辨、多 尺度、子模板以及变形模板用于检测大小不同、形状各异的人脸。基于模板匹 配的方法最大的困难在于如何建立一个对人脸尺度，位置、角度以及照明等变 化具有稳定性的人脸模扳。 m i a o 等提出了一种层次模板匹配的方法“”。首先，将输入图像从2 0 0 到 + 2 0 0 以5 0 为步长进行旋转，以增强检测倾斜人脸的性能；然后使用l a p l a c e 算子进行边缘提取，组合提取出的六个人脸器官( 两个眉毛、一双眼睛以及鼻 子和嘴) 的边缘作为人脸模板；最后，应用分级式的方法检测人脸。 在复杂背景情况下，模板匹配鲁棒性差，要实现图像中多个人脸的检测尤 其困难。常用的模扳方法主要有预定义模板、序列模板和变形模板。对于这类 方法中利用固定模板检测方法直观，但是固定模板对姿态、表情和尺度变化敏 感；而可变形模板对非刚性模式具有较好的适应性，但可变形模板的选择和参 数的确定非常困难。 2 3 4 基于人脸统计信息的方法( s t a t i s t i c a l b a s e dm e t h o d s ) 由于人脸图像的复杂性，数学描述人脸特征具有一定的困难，因此另一类 方法一基于统计信息的方法越来越受到重视。此类方法将人脸区域看作一类 模式，通过收集大量的“人脸”与“非人脸”样本作为训练集，进行训练，构 造分类器，然后利用分类器进行人脸的检测。目前比较典型的方法主要有： ( 1 ) 基于人工神经网络的方法 人工神经网络( a n n ) 方法将人脸检测看作区分人脸样本与非人脸样本的 两类模式分类问题，通过对入脸样本集和非人脸样本集进行训练以产生分类 器。人工神经网络避免了复杂的特征提取工作，它能根据样本自我学习，具有 一定程度上的鲁棒性和自适应性。人工神经网络在这方面运用最成功的范例是 r o w l e y 的方法，他分别把级联结构的人工神经网络用于正面直立人脸、正面 旋转人脸和多姿态人脸的检测 i h ，并取得了较好的效果。r o w l e y 基于人工神 经网络的多姿态人脸检测系统框架如图2 2 示出。 9 山乐理 人竿坝f 。罕位论文弟二节人腽耐铡亡j 仪制硬不繇压 芦 恒 匿墨区斗雯醇巫f 髁 i i l 】侧面人脸检l i 测神经网络i 图2 - 2r o w l e y 的基于人工神经网络的多姿态人脸检测系 该方法在人脸检测过程中能取得比较满意的结果，但是由于神经网络中对 结点数选择、网络层数选择以及学习速度的调整等对神经网络的检测结果有很 大的影响，而目前又还没有一个这方面的理论可以进行计算。一般情况是通过 经验来确定神经网络的结构与参数，因此利用该方法进行人脸检测，特别是复 杂背景下的入脸检测有一定的盲目性。 ( 2 ) 基于特征空间的方法 此类方法是将人脸区域图像变换到某一特征空间，根据它在特征空间中的 分布规律分“人脸”与“非人脸”两类模型。该类方法应用最为广泛的是主分 量分析( p c a ) 。该类方法在正面简单人脸检测中取得了不错的效果，但是由 于它是以所有样本的最优重建为目的，对于复杂背景下的图像，进行检测实际 效果并不好。 2 3 5 小结 尽管目前存在许多的人脸检测算法，但是每种算法都是针对不同的应用环 境而得到的，还没有一种算法适用各种不同的环境。虽然人们在人脸检测研究 领域中取得了显著的进展，但是一个稳定性和鲁棒性强的人脸检测系统需要在 复杂环境下如光照条件、人脸方向、姿势和部分遮挡，面部表情以及外部饰物 等干扰下，也要具有很好的有效性和稳定性。 通过对上述文献总结，人脸检测研究的趋势应该是利用多种线索( 头发、 肤色、器官、轮廓和模板等) ，综合多种分类方法( 高斯模型、混和高斯模型、 神经网络和支持向量机) 等，最后利用启发式信息与统计学习方法相结合。 2 4 正规化 正规化部分也可称为基本图像处理。系统对提取到人脸图像做尺度和灰度 1 0 山东理t 大学硕卜学位论文第二章人脸椅铡与识别技术综述 的归一化处理，使不同图像中的人脸在大小和亮度方面统一。在复杂背景下， 有的可能涉及到多角度的人脸检测与识别，这里往往还需要方向矫正以达到方 向上的统一。 2 5 特征提取 特征提取对于人脸识别来说是一个关键的步骤，特征提取的合适与否直接 决定识别的效果。所谓特征提取就是通过映射或者是变换的方法将高维的原始 特征转换到低维的特征空问中，得到人脸特征的低维表示。引入特征提取的主 要原因是人脸图像在其原始样本空间中的分布并不集中，这通常不利于进行有 效的归类识别。为了能区分不同类的人脸图像，可以把原始的人脸图像通过线 性或者是非线性的方法转换到另外一个空间中，使得同类的人脸图像在此空间 中分布更加紧凑，从而便于识别和归类。 2 5 i 几何特征 人脸的几何特征通常是以人脸器官形状和几何关系为基础的特征矢量，其 分量通常包括人脸指定两点间的欧氏距离、曲率和角度等。典型的人脸几何特 征分量如眼、口、鼻和眉毛等重要特征点。 基于几何特征的人脸识别方法可以实现对人脸显著特征提供一个高效的， 自然的描述模型。但是由于这种方法有计算量大，对初始条件和初始参数要求 较高，不易实现自动化的特点，对于复杂背景状态下的人脸图像，直接进行几 何提取，识别率极低。 2 5 2 频域特征 人脸图像作为一个特殊的二维信号源，其频域变换必然表现出某些特性。 在频域上对人脸图像进行分析，可以得到它的频域特征并且将其用于人脸识 别。 人脸的表情变化和少许遮掩只影响局部光强变形，如果变换到频域，则只 会影响高频部分，这种现象叫做高频现象。人脸的频率特征具有位移不变性， 可以有效地消除因空间位置对不准引起的位移误差，对因表情变化、少许遮掩、 几何变形、少许姿态和光照条件变化带来的差异具有较强的容错性。但是这种 方法也有一定的缺点，同样不适用于具有较大旋转角度的人脸图像识别，只能 描述人脸图像的全局信息，不能刻画人脸各个器官的局部特征和空间相关信 山东理t 大学硕 一学位论文第二章人脸柃测0 识别技术综述 息。 利用频域特征的常用方法有：小波脸等。其中g a b o r 小波证明是在人脸识 别中最为有效的提取特征方法之一1 12 1 。 2 6 人脸识别 人脸识别部分基本的功能是判断识别人脸图像的归属类别，完成这一功能 我们需要使用分类器进行分类。具体过程是将待识别图像中提取出来的特征输 入到分类器中。目前，常用的方法主要有：基于统计模式的方法，基于神经网 络的方法等。 2 6 1 基于统计模式的方法 当入脸图像特征分布的统计特性已知或能够推断时，可采用基于统计模式 的识别器来进行分类。在对样本图像进行分类时，测量到的数据总不同程度的 受到噪声的影响，这时测量的特征有可能不能很好地代表人脸图像。此时为了 客观的描述人脸图像，就要用统计的方法。 ( 1 ) 最小距离分类 人脸图像经过特征提取后，被映射为一个量化的特征向量。这样，每一个 模式就可以视作n 维特征向量空间中的一个点，而且由两个点间的距离可以确 定相应两个模式间的相似程度。设两个模式的特征向量分别为： x = 期，工2 ，勋) y = y l ，7 2 。，弦 则j 和j ，间的距离d ( x ，y ) 越小，表示相应两个模式越相似。 设论域上模式空间共有m 个类别( o 1 0 3 2 踟。第一个类别缈j 有一个标准样 本z ( f = 1 ，2 ，m ) ，最小距离分类法的基本思想是：求出待识别人脸图像的特征 向量z 与每个k ( 扛1 ，2 ，肌) 的距离，距离计算公式常采用海明距离、欧几里德 或明可夫斯距离计算，选择最小者所对应的模式类作为待识别人脸图像应属的 模式类。即当d ( x ，z ) d ( x ，】；) ，对所有的y ( j f ) 都成立时，则有x 缈，对 应于特征向量j 的人脸图像属于国，类。 最小距离分类方法的优点是简单、直观，但它仅适用于特征空间维数较低， 样本数较少的简单情况“”。 ( 2 ) 几何分类法 由于人脸图像经过特征提取后得到的特征向量z ，并是特征空间的一个点。 所谓几何分类法是指将人脸图像特征空间划分为对应于不同模式类的子空间， 1 2 山东理t 大学硕七学位论文第二章人脸榆测与识别技术综述 从而实现模式分类的方法。在这一方法中，关键问题是对判决函数g ( z ) 的设 计，它可以是线性的，也可以是非线性的，分别称为线性分类方法及非线性分 类方法。这就有可能出现这样一种情况：分属不同模式类国的点集在几何上 是分离的，即不同类的点集分别局限于一个区域内。此时，就可以设计一个判 决函数g ( x ) ，使得对不同类的模式，g ( x ) 有不同的值，这样通过运用g ( x ) 就 可实现对模式分类。例如，设论域上的模式类中只有两个，即缈，( 0 2 ，此时可 设计一个判断g ( ) 后，其值为正，则它属于o h ；为负，则属于缈：类；为零， 则为不可判别“”。 2 6 2 基于神经网络的方法 基于人工神经网络的方法设计的分类器与统计模式设计的分类器是完全 不同的，人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k 。a n n ) ，自从2 0 世纪5 0 年代 r o s e n b l a t t 首次将单层感知器应用于模式分类学习以来，已经有了几十年的研 究历史。但是由于m i n s k y 和p a p e f t 指出单层系统的局限性，并表达了对多 层系统的悲观看法，在2 0 世纪7 0 年代对a n n 的研究兴趣减弱。直至8 0 年 代中期r u m e l h a r t 等重新阐述了反传播训练方法，使得在a n n 领域的理论和 应用研究开始在世界范围内重新兴起。a n n 是一种按照人脑的组织和活动原 理而构造的一种数据驱动型非线性映射模型，它具有并行处理、自适应自组织、 联想记忆、容错鲁棒以及逼近任意非线性等特性，在预测评估、模式识别、信 号处理、组合优化及知识工程等领域具有广泛的应用。近年来，已有多种a n n 模型被提出并得以深入研究。其中8 0 9 0 的人工神经网络模型是采用前馈 反向传播网络( b a c kp r o p a g a t i o nn e t w o r k ，简称b p 网络) 或它的改进形式，它 是前向网络的核心部分，体现了网络最精华的部分 1 4 1 。 传统的b p 网络是根据w i d r o w h o f f 规则，采用梯度下降算法，在非线性 多层网络中，反向传播计算梯度。但b p 网络存在自身的限制与不足，如需要 较长的训练时间、会收敛于局部极小值等，使得b p 算法在实际应用中不是处 处能胜任。因此近十几年来，许多研究人员对其做了深入的研究，提出了许多 改进的算法，如使用动量项的加快离线训练速度的方法、归一化权值更新技术 方法、快速传播算法、6 6 方法、扩展卡尔曼滤波法、二阶优化以及最优滤 波法等，都能较好地模拟人的形象思维。人工神经网络是对人脑神经系统结构 及功能的模拟，以信息分布与并行处理为其主要特色，因而可以实现对形象思 维的模拟。 神经网络应用于人脸识别的主要优点是可以通过学习获得对人脸特征的 规律或规则的隐式表达，避免了对于诸如几何特征、轮廓特征和空间位置等特 1 3 山东理t 大学硕| f i 学位论文第二章人脸柃测与识别技术综述 征的显示