（光学专业论文）人脸识别技术研究.pdf

人脸识别技术研究 中文摘要 中文摘要 人脸识别技术是当今计算机模式识别领域中的一个非常活跃的研究课题，在法 律、商业等领域具有广泛的应用背景。如何在一幅图片中检测到人脸区域，并提取出 使其区别与他人的特征，是人脸识别研究的两个关键技术。到目前为止，由于人脸识 别问题自身的复杂性，使得虽然有众多科学研究人员潜心研究多年，也取得了许多的 成果，但离彻底解决并达到实用，仍有许多关键性的问题需要解决。本论文围绕人脸 检测原理、识别算法及其优化等研究内容开展工作。本文的主要工作包括以下几个方 面的内容： ( 1 ) 介绍了人脸识别的研究背景、研究范围，归纳了人脸识别领域的理论方法。 ( 2 ) 在人脸检测技术方面，重点研究了a d a b o o s t 人脸检测算法和基于肤色 的人脸检测方法。在a d a b o o s t 人脸检测算法方面，重点研究了图片数量对检测率 的影响，正负样本的比例关系等。在基于肤色人脸检测方面，研究了椭圆肤色模型和 y c b c r 色彩空间中人脸肤色的聚类特性，通过实验实现了基于肤色的人脸检测。 ( 3 ) 针对a d a b o o s t 检测算法在复杂背景容易产生误检，检测率不高等问题， 提出了结合a d a b o o s t 算法和肤色模型进行人脸检测的新思路。实验证明该方法明 显地降低了误检率。 ( 4 ) 在人脸识别技术方面，主要研究了l d a 人脸识别的方法。在大量实验的基 础上对l d a 在各种情况下的性能作了详细的分析，研究了各种参数设置对识别率的 影响。 ( 5 ) 最后结合a d a b o o s t 算法和l d a 算法，实现了人脸的检测和识别。 关键词：人脸检测；人脸识别；肤色模型；特征脸；l d a ；a d a b o o s t 作者：姚建 指导教师：赵勋杰 人脸识别技术研究 a b s t r a c t r e s e a r c ho nf a c er e c o g n i t i o nt e c h n o l o g y a b s t r a c t f a c er e c o g n i t i o nc o n t i n u e st ob eah o tt o p i ci nc o m p u t e rp a t t e r nr e c o g n i t i o nf i e l dd u e t 0i t sw i d er a n g eo fa p p l i c a t i o n si nc o m m e r c i a la n dl a we n f o r c e m e n ta r e a ac e n t r a li s s u e f o rf a c er e c o g n i t i o ni sh o wt of i n daf a c ei nap i c t u r ea n dt oe x t r a c td i s c f i m i n a n tf e a t u r e f r o mt h ef a c i a li m a g e s t h i st h e s i sf o c u so nf a c ed e t e c t i o nt h e o r y , r e c o g n i t i o na l g o r i t h m ， i m p l e m e n t a t i o na n ds oo n t h er e s u l t sm a k eu sk n o wa n du n d e r s t a n dm o r ea b o u tf a c e r e c o g n i t i o nt e c h n o l o g ya n db r o a d e no b ra b i l i t yt os o l v ep r o b l e m w o r ki nt h i st h e s i s i n c l u d i n g ： w ei n t r o d u c e dt h eb a c k g r o u n da n ds c o p eo ft h es t u d yo ff a c er e c o g n i t i o n , s u m e du p t h et h e o r ym e t h o d si nt h ef i e l do ff a c er e c o g n i t i o n o nt h ef a c ed e t e c t i o nf a c e t , w ef o c u s e do nb o t ht h ea d a b o o s tf a c ed e t e c t i o n a l g o r i t h ma n dt h ec o l o ro ft h ef a c ed e t e c t i o nm e t h o d w es t u d i e dt h ei n f l u e n c eo fq u a n t i t y o fp i c t u r eo nd e t e c t i o nr a t e ，t h er e l a t i o n s h i po ft h ep o s i t i v ea n dn e g a t i v ep i c t u r eo n a d a b o o s ta l g o r i t h m w es t u d i e dt h ee l l i p t i c a lc o l o rm o d e l sa n dy c b c rc o l o rs p a c eo n c o l o rf a c ed e t e c t i o n a tl a s t ，w ea c c o m p l i s h e dt h ec o l o rf a c ed e t e c t i o nb ye x p e r i m e n t a sa d a b o o s t a l g o r i t h mi se a s yt og i v eb i r t ht ot h er a t eo ff a l s e ，w ep r o p o s e dan e w ， a l g o r i t h mf o rf a c ed e t e c t i o n e x p e r i m e n t ss h o w e dt h en e wa l g o r i t h ms i g n i f i c a n t l yr e d u c e d t h er a t eo ff a l s e b yc o m b i n i n gt h ea d v a n t a g e so fa d a b o o s t f a c ed e t e c t i o na l g o r i t h ma n dt h ec o l o r o ft h ef a c ed e t e c t i o nm e t h o d ，w ep r o p o s e dan e wa l g o r i t h m t h en e wa l g o r i t h mr e a c h e da g o o dr e s u l tf o rh u m a nf a c ed e t e c t i o n ，e s p e c i a l l yi nr e d u c i n gt h er a t eo ff a l s e o nf a c er e c o g n i t i o nt e c h n o l o g y , t h em a i ns t u d yw a sl d am e t h o df o rf a c er e c o g n i t i o n t h en a t u r eo fl d am e t h o dw a ss t u d i e db a s e do nal a r g en u m b e ro fe x p e r i m e n t sa n dt h e i n f l u e n c eo fk i n d so fp a r a m e t e rs e t t i n g so nr e c o g n i t i o nr a t ew a sr e s e a r c h e d 人脸识别技术研究 a b s t m c t f i n a l l yw ec o m b i n e da d a b o o s ta l g o r i t h ma n dl d aa l g o r i t h m ，i m p l e m e n t i n gt h e f a c ed e t e c t i o na n dr e c o g n i t i o n k e y w o r d s ：f a c ed e t e c t i o n ；f a c er e c o g n i t i o n ；c o l o rm o d e l ；l d a ；a d a b o o s t i w r i t t e nb yy a oj i a n s u p e r v i s e db yz h a ox u n j i e 苏州大学学位论文独创性声明及使用授权声明 学位论文独创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行 研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含其 他个人或集体已经发表或撰写过的研究成果，也不含为获得苏州大学或 其它教育机构的学位证书而使用过的材料留对本文的研究做出重要贡献 的个人和集体，均已在文中以明确方式标明。本人承担本声明的法律责 任。 研究生签名盟篁曩日期：汹! 查：f 2 学位论文使用授权声明 ：州大学、中国科学技术信息研究所、国家图书馆、清华大学论文 百，r f 鄙、中国社科院文献信息情报中心有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本 人电子文档的内容和纸质论文的内容相一致。除在保存期内的保密论文 外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全部或部分 内容。论文的公布( 包括刊登) 授权苏州大学学位办办理。 研究生签名：塑竺受 日期：幽! ：12 导师签名：壑妥盘痊一日期：垒季斗 人脸识别技术研究第一章序言 第一章序言 1 1 人脸识别技术及其应用 广义的人脸识别实际包括构建人脸识别系统的一系列相关技术，一般来说包括人 脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等；而狭义的人脸 识别特指通过人脸进行身份确认或者身份查找的技术或系统。 人脸识别是模式识别和机器视觉领域中的一个重要课题。计算机通过对图像中的 信息进行处理，如果图像中有人脸，通过提取人脸的一些特征( 形状特征，结构特征 等) 达到识别人的身份或者查找身份的目的。对于人类而言，识别人脸是一件非常简 单的事情，也是正常人在日常生活中每天都要进行的一项工作。但要使计算机实现同 样的功能，则非常的困难。人脸识别的研究涉及模式识别、图像处理、生理学、心理 学、认知科学等多个领域的知识。 任何一种技术的发展都离不开实际应用需要的激励，人脸识别技术也不例外，它 最初的发展原因就是公安部门要把它用于罪犯照片的存档管理和刑侦破案。现在这种 技术在安全部门和商贸系统都有很多的应用。主要有以下几类： 刑侦破案。当公安部门获得案犯的照片后，可以利用人脸识别技术，在存储罪犯 照片的数据库中找出最相像的嫌疑犯。还有一种应用就是根据目击证人的描述，先由 警察画家画出草图，然后用这张图到库里去找嫌疑犯。罪犯数据库往往很大，由几千 幅图像组成。如果这项搜索工作由人工完成，不仅效率低，而且容易出错，因为人在 看了上百幅人脸图像后，记忆力会急剧下降，而由计算机来完成则不会出现此问题。 当然，如果没有正确的特征提取，而盲目的进行人脸识别，势必将造成误判操作，导 致不必要的损失。 证件验证。身份证、驾驶证以及其他很多证件上都有照片，现在这些证件多是由 人工验证的，如果采用计算机人脸识别技术，这项工作就可以交给机器完成，从而实 现自动化智能管理。当前普通使用的另一类证件是用符号或条形码标记的，比如信用 卡等。这类卡的安全系数比较低，因为卡可能丢失，密码也可能被遗忘或窃取。如果 人脸识别技术研究 第一章序占 在这类卡上加上人脸的特征信息，则可以大大改善其安全性能。 入口控制。入口控制的范围很广，它可以是设在楼宇、单位或私人住宅入口处的 安全检查，也可以是计算机系统或情报系统等的入口控制。在一些保密要求非常严格 的部门，除了用证件，还要加上另外一些识别手段，如指纹识别、手掌识别、视网膜 识别和语音识别等。人脸识别与之相比，具有直接、方便和界面友好的特点。当前计 算机系统的安全管理也备受重视，通常使用由字符和数字组成的口令可能会被遗忘或 破解，但是如果把人脸当作口令则又方便又安全。 视频监视。在许多银行、公司、公共场合等处都设有2 4 小时的视频监视。另外 侦察员在破案时有时也要用摄像机对人进行跟踪。在对图像进行分析时，就要用到人 脸的检测、跟踪和识别技术。 除了上述应用外，人脸识别技术还可用在视频会议、机器人的智能化研究以及医 学等方面。 1 2 人脸识别的研究进展和难点 最早的关于人脸识别的研究可以追溯到1 9 世纪末s i rf r a n c i sg a l t o n 发表于 n a t u r e 的两篇文章1 】f 2 】。而当代学者参与这一课题的研究是从本世纪六十年代开始的 3 1 1 4 。随着计算机技术的发展，八十年代以后，人脸识别技术得到了很大发展并进入 了实际应用领域。关于人脸识别的文献很多，有代表性的文献综述可参见文献【5 】【6 】【7 】【8 】。 由于人脸正面图像包含了人脸更明显的特征，所以对人脸正面模式的研究最多， 它的发展可分为以下三个阶段： 第一阶段以b e r t i l l o n 、a l l e n 和p a r k e 为代表，时间上从2 0 世纪5 0 到6 0 年代， 主要研究人脸识别所需的面部特征。在b e r t i l l o n 系统中，用一个简单的语句与数据库 中的某一张脸相联系，同时与指纹识别相结合，提供了一个较强的识别系统。为了提 高脸部识别率，a l l e n t 9 l 为待识别人脸设计了一种有效逼真的摹写，p a r k e 则用计算机 实现了这一想法【1 0 】，并且产生了较高质量的人脸灰度图模型。这一阶段工作的特点是 识别过程全部依赖于操作人员，显然不是一种全自动识别的系统。 第二阶段是人机交互式识别阶段，时间上是2 0 世纪7 0 年代，代表有g o l d s t i o n 、 h a r m o n 和l e s k 等人。他们用几何特征参数来表示人脸正面图像【1 1 1 ，采用2 1 维的特 2 人脸识别技术研究第一章序言 征矢量来表示人脸面部特征，并设计了基于这一特征表示法的识别系统。k a y a 和 k o b a y a s h i 则采用了统计识别的方法，用欧氏距离来表示人脸特征【1 2 j ，如嘴唇的高度， 两眼之间的距离。更进一步的，t k a n a d 设计了一个半自动回溯识别系统【l 引，创造性 的运用积分投影法从单幅图像上计算出一组脸部特征参数，再使用模式分类技术与标 准的人脸相匹配。总的说来，这类方法需要利用操作员的某些先验知识，仍然摆脱不 了人的干预。 第三阶段是真正的向实用化发展的机器识别阶段。近十年来随着高速度高性能计 算机的发展，人脸模式识别方法有了较大的突破，提出了多种机器全自动识别系统【1 4 】。 近年来，人脸识别技术研究非常活跃，除了基于k l 变换的特征脸方法与以奇异值特 征为代表的代数特征方法取得了新进展外1 5 - 2 1 ，人工神经网络【2 2 。2 引、小波变换【2 9 。o 】 技术在人脸识别研究中都得到了很广泛的应用，而且出现了不少人脸识别的新方法。 虽然人类能毫不费力的识别出人脸，但人脸的自动识别却是一个难度极大的课 题，迄今为止人脸识别还没有一个非常完美的解决办法。其困难主要来源于：( 1 ) 人脸 是由复杂的三维曲面构成的可变形体，很难用精确的数学模型描述；( 2 ) 所有人的脸 部结构均高度相似，从统计意义上来讲，属于典型的类内散布大于类间散布的统计模 式识别问题；( 3 ) 人脸图像受到各种成像条件的影响，如表情、姿态、尺度、光照和 背景等。光照的变化会改变人脸图像灰度的相对分布，所以由光照引起的人脸图像变 化甚至比因不同的人引起的差异还大。姿态的变化，也即图像视角的变化是人脸识别 面临的另一挑战。另外，由于人脸是三维的，因此利用人脸图像去合成三维模型也可 以显著的提高识别率。这一方面的研究应该是人脸识别技术的突破点之一。 1 3 人脸识别的研究范围以及方法 简单地说，人脸识别就是对于输入的人脸图像，首先判断其中是否存在人脸，如 果存在人脸，则进一步的给出每个人脸的位置、大小和各个主要面部器官的位置信息， 并依据这些信息，进一步提取每个人脸中所蕴含的身份特征，并将其与已知人脸库中 的人脸进行对比，从而识别每个人脸的身份。 3 人脸识别技术研究第一章序言 1 3 1 人脸定位和检测 人脸检测的基本思想是用知识或统计的方法对人脸建模，比较所有可能的待检测 区域与人脸模型的匹配度，从而得到可能存在人脸的区域。其方法大致可分为下面四 类： 1 、基于规则的方法 这个方法将人类有关典型的脸的知识编码成一些规则，通常这些规则包括了脸部 特征之间关系的知识，这个方法主要用于人脸的定位。 一些关于人脸的知识，可以归纳成为下面几个简单的规则：人脸的轮廓可以近 似地看成一个椭圆，则人脸检测可以通过检测椭圆来完成。对任意一副图像，首先进 行边缘检测，并对细化后的边缘提取曲线特征，然后计算各曲线合成人脸的评估函数 来检测人脸。虽然人脸因人而异，但是都遵循一些普遍适用的规则，即五官分布的 几何规则。检测图像中是否有人脸，即是否存在满足这些规则的图像块。例如：人的 两个眼睛总是对称分布在人脸的上半部分，鼻子和嘴唇中心点的连线与两眼之间的连 线大体垂直，灰度图像中眼睛要比脸上其他地方暗等。若输入图像为动态图像序列， 则可以利用人脸或人脸的器官相对与背景的运动来检测人脸，比如利用眨眼或说话等 动作的探测来实现人脸与背景的分离。 基于规则的方法是一种自上而下的方式。它的一个困难是如何将人脸知识转化成 为有效的规则：如果规则规定太细，那么可能有许多人脸无法通过规则验证：如果规 则制定的太宽泛，那么可能许多非人脸会被误判为人脸。 2 、基于特征的方法 人脸有许多的特征：包括眉毛、眼睛、鼻子、嘴唇和下巴；此外，还有面部的结 构、轮廓、纹理和颜色特征等等。 利用皮肤的颜色特征【3 1 1 可以制作肤色分类器。为了较好的对肤色进行分类，研究 人员将肤色转化到不同的颜色空间进行聚类，常用的颜色空间有：y c b c r 、l u v 、 y i q 和r g b 等。基于肤色分类器的人脸检测方法容易受到背景的影响，还需要和其 他检测方法结合起来使用。 3 、基于模板匹配的方法 所谓模板匹配的方法，是指从构造人脸或某个面部器官的模板出发，通过各种模 4 人脸识别技术研究第一章序言 板搜索与匹配算法，结合对模板参数的调整，达到检测和定位人脸的目的。模板匹配 方法通常是基于特征方法的进一步确认。 早期的模板匹配的方法首先建立一个标准的人脸模板，由包含局部人脸特征的子 模板构成，然后对一幅输入图像进行全局搜索，对应不同尺度大小的图像窗口，计算 与标准人脸模板中不同部分的相关系数，通过预先设置的阈值来判断该图像窗口中是 否包含人脸。这种简单模板匹配的方法易于实现，但是也存在着缺点：图像噪声对检 测结果影响很大，因此需要对输入图像做适当的预处理，而且模板的大小是人为设定 的，因此不能动态检测眼睛等器官的位置。 m i a o 等【3 2 1 在镶嵌图基础上提出了一种基于人脸重心模板的检测方法。该方法首 先将输入图像从2 0 度到+ 2 0 度以5 度为步长进行旋转，然后使用l a p l a c e 算子进行边 缘提取，结合提取出来的六个人脸器官( 两个眉毛、一双眼睛以及鼻子和嘴) 的边缘 作为人脸模板，最后应用分级式的方法检测人脸。c o o t e s 3 3 1 等提出的主动形状模型 ( a c t i v es h a p em o d e l s ，a s m ) 和主动表观模型( a c t i v ea p p e a r a n c em o d e l s ，a a m ) 是 变形模板中经典的两种方法，这两种方法均基于关键点分布模型，多用于人脸检测中 的人脸配准和面部器官的精确定位。 4 、基于外观的方法 与模板匹配方法相比，这个方法的模型是从一系列具有代表性脸部表观的训练图 像学习而来，再将学习而成的模板用于人脸检测，而不像基于模板的方法，模板是由 专家预先定义的，因此这也是一种自下而上的方法。现在许多人脸检测方法都是这种 基于外观的方法。 一般而言，基于外观的方法利用统计分析和机器学习的技术来寻找人脸和非人脸 图像的有关特征。学习而来的特征总结成分布模型或者判别函数，再利用这个分布模 型或者判别函数来检测人脸。采用这种方法进行人脸检测的例子有s u n g 和p o g g i o 提 出的基于样本学习的人脸检测方法，r o w l e y l 2 8 】等实现的基于神经网络的方法，t u r k e y ， p e n t l a n d ，m o g h a d d a m 等【1 5 】【1 6 】提出的基于主成分分析( p c a ) 的人脸检测方法，o s u n a 等人的基于支持向量机( s v m ) 的方法，p a u lv i o l a 和m i c h a e lj o n e s 【3 4 1 提出的基于 a d a b o o s t 的人脸检测算法等。 人脸识别技术研究第一章序苦 1 3 2 人脸识别方法 人脸识别的常用方法主要有以下几种： 1 、统计方法 t u r k 与p e n t l a n d 用特征量来检测与识别人脸，每个人都可用一个投影权值向量 来表示，将测试图像的权值向量与训练图像的权值向量作比较，确定哪一幅训练图像 与测试图像最接近。他们进一步发现人脸图像与非人脸图像的投影向量的明显不同， 因此，给出一种在图像中确定是否有人脸的方法。 2 、神经网络方法 人工神经网络由于固有的并行计算机制以及对模式的分布全局存储，故可以用于 模式识别，而且不受模式形变的影响。由于人脸识别的神经网络方法可训练较强噪声 和部分缺损的图像，这种非线性方法有时比线性方法更有效。l i n 等提出了用于人脸 检测、眼镜定位和人脸识别的基于概率决策的神经网络，l e e 等提出了用于人脸识别 的模糊b p 网络，l a w r e n c e 等提出了用于人脸识别的卷积神经网络。 3 、多分类器组合方法 多分类器组合已成为模式识别领域的前沿研究课题，并在许多方面如字符识别、 目标识别等领域，取得了较好的应用效果。目前已有一些文献采用多分类器组合方法 来识别人脸。分类器组合方法还有许多问题值得进一步的研究，对于人脸识别这种类 别数较多，而训练样本数较少的情况，怎样选择合适的组合准则才能保证组合结构较 优还是一个有待解决的难题。 1 4 论文的主要研究内容 人脸识别问题由于其自身的复杂性，使得虽然有众多研究人员潜心研究多年，仍 未能得到彻底解决。人脸识别问题作为一个典型模式识别问题，对它的研究取得的成 果无疑对其它的模式识别问题的解决有着良好的借鉴作用。因此，人脸识别问题也是 模式识别领域的一个研究热点。 本文按章节可以分为下面几个部分： 第一章介绍人脸识别的意义和发展过程，重点介绍人脸定位和识别的一些基本方 法。 6 人脸识别技术研究第一章序言 第二章介绍基于a d a b o o s t 算法的人脸检测的基本原理和级联分类器的构造， 并用a d a b o o s t 算法进行人脸检测实验。 第三章介绍基于肤色的人脸检测方法。本文选用了颜色y c b c r 空间，把亮度和 色度分离，通过选择合适的c b ，c r 分量范围，实现较高检测概率的人脸检测。 第四章提出将肤色检测和a d a b o o s t 算法结合起来的人脸检测方法，并进行人 脸检测实验。 第五章介绍基于l d a 算法的人脸识别方法，详细的研究其中的一些参数对识别 结果的影响。 第六章综合运用a d a b o o s t 人脸检测和l d a 人脸识别方法，进行人脸定位和 识别。并进行人脸定位和识别实验。 最后，对本文所做的研究工作进行总结，并对人脸识别技术的将来进行展望。 7 人脸识别技术研究第二章基于a d a b o o s t 算法的人脸检测 第二章基于a d a b o o s t 算法的人脸检测 p a u lv i o l a t 3 卅等人提出的利用积分图和a d a b o o s t 方法，第一次实现了实时的 人脸检测，检测速度达3 0 帧每秒。该方法的核心是a d a b o o s t 算法，这是集成机 器学习方法的一种。 2 1 集成机器学习 许多机器学习算法( 例如决策树或神经网络) 通常只生产单个模型( 判别函数) 来对新的样本做出预测，而集成学习则是将多个模型的预测结果通过某种方式的组合 ( 如投票) 生成最终的预测结果。 h a r l s e n 等研究发现，集成学习算法生成的分类器要比参与集成的那些单模型的 分类器的准确度高许多，条件是这些单模型分类器的分类误差必须弱相关的，否则会 出现多个单模型的分类器对同一样本产生分类误差的情况。 集成学习用来训练的算法可以相同( 同构集成) ，也可以不同( 异构集成) 。目前 大多数的研究集中在同构集成算法上。因为不同算法的学习机制不同，很难用统一的 标准来衡量它们的准确度，而且采用不同的算法，集成学习算法的复杂度会增加。 2 1 1 弱学习与强学习 弱分类器的设计是集成机器学习的重要内容之一，与一般机器学习算法区别在于 弱分类器设计无需考虑线性不可分问题，这是集成机器学习吸引大量应用研究者关注 的主要原因。 弱分类器的概念来源于v a l i a n t 在1 9 8 4 年提出的p a c 学习理论，之后，k e a m s t 3 5 】 和v a l i a n t 又提出了强p a c 学习和弱p a c 学习的概念。在p a c 学习模型中，如果一 个假设能够稍微地提高猜测正确的概率，那么这个假设就是弱学习算法，得到这个算 法的过程称为弱学习。如果一个假设能够显著地提高猜测正确的概率，那么这个假设 就称为强学习算法。 通常情况下，弱学习算法比强学习算法更容易获得。k e a m s 3 5 】和v a u a n t 提出了 弱学习算法与强学习算法间的等价问题，即能否把弱学习算法转化为强学习算法。如 7 脸识别技术研究 第一章单于a d a b o o s t 算眭的人胎检测 果两者等价，那么在学习概念时，只需要找到一个比随机猜测略好的弱学习算法，就 可以直接将其提升为强学习算法。 k e a m s 和v a l i a n t 证明：只要有足够的数据，弱学习算法就可以通过集成的方式 生成任意的高精度的强学习算法。 2 1 2 复成方式 上面已经谈到弱学习算法可以通过集成的方式生成强学习算法的问题，而如何将 不同分类器的输出结果进行组合是集成的关键问题。投票方法是一种组合方法，而最 简单的判决方法是“绝对多数”的方法。这种方法假设所有弱分类器具有相同的分类 能力，其区别仅仅在丁对空间问题中的不同子集有效，b a g g i n g 算法是其典型代表。 另一种集成方式是采片j 加权投票的方法。该方法承认这样个事实：集成的弱分 类器具有不同的分类能力，在投票时。有高分类能力的弱分类器将具有更大的决定权。 b o o s t i n g 算法采用加权投票方式。 2 2 矩形特征与积分图 2 2 1 矩开五特征 在给定有限的数据情况下，基于特征的检测能够编码特定区域的状态，而且基于 特征的系统比基于像素的系统检测速度快。 矩形特征对一些简单的图形结构，比如边缘、线段，比较敏感。f i = 【足其只能描述 特定走向( 水平、垂直、对角) 的结构，因此比较粗略。脸部一些特征能够由矩形特 征简单地描述，如图2 1 所示，眼睛要比脸颊颜色要深；鼻梁两侧比鼻梁颜色要深； 嘴巴要比周围颜色要深。 圈2 】矩形特征在人脸上的特征匹配 人脸识别技术研究第二章基于a d a b o o s t 算法的人脸检测 在本文中，选取r a i n e rl i e n h a r t 等人提出的扩张的h a a r - l i k e 矩形特征，如图2 2 所示。 口嗣 激e i 鞭e 衄目目 2 a2 b 2 c 2 d 2 e2 f 2 9 2 h 线性特征 回 图2 2h a a r - l i k e 矩形特征 这些矩形特征都是由两个或多个全等的矩形相邻组合而成，矩形特征内有白色和 黑色两种矩形，矩形特征的特征值就是白色矩形像素和减去黑色矩形像素和。特征可 以在一个图像窗口内以任意尺寸任意放置，我们用一个五元组表示矩形：r = ( x ，y ，w ，h ， 口) ，其中( x ，y ) 为矩形的一个定点，w ，h 为矩形的长和宽，w 和h 代表图像的长 和宽，口为矩形的旋转角度，它们满足：0 - - x ，x + 、 _ w ，0 _ xy + i l 0 ， 口 o o ，4 5 0 l 。如图2 3 所示。 图2 3 一个正矩形与旋转4 5 度矩形的样子 9 人脸识别技术研究 第二章基于a d a b o o s t 算法的人脸检测 假设训练或检测窗口大小为2 4 * 2 4 个像素，那么在该窗1 2 1 中能穷举出多少个矩形 特征呢? 计算方法是：令x = w w ，y = n h ，其中w = h = 2 4 ，w h 分别为矩形特征 原型的长、宽。那么从倾角为0 度的特征原型能派生的特征数为： x y ( 形+ 1 - w 华( 日+ l _ 办书 ( 2 1 ) 从倾角为4 5 度的特征原型能派生出的特征数为： x 形+ 1 一( w + 办) 竺岩】【日+ 1 一( w + ) 兰芸】 ( 2 2 ) 以边缘特征第一个为例，w = 2 ，h - - 1 ，x = 1 2 ，y = 2 4 ，则2 4 * 2 4 的窗口中由此原型能 派生出的特征数为：1 2 幸2 4 宰( 2 4 + 1 2 曩兰# ) + ( 2 4 + 1 一l 幸兰譬与= 4 3 2 0 0 个。同理，可 以算出从其他特征原型派生出的特征数，最后将这些特征数相加就得到了2 4 * 2 4 的窗 1 2 1 中包含的特征总数，计算结果见表2 1 ，可以发现特征总数远比像素总数( 5 7 6 ) 要 多。 表2 12 4 * 2 4 的窗口中包含的矩形特征总数 特征类型 w hx y个数 l a ：1 b 2 1 ；1 21 2 2 4 ；2 4 1 2 4 3 2 0 0 l c ：l d 2 1 ；1 2 8 88 4 6 4 2 a ：2 c 3 1 ；1 3 8 2 4 ；2 4 8 2 7 6 0 0 2 b ：2 d 4 1 ；l 46 2 4 ；2 4 6 2 0 7 3 6 2 e ：2 93 1 ；1 3 6 | 64 3 5 6 2 f 2 h 4 1 ；l 4 4 | 43 6 0 0 3 a3 38 88 4 6 4 3 b3 33 31 5 2 1 合计1 1 7 9 4 1 2 2 2 积分图 上一节已经讲过，矩形特征的特征值为白色区域的像素和减去黑色区域的像素 和。用一个通式表示为：f e a t u r e j = 木r e c t s u m ( r i ) ，r e c t s u m ( r , ) 为第i 个矩 i e ( i ，j v l 1 0 人脸识别技术研究第一二章基于a d a b o o s t 算法的人脸检测 形内所有的像素之和。仅在2 4 * 2 4 的窗口中就包含1 1 7 9 4 1 个矩形，如果每次计算特 征值时都要分2 次统计矩形内所有的像素之和，那么计算量巨大，将大大降低训练和 检测的速度。我们的目标是找到一种快速计算r e e s u m ( r 。) 的方法，不必每次都要重新 统计像素之和，而且不论矩形特征尺寸和大小，计算时间都一样。 为此，引入一种叫做“积分图 的辅助工具，每张待检测图像以及所有训练样本 图像都可通过积分图快速计算每个矩形特征的特征值。 对于图像内的一点，如图2 4 ，定义积分图i i ( x ，y ) 为： m ，j ，) = “，y 。) ( 2 3 ) l 立，y 印 其中f ( x 。，y ) 为点( x ，y ) 处像素值，i i ( x ，y ) 表示其左上角像素的和。 i i ( x ，y ) 可以通过简单的计算迭代得到： 酏y ) = f f ( x - - l , y ) + s ( x ，y ) ( 2 4 ) s ( x ，j ，) = s ( x ，y - 1 ) + i ( x ，y ) 其中s ( x ，y ) 为点( x ，y ) 及其y 方向向上所有原始图像像素之和，成为”列积分和”， 可以定义为： s ( x ，j ，) = i ( x ，y ) ( 2 5 ) y 。 1 ，则对于图像中每个像素c ，调整其r g b 分量c ( r ) ，c ( g ) ，c ( b ) ，使得： 3 3 颜色空间的选取及其转换 ly = 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 曰 c r = 0 5 r 一0 4 1 8 7 g 一0 0 8 1 3 召+ 1 2 8 ( 3 3 ) l c b = 0 5 b 一0 1 6 8 7 r 一0 3 3 1 3 g + 1 2 8 3 4 颜色空间 a n i lkj a i n t 3 1 1 等人从h e i n r i c h h e r t z i n s t i t u t e 图像库中的1 3 7 副图像中手工选取了 2 1 人脸识别技术研究 第三章基于肤色的人脸检测 图3 1 肤色在y c b c r 空间聚类 从图3 1 中可以看出肤色聚类是呈两头尖的纺锤形状，也就是在y 值较大和较小 的部分，肤色聚类区域也随之缩减。当我们分别观察c r ，c b 随y 变化的情况时尤其 明显，如图3 2 所示。 ( a ) 肤色在y - c b 空间的投影 ( b ) 肤色在y - c r 空间的投影 图3 2 肤色在y c b c r 空间的分布 可以用四个边框来限制聚类区域，其中肤色聚类区域的中轴线分别用c b ( y ) c r ( y ) 来表示，可以得到其表达式： c b ( y ) = c r ( y ) = 1 0 8 ( k l - y ) ( 1 1 8 - 1 0 8 ) k l k 1 0 8 + ( y - - k h ) ( 11 8 - 1 0 8 ) ，乙一k 口 i f ( y k 1 ) i f ( k h y ) 154一(ki-y)弋(15_4-一144)if(yk1)kl k ” 1 5 4 + ( y _ - k f h ) ( 1 5 4 - 一1 3 2 ) i f ( k h y ) ky 蛳一h “7 ( 3 4 ) ( 3 5 ) 人脸识别技术研究第三章基于肤色的人脸检测 f wlci+一(y-ymi,)(wci-wlci) i f ( y k 1 ) w c i ；+ 一诹小三 6 ， c ：( y ) ：( c i ( y ) 一丽) 晶+ 丽 i f ( y k 1 ) 0 r ( k “) ( 3 7 ) 脸h 别技术研究第= 章基于肤色的 脸帻测 3 4 2 2 高斯分布模型 高斯密度函数估计是一种参数化建模。它的理论基础是肤色分布近似于高斯分 布，实验结果表明在y c b c r 色彩空问巾肤色聚类特性比较好，并且在y c b c r 彩色空 间内，肤色空间呈二维的高斯分布。假设肤色分布用高斯模型n ( m ，c ) 表示。 其中m 是均值，c 是协方差可以通过计算样本得到m ，c 的值。每个像素点为肤色 点的概率可以通过下面的式子计算： p ( c b ，口) = e x p - 05 ( x 一) co m ) 】( 39 ) 得到的肤色图称为肤色似然固，如图33 所示。 图3 3 肤色似然图 3 4 2 3 椭圆模型 在新的颜色空问y c b c r 中，我们把肤色投影到西c ，空间。从图( 3 4 ) 可以看 出在进行非线性变换后的肤色在c 6 一c r 空间中呈明显的椭圆分布，比起算法梢对复 杂的高斯肤色模型，椭圆模型算法更加简洁，因此可利用椭圆模型来分割肤色。可以 用以下的公式来匹配两个色度分量的距离。 螋+ 哟：。 一 b z ( 3 1 0 ) 硝州 产卅对0 e e一眙 脸识别技术研究第= 章基十肤色的 舱榆口4 肌焉s i n o c b - c _ ： 式中的常阜分别为：“= 1 6 0 ，e y = 2 , 4 1 ，a = 2 53 9 ，b 2 3 5 肤色区域的提取 ，1 、f 育i 茅；“ 图34 肤色在c bc r 空间的投影 因为通过规定肤色范围提取人脸杵往不准确，而高斯模型计算缓慢，因此，我们 选择椭圆模型。经过肤色模型榆测完毕后，检测的区域是相当幸且糙的，为了得到比较 干净的脸部区域，还要用形态学算子进行处理，这样做的目的是为了使提取的肤色区 域更加完整。图3 5 和3 6 分* 惺人脸图像经过形忐学腐蚀和膨胀处理自i 后的结果。 圈3 , 5 形态学处理前的图像图3 6 形态学处理后的吲像 脸识别技$ 研究痢! 基十肤也的人艟捡w 从周中可以看h ，这时还有一些类肤色区域被提取出来了这些区域包括皮肤区 域以及与皮肤颜色柏近的背景区域。在复杂背景下，有可能存在很多和人脸肤色相近 的非人脸区域被分割 柬( 如手、胳膊等) 。这就要对这屿肤色区域做进一步提取， 做如f 规则判定： ( 1 ) 对人脸来随，其长宽比一般为l 左右。本文扩大取其长宽比为0 6 2 ，长宽 比不满足此范围的区域被认为不是人腧区域； ( 2 ) 人脸区域有一定的大小，本文把肤色区域面积最小取4 0 0 像素( a d a b o o s t 算法检测到的人脸区域最小为2 0 * 2 0 ) ，最大取为整个图像面积的2 0 ，不在这个范 围内的被剔除； ( 3 ) 人脸的倾斜度有一定限制，这样可以排除非人脸区域，一般人脸的倾斜度 在正负2 0 度之m ： 3 6 实验结果 图37 给出了得到的部分实验结果。 ( a ) l i l 殴渤 ( d ) 脸* 别技术q f 究 第= 章堆t 肤也的人暄榆侧 l i j 幽37 部分 脸检测结果 我们通过大量的实验得到的结论足：肤色对单人脸，背景并不复杂的图像，检测 率很高( 如图3 6 巾的单人脸图像) ，对多人脸背景复杂的图像其检测率就大大的 下降( 如图3 6 中的多人脸图像) 。人脸的旋转对肤色检测的结果影响不大( 如图36 中d ，e 所示) ，这也是肤色检铡的优点。肤色检测对于多人脸，复杂背景的图像检测 率低的原岗我们分析其原州如下： ( 1 ) 肤色容易受光照的影响： ( 2 ) 复杂背景有很多和肤色色度致的区域； ( 3 ) 多人脸图像，检测肤色有可能把两个或两个以上的人脸肤色区域连接在 起，这就导致了后面的判断对其失效。 3 7 本章小结 本章主要讨论了如何根据像素的颜色提取人脸的问题。因为肤色容易受光照的影 响首先对图像进行校正，光线补偿技术的采用减少了光源、图像采集设备对图像的 影响，然后选择了y c b c r 颜色空i 白j ，采用椭圆模型分割肤色区域，对所得的候选区 域进行腐蚀、膨胀处理，并根据人脸的统计特征去掉一些非人脸，昂后得到肤色区域。 实验结果表明，基十肤色的人脸检测，对于单人脸，背景不复杂的图像，其检测效果 很好。 人脸识别技术研究第四章结合肤色和a d a b o o s t 算法的人脸检测 第四章结合肤色和a d a b o o s t 算法的人脸检测 4 1 算法原理及流程 基于a d a b o o s t 算法的人脸检测虽然能够达到很高的检测率，但是误检率也比 较高，肤色检测容易受到光照和背景的影响，其检测率不高，本章研究结合这两种方 法的优势进行人脸检测，即先用a d a b o o s t 算法检测到人脸区域，再用肤色模型判 断区域是不是真正的人脸，目的是降低a d a b o o s t 方法人脸检测的误检率。算法流 程如图4 1 。 匝亘丑匹亟三岖圃扣 级联分类器 在原图标记人脸区域h 肤色区域剡断t * t 形态学处理h 竺里垦兰竺型h 至璺里竺壁皇 图4 1 算法流程图 彩色图像容易受光照的影响，所以要对图片进行光照预处理，这里选用g r a y w o r l d 的彩色均衡法，认为对于一幅有着大量色彩变化的图像，r1 3 ib 分量的平均值应 该趋于同一个灰度值。经过光照处理过的图片，用a d a b o o s t 级联分类器进行检测， a d a b o o s t 算法的人脸检测率很高，但是有可能检测到一些灰度分布和人脸相似的 物体。这时我们再用肤色去判断检测的区域是不是真正的人脸，其做法就是把 a d a b o o s t 算法检测到的人脸候选区域进行颜色还原，再转化到y c b c r 空间，因为 人脸肤色在y c b c r 空间聚类，通过式( 4 1 ) 判断是不是肤色。 蔓竺垡+ 业垡一5 ( 4 1 ) b 【o t h e r w i s e 对肤色区域先用形态学方法进行处理，提取完整的肤色区域，然后通过判断肤色点 个数来决定是不是人脸。通过实验，