（交通信息工程及控制专业论文）基于web的人脸检测与人脸识别.pdf

摘要 摘要 人脸识别技术就是利用计算机分析人脸图像，提取有效的识别信息来辨认身 份或者判别待定状态的- - f j 技术。它涉及模式识别、图像处理、计算机视觉、生 理学、心理学等诸多学科的知识，是当前研究的热点之一。人脸检测问题最初是 作为人脸识别系统中的一个关键环节提出的，但随着人脸应用范围的不断扩大和 开发实际系统要求的不断提高，人脸检测的最初研究不再能满足需求。由此，人 脸检测开始作为一个独立的课题受到研究者的重视。 本文以构建一个可用的、实用的基于w e b 的人脸检测和识别系统为目标，在 研究了人脸检测和识别的基本理论和关键技术的基础上，重点讨论了在复杂背景 条件下，彩色静态图像的人脸检测和识别问题。 首先，深入分析了a d a b o o s t 人脸检测算法整个流程，从一个较大的特征集中 选择少量关键的h a a r - l i k e 特征，产生一个高效的强分类器。再用级联方式将单个 的强分类器级联成为一个更加复杂的级联分类器。针对训练样本过少而检测正确， 率低的问题，提出二次识别的方法，取得较好的效果。 然后，文章研究了基于特征脸、奇异值分解理论、小波理论、b p 神经网络 理论等人脸识别方法，最后采用通过k - l 变换对图片进行降维，生成特征脸的方 法。并与上面的人脸检测方法相结合，形成一个实用的完整的人脸识别系统。 最后，为了使系统能与其他系统形成信息共享，本文构建了一个j 2 e e 体系 下的w e b 平台，并实现人脸检测模块，进行复杂背景下的多人人脸检测。 关键词：人脸检测人脸识别w e b 系统 a b s t r a c t a b s t r a c t t h et e c h n o l o g yo ff a c er e c o g n i t i o ni sat e c h n o l o g yt h a tu s e st h ec o m p m e rt o a n a l y z et h ei m a g ea n d d i s c r i m i n a t ei d e n t i t yo rr e c o g n i z es t a t u sf r o mt h ew o r k e di m a g e i t i sar e s e a r c ha r e as p a n n i n gs e v e r a ld i s c i p l i n e ss u c ha si m a g ep r o c e s s i n g ，p a t t e r n r e c o g n i t i o n ，c o m p u t e rv i s i o n ，p h y s i o l o g ya n dp s y c h o l o g y n o wi ti s o n eo ft h ek e y i s s u e s f a c ed e t e c t i o np r o b l e mi sf i r s t l yp r o p o s e di l l sak e ys t e po ff a c er e c o g n i t i o n s y s t e m a n d 、加t 1 1t h ee x t e n s i v ed e v e l o p m e n to ff a c er e c o g n i t i o na n da d v a n c e m e n to f d e v e l o p i n gp r a c t i c a ls y s t e m ，f a c ed e t e c ti sd e v e l o p i n gi n t oai n d e p e n d e n tr e s e a r c h f i e l d a i mt oc o n s t r u c tau s a b l ea n dp r a c t i c a lf a c ed e t e c t i o na n d r e c o g n i t i o ns y s t e m ，t h i s p a p e rg a v ear e v i e wo nt h eh i s t o r yo ff a c ed e t e c t i o na n dr e c o g n i t i o na tf i r s t ，t h e n m a i n l yd i s c u s s e dt h ef a c ed e t e c t i o na n dr e c o g n i t i o np r o b l e m si nd y n a m i cc o l o ri m a g e u n d e rc o m p l e xb a c k g r o u n d f i r s t ，t h ep a p e rd e e p l ya n a l y z e st h ep r o c e s so ff a c ed e t e c t i o nw h i c hi sb a s e do n a d a b o o s ta l g o r i t h m t h e ni tu s ef a c ed e t e c t i o nm e t h o db a s e do na d a b o o s tl e a r n i n g a l g o r i t h m ，w h i c hs e l e c t sf e wk e yh a a r - l i k ef e a t u r e s 的mal a r g es e to ff e a t u r e s ，t ob u i l d ar o b u s tc a s c a d ec l a s s i f i e r b e c a u s et o ol i t t l et r a i n e ds a m p l ec a l lc a u s et h el o w a c c u r a c yo fd e t e c t i o n ，ip r o p o s et h et w i c ei d e n t i f i c a t i o nm e t h o d , t h e nt h e9 0 0 dr e s u l t i sa c h i e v e d t h i sp a p e ra l s or e s e a r c h e st h en e wm e t h o do ft e c h n o l o g yo ff a c er e c o g n i t i o n w h i c hi sb a s e do nt h ei n t e g r a t i o no fe i g e n f a c e ，s i n g u l a rv a l u ed e c o m p o s i t i o n ，w a v e l e t t h e o r ya n db pn e u r a ln e t w o r k b yt h es t u d y , w ea d o p t e df a c ed i m e n s i o n - r e d u c t i o n m e t h o d sb yt h ek - 1t r a n s f o r mo nt h ep i c t u r e w i t ht h ef a c ed e t e c t i o nm e t h o d sa b o v et h e p a p e rs u c c e s s f u l l yc o n s t r u c tac o m p l e t ep r a c t i c a lf a c er e c o g n i t i o ns y s t e m f i n a l l y , i no r d e rt om a k et h es y s t e ms h a r ei n f o r m a t i o nw i t ho t h e rs y s t e m ，t h e p a p e rc o n s t r u c t saw e bp l a t f o r mu n d e rj 2 e es t r u c t u r ea n dr e a l i z e f a c ed e t e c t i o n m o d u l ef o rm u l t ip e r s o nf a c ed e t e c t i o nu n d e rc o m p l e xb a c k g r o u n d k e y w o r d ：f a c ed e t e c t i o n f a c er e c o g n i t i o n s y s t e mb a s e d o i lw e b 创新性声明 本人声明所呈交的论文是我个人在导师的指导下进行的研究工作及取得的 研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文 中不包含其它人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志所做的任 何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 耍聿毛 日期： 的印善 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印、或其它复制手段保存论文。( 保密的 论文在解密后遵守此规定) 本人签名： 1 , - 1 ， 并耳t 匕 导师签名：猛鳢 日期： b 。尹if 日期： 多0 第一章绪论 第一章绪论 1 1 引言 人脸检测( f a c ed e t e c t i o n ) 问题最初来源于人脸识另l j ( f a c er e c o g n i t i o n ) 。人脸识 别是当前生物特征识别领域最热门的一个，它涵盖了图像处理，计算机视觉和模 式识别等前沿技术，在人机交互，安全监视，机器人，身份认证等方面有着广阔 的应用前景。人脸检测是指采用一定的策略对任意给定的图片或视频进行搜索， 从而判断其中是否存在人脸，如果存在则定位出每个人脸的位置、大小以及姿态 的过程。 人脸识别的研究可以追溯到2 0 世纪6 0 7 0 年代【啦】，经过几十年的曲折发展 已日趋成熟，人脸检测是自动人脸识别系统中的一个关键环节，但是早期的人脸 识别研究主要针对具有较强约束条件的人脸图像( 如无背景图像或简单背景图 像) ，往往假设人脸位置已经或很容易获得，因此人脸检测问题并未受到重视。但 随着人脸应用范围的不断扩大和开发实际系统需求的不断提高，人们开始要求在 复杂背景下实时地进行人脸检测，这种假设下的研究不再能满足需求，由此所面 临的一系列问题使得人脸检测开始作为一个独立的课题受到研究者的重视。 1 2 人脸检测与识别的研究历史和现状概述 对人脸检测的研究最初可以追溯到2 0 世纪7 0 年代【3 , 4 】，人脸检测早期的研 究主要致力于模板匹配、子空间方法【5 l ，变形模板匹配等【6 7 1 。早期人脸检测方法 ( 8 9 】往往针对简单无变化背景下的正面人脸检测，所以使这些方法在很大程度上显 得很呆板。基于这些方法构建的检测系统，任何图像条件的改变，即使不用完全 重新设计整个系统，也要对系统的参数进行精细的调整。那时人们更重视对人脸 识别的研究，直到9 0 年代，随着实际的人脸识别和视频编码系统开始成为现实， 这种情况才有所改变。在过去的十多年里，对人脸检测的极大兴趣开始从几个方 面展开。研究者提出了多种检测方法，特别是那些利用运动、肤色和一般信息的 方法。统计和神经网络方法的使用也使在复杂背景和多分辨率中的人脸检测成为 可能。另外，在能够精确定位的跟踪面部特征提取方法的设计( 例如弹性模板和活 动轮廓) 方面也取得了很大的进展。近期人脸检测的研究主要集中在基于数据驱动 的学习方法，如统计模型方法【8 , 9 , 1 0 】，神经网络学习方法 1 1 , 1 2 , 1 3 , 1 4 】，统计知识理论 和s v m 1 5 , 1 6 , 1 7 1 方法，基于马尔可夫随机域的方法【1 8 】，b d f 方法【1 9 】，以及基于肤色 2 基于w e b 的人脸检测与人脸识别 的人脸检测【2 0 1 。目前，国外对人脸检测问题的研究很多，比较著名的有m i t ，c m u 等。国内的清华大学、北京工业大学、中国科学院计算技术研究所和中国科学院 自动化研究所等都有人员从事人脸检测相关的研究。随着人脸检测研究的深入， 国际上发表的有关论文数量也大幅度增长，如i e e e 的p g ( i e e ei n t e r n a t i o n a l c o n f e r e n c eo na u t o m a t i cf a c ea n dg e s t u r e r e c o g n i t i o n ) ，i c i p ( i n t e m a t i o n a l c o n f e r e n c eo ni m a g ep r o c e s s i n g ) ，c v p r ( c o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r n r e c o g n i t i o n ) 等重要国际会议上每年都有大量关于人脸检测的论文。目前，针对人 脸检测问题的人脸库很多，但由于人脸这一特定模式本身具有复杂性，建立一个 公认的、权威的、能够基本上涵盖可能人脸情形的和评价人脸检测方法优劣的人 脸检测测试图像库是比较困难的。 人脸识别的研究可以追溯到2 0 世纪6 0 一7 0 年代，但由于受技术条件限制，发 展缓慢。8 0 年代开始，特别是9 0 年代以来，随着计算机技术以及图像处理和模 式识别技术的发展，人脸识别技术得到巨大发展，并进入了商用领域，代表性商 用人脸识别软件有f a c e l t ，v i i s a g es y s t e m ，t r u e f a e e 等。关于人脸识别的文章很多， 有代表性的文献综述可参见文献【2 m 引。更全面和最新的人脸识别信息和研究进展 可参考专业性的人脸识别网站【2 9 1 ，该网站里面总结了全球著名人脸识别研究机 构，实验人脸数据库，感知科学、生理学、神经学和技术等相关科学在人脸识别 领域中有影响力的论文和最新的论文，各种算法有代表性的论文，以及该领域会 议、期刊和著作等各种信息。 人脸识别技术现在还存在着很多的缺陷、难题和技术瓶颈，至今仍未有重大 突破，得到很好的解决，主要表现在以下三个方面。一是人脸具有相当复杂的细 节变化，存在较大的差异和变化：同指纹、虹膜等生物特征相比较，人脸面部 特征稳定性较差，不同的人的外貌特征也各不相同，比如脸形、肤色、眼、嘴以 及表情等，人脸的三维弹性皮肤表面会因表情、年龄、化妆等原因使得面部特征 发生较大的变化；人脸经常存在遮挡物，比如眼镜、头发和头部饰物等。二是 外在条件的变化会影响到人脸图像：成像角度的不同造成人脸存在多姿态情况， 如平面内旋转、深度旋转和上下旋转，其中深度旋转影响较大，其检测称为侧面 人脸检测；光照的影响，比如图像中的亮度和对比度的变化、阴影、周围其它 颜色物体的反射光等。三是人脸识别技术是一个复杂的机器学习和模式识别问题， 它涉及到图像处理、模式识别、人工智能、计算机视觉、计算机图形学、 神经网络、认知科学、生理学、心理学等诸多学科，对各个学科提出了很高 的理论和技术要求。如人眼对人脸模式的识别过程是并行的，而目前的计算机系 统结构却是串行的，人的大脑皮层有1 0 1 1 1 0 1 2 个神经元组成，而每个神经元 又有1 0 3 1 0 4 个树突与其它神经元相联，如此巨大的网络规模是目前的硬件所 无法实现的，到目前为止，对人的视觉机理还不是十分清楚，人脸识别的核心技 第一章绪论 3 术有待进一步提高和发展。 1 3 本论文的研究背景及意义 随着北京2 0 0 8 奥运会门票真伪检测中人脸识别技术的使用，标志着生物识 别技术在我国已经备受重视。而2 0 1 0 年国家在上海世博会中对采用准确可靠的生 物特征识别技术来防止各种可能的恐怖和破坏犯罪活动的要求，更加推动此项技 术的发展。 而在生物特征识别技术中，人脸识别具有其独特的优势，主要体现在以下几 个方面：( 1 ) 隐蔽性操作强，特别适用于安全监控；( 2 ) 非接触式操作，符合一般 用户的习惯，容易被大多数用户所接受；( 3 ) 图像采集系统成本低廉；( 4 ) 友好的 用户界面，可交互性强。人脸识别在在虚拟现实、智能人机接口、视频会议系统 和安全系统中，有着非常广泛的应用前景。 以此为契机西安电子科技大学“智能交通研究实验室成立预研项目，在人 脸识别领域开展应用型研究工作。主要应用于驾驶执照，护照，身份证等证件的 智能检查，重要场所监控，嫌犯抓捕。 针对这一应用，不仅要求实现人脸的检测，识别，还存在与将得到的信息通 过互联网进行共享，与其它系统，比如身份认证系统，公安系统等结合，实现对 目标人物的资料提取，实时分析，网络追踪。所以将识别系统通过b s 结构与w e b 相结合是整个系统推广应用的关键。 综上，基于w e b 的人脸识别系统的建立，是识别信息进行共享的有效手段， 是生物识别技术推广的必经阶段，是单独的人脸识别系统与其它大型系统结合的 最优方式之一。应用前景极其广阔。 1 4 本论文主要研究内容 本文以构建一个可用的、实用的基于w e b 的人脸检测和识别系统为目标，在 研究了人脸检测和识别的基本理论和关键技术的基础上，重点讨论了在复杂背景 条件下，彩色静态图像的人脸检测和识别问题。总体说来，基于w e b 人脸识别系 统可以简明扼要的表示为如图1 1 所示的几个步骤。在本文中将依次介绍各个环 节，并对在c + + b u i l d e r 以及e c l i p s e 下实现具体功能过程中，得到的实验数据和 结果进行详细分析。其中，创新及突破技术壁垒部分包括： ( 1 ) 多人人脸检测算法的改进和优化，通过对人眼的二次识别来降低训练 时间，提高识别率。 4 基于w e b 的人脸检测与人脸识别 ( 2 ) 使用c + + 语言实现人脸检测和人脸识别算法，对图像进行处理，搭建 起实用的人脸检测与人脸识别系统。 ( 3 ) 为了构建基于w e b 多人人脸检测系统，使用j a v a 程序处理图像并与c 语言程序模块进行通信，最终实现i a v a 下人脸检测功能模块。 ( 4 ) 使用j a v a 构建j 2 e e 体系下的w e b 平台。考虑到人脸数据库的海量数据 及数据的安全性，使用m v c 分层模型搭建平台，并调用人脸检测功能模块，形 成w e b 下的多人人脸检测系统。此w e b 平台还为以后扩展人脸识别，人脸跟踪等 功能模块做好了准备。 ；一坐驯r 。蕊j - j；月竖，千! ：一 输出识别结果 - 一一。 输入图 l j 区田怔至于j 倔 图i - 1 人脸识别系统流程 本文的主要研究内容安排如下： 第一章主要介绍研究背景，内容及意义。 第二章主要介绍复杂背景下的人脸检测中的算法及实现。其中包括h a r t 小 波变换提取图像特征、a d a b o o s t 级联分类判决器的构建，识别过程中扫描图像以 及定位的方法，人脸检测的质量高低直接决定了人脸识别工作的结果。 第三章将对本系统采用的本征脸( e i g e n f a c e ) 识别方法介绍，并详细阐述 在系统中使用的本征脸的识别方法，在人脸检测的基础上对图片进行预处理，识 别的整个过程。 第四章用c + + 语言对前两章的检测与识别方法加以实现，介绍了整个系统 架构方案，处理流程，存在的问题。对实验的数据进行分析，提出系统的改进思 路。 第五章为了将系统与w e b 结合，介绍原有c + + 人脸识别系统向w e b 平台下 的转换的核心方法，以及j 2 e e 体系下w e b 平台的搭建，包括数据库层，应用服 务器层，和用户的w e b 页面层。 第六章为结束语。 第二章多人人脸检测 第二章多人人脸检测 当我们拿到一副彩色的人脸图片时，并不是立即就可以对它进行识别，而是 要先经过人脸检测。本章主要介绍了基于图像的人脸检测中a d a b o o s t 算法的基 本原理。a d a b o o s t 算法是对b o o s t i n g 算法的改进，实际上就类似贪心算法，能够 快速有效地从大量的简单分类器中选出极少的简单分类器，并且这些分类器是有 明显区别的。在本章中，首先介绍了机器学习算法基础；接着详细介绍了a d a b o o s t 算法的基本原理并分析了a d a b o o s t 算法的性能；最后介绍了用于a d a b o o s t 构造 分类器的h a a r 型特征以及弱分类器的训练方法。 2 1 人脸检测的常用方法 人脸检测的一般流程如图2 1 所示。在整个过程中特征提取最为关键，特征 提取算法决定了如何构造人脸检测器。如果特征提取得当，则我们就可以构造较 为简单的分类器，以较短的训练时间和运算时间得到较高的检测率，同时保持较 低的误检率。检测器是人脸检测算法的重要组成部分，判断一个待检测图像区域 是否是人脸主要是由检测器来决定。人脸检测器有时会输出重叠的检测结果，这 时就需要结果融合这个模块来进行检测后处理，以降低整个检测算法的误检率， 以及排除一些被误分类成人脸的图像区域。一般情况下结果融合采用的策略是： 对若干个( 若系统包含侧面检测时，检测器可能多于一个) 检测器的输出进行投 票表决；若同一个检测器输出有重叠，则需要根据实际情况对输出结果求交集， 并集或平均来唯一化检测结果。除了图2 1 所示的几个模块外，一个完整的人脸 检测系统还应该包括图像预处理这个模块，来对输入图像进行光照补偿等操作， 减少噪声对检测结果的影响。 图2 1 人脸检测的一般流程 本文大致将人脸检测方法分为以上四大类【3 0 1 。而事实上，对于一些人脸检测 方法的分类是比较困难的，有许多人脸检测方法并不能简单的归纳到上述中的某 一类，因为研究者可能综合使用了以上的多种方法，从而形成一种新的人脸检测 解决方案。另一方面，人脸检测的分类方法有很多种，按照不同的分类标准和分 析角度会得到不同的分类结果。 6 基于w e b 的人脸检测与人脸识别 2 1 1 基于知识的方法 这种方法是基于人们对人脸固有特征的认识，即对于不同的人脸，均有一些 相对不变的规律的因素，比如：人脸的正中部分有着较为统一的亮度值；人脸上 部与中间部分的平均亮度值之差也有着重要的意义；一般意义的人脸通常总包含 有一双对称的眼睛、一个鼻子和一个嘴巴，并且这些人脸部件之间的位置和距离 分布通常具有某种相关性等。可将这些典型的人脸知识编码形成人脸规则，当待 检测图像进入检测器时，人脸眼睛、鼻子等特征先被提取出来，然后再确认这些 特征之间的关系是否符合编码形成的规则，如果符合，则认为是人脸。 这种方法的优点是人脸部件之间的特征和关系比较简单，容易形成规则；同 时对于简单背景下的正面人脸检测有较好的效果。但是其缺点是不能很好地将人 类的先验知识转化为有效的检测规则。当严格按照规则区分人脸与非人脸时，往 往可能将人脸图像块错误地认定为非人脸：而当放宽规则要求时，误检率则会明 显提高。并且由于穷举所有可能出现的人脸模式是不可能的，因此这类方法很难 被扩展应到多姿态人脸检测中 2 1 2 基于特征的方法 基于特征的方法是一种自下而上的人脸检测方法，由于人眼可以将人脸在不 同的姿态、不同的视角、不同的光照条件下毫不费力地与其它物体区分开来，因 此研究人员认为有一个潜在的假设：人脸或人脸的部件可能具有在各种条件下都 不会改变的特征或属性，如形状、肤色、纹理、边缘信息等。基于特征的方法的 目标就是寻找上述这些不变特征，并利用这些特征来定位入脸。这类方法在特定 的环境下非常有效且检测速度较高，对人脸姿态、表情、旋转都不敏感。但是由 于人脸部件的提取通常都借助于边缘算子，因此，这类方法对图像质量要求较高， 对光照和背景等有较高的要求，因为光照、噪音、阴影都极有可能破坏人脸部件 的边缘，从而影响算法的有效性。 2 1 3 模板匹配的方法 模板匹配算法首先需要人t n 作标准模板( 固定模板) 或将模板先行参数化 ( 可变模板) ，然后在检测人脸时，计算输入图像与模板之间的相关值，这个相 关值通常都是独立计算脸部轮廓、眼睛、鼻子和嘴各自的匹配程度后得出的综合 描述，最后再根据相关值和预先设定的阈值来确定图像中是否存在人脸。基于可 第二章多人人脸检测 7 变模板的人脸检测算法比固定模板算法检测效果要好很多，但是它仍不能有效地 处理人脸尺度、姿态和形状等方面的变化。 2 1 4 基于外观形状的方法 与其它的几种方法相比，基于外观形状的方法并不对输入图像进行复杂的预 处理，也不需要人工的对人脸特征进行分析或是抽取模板，而是通过使用特定的 方法( 如主成分分析方法( p c a ) 、支持向量机( s v m ) 、神经网络方法( a n n ) 等) 对 大量的人脸和非人脸样本组成的训练集( 一般为了保证训练得到的检测器精度， 非人脸样本集的容量要为人脸样本集的两倍以上) 进行学习，再将学习而成的模 板或者说分类器用于人脸检测。因此，这也是j 种自下而上的方法。这种方法的 优点是利用强大的机器学习算法快速稳定地实现了很好的检测结果，并且该方法 在复杂背景下，多姿态的人脸图像中也能得到有效的检测结果。但是这种方法通 常需要遍历整个图片才能得到检测结果，并且在训练过程中需要大量的人脸与非 人脸样本，以及较长的训练时间。近几年来，针对该方法的人脸检测研究相对比 较活跃。 2 2a d a b o o s t 人脸检测方法的理论基础 2 2 1 机器学习算法基础 给定特征集和训练样本集，任何机器学习算法都可以进行分类判别函数的学 习。而本文使用机器学习算法将大量由特征生成的弱分类器进行挑选联系并构成 分类性能更好的强分类器，进行人脸检测。考虑到人脸结构的复杂性，对特征训 练得来的单个弱分类器不可能取得很好的分类效果，而采用机器学习算法可以对 弱分类器的性能进行提升。关于对分类器的性能进行提升的机器学习算法，包括 b a g g i n g 和b o o s t i n g 等算法。 上述两种方法的等价性问题可视为神经网络集成思想的出发点。k e a m s 和 v a l i a n t 3 l 】指出，在p a c 学习模型中，若存在一个多项式级学习算法来识别一组 概念，并且识别正确率很高，那么这组概念是强可学习的：而如果学习算法识别 一组概念的正确率仅比随机猜测略好，那么这组概念是弱可学习的。k e a m s 和 v a l i a n t 提出了弱学习算法与强学习算法的等价性问题，即是否可以将弱学习算法 提升成强学习算法的问题。如果两者等价，那么在学习概念时，只要找到一个比 随机猜测略好的弱学习算法，就可以将其提升为强学习算法，而不必直接去找通 常情况下很难获得的强学习算法。 8 基于w e b 的人脸检测与人脸识别 1 9 9 0 年，s c h a p i r e t 3 2 】通过一个构造性方法对该问题做出了肯定的证明，其构 造过程称为b o o s t i n g 。1 9 9 5 年f r e u n d 3 3 】对其进行了改进。在f r e u n d 的方法中通 过b o o s t i n g 产生一系列神经网络，各网络的训练集决定于在其之前产生的网络的 表现，被已有网络错误判断的示例将以较大的概率出现在新网络的训练集中。这 样，新网络将能够很好地处理对己有网络来说很困难的示例。另一方面，虽然 b o o s t i n g 方法能够增强神经网络集成的泛化能力，但是同时也有可能使集成过分 偏向于某几个特别困难的示例。因此，该方法不太稳定，有时能起到很好的作用， 有时却没有效果。值得注意的是，s c h a p i r e 和f r e u n d t 3 2 , 3 3 , 3 4 】的算法在人脸实时检 测应用时有一个重大缺陷，即它们都要求事先知道弱学习算法学习正确率的下限， 这在实际问题中很难做到。1 9 9 5 年，f r e u n d 和s c h a p i r e 提出了a d a b o o s t ( a d a p t i v e b o o s t i n g ) 算法【3 5 1 ，该算法的效率与f r e u n d 3 3 】算法很接近，而且可以很容易地应用 到实际问题中，因此，该算法已成为目前最流行的b o o s t i n g 算法。 b a g g i n 9 1 3 6 算法是将各神经网络的训练集由从原始训练集中随机选取若干 示例组成，训练集的规模通常与原始训练集相当，训练示例允许重复选取。这样， 原始训练集中某些示例可能在新的训练集中出现多次，而另外一些示例则可能一 次也不出现。b a g g i n g 方法通过重新选取训练集增加了神经网络集成的差异度， 从而提高了泛化能力。b r e i m a n l 3 6 】指出，稳定性是b a g g i n g 能否发挥作用的关键 因素，b a g g i n g 能提高不稳定学习算法的预测精度，而对稳定的学习算法效果不 明显，有时甚至使预测精度降低。学习算法的稳定性是指如果训练集有较小的变 化，学习结果不会发生较大变化，例如，k 最近邻方法是稳定的，而判定树、神 经网络等方法是不稳定的。 b a g g i n g 与b o o s t i n g 的区别在于b a g g i n g 的训练集的选择是随机的，各轮训 练集之间相互独立，而b o o s t i n g 的训练集的选择不是独立的，各轮训练集的选择 与前面各轮的学习结果有关；b a g g i n g 的各个预测函数没有权重而，b o o s t i n g 是有 权重i 拘；b a g g i n g 的各个预测函数可以并行生成，而b o o s t i n g 的各个预测函数只 能顺序生成。对于像神经网络这样极为耗时的学习方法，b a g g i n g 可通过并行训 练节省大量时间开销。 在本文所述的系统中，考虑到b a g g i n g 和b o o s t i n g 算法的特性，使用了检 测时间短并检测的效果更好的a d a b o o s t 算法，下面就对a d a b o o s t 算法及其性能 进行详细的讨论。 2 2 2 介绍a d a b o o s t 算法 a d a b o o s t 3 5 1 是一种迭代方法，其核心思想是针对同一个训练集训练不同的分 类器( 弱分类器) ，然后把这些弱分类器集合起来，构成一个更强的最终分类器 第二章多人人脸检测 9 ( 强分类器) 。 b o o s t i n g 3 2 】方法总的思想是学习一系列分类器，在这个系列中每一个分类器 对它前一个分类器导致的错误分类例子给予更大的重视。尤其是在学习完分类器 之后，增加由之导致分类错误的训练示例的权值，并通过重新对训练示例计算权 值，再学习下一个分类器。这个训练过程重复t 次。最终的分类器从这一系列的 分类器中综合得出。在这个过程中，每个训练示例被赋予一个相应的权值，如果 一个训练示例被分类器错误分类，那么就相应增加该例子的权值，使得在下一次 学习中，分类器对该样本示例代表的情况更加重视。 b o o s t i n g 是一种将弱分类器通过某种方式结合起来得到一个分类性能大大提 高的强分类器的分类方法。这种方法将一些粗略的经验规则转变为高度准确的预 测法则。强分类器对数据进行分类，是通过弱分类器的多数投票机制进行的。已 经有理论证明任何弱分类算法都能够被有效地转变或者提升为强学习分类算法。 该算法其实是一个简单的弱分类算法提升过程，这个过程通过不断的训练，可以 提高对数据的分类能力。整个过程如下所示： 先通过对n 个训练数据的学习得到第一个弱分类器h l ； 将h 1 分错的数据和其他的新数据一起构成一个新的有n 个训练数据的 样本，通过对这个样本的学习得到第二个弱分类器h 2 ； 将h - 和h 2 分错了的数据加上其他的新数据构成另一个新的有n 个新的有 n 个训练数据的样本，通对这个样本的学习得到第三个弱分类器h 3 ； 最终经过提升的强分类器= m a j o r i t yv o t e ( h l ，h 2 ，h s ) 。即某个数据被 分为哪一类要通过h l ，h 2 ，h 3 的多数表决。 二分类问题的描述： 给出一个训练集( x l ，y 1 ) ，l ，( x n ，y n ) ，其中x i x ，y iey = 1 ，1 ， f o rt = - i ，t ： 在训练集上训练弱分类器。 让1 1 t ：x - - 1 ，+ 1 ) 代表经过训练后得到的弱分类器。 对训练集进行调整。 最终的假设h ( x ) ，即为强分类器，为所有弱分类器的某种联合： h ( x ) = 厂( ( x ) )( 2 一1 ) 对于b o o s t i n g 算法，存在两个问题： 如何调整训练集，使得在训练集上训练弱分类器得以进行。 如何将训练得到的各个弱分类器联合起来形成强分类器。 针对以上两个问题，a d a b o o s t 算法进行了调整： 使用加权后选取的训练数据代替随机选取的训练数据，这样将训练的焦 i o基于w e b 的人脸检测与人脸识别 点集中在比较难分的训练数据上。 将弱分类器联合起来时，使用加权的投票机制代替平均投票机制。让分 类效果好的弱分类器具有较大的权重，而分类效果差的分类器具有较小的权重。 a d a b o o s t 算法是f r e u n d 和s c h a p i r e 3 5 】根据在线分配算法提出的，他们详细分析 了a d a b o o s t 算法错误率的上界，以及为了使强分类器k n a l 达到错误率算法 所需要的最多迭代次数等相关问题。与b o o s t i n g 3 2 1 算法不同的是，a d a b o o s t 算法 不需要预先知道弱学习算法学习正确率的下限即弱分类器的误差，并且最后得到 的强分类器的分类精度依赖于所有弱分类器的分类精度，这样可以深入挖掘弱分 类器算法的潜力。 p a u lv i o l a 和m i c h a e lj o n e s 于2 0 0 1 年将a d a b o o s t 算法应用于人脸检测中 2 3 1 。其基本思想是针对不同的训练集训练同一个分类器( 弱分类器) ，然后把这 些不同训练集上的得到的分类器联合起来，构成一个最终的强分类器。其弱分类 器构造如下：一个矩形特征j 对应着一个弱分类器hj ，对于一个候选输入窗口x ， 设该矩阵特征在x 上的值为f j ( x ) ，则弱分类器分类函数表达如下： 坼，= ：警艄 其中p j = 1 ，用来控制不等式方向，0j 代表了一个阈值。 a d a b o o s t 算法中不同的训练集是通过调整每个样本对应的权重来实现的。开 始时，每个样本对应的权重是相同的，即u ( f ) = l n ( i = l ，刀) ，其中n 为样本 个数，在此样本分布下训练出一弱分类器h l 。对于h 1 分类错误的样本，加大其 对应的权重；而对于分类正确的样本，降低其权重，这样分错的样本就被突出出 来，从而得到一个新的样本分布u 2 。在新的样本分布下，再次对弱分类器进行 训练，得到弱分类器h 2 。依次类推，经过t 次循环，得到t 个弱分类器，把这 t 个弱分类器按一定的权重叠加( b o o s t ) 起来，得到最终想要的强分类器。 a d a b o o s t 算法的具体描述如下： 给定训练样本集s = ( x l ，y 1 ) ，( x n ，y n ) ) ，其q b y i = 1 ，+ 1 分别 对应于正例样本和负例样本；t 为训练的最大循环次数。 初始化样本权重u l - ( 1 n ，1 n ) ，即为训练样本的初始概率分布 f o rt = l ，t ： 1 在训练样本的概率分布1u 下，根据( 2 2 ) 式训练弱分类器 吃= e ( x ，y ，u )( 2 3 ) 2 计算弱分类器的错误率： 6 t = y i u , m ( m ) 一以i ( 2 4 ) 第二章多人人脸检测 3 选取h t 使得。最小。 4 更新样本权重： 令屈= 壬 ( 2 5 ) 幽= 寺h ( ，) ( 2 6 ) v t + l = 等e x p ( 一口咖，( 砌( 2 - 7 ) 其中当h t ( x i ) m 时，y i = h i ( x i ) = 1 ；当y i - h t ( x i ) 时，y i h j ( x i ) = - 1 ； z t 是标准化常量，使得i u i = l 。 最终得到的强分类器为： 丁 日( x ) = s i g n ( s , h ，( x ) ) ( 2 8 ) a d a b o o s t 算法的名称其实是“t h ea d a p t i v eb o o s t i n ga l g o r i t h m 的缩写组合， 即“经过调整的b o o s t i n g 算法。a d a b o o s t 算法能够对弱学习( w e a kl e a r n ) 得 到的弱分类器的错误进行适应性调整。上述算法中有一个迭代了t 次的主循环， 每一次循环根据当前的权重分布u 对样本x 定一个分布p ，然后对这个分布下的样 本使用弱学习算法得到一个错误率为g t 的弱分类器h t 。对于这个算法定义的弱学 习算法，对所有的t ，都有自s 妻而这个错误率的上限并不需要事先知道，实际上 ：z ，11 凸io ，：1i 。1 3 。是e 。的参数，在每一次迭代时，。将根据e 。来变化，b 。被用来对 z j 权重向量进行更新。更新的规则是：减小弱分类器预测分类效果较好的数据的概 率，增大弱分类器预测分类效果较差的数据的概率。最终的强分类器是t 个弱分 类器的加权平均。 2 2 3a d a b o o s t 算法分析 为了能够更好地解释为什么在这样的算法驱动下，能选出有明显区别的特征， 下面将做一个简单的计算来说明这个问题： 假设现在已经选出了分类器，那么，在此分类器下，对于所有给定的范例图像 ( x l ，y 1 ) ，( x 。，y n ) ，必定有一部分是被正确地分类的，而另外一部分 是错误地分类的。现假设被正确分类的范例数为m ，错误分类的个数为，。 对应的正确分类的示例的权值设为：1 ，m ，错误分类的示例的权值设 为1 ( i ) m t 。 1 2 基于w e b 的人脸检测与人脸识别 所有正确分类的示例的权值之和我们设为t ，t - q ，错误分类的权值之 和设为( i ) t 缈r _ q ( 2 9 ) j 一l 、 当且仅当分类错误时i 协( 船) 一弘i - 1 ，所以，对应的t = c o t ，肛= i 等 权值更新后的和为铆，一= o j i x f l ，+ 功j ：竺型i 劬 但1 0 ) 4 - = 一疗， iz l 一( o r 因为所有的权值都是经过归一化处理的，劬+ 劬= 1 ， 所以： 劬，姗：孚掣+ 劬：2 哆 ( 2 1 1 ) l 一( o t 现在选 h 。时，所有范例图像集对于原h ，来说，分类的结果一定还是一样的， 又因为错误分类的示例的权值是不变的，只做了归一化处理。所以对于j j l ，来说，错 误分类的示例的权值之和变为o ) t t 卜丛，所以锄：= 1 。 o ) s m 2 又因为h 的错误s 只由错误分类的示例的权值和决定，所以s = o ) t = 二。 z 由此可见所有新选出来的特征( h 。) 的错误件l 一定小于或等于0 5 ( 否则 被选中的必定还是 ，) ，又因为肛+ 。= 等，所以，+ l l 。 因为自“，卜函“i x f l t + - ，所以所有被正确分类的示例的权值都减小了。而在权 值更新并归一化后，因为劬“，卜业，而幼“删1 ，所以所有被前一个特 ( d t + 1 甜“ 征错误分类的示例的权值也都增加了。并且历+ ，的值越小，错误分类和正确分类 的范例的权值差就越大。又因为所有而的错误仅由错误分类的示例的权值决 定，所以新选的特征h 什2 必定能更多地正确分类那些被hr + i 错误分类的示例，这 样才能减小错误。因此h 什2 和h ，+ 1 必然是明显不同的。 最后，实验证明了用此方法选出的第一个特征h l 的错误远远小于0 5 ，因此bl 的值远远小于1 ，所以必定h 2 和h 1 是明显不同的。那么根据数学归纳法，我们能 够证明所有被选出来的h 2 都是有明显区别的。 h a n s e n 和s a l a m o n 3 7 1 证明，对神经网络分类器来说，采用集成方法能够有效 地提高系统的泛化能力。在单个神经网络分类器的错误率低于1 2 ，并且各个网 络之间错误不相关时，集成分类器的错误率随n 的增大而单调递减，并且神经网 络集成中的网络数目越多，集成的精度越高。当n 趋向于无穷时，集成的错误率 第二章多人人脸检测 趋向于0 。k r o g h 和v e d e l s b y t 3 8 1 给出了分类器集成泛化误差计算公式。若集成是 高度偏向( b i a s e d ) 的，即对于相同的输入，集成中所有分类器都给出相同或者相近 的输出，此时集成的差异度接近0 ，其泛化误差接近于各网络泛化误差的加权