（计算机科学与技术专业论文）基于普通样本的adaboost人脸检测算法研究.pdf

幕于a d a b o o s t 的人脸榆测算法研究 摘要 人脸检测技术始于上个世纪6 0 一7 0 年代，经过几十年的发展，已经同臻完善。起初， 人脸检测是人脸识别技术的一个环节。但随着电子商务等应用的发展，识别系统对人脸 的适应性要求越来越高，入脸检测技术逐渐力从人脸识别中逐渐独立出来。这之后出现 了许多优秀的算法，o l a 和j o n e s 的基于级联结构的a d a b o o s t 算法是其中的代表，是 第一个精确实现实时检测的算法框架。然而，该方法没有很好的解决人脸检测问题中的 不对称性。由于该不对称性，使得a d a b 0 0 s t 检测算法的检测效果不是很好。本文的主 要工作有： 本文介绍了a d a b o o s t 算法的理论基础和工作原理，分析了基于a d a b o o s t 的人脸检 测算法的改进方法，在此基础上提出了新的人脸检测方法： 1 提出基于普通样本的a d a b 0 0 s t 人脸检测方法。 现实中，各个图像的检测难度不一，并且检测难度处于中间状态的图像占大多数。 利用此规律，本文提出了一种改进的a d a b o o s t 算法一普通样本a d a b o o s t 。该方法首先 分析了训练样本的检测难度分布规律，并以此确定普通样本的检测率范围。在训练时， 根据该范围来区分普通样本和非普通样本，对于普通样本采用特殊的权重更新方法，而 非普通样本则使用传统方法。实验结果表明，新算法比传统a d a b o o s t 算法在检测率和 负样本误检率上作的更好。 2 改进了级联结构。 传统的a d a b o o s t 级联结构是一层级联结构，所有的人脸区域必须经过所有的级联 分类器的检测才能够被当成人脸，其中任何一个级联分类器的拒绝都会导致检测失败。 为了提高人脸检测率，有的学者引入了二次检测。但是，引入二次检测必然会降低检测 速度。为了减少检测时间，本文采取只在误排率较高的时候引入二次检测。实验表明， 该方法可以提高检测率。 最后，设计了一个实验系统，实现了a d a b o o s t 算法的训练过程和在训练集上的检 测过程。 关键宇：人脸检测；a d a b o o s t ；权值更新；级联结构；检测率； 硕 ：学位论文 a b s t r a c t f a c ed e t e c t i o nh 龉g o t t e n 黟e a td e v e l o p m e n ts i r 垃e1 9 6 0 sw h e n “w a sap a r to ff 如e r e c o g n i t i o n a r e rt h er a p i da d v a l l c e m e n to fe l e c t r o n i cc o m m e r c e ，h o w e v e r ，h u m 锄f - a c eh a s b e c o m eo n eo ft l l em o s ti m p o m m tr e c o g n i t i o n a lo b j e c t ，t h e nf 如ed e t e c t i o n b e c a m ea i n d e p e n d e n tp r o j e c t a f i e rt h a tt i m e ，m a n y 甜g o r i t h m so ft h i sa r e ah a db e e nb r o u g h to 此t h e a d a b o o s tb a l s e do nc a s c a d ei n v e n t e db y o l aa i l dj o n e si n2 0 0 li so n eo ft h cm o s te x c e l l e n t o n e b e c a u s ei ti st h ef l r s tr e a l t i m ef a c ed e t e c t i o nm e t l l o dw h o s ed e t e c t i o nr a t ei sv e r ) r h i g h b u ta s y m m e t r i c ，m es p e c i a l t ) ，o ff a c ed e t e c t i o n ，h 硒n o tb e6 9 u r e do u tv e r yw e l l ，w h a t s m o r e ，t h et r a i n i n gs p e e do fm i sa 1 9 0 r i t h mi sv e 巧s l o w f 咖i t i e sm a l ( ei m p r o v e m e n to n a d a b o o s tf r o mt h i st w oa r e a t h i sp a p e r b e t t e r st h ea c c u r a c yb yc h a n g i n et r a i l l i n gm e t h o da i l d d e t e c t i o np r o c e s s i nt h i sa r t i c l e ，t h em a i nr c s e a r c hw o r ki sa sf o l l o w s ： t h ep a p e rf o c u s e so na d a b o o s t ，a r e r 砥t h e o r e t i c a lb a s i s ，w o r kf l o wa n d s o m e i m p r o v e m e n tb a s e do na i i a b o o s tf a c ed e t e c t i o na r ei n t r o d u c e d ，an e w f a c ed e t e c t i o na l g o r i t 胁 i sa d a v a j l c e d ： 1 t h ep 印e rp r o p o s e sg e n e r a ls 锄p l ef a c ed e t e c t i o na l g o r i m mb a s e do na d a b o o s t i nt h er c a lw o r l d ，e v e 巧p i c t u r eh a si t so w nd e t e c t i o nd i m c u l t ya 1 1 dm o s to ft h ed e t e c t i o n r a t e sa r em o d e r a t e t 1 1 i sp a p e rp r e s e n t e da na d v a n c e da l g o r i m 盯卜一g e n e r a ls 锄p l ea d a b o o s t b yt a k i n g u s eo ft h i sl a ww h i c hf o c u s e so nt h es 锄p l e sw h o s ed e t e c t i o n r a t e sa r c m o d e r a t e f i r s t ，t h em e t h o dd e f i n e dt h es c o p eo fg e n e r a ls 锄p l eb ya n a l y s i s i n gt r a i n i n g s 锄p l e d 嘶n g 仃a i n i n 函t h ew e i g h tu p d a t i n gm 劬o df o r t h eg e n e r a ls 锄p l e si ss p e c i a l l y d e s i g n e d ，a n dt h en o n - g e n e r a ls 锄p l e su s et h eg e n e r a lm e t h o d t h ee x p e r i m e n tr e s u l t ss h o w t h en e wm e t h o dg e t sb e t t e rd e t e c t i o nr a t e 2 b e t t e rd e t e c t i o nf r a m e w o r k i nt h eo l df r ；m l e 、v o r k ，a l l t h ef a c em u s tb ed e t e c t e db ya 1 1 t h ec a s c a d ec l a l s s m e r ，ar 白e c t i o n b ya n yc l a s s i f i e rc o u l dl e a dt oaf a l s er c j e c t i o n ，t h e f a l s er e j e c t i o nr a t e 髑h i 曲i no r d e rt 0 l o w e rt h ef a l s er c j e c t i o nr a t et og e tb e t t e rd e t e c t i o nr a t e ，t h ep a p e rd e s i g n sas e c o n dd e t e c t i o n n m c t i o n 。t h em e t h o dc a n n o tb eu s e d 叽1 e s st h e f a l s er e j e c t i o nr a t ei sv e 拶l l i 曲t h e e x p e r i m e n t a lr e s u l t ss h o w t h i sm e t h o dc a ng e tb e t t e rd e t e c t i o nr a t e i nm ee n d ，as y s t e mi sd e s i g n e dt or e a l i z et h et r a i n i n ga i l dm ed e t e c t i o np r o c e s s k e yw o r d ：f a c ed e t e c t i o n ；a d a b o o s t ；w e i 咖u p d a t e ；d e t e c t 矗锄e w o r k d e t e c t i o nr a t c ； 硕l 学位论文 插图索引 图1 1 人脸的模式特征2 图1 2 论文结构图7 图2 1 矩形特征1 1 图2 2 检测器内所有可能的矩形的数量1 1 图2 3 积分图矩阵1 3 图2 4 计算l 型模板的特征值1 4 图2 5 积分图计算1 4 图2 6 算法训练流程图1 5 图2 7 人脸和非人脸样本的特征值平均值曲线对比图16 图2 8 阀值分类器的样本分布1 7 图3 1 扩大的h a r r 特征模板2 2 图3 2 增加辅助函数的级联框架2 6 图4 1 图像的检测难度分布3 0 图4 2 层级级联结构3 4 图4 3 改进的级联框架3 6 图5 1 人脸检测系统框架3 9 图5 2 训练使用的样本4 2 图5 3 同一幅图像的不同的区域4 4 图5 4 检测与的关系4 5 图5 5 检测率对比4 5 图5 6 负样本检测对比4 6 图5 7 级联框架对检测率的影响4 6 v i l 基于a d a b o o s t 的人脸检测算法研究 附表索引 表2 1 矩形特征对应的s ，t 条件j 1 2 表2 2 不同窗口内的特征数量1 3 表2 3 两个特征对比1 6 表4 1 部分分类器错误率3 3 表5 1 各种人脸图像库及其描述4 0 表5 2 人脸测试库及其描述4 1 表5 3 误检率为2 0 时的检测率和速度4 7 硕士学位论文 第1 章绪论 1 1 选题背景 人脸检测是一种图像检测，指在目标图像中确定所有人脸的位置、姿态、大 小的过程，作为人脸信息处理中的一项重要技术，近些年来在模式识别和计算机 视觉中得到了快速的发展【1 ，2 ，3 ，4 1 。人脸检测技术最初只是人脸识别技术的一个环 节，始于上个世纪6 0 7 0 年代，经过几十年的发展，已经同臻完善。过去对待检 测图像的约束性较强，但随着电子商务等应用的发展，人脸已经变成了一个重要 的尘物识别对别像，并且这种应用对识别系统的适应性要求非常高。在这样的背 景下，人脸检测技术逐渐人脸识别中独立出来，成为一项独立的技术。新时代对 技术要求很高，单一技术不能很好的解决问题，学科交叉成为趋势，人脸检测就 是其中一例。它不仅仅是图像图形科学中的一个分支，而且涉及到心理学、工程 学和神经科学等其他学科。人脸检测过程中，主要存在以下几种检测情形【l 3 】： 1 定位一个单独的人脸的位置 2 在标准的背景下找出所有人脸 3 在彩色图像中找出所有人脸 4 在视频序列中，找出并定位所有人脸 人脸检测技术在内容检索、和谐人机界面、视觉监测、数字视频处理等方面 有着重要的应用价值，这使得人脸检测的研究备受关注。但是人脸是一类具有相 当复杂的细节变化的自然结构目标，本身的挑战性较高，具体体现有： 1 人脸模式多样 不同的人脸图像在外貌、肤色等方面不同。 2 姿势 图像中人脸的姿势受拍摄角度的影响，可以是正面人脸，也可以是4 5 。、 侧面人脸图或者是俯视人脸图。 3 人脸表情 人脸图像中人脸的表情会直接影响检测效果。 4 人脸区域存在遮挡物，像眼睛、胡须、围巾、眼镜等都可改变人脸的特征。 5 外界条件变化会对人脸特征造成影响，不同的摄像设备所拍摄出来的图像 不同，光线也可能会对图像造成影响，另外背景对人脸检测也会有干扰。因此， 成功的人脸检测系统的适应性受到多方面的因素影响，其难度可见一斑。 目前，国内外致力于人脸检测研究的组织有很多【3 】。国外比较著名的有 基于普通样本的a d a b o o s t 人脸榆测算法研究 m i t ，c m u 等，这些研究受到军方、警方及公司的高度重视和资助，美国军方每 年还专门组织人脸识别比赛以促进这一领域的发展。 模式识别技术在国内发展较晚，1 9 8 1 年我国才成为国际模式识别会议的正 式成员并举办了第一届模式识别和机器智能的会议。19 8 4 年，中国成立了模式 识别国家实验室。到l9 8 7 年，许多关于模式识别的文献的发表推动了中国模式 识别技术的进步。现在国内有清华大学、中国科学院计算技术研究所、北京大学、 西北工业大学和中国科学院自动化研究所、亚洲微软研究院等学校与单位在从事 人脸检测相关的研究。虽说人脸检测技术在国内学术界也得到了较大的关注，并 在2 0 世纪末、2 1 世纪初取得了较大的发展，但总体上仍处于起步阶段，研究大 多数是基于几何特征或代数特征，与国际水平先进水平仍存在较大差距。但随着 我国生物识别研究队伍的不断扩大，水平的不断提高，这种差距f 在不断缩小。 1 2 人脸检测方法 2 0 世纪6 0 一7 0 年代就有学者对人脸检测问题进行了初步的探索。早期的人 脸检测研究大都是以人睑的几何特征为检测依据，而且对输入人脸图像的大小、 背景等都有很多严格的限制，那时人脸的结构简单、人脸区域无遮挡、人脸图像 背景简单，对光线条件有约束等等。此外，那时候的人脸检测系统都需要利用某 些先验知识对检测进行人为的干预。直到9 0 年代，随着高性能计算机的出现， 人脸检测方法才取得了突破，进人到真正的机器自动检测阶段。近几年，随着人 脸检测技术研究的深入，国际上发表有关人脸检测的论文数量大幅增长，m p e g 7 标准组织建立了人脸识别草案小组，人脸检测算法也是一项征集的内容。 人脸图像包含的模式特征十分丰富，如图1 1 所示，这些特征中哪些是最有用 的、如何利用这些特征，是人脸检测要研究的一个关键问题。 匪圈 图1 1 人脸的模式特征 m i n g h s u a ny a n g 例等总结发现，目前的方法大概有1 5 0 多种，这些方法可以 分成如下几类，基于人脸结构知识的、基于特征、模板匹配、基于统计方法。 硕+ i ：学位论文 1 基于知识的方法 基于知识的方法又称为基于规则的人脸检测方法，规则来源于研究者对人脸 的先验知识，一般比较容易提出简单的规则来描述人脸特征和它们的相互关系。 如在一幅图像中出现的人脸，通常具有互相对称的两只眼睛、一个鼻子和一张嘴， 而这些特征区域的像素特征会很特别，特征之间的相互关系可以通过它们的相对 距离和位置来描述。使用这种方法检测的时候，首先提取面部特征，确定基于编 码规则的人脸候选区域，然后根据先验知识确定的规则进行人脸检测。 这种方法存在的问题是很难将人类知识转换为明确定义的规则，出现这样的 结果是因为知识的不确定定性和规则的严谨性。在确定规则时，如果规则非常严 格，检测失败性比较大：但是一旦规则比较宽松，虽然说人脸被检测出来的可能 性会增加，但是非人脸被误检测的概率也会比较大，造成较高的错误率。此外， 列举所有的先验知识是一项很困难的工作，而且人脸的变化性非常大，将这种方 法扩展到在各种不同状况下的人脸检测的难度比较大。 虽然基于知识的方法适应性比较差，但是针对性比较好。在约束条件严格的 环境下，检测效果比较好。 2 基于特征的方法 人脸模式特征包括颜色特征和灰度特征。 肤色是颜色特征中最常使用的，是人脸的重要信息且不依赖于脸部的具体特 征，图像的选择和人脸表情的变化不会对基于肤色的检测造成影响，在一般情况 下能和大多数背景物体的颜色相区别。刘正光【6j 等将人脸检测技术同肤色分割结 合起来以提高检测精度，先利用b 0 0 s t i n gc a s c a d e 方法检测人脸区域，再利用肤色 模型匹配。c a i 【7 1 提出一种使用色度图的方法在彩色图像中检测人脸。该方法通过 一个训练过程来获得色度图，色度图包含了不同的色度点作为皮肤的概率信息， 然后使用此色度图将彩色图像转换为灰度图像，高的灰度值表示该像素点是皮肤 的概率大，使用该方法检测人脸区域的成功率大于9 6 。基于知识的方法对变化 非常敏感，鲁棒性差。而基于特征的方法正好可以弥补这一缺陷，该方法对于变 化具有很强的鲁棒性和相对的稳定性。 灰度特征包括轮廓特征、镶嵌图特征、直方图特征和模板特征等，人脸区域 的狄度特征很明显，特别是眼睛、鼻子附件的区域。灰度特征模板与基于统计学 习方法的结合被广泛应用。 y a n g 和h u a n g 使用分层的基于知识的人脸检测方法，李华胜等人提出通过区 域增长从人脸图像中分割出人脸，再利用边缘检测、h o u 曲变换、模板匹配和方 差投影技术可以快速有效地提取出人脸面部器官，如眼睛、鼻子和嘴巴等特征。 实验结果表明其所采用的方法具有较高的准确率( 9 5 5 ) 和光照鲁棒性。姜军等 提出了一种基于知识的快速人脸检测方法，采用符合人脸生理结构特征的人脸镶 基于普通样本的a d a b o o s t 人脸榆测算法研究 嵌图模型。在分析了足够多的人脸图像样本基础上，针对人脸图像的灰度和边缘 信息，建立了一种较为完备的知识库；为加快检测速度，采用了多级检测步骤。 实验结果表明，其方法具有较强的鲁棒性，能够很好地解决复杂背景下的多人脸 检测问题。 3 基于模板匹配的方法 在早期是用包含人脸特征的不同长宽比的固定人脸模板，对输入图像进行全 局搜索，对应不同尺度大小的图像窗口，计算其与人脸模板的相关系数，通过预 先设置的阀值来判断。在实际应用中，为了增加适应性，一般采用多模板匹配。 但是由于忽略了人脸是一个非刚性体，很难得到有效的模板来表示人脸的共性， 这种方法目前已不多见。 4 基于统计模型的方法 有些过程没法用精确的数学推导过程得出，但是它确实正确，因为有统计结 果支持。经过数理统计求得的概念模型，就称为统计模型。基于统计模型的方法 包括基于a n n ( a r t i f i c i a ln e r v en e t w o r k ，神经网络方法) 、基于支持向量机的方法 和基于统计模型的方法等。基于统计模型的方法是目前比较流行方法，是解决复 杂的人脸检测问题的有效途径，具有以下优点： ( 1 ) 不依赖于前面提到的方法用到的特征，可以减少不必要的错误。 ( 2 ) 处理过程有智能，模型的建立需要学习，因此更为可靠。 ( 3 ) 如果要改善检测结果，通过增加学习的内容就可以做到，方便实现。 使用这种方法检测前需要大量的学习实例，检测时采用的方法又是穷举检 测，因此检测的成本高昂。并且在使用前的学习过程中，非人脸的选择也是一个 难题，非人脸的多样和代表性对检测性的适应性有很大影响。在复杂环境下，前 面三个方法的检测效果不是很好，此时用基于模型的方法能获得较好的检测结 果。 人脸检测的发展时间还比较短，各种方法都是针对特定问题提出的。为取得 良好的检测效果，必须综合考虑各种情况，融合各种方法。 1 3 人脸检测的难点 人脸作为人类自身再熟悉不过的一个组成部分，有其特殊之处。在人脸检测 中，涉及到模式识别、图像处理、人工智能等知识。近十年，该领域得到了广泛 的关注并取得长足的进步。国内外很多研究人士提出了很多方法，取得了一定的 成果。但是，目前的方法的在准确性、鲁棒性、适应性方面做的都不是非常好。 基于知识的方法虽然检测精度比较高，但是适应性随着学习样本的变化而变化。 其他方法的正确率和方法利用的先验知识的多少、特征的提取有很大关系。出现 这样的局面，原因在于人脸的特殊性： 硕十学位论文 1 人脸是一个不规则复杂的待检测目标。 世界人口有几十亿，按肤色分有4 中肤色，按洲来分有5 种。当然还有其他 划分方式，但不管用什么样的划分方式，有一点可以确定，世界上没有两个相同 的脸。人脸的特征包括五官的大小、比例位置、毛发、肤色等等，人脸的形状、 纹理颜色也不尽相同，这种丰富多样使得人脸检测非常难。 2 面部装饰物的存在会影响人脸检测的效果。 人脸的特殊之处除了上面提到的那些以外，还不能忽略这样一个事实：人脸 的表现受人类的发展影响。不同的民族有不同的风俗，脸部的装饰物可疑改变人 脸特征，给人脸检测带来影响，特别是对人脸检测中基于灰度的检测方法造成较 大干扰。 3 背景对人脸检测的影响。 检测人脸图像时，必然会受到图像背景的影响。背景的复杂多样，会改变人 脸表象。 4 采集条件的影响 图像采集过程受采集设备、采集光线的方向、明暗及色彩等影响，采集的角 度和环境也会给采集效果造成影响。 5 检测的独特要求。 人脸检测过程对人脸和非人脸的检测要求是不同的：对人脸的检测要求是检 测率非常高，排除率非常低；而对非人脸，检测率则不必要求难么高，但是排除 率必须非常高。对于同样一张图像中不同的区域，有不同的检测标准，这在实际 操作过程中，存在一些困难。 1 4 论文的主要工作 人脸检测问题由于其自身的复杂性，虽然有众多研究人员潜心研究多年，仍 旧未能得到彻底解决。人脸检测作为人脸信息处理中的一项关键技术，近些年来 的研究十分活跃，这可以从文献 1 ，3 】中了解。但直到2 0 0 1 年，基于级联结构的 a d a b 0 0 s t 人脸检测框架【8 】的提出，人脸检测系统的实时性才大大提高。此后，很 多学者在此方法的基础上做了进一步的改进。文献【9 】对正样本和负样本使用不 同的权值更新方法，提高了检测率和降低了负样本误检率。文献【1 0 ，1 l 】通过加大 正样本的权值更新力度，让分类器更重视正样本，实现了检测率的提高。文献【1 2 】 提出弱分类器的加权参数不但与错误率有关，还与其对正样本的识别能力有关， 通过加大权值参数改进检测率。文献【1 3 】则通过将f n r ( 被错分成负样本的正样 本的数目和所有正样本数目的比率) 和f p r ( 被错分成正样本的负样本与所有负 样本的比率) 引入到权值更新过程中，实现f n r 和f p r 的平衡。上面的各种改进 都是基于这样的一个前提，那就是所有的样本在权值更新过程中只是利用上一次 基于普通样本的a d a b o o s t 人脸柃测算法研究 检测的结果，并不能有效利用之前的历史信息。为此，文献【1 4 】提出了一种二维 结构来利用历史信息，实现检测率和误检率之间的平衡。然而，这些算法没有考 虑到：训练过程中使用的样本训练样本虽然涵盖了检测过程中会遇到的各种情 况，但对于待检测图像的检测难度的却没有关注。针对此问题，本文提出了一种 改进的a d a b 0 0 s t 算法。具体体现如下： 1 提出了普通样本概念。 实验表明，训练样本的检测难度并不是全都一样的，而是有其自身的规律。 检测难度处于中等的图像样本所占的比例较大，本文把这样的样本称为普通样本， 而较容易检测和较难检测的图像样本的比例较小，它们称为非普通样本。通过这 样的划分，可以使后期的训练过程更有针对性。 2 改进了权值更新方法。 本文的方法考虑到待检测图像的检测难度分布，在训练过程中，对不同难度 的样本给予不同的权值调整比重。对于普通样本，在权值更新的时候，使用特殊 的权重更新方法；而对非普通样本，则使用传统的a d a b o o s t 权值更新方法。这样， 训练出来的分类器将注意力更多的放在普通样本上，而对非普通样本的关注相对 较少，从而提高训练和检测的契合度。实验表明，该方法能够同时改善检测率和 负样本误检率。 3 改进了级联结构 文献 1 1 提出了一种改进的级联结构，实现了检测效果的提高。然而，增加辅 助函数作二次检测会增加检测时间，降低检测速度。所以，本文的改进是为一部 分级联分类器增加并联辅助函数。这样，检测速度和精度都能得到一定程度的提 高。 4 实现了a d a b o o s t 算法的训练和部分检测。 利用c m u 人脸训练库中的部分样本进行训练，得到分类器，并用分类器进行 实际的检测，检测结果显示本文方法的检测效果比原来的方法好。 1 5 论文的结构 本文一共分为5 章，下面是各章的详细介绍： 第1 章，绪论。 介绍了论文研究的背景，同时介绍了当前国内外人脸检测的研究现状、人脸 检测中常用的研究方法以及各类方法的比较，对人脸检测的难点做了概要分析。 然后总结了本文的主要工作，最后是本文的论文结构。 第2 章，基于a d a b o o s t 算法的人脸检测。 本章对a d a b 0 0 s t 人脸检测算法做了的详细介绍，该算法涉及到p a c 学习理 论，它的前身是b 0 0 s t i n g 算法，这些理论或算法都是a d a b o o s t 算法出现的前提。 硕l 学位论文 引入这些概念以后，文章对算法流程作了介绍并对算法的性能作出分析。分析主 要从速度和误差两方面进行。最后是章节小结。 第3 章，a d a b o o s t 算法的改进研究。 a d a b o o s t 算法出现以后，很多学者对其作了深入的分析，发现这种算法的 缺陷。通过分析人脸检测的特点和a d a b o o s t 算法的流程，找到改进算法的切入 点。 第4 章，基于普通样本的a d a b o o s t 人脸检测算法 分析第3 章中一系列很有意义的改进，得到本文的改进方法，并对本文的方 法作出理论分析。 第5 章，实验分析。 该章的主要内容是一个基于普通样本的人脸检测系统的实现，详细介绍了平 台实现的细节和实现后的实验效果，通过实验效果分析得出本文改进的合理性和 有效性。 最后是总结与展望。主要是对全文的总结和未来的展位。 图1 2 论文结构图 基于普通样奉的a d a b o o s t 人脸柃测算法研究 第2 章a d a b o o s t 人脸检测算法概述 上一章介绍人脸检测算法的研究的历史、现状和本文的结构，这一章将详细 介绍第一个实时人脸检测算法a d a b 0 0 s t 人脸检测算法。从上一章知道，人脸 检测算法中有一种方法被称为基于统计模型的方法，该方法通过大量的学习实例 来构建统计模型，通过增加学习实例可以提升学习效果。a d a b 0 0 s t 人脸检测算 法就是一种基于统计模型的方法，该方法于2 0 0 1 年由v i o l a 和j o n e s 【8 】提出，该 文献的发表在人脸检测史上可以算是一个重大突破，对人脸检测具有里程碑式的 意义。该方法有几大特点： 第一，它使用一种称为积分图的图像表示方法。创造性的将微积分的计算模 型引入到计算机领域，加速检测器用到的特征的特征值的计算。 第二，使用简单特征来计算。文献中提出了特征模板主要有5 种，通过这5 种 特征模板的交叉演绎可以匹配所有人脸特征。 第三，检测过程中使用层级级联结构。该结构将单个的分类器合成一个更加 复杂的分类器，使图像的背景区域快速地丢弃，而对有可能存在目标的区域花费 更多的时间来检测。通过这样一个由繁到简策略，可以在速度和精度上都取得很 好的效果。该方法的检测速度快，能达到1 7 帧秒，而检测精度和r o w l e y 的 a n n ( 神经网络) 方法基本相同( 9 0 以上) 。下面是详细内容。 2 1 引言 基于级联结构的a d a b o o s t 人脸检测算法的突出贡献在于，它将其他科学的计 算模型引入到计算机领域、给出了一个稳定实时的目标检测框架，是第一个实时 的人脸检测算法，为计算机领域的研究者在人脸检测方面指明了方向。本章将介 绍这种方法的历史，了解它的流程并分析它的性能。 2 1 1 概述 a d a b 0 0 s t 算法的前身是b 0 0 s t i n g 方法，由k e a r n s 和v a l i a n t 【”】最先指出。在 p a c ( p r o b a b l y 、a p p r o x i m a t e l y 和c o r r e c t ) 学习模型中，如果能用一个多项式级的 学习算法以很高的识别率来识别一组概念时，而且它是一个多项式级的学习算法 ( 时间、空间复杂度) ，则这组概念是强可学习的：如果该多项式级算法在识别一 组概念时，它的正确率仅比随机猜测的略好，则这组概念称为弱可学习的。如果 一个弱学习算法可以有效的提升为强学习算法，那么在学习概念时，只要找到它 的一个的弱学习算法，就可以将其提升为强学习算法，而不必直接去找通常情况 硕1 ：学位论文 下很难获得的强学习算法。后来，s c h a p i r e 和f r e u n d 【1 6 】改进了b o o s t i n g 方法， 提出了一个新算法：a d a b o o s t 算法，该算法不需要预先知道弱学习算法学习正确 率的下限即弱分类器的误差，a d a b o o s t 方法训练得到的强分类器的分类精度依 赖于所有弱分类器的分类精度。 下面对上面提到了概念一p a c 学习理论、强学习和弱学习、b o o s t i n g 方法 以及a d a b o o s t 方法分别介绍。 2 1 2p a c 学习理论 p a c 模型是计算学习理论中常用的模型，是研究泛化问题的一个概率框架， 由v a l i a n t 【1 5 】于19 8 4 中年首先提出。他认为学习过程中，即使对要学习的内容 没有一个清晰的学习步骤，学习也能完成，只要具备以下三种特性： 1 能够认知所以概念的分类： 2 学习的协议； 3 在有限步内完成期望的概念分类。 学习过程包括学习协议和推导过程，前者是从外界获得的信息，后者是可获 得各种所需概念的规则。其数学描述为： x ：实例空间，每个实例用x i 表示 d ：实例空间的分布 c ：概念空问，对于每个输入实例x ，概念总为x 输出一个类值，c 俐= 1i fx 属于类c ，c 俐= o ，i f x 不属于类c 。 h ：学习器输出的一个假设，也可以理解为经过学习得出的分类模型。 e ：随机样本被错分概率的上界。 6 ：置信度。 也就说，p a c 学习模型考虑了学习内容、学习环境、学习的目标、学习成 功的标准、学习的有效性。定义学习器是p a c 学习的：如果学习器通过多项式 个样本和经过多项式时间的学习，能够以至少( 1 艿) 的概率输出假设h ，使得假设 对随机样本的分类错误率被限定在g 内，则称该学习器是p a c 学习的。反过来 说，如果学习器是p a c 学习的，也可以确定当收敛到成功假设时复杂度。 2 1 3 强学习和弱学习 投掷一枚普通硬币，如果总是猜“字”朝上，那么总有5 0 答对可能性。 这就是随机猜测的一个简单例子。如果一个假设的判断能力稍稍比随机猜测的能 力强，那它就是弱学习算法，得到该算法的过程成为弱学习。相应地，如果一个 过程能够显著的提高猜测的概率，那么它就是强学习。构造弱学习算法比较容易， 但要构造一个强学习算法就比较困难。能否在可接受的时间和空间内，把弱学习 基于普通样奉的a d a b o o s t 人脸枪测算法研究 算法转换成强学习算法，这个问题由k e a r n s 提出。而后，由他和v a i i a n t 给出了 证明：只要有足够多的数据，弱学习算法可以转换成任意高精度的强学习算法。 2 1 4b o o s t i n g 算法 b o o s t i n g 的中文意思是提升、提高，b 0 0 s t i n g 算法的意思就是一种能将弱学 习算法转换成强学习算法的算法。1 9 9 0 年，s c h a p i r e 【1 7 l 最先构造出一个多项式级 算法，也就是最初的b 0 0 s t i n g 算法。l9 9 1 年，f r e u n d 提出了一种更高效的b o o s t i n g 算法。1 9 9 3 年，d r u c k e r 和s c h a p i r e 第一次以神经网络作为弱学习器，解决实际 问题。但直到19 9 4 年k e a r n s 和v a l i a n t 证明强弱学习是等价的过程，并且通过 一定的方式，弱学习过程可以转换成强学习过程，b o o s t i n g 算法才正真的成熟起 来。上面是学习理论基础，是a d a b o o s t 算法的理论基石。下面要介绍的是v i o l a 的a d a b o o s t 算法框架的特殊之处，下面是a d a b o o s t 算法介绍。 2 2 矩形特征 基于模板的匹配和部分人工神经网络的方法都是直接选取图像像素作为分 类的依据，这种做法有以下不足： 1 信息量少 对于大小为m 的图像，以像素作为输入只有m 个值，如果单纯增加图 像大小则会影响处理速度。 2 区分度不高 因为原始像素包含的信息量较少，作为分类依据时，可信度不高，都需要对 原始信息作进一步处理。 3 处理速度慢 选取原始像素作为输入时，在训练对目标区域的像素进行一遍扫描，计算量 大。在检测时对模板进行多尺度金字塔扫描时，运算量更大，这是造成此类方法 速度慢的根本原因之一。 鉴于这些原因，本文使用矩形特征作为分类的依据。矩形特征的值是值图像 上两个或多个形状大小相同的矩形内所有像素灰度值之和差值。为了使人脸分类 器的速度尽可能的快，特征的应该尽可能的简单，v i o l a 等提出了h a r r 型特征， 如图2 1 所示。在一幅肘w 的图像所有矩形特征至少为3 m 奉n ，由此可见，矩 形特征所含的信息量巨大。 硕士学位论文 图2 1 矩形特征 2 2 1 检测器内特征总数 特征模板以满足任意条件的尺寸放置在子窗口的任意位置，在弱分类器训练 之前，要找出子窗口内的所有特征。一个固定大小的子窗口内满足特定条件的矩 形特定的总数可以这样计算： 翻木m 子窗口中，如图2 2 所示，需要确定特征矩形的左上顶点a ( x 1 ，y 1 ) 和右 下顶点b ( x 2 ，y 2 ) 的位置，知道这两个点之后，就可以确定一个特征矩形。如果该 矩形还满足下面两个条件，就称为满足( s ，t ) 条件的矩形，又叫条件矩形。 1 x 方向边长必须能被正自然数s 整数 2 y 方向边长必须能被正自然数t 整除 从这个定义，我们知道这个矩形的最小尺寸为s 木t 或t 水s ，最大尺寸为 1 1 1 s 】木s 奉 州t 】木t ，其中 为取整运算符。 m _ 一_ _ 一一、- 、。 图2 2 检测器内所有可能的矩形的数量 綦于普通样本的a d a b o o s t 人脸柃测算法研究 通过下面两步可以定位一个满足条件的矩形： 1 确定 竹胡) 卜 1 2 ，肘鸭朋一川 ，只 1 2 ，一埘一川) ) 因此有： x 2 x = 而+ s 一1 ，五+ 2 1 ，五+ ( p 一1 ) s l + p 拳s 一1 ) ( 2 1 ) 其中p 2 竿h 掣 ，并且删x h 胆h 由上分析可知，在m ，l c m 子窗口中，满足( s ，t ) 条件的所有特征矩形的数量为： 毗矿善1 善1 p g = 善1 善1 尘 生乒而l l舶t 1而篁lm 宣1l d jl j = 菩1 半褂掣 亿2 ， = 时嘲+ + 斟+ 1 ( 字 + + 嘲+ 1 ) 2 2 2 子窗口条件矩形的数量 实际上，( s ，t ) 条件描述了矩形特征的特征，下面列出了不同矩形特征对应的 ( s ，t ) 条件： 表2 1 矩形特征对应的s ，t 条件 特征模板il 【 if _ _ ii ( s ，t ) 条件 ( 1 ，2 )( 2 ，1 )( 1 ，3 )( 3 ，1 )( 2 ，2 ) m 唯m 子窗口中所有5 种特征模板的特征总数量为： q 卅= q ：2 ) + q 丕1 ) + q 器，i ) + q j ，3 ) + q 墨，2 ) ( 2 3 ) 模板1 和2 ，3 和4 具有旋转对称性，公式2 3 可以进一步简化成2 4 ： q 埘= 2 q ：2 ) + 2 q ：，3 ) + q 墨，2 ) ( 2 4 ) i i ，i i ) ，i z ， 、， 训练过程中经常采用的训练样本有这样几种尺寸的：1 6 1 6 ，2 0 2 0 ，2 4 2 4 ， 3 0 宰3 0 ，3 6 3 6 ，这5 种尺寸的训练样本数量如表2 2 ，计算过程如公式2 2 硕士学位论文 表2 2 不同窗口内的特征数量 2 3 积分图 2 3 1 概念 图像中任意一点( x ，y ) 的积分图i i ( x ，”为( x ，y ) 点之前所有点的像素之和，表 达式是： 以x ，y ) = 如，y 。) ( 2 5 ) j 。立。j ，。j ， 使用积分图时，只需进行少量工作就可以得到一幅图像的积分图。对于灰度 图像来说，i ( x ，y i ) 为( x ，y i ) 出的像素值，值为o 2 5 5 。对于彩色图像来说，是彩色 空间转化后的狄度取值。在实际计算积分图时，采用不同于公式2 5 的方式来计 算，如公式2 6 、2 7 所示，这种方法比定义法更容易在计算机实现。 f f ( x ，y ) = f f ( x l ，y ) + s ( x ，y ) ( 2 6 ) s ( x ，j ，) = s ( x ，y 一1 ) + f ( x ，y ) 其中，s ( x ，y ) 为点( x ，y ) 及其y 方向向上所有原始图像之和并定义： s ( x ，0 ) = 0 ，i i ( 0 ，”= 0 ( 2 7 ) 图2 3 【18 1 是图像大小为m 掌n 的积分图像矩阵计算过程： t i 艮1 ) - 瑚甄玲+ j c 啦：z i 一嗣匿玲+ 目e 2 毋始印卜眄t 嗣9 灿乏夸+ 口一1 ) i 婚鸭碜- i i 0 ，一。霉+ ，c 挣囝 卿一5 相埔l霏d 嘞+ 砭霉刚，1 ) - 跏卜珊 却卜竭嘲9 - 卿玲慨搴 。一1 旺簪魂6 筠i ；：j i 厨一一f - 一一一r 一。翮= 蠲嚣= i 再i 鳓 田国- 艰母均i5 魄刁町。鹎黼刁 ； ： 。； 雄呻一自吼卜争+ 碓 由；l 脚1 月曲- 哟，卜i 嚣曲幛机茌一夸 巫糟曲一艰一一a + 丛玎一1 ) ；面研曲一5 钿”一篓枷，通 。弼司司瓣i 缔一一i 砾鬲雨硒i - 西i 舔j i 二万1 砀i 骄两雨乏两雨丽；二町一渐万拥努i ；蔽带一 5 一5 0 ，力一骖斗f o 。力；跽刀】) - 嗣睡， 一习+ 却一i j o j 雌弹) - 加押d + j 口卜l ，崎；瓦删册一罩+ ，钒砷 图2 3 积分图矩阵 从图2 3 可以看出，引入积分图和公式2 6 和2 7