（计算机软件与理论专业论文）基于real+adaboost算法的多姿态人脸检测的研究与实现.pdf

摘要 摘要 人脸检测作为人脸信息处理中的一项关键技术，近年来在模式识别与计算 机视觉领域中已经成为一个十分活跃的研究方向，具有极高的学术研究价值和 商业应用价值。随着智能化信息处理技术的发展，人脸检测在身份识别、视频 编码、基于内容的检索、自动监控、人机交互等方面有着r 益广泛的应用。 本文首先归纳和分析了当前人脸检测的典型算法，然后从r e a la d a b o o s t 算 法出发，分别对训练过程、检测过程进行改进优化，并在此基础上实现了多姿 态人脸检测系统和实时人脸检测系统。首先，提出了对h a a r 特征高度、宽度和 面积加以限制，减少了特征数，缩短了训练时间；其次，对于庞大的训练数据 量，提出写文件分批处理；再次，本文提出一种找反例的新方法，放大检测窗 口把误检的窗口图像直接作为反例样本，在计算特征值时除以放大倍数：最后， 在实时人脸检测系统中，采用了d i r e c t s h o w 技术，较大地提高系统的速度，达 到1 8 帧秒。 课题研究中所实现的人脸检测相关程序具有良好可移植性，为今后的进一 步研究和应用打下了良好的基础。 关键词：人脸检测；r e a l a d a b o o s t 算法；多姿态；d i r e c t s h o w ；实时人脸检测 a b s t r a c t a b s t r a c t a sak e yt e c h n o l o g yi nf a c ei n f o r m a t i o np r o c e s s i n g ，f a c ed e t e c t i o na t t t a g = t sa w i d e s p r e a da r e n t i o ni nt h ef i e l do fc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o ni nr e c e n t y e a r sb e c a u s eo fi t sh i g l lv a l u eo fa c a d e m i cr e s e a r c ha n dc o m m e r c i a la p p l i c a t i o n s w i t ht h ed e v e l o p m e n to f i n t e l l i g e n ti i l = r o r m a 6 0 np r o c e s s i n gt e c h n o l o g y , f a c ed e t e c t i o n m a k e sal o to fa p p l i c a t i o n si nt h ei d e n t i f i c a t i o n , v i d e oe n c o d i n g ，c o n t e n t - b a s e d r e t r i e v a l ，a u t o m a t i cc o n t r o l ，h u m a n - c o m p u t e ri n t e r a c t i o na n d5 0o n t h i sp a p e rs u m m a r i e sa n da n a l y s i st h ec u r r e n tt y p i c a la l g o r i t h mo ff a c e d e t e c t i o n , a n dt h e ni m p r o v e sa n do p t i m i z e st h ep r o c e s so f t r a i n i n ga n df a c ed e t e c t i o n t h i sp a p e rr e a l i z e st h em u l t i - v i e wf a c ed e t e c t i o ns y s t e ma n dr e a l - t i m ef a c ed e t e c t i o n s y s t e mo nt h i sb a s i s f i r s t l y , t h i sp a p e rp u t sf o r w a r dt h ei d e at h a tl i m i t st h eh e i g h t , w i d t ha n da r e ao ft h eh a a rf e a t u r e s t l l i sm e t h o dd e c r e a s e st h en u m b e ro ff e a t u r e s a n dt r a i n i n gt i m e s e c o n d l y , f o rt h eh u g ed a t ao ft r a i n i n g ，t h i sp a p e rp r o p o s e st h e m e t h o dw h i c hi st ob a t c hp r o c e s s i n gb yw r i t i n gf i l e s t h i r d l y , t h i sp a p e rp r o p o s e sa n e wm e t h o dt of i n dn e g a t i v es a m p l e s i tt a k e sf a l s ep o s i t i v ew h i c hg e t sb ys c a l i n gt h e d e t e c t i o nw i n d o ww h e nd e t e c t i n gn o n f a c ei m a g ea s n e g a t i v es a m p l e s w h e n c o m p u t i n gh a a rf e a t u r ev a l u e ，i td i v i d e sb ym a g n i f i c a t i o n f i n a l l y , i nr e a l - t i m ef a c e d e t e c t i o ns y s t e m , t h i sp a p e ru s e st h ed i r e c t s h o wt e c h n o l o g y , w h i c hh a ss i g n i f i c a n t l y i n c r e a s e ds y s t e ms p e e dt o18f l a m e sp e rs e c o n d o u rp r o g r a ma b o u tf a c ed e t e c t i o nh a sag o o dp o r t a b i l i t ya n dl a y sag o o d f o u n d a t i o nf o rf u t u r er e s e a r c ha n da p p l i c a t i o n k e yw o r d s ：f a c ed e t e c t i o n ；r e a la d a b o o s ta l g o r i t h m ；m u l t i - v i e w ；d i r e c t s h n w ； r e a l t i m ef a c ed e t e c t i o n i i 学位论文独创性声明 学位论文独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得直昌太堂或其他教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示谢意。 学位论文作者签名( 手写) 锨签字日期沙叩年，狷矽 ， 学位论文版权使用授权书 本学位论文作者完全了解直昌盔堂有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权直昌太堂可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编本学位论文。同时授权中国科学技术信息研究 所将本学位论文收录到中国学位论文全文数据库，并通过网络向 社会公众提供信息服务。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：谬钐么导师签名：互筇是 擀醐岬锄月节辩醐：明锄钐月哆日 第1 章绪论 1 1 研究背景与意义 第1 章绪论 y a n g 等将人脸检测定义为：判定任意给定一幅图像或者一组图像序列中 是否存在人脸。如果存在，则返回其位置和各个人脸所占的区域。人脸检测作 为人脸信息处理中的一项关键技术，近年来在模式识别与计算机视觉领域中， 已经成为一个受到普遍重视、研究十分活跃的方向，具有极高的学术研究价值 和商业应用价值。 随着社会的发展以及技术的进步，尤其是最近十年内计算机的软硬件性能 的飞速提升，以及社会各方面对快速高效的自动身份验证的要求日益迫切，生 物识别技术在科研领域内取得了极大的重视和发展。更由于生物特征是人的内 在属性，具有很强的自身稳定性和个体差异性，人脸因人而异，绝无相同。身 份验证是较理想的依据，与指纹、视网膜、虹膜、基因、掌纹等其他人体生物 特征识别统相比，人脸识别系统更加直接、友好、方便，易于为用户所接受、 应用方便等显著的优点。并且通过人脸的表情、姿态分析，还能获得其它识别 系统难以得到的一些信息。 人脸检测的研究涉及到计算机图像处理、模式识别、计算机视觉、人工智 能以及机器学习等。人脸检测是这些学科的交叉应用。这对于这些学科的研究 发展具有重要的意义。人脸检测是智能人机接口技术研究的基本内容。不仅是 智能接口系统的重要功能模块，而且是其他智能感知系统的基础和前提。人脸 检测技术为其他感知系统( 人脸识别、表情识别、唇读等) 的技术研究提供了 前提条件，即有效、快速的人脸定位。 人脸检测还是其他领域中的关键技术，例如、视频会议、基于对象的编码、 应用视觉系统( 如安全检查、保安管理) 、三维人脸合成、视频检索、基于内容 的图像检索等。在数字音频领域有广泛影响的m p e g 系列国际标准也在征求人 脸检测算法。由于人脸是一类细节变化复杂的自然结构目标，如果能够找到解 决这些问题的方法，成功构造出人脸检测与跟踪系统，将为解决其他类似的复 杂模式检测问题提供重要的启示。 第1 章绪论 1 2 国内外的现状及发展趋势 最早的人脸检测要追溯到2 0 世纪7 0 年代，这时使用的是简单的启发式和 人体测量技术【2 l 。这些技术被严格地限制在各种各样的假定前提下，如：空白的 背景，前景是人脸的图像一种典型的护照图像。对于这些系统，任何一点 成像环境的改变都将意味着即使不彻底的重新设计整个系统，也要进行调整。 由于这些问题的存在，关于人脸检测的研究兴趣一直停止不前。直到2 0 世纪9 0 年代，当人脸识别的应用和视频编码系统成为现实之后1 3 】，人脸检测才成为研究 热点。在过去的几十年内，提出了一些关于人脸检测的分割方法，如：基于运 动的、基于肤色的和基于灰度级的。使用统计学方法和人工神经网络方法也能 在复杂背景和不同拍摄距离下检测出人脸。此外，这里有许多较好的特征提取 的方法如：可变模板和活动轮廓。在很多情况下，这两种方法能准确定位和跟 踪人脸面部特征。 由于人脸检测依赖于先验知识，所以根据使用人脸知识方式的不同，检测 方法可总体上分成两大类。第一类方法就是显式地使用人脸知识，遵从传统的 检测方法，先提取低级特征1 4 5 1 ，再进行基于知识的分析。在不同的系统层，用 到了人脸的外观属性，如：肤色和人脸几何学信息。在这些技术中，人脸检测 是通过度量可见特征的距离、角度和面积来完成的。因为特征是主要的成分， 这些技术被称为基于特征的方法。第二类方法是基于图像的方法，通过统计分 析和机器学习来确定图像中是否包含人脸。先通过学习，在大量训练样本集的 基础上建立一个能对人脸和非人脸样本进行正确识别的分类器，通过判别图像 中所有可能区域是否属于“人脸模式”的方法来实现人脸检测。使用训练方法 而不是人脸特征的推导和分析法，将基于图像表示的人脸( 如用二维亮度数组 形式) ，直接分到人脸类别中。与基于特征的方法不同，这些相对较新的技术通 过匹配和训练的算法隐式地把人脸的知识融合到系统中。 随着科学的发展，自9 0 年代以来人脸检测成为了研究热点。国外研究人脸 检测与识别的算法层出不穷。相关杂志上发表的有关方面的论文不下数千篇。 特别美国遭遇恐怖袭击后，这一技术更引起广泛关注。作为最容易使用的识别 技术，人脸识别成为当今国际反恐和安全防范最重要的手段之一。这些系统针 对性比较强，而且对环境的限制条件比较多，往往假设人脸位置己知或很容易 获得，因此人脸检测问题并未受到重视。近几年随着电子商务等应用的发展， 2 第1 章绪论 人脸识别成为最有潜力的生物身份验证手段，这种应用背景要求自动人脸识别 系统能够对一般环境图像具有一定的适应能力，由此所面临的一系列问题使得 人脸检测开始作为一个独立的课题受到研究者的重视。由于人脸具有复杂而细 致的模式变化，加之图像背景千变万化，因此人脸检测与跟踪是一个极具挑战 性的研究问题，近年来成为模式识别、计算机视觉和多媒体技术领域内一项受 到普通重视、研究十分活跃的课题。 目前，国外对人脸检测问题的研究很多，比较著名的有c m u ( 卡耐基梅隆 大学) 、m 1 1 r ( 麻省理工学院) 、y a l e ( 耶鲁大学) 等机构。而且，m p e g 7 标 准组织己经建立了人脸识别草案小组，人脸检测算法也是一项征集的内容。随 着人脸检测研究的深入，国际上发表的有关论文数量也大幅度增长，如i e e ef g ( i e e e 人脸与手势自动识别国际会议) ，i c i p ( 图像处理国际会议) 、c v p r ( 计 算机视觉与模式识别会议) 等重要国际会议上每年都有大量关于人脸检测的论 文，占有关人脸研究论文的近l ，3 之多。 国内在这方面的研究起步于8 0 年代，但发展较快。国内的清华大学、中国 科技大学、中国科学院计算技术研究所和中国科学院自动化研究所、上海交通 大学、华中科技大学、南京大学等都有人员从事人脸检测相关的研究。2 0 0 2 年 1 1 月中科院计算所“面像检测与识别核心技术”完成对8 0 0 0 多个人脸的成功 识别。2 0 0 3 年7 月南京大学、南京长城信息系统有限公司和江苏省公安厅刑警 总队研制成功“基于单幅训练图像的多表情人脸自动识别系统”，并通过江苏省 科技厅组织的科技成果鉴定。在2 0 0 4 年第1 7 届模式识别国际会议i c p r 2 0 0 4 组 织的人脸认证竞赛f a t 2 0 0 4 中，清华大学丁晓青教授领导的智能图文研究室所 有三项测试均获第一名。 1 3 现有人脸检测算法 人脸检测算法的本质是寻找人脸区域区别于其他区域的特征，符合这个特 征的区域就是人脸区域。人脸的最基本的特征可以概括为颜色特征( 肤色、发 色、唇色、灰度) ，几何特征( 轮廓、五官、对称性) ，统计特征( 均值、方差、 相关系数、直方图) ，变化域特征( 梯度特征、频域特征、特征脸、小波特征) ， 分形纹理等。现有的人脸检测算法可分为两大类：基于特征的方法和基于图像 的方法。 3 第1 章绪论 1 3 1 基于特征的方法 基于特征的方法是利用对人脸的先验知识导出的规则来进行人脸检测的。 通过先验知识可得出人脸区别于“非人脸”区域的特征，然后根据被检测区域 是否满足这些“人脸特征”，来判定该区域是否包含人脸。根据所选择的“人脸 特征”，这类方法有基于边缘的方法，基于灰度信息的方法，基于肤色模型的方 法，模板匹配的方法和基于人脸几何结构的方法等。 ( 1 ) 基于边缘的方法 作为计算机视觉应用最主要的特征。边缘表示法最早被s a k a i 等人 2 1 在研究 工作中应用。这项工作基于图像中人脸的线画( 1 i n ed r a w i n g ) 分析来定位面部 特征。c r a w 等人【6 1 随后在s a k a i 的基础上提出了分级的结构来跟踪人脸的轮廓。 这种方法包括一个用轮廓约束来实现的l i n e f o l l o w e r 算子，以阻止边缘噪声的干 扰。头部轮廓内边缘特征( 如人脸的形状和位置信息) 被用于特征分析。最近 的使用基于边缘技术用于提取面部特征的有7 ，8 ，9 - 1 0 , 1 ”，用于人脸检测的有i 1 2 ，1 3 , 1 4 , 1 5 ，坫，1 7 ，1 8 , 19 知1 。边缘表示法的第一步就是边缘检测。到目前为止，用到了很多 不同的边缘算子。在【7 ，8 ，1 2 , 1 8 , 2 1 , 2 2 】提到的技术中，s o b e l 算子是最通用的。在【2 3 ，2 4 1 提出的系统中就用到m a r r - h i l d r e t h t 2 5 1 边缘算子。在其它的方法中还用到了各种 各样的一阶和二阶高斯公式。例如，在2 6 ，2 7 1 ，l a p l a e i a n 算子就被大范围的用 于获取线画和过滤器。 ( 2 ) 基于灰度信息的方法 ，除了边缘的细节信息，人脸的灰度信息也可以作为面部特征。面部特征例 如：眉毛、瞳孔和嘴唇表现出比他们周围的面部区域要暗。这种属性可以用于 区分不同的面部器官( p a r t s ) 。最近的一些面部特征的提取算法【2 9 - 3 0 ，3 1 1 就是在分 割好的面部区域内找最小的局部灰度块。在这些算法中，输入的图像首先被增 强对比拉伸和形态学上的灰度级来提高局部黑色块的质量，从而使检测变得更 容易。通过低灰度级的阈值可以完成黑色块的提取。w o n g 等人1 3 2 】实现了一个能 在从颜色分析而得到的候选脸中寻找黑色人脸区域的机器人。这个算法利用了 有利的人眼模板来决定可能的双眼的存在。 ( 3 ) 基于肤色模型的方法 人类的肤色在包括从人脸检测到人手跟踪的许多应用中被采用并被证明是 有效的特征。尽管不同的人拥有不尽相同的肤色，但是一些研究的结果表明差 第1 章绪论 异主要是亮度而不是色度。一些色彩空间模型被用来将像素标记为皮肤，这些 模型包括r g b ，归一化的r g b 模型，h s v ( 或h s i ) ，y c r c b ，y i q ，y e s ，y 1 ， c i ex y z 和c i el u v l 3 3 , 3 4 , 3 5 , 3 6 3 7 , 3 8 】。人们己经提出了很多方法来建立一个肤色 模型。一种最简单的方法就是利用c r ，c b 值来从皮肤颜色区域的样本图像上定 义一个皮肤色调像素区域。利用仔细选择的阈值，【c r l ，c r 2 】，【c b l ，c b 2 】， 如果一个像素的色调值落在规定区域中，比如c r l c r c r 2 并且c b l c b c b 2 ，则判断其象素为肤色点。c r o w l e y 和c o u t a z 3 5 1 利用归一化的r g b 颜色空 间模型的( r ，g ) 的直方图来获得在肤色像素点出得到特定r g b 向量的概率。 换而言之，如果h ( r ，g ) t ，( t 是从直方图样本中依照经验选择出的阈值) 。 s a x 和f o u l d s 提出了一种利用h s v 色彩空间上直方图交叉点的迭代皮肤识别方 法。k j e l d s e n 等在h s v 色彩空间中定义了一个颜色谓词来将肤色从背景中分离 出来。肤色模型的定义经常用到高斯密度函数和混合高斯密度函数。m c k e n n a 等【3 6 】提出了一种适应性的混合颜色模型用以在照明条件变化的环境中跟踪人 脸。他们用一种随机的模型来在线( o n 1 i n e ) 的估计物体颜色的分布，来调整以 适应观察和光线的改变。初步的结果表明他们的系统可以在一定范围的光照条 件下来跟踪人脸。然而这种方法却不能用于在单一的图像中检测人脸。仅仅只 用基于肤色的方法来检测或跟踪人脸还是不够的。最近的一些具有标准组件的 通过融合形状的分析，肤色分割和运动信息来定位或跟踪人脸的系统已经制作 出来【3 7 ，3 8 ，3 9 1 。 ( 4 ) 模板匹配的方法 模板匹配中，一个标准的人脸模式( 通常是正面人脸) 被预先手工定义好 或者通过一个函数来参数化。给定一幅图像，它与标准的人脸模式在脸部轮廓、 鼻子和嘴的相关值被分别计算出来。基于这个相关值来判定人脸的存在。这个 方法具有容易实现的优点。然而，事实证明它并不足以用来进行人脸检测，因 为它不能有效地处理在尺寸、姿式和形状上的变换。于是，人们提出多分辨率、 多尺寸、子模板和可变形模板来保证尺寸和形状不变性i 帅4 ”。 ( 5 ) 基于人脸几何结构的方法 轮廓规则：人脸的轮廓可近似地看成一个椭圆，则人脸检测可以通过检 测椭圆来完成。c o v i n d a r a j u 等【4 2 】把人脸抽象为3 段轮廓线：头顶轮廓线( h e a d c o n t o u r ) ，左侧脸轮廓线( 1 e f tc o n t o u r ) 和右侧脸轮廓线( r i # tc o n t o u r ) 。对任意 一幅图像，首先进行边缘检测，并对细化后的边缘提取曲线特征，然后计算各 第1 章绪论 曲线组合成人脸的评估函数检测人脸。理想的人脸高度和宽度之比为黄金分割 点。 h e i g h t w i d t h = ( 1 + 压) 2 器官分布规则：虽然人脸因人而异，但都遵循一些普遍适用的规则，即五 官分布的几何规则。如人的两个眼睛总是对称分布在人脸的上半部，鼻子和嘴 唇中心点的边线基本与两眼之间的连线垂直。这些规则可以表述为人脸局部特 征之i 日j 的相对距离和位置关系等。检测图像中是否有人脸即是检测图像中是否 存在满足这些规则的图像块。这种方法一般首先对人脸的器官或器官的组合建 立模板，如双眼模板、双眼与下巴模板：然后检测图像中几个器官可能分布的 位置对这些位置点分别组合，用器官分布的集合关系准则进行筛选，从而找 到可能存在的人脸。 1 3 2 基于图像的方法 基于图像的方法一般是通过统计分析和机器学习来确定图像中是否包含人 脸。先通过学习，在大量训练样本集的基础上建立一个能对人脸和非人脸样本 进行正确识别的分类器，通过判别图像中所有可能区域是否属于“人脸模式” 的方法来实现人脸检测。这类方法有线性子空日j 的方法，人工神经网络法，支 持向量机法( s v m ) ，a d a b o o s t 等。 ( 1 ) 线性子空间方法 对一个人的人脸图像测试集合进行主成分分析( p r i n c i p a lc o m p o n e n t a n a l y s i s ，p c a 4 3 1 ) 以产生分布于图像空间的子空间( 称作人脸空间) 的特征图 ( 这罩称为特征脸) 。人脸图像被投影到子空间并且被聚类。与此相同，非人脸 的训练图像被投影到同一个子空日j 并且被聚类。因为人脸图像投影到人脸空间 上时不发生根本性的改变，然而非人脸图形的表现却格外的不同。为了发现一 个场景中人脸的存在，对于图像中的每一个位置，计算图像区域和人脸空间的 距离。到人脸空自】的距离被用来作为一种衡量“似脸度”的手段，计算到人脸 空间距离得到一幅“脸图”。然后可以从“脸图”的局部最小值检测出人脸。许 多在人脸检测、识别和特征提取方面的工作都采用了特征向量分解和聚类的思 想。 ( 2 ) 人工神经网络法 6 第1 章绪论 人脸检测可以被看作一个两类的模式识别问题，人们已经提出了许多不同 构架的神经网络。应用神经网络来进行人脸检测的好处在于它可以训练一个系 统来捕捉人脸模式复杂的类条件密度。然而，一个缺陷在于需要对网络结构进 行多方面的调整( 层的个数、节点的个数和学习率等等) 才能得到可以接受的 结果。一个多层的神经网络被用来从人脸非人脸图像中学习人脸和非人脸模式 ( 比如，象素的灰度值和空间位置关系) 。r o w l e y 等1 4 4 l 采用一个神经网络来找到 一个判断函数基于距离将人脸和非人脸模式进行分类。他们也采用了多个神经 网络和综合结果的方法来改进效果。包括两个主要部分，多个神经网络( 用来 检测人脸模式) 和一个决策模型( 用于综合多个神经网络的输出结果) 。这个方 法的第一部分是一个神经网络，它接受图像的一个2 0 2 0 的区域，然后输出一 个范围从1 到l 的打分。对于一个给定的测试模式得到人脸( 接近1 ) 或者非人 脸( 接近1 ) 的置信度。为了能够检测到图像中所有位置的人脸，神经网络作用 于图像的所有位置。为了检测到大于2 0 2 0 的人脸，图像被反复的再采样，在 每一个采样级别上应用神经网络。他们用了大约1 0 5 0 张不同大小、不同方向、 不同光照条件的人脸图像来训练这个网络。在每一个训练图像上，眼睛、鼻尖、 嘴角和嘴的中心都被手工的标记用来将图像归一化到同一个尺寸、角度和位置。 这个方法的第二部分用来处理重叠的检测并综合多个网络的输出。简单的综合 策略比如逻辑操作( a n d o r ) 和投票被用来提高效能。 ( 3 ) 支持向量机方法 o s u n a , f r e u d 和g i r o s i 45 】是最先将支持向量机( s v m s ) 用于人脸检测的。 s v m s 可以被看作是用来训练多项式函数、神经网络和r b f 分类器的新范例。 用于训练一个分类器的大部分的方法都是基于使训练错误最小化，比如经验风 险。s v m 基于另一种归纳原理，结构风险最小化，它的目标在于使得广义误差 的上界最小化。s v m 分类器是一个线性分类器，选择用于分离的超平面使得对 为止的测试模式的分类错误最小化。这个最优的超平面是通过叫做支持向量的 训练向量的一个子集的加权组合来定义的。对超平面的估计相当于编程求解一 个线性的具有约束条件的二次方程的问题。然而，这个计算在时间和空间上都 是开销很大的。在1 4 5 】中，o s u n a , f r e u n d 和g i r o s i 提出了一种有效的方法来训练 一个解决大规模问题的s v m 的方法，并将它用于人脸检测。在两个包含 1 0 0 0 0 0 0 0 个1 9 x1 9 的测试模式的测试集上的实验结果表明他们的系统在错误率 上稍微低于s u n g 和e o g g i o 的系统，但是运行速度却比它快将近3 0 倍。 7 第1 章绪论 ( 4 ) 基于a d a b o o s t 的方法 2 0 0 1 年，p a u lv i o l a 和m i c h a e lj j o n e s 在m 中使用了一种用a d a b o o s t 方法 训练得到的基于多特征的分层人脸特征检测系统。与此前提出的人脸检测算法 相比，他们的系统具有极高的运行速度，在没有引入其他辅助信息( 如相邻帧 之间的差异等) 的情况下，检测准确率和错误接受率都能达到现有算法中最好 的水平，因此，该算法在人脸分析领域得到重视。这一算法的特点是：1 ) 对特 征提取的时候，不是直接使用图像的厌度值，而是使用积分图和h a a r 基函数特 征。2 ) 该方法提出了使用a d a b o o s t 来选择少数重要特征的方法来构造分类器。 3 ) 为了进一步提高系统的速度，作者还提出了一个多层结构的分类器，对每一 层使用a d a b o o s t 训练直至得到最小的错误拒绝率。a d a b o o s t 是一种具有自适应 性的b o o s t i n g 算法，它通过建立多学习机组合使得弱学习机的性能得到提升， 由于其独有的对学习机性能的自适应和对过学习现象的免疫性，近年来引起了 广泛的关注。 1 3 3 各种方法技术的评价 总体来说，基于特征的方法直观，易于为人所接受和采用。基于特征的方 法共同的缺陷是依赖于固定的先验模式，适应变化的能力差。譬如出现彩色光 照改变了图像中的脸部颜色、图像大小改变、旋转人脸中双眼不在鼻子的正上 方等人脸特征发生变化时，原有的肤色、模板、知识就不再适用。解决问题的 出路在于综合使用多种方法，结合大量局部特征、实行多角度、多粒度检测。 可是，这样也会导致计算时自j 大大增加，不再满足快速度人脸检测的要求。 基于图像的方法中“人脸”区别于“非人脸”的特征是通过样本学习的方 法获得的，不是人们根据直观印象得到的表层规律。这样，不仅避免了因为人 们肉眼观察的不完整、不精确而带来的错误，还能通过增加训练样本扩充检测 的范围，提高系统的鲁棒性。但是这种方法需要大量的统计特征。 综上所述，尽管研究者在人脸检测方面取得了很多成就，但是任何一种算 法都不能适用于所有类型的图像，故有很多值得改进的地方。 暑 第1 章绪论 1 4 人脸检测的难点 人脸的结构大体相同，所不同的是一些细节上的差异。人脸的检测受以下 因素的影响：( 1 ) 姿态；( 2 ) 或有或无的结构成分，如：胡须、眼镜等，这些 包含形状、颜色和大小的成分有很多可变性；( 3 ) 面部表情；( 4 ) 遮挡；( 5 ) 人脸朝向；( 6 ) 成像环境，例如光照的因素( 光谱、光源的分布位置和强度) 和摄像机性能( 传感器反应，镜头) 影响人脸图像形成的外观。 虽然人脸检测技术有了很大的发展，但是由于各种变化因素的影响，还有 很多需要解决的问题： ( 1 ) 由于人脸模式的多样性，人脸图像的空间分布非常复杂，有限的样本 集难以覆盖全部人脸图像子空间，在高维空间中建立准确的分布模型又很困难。 因此，如何有效地描述人脸在子空间的分布值得研究。 ( 2 ) 对于复杂背景的图像，如何有效地区分人脸区域和非人脸区域很重要。 神经网络、s v m 、a d a b o o s t 等是较常用的分类算法，研究新的分类方法是提高 检测性能的另一个重要途径。 ( 3 ) 目前的人脸检测算法还不能较好地处理任意姿态、光照和遮挡等变 化条件，开发高性能的人脸检测方法仍是主要的研究方向。由于不同的人脸描 述方式有不同的特点，不同的分类器产生的分类结果也不一样，多个特征融合 和分类器融合的方法可以有效提高检测性能。 ( 4 ) 大多数应用都是面向实时性处理，这要求人脸检测算法高效、快速。 随着图像处理、模式识别、人工智能以及生物学的研究进展，人脸检测技 术将会获得更大的发展。 1 5 本文的主要工作 本文首先归纳和分析了当前人脸检测的典型算法，然后从r e a la d a b o o s t 算 法出发，分别对训练过程、检测过程进行改进优化，并在此基础上实现了多姿 态人脸检测系统和实时人脸检测系统。首先，提出了对h a a r 特征高度、宽度和 面积加以限制，减少了特征数，缩短了训练时间：其次，对于庞大的训练数据 量，提出写文件分批处理：再次，本文提出一种找反例的新方法，放大检测窗 口把误检的窗口图像直接作为反例样本，在计算特征值时除以放大倍数；最后， 9 第1 章绪论 在实时人脸检测系统中，采用了d i r e c t s h o w 技术，较大地提高系统的速度，达 到1 8 帧秒。 1 6 论文的内容与结构 第l 章从人脸检测的研究背景与意义出去，然后阐述了国内外的现状及发 展趋势，接着介绍了现有人脸检测算法并对这些算法加以分析，最后介绍了本 文的主要的工作和成果。 第2 章对分类的原理和训练过程进行了详细的介绍和分析，并提出了一些 改进的方法。先介绍正例样本和反例样本的选取，再介绍了h a a r 特征值的计算 和积分图原理。接着详细讲述r e a la d a b o o s t 算法的分类原理及详细过程。为了 提高检测速度，用到了具有2 8 原则的级联分类器，分批排除非人脸窗口。最后 讲述了分类器训练系统的改进与实现。通过限制h a a r 特征的宽度、高度和面积 减少特征数量；提出写文件方法分批处理巨大训练数据；并提出了一种寻找更 多反例的方法。 第3 章多讲述了姿态人脸检测的方法。针对正面、左全侧面、左半侧面分 别训练了三个分类器，右全侧面和右半侧面分类器可由左全侧面和左半侧面分 类器取镜像得到。对于要检测的图像中的每个扫描窗口分别用这五种分类器的 前三层去检测，前三层作为姿态估计。通过前三层的再按这种姿态接着检测。 接着讲述检测到人脸后窗口后的后续处理：姿态的选择、合并重叠窗口、去掉 嵌套窗口。最后给出了实验结果与分析。 第4 章详细讲述实时人脸检测系统的设计和实现。人脸检测大部分应用还 是用于实时的人脸识别、监控等。实时系统要求速度快，因此采用了d i r e c t s h o w 技术用以加速视频的捕获。讲述了d i r e c t s h o w 和f i l t e r 原理，并设计了自己的 f i l t e r ，最后给出了实验结果，并加以分析。 第5 章总结与展望。对本文的工作进行了总结，并就系统中不完善的地方 和需要进一步研究的问题做出了展望。 i 0 第2 章分类器的原理与训练 第2 章分类器的原理与训练 在整个人脸检测系统中，分类器的训练是至关重要的。本系统的分类器是 按r e a la d a b o o s t 算法训练而来的。按由粗到精，由简单到复杂，分而治之的思 想将多级强分类器级联起而成的。强分类器又是由若干弱分类器组成的。本章 将详细介绍如何挑选样本、矩形特征值的计算、积分图原理和训练的具体过程。 2 1 训练样本的选取 训练样本要求是面部特写图像，但是人脸形态千差万别，所以训练样本选 取过程中要考虑到样本的多样性，图2 - 1 、2 - 2 、2 - 3 中是一些训练样本，大小 被归一化为2 0 2 0 像素，其中各样本不完全相同，分别具有一定的代表性。 训练样本使用前需要进行简单的预处理。一般来说训练样本的预处理不需 要特别的算法，但是样本中人脸的姿态要尽量一致。例如，如果训练样本是正 面人脸，那么应当保证样本中的人脸旋转角度小于5 度；其次，样本大小也需 要统一。一般研究中认为可以被检测到的人脸图像最小为1 9 1 9 像素，所以 常用的训练样本大小有2 0 2 0 、2 4 x 2 4 、2 4 x 2 8 、2 4 x3 2 、3 2 3 2 等等。本 文采用的训练样本大小为2 0 x 2 0 ，这是因为样本越小h a a r 特征越少，训练的数 据量会小，训练时间越短；第二，在检测的时候能检测更小的人脸。训练样本 可以通过某些研究机构的网站得到，也可以自己手工裁剪制作。便于a d a b o o s t 算法研究使用的人脸数据库及其库中人脸图像特点如表2 1 所示。 2 1 1 正例样本的选取 第2 章分类器的原理与训练 表2 - 1 人脸库信息 人脸数据库名称人脸数据库特点网络地址 共有1 0 个人，3 2 0 0 张i ) i l 练图像以及大量测试图像， h t t p ：v a s e r i c m u e d u i d b h t m l t - c b c l 人脸旋转从0 度到7 5 度， f a c e f r o n t a l _ i m a g e s 图像大小2 0 0 x 2 0 0 像素 正面姿态人脸图像2 7 0 6 m n e x 幅，非人脸图像3 8 4 1 幅， h t t p ：w w w a i v i s o f t n e t f a c e r e l a t e d i n d e x h t m 图像大小2 0 2 0 像素 正面姿态人脸图像1 1 5 0h t t p ：w w w c 1 c a m a c u l d r e s e a r a t & t 多幅，图像大小2 0 2 0 像 c l g d t g a t t a r c h i v e f a c e d a t a b a s e 素h t m l 共有1 5 2 1 幅人脸图像，人 h t t p ：w w w h u m a n a c a n d e s u p b i o i d 眼位置已经被手工定位 p o r t d o w n l o a d s f a c e d b p h p b a o f a c e 亚洲人脸图片，一幅图片包 h t t p ：w w w f a c e d e t e c t i o n c o m d a t a b a s e 含一张人脸 d o w n l o a d s b a o d a t a b a s e z i p a r f a c e h t t p ：w w w p r i m a i n r i a l p e s 肼 d a t a b a s ef g n e t 上表中列出的大部分是正面人脸样本，而本文要做的是多姿态人脸检测， 所以要选用多种姿态人脸样本，包括j 下面人脸样本，半侧面人脸和全侧面人脸 样本。对于侧脸人脸样本本文是从网上搜索图片，再对原图片用p h o t o s h o p 软件 进行裁剪、缩放最后才能得到本文需要的样本。 图2 - 1 正面人脸样本( 2 0 x 2 0 ) 1 2 第2 章分类器的原理与训练 2 1 2 反例样本的选取 图2 - 2 左半侧面人脸样本( 2 0 2 0 ) 图2 - 3 左全侧面人脸样本( 2 0 x 2 0 ) 反例指不包含人脸的图像。自己搜索了3 0 0 0 多张不包含人脸8 0 0 6 0 0 葡 图像。在训练的时候用程序截取大小与正例样本大小一样的如2 0 x 2 0 的图像作 为反例样本。对于反倒不够用的情况下，可以对反例图像进行旋转不同角度， 比如每次旋转1 0 度，就可以从3 0 0 0 张反例图片变成1 0 万多张反例图片。 图2 4 反例样本( 2 0 x 2 0 ) 1 3 第2 章分类器的原理与训练 2 2 h a a r 特征 2 2 1 特征的种类 1 边缘特征 口口 c a )( b ) 2 ，线性特征 4 线性钻石特征 ( c ) ( d ) ( e ) 图2 - 5h a a t 特征的种类明 上图中l ( a ) 、l ( b ) 、2 ( a ) 、4 这四类特征由v i o l a 【4 6 】提出的。其它的1 1 种特征是由r a i n c rl i e n h a r t 等h 7 i 扩充的，还有一些是4 5 度旋转特征。在本文的 系统中用了1 5 中特征中的1 4 中，其中3 ( b ) 这个特征没有用上。， 2 2 2 特征值的计算 h a a r 特征的特征值为：用黑色矩形内所有象素的灰度和减去白色矩形内所 有象素的灰度和。为了便于计算和表示的方便，特征值可以用黑色矩形特征内 1 4 i 八蔷 一 一 征l_ i 啪一- 酉 厂l l 申广ll 第2 章分类器的原理与训练 所有象素的灰度和乘以它的权重减去。用公式表示如下：g r a y s u m ( b l a c k ) w e i g h t ( b l a c k )一g r a y s u m ( a 1 1 ) 。其中g r a y s u m ( b l a c k ) 为黑色矩形特征内 所有象素的灰度和，w e i g h t ( b l a c k ) 为黑色矩形的权重，g r a y s u m ( a 1 1 ) 为整个 大的矩形的灰度和。w e i g h t ( b l a c k ) 为整个大矩形的面积除以黑色矩形的面积。 一般图像保存的为r g b 色彩空间值，要经过转换才能得到灰度值。r g b 格 式是一种最常用的彩色的定量表示方法，还有许多其它方法也可以表示彩色， 如y u v 、h i s 、h s v 等格式。r g b 格式可以与其它格式互相转换。y i 格式， 又称为y c 疋b 格式，其中y 表示亮度( l u m i n a n c e ) ，也就是灰度值，而u ，v 则是色度( c h r o m i n a n c e ) ，用于描述色彩及饱和度。只用y 分量就能够表示出 一幅灰度图来。y u v 和r g b 之间有着如下的对应关系： r g 占 1t 0 , 2 9 90,爹5870吊1 1 4 这里只要算出灰度就可以了y = o 2 9 9 r + 0 5 8 7 + g + 0 1 1 4 * b 。为了提高速 度，本文可以优化为y = ( r * 3 0 + g 5 9 + b + l l + 5 0 ) 1 0 0 。后面那个加5 0 是为了进行四舍五入。大家知道可以通过移位实现除法，如果要进一步加快速 度可以选用下面的公式：( r 3 8 + g 7 5 + b 1 5 ) 7 。 因为在图像有各种大小的人脸中，所以检测的时候要放大h a a r 特征。为了 检测时可放大h a a r 特征，这里的特征值最后还要除以特征的面积，就得到平均 灰度。所以最终的特征值计算公式为：( g r a y s u m ( b l a c k )w e i g h t ( b l a c k ) 一g r a y s u m ( a 1 1 ) ) h e i g h t w i d t h 。其中h e i g h t ，w i d t h 分别为整个大矩形的高 度和宽度。 2 2 3 积分图( i n t e g r a li m a g e ) 由上一节本文看到h a a r 特征的数量是非常大的，如何快速计算出特征值对 系统的性能有很大的影响。a d a b o o s t 方法就是用了积分图和级联分类器才能把 人脸检测做到实时。h a a r 特征非常多，它们有的会相互包含、交叉。如果每一 个单独计算，会导致重复计算。积分图就是先将图像进行积分计算，以后计算 特征值只需进行索引查找，再做几个加法一个减法，所以速度非常快。积分图 1 5 第2 章分类器的原理与训练 像是将原图像中任一点的左上方的全部像素灰度值相加作为当前点像素灰度值 所得到图像：积分图像中每个点( x ，y ) 的值为原图像中点( x ，y ) 左上部分 所有象素值的累加： i i ( x ，】，