（通信与信息系统专业论文）改进的adaboost算法及其在人脸检测中的应用.pdf

论文题目 改进的a d a b o o s t 算法及其在人脸检测中的应用 专 业 通信与信息系统 硕士生 丁晓宇 指导教师 马争鸣教授 摘要 作为几乎所有人脸图像处理的首要环节 人脸检测在计算机视觉 模式识别 多媒体技术研究中占有日益重要的地位 a d a b o o s t 算法是1 9 9 5 年提出的一种机器 学习算法 它把那些较易构造的弱分类器训练整合成强分类器 2 0 0 1 年a d a b o o s t 算法被应用于人脸检测问题 成为人脸检测速度提高的一个转折点 是人脸检测 从真正意义上走向实用的里程碑 在原始的a d a b o o s t 算法中 正负例样本被完全同等对待 a d a b o o s t 算法与级 联分类器生成算法关联不大 而在人脸检测中 人脸和非入脸两类模式分类错误 风险极不平衡 训练时正负例样本数目的比例一般也不平衡 在实际人脸检测系 统中 对f r r 的要求均高于对f a r 的要求 即要求在保证系统有较低的f a r 的 基础上f r r 尽可能的低 针对上述问题 本文提出了改进的a d a b o o s t 算法 改进算法中引入分类风险 系数 将其与级联分类器相关联 使a d a b o o s t 算法与级联分类器生成算法紧密结 合 同时修改原始a d a b o o s t 算法的权值更新规则 使分类风险系数参与到权值更 新中 提出将正负例样本分开进行权值归一化的方法 所有改进均使a d a b o o s t 算 法更加适应实际人脸检测问题的需要 实验表明 在相同的训练条件和检测条件 下 这种改进的a d a b o o s t 算法鲁棒性和自适应性均得到了提高 它比原始算法具 有更高的检测率和更低的误检率 并且提高了训练的速度 关键字 机器学习a d a b o o s t 算法人脸检测类h a a r 特征级联分类器 t i t l e i m p r o v e da d a b o o s ta l g o r i t h mu s e di nf a c ed e t e c t i o n m a j o r c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m n a n l e x i a o y ud i n g s u p e r v i s o r p r o f e s s o rz h e n g m i n gm a a b s t r a c t a st h ec h i e fa p p r o a c ho fa l m o s ta l lt h ef a c ei m a g e p r o c e s s i n gs t e p s f a c ed e t e c t i o n p l a y sam o r ea n dm o r ei m p o r t a n tr o l ei nc o m p u t e rv i s i o n p a r e mr e c o g n i t i o na n d m u l t i m e d i at e c h n o l o g y a d a b o o s ti so n eo fm a c h i n el e a r n i n ga l g o r i t h m sw h i c hw a s p r o p o s e di n1 9 9 5 i tt r a i n st h ew e a kc l a s s i f i e r sw h i c ha r ee a s i l yc o n s t r u c t e di n t oa s t r o n gc l a s s i f i e r a d a b o o s ta l g o d t h mh a sb e e nu s e di nf a c ed e t e c t i o ns i n c e2 0 0 1 w h e n i tb e c a m eam i l e s t o n ei ni m p r o v i n gt h es p e e do ff a c ed e t e c t i o n t h i sa p p l i c a t i o nw a st h e l a n d m a r ko f p u t t i n gf a c ed e t e c t i o ni n t op r a c t i c e i no r i g i n a la d a b o o s ta l g o r i t h m p o s i t i v ea n dn e g a t i v ee x a m p l e sa r ec o m p l e t e l y t r e a t e da st h es a m e t h e r ei s n tm u c hr e l a t i o n s h i pb e t w e e na d a b o o s ta n dc a s c a d e a l g o r i t h m h o w e v e r t h er i s ko fm i s c l a s s i f i c a t i o nf r o mf a c ea n dn o n f a c em o d e si s e x t r e m e l yi m b a l a n c e di nf a c ed e t e c t i o n t h er a t i oo ft h en u m b e ro fp o s i t i v ea n d n e g a t i v ee x a m p l e si sa l s oi m b a l a n c e di nt r a i n i n gp r o c e s s i na c t u a l f a c ed e t e c t i n g s y s t e m t h ed e m a n do ff r r i sm u c hh i g h e rt h a nt h a to ff a r t h a ti st os a y b a s e do n a 1 0 wf a r t h ef r ro f as y s t e ms h o u l db ea sl o wa sp o s s i b l e i no r d e rt os o l v et h e s ep r o b l e m s t h i sp a p e rp r o p o s e sa l li m p r o v e da d a b o o s t a l g o r i t h m i ni m p r o v e da l g o r i t h m ac l a s s i f i c a t i o nr i s kc o e f f i c i e n ti si n t r o d u c e da n di ti s a s s o c i a t e dw i t hc a s c a d ec l a s s i f i e r t h i sm a k e sa d a b o o s tc o m b i n em u c ht i g h t e rw i t h e n s e a d ea l g o r i t h m t h ew e i g h tu p d a t i n gr u l eo f o r i g i n a la d a b o o s ti sa l s om o d i f i e d t h e c l a s s i f i c a t i o nr i s kc o e f f i c i e n tt a k e sp a r ti nw e i g h tu p d a t i n g p o s i t i v ea n dn e g a t i v e e x a m p l e sa r es e p a r a t e d i nw e i g h tn o r m a l i z a t i o n a l lt h ei m p r o v e m e n tm a k e st h e a d a b o o s ta d a p tm u c hb e t t e rt oa c t u a lf a c ed e t e c t i o n t h ee x p e r i m e n ts h o w st h a tu n d e r t h es a m et r a i n i n ga n dd e t e c t i n gc o n d i t i o n s t h ei m p r o v e da d a b o o s ta l g o r i t h mh a sb e t t e r r o b u s t n e s sa n da d a p t a b i l i t y i th a sh i g h e rd e t e c t i n gr a t ea n dl o w e re r r o rr a t et h a nt h a to f o r i g i n a la l g o r i t h m a n di ti n c r e a s e st h et r a i n i n gs p e e d k e yw o r d s m a c h i n el e a r n i n g a d a b o o s ta l g o r i t h m f a c ed e t e c t i o n h a a r l i k e f e a t u r e s c a s c a d ec l a s s i f i e r t t r 第1 章引言 1 1 人脸检测问题概述 图像目标的检测与识别是机器视觉领域的重要研究内容 人脸作为图像与视 频中最重要的视觉图像之一 在模式识别 计算机视觉 多媒体技术研究中占有 重要的地位 随着计算机科学在人机交互领域的飞速发展 作为几乎所有人脸信 息处理技术的第一步 人脸检测已经成为一项独立的活跃的研究应用课题受到研 究者的普遍关注 人脸检测这一课题涉及模式识别 机器学习 图像处理等多个 领域的知识 研究这一课题对于检验和发展这些领域的理论具有十分重要的意义 另一方面 随着计算机技术的日益普及和人们对安全验证的广泛需求 生物 识别技术以其独有的 与人不可分割 的安全特性而得到极大的发展和越来越广 泛的应用 人的生物特征包括面像 虹膜 指纹 声音 脉搏等等 其中 面像 即人脸 相对于其他特征而言 具有蕴含信息量大 不需要复杂的采集方式等 优点 因此具有更广泛的应用与研究价值 人脸检测实质上是一个两类分类的问题 很容易将它和机器学习中的分类问 题联系起来 一般通过先验知识针对人脸和非人脸的差异制定出一些规则来进行 人脸和非人脸的分类 在人脸检测研究的初期 人们主要依据先验知识制定各种 规则来进行人脸检测 如建立入脸模板进行匹配 但后来研究人员发现这些规则 的通用性不佳 所以并不能很好的描述人脸 这也是人脸本身的复杂 非刚体模 式的不规则性决定了不可能有很多一成不变的特征 这就促使人们开始定义更加 通用的特征 根据入脸本身的特性 大量的有用信息只能通过机器在大量样本上 的检验来判断它的好坏 研究人员对定义的这些通用特征在大量人脸样本和非人 脸样本上进行测试 以此来判断它们的实用性 于是机器学习的算法就和人脸检 测问题紧密联系起来了 促使入脸检测问题又有了更深层次的研究 同时也使得 机器学习领域有了新的发展 第1 章引言 1 2 论文主要研究工作及文章结构安排 本文工作是结合2 0 0 4 年度广东省科技计划项目 基于面部识别的公安刑侦布 控系统的科技攻关 项目编号 2 0 0 4 8 1 0 1 0 1 0 3 1 和2 0 0 5 年度珠海市科技计划项 目 适用公安刑侦布控业务的嵌入式人脸检测与识别系统 项目编号 p c 2 0 0 5 1 0 1 7 展开的 本人在阅读大量文献资料的基础上 针对人脸检测中的若干问题 研究了机 器学习中的分类算法a d a b o o s t 算法 并将其加以改进后应用到人脸检测中 使其 更能适应人脸检测问题的实际需要 创新性的引入函数形式的误分类风险因子 使它与级联分类器相关联 并创新性采用正负例样本分开进行权值更新和归一化 在研究总结前人工作的基础上 使用了基于类h a a r 特征构造的弱分类器 采用积 分图的方法快速计算类h a a r 特征 最后用级联算法生成一个级联强分类器进行人 脸检测 具体结构安排如下 第1 章为引言部分 主要为人脸检测问题的研究价值以及它和机器学习算法 的联系 并说明了论文的主要研究工作及文章结构安排 第2 章介绍了人脸检测的概念和研究现状 列举了现有的人脸检测主要方法 这些方法包括基于知识的方法 特征不变量方法 模板匹配的方法和基于表象的 方法四大类 最后介绍了国际上常用的人脸库以及人脸检测算法的性能评价指标 第3 章介绍了机器学习中的若干问题 详细阐述了分类算法a d a b o o s t 算法 并对算法的机理加以研究和推导 分析了算法的分类错误率及泛化误差等 第4 章介绍了a d a b o o s t 算法在人脸检测中的应用 包括训练分类器时所使用 的类h a a r 特征以及基于类h a a r 特征构建的弱分类器 接着阐述了积分图的知识 以及如何利用积分图快速计算类h a a r 特征的特征值 最后介绍了级联强分类器的 构建 第5 章提出了改进的a d a b o o s t 算法 改进算法考虑了人脸和非人脸两类模式 分类错误风险极不平衡的特点 创新性引入函数形式的误分类风险因子并改进样 本权值更新规则 该风险因子的大小与层叠分类器的层数相关联 使改进的 a d a b o o s t 算法更好的嵌入级联算法中 另外 根据分类错误风险的不平衡性创新 采用在正负例样本内部分别进行权值归一化 最后给出具体算法实现流程和实验 结果 包括样本集的选取 分类器的训练和输入图像的检测等等 并对实验结果 中山大学硕士学位论文 加以一定的分析 第6 章为结论和展望 全面总结了本文所做的工作和研究成果 并对今后进 一步的研究工作提出了自己的想法 最后附录部分给出了i n t e l 的开源程序o p e n c v 的一些说明 包括组成部分 特点 参考资料 如何创建自己的项且 库设置等等 弓一 第2 章人脸检测知识介绍 2 1 人脸检测的概念及研究现状 人脸检测是指在一幅给定的图像中 采用一定的方法对其进行搜索以判断图 像中有无人脸 如果存在人脸 则把入脸标定出来 同时得到入脸的数目 位置 大小 姿态等信息 l 人脸检测系统的输入是可能包含人脸的图像 输出是图像 中是否存在人脸的判断和人脸的标定以及数目 位置 大小等信息的参数化描述 人脸检测存在两方面的难点 一方面是由于人脸内在的变化所引起 1 人 脸具有相当复杂的细节变化 不同的外貌如脸型 肤色等 不同的表情如眼 嘴 的开与闭等 2 人脸的遮挡 如眼镜 头发和头部饰物以及其他外部物体等 另一方面由于外在条件变化所引起 1 光照的影响 如图像中的亮度 对比度 的变化和阴影等 2 由于成像角度的不同造成人脸的多姿态 如平面内旋转 深度旋转以及上下旋转 其中深度旋转影响较大 3 图像的成像条件 如摄像 设备的焦距 成像距离 图像获得的途径等等 这些困难都为解决人脸问题造成 了一定的难度 如果能够找到一些相关的算法并能在应用过程中达到实时 将为 成功构造出具有实际应用价值的人脸检测系统提供保证 2 人脸检测问题最初来源于人脸识别 人脸检测是人脸识别系统中的一个关键 环节 近几年随着电子商务等应用的发展 人脸识别成为最有潜力的生物身份验 证手段 由此所面临的 系列问题使得入脸检测开始作为一个独立的课题受到研 究者们的普遍重视 今天 人脸检测在科学技术和安全应用上的诱人前景以及潜 在的经济价值 激发了世界上大批科研工作者及相关商家的浓厚兴趣 国外对人 脸检测问题的研究很多 许多国家都展开了人脸检测的研究 主要是美国 欧洲 国家 韩国 新加坡等 比较著名的有m i t c m u s t a n f o r d 等 国内的清华大 学 6 9 j 中科院计算技术研究所b 0 1 和中科院自动化研究所i t l 等都很早就开始从 事人脸检测的相关研究 此外 m p e g 7 标准组织已经建立了人脸识别草案小组 人脸检测算法也是一项征集的内容 随着人脸检测研究的深入 国际上发表的有 关论文数量也是大幅度增长 例如i e e e 的f g e e ei n t e r n a t i o n a lc o n f e r e n c eo n 5 第2 章人脸检测知识舟绍 a u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n i c i p i n t e r n a t i o n a lc o n f e r e n c eo ni m a g e p r o c e s s i n g c v p r c o n f e r e n c eo nc o m p u m rv i s i o na n dp a t t e r nr e c o g n i t i o n 等重 要国际会议上每年都有大量关于人脸检测的论文 占有关人脸研究论文的近三分 之一之多 而实用的人脸检测识别系统 如f a c e l t 等 也已在机场安捡系统投入 应用 2 2 人脸检测的主要方法 人脸检测问题被提出至今 已经经历了几十年的研究与发展 如今 人们对 人脸检测的学习与研究主要形成以下四类方法 1 1 1 3 5 1 l 基于知识的方法 k n o w l e d g e b a s e dm e t h o d s 2 特征不变量方法 f e a t u r ei n v a r i a n ta p p r o a c h e s 3 模板匹配的方法 t e m p l a t em a t c h i n gm e t h o d s 4 基于表象的方法 a p p e a r a n c e b a s e dm e t h o d s 表2 1 单幅图像上人脸检测方法分类 方法代表性工作及文献 基于知识的方法 基于多重决定规则的方法 1 2 特征不变量方法 一面部特征 分组边缘 1 3 1 1 1 4 一纹理特征 人脸模式的s g l l 9 空间灰度标准矩阵 1 5 肤色 高斯混合 1 6 1 1 1 7 一多重特征综合肤色 大小和形状特征 1 s 1 模板匹配方法 一预定义人脸模板形状模板 1 9 l 一可变形模板形状活动模板 2 0 1 基于表象的方法 一本征脸本征向量分解与聚合 2 i 一基于分布的 高斯分布和多层感知器 2 2 1 一神经元网络 神经元网络与仲裁规 j j 2 3 1 支持向量机 多项式核支持向超机 2 4 j 一贝叶斯分类器结合共有的表象和位置统计特征 2 5 1 一隐马尔科夫模型用隐马尔科夫高序列统计 2 6 一信息理论方法 库尔伯克相关信息1 2 7 2 8 2 2 i 基于知识的方法 k n o w l e d g e b a s e dm e t h o d s 6 中山大学硕士学位论文 基于知识的方法主要应用于人脸定位 这类方法将人类对典型脸的认识编码 成一些规则 通常 这些规则包含了脸部特征之间的联系 在这种方法中 人脸检测基于研究者对于人脸的认识所获得的准则 获得这 些描述人脸特征以及他们之间关系的准则并不困难 例如 一张图片中出现的人 脸通常包含对称的两只眼睛 一个鼻子一张嘴 特征之间的相互关系可以用他们 之间的距离和位置关系来描述 基于知识的方法是一种自上而下的方式 其中的一个困难是如何将人类知识 转化成有效的规则 如果规则制定的太细 那么可能有许多人脸因为无法通过规 则的验证而被漏检 如果规则制定的太宽泛 那么可能许多非人脸会被误判为人 脸 另外 在这种方法下 人脸姿态的变化通常也会使检测率大打折扣 2 2 2 特征不变量方法 f e a t u r ei n v a r i a n ta p p r o a c h e s 特征不变量方法的目标是寻找那些即使当姿势 视角和光线条件变化时仍然 存在的结构特征 利用这些特征来检测人脸 一般先通过大样本学习的方法来寻 找这种脸部特征 然后用寻找到的特征去检测人脸 这种特征不变量的方法是自 下而上的 人的肤色被证明是人脸检测的一个有效特征 用肤色信息检测人脸的关键是 合理选择色度坐标 常用的方案是将彩色的r g b 分量归一化 目前人们研究 的重点是如何提取彩色的色度信息 即将r g b 彩色空间转化为其他彩色空间 来突出色度信息 其他彩色模型主要有y u v y i q x y z y c r c b 等 肤色特征具有一定的稳定特性 2 9 1 这种稳定特性是指肤色特征不依赖于面部 的细节特征 对于旋转 表情等的变化情况都能保持不变 由于人脸的肤色聚集 在颜色空间中一个较小的区域 一般和背景物体的颜色相区别 因此利用这个特 点可以有效的检测出图像中的人脸 这种方法的最大优点是对姿态变化不敏感 利用肤色特征检测出来的人脸区域可能不够准确 许多颜色和肤色相似的物 体都会被检测出来 而且利用肤色特征进行人脸检测受光线影响特别大 但如果 在整个系统中作为人脸检测的租定位环节 它具有直观 快速 简单等优点 可 以为后面进一步的精确检测创造良好的条件 以达到最佳的系统性能 本文所使用的a d a b o o s t 方法中的类h a a r 特征也是属于人脸的一个稳定特征 第2 章人脸检测知识介绍 具有一定的不变性 2 2 3 模板匹配的方法 t e m p l a t em a t c h i n gm e t h o d s 模板匹配法属于一种经典的模式识别方法 这种简单的模板匹配方法优点是 易于实现 但是对于人脸检测来说 效率并不高 早期的人脸检测主要以基于模 板匹配的方法为主 下面介绍两种模板匹配的方法 1 预定义模板法 预定义模板法根据人脸的先验知识先设计出一个标准的人脸模板 包括人脸 轮廓模板和各个器官特征的子模板 然后用窗口缩放的方法对一幅输入图像进行 全局搜索 对应不同尺寸的图像窗口 计算它们与人脸轮廓模板的相关系数 通 过预先设定的阈值来判断该图像窗口中是否包含人脸候选区域 最后利用器官特 征子模板进一步检测人脸候选区域是否包含人脸 这种方法的缺点在于 由于人 脸特征的变化较大 所以很难得到有效的模板来表示人脸的共性 当得到固定的 模板以后 也无法有效处理姿态的变化 这种方法目前已经很少单独使用了 只 是在某些系统中为了降低后续的检测复杂性 将其作为粗检测或预处理的手段 2 可变形模板 当预定义模板法无法满足人脸检测的要求时 研究者们开始研究和使用可变 形模板 现在使用的模板匹配方法一般都是基于可变形模板的 这种方法的主要 思想是定义一个人脸的可变形参数模板和一个能量函数来描述人脸特征 通过非 线性最优化方法求得使能量函数取值最小的参数模板 此参数模板即被认为是所 求人脸特征的描述 该方法的优点是充分考虑到人脸是变形体的特点 较之预定 义模板法更加稳定可靠 而且与姿态和光照无关 缺点是存在能量函数的系数难 以适应一般情况和计算量巨大的问题 2 2 4 基于表象的方法 a p p e a r a n c e b a s e dm e t h o d s 基于表象的方法的模型是从一系列具有代表性脸部表观的训练图像学习而 来 再将学习而成的模板用于人脸检测 因此这也是一种自下而上的方法 现在 主流的人脸检测方法都是这种基于表象的方法 一8 一 中山大学硕士学位论文 一般来说 在使用基于表象的方法时 都会先降低图像的维数 来提高计算 的效率和检测的效益 这种方法大都利用统计分析和机器学习的技术来寻找人脸 和非人脸图像的有关特性 把学习获得的特性总结成分布模型或者判别函数 再 利用这些分布模型或者判别函数来进行人脸检测 下面列举了几种具有代表性的 基于表象的主流方法 l 人工神经网络 a r t i f i c i a ln e u r a ln e t w o r k a n n 人工神经网络的数学模型采用了类似于大脑神经突触联接的结构来进行信息 处理 大量的节点 即神经元 之间相互联接构成网络 即神经网络 各节点之 间相互传递信息 以此达到处理信息的目的 对于人脸这类复杂的 难以显式描述的模式 基于人工神经网络的方法具有 它独特的优势 这种方法通常把模式的统计特性隐含在人工神经网络的结构和参 数之中 例如在实现人脸检测时 我们只需要把大量不同的图像样本和对应检测 结果输入人工神经网络 人工神经网络就会通过自学习功能 学会识别人脸图像 有关人脸模式的统计信息就是隐含在人工神经网络的结构和参数之中的 人工神 经网络的优点在于它具有自学习功能 它的缺点在于网络结构 例如层数 结点 数 学习速率等等 需要经过大范围的调整才能获得期望的性能 提到人工神经网络就不得不提一下由c m u 的r o w l e y 等 3 0 3 2 所做的工作 他们采用局部连接的人工神经网络来检测人脸 将每个区域划分成多个方形或矩 形的子区域以便更好的描述人脸的局部特征 每个区域对应一个人工神经网络隐 含单元 最后对人工神经网络在多个分级上的输出进行判决以降低误检率 算法 的框架如图2 1 所示 图中显示了两类人工神经网络 一个位姿检测器用于估计输 入窗口中人脸的位姿 三个检测器分别检测正面 半侧面和侧面的人脸 使用经 过对准和预处理的人脸样本以及采用自举方法收集分类器错分的样本作为非人脸 样本训练各个人工神经网络 进一步修正分类器 检测时对输入图像中所有可能 位置和尺度的区域首先使用位姿检测器估计人脸位姿 经校准和预处理后送入三 个检测器中 最后对检测器的分类结果进行仲裁后输出检测结果 第2 章人脸检测知识介绍 图2 ir o w l e y 的基于人工神经网络的人脸检测算法框架 在上述框架下 r o w l e y 等对正面端正人脸和正面旋转人脸的检测结果单独进 行了研究 对于正面端正的人脸 仅使用了正面人脸检测的人工神经网络 是一 种三层前向网 输入层对应2 0 2 0 像素的图像区域 隐层结点分为对应不同人脸 区域的若干组 与输入层部分连接 人工神经网络输出l 到 1 区间的值 表示这 个区域是否为人脸 r o w l e y 等使用相同的人脸样本和不同的自举过程收集的非人 脸样本训练了多个正面人脸检测的人工神经网络 对它们的检测结果进行仲裁 以进一步减少错误报警 对于正面旋转人脸的检测使用了旋转角度检测器及正面 人脸检测的人工神经网络 并使用相似的多个人工神经网络仲裁的方法降低错误 报警 基于人工神经网络的方法还有其他一些学者提出的人脸检测算法 都获得了 较好的检测结果 目前基于人工神经网络的方法也在人脸检测与识别领域得到越 来越广泛的研究与应用 2 隐马尔科夫模型 h i d d e nm a r k o vm o d e l h m m 隐马尔科夫模型是用于描述信号统计特性的一组统计模型 目前一般只使用 人脸样本进行训练 主要针对用于人脸识别的头肩部图像 与人脸检测相比 隐 马尔科夫模型在人脸识别上的应用更为常见一些 隐马尔科夫模型使用马尔科夫 链来模拟信号统计特性的变化 而这种变化又是间接的通过观察序列来描述的 因此 隐马尔科夫过程是一个双重的随机过程 在隐马尔科夫模型中 节点表示 状态 有向边表示状态之间的转移 一个状态可以具有特征空间中的任意特征 对同一特征 不同状态表现出这一特征的概率不同 由于隐马尔科夫模型是一个 统计模型 因此对于同一个特征序列 可能会对应于许多状态序列 特征序列与 状态序列之间的对应关系是非确定的 这种模型对应于状态序列来说是隐藏的 故称为隐马尔科夫模型 一l o 一 中山大学硕士学位论文 在人脸问题上 n e f i a n 等 3 3 1 根据正面人脸由上到下各个区域具有自然不变的 顺序这一事实 使用一个包含5 个状态的一维连续隐马尔科夫模型加以表示 将 头部图像按照五个区域 头发 额头 眼睛 鼻子 嘴巴 划分为互相有所重叠 的条块 对各块进行k l 变换 选取前若干个变换系数作为观测向量训练隐马尔 科夫模型 他们还提出了基于嵌入式隐马尔科夫模型的人脸检测方法 3 4 1 该方法 同时考虑到人脸由左到右各个特征的自然顺序 使用了二维隐马尔科夫模型 并 且采用二维d c t 变换的系数作为观察向量 获得了较好的检测与识别效果 3 支持向量机 s u p p o r t v e c t o r m a c h i n e s s v m 支持向量机是v a p n i k 等提出的基于结构风险最小化原理的统计学习理论 3 5 1 1 3 6 1 用于分类与回归问题 结构风险最小化使统计学习理论中的v c 维数的 上限最小化 在数学上证明了这等价于寻找最小真实风险 这使得s v m 比基于经 验风险最小化的人工神经网络具有更好的泛化能力 s v m 在结构风险最小化基础 上 为两种不同类别的样本数据找到一个最优分类面 类似于一个受限二次规划 问题 最早将s v m 应用于人脸检测的是o s u n a 等人 3 7 1 他们取得了较好的实验结 果 该方法的基本思路是对每一个1 9 1 9 像素的检测窗口使用s v m 进行分类 以 区分人脸和非人脸窗口 一个基于支持向量机的分类器是用一个超平面对人脸向量和非人脸向量进行 分类 这个超平面是由加权后的支持向量得来的 这些支持向量是在大量的人脸 样本和非人脸样本上 通过学习算法 选出的位于分界面附近的训练样本 与大 多数方法不同的是 这种方法的目标是使最后生成的分类错误率最小 而不是使 训练错误率最小 s v m 的训练使用了大量人脸样本和由自举方法收集的非人脸样本 并且使用 逼近优化的方法来减少支持矢量的数量 但是 s v m 的训练需要计算复杂度极高 的二次规划问题 这一点限制了该方法的应用 很多学者都在寻找各种方法来解 决s v m 训练困难的问题 并取得了一定的成果 3 8 1 如今 s v m 正受到研究人员 越来越多的重视 应用领域逐渐被拓宽 上述的四大类人脸检测方法中的各种算法部存在着自身的优缺点和适用范 围 很多学者在该领域内不断探索研究 改进旧的算法或者提出新的算法 解决 了许多原有的问题 第2 章人脸检测知识介绍 2 3 人脸图像数据库及检测算法性能评测 人脸图像数据库可用于人脸检测的训练和测试 大部分的人脸检测方法都需 要人脸训练图像数据 而通常的人脸数据库仅用于人脸识别和人脸检测测试性实 验 含有的人脸数目比较少 对于大样本的训练需求是远远不够的 所以 本文 作者搜集了各类人脸图片 建立了实验室自己的大样本人脸库 下表列举了一些 国际公认的人脸库 适用于识别 测试以及小样本的训练 表2 2 一些常用的国际公认人脸库 人脸数据库链接 a rla c ed a t a b a s e h t t p c o b w e b e e n p u r d u e e d u a l e i x a l e i xf a c ed b h t m l c v ld a t a b a s e h t t p w w w 1 r v f r i u n i l i s i f a c e d b h t m l y a l ef a c ed a t a b a s e h t t p c v c y a l e e d u p r o i e c t s y a l e f a c e s y a l e f a c e s h t m l y a l ef a c ed a t a b a s eb h t t p c v c y a l e e d u p r o i e c t s y a l e f a c e s b y a l e f a c e s b h t m l p i ed a t a b a s e h t t p w w w r i c m u e d u p r o j e e t s p r o i e e t 4 1 8 h t m l u m i s tf a c ed a t a b a s e h t t p i m a 2 e s e e u m i s t a e u k d a n n y d a t a b a s e h t m l o l i v e t t i a t t o r l h t t p w w w u k r e s e a r e h a t t c o m f a c e d a t a b a s e h t m l j a f f ed a t a b a s e h t t p w w w m i s a t r i p m l y o n s o a f f e h t m l t h eh u m a ns c a nd a t a b a s e h t t p w w w h u m a n s c a n d e s u p p o r t d o w n l o a d s f a e e d b p h p p u r d u e a r h t t p r v l l e c n p u r d u e e d u a l e i r d a l e i xf a c ed b h t m l 人脸检测的算法现在尚无统一的性能评测标准 我们一般关注人脸检测算法 的以下几个指标 人脸检测率 在给定图像中 检测出来的人脸和实际存在的人脸总数的比率 错误检测率 包含两种错误检测 一种是将人脸漏检为非人脸的误检率 以f r r 表示 另一种是将非人脸错检为人脸的误检率 以f a r 表示 即 f r r 型 擀笋枷 公舭 删r 塑掣塑警些掣 l o o 公式 2 2 m 肛 磊蕊瀑磊函广刈u u 笃a 7 检测速度 一般的人脸检测系统不仅对检测率有所要求 在检测速度方面也有 一定的要求 具有实时性的系统才是具有实际应用价值的系统 一1 2 一 中山大学硕士学位论文 不管怎样 各种检测算法始终都存在效率与性能的矛盾 我们应当在这两者 之间寻找一个平衡点 使人脸检测系统从整体上达到最优 一1 3 一 第3 章机器学习及a d a b o o s t 算法 机器学习的一个重要目标就是对新的测试样本尽可能给出最精确的估计 构 造一个高精度估计是一件相当困难的事情 然而产生数个只比随机猜测好的粗糙 估计却很容易 1 9 8 4 年v a l i a n t 介绍了机器学习的理论模型 1 9 8 8 年k e a r n s 和v a l i a n t 提出了 寻找自举算法的问题 1 9 9 0 年f r c u n d 和s c h a p i r e 构造出一种多项式级的算法 3 9 即最初的b o o s t i n g 算法 它成为提高学习系统预测能力的有效工具之一 也是组 合学习中最具有代表性的方法 1 9 9 2 年d r u c k e r s c h a p i r e 和s i m a r d 做了第一次自 举实验 1 9 9 3 年d r u c k e r 和s e h a p i r e 第一次以神经网络为弱学习器 应用b o o s t i n g 算法来解决实际的o r c 问题 4 0 1 1 9 9 5 年f r e t m d 和s c h a p i r e 提出了通过调整权值 而运作的的算法 4 l a d a b o o s t 算法 解决了早期b o o s t i n g 算法很多实践上的困 难 4 2 a d a b o o s t 的全称为a d a p t i v eb o o s t i n g 即自适应的b o o s t i n g 算法 因为原 先的b o o s t i n g 算法需要预先知道弱假设的错误率下限 而a d a b o o s t 算法根据弱学 习的反馈适应性来调整弱假设的错误率 3 1p a c 学习模型 v a l i a n t 提出的p a c p r o b a b l y a p p r o x i m a t e l y c o r r e c t 学习模型 4 3 1 使计算学习理 论得到了很大的发展 是b o o s t i n g 学习方法的基础框架 p a c 学习的实质就是在 样本训练的基础上 使算法的输出以概率接近未知的目标概念 v a l i a n t 认为 学 习 是相当明显清晰的过程或模式不存在时仍能获取知识的一种 过程 并给出 了一个从计算角度来获得这种 过程 的方法 包括 1 适当信息收集机制的 选择 2 学习的协定 3 对能在合理步骤内完成学习的概念的分类 p a c 模型定义 设x 是一个称为 域 的集合 一个概念是一个布尔函数 c x 9 0 l 一个概念类c 是概念的集合 学习者接受带类别标签的例子 工 f j 其中x 是按照域x 中一些确定但未知的任意分布d 随机选择的 且c c 是目标概 念 一段时间后 学习者必须输出一个假设h x 寸 0 l h x 的值可被理解成对 一1 5 第3 章机器学习及a d a b o o s t 算法 x 的标签的随机预测 以概率h x 为l 以概率1 一h x 为0 假设h x 的错误是期 望值点名 ih x c x 1 其中x 是按d 选择的 若 工 被理解为一个随机预测 则该预测的错误就是非正确预测的概率 下面简要描述p a c 学习模型 给出 x 为样本空间 包含所有可以用于学习的样本集合 c 为概念空间 包含所有可以选取的目标概念t v 为分类集合 其值为目标概念的所有分类 v l h 最简单的情况是二 值的 即v o l h 为假设空间 包含算法所输出的所有假设正 7 力 学习器l 的目的是找到目标概念的一个假设 使其能对每个样本进行分类 我们按照某种固定的 可能未知的 分布p x 独立抽取样本而 l 返回辟 的值 岛 薯 矿为t 的指示函数 表示l 对 的分类 于是可以获得一组数据 墨 五 靠 x 矿r 构造适当的算法 以 以为到概念空间的 映射以 x 矿r 斗c 并定义h r x 如 吩 则 以 r x 就是目标概念t 对样本而 的一个假设 在实际的学习中 我们不可能找到一个对所有样本都正确的假设 如果学习 器l 最终以 1 一万 的概率输出一个假设h h 其中的艿称为假设的置信度 并且 随机样本的误分类率小于假设错误率占 则认为这个假设是成功假设 如果学习器l 只需要多项式p m 1 8 i 8 个样本以及在多项式p m l l 占 i 8 时间内就可以获得一个成功假设 那么称l 为可p a c 学习的 3 2 强学习与弱学习 在机器学习中 k e a m s 和v a l i a n t 4 4 4 5 指出 在v a l i a n t 的p a c 模型 4 3 1 q h 若存在一个多项式级的学习算法以识别一组概念 且识别的正确率很高 那么这 组概念是强学习的 如果学习算法识别一组概念的正确率仅比随机猜测略好 那 么这组概念是弱学习的 强p a c 学习算法 令s 为包含n 个数据点 五 y j h 蜘 的样本集 其中 是按照某种固定但未知的分布d x 随机独立抽取的 厂 矗 f 属于某个 一1 6 一 中山大学硕士学位论文 已知的布尔函数集f 如果对于任意的d 任意的厂 f 任意的0 芏占 艿 1 2 学习算法生成一个满足p r h x 厂 x f 的估计h 它的概率大于卜万 并且学习 算法的运行时间与1 占 1 6 成多项式关系 那么就称其为强p a c 学习算法 弱p a c 学习算法 满足与强p a c 学习算法一样的条件 但s o 5 一y 其中 0 要么是一个常数 要么以l p 减小 p 是相关参数中的一个多项式 k e a r n s 和v a l i a n t 提出了弱学习算法与强学习算法的等价问题 在p a c 学习模 型中一个弱学习算法是否能被提升为一个具有任意精度的强学习算法 4 4 1 4 5 1 7 如 果两者等价 那么在学习概念时 只要找到一个比随机猜测略好的学习算法 就 可以将其提升为强学习算法 而不必直接去找通常情况下很难获得的强学习算法 1 9 9 0 年s e h a p i r e 指w 3 9 1 p a c 弱学习算法可以转换为p a c 强学习算法 提 出了第一个可证明的多项式时间b o o s t i n g 算法 早期的b o o s t i n g 算法存在一些问 题 例如分类器性能的进一步改善需要b o o s t i n g 的更多迭代 要求事先知道弱学 习算法学习正确率的下限等等 a d a b o o s t 则在一定程度上避免了这些问题 3 3a d a b o o s t 算法及分析 a d a b o o s t 算法是b o o s t i n g 家族最具有代表性的算法 算法在训练样本上维护 一套概率分布 在每一回迭代中a d a b o o s t 在每个样本上调整这种概率分布 具体 的学习算法用来产生成员分类器 并计算出成员分类器在训练样本上的错误率 a d a b o o s t 用这个错误率来调整训练样本上的概率分布 权值改变的作用是在被误 分的样本上设置更大的权值 在分类正确的样本上减少其权值 最后通过单个分 类器的加权投票建立最终的强分类器 3 3 1a d a b o o s t 算法伪代码 两类分类情况下a d a b o o s t 的算法伪代码如下 输入 给定样本集合 五 y 0 x 2 儿 h 蜘 卫 1 o l 为正例样 本 0 为负例样本 样本总数n 初始化样本权值分布 卅 万1 对t l t 进行如下循环 一1 7 一 第3 章机器学习及a d a b o o s t 算法 归一化权值 以卜 毒生 吒 在样本集合和当前权值分布下挑选分类错误率最小的一个弱分类器丘 记录该弱分类器的分类错误率岛 一i 趣 薯 一mi 样本权值更新 一 厨i 畸 其中 q o 表示 被正确的分类 巳 1 表 示而被错误的分类 尼2 啬 f t r 椭抓一瞄啪 窘麒帆础霄1 0i o f 孵九p 妇 a d a b o o s t 具有快 简单 易于编程等优点 不需要弱学习器的先验知识 可 以灵活的和任意方法结合寻找弱假设 当给定足够的训练样本和一个能够提供中 等精度的弱学习器 它能够提供学习的理论保证 a d a b o o s t 的诞生颠覆了传统的学习系统设计思想 人们不再是试图设计一个 在整个样本空间上都精确的学习算法