（计算机应用技术专业论文）基于肤色的人脸检测与人眼定位.pdf

摘要 摘要 基于生物特征的身份认证技术近年来发展迅速。与其它生物认证技术相比， 人脸识别具有更直接、友好、方便的优点，是当前热门研究领域之一。人脸检测 是人脸识别过程中的必要前期工作，其主要作用是将人脸部分从背景图像中分离 出来。一个对一般环境图像具有一定适应能力的人脸识别系统，需要一个鲁棒的、 高效的、实时的人脸检测系统。 彩色图像中，肤色是人脸的重要信息。它不依赖于面部的细节特征，具有相 对的稳定性。在色度空间中，人脸的肤色分布表现出良好的聚类特性。利用肤色 特征可以快速抛弃大量背景因素迅速得到目标区域。 本文以完成人脸识别前期准备为目标，利用肤色的聚类特性，设计并实现了 一个复杂背景下的人脸检测和人眼定位算法。论文包括三方面内容：人脸检测、 光照补偿和人眼定位，其中人脸检测是后两项的基础。1 1 人脸检测：首先研究了 肤色在y c b c r 色彩空间呈现的聚类特性，给出肤色在此空间的高斯分布模型。然 后利用高斯模型对彩色图像进行相似度计算。经过阈值分割、孔洞着色、区域验 证等步骤，最终得到人脸区域。光照补偿：实验表明光照对此人脸检测方法有 较大影响，色温偏差和亮度偏差会使检测率大幅下降。本文采用基于全局白平衡 的色温补偿方法和基于复合变换的亮度补偿方法，对光照进行补偿。实验结果表 明这两个方法能对光照进行有效的补偿。3 ) 人眼定位：人眼有突出的低灰度特征， 高斯模型不能反映这一特征。本文采用包含灰度信息的区域肤色模型在已得到人 脸区域内确定可疑人眼区域。随后提出基于知识的快速人眼定位方法和基于色度 偏移的验证方法进行人眼定位。 通过自行拍摄和网上下载的方法获取了9 2 个图像文件对算法进行了测试。实 验结果表明本文提出的人脸检测算法、人眼定位算法具有较高的检测速度和检测 率。 关键字；人脸检测，肤色模型，光照补偿，人眼定位 a b s t r a c t d 。三= = = = = 蛾1 = 薹d e v e l o p j n gq u i d d y _ c o m p a r c dw i 也o t l l 盯硒m e 仃i x 咖o l o g y ，白诗酬i i s m o r ed i r c c f r i e n d l ya n dc o n v e n i e n t s o ，i tb e 虻o m e st ob eo n eo ft h eh o t t e s tr e s e a r c h d o m a i n s f a c ed e t e c t i o ni sa l li m p o r t a n tw e - p r o c e s s i n gs t a g e , a n dt h em a i nf u n c t i o ni s i nc o l o rh n a g e s ，t h es k i n - c o l o ri si m p o r t a n ti n f o r m a t i o no ff a c e i ti ss t a b l e ，a n d c l u s t e r i n gi n b ed i s c a r d e d i s s u e sw e r ec l o s e l yi n v e s t i g a t e d ，i n c l u d i n gf a c ed e t e c t i o n , i l l u m i n a t i o nc o m p e n s a t i o n a n de y el o c a t i n g n ef a c ed e t e c t i o ni st h eb a s i sf o r t h el a t t e rt w o 1 f a c ed e t e c t i o n ：f i r s t l y , w ea n a l y z es k i n - c o l o r sc l u s t e r i n gj nt h ey c b c rc o l o r s p a c e , a n de s t a b l i s hag a u s s i a nm o d e lb a s e do ni t s e c o n d l y , ap r o b a b i l i t yi m a g ei s g a i n e db yc a l c u l a t i n gl i k e l i h o o dt h o u g ht h em o d e l a f t e rt h r e s h o l ds e g m e n t a t i o n , r e n d e r i n gh o l e , a n dv a l i d a t i n gr e g i o n s , t h ef a c er e g i o n sa r e ：f i n a l l ys e p a r a t e df r o mt h e b a c k g r o u n d 2 i l l u m i n a t i o nc o m p e n s a t i o n ：e x p e r i m e n t a lr e s u l t so nt h i sf a c ed e t e c t i o nm e t h o d s h o wt h a tt h ed e t e c t i o nr a t ei sr e d u c e dg r e a t l yb e c a u s eo ft h eh u e sa n db r i g h t n e s s s o f f s e t ag l o b a lw h i t eb a l a n c em e t h o da n dc o m p o s i t et r a n s f o r m a t i o nm e t h o da r e a d a p t e dt oc o m p e n s a t i n ga b n o r m a li m a g e s e x p e r i m e n t a lr e s u l t sa l s 0s h o wt h a tt h e s e m e t h o d sa r ee f f e c t i v ei nc o m p e n s a t i n gu n e v e nl i l u m i n a t i o n 3 e y el o c a t i n g ：s i n c et h eg r a yl e v e lo ft h ee y e s r e g i o nq u i t el o w , t h eg a u s s i a n m o d e lc a n n o tm a k eu s eo ft h i s 1 1 圮r e g i o n a ls k i n - c o l o rm o d e lh a sg r a yi n f o r m a t i o n w h i c ht h eo a u s s i a nm o d e l l a c k s t h e r e f o r e ，t h ed u b i t a b l ee y e sr e g i o n sa r ea t t a i n e db y a b s t r a c t r e g i o n a ls k i n - c o l o rm o d e li nt h ef a c er e g i o n sw h i c hw eh a v eg a i n e d f i n a l l y , aq u i c k l o c a t i n gm e t h o db a s e do nk n o w l e d g ei sp r e s e n t e d ，a n dt h er e s u l ti sv a l i d a t e db ya m e t h o db a s e do nh u e so f f s e t 9 2i m a g e so b t a i n e d 盘o mi n t e m e ta n dad i g i t a lc a m e r aw e r eu s e df o rt h ef i n a l e x p e r i m e n t a n dt h er e s u l t si n d i c a t et h a tt h ef a c ed e t e c t i o na l g o r i t h ma n dt h ee y e l o c a t i n ga l g o r i t h m a r ef a s ta n de f f e c t i v e k e y w o r d ：f a c ed e t e c t i o n , s k i n - c o l o rm o d e l ，i l l u m i n a t i o nc o m p e n s a t i o n , e y e l o c a t i n g m 图目录 图目录 图1 - 1 生物认证产业年度分析报告1 图1 - 2 人脸识别系统一般过程 图1 - 3 人脸检测方法归类 图1 - 4 马赛克法示意图。 图1 5 眼睛的可变形模板。 图1 - 6 特征空间分解。 ：一2 7 图1 7 r o w l e y 等人提出的人脸检测系统1 3 图1 培支持向量机的原理示意图1 5 图2 1 r g b 色彩空间 图2 2h s v 色彩空间。 图2 3 椭圆模型。 图2 4 高斯模型 图2 - 5 肤色样本 图2 6 肤色分割过程 图2 - 7 阈值分割 图2 - 8 像素的连通性。 图2 - 9 人脸区域显示。 图3 - 1 光照补偿过程。 图3 2 自动白平衡过程。 图3 3 色温补偿。 图3 - 4 指数变换。 图3 5 对数变换。 图3 - 6 复合过程 图3 7 彩色图像补偿。 图3 8 灰度图像补偿 图4 1 二维简单眼睛模板 2 1 l 2 4 ：1 6 3 7 图4 2 基于区域肤色模型的三色分割 图4 3 结果图 v i 5 0 5 0 力m n 笳勰凹弘 表目录 图4 - 4 双眉 图4 5 单眉 图4 6 无眉 图4 - 7 区域被割断 图4 8 人眼定位结果图 图5 1 总流程图 图5 2 软件界面 表1 - 1 人脸检测各发展阶段。 表4 - 1 各区域c b o 值 表目录 表5 1 人脸检测的数据统计 5 ：! 5 2 表5 2 人眼定位的数据统计6 0 v “舛 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他入已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名：i 2盘日期：刎7 年午月移日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 导师签名：! 煎! 全 日期：枷7 年妒月箩日 第一章绪论 1 1 选题背景和意义 第一章绪论 身份认证一直以来是人们关心的热点问题。传统身份认证主要基于标示物品 和标示知识来确定身份，存在丢失、遗忘或者被伪造等缺点。生物认证根据个人 独有的生理特征和行为特征进行验证。与传统的身份认证技术相比，生物认证不 存在丢失和遗忘的问题，且“随身携带”。有些特征( 如d n a 、虹膜) 具有高度 准确的优点，不可能被伪造。 “9 1 1 ”事件后，生物认证技术得到全球各国普遍重视。生物认证技术和产 业随之进入快速发展阶段。国际生物认证组织( i n t e r n a t i o n a lb i o m e t r i c sg r o u p ) 提供的年度分析报告1 1 l 显示生物认证产业在今后五年依然增长很快。 生囊认证产生年度分析报告。2 0 0 7 - 舭 t , mt m o ) 1 瑚 粕弧3 2 0 0 7艄嬲勰耋l 量2 图i - i 生物认证产业年度分析报告 人脸识别技术是生物认证的一种，与利用指纹、d n a 、虹膜等其它人体生物 特征进行身份鉴定的方法相比，人脸识别具有更直接、友好、方便的优点。虽然 人脸识别的可靠度没有利用d n a 等认证技术的高，但是其采集方便，方式隐蔽 以及事后追踪能力强的特点是其它生物认证技术所没有的。这些优点在国家公共 安全、信息安全、个人身份认证应用上尤为重要。正因于此，人脸识别仍是当前 1 圈露黼一圈飘蕊一瓣 o o 蚤静麝0 o 蚤o撇黼舭瓣僦|撇萋|趣 电子科技大学硕士学位论文 生物认证研究的热门领域之一。 图1 2 是自动人脸识别系统的一般过程。其中，图像预处理的主要作用在于 去除或者减小光照的影响以及成像系统和外部环境对处理图像的干扰，为后续处 理提供高质量的图像。人脸检测定位的主要作用是确定图像中是否存在人脸，如 果存在，则确定人脸的位置、大小和数量，并将人脸部分从背景图像中分离出来。 特征提取与识别是对归一化后的人脸图像提取若干主要特征，然后将目标与样本 的特征进行比较，判断是否在一定范围内吻合 图1 - 2 人脸识别系统一般过程 可以看出，人脸检测是自动人脸识别系统中的一个基础环节。一个对一般环 境图像具有一定适应能力的人脸识别系统，需要一个鲁棒、高效、实时的人脸检 测系统。 然而，实现这样一个人脸检测系统十分困难。这是因为人脸是一类具有相当 复杂的细节变化的自然结构目标。对于这一类目标的检测问题至今仍然存在着诸 多的难点【筇4 1 ： 1 ) 人脸模式具有多样性。不同的人脸上可能有不同的修饰物，比如有胡须、 眼镜；尤其是化妆技术，使得人脸上的器官呈现不同的色度和灰度，这 些都需要检测算法来适应。 2 1 人脸存在着塑性变形的不确定性。表情变化导致了面部器官的变形，从 而使得人脸检测算法不得不考虑到表情的变化。现在，对人脸表情的研 究也已经成为了一个单独的课题。 3 ) 在图像的获取过程中，存在着很多的不确定性，比如，光照的强度不同， 光源的颜色和角度的差异都会导致摄取到的图像呈现高亮、暗光，甚至 不同的颜色。 舢人脸是一种三维物体，故不可避免的会受到光照产生的阴影的影响。 如果能够找到解决上述这些问题的方法，成功的构造出人脸检测系统，将为 解决其它类似复杂模式的检测问题提供重要的启示。所以，人脸检测研究具有重 要的学术价值。 2 第一章绪论 人脸检测还具有广泛的应用价值。随着计算机图像采集等硬件的发展以及各 种相关研究的深入，人脸检测应用领域拓展到诸多方面。例如，在人机交互领域， 它可以使得计算机知道你是谁，为你提供服务的时候不再是千篇一律的冰冷面孔。 在网络图像传输中，给予人脸区域一个较高的优先级来保证它的传输质量，背景 部分则用一个较低的码率传输以减小网络负荷，从而在相同带宽下得到质量更好 的重建图像。在基于内容的检索中，由用户给出一幅人脸图像，利用人脸检测技 术，可以很快的在数据库中找出一系列相关图像。另外，人脸检测还可以用在视 频监控、出入境检查等领域。 总而言之，研究和开发一个鲁棒的、高效的、实时的人脸检测系统具有重要 的学术和应用价值。 1 2 内容分类与评测标准 人脸检测是人脸识别的过程之一。从广义上讲人脸识别包括人脸检测和人脸 分类两个过程，二者都是模式分类问题。人脸检测是把所有的人脸作为一个模式， 而非人脸作为另一个模式，人脸检测的过程就是将人脸模式与非人脸模式区别开 来。人脸分类是把每一个人的人脸作为一个模式来对待，不同人的脸属于不同的 模式类，人脸分类的过程是将属于不同人的脸归于各自的模式。换句话说，人脸 检测强调的是人脸之间的共性，而人脸分类则要区分不同人脸之间的差异。 1 2 1 内容分类 人脸检测问题包含的内容十分广泛，从不同的角度可以有多种不同的分类方 法四。按照图像类型来分，可以分为静止图像和动态视频序列的人脸检测。对于 静止图像，侧重点在于如何使检测算法适应更多种类的图像；而对于动态视频序 列来说，速度是首要要求。按照色彩信息来分类，可以分为彩色图像和灰度图像 的人脸检测。前者由于可以利用肤色信息，因而检测起来相对比较容易。按照图 像前景来分，主要是人脸姿态的不同。有的针对正面( 包括平面内旋转一定角度) 的人脸，有的则针对正面和侧面的人脸。按照图像背景的复杂程度来分，分为简 单背景和复杂背景的人脸检测。简单背景指可能没有背景，或者背景的类型比较 单一；复杂背景是背景未知的情况，背景中可能包含有和人脸非常类似的模式。 对静态图像来说，现在研究的算法基本上都是针对复杂背景。 本文研究的主要是复杂背景下静止的彩色图像人脸检测问题。 3 电子科技大学硕士学位论文 1 2 2 标准图像集 为了更好的评价各人脸检测方法的优劣，一些人脸检测与识别领域的研究机 构给出了标准的人脸图像集和评价指标。m p e g 7 标准组织也已经建立了人脸识 别草案小组，人脸图像集和检测识别评价指标正在制定中。建立一套统一的平台 标准将有力推动人脸检测与识别技术研究的发展。 国外知名的人脸图像集有闭： 1 、m i t 图像集( 美国，麻省理工学院) ：包括1 6 人，每个人有不同光照、 不同尺寸、不同角度的2 7 张照片。 f e r e t 图像集( 美国军方) ：此图像集包含大量的人脸图像，并且每幅 图中均只有一个人脸。该集中，同一个人的照片有不同表情，光照，姿 态和年龄的变化。 u m i s t 图像集( 英国，曼切斯特大学) ：2 0 个人共5 6 4 幅图像，每个 人具有不同角度、不同姿态的多幅图像。 钔b e r n 图像集( 德国，伯尔尼大学) ：3 0 个人3 0 0 幅正视图( 每人1 0 幅) ， 1 5 0 幅侧视图( 每人5 0 幅) 。 5 1y a l e 图像集( 美国，耶鲁大学) ：1 5 人，每人1 1 张照片，主要包括光照 条件的变化，表情的变化。 们o r l 图像集( 英国，剑桥大学) ：4 0 人，每人1 0 张照片，包括表情变化， 微小姿态变化，2 0 以内的尺度变化。 力c m u p i e 图像集( 美国，卡耐基梅隆大学) ：6 8 人，共4 0 0 0 0 张照片， 每个人有1 3 种姿态( p o s e ) 条件，4 3 种光照( i l l u m i n a t i o n ) 条件和4 种 表情e x p r e s s i o n ) 下的照片，现有的多姿态人脸识别的文献基本上都是在 c m up i e 人脸库上测试的。 国内知名的人脸图像集有： 1 1f d b 6 0 3 图像集( 南京理工大学) ：9 6 人，每人约1 0 幅图像，目前总图 像为9 5 4 幅，黑白照片，人脸在图像中所占比例较大，背景复杂，光照 有自然光、室内白炽灯光，每张脸在上下、左右的范围内倾斜，年龄在 1 6 - 4 0 岁之间。 a i a r 图像集( 西安交通大学) ：含有1 3 0 0 人在1 9 个视点、8 种光照条 件、8 种典型表情的图像。 3 1c a s - p e a l 图像集( 中国科学院计算技术研究所) ：1 , 0 4 0 人，共9 9 ，4 5 0 4 第一章绪论 幅人脸图片。分为姿态变化、表情变化、饰物变化、光照变化、背景变 化、距离变化、时间跨度变化等7 种变化模式子库 1 2 3 评价指标 为了反映出人脸检测系统的性能，常采用一些评价指标。人脸检测结果的评 价指标主要有：检测率( c o r r e c tr a t e ) ，误检率( f a l s e a l a r mr a t e ) ，检测速度( d e t e c t i n g s p e e d ) 以及鲁棒性( r o b u s t n e s s ) 。具体描述如下： 1 ) 检测率：被正确检测到人脸数与总人脸数的比值。检测率越高，说明检 测系统对人脸的接受能力越强。 2 ) 误检率：被误检为人脸的非人脸数与它和正确检测到的人脸数之和的比 值。检测率无法反映系统对非人脸的排除能力，有可能出现这种情况： 所有人脸都被检测到，同时有很多非人脸区域也被误认为是人脸。因此 引入误检率来衡量系统对非人脸样本的排除能力。误检率越低，说明检 测系统对非人脸的排除能力越强。 3 ) 检测速度：大部分应用领域需要在线实时地检测人脸，如人脸跟踪、可 编程视频监控等。在检测率和误检率达到满意的前提下，检测速度越快 越好。 4 ) 鲁棒性：所谓鲁棒性是指在各种条件下，检测系统的适应能力。例如基 于肤色模型的检测方法无法检测灰度图像；大部分检测系统无法检测任 意角度旋转的人脸，一般需要把旋转角度限制在一定范围内；有些检测 方法受复杂背景的干扰，在背景较简单时效果好，反之则较差。 这四个标准有些是互相制约的，如检测率和误检率就经常需要权衡。实践表 明误检率随着检测率的提高而提高，检测率随着误检率的降低而降低。有些方法 如神经网络，检测率已经达到9 0 以上，误检率也不高，但检测速度慢，不能满 足实时性要求。模板匹配方法检测速度虽然快，但其距离函数在不同环境下产生 的效果差异很大，如背景简单时检测效果好，背景复杂时效果很差，这就是其鲁 棒性不好的表现；肤色模型也存在鲁棒性不好的毛病，因为肤色容易受到复杂背 景、光线等条件的影响。 1 3 发展历史与现状 人脸检测与识别技术的研究最早可追溯到十九世纪法国人a l t o n 的工作。现 5 电子科技大学硕士学位论文 代的研究，始于6 0 年代末7 0 年代初，在9 0 年代以来成为了研究热点。早期的人 脸检测集中于静止图像，起步于基于特征的模型或者简单的模板匹配技术，在空 域上提取特征，能够完成简单的人脸检测任务。中期的发展开始采用基于模板的 方法，用统计学习的方法建立人脸模型，可以实现复杂背景下的人脸检测，并且 运用运动信息来考察视频流或图像序列中的人脸检测。近期，研究者的方向各不 相同，有人从频域中提取特征，有人继续研究更复杂的统计模型，有人将最新的 分类决策理论应用于人脸检测领域。在研究过程中，人们认识到：将多种技术结 合在一起，利用多种信息可以提高人脸检测方法的效率，是未来发展的一个趋势。 表1 - 1 人脸检测各发展阶段 发展阶段主要方法 早期模板匹配、基于特征知识的方法( 空域) 中期示例学习、神经网络、统计模型、彩色信息、形状分析 近期彩色信息、三维建模、频域中的特征提取，支持向量机、多模态 信息融合以及各种技术相融合的方法 目前，国内外对人脸检测的研究越来越热，国外比较著名的有美国麻省理工 学院，卡耐基梅隆大学等；国内的有清华大学、北京工业大学、中科院计算所、 自动化研究所等都有专门机构从事人脸检测的相关研究。随着人脸检测研究的深 入，国际上发表的有关论文数量也大幅度增长，如m e ef g ( i e e e 人脸与手势 自动识别国际会议) 、i c i p ( 图像处理国际会议) 、c v p r ( 计算机视觉与模式识别 会议) 等重要国际会议上每年都有大量关于人脸检测的论文，占有关人脸研究论 文的近1 3 之多。 1 4 人脸检测方法综述 在分析整理了有关人脸检测问题的研究文献后，将人脸检测方法归纳为三类， 如图1 3 所示。基于先验知识的方法首先抽取几何形状、灰度、纹理等特征并形 成一定的规则，然后检验这些规则是否符合人脸的先验知识。这类方法一般检测 速度都很快，但精度较差。基于模板匹配的方法利用人脸的部分或全部的标准特 征模板和输入图像中所有的区域执行匹配操作，利用模板和区域之间所得的匹配 度量来检测人脸。这类方法的一般速度要慢于前面的方法，精度要稍好一些。基 于统计学习的方法依靠统计分析和机器学习技术来学习人脸样本和非人脸样本， 6 第一章绪论 从而达到区分人脸和非人脸的目的。这类方法如果学习样本比较充分，分类器选 择得当，一般来说精度要好于前二种方法。但这类方法大多需要很大的计算开销， 所以一般结合上述二种方法中的一种或二种来使用。 1 4 1 基于先验知识的方法 图1 - 3 人脸检测方法归类 这类方法是基于我们在认识人脸的过程中所总结出来的一些先验知识，把他 们归结成为一些复杂程度由简而繁的规则，从而实现对人脸的编码例如，人脸 的几何形状满足一般性的约束，人脸面部器官的分布大致符合三庭五眼的规则。 正视时，人脸可近似为椭圆形或长方形，是一个左右对称的物体。人的面部是由 比较平坦的面部皮肤和按一定规则分布在其上的器官( 眉毛、眼睛、鼻子、嘴巴) 构成，皮肤区域的颜色较亮，各器官的颜色较暗，这些知识是人眼认知人脸的基 本依据。人们利用这些知识，发展了众多的基于先验知识的人脸检测算法。 7 电子科技大学硕士学位论文 1 利用人脸器官分布规律的知识 人脸器官分布比较规律，适用于证件照上头部位置比较固定的情况，最常见 的是眼睛定位，常用的方法是对于边缘图像作垂直和水平方向的“积分投影”并 结合五官分布的先验知识。文献【6 】利用眼睛部位水平边缘线丰富的特点定位出眼 睛在垂直方向上的大致位置。文献【7 】等人用垂直方向边缘图像的积分投影检测脸 的两侧和鼻子，水平方向边缘积分投影用于定位眼睛、嘴巴和鼻子。人脸具有一 定的轴对称性，器官也具有一定的对称性，比如人的左右眼睛是对称的等。文献 【8 】利用广义对称变换理论和边缘图像确定人脸对称轴，然后根据人脸五官分布的 约束条件及在对称轴上对称值最大的地方定位眼睛和嘴巴。文献【9 】提出连续对称 性检测方法，检测一个圆形区域的对称性，利用人脸的五官特性，从而确定是否 为人脸。 2 利用肤色空间分布规律的知识 在彩色图像中，肤色是人脸表面最为显著的特征之一。文献【1 0 】用彩色图像 的色彩信息定位眼睛和嘴巴。这种分割是在变换后的色彩坐标系如h s v 和y i q 中进行的。根据人脸模式灰度分布的特点，嘴唇比周围皮肤有更高的q 分量值， 皮肤区域在i 和h 分量图像的直方图上有清晰的峰。将这些信息与眼睛和嘴巴在 人脸上分布的相对位置关系结合，就能够检测到眼睛和嘴巴。其它的一些方法还 有利用肤色模板进行搜索匹配以及在分割之前就将肤色检测结果与其它特征融合 在一起的方法等。 3 基于知识建模的方法 这种方法在分析人脸图像样本的基础上，针对人脸的几何形状、灰度、边缘、 纹理等信息，建立了一种关于人脸的知识库。在检测中，首先抽取这些灰度、边 缘等信息，然后检验它是否符合知识库中关于人脸的先验知识。 g o v i n d a r a j u 等提出认知模型的方法【1 1 1 ，将人脸建模为两条直线( 左右两侧面 颊) 和上下两个弧( 头部和下巴) ，通过修正h o u g h 变换来检测直线和弧，从而 实现人脸定位。 马赛克法( m o s a i c ) 是一种简单的图像多分辨率表示方法。由中国科技大学 的杨光正教授提出并实现了一个基于知识的三层检测系统【1 2 1 ，如图1 3 。第一层 针对4 x 4 的马赛克图像块，根据相应的知识规则寻找人脸候选区域；第二层针对 8 x 8 的马赛克图像块，也是根据知识规则从各候选区域中确定人脸区域；第三层 在人脸区域内采用改进的边缘检测算法进一步确定眼、嘴等器官的位置 8 第一章绪论 输入基本人 人脸候 眼、鼻等 图像脸位置 选区域 位置 图1 - 4 马赛克法示意图 1 4 2 基于模板匹配的方法 模板匹配法就是计算出固定目标模板和候选图像区域之间的相关性或差异 性，作为匹配准则来搜索人脸，这种方法具有简单、直观的特点。当人脸的模式 过于复杂而不能用单一模板建模时，可以使用几个相关模板检测那些相对稳定的 人脸局部特征。模板匹配法一般可以划分到知识类，也有与统计方法结合的。由 于模板匹配方法出现时间较早，研究历史较长，已经形成了一个较为系统的方法， 所以在这里把它归为一类方法单独介绍。 1 预定义模板 预定义模板一般是先人为地定义一个标准人脸模板，计算输入图像与模板的 似然度，然后，确定一个似然度阈值，用以判断该输入图像中是否包含人脸。文 献 1 3 1 中采用“平均脸模板匹配”。首先选取多个样本人脸，构造平均脸原始模板， 按多种宽长比拉伸原始模板，与待检测图像中所有可能尺度和形状的图像窗口进 行匹配，并利用似然度计算公式计算出似然度，根据相应阈值进行判断。文献【1 4 】 采用“双眼一人脸”模板，将平均脸的双眼模板剪裁出来，滤波时先使用双眼模 板再使用人脸模板，以提高匹配速度并取得更好的性能。文献 1 5 1 将人脸图像二 值化后，得到人脸轮廓，然后与模板库中不同大小的人脸模板匹配，根据图像与 模板之间的h a u s d r o f f 距离及相关阅值判定取舍。 2 可变形模板 可变形模板是哈佛大学以九y u i l l e 为首的研究小组提出的一种器官精确定位 方法1 1 6 1 。所谓可变形模板，是对眼睛、嘴巴等面部器官形状的一种参数化描述。 例如，眼睛可以用一个圆外加两条抛物线段来表示。同时，与模板的性质相对应， 定义一个与图像中边缘( e d g e s ) 、峰值( p e a k ) 、谷值( v a l l e y s ) 等相关的能量函 数。将模板动态地作用于图像，通过修改其参数使能量函数值达到最小，也就是 通过模板的变形在图像中找到其最佳匹配。由于可变形模板法利用了全局性信息， 因而提高了人脸检测的可靠性，但同时也暴露出初始位置难于确定、权值选取依 赖经验、可能陷入局部极小、计算量大等不足。 9 电子科技大学硕士学位论文 图1 - 5 眼睛的可变形模板 文献 1 7 1 利用广义h o u g h 变换的思想，设计出了一种匹配人像边缘曲线可变 形模板，提高主持人1 3 播帧检测方法的通用性。文献【1 8 】设计了一种由粗到精的 面部特征提取策略，在一定程度上解决了可变形模板参数初值确定的问题。 3 重心模板 由于人脸区域内的各个器官具有较为恒定的模式，因此一些方法首先检测器 官( 如眼睛、鼻子、嘴等) 或局部特征，然后根据它们的相对位置关系判断整个 区域是否为人脸。人脸重心模板的重心点( g r a v i t yc e n t e r ) 对应于人脸模式上的 各个器官，重心点之间动态的二维空间约束关系适应于检测具有不同结构的实际 人脸。m i a o ”l 等利用马赛克图像法从输入图像中提取对应于眉毛、眼睛、嘴等器 官的水平方向的马赛克边缘，计算各段边缘的“重心”后，使用重心模板进行匹 配，最后使用灰度和边缘特征验证匹配的结果。该方法对人脸位置姿态的变化具 有一定的适应能力。 1 4 3 基于统计学习的方法 由于人脸图像的复杂性，显式地描述人脸特征具有一定的困难，因此另一类 方法，即基于统计模型的方法越来越受到人们的重视。此类方法将人脸区域看作 一类模式，使用大量的“人脸”与“非人脸”样本训练并构造分类器，通过判别 图像中所有可能区域属于哪类模式的方法实现人脸的检测。这类方法有基于特征 空间的方法、基于神经网络的方法、基于概率模型的方法、基于支持向量机的方 法等。 1 基于特征空间的方法 此类方法把单个图像看成一维向量，众多的一维向量形成了人脸图像特征空 间，再将其变换到一个新的相对简单的特征空间，通过计算矩阵的特征值和特征 向量，利用图像的代数特征信息，寻找“人脸”和“非人脸”两类模式在该特征 空间中的分布规律。 特征脸方法 2 0 l ( 也称为主分量分析) 是麻省理工学院的m t u r k 和a p e n t l a n d 1 0 第一章绪论 在人脸识别领域中提出的著名方法，同时也将它用于人脸检测。特征脸的基本思 想是任意输入图像都可以表示为“特征脸”的线性组合，线性组合的系数反应了 该人脸的特性。特征脸方法的实质是通过k - l 变换获得人脸模式在整个图像空间 中的降维子空问( 称为“脸空间”) ，并根据待识别样本到脸空间的距离确定它是 否属于人脸模式。如果对人脸轮廓或面部器官进行同样的计算，便可将特征脸方 法用于人脸轮廓检测或面部器官检测。 文献【2 1 】利用若干张特征脸将人脸向量投影到主元子空间f 和与其正交的补 空间f ，使用d i f s ( d i s t a n c ei nf e a t u r es p a c e ) 和d f f s ( d i s t a n c ef r o mf e a t u r e s p a c e ) 在两个空间里进行距离度量，取得了较好的效果。 图l - 6 特征空间分解 文献 2 2 1 提出了基于事例学习的方法。该方法同时使用了1 9 1 9 像素分辨率 的“人脸”和“非人脸”样本，样本预处理后按行列顺序展开为样本向量进行主 向量分解，采用k 均值聚类方法在特征空间里建立了6 组对应的“人脸”和“非 人脸”簇( c l u s t e r s ) ，通过检测图像到各簇中心的距离来判断是否为“人脸”模 式。 2 基于概率模型的方法 基于概率模型方法的一种思路是计算输入区域属于人脸模式的后验概率，据 此对所有可能的图像窗口进行判别。卡耐基梅隆大学的s c h n e i d e r m a n 和k a n a d e l 2 3 l 提出了一种基于后验概率函数估计的人脸检测器。该方法利用贝叶斯原理将后验 概率估计转化为一个似然度求解问题。s c h n e i d c r m a n 等还将概率估计的方法应用 于检测正面旋转人脸和侧面人脸，同时使用多分辨率信息复用和由粗到精搜索的 策略提高检测速度。 另一种概率模型是用于描述信号统计特性的隐马尔科夫模型( h i d d e nm a r k o v m o d e l ，h m m ) ，目前也被应用于人脸检测与识别。马尔可夫模型的概念是一个离 散时域有限状态自动机，隐马尔可夫模型是指这一马尔可夫模型的内部状态外晃 不可见，外界只能看到各个时刻的输出值。n e f i a n l 斛| 等根据正面人脸由上到下各 1 1 电子科技大学硕士学位论文 个区域( 头发、额头、双眼、鼻子、嘴) 具有自然不变的顺序这一事实，使用一 个包含五个状态的一维连续h m m 加以表示。该方法将头部图像按照这五个区域 划分为互有重叠的条块，对各块进行k - l 变换，选取前若干个变换系数作为观察 向量训练h m m 。n e f i a n 等还提出了基于嵌入式h m m 的人脸检测方法瞄j ，该方 法同时考虑到人脸由左到右各个特征的自然顺序，使用了二维h m m ，并且采用 二维d 玎变换的系数作为观察向量。 3 基于神经网络的方法 神经网络具有记忆功能，当训练样本比较全面时，神经网络可以处理比较复 杂的检测问题，所以许多检测算法采用神经网络方法。人脸模式、眼睛模式和嘴 巴模式等都有比较明显的特点，因此可以采用神经网络的识别方法。 多层感知器( m l p ) 早就被用于人脸模式的分类，文献 2 6 1 先用k o h o n e n 网 络对原始训练集进行粗分类，然后用m l p 网络进行精确分类。检测效果比较理 想。文献【2 7 用一个分级的特征检测系统定位眼睛和嘴巴，降低分辨率后的图像 输入四个已被训练过的多层感知器，能对左右眼睛、嘴巴和人脸中心进行粗定位， 然后再经过处理定位出比较精确的眼睛的上下左右四个眼角定点并分割嘴巴区 域。该方法对光照变换、人脸倾斜角度较大或遇到训练集里没有的较大的眼睛时， 定位效果会变差。文献 2 8 1 使用分层网络，该网络由四个b p 子网组成，分别检测 人脸。预处理时先对原图进行边缘增强。网络分为两层，“子层”网有三个，分别 检测眼睛、鼻子和嘴巴。“父层”网判断“子层”能否构成一张人脸。神经网络方 法能够适应较为复杂的人脸检测，准确性也比较高，所以使用神经网络进行人脸 检测的算法比较多。但是，由于人脸属于高维矢量，导致网络中训练节点众多， 算法往往需要大量的训练样本，因此，神经网络方法的研究着重于系统的优化训 练。 利用神经网络进行学习时，则既需要正例，也需要反例。选择适当的训练样 本( 尤其是反例的选择) 、适当的网络结构以及适当的学习算法，将使得神经网络 在用于人脸检测时具有很强的学习能力和推广能力文献 2 9 1 等则提出了一种基 于概率决策的神经网络( p d b n n ，p r o b a b i l i s t i cd e c i s i o n b a s e dn e u r a ln e t w o r k ) 分 别进行人脸和眼睛的检测。 文献【3 0 】等使用b p 网络进行人脸检测，网络具有的隐节点，分别对应于输 入图像的局部特征。该算法在训练过程中自动生成“非人脸样本”，其方法是输入 不含人脸的场景图像，将被误判为人脸的子图像作为“非人脸”样本。为了提高 正确率，系统还同时对几个网络分别处理出来的结果进行综合调整。同时，将大 1 2 第一章绪论 量的人脸样本和非人脸样本直接送入若干个具有不同感受野( r e c e p t i v ef i e l d s ) 的前 向多层神经网络进行训练和识别，然后通过对发生重叠的检测区域进行仲裁，得 到最后的检测结果。如图1 - 7 所示，该系统分为以下四个步骤： 图1 - 7r 唧l e y 等人提出的人脸检测系统 1 ) 定位和姿态估计 首先用人工神经网络的方法，对样本脱机训练。样本包括正例( 人脸) 和反 例( 非人脸) 。训练正例时，为了将面部特征( 如眼、口、鼻等) 位置的不同而引 起的差异降低到最小，需要进行对齐处理。在联机检测时，因为无法获得这些面 部特征的准确位置，所以不能用来定位候选人脸，而是采用穷举的方法搜索所有 的位置和比例，寻找所有候选区域。为了提高搜索效率，采用了一种改进的搜索 算法，代价是检测率有所降低。对于非端正人脸的处理也在这一步完成。用一个 人工神经网络判断输入图像中人脸的倾斜角度。然后根据倾斜角度将可能的人脸 旋转变换为正面端正的人脸，再用同样的方法检测人脸。 电子科技大学硕士学位论文 预处理 为了进一步减少由于光照或成像条件不同带来的差异，图像需要经过标准化 预处理( 如直方图均衡化) 以调整总体的亮度和对比度。另外，还使用了基于面 部结构知识的光照补偿算法进行光照修正。 检测 前两步对所有可能的人脸区域的位置、姿态和光照进行了标准化处理，接下 来要决定他们是否是人脸。这由经过了大量人脸及非人脸样本训练的人工神经网 络来完成。对于正面、半侧面和全侧面人脸的不同情况，使用不同的神经元网络。 4 1 仲裁 检测结果还要经过仲裁。仲裁在多个使用不同结构、不同训练策略的神经网 络之间进行。通过一些简单的启发式规则将判断结果进行综合，可以有效地提高 正确率，减少误报率。 系统构造了2 0 x 2 0 大小的图像子窗口，而神经网络的输入则是该窗口内像素 的灰度值，同时窗口内的像素灰度信息也将作为识别的主要特征，用其来判断每 个窗口内是否包含人脸。综合使用多个神经网络组合的方法来提高整个系统的识 别效果。该系统具体操作分为两部分：一是同时使用多个神经网络的滤波器来检 测图像，并得到图像的初级检测结果；二是采用一个决策判断器合并各个神经网 络的输出，而后判定最终的识别结果。 该系统所使用的是含有一个隐层的三层神经网络，输入层分为三种类型：其 一是4 个1 0 1 0 像素的区域单元；其二是1 6 个5 5 像素的区域单元；其三是6 个2 0 x 5 的水平带状区域单元。不同类型输入层的神经网用来检测不同的人脸特 征。例如输入层是水平带状的区域单元用以检测一对眼睛和嘴的特征；输入层是 方块的区域单元用以检测独立的眼睛鼻子和嘴等特征。神经网络的输出值为1 和 1 ，如果窗口内存在人脸，输出值为1 ，并用一个方框定出人脸的位置和大小尺 寸；如果窗口内没有人脸，输出值为1 。 4 基于支持向量机的方法 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 是在统计学习理论的基础上发 展起来的一种新的模式识别方法。它是贝尔实验室v a p n i k 等提出的基于结构风险 最小化原理( s t r u c t u r a lr i s km i n i m i z a t i o np d n c i p l e ，s r m ) 的学习方法【3 1 1 ，用于 分类和回归问题。其基本思想是用关键点代替整个样本集合，从而解决大数据量 样本的分类问题。图1 8 是支持向量机的原理示意图。显然，两类之间的间隔越 远越好，图右中箭头所指的两点即为支持向量。由于支持向量的个数远远少于所 1 4 第一章绪论 有样本点的个数，从而能够大大提高分类速度 图1 母支持向量机的原理示意图 运用s v m 方法可以解决一些非常困难的问题，如：非线性和维数灾难问题、 局部极小点问题等。o s u n a t 3 2 1 等人首先将s v m 方法用于人脸检测问题，在训练中 使用了大量人脸样本，采用“自举”的方法收集“非人脸”样本，并使用逼近优 化的方法减少支持向量的数量。文献【1 4 】采用模板匹配与s v m 方法相结合的人脸 检测算法，在模板匹配限定的子空间内采用自举的方法收集“非人脸样本”，训练 s v m