（信号与信息处理专业论文）基于肤色模型和神经网络的人脸检测算法研究.pdf

中国民航大学硕十学位论文 摘要 人脸检测问题最初是作为自动人脸识别系统的定位环节被提出，它是在输入图像中 确定所有人脸位置、大小、位姿的过程。近年来，随着智能化信息处理技术的发展，其 在模式识别与计算机视觉领域受到普遍重视，已成为一个十分活跃的研究方向。 本文构建了一种包含肤色的层次式由粗到精的人脸图像检测模式，将肤色粗检测、 数学形态学击中击不中变换与神经网络验证结合起来，逐步排除，一步一步缩小搜索区 域，实现彩色静止图像中单个或多个人脸的检测与定位。 首先利用肤色在色度空间中的聚类特征，通过收集一定数量的样本选择彩色空间并 建立合适的肤色模型，然后采用分割算法对肤色区域进行分割。初步地将图像中绝大多 数的肤色区域与背景区分开来，并进行判断、筛选，减少了待检测图像大小，为下一步 人脸验证确定候选区域。 进行了肤色粗检测之后，进一步验证人脸的存在，这也是本文要研究的重点。将人脸 候选区域进行预处理并经过形态学击中击不中变换( h m t ) 后，对于人脸这类复杂、难 以显式描述的检测模式，其基于神经网络的方法具有独特的优势，即把人脸模式的统计 特性隐含在神经网络的结构和参数之中，通过对大量样本的训练，构建了一个神经网络 分类器来完成验证任务。并通过实验得到更精确的分类检测效果，验证了算法在人脸目 标检测与定位方面表现出的良好性能。 最后提取和定位出人脸特征主要器官眼睛和嘴。 关键词：人脸检测，肤色检测，人工神经网络，数学形态学，击中击不中变换 中国民航大学硕士学位论文 a b s t r a c t h u m a nf a c ed e t e c t i o ni st ol o c a t ea l lt h ef a c e sa n dd e t e r m i n et h e i rs i z e si nt h ei n p u t i m a g e t h es u b j e c to ff a c ed e t e c t i o nw a so r i 西n a l l yp u tf o r w a r da sl o c a t i o np a r t w i t ht h e d e v e l o p m e n to fi n t e l l i g e n t i n f o r m a t i o np r o c e s s i n g ，f a c ed e t e c t i o nh a sb e e np a i dm u c h a t t e n t i o na n db e c o m eav e r ya c t i v er e s e a r c hb r a n c hi np a t t e r nr e c o g n i t i o na n dc o m p u t e rv i s i o n a p p l i c a t i o na r e a s ad e t e c t i o nm o d eo fc o a r s e - t o f i n ei sd e s i g n e d ，i n c l u s i v eo fs k i nc o l o r , t od e t e c to n eo r m u l t i p l ef a c e si nc o l o ri m a g e i ti sah i e r a r c h i c a la p p r o a c ha n dc o m b i n e st h es k i nc o l o rr o u g h d e t e c t i o n ，m a t h e m a t i c a lm o r p h o l o g yh i t - m i s st r a n s f o r mw i t hn e u r a ln e t w o r kv e r i f i c a t i o n w i t ht h ee l i m i n a t i o no ff a l s ea r e a s ，t h es e a r c ha r e aw i l lb e c o m es m a l l e ra n ds m a l l e r , a n dt h e d e t e c t i o nw i l lb ea c c o m p l i s h e de v e n t u a l l y t h em a i nc o n t r i b u t i o n sa r ea sf o l l o w s ： f i r s t ，o nt h eb a s i so fc l u s t e r i n gf e a t u r e so fs k i nc o l o ri nt h ec h r o m i n a n c es p a c e ，t h es p a c e i ss e l e c t e da n dt h ea p p r o p r i a t ec o l o rm o d e li se s t a b l i s h e df o rs k i nc o l o rs e g m e n t a t i o nt h r o u g h t h es t a t i s t i c so fs o m es a m p l es k i n t h ec a n d i d a t ef a c ea r e a sc a nb eo b t a i n e df r o ma p r e l i m i n a r yj u d g m e n t ，r e d u c i n gt h es i z eo fi m a g ea n dp r e p a r i n gf o rt h ef a c ev e r i f i c a t i o n a f t e rr o u g hd e t e c t i o no fs k i nc o l o r , t h ef u r t h e rv e r i f i c a t i o no ff a c ei st h ef o c u so ft h e s t u d y t h ec a n d i d a t ef a c ea r e a sa r ep r e p r o c e s s e da n dt r a n s f o r m e db yh m t n e u r a ln e t w o r k a l g o r i t h mw h i c hh i d e st h es t a t i s t i c a lc h a r a c t e ro ff a c ep a t t e r ni ni t ss t r u c t u r ea n dp a r a m e t e r h a ss h o w ni t ss p e c i a la d v a n t a g ei nt h ed e t e c t i o np a t t e r nw h i c hi sc o m p l i c a t e da n dd i f f i c u l tt o d e s c r i b es u c ha sf a c e s o nt h er e s u l to fs k i nc o l o rs e g m e n t a t i o n ，ab pa r t i f i c i a ln e u r a ln e t w o r k i su s e df o rt h ef u r t h e rv e r i f i c a t i o n t h r o u g ht h ee x p e r i m e n t s ，a c c u r a t ec l a s s i f i c a t i o nr e s u l t s a n dv e r i f i c a t i o no ft h ea l g o r i t h mi nt h ef a c et a r g e td e t e c t i o na n dl o c a t i o nh a v es h o w ng o o d p e r f o r m a n c e f i n a l l y , t h em a j o rf a c ef e a t u r e ss u c ha se y e sa n dm o u t hr e g i o na r el o c a t e d k e yw o r d s ：f a c ed e t e c t i o n ，s k i nc o l o rd e t e c t i o n ，a r t i f i c i a ln e u r a ln e t w o r k ，m a t h e m a t i c a l m o r p h o l o g y , h i t - o r - m i s so p e r a t i o n n 中国民航大学学位论文独创性声明 本人声明所争交的学位论文是我个人在导师指导下进行的研究j l ：作及取得的研究成果。尽我所 知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得中国民航大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志 对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名： 中国民航大学学位论文使用授权声明 中国民航大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件 和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内 容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括刊登) 论文的全 部或部分内容。论文的公布( 包括刊登) 授权中国民航大学研究生部办理。 研究生签名：鼬导师签名：桦 日期：加留。3 ，汕 中国民航大学硕上学位论文 1 1 研究的背景及意义 第一章绪论 人脸是一个常见而复杂的视觉模式，人脸所反映的视觉信息在人与人的交流和交往 中有着重要的作用和意义。对人脸进行处理和分析在视频监控、出入口控制、视频会议 以及人机交互等领域有着广泛的应用背景。利用人脸特征进行身份验证在基于生物特征 的身份认证技术中是最自然直接的手段。人脸识别在基于生物特征识别技术的身份认证 中是最重要的方法之一，相比其它人体生物技术特征它具有直接、友好、方便的特点， 易于为用户接受。基于人脸识别的自动身份认证具有重要的理论意义和应用价值，多年 来一直受到许多研究者的关注，因此计算机人脸技术的研究是生物特征最为活跃最有挑 战性的领域之一，结合了认知科学、图像处理、计算机图形学、机器视觉和模式识别等 多个领域，近年来获得大量的研究进展。 人脸研究的内容主要包括人脸检测、人脸表征和人脸识别技术三个方面。人脸检测 是从各种不同的场景中检测出人脸的存在并确定其位置。人脸表征就是提取人脸的特 征，是将现实空间的图像映射到机器空间的过程。人脸的表征具有多样性和唯一性，只 有保持这种多样性和唯一性，才能保证人脸图像的准确描述和识别。人脸识别是将待识 别的人脸与数据库中的已知人脸比较，得出相似程度的相关信息。这个识别系统的构造 与人脸的表征方式密切相关。这里所指的人脸识别是狭义的识别，是统称的广义人脸识 别的一个子过程。其过程和核心是选择适当的人脸表征方式与匹配策略。最初人脸研究 主要集中在人脸识别领域，而且早期的人脸识别算法都是在认为已经得到了一个正面人 脸或者人脸很容易获得的前提下进行的。但是随着人脸应用范围的不断扩大和开发实际 系统需求的不断提高，这种假设下的研究不再能满足需求。人脸检测开始作为独立的研 究内容发展起来。一个人脸自动识别系统包括两个主要的技术，首先是人脸检测和定 位，即从输入图像中找到人脸及人脸存在的位置，并将人脸从背景中分割出来，然后才 是对归一化的人脸图像进行特征提取与识别心1 。因此可以说人脸检测问题最初来源于人 脸识别，是作为自动人脸识别系统的定位环节被提出，是自动人脸识别系统中的一个关 键环节，算法的精度直接影响着整个系统的性能。人脸检测也开始广泛应用到全新人机 界面、基于内容的检索、数字视频处理、视觉监测等许多领域。某些情况下获取图像的 环境是可以人为控制和调整的，人脸可以轻易地确定场景中是否存在人脸。大多数场合 中场景的复杂，采集条件特别是光照条件包括光源的方向、明暗、色彩等都会对图像的 效果产生很大影响，另外脸部的毛发、戴有眼镜或其他装饰品等，以及化妆、面部倾斜、 人脸大小变化和各种各样的遮挡等因素会使人脸检测问题变得更为复杂。可见人脸检测 中国民航大学硕士学位论文 有一定的难度和复杂性，但对这一问题的深入研究不仅会不断完善对这一问题的解决， 而且会推动模式识别、计算机视觉、人工智能等计算机科学分支的发展。在近十年中得 到了广泛的关注和长足发展，国内外很多研究人士提出了很多方法，在不同领域取得了 一定的成果。但是对于寻找一种能够普遍适用于各种复杂情况的准确率很高的检测算法 还有很大的探索研究空间。 正如计算机视觉是研究使计算机具有类似人类视觉部分功能的- - n 学科，我们在研 究计算机视觉领域的问题时也经常会类比人类视觉是如何感知外部世界中的事物的。很 显然，色彩信息是人类视觉在进行感知活动时的一种重要信息来源。目前，色彩信息的 利用已经越来越广泛的应用在计算机视觉等领域中。结合人脸检测具体问题，人的视觉 在对人脸这一事物的感知过程中，色彩信息也即肤色信息的利用是起到了很大的作用 的。随着计算机速度的提高，对彩色信息的处理已经不会比单纯处理灰度信息产生明显 更多的系统负荷，对计算机色彩理论的深入研究也使彩色图像处理逐渐成为数字图像处 理的核心内容，这都使得我们在计算机检测人脸的过程中有效利用肤色信息成为可能。 计算机检测人脸的过程中，如果能有效的利用肤色信息，必将对这一热点问题的解决起 到很大的推动作用。而且肤色信息的应用，必将推动人脸检测这一既有广阔的应用前景 又具有重要学术价值的课题得到进一步研究，并成为一个更为独立和活跃的研究领域。 1 2 国内外人脸检测技术研究概况 1 2 1 人脸检测问题的分类 人脸检测问题陋 1 一般可描述为：给定静止或动态图像，判断其中是否有人脸，并将 所有人脸从背景中分割出来，确定每个人脸在图像中的位置、大小等信息。作为人脸检 测系统，输入的是可能包含人脸的图像，输出是关于图像中是否存在人脸以及人脸的数 目、位置、尺度、位姿等信息的参数化描述。根据图像来源，可以将人脸检测方法分为 基于静止图像的方法和基于动态图像的方法两类，其中前者是基础与核心，对算法的执 行时间要求不高，主要是检测率和准确性的要求，比如用在基于内容的检索；后者即视 频中检测人脸，一般与人脸跟踪问题交织在一起，要求能实时检测，在具体应用时可能 监测率要求会降低，比如视频监控。根据目标个数来分，包括单人脸检测和多人脸检测， 前者在检测算法和目标标识上都比较容易实现，即检测出来的区域经过人脸确认后就可 以用一个矩形或椭圆模型标识；而后者就复杂的多，要识别每个目标的特征并做标记， 并且能够处理多个目标的交叉与遮挡，能对每个目标进行实时监测。根据利用特征的色 彩属性，可以将人脸检测方法分为基于肤色特征的方法和基于灰度特征的方法两类，其 中前者适合用于构造快速的人脸检测算法，后者利用了人脸区别于其他物体的最为本质 的特征，是人脸检测领域研究的重点。根据人脸的姿态来分，可分为正面( 包括端正及 平面内旋转) 和侧面( 包括俯仰、侧影及旋转) 。从图像背景的复杂程度来分，分为简 2 中国民航大学硕士学位论文 单背景和复杂背景的人脸检测，前者是指可能没有背景或背景的特征被严格约束，在该 条件下只利用人脸的轮廓、颜色、运动等少量特征，就能进行准确检测；后者是背景的 类型和特征不受约束，某些区域可能在色彩、纹理等特征上与人脸相似，必须利用较多 的人脸特征才能做到准确检测。 1 2 2 人脸检测问题的关键研究方法综述 目前国内外对人脸检测问题的研究很多，国外比较著名的有m i t 、c m u 等，国内的 清华大学、北京工业大学、中国科学院计算技术研究所和中国科学院自动化所等都有人 员从事人脸检测的相关研究。m p e g 7 标准组织已经建立了人脸识别草案小组，人脸检测 算法也是一项征集的内容。随着人脸检测研究的深入，国际上发表的有关论文数量也大 幅度增长。国内外的文献中所涉及的人脸检测算法已经有很多种，针对静止灰度图像中 的人脸检测，大致可以分四类，即基于知识的人脸检测方法、基于表象的人脸检测方法、 基于特征的人脸检测方法和基于模板匹配的人脸检测方法。对于彩色图像，由于能够提 供更丰富的信息，因此可以采用有别于灰度图像的处理方法，利用彩色图像的自身特性 进行人脸检测。 1 、基于知识的人脸检测方法哺3 是通过检测出不同人脸面部特征的位置，然后根据一 些知识规则来定位人脸，因为人脸的局部特征的分布总是存在着一定的规律，例如人的 两个眼睛总是对称分布在人脸的上半部分，鼻子和嘴唇中心点的连线基本与两眼之间的 连线垂直等，所以可以利用一组描述人脸局部特征分布的规则来进行人脸检测。这种基 于知识规则的入脸检测方法有自上而下的和自下而上的两种检测策略，即首先定位候选 人脸区域，再通过人脸的先验知识来验证人脸是否存在的自上而下的方法和首先将人脸 的局部特征如眼睛、鼻子和嘴等检测出来，然后由这些局部特征组合成人脸，做进一步 的检测验证的自下而上的方法。 基于知识的方法所存在的问题主要是检测率不高，如图像背景中存在类似人脸区域 和不同视角的某些人脸特征不可见，都会导致误检率升高；另外描述人脸特征之间关系 的规则不易设计，在规则制定过高或过低都会造成漏检和误检。虽然存在许多局限性， 但其采用对图像马赛克处理、分层次检测和通过先验知识指导人脸检测的思想对以后的 研究提供了极大的帮助。 2 、基于表象的方法盯1 是很重要的人脸检测方法。这种方法总的来说，遵循一种统一 的模式，即首先通过学习，在大量训练样本集的基础上建立一个能对人脸和非人脸样本 进行正确识别的分类器，然后对被检测图像进行全局扫描，用分类器检测扫描到的图像 窗口中是否包含人脸，若有，则给出人脸所在的位置。 采用这种检测模式的理论依据是：人脸具有统一的结构模式，如果把所有的图像看 作一个高维线性空间，那么整个人脸图像集仪对应于其中的某个子空间。于是可以通过 检验待测图像窗口是否落在这个子空间中来判断是否为人脸。这类方法的基本思想是把 中国民航大学硕士学位论文 人脸检测问题视为一个广义的模式识别问题，因此，可以通过大量的人脸和非人脸样本 来建立一个分类器，使它能够正确分辨这两种不同的图像模式，再利用训练好的分类器 在未知的图像中检测人脸。采用这种检测策略的关键在于如何选取大量的具有代表性的 图像样本，特别是非人脸样本，来训练分类器。具体分类器的实现可以采用不同的策略， 如采用神经网络的方法和传统的统计方法等。 ( 1 ) 基于统计的人脸检测方法 p e n t l a n d 等提出了一种基于特征子脸的人脸及人脸特征的检测方法哺1 。其基本思想 是这样的：人脸是各种器官的组合，如果将两幅人脸图像中对应的某一器官进行调换， 它们分别作为人脸的属性不会受到影响，对于一幅正面人脸，可以根据人脸器官将其划 分为若干区域；对于某一特定器官，存在一组基本器官图像即特征器官，该器官可以由 这组特征器官的线性组合表示。由此，建立了特征眼、特征唇等，通过计算被测图像区 域与特征子空间的距离d f f s ( d is t a n c ef r o mf e a t u r es p a c e ) 是否小于某一阈值来判断 是否属于该特征子空间。 m o g h a d d a m 等阳1 发现人脸在特征空间的投影聚集比较紧密，因此利用前面若干张特 征脸向量主元子空间和与其正交的补空间中，相应的距离度量分别为d i f s ( d i s t a n c ei n f e a t u r es p a c e ) 和d f f s ，对于人脸检测问题，由于没有考虑样本的分布，需要同时使用 d i f s 和d f f s 才能取得较好的效果。同时，他们利用图像空间中的特征向量分解，建立 了两类训练样本的概率密度估计。对于同尺度和方位的被测物样本，其分布假设为高斯 分布，而其似然估计可表示为样本空间概率分布与其正交补空间概率分布的乘积，或者 为d f f s 距离与d i f s 距离之和。 这种方法所存在的缺点主要是：只能在图像中检测垂直正面的人脸；用于建立人脸 模型和训练神经网络的样本数量太大；进行全局搜索的时间较长。但是，其提出的通过 建立标准人脸模型来检测人脸的思想启发了以后的研究。 ( 2 ) 基于神经网络的方法 基于神经网络的方法是充分利用神经网络对于人脸这类复杂、难以显式描述的模 式，可以将其模式隐含在它的结构和权值之中这一优势。通过神经网络的学习能力和分 类能力，可以对人脸样本集和非人脸样本集进行学习以产生分类器，从而达到人脸检测 目的。 利用神经网络进行人脸检测的方法很多，有代表性的工作是s u n g 和p o g g i o u 创利用 前向多层神经网络来进行人脸检测和c m u 的r o w l e y 等提出的具有旋转不变性的基于神 经网络的人脸检测方法。s u n g 和p o g g i o 提出的人脸检测系统由两部分组成：一个人脸 分布模型和一个神经网络分类器。他们首先用1 9 1 9 像素大小的样本图像建立标准的垂 直正面人脸分布模型，并采用大量的人脸样本和非人脸样本训练神经网络分类器。为了 能够判断新的图像窗口中是否包含人脸，首先将该图像窗口归一化成1 9 1 9 像素的大小， 然后计算被测窗口和已经建立的人脸分布模型之间的差异测度，将结果提供给神经网 络，根据其输出判断该窗口是否包含人脸。s u n g 和p o g g i o 提出的神经网络的方法只能 4 中国民航大学硕士学位论文 检测图像中垂直正面人脸，但是，他们提出的通过建立标准人脸模型来检测人脸的思想 以及用b o o t s t r a p 算法来获取具有代表性的非人脸样本的方法启发了以后的研究。 r o w l e y n 等提出方法使用了多个神经网络检测多姿态的人脸，对正面端正人脸和正 面旋转人脸的检测单独进行了研究。对于正面端正的人脸，仅使用了正面人脸检测a n n ， 它是一种三层b p 网络：输入层对应于2 0 * 2 0 像素的图像区域，隐层节点分别对应不同 人脸区域的若干组，与输入层部分连接，a n n 输出1 和一1 表示这个区域是否为人脸。对 于正面旋转人脸的检测使用了旋转角度检测器以及正面人脸检测a n n ，并使用相似的多 a n n 仲裁方法降低错误报警。r o w l e y 提出的这种方法充分发挥了神经网络的学习优势， 检测正确率高，他们的工作与s u n g 和p o g g i o 不同之处在于：r o w l e y 等提出的神经网络 直接用于判断图像窗口是否包含人脸，而s u n g 等实现的神经网络并不直接作用于原图 像，而是把被测图像与人脸模型之间的距离向量作为网络的输入，其实现要比r o w l e y 等的神经网络简单。 ( 3 ) 基于支持向量机的方法 s u v 是由v a p n i k 提出的基于结构风险最小化原理的统计学习理论，用于分类与回归 问题，它比基于经验风险最小化的人工神经网络方法具有更好的泛化能力。为了解决小 样本的学习问题，o s u n a 等n 别首先将支持向量机引入人脸检测中。基于s v m 的人脸检测 系统由两部分构成，一个部分是分类器的学习，另一个是检测部分的实现。o s u n a 的方 法是直接训练非线性s u v 分类器完成人脸与非人脸的分类。 3 、基于特征的方法 基于特征的人脸检测方法是通过检测出不同的人脸面部特征的位置，然后根据它们 之间的空间几何关系来定位人脸。这种方法的依据n 3 1 是：人们可以毫不费力地检测出不 同姿态和光照下的人脸和物体，因此一定存在一些在这些变化条件下的不变特征和特 性。该方法面临的主要问题是，由于图像噪声等因素的影响，造成人脸特征不明显，使 得根据特征的算法失效，从而产生拒识或误识。 4 、基于模板的人脸检测方法 早期的基于模板匹配的方法是这样做的：首先建立一个标准的人脸模板，由包含局 部人脸特征的予模板构成，然后对一幅输入图像进行全局搜索，对应不用尺度大小的图 像窗口，计算与标准人脸模板中不同部分的相关系数，通过预先设置的阈值来判断该图 像窗口中是否包含人脸。p o g g i o n 4 1 利用基于模板的方法来定位眼睛的位置，他们把标准 的眼睛模板调整为5 个不同的尺寸，然后在输入图像中找寻眼睛。这种简单模板匹配的 方法易于实现，但是也存在着缺点：图像噪声对检测结果影响很大，因此需要对输入图 像做适当的预处理。标准模板的大小是人为设定的，因此不能动态检测眼睛的位置。 y u ll i e 等人提出基于弹性模板的方法n5 1 ，用于人脸特征的抽取。弹性模板n 刚是由一 个根据被测物体形状而设定的参数化的可调模板和与之相应的能量函数所构成，能量函 数要根据图像的灰度信息、被测物体轮廓等先验知识来设计。当用弹性模板进行人脸检 测时，首先，将可调模板在待测图像中移动，并动态地调整其参数，计算能量函数。当 中国民航大学硕士学位论文 能量函数到达最小值时，根据其位置和参数所决定的可调模板形状应该达到与人脸形状 的最佳拟合，这样就检测到了一幅人脸。这种方法的优点在于，由于使用的弹性模板可 调，能够检测不同大小、具有不同偏转角度的物体。但是其缺点是检测前必须根据待测 物体的形状来设计弹性模板的轮廓，否则会影响收敛的结果；当对图像进行全局搜索时， 由于要动态地调整参数和计算能量函数，计算时间过大。 1 3 本文的主要工作和结构安排 随着彩色图像的普及应用，用肤色特征进行人脸检测的研究越来越多。从目前人脸 检测发展来看，现在研究者们也倾向于开始利用将肤色信息与人脸的几个或灰度信息融 合的多层级联检测器的思想来解决人脸检测与定位问题。通过选取人脸的不同特征，研 究这些特征独立应用在人脸检测中所存在的优缺点，并分析如何有效利用，合理安排在 整个检测算法中的不同阶段，达到多种特征信息的优化组合。 在这一思想的指导下构建本文算法的框架，主要工作分为两大模块，前一部分介绍 基于肤色信息的图像分割预处理，后一部分研究了基于神经网络的人脸检测验证以及人 脸主要器官的定位，并着重研究了数学形态学击中击不中变换在目标特征提取、识别中 的改进作用。提出了一种包含了肤色检测过程，以形态学击中击不中变换和神经网络提 取特征并以神经网络作为分类器的人脸检测系统。 论文主要内容分为五章： 第一章绪论，首先阐述了人脸检测的研究背景、意义和应用价值，介绍了人脸检测 领域国内外研究现状，并对现有的人脸检测研究方法进行分类，讨论优缺点。 第二章讨论了人脸检测算法的总体设计思想和总体框架，并介绍了人脸检测算法中 的形态学和人工神经网络的基本理论。 第三章介绍了关于色彩的一些基本原理和常见的几种色彩模型。根据收集的人脸皮 肤像素统计出人脸肤色统计特性，建立一个肤色检测模型用来对待测图像进行粗检测， 将可能的人脸区域分割出来，作为人脸候选区域。 第四章研究人脸候选区域的验证和人脸主要器官的嘴和眼唇的提取定位。肤色分割 处理后，利用神经网络对前面得到的人脸候选区域进行人脸验证。为了改善算法的检测 性能，增加数学形态学击中击不中变换环节以验证有效性。 第五章总结本文的研究内容，并对进一步的研究工作进行展望。 6 中国民航大学硕士学位论文 第二章算法设计思想和算法中主要的基本理论 本章讨论了人脸检测算法的总体设计思想和总体框架。由于在算法中研究了数学形 态学击中击不中变换( h m t ) 对改善检测性能的有效性，并构建了神经网络分类器进行 人脸验证，以及根据人脸中眼睛和嘴唇的亮度和色度信息从彩色图像中将其定位时，进 行的亮度映射也是基于数学形态学知识，这里介绍了人脸检测中有关数学形态学和神经 网络的基本理论。 2 1 算法的目标和设计思想 本文研究的对像为彩色静止图像，算法的目标是通过实验研究肤色的分布模型，变 彩色图像成为单一通道的灰度图像，设计一种肤色滤波器，将非肤色区域尽可能被排除 掉，为下一步人脸验证建立候选区域，并通过神经网络分类器的构造进一步验证人脸区 域，最后在验证的人脸区域中定位出人脸器官。图2 1 是整个人脸检测算法的框架，由 肤色检测和神经网络验证两大模块组成。 图2 1 整个人脸检测算法框架 原有的人脸检测算法，主要是针对灰度图像中的信息，运算量较大，再加之没有任 何先验知识，通常是在全图像范围内进行穷举搜索，搜索的矩形框尺度变化很大，因而 造成人脸检测时间长、效率低。所以增加肤色粗检测，利用肤色判断大大减少搜索空间。 根据多数研究者的研究结果，首先选择合适的肤色模型，且研究表明y c b c r 色彩空 间在表征肤色特征方面有独特的优势，对光线明暗变化较其他色彩空间干扰不敏感，因 此选择y c b c r 色彩空间的高斯模型作为表示肤色特征进行肤色检测的基本工具。 人脸肤色在人脸众多特征是显著的且不受几何变换，如缩放、旋转等的影响，但由 中国民航大学硕士学位论文 于背景复杂性和光照等影响，身体其他部位的皮肤颜色，服饰以及其他接近肤色的物体 的干扰，肤色检测存在一定的局限性，只能作为本文人脸检测的预处理过程，若只是依 靠肤色信息是无法正确检测到人脸的，会导致检测所得的矩形区域过多或是不够精细， 因此对肤色检测进行之后，还需进一步验证人脸是否存在，这也是本文要研究的重点。接 下来考虑将神经网络应用于对肤色粗检测所建立的搜索区进一步验证，从而较为准确地 检测出人脸区域。这一部分研究时，利用形态击中击不中变换( h m t ) 的两个特性，即 其击中和击不中算子确定图像特性时有效提取图像特征以及其灰度值改变独立性的性 质减少了因光照影响和图像采集装置参数改变而导致的图像特性的改变，所以在对人脸 候选区域简单预处理后尝试研究增加形态学击中击不中变换，处理后作为神经网络的输 入。最后对于人脸这类复杂、难以显式描述的检测模式，基于神经网络的方法具有独特 的优势，把人脸模式的统计特性隐含在神经网络的结构和参数之中，通过对大量样本的 训练，构建一个神经网络分类器进行检测来完成验证任务。 在实际应用中，除了需要知道人脸的大小位置，还需要人脸各器官的位置和分布。 人脸局部特征的检测在人脸识别、验证和建模中都具有重要的意义，因为眼睛、鼻子和 嘴唇等特征集中了人脸的大部分信息，对于人脸建模来说，不仅要检测出这些特征，而 且要准确加以定位，因此最后提取和定位出人脸特征主要器官眼睛和嘴。 2 2 人脸检测处理技术中的基本理论 2 2 1 数学形态学 数学形态学是一门建立在严格数学理论基础上的学科n 7 。2 ，其基本思想和方法对图 像处理的理论和技术产生了重大的影响。许多非常成功的理论和视觉检测系统都采用了 数学形态学算法作为其理论基础或组成部分。事实上，数学形态学已经构成一种新型的 图像处理方法和理论，形态图像处理已成为计算机数字图像处理的一个主要研究领域。 这门学科在计算机文字识别、计算机显微图像分析、医学图像处理、工业检测、计算机 视觉等方面都取得许多成功的应用。目前，有关形态学的技术和应用正在不断的发展和 扩大。 数学形态学( m a t h e m a t i c a lm o r p h o l o g y ) 是六十年代中期由法国数学家g m a t h e r o n 和j s e r r a 创立的。g m a t h e r o n 于1 9 7 5 年出版的( r a n d o ms e t sa n di n t e g r a lg e o m e t r y 一书中严谨而详尽地论述了随机集合论和积分几何，为数学形态学奠定了理论基础。到 了1 9 8 2 年，j s e r r a 出版的专著i m a g ea n a l y s i sa n dm a t h e m a t i c a lm o r p h o l o g y 是数学形态学发展的一个里程碑。它给出了图像处理的数学形态学方法经典描述，表明 数学形态学在理论上日趋成熟，在应用上日益广泛1 。 数学形态学的基础是集合论方法，分析的是图像对象的几何结构，这表示可以是分 析对象结构的宏观性质，也可以是微观性质。数学形态学把集合论方法用于图像分析， 中国民航大学硕士学位论文 是对物体几何形状定量描述的有效手段。特别是它与图像处理技术的融合，已发展成为 图像处理学科的一个新分支一图像形态学。首先，数学形态学把一幅图像作为一个运算 对象的整体来处理，而不必考虑其局部细节，不必对其中每个像素点做出定义。其次， 数学形态学能提供一种用来描述图像空间组成的相关数学体系。因此，数学形态学可用 来分析图像对象的几何特征和结构形态，是图像分析与处理的一种非常重要的工具。并 在图像处理、模式识别和计算机视觉等领域都获得了重要应用。这里，我们把数学形态 学应用于数字图像的边缘提取的基础上，更加深入地研究了数学形态学在图像处理技术 方面的结合，并对形态滤波方法进行改进，使两者结合更加紧密，所以对图像边缘提取 的效果以及图像边缘保持都有较大的改善。可以说是真正地给数学形态学应用领域增加 一个新成员。 2 2 1 1 二值形态学和灰度形态学 数学形态学是一种非线性图像( 信号) 处理和分析的工具，它具有一套完整的理论、 方法和算法体系。它用一套独特的变换或运算来描述图像的基本特征或基本结构，亦即 图像中各像素或各部分之间的几何关系。 为了确定一幅图像的结构，必须逐个地考察图像各部分间的关系，并进行检验，最 后得到图像各部分之间关系的集合。因此，我们需要设计一种收集信息的“探针” ( p r o b e ) ，数学形态学中称其为“结构元素 ( s t r u c t u r i n ge l e m e n t ) 。在图像中不断移 动结构元素，通过结构元素与图像对象的相互作用( 变换) ，便可以考察图像各部分间的 关系，并确定其各种几何参数。这一过程可用图2 - 2 来描述。其中集合x 代表图像对象， 集合b 为结构元素，y 表示某种形态变换，m 为某一测量关系。 图2 2 数学形态学方法 不难看出，形态变换的性能与结构元素和变换的类型有关。一般结构元素曰( 形状、 尺寸等) 应根据不同任务来选取。根据研究对象的属性，数学形态学又分为二值形态学 和灰度形态学。 1 、二值形态学 二值形态学研究的对象是二值图像( 黑白图像) 。所谓二值图像是指灰度只取0 和l 两个值的图像，它通常表示为，l 维欧氏空间e ”木上的集合。习惯上认为取值为1 的点集x + 刀维欧氏( e u c l i d 啪) 空间e “分为连续空间r 4 和数字( 网格) 空间z “两种形式。本节主要采用的是尺” 9 中国民航大学硕七学位论文 对应于景物中的物体，而取值为0 的点集x 。构成背景。即： x = z ：厂( z ) = 1 ，z = g ，y ) r 2 ) ( 2 1 ) x 。= z ：厂( z ) = o ，z = ( 石，y ) e r 2 ) ( 2 2 ) 其中厂为集合x 的特征函数。 二值形态学中有四种基本变换，包括膨胀、腐蚀、开运算和闭运算。在有些文献中 它们的定义形式不尽相同，这里我们采用文献瞳3 1 中的定义形式。 ( 1 ) 膨胀和腐蚀运算的定义 膨胀( d i l a t i o n ) 和腐蚀( e r o s i o n ) 运算是建立在集合的m i n k o w s k i 和与差基础上的， 它们是所有复合形态变换或形态分析的基础。 设x 表示一幅二值图像，曰为结构元素，b 关于原点的对称集合b = 一b ：6 b ) ， 则x 关于召的膨胀和腐蚀分别定义为x 与的m i n k o w s k i 和与差，即 x o = z e ”：芝n x = u ，赶6 ( 2 3 ) 、7 b e b x b 52 z e ”：b zc x 2 q 五a ( 2 4 ) 其中表示空集。 膨胀和腐蚀的几何意义可用图2 - 3 来说明。粗略地讲，当结构元素b 沿图像x 的外 边缘移动时，结构元素中心移动轨迹所包围的区域就是膨胀结果石0 ；反之，当结构 元素曰沿图像x 的内边缘移动时，结构元素中心移动轨迹所包围的区域就是腐蚀结果 x o 。所以，膨胀具有扩展图像功能，而腐蚀具有收缩图像功能。 今丑 0日x 妁丑 图2 - 3 膨胀与腐蚀示意图 ( 2 ) 形态开和闭运算的定义 形态开( o p e n i n g ) 、闭( c l o s i n g ) 运算是膨胀和腐蚀的串行复合运算，它们本身又是 最基本的形态滤波器，通常又用来构造其它复杂的形态滤波器。 设x 表示一幅二值图像，曰为结构元素。则x 关于b 的形态开和闭运算分别定义为 1 0 中国民航大学硕：t 学位论文 x o b = ( x o b 5 ) o b = u 最 ( 2 5 ) 、7 以c x 。 x b 2 ( x 。) 2 尻曼。( 最) 。 ( 2 6 ) 这里符号。和分别表示开运算和闭运算。 形态开、闭运算对图像具有平滑功能，如图2 - 4 所示。其中开运算可以清除x 的边 缘毛刺及孤立斑点，闭运算可以填补x 的漏洞和裂缝。 x o b 图2 - 4 形态开、闭运算的平滑功能 2 、灰度形态学 灰度( 多值) 形态学是二值形态学的推广。它研究的主要对象是灰度图像，一般用定 义在欧氏空间上的一个实值函数来描述。以往的图像处理理论就是直接建立在这一 表象基础上的。但对于形态学而言，由于它是基于集合运算的，这一表象不能直接使用。 因此，欲建立灰度图像上的形态学理论，必须将函数转化为集合来描述瞳钔。集合的关系 见下图： l ，( 力 锄工 黝纷绦 图2 - 5 集合】，的伞 图2 - 6 函数厂( x ) 的伞 图2 7 集合x 的顶 利用伞和顶变换，我们可以建立灰度形态变换。 i q 茛f ( x ) 和g ( x ) 分别为定义在d cr ”和gc r ”上的两个函数，g ( 石) 关于原点的对 称函数9 5 ( x ) = g ( - x ) 。这里厂( 工) 为输入函数，g ( x ) 为结构函数。厂( x ) 关于g ( x ) 的膨 胀和腐蚀运算定义为 厂。g 。 ( x ) = 丁 u ( 厂) 。u ( 9 5 ) = ，。s 研u p q f ( y ) + g ( y 一石) ) ( 2 7 ) f 0 9 5 ( 石) = 丁 u ( 厂) o u ( 9 5 ) = y 。i 。n n f g 。 厂( y ) 一g ( y 一工) ) ( 2 8 ) 这里符号s u p 和i n f 分别表示函数的极大和极小运算。 口命 中固民航大学硕士学位论文 f ( x ) 关于g ( x ) 的形态开和闭运算定义为 ( f 。g ) ( x ) = l ( f 0 9 5 ) o gix ) ( 2 9 ) ( f g ) ( x ) = l ( 厂。旷) o g ( 2 1 0 ) 一般称上述形态变换为函数关于结构函数变换。特例：当g ( x ) = o ，x g 时，g ( x ) 称 为扁平结构元素( f l a ts t r u c t u r i n ge l e m e n t ) 。 上述变换称为函数关于结构集合的形态变换。不难看出，采用扁平结构元素的灰度 形态变换实际上就是图像在滑动窗中的极值运算，这使得变换更容易快速实现。因此， 这种变换在形态学理论和应用中占有极其重要的地位。灰度形态学是二值形态学的拓 广，反过来二值形态学可以看作为灰度形态学的一个特例。灰度形态变换与二值形态变 换具有相似的性质，这里不再赘述，可参阅有关文献心5 q 。 2 2 1 2 击中击不中变换( h m t ) 在图像分析中，同时探测图像的内部和外部，而不仪仪局限于探测图像的内部或图 像的外部，对于研究图像中物体与背景之间的关系，往往会得到很好的结果。击中击不 中变换( h m t ) 即可达到此目的。形态击中击不中变换是一种常用于形状检测的形态学 工具，在解决类似于目标识别口羽，细化等问题时，h m t 已被证实是一种非常有效的方法。 击中击不中变换使用击中和击不中两个结构元素。我们取一组击中击不中结构元素 对( h ，m ) ，其中日即是击中算子，用来探测图像内部结构，相应的，m 即是击不中 算子，用来探测图像的外部结构，以固代表击中击不中变换。则用该结构元素对对灰度 图像厂的击中击不中变换定义为 厂 ( h ，m ) = 脚一 m = ( f h ) - ( f m ) ( 2 1 1 ) ( a ) 击中击不中结构元素对( b ) 原图像 1 2 中国民航大学硕十学位论文 ( c ) 用日对图像内部进行腐蚀的结果( d ) 用m 对图像外部进行腐蚀的结果 m l 】 ( e ) 击中击不中变换最终结果 图2 - 8 二值击中击不中变换示意图 为了简明起见，可以以二值击中击不中变换来说明其探测图像结构的过程，如图2 - 8 所示。 对于灰度击中击不中变换，w o n 口3 1 同样利用伞和顶变换实现了将二值形态学运算延 展到灰度形态学，并通过灰度腐蚀和膨胀对灰度形态学实现了一种典型的灰度击中击不 中变换定义形式，最终的灰度击中击不中变换如下公式： 厂o ( 办，聊) = ( f o h ) 一( 0 聊) ( 2 1 2 ) 为了便于我们后面的运算，后一项进一步可以表达为： ( 厂o m ) ( x ) _ 舢m a x 厂( z ) 一( m ) 妁j = 舢m a x 厂( z ) + ( m ) ：( 一z ) ) 5 删m a m x 】 北) 一( m ) ，( z ) ) ( 2 1 3 ) h l d t 可用于图像目标识别m 1 等方面。h m t 通过同时探测图像内部和外部来确定图像 的特性。在数学形态学的发展过程中，曾起到过非常重要的作用。利用h m t 识别目标的 方法从理论上讲，在无噪声的条件下给定n 个不同的物体，则可利用n 个结构元素对来 识别它们。每个结构元素对中的第一个元素与所要识别物体的形状一