（电力电子与电力传动专业论文）肤色和弹性模板在人脸检测系统中的应用研究.pdf

西南交通大学硕士研究生学位论文 第1i 页 a b s t r a c t h u m a nf a c ed e t e c t i o nj sf oi o c a t el h ef a c e sa n dd e t e r m i n et h e i rs i z e p o s i t i o na n da m o u n ti n a ni m a g e a st h ef i r s ts t e po fp e r s o ni d e n t i f i c a t i o n 、 h u ma n t o m p u t e ri n t e r f a c e 、i n t e l l i g e n t s c e n es u p e r v i s i o ns y s t e m ，f a c e d e t e c t i o nh a sb e e np a i dmu c ha t t e n t i o na n db e c a m eam e r ya c t i v er e s e a r e h b r a n c hi np a t t e mr e c o g n i t i o na n dc o m p u t e rv i s i o na p p l i c a t i o na r e a s w i t hi t s s i g n i f i c a n tv a l u ei nr e c e n ty e a r s i nl h i st h e s i s af a c ed e t e c t i o ns y s t e mb a s e do nc e r t a i np r o j e c t - sb u i l tt o d e t e c ts i n g l ef a c ei nc o l o ri m a g ew i t hs i m p l eb a c k g r o u n d w h i c h i n t e g r a t e s t h es k i nc o l o r s e g m e n t a t i o n 。f a c et e m p l a t em a t c h i n g a n d r e g i o n o p t i m i z a t i o n i na d d i t i o n t h ed e t e c t i o nf om u l t i p l ef a c e si n c o l o ri m a g ew i t h c o m p l e xb a c k g r o u n di sd i s c u s s e dt o o t h em a i nc o n t r i b u u o n sa r ea sf o l l o w s ： f ”s l i y w ei n t r o d u c et h ef a c ed e t e c t i o n sb a c k g r o u n da n ds t a t u si nq u o r e s u m p t i v e l y t h e m a i nc l a s s i f i c a t i o no fd e l e c t i o nm e t h o di se n u m e r a t e d t o o h u m a nf a c ed e t e c t i o np r o b l e mh a sb e e ni n t e n s i v e l yr e s e a r c h e da sa n i n d e p e n d e n tp r o b l e mb e c a u s e o fi t si m p o r t a n c ei nm a n ya p p l i c a t i v ef i e l d s t h e nt h el h e s i sd i s c u s st h es k i n sp e r f o r m a n c e l nd i f f e r e n c e c h r o m i n a n c es p a c ej nt h ed i s c u s s i o no fs k i n c o l o rm o d e l t h ey c b c r i n f o r m a t i o ni su s e dt oc o n s t r u c tt h eg a u s s i a nm o d e lf o rs k i nc o l o r a n dg e t t h ef i k e l yr e g i o no ff a c e t h e ns k i nc o l o rs e g m e n t a t i o ni sc a r r yo u tw i t ht h e m e t h o do fd y n a m i ct h r e s h o l do p t i m i z i n ga c c o r d i n gt ot h ef i s h e rc r i t e r i o n s o m em e t h o d sa r eu s e dt of i l t r a t e t h es k i nr e g i o n sa c c o r d i n gt o m o r p h o l o g i c a la n dg e n e r a ik n o w l e d g e o fh u m a nf a c e t h ee r r o rr e g i o n sc a nb e e l i m i n a t e da n dl h ec a n d i d a t ef a c ea r e a sc a nb eo b t a i n e d f i n a l l y 。t h ea v e r a g ef a c et e m p l a t e a n df l e x i b l et e m p l a t em a t c h i n g a r eu s e dt ov e d f yw h e t h e rl h ep r o b a b l ef a c ea r e ai saf a c el n d e e d 。a n dt h e f i n a id e t e c t i o nr e s u l tw i hb eo b t a i n e d t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h es y s t e mi sf e a s i b l ea n de f f e c t i v e k e y w o r d s ：h u m a nf a c ed e t e c t i o n ，s k i nc o l o rm o d e l ，s k i nc o l o rs e g m e n t a t i o n d y n a m i ct h r e s h o l d ，t e m p l a t em a t c h i n g 西南交通大学硕士研究生学位论文第l 页 第1 章绪论 1 1 引言 人脸检测( f a c ed e t e c t i o n ) ，是指在既有的图像中判断是否存在人脸并得 到人脸的数目、位置、大小等相关信息的参数化描述的过程。人脸检测作为 人脸信息处理中的一项关键技术，近年来已经在模式识别和计算机视觉领域 受到普遍重视，相关的研究十分活跃。 人脸检测的问题源于人脸识别( f a c er e c o g n i t i o n ) 。人脸识别是随着模 式识别和生物特征识别技术发展起来的对个体进行辨识的技术。生物特征是 理想的身份验证手段，人脸是个体身份的直接表征，相对于指纹、语音、虹 膜等标识的识别，具有自然、直接、蕴涵的模式特征丰富、不易被盗用假冒、 易为用户接受等特点。人脸检测和识别技术的研究自上世纪6 0 年代至今经过 数十年的发展已逐步走向成熟，研究者对人脸图像研究工作倾注了大量的精 力和热情。高性能计算机和模式识别与人工智能技术的发展以及安全、商业 等领域的迫切需求更促使利用人脸图像进行自动的人脸识别和身份验证的研 究和应用得到空前的重视“3 。众多研究机构如m i t ( m a s s a c h u s e t t si n s t i t u t e o f t c c h n o l o g y ) u s c c u l n i v c r s i t yo fs o u 也c mc a l i f o r n i a ) 等都在这个领域推出了实验 系统，国内部分科研机构也进行了相关领域的大量研究工作。一些商用人脸 识别系统已经出现，如m i r o s 公司开发的t r u e f a c e ，v i s i o n v i c s 公司开发的 f a c e - i t 等“。之所以人脸图像身份验证技术受到如此重视，是因为它具有广 泛的应用领域和光明的应用前景。具体来讲有： 安全防范。一些重要部门( 政府、军队、机场、银行等要地) 的 进出，计算机网络中重要信息的提取和存储。需要可靠的人身鉴 别。 身份验证。利用人脸识别和验证技术可以确认身份证、护照、驾 驶执照等各种证件的真假，鉴别某人身份的合法性，在公安、海 关、交通、金融以及一些商用领域可以得到广泛应用。 视觉监控、视频检索、视频通信、人机交互等领域的重要应用价 西南交通大学硕士研究生学位论文 第2 页 值。视频应用领域是一个新兴并蓬勃发展的研究领域，视频图像 与一般图像相比具有一定的特殊性和复杂性，这就决定了专门基 于视频图像序列的人脸检测和识别技术的研究具有重要的实用价 值。 1 2 人脸检测技术的研究意义 人脸识别至少包含两个方面的任务：各种背景下人脸的定位和分割和人 脸的识别瞄1 。因此入脸图像识别和验证和其他方面应用的基础和前提是人脸 检测，如图1 - 1 所示，人脸检测是人脸识别等相关系统中重要内容。 图1 - 1 人脸图像系统的基本内容 只有通过人脸检测确定输入图像中是否存在人脸，并将人脸区域分割提 取出来，才能进一步获取脸部信息并做出描述，进而完成对人脸特征的分析 和理解，因此人脸检测的结果直接影响着人脸识别的性能。建立准确、稳定、 快速的人脸检测系统，是模式识别和计算机视觉领域比较困难的问题，存在很 多方面的挑战：( 1 ) 人脸由于外貌、表情、肤色等的不同，具有模式可变性： ( 2 ) 眼镜、胡须、饰物、伤痕等附属物的大量存在对人脸检测有非常大的影响： ( 3 ) 作为三维物体的人脸的影响不可避免的受到光照和产生的阴影的影响；( 4 ) 人脸的姿态变化，正面、侧面、旋转、俯仰等动作下对人脸特征的影响；( 5 ) 环境和设备造成的图像质量不稳定，增加了人脸检测的难度。这一系列问题 西南交通大学硕士研究生学位论文 第3 页 使得人脸检测开始作为一个独立的课题受到研究者的重视。今天人脸检测 的应用背景已经超出了单纯的人脸识别系统的范畴，在基于内容的检索、数 字视频处理、视觉监测等方面都有着重要的应用价值。同时，人脸检测研究 中涉及到了模式识别、数字图像处理、计算机视觉、人体科学等多方面的内 容，具有重要的学术价值。 1 3 人脸检测研究现状和主要方法简介h 印 在一幅图像中寻找人脸的位置，对于人的眼睛来说是一件非常简单的事 情，然而要让计算机具有人眼的这一功能却很难达到理想的效果。最早的人 脸定位工作起于上个世纪6 0 年代，当时s a k a i ”。等人提出了一种基于模板的 方法。在这个系统中使用了人脸的几个主要特征( 眼、口、上额线等) 的模 板来代替人脸，把输入图像的边缘图与各摸板匹配并根据匹配度来确定人脸 的位置。经过数十年的发展，人脸检测技术的研究逐步深入，研究者针对不 同条件和环境下的人脸检测问题，提出了相当多的算法和技术方案。每年都 有大量的相关论文在各种学术刊物上发表，如i e e e 的f g ( i e e ei n t e r n a t i o n a l c o n f e r e n c eo na u t o m a t i cf a c ea n dg e s t u r er e c o g n i t i o n ) 、i c i p ( i n t e r n a t i o n a l c o n f e r e n c eo ni m a g ep r o c e s s i n g ) 等重要国际会议上每年都有大量关于人脸检 测的论文出现。一些研究机构已经开始将检测技术的实用化作为科研的重点 工作进行。 1 3 1 人脸检测问题的分类 人脸检测问题所包含的内容十分广泛，有多种分类方法，图1 2 从不同 的角度对此进行了大致的分类。 西南交通大学硕士研究生学位论文 第4 页 分类依据类别 动态图像( 即视频序 静止图像( 包括数字图列，包括工作台前的人 图像 图像像、数码相机拍摄到的图脸序列、监控录像、影 来源片等，目前主要考虑的是视资料等，往往与人脸 类型 算法的适应性和鲁棒性)跟踪问题联系在一起， 对速度的要求较大) 色彩信息彩色灰度 镜头类型头肩部图像半身全身图像 图像 正面( 包括端正及平面内侧面( 包括俯仰、侧身 人脸姿态 前景 旋转)和旋转) 人脸数目单人多入或未知 简单背景( 背景单调，背 复杂背景( 背景的类型 图像背景 景特征被严格约束，在改 和特征不受约束，对人 条件下利用人脸的肤色、 脸的肤色、纹理、姿态 复杂程度等特征存在多种干扰， 边缘、运动等特征可以较 准确的检测出入脸) 必须利用较多的特征 才能检测出人脸) 图1 2 人脸检测问题的大致分类 1 3 2 人脸检测问题的主要方法及特点 人脸检测的目的在于判断一幅给定的图像( 或图像序列) 中是否存在人脸， 如果存在，则确定其位置和空间分布。人脸检测的对象广义上讲不仅是整张 人脸，还包括眼睛、鼻子等面部器官，从它们的特征所反映出的信息是进行 人脸检测的依据，因此选择合适的模式特征是人脸检测问题研究的关键性问 题之一。总的来说人脸的主要特征可以分为肤色特征和灰度特征两种。在这 两种特征的基础上产生了很多不同的人脸检测的方法，这里对常用的一些方 西南交通大学硕士研究生学位论文第5 页 法进行了总结。 图1 - 3 人脸检测的主要方法分类 1 基于颜色( 肤色) 信息的人脸检测方法 彩色图像比灰度图像能够提供更多的信息，由于人的皮肤颜色具有一定 的稳定性和均匀性，因为肤色不依赖面部的细节特征，对于旋转、表情等变 化都能适用。因此肤色特征是人脸检测的重要特征，可以使用彩色分割的方 法来分割图像中的人脸。 对于彩色图像，在确定肤色模型之后就可以进行肤色检测。在检测出肤 色像素后可以根据它们在色度和空间上的特征分割出可能的人脸区域同时利 用区域的几何特征等知识进行验证。在些情况下仅根据肤色像素的聚类特 性即可完成肤色区域分割。 d o u g l a s c a l 7 】等将肤色转换到y c b c r 空闯。通过对阈值的分析后进行人 脸区域分割。 b u bc 8 1 定义了归一化的r g b ，即用r g b 的和分别去除这三个分量，得 到归一化的颜色数值。然后用3 0 个人的人脸颜色进行训练以得出人脸的颜 色分布，再对图像中的每一个像素点判断是否为人脸上的点。并对得出的各 西南交通大学硕士研究生学位论文第6 页 个连通区域做大小和形状的判断，排除噪声块和人手等其它人体部位的干扰， 最后剩下的区域为人脸。 s a b e r ”将r g b 转化为y e s ，其中y 表示光照，e 和s 表示色彩， 这样可以减少颜色对光照的敏感性。假设人脸颜色中的e s 成分服从二维高 斯分布，先用概率阈值判断图像中的点的归属，得到一个颜色的二值图。然 后利用邻域点的连续关系，将人脸看作是一个g i b b s 随机场通过场中相邻 点的相互作用填补人脸区域中的空白部分，最后得到平滑的人脸区域。 y a n g “等将r g b 转化为y u v ，假设人脸颜色中的u 、v 分量服从二 维高斯分布，然后采用多尺度分割的方法来提取图像中的所有人脸候选区域， 最后通过形状的判断来最终确定人脸的区域。这种方法能够检测图像中的多 个人脸。b i r c h f l e l d “不仅考虑了人脸的颜色，还考虑了头发等其它部分的颜 色，他提出了利用颜色直方图来表示人脸，表征颜色的三根轴分别是b g 、 g i r 和r + b + g 。假设人脸的轮廓为椭圆形，由椭圆中的区域颜色和边缘强 度来共同决定椭圆中是否存在人脸信息。 针对彩色图像采用基于肤色信息的检测方法，其优点是速度快且对姿态 适应性强，但是难点是对类似肤色的非人脸区域的区分会受到很大的限制， 因此适用于特定环境的入脸检测。 2 基于统计模型的人脸检测方法 由于人脸图像的复杂性，显式的描述人脸特征具有一定困难，使用统计 模型的方法，将人脸区域看作一类模式，即模扳特征，把人脸检测问题转化 为模式识别的二分类问题，使用大量的“入脸”与“菲人脸”样本训练、构 造分类器，通过判别图像中所有可能区域属于某类模式的方法实现人脸的检 测。统计识别方法可分为：基于特征空间的方法：基于人工神经网络的方法； 基于支持向量机( s v m ，s u p p o r tv e c t o rm a c h i n e s ) 的方法 基于概率模型的 方法等。 ( 1 ) 基于特征空间的方法 此类方法将人脸区域图像变换到某一特征空间，根据其在特征空间中的 分布规律划分“人脸”和“非人脸”两类模式。 西南交通大学硕士研究生学位论文第7 页 主分量分析( p c a ，p r i n c i p a l - - - - - - c o m p o n e n ta n a l y s i s ) 是一种常用的方 法。它根据图像的统计特征进行正交变换，以消除原有向量各个分量之间的 相关性。变换得到对应特征值依次递减的特征向量，即特征脸( e i g e n f a c e ) 方法1 “。 特征脸空间的投影聚集比较密集，因此利用前若干张特征脸将人脸向量 投影到主元予空间f 和与它正交的补空间f ，相应距离度量分别称为d i f s ( d i s t a n c ei nf e a t u r es p a c e ) 和d f f s ( d i s t a n c ef r o mf e a t u r es p a c e ) 。对人脸 检测问题，由于没有考虑“非人脸”样本的分布，需要同时使用d i f s 和d f f s 才能取得较好的效果。 s u n g “3 。等将样本经预处理后按行列顺序展开为样本向量进行主分量分 解。采用k 均值聚类方法在特征空间中建立6 个“人脸”簇( c l u s t e r s ) ，同 时建立包围“人脸”簇的6 个“非人脸”簇，以使两类模式的边界更加清晰。 并用“自举”( b o o t s t r a p ) 方法解决了非人脸样本选区的问题。 y a n g “等在混合线性子空间( m i x t u r e s o f l i n e a r s u b s p a c e s ) 中对“人脸” 和“非入脸”样本的分布进行建模，分别使用基于e m 算法的扩展f a 方法和 基于自组织映射( s o m ，s e l f - o r g a n i z i n gm a p ) 的f l d 方法构造检测器。 ( 2 ) 基于人工神经网络的方法 神经网络方法是把模式的统计特性隐含在它的结构和权值之中，对于人 脸这类复杂的、难以显示描述的模式，基于神经网络的方法具有独特的优势。 g b u r e l 和d c a r e l “在多分辨率分析的基础上采用多层感知器( m l p ， m u l t i l a y e rp e r c e p t i o n ) 进行人脸检测。j v i n c e n t “”等利用多个m l p 构成了分层人脸特征检测系统( h p f l s ，h i e r a r c h i c a lp e r c c p t r o nf e a t u r e l o c a t i o ns y s t e m ) ；类似地，p j u e l l 和r m a r s h “也提出了一种分层 的神经网络，包括子层的检测眼睛、嘴巴和鼻子的三个b p 网络以及父层检测 全脸的一个b p 网络。 o s u n a 和f r e u n d “等提出了基于多个约束生成模型( c g m ， c o n s t r a i n e dg e n e r a t i v em o d e l ) 的神经网络方法。他们的系统可以同时处理 灰度图像和彩色图像，并可用于检测侧面人脸。对于彩色图像要经过一个色 西南交通大学硕士研究生学位论文 第8 页 彩过滤器，去除大约6 0 以上的背景。检测过程分为两个阶段：第一阶段，所 有的图像经过预处理后由一个简单的神经网络进行初步检测；第二阶段是一 个模块化的系统，它由四个新型的神经网络c g m 构成，每个c g m 对应不同 的人脸偏转角度每幅被检测图像在c g m 输出层被重构，根据重构图像和原 图像的差异( 重构误差) 来判断是否包含人脸，取得了很好的实验效果。 ( 3 ) 基于支持向量机 支持向量机( s v m ) 是基于应用统计学理论“”的一种学习机器，其基本 思想是通过特定的非线性映射，将输入的矢量映射到特征空间中，并在这个 高维特征空间中构造最优分类超平面。 由于支持向量机基于机构风险最小化原理( s r m ，s t r u c t u r a lr i s k m i n i m i z a t i o np r i n c i p l e ) 统计学习理论。由于s v m 的训练需要求解计算相当 复杂的二次规划问题，所以s v m 对人脸研究的主要改进在于减少支撑向量的 数量和训练方法的改进。 o s u n a “等在s v m 的训练时使用了大量人脸样本和自举方法收集的非 人脸样本，并且使用逼近优化的方法降低支撑向量的数量；p l a t t “等提出了 s m o ( s e q u e n t i a l m i n i m a lo p t i m i z a t i o n ) 算法解决了s v m 训练困难的问题。 ( 4 ) 基于概率模型的方法 隐马尔可夫模型“( h m m ，h i d d e nm a r k o vm e d e l s ) 是一种用于描述信 号统计特性的概率模型，目前也被应用于人脸检测与识别的研究中。 n c f i a n “等人根据正面人脸由上到下各个区域( 头发、额头、双眼、鼻 子、嘴) 具有自然不变的顺序这一事实，使用一个包含五个状态的一维连续 h m m 加以表示。将头部图像按照这五个区域划分为互有重叠的条块，对各块 进行k l 变换，选取前若干个变换系数作为观测向量训练h m m 。n c f i a n 等 人还提出了基于嵌入式h 嘲的人脸检测方法。该方法同时考虑到人脸由左到 右各个特征的自然顺序，使用了二维h m m ，并且采用二维i ) c t 变换的系数作 为观察向量。 3 基于模板匹配的方法 建立并储存一些人脸模板作为标准，可以包括正面人脸或者单独的眼睛， 西南交通大学硕士研究生学位论文 第9 页 鼻子，嘴等局部区域，利用一些算法来计算待测图像区域与标准模板的相似 程度进而判断某一区域是否含有人脸。 s a k a l 哺。等人使用眼睛、鼻子、嘴和人脸轮廓等子模板建模，检测照片中 的正面人脸，每一个子模板按照线分割定义。基于最大梯度变化提取输入图 像的线，然后与子模板匹配。计算子图像和轮廓模板之间的相互关系去检测人 脸的候选区域，完成用其他子模板在候选区域的匹配。 c r a w 。”等人提出了一种基于正面人脸的形状模板( 也就是人脸的外形) 定 位方法，用s o b e l 滤波器提取边缘，将边缘组织在一起，根据几个约束条件去搜 索人脸模板。在头轮廓定位以后，用相同的过程以不同的尺度重复定位眼睛、 眼眉和嘴唇等特征。 g o v i n d a r a j u “”等人提出两个阶段的人脸检测方法，人脸模型根据边缘定 义的特征构成，这些特征描述了正面人脸的左边、发际和右边的曲线，人脸必 须是垂直、无遮挡和正面的。m i a o “”等人提出了用于人脸检测的层次模板匹 配方法。在第一阶段，为了处理旋转图像，输入图像从2 0 。一2 0 。旋转，每 次旋转5 。多分辨率图像层次形成和边缘提取使用l a p l a c i a n 操作符。人脸 模板通过六个人脸成分产生的边缘组成：两个眼眉、两只眼睛、一个鼻子和 一张嘴。最后应用启发式确定人脸的存在。实验结果表明在图像含有单个人 脸要比图像中含有多个人脸的结果好。 梁路宏“等使用了直接的平均脸模板匹配方法，其方法考虑到眼睛在人 类辨识人脸过程中的特殊作用，使用双眼模板首先进行粗筛选，然后使用不同 长宽比的人脸模板进行匹配，最后使用马赛克规则进行验证。周激流“”等全 新的人脸脸部轮廓提取算法，即运用先验模板及交替补偿机制的方法提取脸 部轮廓，实验证明其提出的特征提取算法高效且鲁棒性能好。康学雷“”等提 出了一种基于肤色区域和多种模板结合的人脸检测方法，该方法能在复杂背 景下很好的检测出人脸位置并不受人脸旋转或侧转的限制。 4 基于外观和轮廓的人脸检测方法 当人脸的背景比较简单时，人脸或者头部的轮廓就会十分清晰地出现在 边缘图像中，这时如果能够从边缘图像中把人脸轮廓提取出来就可以实现对 西南交通大学硕士研究生学位论文 第10 页 人脸的定位。 g o v i n d a r a j u “等将人脸的轮廓分为三段：头顶和两个脸颊，对于边缘图 像中的边缘片段，利用可能的组合知识进行判断，满足一定条件的三段片段 就构成了人脸的轮廓。s i r o h e y 利用c a n n y 边缘算予提取图像的边缘，然后 通过边缘连接算法将相关的边缘连接成一个整体。由于人脸的轮廓近似为一 个椭圆，因此他采用基于椭圆的h o u g h 变换来确定人脸的位置。 1 3 3 关于人脸检测的标准 对各种人脸检测方法做性能上的对比，将会促使人脸检测技术的发展， 但要达到这一目的就必须要建立一套公认的标准。实际上由于人脸模式的复 杂多变性。想要建立一个全面的、有效的人脸检测测试图像库是很困难的。 目前研究者主要通过将不同的方法应用在同一个图像库上来对比不同的效 能。实用中需要一个快速、实时的人脸检测算法，如果对环境不加限制，这 个问题是十分复杂的。这方面的研究现阶段还难以突破。目前还没有一个完 美的方案能在毫无约束的情况下完成对人脸检测的任务。在构造应用系统时， 可以限定一定的条件如固定背景、角度、光照等，这样可以简化问题的复杂 性，从而有效的解决问题。只要这种限定条件是合理可行，不苛刻的，工程 上就可以实现。 1 4 论文的主要工作 本文首先讨论了基于肤色分割和模板匹配的人脸检测方法，然后结合机 车司机行车状态监测系统的实际工作要求设计了一个人脸检测系统，并就该 系统进行了分析和实验，最后做出结论并展望了后续的工作。 论文的内容主要包括以下几个方面： 第一，介绍了入脸检测技术的研究与应用的历史与现状，对入脸检测的 各种主要的方法进行了分类总结，概括了各自的特点。 第二，针对入脸检测工作对图像质量的较高要求。阐述了图像获取后的 预处理和后期工作中用到的一些相关理论和技术，包括b m p 图像格式的简 介、图像的增强和滤波、缩放和旋转、光线补偿以及图像分割和形态学处理 等。 西南交通大学硕士研究生学位论文第11 页 第三，对基于肤色的人脸检测方法，深入分析了从色彩空间的选取、肤 色模型的建立到利用模型检测人脸的过程，确立了一种在y c b c r 空间下的基 于商斯模型的肤色分割方法并进行了实验。彩色图像中肤色是人脸的重要特 征，具有稳定和集中的特点。利用肤色信息可以很好的将人脸区域从背景中 区分出来。 第四，基于模板的方法具有一般性，鲁棒性强，是人脸检测的研究的一 种重要方向。在了解和掌握了模板匹配的基本概念和方法( 模板的生成和使 用) ，引用了一种平均脸模板的人脸检测算法实验并进行了改进讨论。 最后将上述两种方法结合起来，首先用肤色分割的方法分割出可能的肤 色区域，在经过区域优化( 筛选) 后使用平均脸模板对肤色区域内进行匹配 运算，通过相关系数与阈值的比较，确定出入脸。 西南交通大学硕士研究生学位论文第l2 页 第2 章人脸检测的图像处理技术 使用图像处理技术改善图像画质，对人脸检测工作的顺利完成具有重要作 用。常用的图像处理技术包括图像的格式、图像的增强、图像的几何变换、图 像的形态学处理和图像的边缘检测等方面。本章介绍了应用在人脸检测系统中 的一些图像处理技术。 2 1 b m p 图像格式1 常用的图像格式有b m p 、j p e g 、t i f f 、g i f 和p d f 等b m p 文件格式是计 算机进行图像处理时最常用到的图像格式。本文中使用的图像均为b m p 格式。 b m p 格式将图象分成四个部分，如图2 - 1 所示： 位图文件头b i t m a p f i l e h e a d e r 位图信息头b i t m a p i n f o h e a d e r 调色板p a l e t t e b w p 文件数据b i t m a p d a t a 图2 - iw i n d o w s 位图文件结构示意图 第一部分为位图文件头b i t m a p f i l e h e a d e r ，是一个结构，其定义如下： t y p e d e fs t r u c tt a g b i t m a p f i l e h e a d e r w o r d b f l t y p e ： d w o r d b f s i z e ： w o r db f r e s e r v e d l ： w o r db f r e s e r v e d 2 ： d w o r db f o f f b i t s ： ) b i t m a p f i l e h e a d e r ； 这个结构的长度是固定的为1 4 个字节( w o r d 为无符号1 6 位整数， d w o r d 为无符号3 2 位整数) ，各个域的说明如下： b f t y p e ：指定文件类型，必须是o x 4 2 4 d ，即字符串“b m ，也就是说 西南交通大学硕士研究生学位论文第13 页 所有b m p 文件的头两个字节都是“b m ； b f s i z e ：指定文件大小，包括这1 4 个字节； b f r e s e r v e d l ，b f r e s e r v e d 2 ：为保留字，不用考虑； b f o f f b i t s ：为从文件头到实际的位图数据的偏移字节数，即图2 - l 中前 3 个部分的长度之和。第二部分为位图信息头b i t m a p i n f o h e a d e r ，也是一个 结构，其定义如下： t y p e d e fs t r u c tt a g b i t m a p i n f o h e a d e r d w o r db i s i z e ； l o n gb i w i d t h ： l o n gb i h e i g h t ； w o r db i p l a n e s ： w o r db i b i t c o u n t ： d w o r db i c o m p r e s s i o n ； d w o r db i s i z e l m a g e ； l o n gb i x p e l s p e r m e t e r ： l o n gb i y p e l s p e r m e t e r ： d w o r db i c l r u s e d ： d w o r db i c l r l m p o r t a n t ； b i t m a p i n f o h e a d e r ； 这个结构的长度是固定的，为4 0 个字节( l o n g 为3 2 位整数) ，各个域 的说明如下： b f s i z e ： 指定这个结构的长度，为4 0 ： b i w i d t h ：指定图像的宽度，单位是象素； b i h e i g h t ：指定图像的高度，单位是象素； b i p l a n e s ：必须是l ，不用考虑； b i x p e l s p e r m e t e r ：指定目标设备的水平分辨率，单位是每米的象素个数： b i y p e l s p e r m e t e r ：指定目标设备的垂直分辨率，单位同上； b i c l r u s e d ：指定本图像实际用到的颜色数，如果该值为零，则用到的颜 西南交通大学硕士研究生学位论文第14 页 色数为2 的b i b i t c o u n t 次方； b i c l r i m p o r t t a n t ：指定本图像中重要的颜色数，如果该值为零，则认为 所有的颜色都是重要的。 第三部分为调色板( p a l e t t e ) ，这里是对那些需要调色板的位图文件 而言的。有些位图，如真彩色图是不需要调色板的，b i t 姒p i n f o h e a d e r 后直 接是位图数据。调色板实际上是一个数组，共有b i c l r u s e d 个元素( 如果该 值为零，则有2 的b i b i t c o u n t 次方个元素) 。数组中每个元素的类型是 个r g b q u a d 结构，占4 个字节，其定义如下： t y p e d e fs t r u c tt a g r g b q u a d b y t er g b b l u e ；该颜色的蓝色分量 b y t er g b g r e e n ；该颜色的绿色分量 b y t er g b r e d ；该颜色的红色分量 b y t er g b r e s e r v e d ；保留值 ) r g b q u a d ： 第四部分就是实际的图像数据了。对于用到调色板的位图，图像数据就 是该像素颜在调色板中的索引值，对于真彩色图，图像数据就是实际的r 、g 、 b 值。对于2 色位图，用l 位就可以表示该像素的颜色，一个字节可以表示8 个像素；对于1 6 色位图，用4 位可以表示一个像素的颜色，一个字节可以表 示2 个像素：对于2 5 6 色位图，一个字节刚好可以表示i 个像素；对于真彩 色图，三个字节才能表示1 个像素。 2 2 图像预处理3 0 1 1 ”1 一般情况下，图像的采集、传送和转换等过程中总要产生图像的某些降 质，例如摄像时的失真、传输时的噪声等，因此必须对图像进行预处理以改 善画质。常用的图像预处理方法包括图像滤波、增强、缩放、旋转等，下面 是对它们的一些简要介绍。 2 2 1 图像的增强和滤波 图像增强技术是一种扩展图像对比度，优化视觉效果的图像处理技术。 图像增强的主要目的就是改善图像灰度级的动态效果，突出图像中的某些信 西南交通大学硕士研究生学位论文第15 页 息使处理过的图像比原始图像更适合某种特定的应用。图像的增强技术通常 有两类方法：空间域法和频率域法，空间域法主要是在空域中对图像像素灰 度值直接进行运算处理：频率域法是在图像的某种交换域中( 通常是频率域 中) 对图像的变换值进行某种运算，然后变换回空间域。 灰度直方图是数字图像处理中一个简单有用的工具。灰度直方图是灰度 值的函数，描述的是图像中具有该灰度值的像素的个数，其横坐标表示像素 的灰度级别，纵坐标表示该灰度出现的频率( 像素的个数) 。直方国均衡化( 灰 度均衡) 是一种灰度增强的方法，这种方法的基本思想是把原始图的直方图 变换成均匀分布的形式。这样就增加了像素灰度值的动态范围从而达到增强 图像整体对比度的效果。经过均匀化处理后的图像，其所有灰度级出现的概 率相等，图像的对比度加大，图像包含的信息最多。 按照图像的概率密度函数( p d f ，归一化到单位面积的直方图) 的定义： p 仁) - 去h b ) m ( 2 1 ) 其中扛) 为直方图， 为图像的面积。设转换前图像的概率密度函数为 e ( r ) ，转换后图像的概率密度函数为只0 ) ，转换函数为s 一，( ，) 。由概率论 知识，有： 只g ) 圳每 ( 2 - z ) 这样，如果想使转换后图像的概率密度函数为1 ( 即直方图为平的) ，则 必须满足： 只( ，) - z d a ( 2 3 ) 等式两边对r 积分，可得： p ，( ，) i f p ，( 彬一。扣以p 狮 q ) 四罔父通天手坝士 艽王罕1 豆化又弟l6 贝 该转换公式被称为图像的积累分布函数( c d f ) 。上面的公式是被归一 化后推导的，对于没有归一化的情况，只要乘以最大灰度值( d ，对于灰 度图就是2 5 5 ) 即可。灰度均衡的转换公式是： 。l ，( 蚴。等f 脚) d ， ( 2 5 ) 对于离散图像，转换公式为： 卟f ( d 加等弘 c z e ) 其中h 为第f 级灰度的像素个数。 图2 - 2 和图2 - 3 是直方图均衡前后的对比。 ( a ) 均衡前( b ) 均衡后 图2 - 2 直方图均衡前后的图像比较 ( a ) 均衡前 ( b ) 均衡后 图2 - 3 直方图均衡前后的灰度直方图 直方图均衡化后的图像画质有了明显的改善。清晰度提高很大。但是必 颁说明这种方法在修正图像视觉质量的同时，也会增加一些噪声。平滑和滤 波主要是为了减少图像的噪声。一般情况下，在空间域内可以用邻域平均来 西南交通大学硕士研究生学位论文第17 页 减少噪声；在频率域，由于噪声频谱通常在高频段，可以采用各种形式的低 通滤波的办法来减少噪声。平滑的思想是通过一点和周围几个点的运算来去 除突然变化的点，从而滤掉一定的噪声，但图像有一定程度的模糊。中值滤 波的原理是：一般用一个有奇数点的滑动窗口在图像上滑动，将窗口中心点 对应的图像像素点的灰度值用窗口内的各个点的灰度值的中间值代替，同时 对于图像的四个边缘的像素点可以不处理或者用“0 ”像素点扩展边缘。本 文采用的是中值滤波方法。 中值滤波是常用的空域中的图像平滑的方法。中值滤波器在1 9 7 1 年由 j w j u k e y ”首先提出并应用在一维信号处理技术( 时间序列分析) 中，后 来被二维图像信号处理技术所引用，是一种非线性的信号处理办法。中值滤 波运算简单、便于实现，而且对滤波脉冲干扰及图像扫描噪声最为有效，可 以很好的保护信号的细节。常见的滤波是用作用域3 3 共9 个像素灰度参加 运算的响应函数： 删 1 以 ( a ) 原始图像 效果如图2 - 4 所示。 ( b ) 加入噪声 ( c ) 滤波后 图2 - 4 滤波效果图 波 滤 直 行进像图的后声噪盐椒 入 q 叫“1 加 1 1 1 对n 例 1 9 为 西南交通大学硕士研究生学位论文第18 页 2 2 2 彩色图像的光线补偿 对彩色图像进行肤色检测之前，必须考虑到光线强弱对图像造成的影响。 使用光线补偿对图像进行预处理，可以提高检测成功率。这里采用了一种称 为“参考白”( r e f e r e n c ew h i t e ) “的方法：将图像中亮度最高的5 区域 的像素认为是纯白色，在r g b 空间中，即是把参考白象素中的r 、g 、b 值都调整到2 5 5 。而非参考白的部分象素的r g b 值也要相应提高，从而保 证光照能够尽可能小的造成对图像的影响。另一方面在色彩空间转换的时候， 虽然从理论上来说y e b c r 中的c b 、c r 不受亮度的影响，但是由于亮度所在 的范围的不同，需采取不同的计算公式，而常用的计算公式都是假设亮度分 量为l ，即图像中包含亮度为最大值的部分。为了计算的简便，经过参考白 处理后，则可使用同个公式进行计算，减小误差和节省计算的复杂度。图 像修正前后的对比如图2 5 。 图2 - 5 光线补偿效果 2 2 3 图像缩放与旋转 几何变换是一种图像的基本变换，是图像预处理的重要工作之一。缩放 和旋转是图像几何变换中最常用的技术。 1 图像的缩放 图像缩放是根据条件对图像进行放大、缩小处理的操作。在进行缩放的 同时要保证整个图像均匀缩放，使图像质量得到保证。实现图像缩放的常用 方法是插值算法，如线性插值、最邻近插值等。 以最邻近插值为例，假设图像x 轴方向缩放比率为l ，y 轴方向缩放比 西南交通大学硕士研究生学位论文 第l9 页 率是，。，那么原图中点( 上。，y 。) 对应于新圈中的点( 善，y 。) 的转换矩阵为： 【 ： = 阱荆 协7 ， 筝- 训刘 沼8 ， 矩阵中的( ，) ，。) 、( ，y 。) 分别是图像缩放前后像素点的坐标。 例如当正= - - 0 5 时，图像被缩到一半大小，此时缩小后图像中的( o ， y jl 、 x 删 多x _ o 佧1 ： o 图2 - 5 旋转示意图 图像旋转的矩阵表达式为： 西南交通大学硕士研究生学位论文第20 页 】。二so碧s(c08)，cs。in苫(08)，；】10。】 c z - 。， 阡降节 亿 ( ，) ，。) ，( ，) ，。) 是旋转前后图像中同一像素的坐标，日是旋转角度。上述 旋转是绕坐标轴原点( 0 ，0 ) 进行的，如果是绕一个指定点( a ，b ) ，则先要将坐标系 图2 7 图像的旋转 2 3 图像的分割和形态学处理m 3 2 3 1 图像的分割 图像分割是一种重要的图像分析技术。在对图像的研究和应用中，人们 往往只对图像的某些部分感兴趣。这些部分称为目标或前景区域，其它部分 称为背景。要对目标区域进行辨识和分析，首先就要把它从背景中提取出来， 在此基础上才进一步对目标进行测量分析。图像分割就是进行的这个工作。 如果感兴趣的目标是人脸区域，那么把人脸区域从背景中分割出来就是人脸 检测。 基本的分割算法包括边界分割和区域分割