（计算机应用技术专业论文）基于多特征融合的人脸检测研究.pdf

苏州大学学位论文使用授权声明 本人完全了解苏州大学关于收集、保存和使用学位论文的规定， 即：学位论文著作权归属苏州大学。本学位论文电子文档的内容和纸 质论文的内容相一致。苏州大学有权向国家图书馆、中国社科院文献 信息情报中心、中国科学技术信息研究所( 含万方数据电子出版社) 、 中国学术期刊( 光盘版) 电子杂志社送交本学位论文的复印件和电子 文档，允许论文被查阅和借阅，可以采用影印、缩印或其他复制手段 保存和汇编学位论文，可以将学位论文的全部或部分内容编入有关数 据库进行检索。 涉密论文口 本学位论文属 在年一月解密后适用本规定。 非涉密论文口 论文作者签名： 鱼塾垒 e l 导师签名：埤日 期：v ，。l 基于多特征融含的人脸检测研究中文摘要 基于多特征融合的人脸检测研究 中文摘要 肤色是人体的一个非常重要的生物特征。肤色分割在人脸检测，w e b 图像过滤， 人脸图像检索，性别分类，年龄判别，医疗诊断，视频监控，人脸识别和身份验证中 均有广泛应用。 针对单一的基于肤色的人脸检测方法存在人脸区域与其它颜色相近的区域粘连， 以及多姿态情况人脸检测准确率比较低等问题，本文开展了深入的研究，主要内容包 括： 1 提出了基于多高斯和b a y e s 结合的肤色分割方法。该方法通过对肤色色度多高 斯拟合和自然图像色度的先验概率统计，通过分析这两组先验概率的不同分布，采用 b a y e s 决策理论实现对彩色图像分类，从而达到分割肤色和背景的目的。同其它分割 方法相比，在肤色和背景较接近的情况下，该方法肤色分割效果更好。 2 提出了基于骨架和距离变换的区域粘连分割方法。该方法通过提取肤色区域骨 架顶点信息和部分轮廓点作为特征点集，计算肤色区域每个点到特征点集之间的最短 距离，得到极大值点集合，根据极大值点之间的距离，合并极大值点和肤色粘连区域 分割。实验结果表明，该方法可以有效去除一些小背景区域，人脸与其他区域的粘连。 3 提出了基于多特征融合的人脸检测方法。该方法通过融合眼睛，嘴巴和眉毛 等特征区域以及特征区域方向和特征区域中心点之间几何关系约束，采用多特征融合 进行人脸检测。实验结果表明，该方法在平面内和平面外带有一定旋转角度以及脸部 含有复杂表情等情况下，能够更准确的检测人脸。 4 提出了基于直方图的人脸轮廓平滑方法。该方法用轮廓及其中心点所构成的 距离直方图，通过波峰和波谷的位置关系平滑轮廓。实验结果表明，该方法能平滑人 脸轮廓，去除部分边界的突起小区域，从而能更准确的定位人脸特征区域。 关键词：肤色分割，距离变换，特征融合，轮廓平滑，人脸检测 作者：鲍军 指导老师：龚声蓉教授 本文的研究工作受江苏省自然科学基金项目( b k 2 0 0 9 11 6 ) 的资助。 a b s t r a c t r e s e a r c ho ff a c ed e t e c t i o nb a s e do nm u l t i - f e a t u r ef u s i o n r e s e a r c ho ff a c ed e t e c t i o nb a s e do n m u l t i f e a t u r ef u s i o n a b s t r a c t s k i nc o l o ri sav e r yi m p o r t a n tb i o l o g i c a lf e a t u r eo ft h eh u m a nb o d y s k i nc o l o r s e g m e n t a t i o ni sw i d e l yu s e di nf a c ed e t e c t i o n ，w e bi m a g ef i l t e r i n g ，f a c ei m a g er e t r i e v a l ， s e xc l a s s i f i c a t i o n ，a g ed i s c r i m i n a t i o n , m e d i c a l d i a g n o s i s ，v i d e os u r v e i l l a n c e ，f a c e r e c o g n i t i o n ，i d e n t i t yv e r i f i c a t i o na n ds oo n t ot h ep r o b l e m so fc u r r e n tf a c ed e t e c t i o n ，t h ea d h e s i o np r o b l e mb e t w e e nf a c ea n d o t h e rr e g i o n sw h e r et h ec o l o rv a l u ei ss i m i l a rt ot h es k i n , a n dt h ef a c ed e t e c t i o nr a t eo f m u l t i p o s ei sr e l a t i v e l yl o w t h i sp a p e rd o e ss o m ei n d e p t hs t u d i e s ，t h em a i nc o n t e n t i n c l u d e s ： f i r s t l y ，t h es k i nc o l o rs e g m e n t a t i o na l g o r i t h mb a s e do nm u l t i g a u s s i a na n db a y e s t h i sm e t h o dt h r o u g hm u l t i g a u s s i a nt of i tt h ep r o b a b i l i t i e so fc h r o m ao fc r o p p e ds k i n c o l o ri m a g e sa n dn a t u r a lp i c t u r e s w ea n a l y z et h ed i s t r i b u t i o no ft h et w op r i o rp r o b a b i l i t i e s a n du s et h ed e c i s i o nt h e o r yo fb a y e st os e g m e n tc o l o ri m a g e s c o m p a r e dw i mo t h e r c o m m o n l yu s e dm e t h o d s ，e s p e c i a l l yu n d e rt h ec i r c u m s t a n c e so ft h e s k i nc o l o rl i k e b a c k g r o u n dv e r ym u c h ，t h es e g m e n t a t i o no ft h i sm e t h o di sm o r ea c c u r a t e l y s e c o n d l y ，t h em e t h o do fs e g m e n t i n gt h ep r o b l e mo fr e g i o n a d h e s i o nb a s e do n s k e l e t o na n dd i s t a n c et r a n s f o r m a t i o n t h i sm e t h o dt h r o u g he x t r a c t i n gt h ev e r t e xp o i n t so f s k e l e t o na n ds o m ec o n t o u r p o i n t s a s t h ef e a t u r e p o i n t s ，c a l c u l a t i n g t h ed i s t a n c e t r a n s f o r m a t i o nb e t w e e nt h e f e a t u r ep o i n t sa n ds k i nc o l o rr e g i o n s ，o b t a i n i n gm a x i m u m p o i n t s ，a c c o r d i n gt ot h ed i s t a n c eb e t w e e nt h em a x i m u mp o i n t s ，m e r g i n gm a x i m u mp o i n t s a n ds e g m e n t i n gt h ea r e a e x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sm e t h o dc a nr e m o v es o m e s m a l lb a c k g r o u n dr e g i o n se f f e c t i v e l y ，s e g m e n tt h er e g i o na d h e s i o nb e t w e e nt h ef a c e sa n d o t h e rr e g i o n s t h i r d l y ，f a c ed e t e c t i o nb a s e do nm u l t i - f e a t u r ef u s i o n t h i sm e t h o dm e r g e ss k i nc o l o r i i r e s e a r c ho f f a c ed e t e c t i o nb a s e do nm u l t i f e a t u r ef u s i o na b s t r a c t s e g m e n t a t i o n , t h es a m ed i r e c t i o no ff e a t u r e sa r e a so fe y e s ，m o u t ha n de y eb r o w sa n de t e ， a n dt h el o c a t i o nc o n s t r a i n t so ft h ec e n t e rp o i n t so ff e a t u r ea r e a s ，e m p l o y i n gm u l t i f e a t u r e f u s i o nt or e a l i z ef a c ed e t e c t i o n e x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sm e t h o dc a l ld e t e c t m u l t i - p o s ef a c e sm o r ea c c u r a t e l y l a s t l y ，t h em e t h o do ff a c ec o n t o u rs m o o t h i n gb a s e do nd i s t a n c eh i s t o g r a m t h i s m e t h o du s e st h ec o n t o u rp o i n t sa n dt h e i rc e n t e rt of o r mad i s t a n c eh i s t o g r a m ，a n dm a k eu s e o ft h ep e a k sa n dt r o u g h so fh i s t o g r a mt os m o o t hc o n t o u r e x p e r i m e n t a lr e s u l t ss h o wt h a t t h i sm e t h o dc a ns m o o t hf a c ec o n t o u ra n dr e d u c es m a l lb a c k g r o u n df e a t u r ea r e a st h a ta r e n e a r b yt h ec o n t o u r ，s ow ec a np o s i t i o nt h ef a c i a lf e a t u r em o r ea c c u r a t e l y k e yw o r d s ：s k i nc o l o rs e g m e n t a t i o n ，d i s t a n c et r a n s f o r m ，f e a t u r ef u s i o n ，c o n t o u rs m o o t h ， f a c ed e t e c t i o n w r i t t e nb yb a o j u n s u p e r v i s e db ys h e n g r o n gg o n g t h er e s e a r c ho ft h i st h e s i sh a ss p o n s o r e db yn a t u r a ls c i e n c ef o u n d a t i o no fj i a n g s u p r o v i n c eu n d e r g r a n tb k 2 0 0 9116 i i i 目录 第一章绪论1 1 1 课题的研究背景和意义1 1 2 主要研究方法2 1 2 1 基于知识的人脸检测方法2 1 2 2 基于学习的人脸检测方法4 1 3 本文的主要研究内容及创新点5 1 4 本文的组织结构6 第二章基于多高斯和贝叶斯的肤色分割7 2 1 颜色空间的模型7 2 1 1r g b 颜色空间j 7 2 1 2y i q 颜色空间8 2 1 3y u v 颜色空间9 2 1 4y c b c r 颜色空间1 0 2 2 肤色分割方法1 0 2 2 1r g b 阈值分割1 1 2 2 2 高斯分布1 2 2 2 3 分段多高斯分布1 4 2 2 4 直方图统计模型1 4 2 2 5y u v 和y i q 联合分布1 5 2 3 多高斯和贝叶斯的肤色分割1 6 2 4 实验结果与讨论1 8 2 5 小结2 2 第三章粘连区域的分割和多特征融合的人脸检测2 3 3 1 现有的人脸检测和器官定位概述2 3 3 2 粘连区域分割和人脸检测2 4 3 2 1 基于骨架的背景区域去除2 4 3 2 2 粘连区域的分割和凹陷区域的修复2 6 3 2 3 脸部特征提取和多特征融合的人脸检测2 7 3 2 3 1 脸部特征区域的检测2 7 3 2 3 2 脸部冗余特征区域去除3 0 3 2 3 3 脸部特征方向和知识规则的人脸检测3 1 3 3 实验结果及讨论3 3 3 4 小结3 6 第四章基于距离直方图的人脸轮廓平滑处理3 7 4 1 人脸区域分割概述，3 7 4 2 基于距离直方图的轮廓平滑算法3 8 4 3 实验结果及讨论4 1 4 4 小结4 3 第五章总结与展望4 4 5 1 工作与总结4 4 5 2 存在的不足与展望4 5 参考文献4 6 攻读硕士学位期间公开发表的论文5 1 致谢5 2 基于多特征融合的人脸检测研究第一章绪论 第一章绪论 1 1 课题的研究背景和意义 人脸不仅存在于现实世界之中，而且在网络等虚拟世界中也大量存在，比如视频 和图像等。近几十年来，人脸检测一直被作为模式识别，人工智能和计算机视觉等领 域的重要研究课题，引起了广大学者的研究兴趣。 人脸检测有着广泛的应用背景： ( 1 ) 人脸是人体中非常重要的生物特征且具有个体差异性和稳定性。我们通过人 脸检测用于人脸识别，身份验证，刑事侦查，海关安检和门禁系统等。 ( 2 ) 人脸检测用于视频监控，视频跟踪和内容检索等。 ( 3 ) 人脸检测用于身份证件如身份证，学生证，银行卡和驾照等鉴别。 相比较传统的个体特征如指纹，笔迹，虹膜和语音等，人脸具有直接，方便和友好 的特性，同时具有非侵犯性，特征丰富，容易体现个体的差异性。从以上可以看出， 人脸检测具有非常重要的实际意义和研究价值乜1 。 在一些颜色空间中，肤色分布具有一定的规律性，成聚类特性。我们可以利用这 些特性分割人脸和背景。我们在人脸肤色区域确定之后，再在该分割区域内确定是否 包含人脸，以及人脸的大小，位置，数量，旋转角度和姿态等。我们可以把肤色分割 看作是人脸检测的初步结果。因此，肤色分割可以缩短人脸检测的时间。 近些年来，基于肤色分割的人脸检测技术越来越受到人们的关注，在实际中有着 广泛的应用。人的器官特征如人脸的眼睛和嘴巴等器官定位依赖于人脸的肤色特征及 人脸面部亮度的差异性。我们可以利用肤色来过滤不良网站的黄色图片等。我们可以 使用肤色来感知人的肢体运动如手掌，头部和胳膊运动和识别等。因此，鉴别人的存 在，肤色就是一个很好的特征。 基于肤色的人脸检测还存在着一些问题和挑战，钔： ( 1 ) 由于人种的差异性，肤色的分布又不具有统一性。如何建立通用的肤色分割 数学模型，以便于准确的彩色图像分割，提取出肤色特征，对我们研究具有重要意义。 第一章绪论基于多特征融合的人脸检测研究 ( 2 ) 人脸检测受光照，照相机的性能，年龄的影响比较大。人脸肤色还会受光照 影响而产生偏色。正常光照下的肤色分割模型在这种情况下不适用。 ( 3 ) 在视频中的人脸检测，对算法的实时性要求比较高。 ( 4 ) 和肤色具有相似性的复杂背景，如染发和衣服等，这将会导致误分割。如何 将误检率降到最低，这会将对算法分类的准确率提出了很高的要求。 ( 5 ) 人脸在平面内和平面外有一定的旋转角度，复杂表情和多姿态等，这将对人 脸检测算法提高了难度。 ( 6 ) 眼镜和侧面人脸等遮挡问题。 这些因素对如何设计一个简单和运算复杂度比较低的数学模型提出了很高的要 求。融合肤色分割和其他特征的人脸检测是模式识别里极其具有挑战性的课题。如何 能够准确的分割肤色区域，检测和定位人脸器官特征，具有非常重要的实际意义和理 论意义。 1 2 主要研究方法 自从2 0 世纪9 0 年代以来，人脸检测技术取得了很多重要的成果，其中包括在平 面内旋转，平面外旋转，多表情和多姿态等的人脸检测研究。这些研究算法不仅仅在 速度上，而且在计算的精度上都取得了前所未有的进步。目前典型的人脸检测方法中， 主要包括基于知识的人脸检测方法和基于学习的人脸检测方法【5 1 。 1 2 1 基于知识的人脸检测方法 基于知识的人脸检测方法主要是用人的眼睛和嘴巴等器官区域的几何位置关系 定位人脸。该方法目前对器官特征比较容易提取的人脸中，比如没有戴眼睛和没有胡 须的人脸，检测效果比较好。但是由于计算机的表达能力有限，目前并不能把人脸的 所有知识和结构特征等都通过计算机来表达出来，所以该方法实际检测还是会受到一 定的限制。目前典型的方法有： ( 1 ) 基于模板匹配的方法。典型的方法包括：( a ) 基于辐射模板方法【6 】，该方法主 要是把人脸平均等分成若干个扇形，利用嘴巴，眉毛和眼睛等s o b e l 梯度特征落在扇 区内特征点数的多少，及波峰和波谷位置关系，来判断人的眼睛和嘴巴的位置。该方 2 基于多特征融合的人脸检测研究第一章绪论 法虽然误检率比较高，但是能够在一定的误差范围内检测出人脸在平面内的旋转角 度。( b ) 模板匹配方法。艾海舟和梁路宏提出了基于模板匹配的方法【7 ，引，该方法用肤 色分割，模板匹配和人工神经网络验证的方法，不仅提高了速度，而且具有较强的鲁 棒性。( c ) 多姿态知识模板方法。邵平等提出了多姿态知识模板【9 1 们，该方法在原始 彩色图像中提取多阈值器官梯度图，双阈值肤色图，梯度方向图和灰度特征图等四种 图像特征，并运用多姿态知识模板，实现了快速的多姿态人脸检测方法，但该方法检 测范围有限，只能对平面内旋转角度在正负3 0 0 以内的人脸进行检测。 ( 2 ) 基于肤色和聚类的人脸检测。r e i n l i e n 1 1 j 提出了一种从r g b 到y c b c r 颜色 空间的非线性变换，把肤色聚类成椭圆形状，通过眼睛和嘴巴的色度值分布在特定的 阈值范围之内，根据人脸的眼睛和嘴巴等器官特征区域所构成的三角关系来确定是否 是人脸的方法。a b b a sc h e d d a d 1 2 】提出了一种可以从三维颜色空间r 降到一维颜色空 间算法，该方法能够迅速的缩短肤色区域的检测时间。s l l i l i nw a n g 1 3 】提出了一种基 于形状和多分类的f c m 聚类算法，该方法通过引入空间位置和肤色等信息来分割出 嘴巴和胡须等器官特征。h u a n g m i n gs u n l l 4 】提出了动态更新的肤色检测技术方法。该 方法用一个局部肤色模型来改变全局训练模型来达到适应待检测图片的肤色分割， 能够适应复杂环境和准确的分割肤色区域。 ( 3 ) 基于v o r o n o i 图的人脸检测。a b b sc h e d d a d 1 5 j 提出了一种基于v o r o n o i d i a g r a m ( v d ) 的人脸检测算法。该算法首先通过计算物体的几何形状，再用三角网格 d e l a u n a yt r i a n g u l a t i o n ( d t ) 产生多个聚类中心，最后用特定的候选区域中寻找和椭圆 相似的人脸区域。不足之处是该方法只适用于单个且正面人脸。 ( 4 ) 基于轮廓提取的方法。v y t a u t a sp e r l i b a k a s 1 6 , 1 7 1 提出了一种算法，该方法首先 用数学形态学和启发式搜索的方法检测人脸器官特征如眼睛和嘴巴，然后用b s p l i n e 得到初始的样条曲线，得到初始的人脸轮廓，最后用s n a k e 方法最小化内部和外部能 量，获得最终的人脸轮廓，但是该方法速度比较慢。f r a n ky s h i h 1 8 】采用了双阈值方 法。其中，高阈值用来用确定头部的外轮廓，低阈值用来确定人脸轮廓，该方法提取 的轮廓受头发，胡须和下巴的影响比较大，往往不够准确。q i n r a nc h e n 1 9 】提出了一 种眼睛眉毛和下巴的轮廓检测方法，该方法首先用k m e a n s 聚类方法分割眼睛和眉毛 区域，然后通过下巴边缘检测器检测下巴边缘，但是该方法在下巴边缘不是很明显的 情况下，容易出现误分割。 3 第一章绪论 基于多特征融合的人脸检测研究 1 2 2 基于学习的人脸检测方法 同基于知识的方法相比，该方法主要取决于学习能力和训练样例的多少，通常能 够检测较为复杂的人脸。目前典型的方法有： ( 1 ) 基于贝叶斯判别特征的人脸检测方法【2 0 1 。贝叶斯用来估计条件概率密度，用 来判断人脸或者非人脸，该方法能够检测出正面向上的多人脸。但是该方法对多姿态 人脸和多角度人脸，检测效果较差。 ( 2 ) 基于s m q t 特征和s n o w 分类器的人脸检测方法1 2 1 1 。m n i l s s o n 提出了一种 基于局部s u c c e s s i v em e a nq u a n t i z a t i o nt r a n s f o r m ( s m q t ) 特征和分裂s p a r s en e t w o r k o fw i n n o w s ( s n o w ) 分类器，在光照亮度可变的环境下，人脸检测并不受其影响。该 分类器是用稀疏的箕网络来加速原有的分类器，是目前最快分类器。但是该方法只适 用于平面外和平面内旋转不大的人脸。当人脸的表情比较复杂时，实际检测效果较差。 ( 3 ) 基于g a b o r 特征的人脸检测方法【2 2 】。s a n q i a n gz h a o 提出了一种新的融合约束 的剖面模型( c o n s t r a i n e dp r o f i l em o d e l ，c p m ) 和弹性图模型( f l e x i b l es h a p em o d e l ， f s m ) ，并利用这两种模型形成可靠的人脸定位框架的方法。该方法和g a b o r f e a t u r e b a s e de l a s t i cb u n c hg r a p hm a t c h i n g ( e b g m ) 方法对比来说，可以大大的缩小人 脸检测的时间。 ( 4 ) 基于a d b o o s t 的人脸检测方法【2 3 2 8 1 。g r o v e1 2 3 】证明，采用b o o s t i n g 方法，在 训练样本数目增加的同时，误差并不一定会增加，从理论上和实验上证明了b o o s t i n g 方法能够增加样本的类间距离。l u i lz h a n g 2 4 】提出一种不同于j o n e s l 2 5 ，2 6 】的矩形特征的 方法，即m u l t i b l o c kl o c a lb i n a r yp a t t e m s ( m b l b p ) 方法。该方法采用块局部二值模 型来表示矩形区域的强度信息，同时采用多分枝树的b o o s t i n g 算法作为弱分类器，并 用实验证明基于l v i b l b p 特征的分类器比基于h a a r 特征和基于l b p 特征的分类器具 有更强的判别能力。c h a n gh u a n g 2 刀提出了一种基于a d a b o o s t 学习框架的多视角人 脸检测算法。该方法采用多尺度的搜索方法，在粒度空间中选择稀疏特征，具有很快 的检测速度，能够在平面内检测正负4 5 0 ，平面外旋转4 5 0 的人脸。m i n h t r ip h a m 2 8 】 提出了一种降低弱分类器的数量的方法。该方法避免多次保留级联分类器，明显降低 了分类器的训练时间和分类器的数量。c h a n gh u a n 9 1 5 提出了一种既能够检测平面内 旋转0 0 3 6 0 0 ，又能够检测在平面外旋转o o 到9 0 0 的算法。并提出了一系列新的多视 4 基于多特征融合的人脸检测研究第一章绪论 角旋转不变人脸检测方法，包括w i d t h f i r s t - s e a r c h ( w f s ) 树检测结构，v e c t o r b o o s t i n ga l g o r i t h m 训练学习输出分类器，d o m a i n - p a r t i t i o nw e a k 学习方法，粒度空间 稀疏特征和稀疏特征启发式搜索方法等。 1 3 本文的主要研究内容及创新点 本文重点研究了肤色分割和多特征融合的人脸检测方法。其主要内容包括彩色图 像分割，人脸肤色区域同其它区域等粘连分割，人脸面部特征如眼睛和嘴巴等特征提 取和检测以及人脸轮廓的平滑等几个方面，并进行了大量的实验，得到了一些有价值 的结论。具体研究内容和创新点体现在： ( 1 ) 基于多高斯和贝叶斯的肤色分割。对肤色和自然图像进行先验概率估计，对 肤色进行多高斯拟合，用b a y e s 决策理论和两组先验概率对彩色图像实现肤色和背景 的分割。实验结果表明，在肤色和背景相近的情况下，该方法同其它方法相比，彩色 图像分割更准确。 ( 2 ) 基于骨架和距离变换的区域粘连分割。在肤色分割后，人脸，胳膊和头发等 区域时常粘连在一起，或者多人脸区粘连在一起。针对以上问题，本文通过提取出骨 架顶点和部分轮廓点作为特征点；计算肤色区域内每个像素点到特征点集之间的最短 距离( f l p 距离变换) ；提取极大值点，进行极大值点区域的合并和区域分割；凹陷区域 的修复，来实现对粘连区域的分割。该方法可以很好的去除肤色和背景区域的粘连， 人脸区域和其它区域的粘连，去除细小的背景区域，并能够对凹陷特征区域进行修复。 ( 3 ) 基于多特征融合的人脸检测。该方法通过融合以下几种特征：肤色分割提取 的眼睛，嘴巴和眉毛等器官区域分割成为前景目标特征；梯度特征；特征区域方向； 脸部特征的几何位置关系等多种特征融合，进行多姿态人脸检测。同其它方法相比， 该方法能够更好的检测多表情，多姿态和带有一定旋转角度的人脸。 ( 4 ) 基于距离直方图的人脸轮廓平滑处理。在确定人脸肤色区域之后，由于边界 背景和肤色的相似性或者存在一些凸起的噪声小区域，而这些小区域对人脸器官特征 提取往往会有误分割。为此，本文提出了一种基于所有轮廓点及其中心点之间的距离 ( 即距离直方图) ，提取出波峰和波谷，来平滑人脸轮廓的方法。实验结果表明该方法 可以有效的去掉一些凸起的小区域，平滑人脸轮廓，更好的提取人脸特征。 第一章绪论基于多特征融合的人脸检测研究 1 4 本文的组织结构 全文内容安排如下： 第一章主要介绍了人脸检测的研究背景，意义，存在的问题及挑战，国内外最近 有代表性的方法和现状。 第二章主要介绍了目前典型的颜色空间及其肤色分割模型，并比较了各种肤色模 型的分割效果。本文提出了一种结合多高斯拟和自然图像两组先验概率统计，并用 b a y e s 决策理论对自然彩色图像进行分割方法。实验结果表明该方法肤色分割更准确。 第三章主要提出了基于骨架和距离变换的肤色区域分割方法和多特征融合的人 脸检测方法，用来解决肤色区域粘连和多姿态人脸特征提取及定位。 第四章主要提出了一种基于距离直方图的人脸轮廓平滑算法。通过波峰和波谷的 位置关系去除边缘凸起的噪声小区域和平滑人脸轮廓。 第五章对全文工作进行总结，并对未来工作进行了展望。 6 基于多特征融合的人脸检测研究第二章基于多高斯和贝叶斯的肤色分割 第二章基于多高斯和贝叶斯的肤色分割 在彩色人脸图像中，肤色容易受到光照，人种，天气，照相机的性能和复杂背景 等影响，造成很难准确分割人体的肤色和背景。肤色分割受颜色空间的选择，聚类的 形状，训练样本的数量和分类器的选择影响比较大。本章提出了一种对肤色用多高斯 拟合和自然图片的概率估计，以及它们分布的不同属性，最后用b a y e s 决策理论和两 组先验概率分割肤色的方法。通过大量的实验表明，该方法具有很强的肤色分割能力， 并克服固定阈值法分割错误率比较高，以及单纯用高斯模型来分割时间比较慢，且易 受到具体图像的似然估计后阈值选择影响，本文方法具有分割时间快，误分割比较低 的优点，在肤色和背景较接近的情况下，人脸肤色分割更准确。 2 1 颜色空间的模型 彩色人脸图像分割的目的是通过决策规则来区分肤色和非肤色，使得错误检测率 尽量低。目前彩色人脸图像受到类似肤色的影响比较大，比如白色，黄色，红色，桔 黄色和粉红色，也会受人种，年龄，照相机的性能，光照，头发和戴眼镜等影响【2 9 】【3 0 】。 因此，必须选择恰当的颜色空间，使肤色和亮度相分离，使背景对肤色影响最小。 目前比较常用的能够较好的分割肤色的颜色空间，有r g b ，y c b c r ，h s v ， h i s 和c i e 1 a b 等，到底哪个颜色空间最好，并没有统一的结论。有的认为h s v 空间 中h s 分量表示更好，也有的认为在h s v 中亮度h 和色度s v 分离，使用色度分量 s v 分割效果最好。有的认为归一化的颜色空间r g b 更好，因为用归一化的颜色空间 使用单高斯模型来分割肤色和非肤色效果较好，而有的认为非归一化的颜色空间用混 合高斯表示来分割肤色和非肤色更好。有的认为用y c b c r 来分割肤色比较好，而有 的认为使用色度分量c b c r 分割更好2 9 , 3 0 | 。 下面举出几个有代表性颜色空间如r g b ，y i q ，j v 和y c b c r 等【2 9 1 1 3 0 1 。 2 1 1r g b 颜色空间 r g b 色彩模型来源于著名的y o u n g h e l m h o l t z 三色学说。这一学说证明了任何颜 7 第二章基于多高斯和贝叶斯的肤色分割基于多特征融合的人脸检测研究 色都可以用红( r e d ) ，绿( g r e e n ) 和蓝( b l u e ) 三基色加权混合产生【3 1 1 1 3 2 】【3 3 】，如图2 1 所示。 从图2 1 中可以看出，三个轴分别与红，绿和蓝三基色对应，原点( 0 ，0 ，o ) 对应黑色， ( 1 ，1 ，1 ) 或者( 2 5 5 ，2 5 5 ，2 5 5 ) 对应白色，归一化后的颜色空间r g b 由r g b 三基色可以得到， 如公式( 2 1 ) ： r = r7 r 七g + b ) g = g f ，r + g + b ，j ( 2 1 ) 【6 = b f ，r + g + b 夕 式( 2 - 1 ) 可以得出r + g + b = l 。b 值占的成分很少，通常可以忽略不计，可以用来空间 降维。r 和g 称为纯色，依赖于亮度，会随着标准化r g b 而减少团1 。通过脸部的肤色， 在r 和g 的值的在直方图里占一小簇，可以分割出肤色信息啪1 。其他颜色空间都可以 从r g b 颜色空间推导出其变换公式。 r 2 1 2yiq 颜色空间 图2 - 1r g b 颜色模型 0 ) y i q 颜色空间主要被n t s c 采用，用于电视转播。y i q 空间的中的1 分量从桔黄色 到蓝绿色变换。大量的实验表明，肤色的i 值在一定的范围之内，位于 2 0 ，9 0 。但是 该颜色空间不能有效的区分肤色与黄绿色儿川，y 1 0 颜色空间有利于检测亚洲人脸， 在自然环境下只能检n d , 的人脸口刳。 8 基于多特征融合的人脸检测研究第二章基于多高斯和贝叶斯的肤色分割 r g b 转换为y i q 的公式如式( 2 - 2 ) 拍3 ： 仉0 2 5 9 9 9 6 二0 戮2 7 40 1 1 3 2 4 2 旧g o 0 211 - 05 2 30 312 2 ， i ，i = i 一一 | i l ( 2 _ 2 ) ljl jl 、b j 2 1 3y u v 颜色空间 色调。色彩模型与y i q 色彩模型类似，多一个3 3 度的旋转。y i q 色彩模型同 得到3 2 】【3 3 】【3 4 1 ，其转换公式为( 2 3 ) ： 阱豢撩捌刳 p 3 ， 其中色度成分u v 相位角在 1 0 0 。，1 5 0 。】之内，其饱和度c h 是由u 和v 的模所 组成，色调0 是由u 和v 在颜色空间y u v 中的相位角所组成p 2 】【3 3 】【3 4 1 ，其变换公式 为( 2 4 ) 和( 2 5 ) 所示： c 办：, u 1 2 + l v l 2 ( 2 - 4 ) 秒= 口 o ( i v l i u i ) ( 2 - 5 ) 其中u 和v 所组成的相位角秒【3 1 【6 1 如图2 - 2 所示。 图2 - 2y u v 空间中u 1 ，相位角 9 第二章基于多高斯和贝叶斯的肤色分割基于多特征融合的人脸检测研究 2 1 4y c b c r 颜色空间 i y = a 2 9 9 奉r + 0 船7 木g + d 1 1 4 幸b c 6 = d 5 鲋伊一矽 ( 2 - 6 ) l d = n 7 1 3 宰俾一矽 2 2 肤色分割方法 目前比较常用的肤色分割方法有基于r g b 固定阈值分割，基于单高斯模型的肤色 分割，混合高斯模型的肤色分割，直方图统计模型和贝叶斯概率联合分割方法，y u v 和y i q 的联合统计方法等。 1 0 基于多特征融合的人脸检测研究第二章基于多高斯和贝叶斯的肤色分割 2 - 3 ( a ) 原图12 - 3 ( b ) 光照补偿之后川 图2 - 3 光照补偿 ( a ) y c b 空间颜色分布 娜顿色空何色彩毋右圈 ( b ) y c r 空间颜色分布 c 帕崆f 鳓啊色分布 、 i ； 口1 卸 o ( c ) y c b c r 颜色空间立体分布图( d ) c b c r 空间颜色分布图 图2 - 4y c b c r 颜色空间中肤色分布图 2 2 1r g b 阈值分割 在一些颜色空间中如r g b ，在正常光照或者弱光照情况下，肤色通过准确定义肤 色区域的边界如表2 - 1 所示，这些条件必须同时满足。该方法较好的解决了和肤色相 似背景区域的噪声问题啪3 7 1 ，也解决了一些把红色，粉红色，白色，黄色和橘黄色当 攀缓缓荔凌覆霪器疆瑟缢霾缓嚣 第_ 二章基于多高斯和贝叶斯的肤色分割 基于多特征融合的人脸检测研究 成肤色的问题口屯魁3 7 1 。经过预处理去除了部分背景区域和肤色区域粘连的问题。该方 法检测的速度快，可以在实时的情况下执行。虽然此方法对正常光照能够处理的很好， 但对于光照比较差和肤色偏色情况下，处理的效果就很差。一些红色背景和人的肤色 具有一定的相似性。所以在这种情况下，该方法容易把背景误分割成肤色。 表2 - 1 颜色查找表 rr gg br b ( r g ) - bg ( g - b ) 【7 0 ，8 5 】 【3 0 ，5 5 【- 5 ，3 5 】【2 0 ，2 5 5【3 0 ，2 5 5 【8 6 ，1 0 0 】【3 0 ，6 0 】【一5 , 4 0 】【3 0 ，2 5 5 】 【4 0 ，2 5 5 】 【0 ，1 5 】 - 5 ，1 0 】【1 5 ，7 5 】 【1 0 1 ，1 5 0 【1 6 ，3 0 【- 2 5 5 ，- 1 0 】【- 1 5 ，2 8 5 】 o r 【2 5 ，4 5 】 3 l ，7 5 】【5 ，9 0 】 一2 5 5 ，1 2 0 】【一2 0 ，2 8 5 5 0 ，2 5 5 【1 5 ，2 0 】【0 ，4 0 】 2 0 ，2 5 5 】 一2 0 ，2 8 5 】 【15 0 ，2 0 0 】【2 1 ，3 0 】【- 5 , 0 】【2 0 ，2 5 5 】【2 5 ，2 8 5 】 【3 1 ，8 5 - 1 5 ，7 0 1【2 0 ，2 5 5 】【o ，2 8 5 】 【4 0 ，2 5 5 】【4 0 ，2 5 5 【5 , 2 5 【4 0 ，7 0 - 3 0 ，2 8 5 】 【2 0 1 ，2 5 5 】 【2 6 ，1 0 0 】【0 ，7 0 】 2 2 2 高斯分布 在正常的光照条件下，肤色在y c b c r 颜色空间c b c r 色度分量通过大量样本训练， 可以拟合成高斯分布或者多高斯分布。该颜色空间适合在小样本集情况下，统计出单 高斯或者多高斯模型的参数啪3 7 1 。在y c b c r 颜色空间下，单高斯模型肤色分布定义如 公式( 2 - 7 ) 所示： p 何= _ ；万科丢p 一r 夕。p 一月 ( 2 7 ) 伽户i i 乃 么 其中c 表示的是 c b ：c r ，表示的是 c b ：c r 均值，如公式( 2 8 ) 所示， 代表的是肤色训练样本的数量 2 r l 。ve 州c b , ? 二n t = lq ，(2-8) y 是协方差矩阵，如公式( 2 - 9 ) 和( 2 1 0 ) 所示： 1 2 基于多特征融合的人脸检测研究第二章基于多高斯和贝叶斯的肤色分割 曲= 而1 善n ( c 6 j 一) ( c 6 j 一) r ( 2 - 9 ) ”2 志善( q 一) ( q 一) 7 ( 2 - 1 0 ) 为了分割肤色和背景，需要确定分割的阈值，可以通过最大类间方差法( o t s u 阈 值法) ，最小误差阂值法，最大熵法和二维最小阈值法【3 引，p a r z e n 视图窗估计法【3 9 】， 图像阈值变分极小优化( v a r i a t i o n a lm i n i m a xo p t i m i z a t i o n ) h 0 1 等。 本文通过手工采集人脸肤色样本图片2 3 4 张，共有肤色1 3 8 5 5 1 8 5 个。其均值为 = 【1 1 4 0 3 3 4 ；1 4 8 5 5 2 9 】，协方差为= 【1 2 4 0 6 6 3 9 9 9 2 4 8 ；一9 9 9 2 4 81 2 0 8 6 0 6 】。得到 高斯拟合参数表为c b c r ，维数为2 5 6 x2 5 6 。 统计结果如图2 - 5 所示，可以看出其分布近似服从高斯分布，但有多个波峰，也 可以用多高斯分布来表示，如公式( 2