(计算机科学与技术专业论文)静态图象肤色检测研究.pdf_第1页
(计算机科学与技术专业论文)静态图象肤色检测研究.pdf_第2页
(计算机科学与技术专业论文)静态图象肤色检测研究.pdf_第3页
(计算机科学与技术专业论文)静态图象肤色检测研究.pdf_第4页
(计算机科学与技术专业论文)静态图象肤色检测研究.pdf_第5页
已阅读5页,还剩131页未读 继续免费阅读

(计算机科学与技术专业论文)静态图象肤色检测研究.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

浙江大学博士学位论文 摘要 皮肤检测是人脸检测与识别、表情识别、手势识别、人体检测等计算机视觉 任务的重要组成部分,更是图象与视频索引、色情图象检测的关键步骤,广泛应 用于人机交互接口、访问控制、视频监控以及互联网敏感内容过滤等领域。基于 颜色的皮肤检测具有简单、快速、直观,不受物体形状变化及视点改变等影响的 优势,受到研究者的普遍重视,具有重要的理论研究意义和应用价值。本文主要 研究静态图象中的肤色检测技术。 颜色空间的选择和肤色建模方法是肤色检测的关键问题。肤色检测首先面临 一个合适颜色空间的选择问题,大多数研究者直观地选择了“最优”颜色空间而 没有给出严格的证明,而一些作者则质疑空间选择对皮肤检测结果的明显影响。 在系统回顾和综合分析了肤色检测中所采用的各种颜色空间与肤色模型,并按照 各自特性进行分类后,定义了基于空间分布本身的肤色内聚性和肤色一非肤色可 分离性两类指标,基于一个大肤色样本库,比较了包含所有常用颜色空间以及部 分作者提出的最优空间的1 7 个颜色空间的相应指标,并在这些空间中训练了s p m 、 g b l m 、s o m 和s v m 这四种最典型的统计肤色模型并测试了其综合分类性能。同时考 察了量化等级、模型精度和不同决策方式对性能的影响,构成了一个完善的性能 评价体系,获得了肤色空间和模型选择的综合结论。 在训练的收敛阶段,s o m 参考矢量的改变量很小,基于这一事实,我们利用 统计直方图构造获胜点线性表,并根据参考矢量的运动方向来优化获胜点的局部 搜索,作为全局获胜点的近似。肤色样本实际分布数据和人工合成数据的实验结 果表明该局部搜索策略能够有效提高搜索效率。 照明条件、照相机特性以及噪声都对肤色有很大的影响,个体肤色也各不相 同的,肤色模型必须能够适应这些环境变化。针对肤色检测,详细介绍了各种光 照补偿方法和自适应手段的优缺点,并比较了用于视频序列的动态高斯模型和动 态直方图。 人像通常位于成像系统的焦平面上,人体的周围环境将因散焦而模糊,尽管 焦平面中的皮肤区域很难保证有完整的比较强的边界,但是总能找到一条或几条 具有一定长度的强边界段。我们提出了基于强边界段的焦平面肤色检测框架,包 含强边界段或与之邻接的类肤色区域识别为皮肤区域,从而避免了皮肤区域边界 的不完整性,并在保证肤色区域内聚性的前提下,从散焦肤色区域中进一步提取 出最接近的子区域作为肤色区域。 皮肤区域具有息好的统计内聚性和空间平滑性,结合纹理等邻域特征能够提 高皮肤检测性能。最后我们提出了一个多种底层特征相融合,并与人脸、手部等 高层目标结合的皮肤检测开放式框架,形成一个多种信息相互印证,互为目的和 手段的启发式综合方法。结合人脸检测的实验结果验证了该框架的有效性。 浙江大学博士学位论文 关键词:皮肤检测颜色空间肤色模型光照不变性自适应模型动态模型 焦平面多特征融合 i i 浙江大学博士学位论文 a b s t r a c t s k i nd e t e c t i o np l a y sak e yr o l ei nm a n y c o m p u t e rv i s i o nt a s k sl i k ef a c ed e t e c t i o n a n dr e c o g n i t i o n ,e x p r e s s i o n r e c o g n i t i o n ,g e s t u r e sr e c o g n i t i o n ,h u m a nd e t e c t i o n , c o n t e n t - b a s e di m a g ea n dv i d e oi n d e x i n g ,e t c ,e s p e c i a l l yi na d u l ti m a g ed e t e c t i o n i t h a sb e e nw i d e l yu s e di nt h ea r e as u c ha sh u m a nm a c h i n ei n t e r f a c e ,a c c e s sc o n t r o l , s u r v e i l l a n c ea n do b j e c t i o n a b l ew e bi m a g e sf i l t e r i n gs y s t e ma n ds oo n s k i nc o l o rh a s p r o v e nt ob eap o w e r f u lc u ef o rs k i nd e t e c t i o ni ni m a g e sb e c a u s eo fi t sa d v a n t a g e s : l o wc o m p u t a t i o n a lc o s ta n dr o b u s t n e s sa g a i n s tv i e w p o i n tc h a n g i n ga n dg e o m e t r i c a l t r a n s f o r m a t i o n s t 1 1 i sd i s s e r t a t i o nf o c u s e so nd e t e c t i o no f s k i nc o l o ri ns t a t i ci m a g e s t h ec h o i c eo ft h ec o l o rs d a c ea n dt h ew a yo f m o d e l i n gt h es k i nc o l o rd i s t r i b u t i o n a r ek e yp r o b l e m sf o rs k i nc o l o rd e t e c t i o n w er e v i e wt h ec o m m o n l yu s e dc o l o rs p a c e s a n ds k i nc o l o rm o d e l sc o m p r e h e n s i v e l y , a n dc l a s s i f yt h e ma c c o r d i n gt h e i rp r o p e r t i e s u s i n gal a r g ed a t as e to f18 9 4i m a g e s ,w ee x a m i n ew h e t h e rt h ec o l o rs p a c et r a n s f o r - m a t i o nc a ni n c r e a s et h ec o m p a c t n e s so fs k i nc l a s sa n dt h ed i s c r i m i n a b i l i t yb e t w e e n s k i na n dn o n s k i nc l a s s e si ns e v e n t e e nc o l o r s p a c e s w ea l s oe v a l u a t et h e c l a s s i f i c a t i o np e r f o r m a n c eo fs p m ,g m m 。s o ma n ds v mi nt h e s ec o l o rs p a c e s t h e e f f e c to fh i s t o g r a ms i z e ,d r o p p i n gi l l u m i n a t i o n , p r e c i s i o no fm o d e la n dd e c i s i o n s t r a t e g yi sa n a l y z e dr e s p e c t i v e l y t h i sn e wc o m p r e h e n s i v ec o l o rs p a c ea n dc o l o r m o d e lt e s t i n gm e t h o d o l o g yw o u l da l l o wf o r m a k i n gt h eb e s tc h o i c e sf o rs k i n d e t e c t i o ni ng e n e r a l t h es o mc h a n g e so n l yg r a d u a l l yd u r i n gi t sf i n a l f i n e - t u n i n gp h a s e t h en e w w i n n e ro fs a l n et r a i n i n gi n p u tm a yb ef o u n da to ri nt h ev i c i n i t yo ft h eo l do n e w e p r o p o s ean o v e ll o c a ls e a r c hs t r a t e g yb a s e do nm o v e m e n to fs u r r o u n d i n g sw e i g h t v e c t o rt oa c c e l e r a t ew i n n e rs e a r c h e x p e r i m e n t sw i t ha r t i f i c i a la n dr e a lw o r l dd a t a s h o w e dt h a tt h el o c a ls e a r c ha l g o r i t h mi sn o t i c e a b l yb e t t e ri np e r f o r m a n c et h a nt h e c o n v e n t i o n a lo n e d u et ov a r i a t i o n so fl i g h t i n gc o n d i t i o n s ,c a m e r ah a r d w a r es e t t i n g s ,a n dt h er a n g e o fs k i nc o l o r a t i o na m o n gh u m a nb e i n g s ,ap r e d e f i n e ds k i nc o l o rm o d e lc a n n o t a c c u r a t e l yc a p t u r et h ew i d ed i s t r i b u t i o no fs k i nc o l o r si ni n d i v i d u a li m a g e s t h em o s t c o m m o nu s e di l l u m i n a n tc o m p e n s a t i o na n da d a p t a t i o na p p r o a c h ,d y n a m i cm o d e l i n c l u d i n gd y n a m i ch i s t o g r a ma n dd y n a m i cg a u s s i a nm o d e la r er e v i e w e di nd e t a i li n c h a p t e r4 t h eh a m a ni s u s u a l l yw e l lf o c a s e dw h e nc a p t u r e db yt h el e n ss y s t e m w h e r e a s b a c k g r o u n do b j e c t sa r et y p i c a l l yb l u r r e dt oo u t o f - f o c u s i ti sd i f f i c u l tt of i n dac l o s e d b o u n d a r yf o rf o c u s e ds k i nr e g i o n s w ep r o p o s eas k i nc o l o rr e g i o nd e t e c t i o ns o l u t i o n i sb a s e do ns a l i e n tb o u n d a r ys e g m e n t as k i n l i k er e g i o nc o n t a i n i n go ra d j o i n i n g s a l i e n tb o u n d a r ys e g m e n ti sr e g a r da ss k i nr e g i o n t h o s ed e f o c u s e ds k i n l i k er e g i o n s i i i 浙江大学博士学位论文 a r ec l a s s i f i e da ss k i nr e g i o ni ft h e i rd i s t a n c eb e t w e e nf o c u s e ds k i nr e g i o na r eb e l o wa g i v e nt h r e s h o l do nc o n d i t i o nt h a tk e e p i n gt h ec o m p a c t n e s so fs k i nc o l o r h u m a ns k i nc o l o rh a sr e l a t i v e l ys m o o t ht e x t u r e ,a n ds k i nr e g i o no fa n yp e r s o n s h o wq u i t es t r o n gh o m o g e n e i t y f o rt h i sr e a s o nas k i nd e t e c t i o na p p r o a c ht h a t i n c o r p o r a t i n gt e x t u r ea n ds h a p ef e a t u r e sh a v eb e e nu s e dt ov e r i f yt h es k i n - l i k er e g i o n s f i n a l l nw ep r o p o s eai n n o v a t i v eo p e nf r a m e w o r kf o rs k i nd e t e c t i o n ,i nw h i c ht h e i m a g e i s s e g m e n t e di n t oh o m o g e n e o u sr e g i o n sb yal o w l e v e lf e a t u r e sf u s i o n a p p r o a c h ,h i 业一l e v e lo b j e c t ss u c ha sd e t e c t e df a c e sa n dh a n d sa r eu s e dt oc h o o s e a p p r o p r i a t es k i n - l i k er e g i o n t h es k i nc o l o rm o d e li su p d a t e d ,a n dt h e nt h eh i g h l e v e l o b j e c t sa r ev e r i f i e d e x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sa l g o r i t h mi sv e r ye f f e c t i v e k e y w o r d s :s k i nd e t e c t i o n ,c o l o rs p a c e , i n v a r i a n c e ,a d a p t i v em o d e l , m u l t i f e a t u r ef u s i o n s k i nc o l o rm o d e l i n g ,i l l u m i n a n t d y n a m i cm o d e l ,f o c a lp l a n e , 浙江大学博士学位论文 1 1 研究背景和意义 第一章绪论 人脸的检测与检索是人脸信息处理及基于内容的检索研究中的一个焦点问题, 是近年来研究十分活跃的一个方向,它在智能人机接口、基于内容的检索、数字视 频处理、安保等领域有着极为广泛的应用价值,自动检测并定位人脸是这类应用的 一个重要的基本前提。与此同时,人脸识别技术开始逐步应用于银行、公安、海关 的监控系统及自动门卫系统等领域,特别是在非接触环境和不惊动被检测人的情况 下,作为最容易隐蔽使用的识别技术,其优越性远远超过已有的指纹等生物检测方 法,成为当今国际反恐和安全防范最重要的手段之一。 手势是人们日常生活中广泛使用的一种交流方式,手势输入作为种自然、肖 接的交互手段在人机交互技术中占有重要的地位。基于视觉的手势识别,是让计算 机能够像人那样看见并理解人的手势,它在人机交互、虚拟现实、手语理解、远程 控制等领域中有着广泛雨重要的应用。基于手势识别等计算机视觉技术的人机交互 接口,具有用户友好、直觉而有效等优点,使人们从传统的键盘和鼠标输入中解放 出来。 随着i n t e r n e t 的蓬勃发展,信息能够更广泛,更有效率地流通,使得我们可以方 便地在任何时间任何地点通过互联网获取大量资讯,而网络带宽的提升以及图象处 理技术的进一步成熟,图象和视频等多媒体内容的访问变得越来越方便,给我们的 生活和学习带来很大的便利。这些海量的图象和视频信息,促进了基于内容的图象 或视频检索( c o n t e n t - b a s e di m a g e v i d e or e t r i e v a l ) 技术的发展,成为当前计算机视觉 研究的热点之一。c b i r 将图象处理和模式识别的一些领域和数据库技术结合起来, 自动提取图象内容,扩展了图象数据库的检索能力和应用领域。当进行与人相关的 检索时,肤色经常作为是一个基本特征。 如此快速便捷地获得大量资讯,是时代的一大进步。然而,目前的互联网络是 不分级的开放空间,在缺乏有效的管理下,儿童及青少年很容易接触到不良信息, 尤其以色情图片和视频对于身心发展尚未健全的儿童及青少年的影响最为严重。通 过在客户端安装诸如a n t i p o r n ”1 i n i s u r f w a t c h 1 7 0 】之类的过滤软件,用来阻拦与色情 网站的链接,让儿童及青少年远离被色情网站的伤害,是常见的解决方案。目前此 类过滤软件主要基于不良关键词和网站黑名单这两种比较原始的技术,利用事前已 建立好的文字资料来过滤网站,而不是基于图片本身的内容,无法阻挡黑名单之外 的网站,在迅速变化的互联网络中,实在难以胜任这一任务。通过图象识别技术, 采用基于内容的图象检索技术来标记裸露内容 5 , 8 9 , 1 2 9 , 1 5 0 , 1 5 t , 1 5 3 , 1 5 7 1 从而过滤掉潜在的 色情图片是理想的解决方案,它能够避免因为网址的更新或变动导致黑名单失效, 第一章绪论 或是网站里没有不适文字而导致的辨识失败。 皮肤检测是人脸检测及后续的人脸识别、表情识别、手势跟踪和识别、人体检 测等计算机视觉任务的基础和关键步骤。另一方面,尽管色情图象和视频在内容上 可能会有很大的差别,但是它们通常包含了大量的裸露的皮肤区块,皮肤区域的准 确分割是后续识别处理的性能保证。 1 2 研究现状 皮肤检测是指在图象中选取对应于人体皮肤区域的过程,人们已经提出了许多 从图象中标记出皮肤的方法,包括基于颜色 1 0 , 1 2 , 1 8 , 2 2 , 5 8 , 6 2 j5 1 、纹理 2 5 j 8 7 ,1 5 0 ,1 5 5 ,1 5 9 】以及 多种手段相融合8 2 , 8 8 , 9 0 , 9 7 , 1 5 3 的综合检测技术。基于颜色的皮肤检测具有简单、快 速、直观,不受物体形状变化、视点改变等影响的优点,也不需要很多的参数,是 皮肤检测中最活跃的研究方向。 皮肤由一个薄的表皮层和较厚的真皮层构成,光在表皮层中被黑色素吸收,在 真皮层中则同对发生吸收和散射。不同个体真皮层的光学特性是基本一致的,黑色 素浓度是引起的肤色差异主要因素,而且这种差异主要表现在亮度上。同种族个体 的肤色相对接近,并明显区别于大多数背景颜色,在颜色空间中形成一个小而紧致 的聚簇,即便是由不同照明条件、人种、年龄和性别个体的大样本库的肤色在r g b 颜色空间中仅占据样本总体积的约1 0 的很小部分【5 ”。实践表明,肤色是一种有效 的特征。颜色空间选择和肤色建模方法是肤色检测的两个关键问题,光照不变性、 模型自适应、模型动态更新以及多线索融合是相关的重要研究课题。 1 2 1 颜色空问选择 肤色检测面临一个合适颜色空间的选择问题,面向设备、面向用户和设备无关 空间是图象处理和计算机视觉领域中常见的三类颜色空间。人们在肤色检测中使用 了多种多样的颜色空间,包括常用的颜色空间,血f l r g b ,x y z ,c i el + a + ,c i e l 幸u ,v ,知觉颜色空间h s v 系列,面向电视传输或视频压缩的y u v 、y i q 和y c b c r 空间,归一化色晶坐标n r g b 和n x y z 等,r g b 、n r g 、y c b c r 和h s v 是其中应用最为广 泛的四个颜色空间。一些作者则提出了比较特别的颜色空间如:l e e 6 6 】利用离散 k a r h u n e n l o e v e 变换得到的各分量不相关的颜色空间,基于归一化n r g 的感知t s l 空 间,“”,对数颜色空间i r g b y 【2 7 】。g o m e z 则利用机器学习手段,采用一个构造性归 纳算法的构造了最优的e r g “3 2 和h g y w r ”1 空间。 一个重要的问题是:在这么多的颜色空间中,有没有肤色检测的最优空间? 大 多数研究者直观地选择了“最优”颜色空间而没有给出严格的证明,只有很少的作 者对所选颜色空间的最优性进行了论证。t e r r i l l o n f “9 ,1 2 0 比较t r g 、x y 、i q 、e s 、a + 、 u * v + 、c i e d s h 、h s 和t s 这9 个色度平面中的肤色非肤色直方图交迭比和高斯分布 模型均方误差,发现t s 最好,其次是r g 和x y 。 浙江大学博士学位论文 一些作者质疑不同颜色空间对肤色检测结果的明显影响,s h i n t 9 4 】以r g b 为基准 比较了:n r g b 、x y z 、y u v 、y i q 、y c b c r 、l + a 铀4 、h s i 、和s c t ,以及去除亮度 分量的2 维色度空间的肤色非肤色可分离性指标,结果表明颜色空间的性能因指标 而异,r g b 具有最高的肤色一非肤色类的可分离性,去除亮度分量将明显降低可分离 性,j a y a r a m t n g 进一步比较了上述空间中的肤色检测性能。a l b i o l t l - 】从理论上证明了 最优的皮肤检测算法是颜色空间无关的。 1 2 2 统计肤色模型 根据对成像条件的了解情况,肤色模型可分为基于物理的模型和统计模型,而 统计模型则可进一步分为:参数、非参数和半参数三种类型。参数模型具有一个明 确的函数形式,能够通过调整其可调参数来得到与样本数据集相适合的模型,而非 参数模型没有任何的特定形式。半参数方法一般指神经网络,它们具有相同的函数 形式,却有不同数目的隐式可调参数。 阈值边界模型由一组阈值规则构成,是最简单的非参数模型,适用于对肤色分 类精度要求低,光照条件比较稳定的场合;其主要困难是确定合适的颜色空间及良 好的决策规则。与此相反,基于归一化直方图的查找表是最精确的模型,它的每个 柄( b i n ) 直接存储了肤色概率,能够精细地描述肤色分布的概率密度丽不管分布的内 在复杂性,并隐含了分布的多模式复杂特性。非参数模型具有分类速度快的明显优 势,不能进行内插和数据归纳是其主要缺陷。 不同于非参数模型,参数模型提供了个肤色分布的非常简洁而明确的表示, 具有低空间复杂性以及相对少的训练集的优势,能够通过内插来推广不完全的训练 数据,单模式高斯模型、高斯混合模型和椭圆模型是三种常用的参数模型。不过, 参数模型的拟合优度和性能很大程度上依赖相应颜色空间的肤色分布形状。 以神经网络为代表的半参数模型同时满足了模型精度与存储空间的折中需求, 兼具参数模型和非参数模型的优点,占据的空间小,模型精度高,运行速度较快, 其中以多层感知机和自适应组织映射网络的应用最为广泛。神经网络模型本质上是 一种矢量量化手段,不过,其决策规则也隐含在网络结构中,网络神经元数目的确 定也需要一定的经验。 1 2 3 基于物理的模型 基于物理的模型从皮肤的光学特性出发,结合已知的照明条件以及照相机特性, 估计肤色可能的分布范围,试图实现肤色的光照不变性。c o t t o n 2 3 , 2 4 1 根据皮肤的层 状结构光学属性,基于k u b l e n k a m u n k 理论,估算出正常皮肤的所有可能的颜色, 发现所有肤色在三维颜色空间中处于由两个具有生理意义的轴张成的平面上。然而, 不同部位黑色素含量的差异,光源方向和位置引起的阴影以及皮肤表面的汗渍和油 渍扩大了肤色的可能范围,造成估计精度大打折扣。 a n g e l o p o u l o u 2 1 发现不同个体的皮肤反射系数曲线在归一化后具有很好的相关 第一章绪论 性,而进一步的研究表明5 阶g m m 能够很好地描述反射系数曲线。在已知光源和照 相机参数等先验知识的条件下,采用反射系数模型可减少已知时变光照的影响,从 而获得颜色恒常性,实现好的肤色分割效果。s t s r r i n g t “如8 】使用皮肤反射模型、光 源和照相机参数来预测肤色在色度平面的分布位置,作者分析了不同人种的皮肤在 照明相关色温从1 5 0 0 k 至r 2 5 0 0 0 k 变化时的肤色分布情况,发现肤色在r g 平面的分布 范围形成一个紧随黑体辐射普朗克轨迹的小区域,称之为“肤色轨迹”,【1 0 9 进一 步考虑了两个不同光源混合照明下形成的轨迹。s o r i a n o t 叫0 3 】使用肤色轨迹来约束 肤色的搜索范围,实现在不同光照条件下自适应肤色分割。遗憾的是,肤色轨迹是 与照相机的光学特性紧密相关的。 1 2 4 模型自适应和动态更新 样本肤色在颜色空间呈现出很不规则的形状,并且内嵌在非肤色中间形成大量 交迭,给肤色分割带来很大的挑战。对于特定图象而言,肤色仅仅占据非常小的范 围,能够用比较简单的模型描述。光照不变性和自适应是解决全局一般模型和局部 样本分布之间的不一致性的两种主要手段。光照不变性主要思想是对光照条件进行 补偿,将其转换到标准光照环境,而自适应则根据环境上下文调整模型。从粗到精, 逐步细化,是类常见的自适应手段。假定通用模型对所有可能的肤色有着非常广 泛的覆盖,针对分割后的各个区域,分别重新估计模型参数,从而实现模型精细化。 视频序列相邻帧之间的皮肤区域在光照、位置和姿态等方面具有一定的连续性, 利用这一特性建立动态模型。动态模型是适应某一具体环境的,不需具备静态模型 的一般性;其次,肤色分布随着时间改变,模型必须能够进行实时自我更新以匹配 这一改变。基于高斯的模型通过调整几个参数就能实现分布变化的更新,从而得到 了广泛应用,动态直方图则是常见的非参数动态模型。 1 2 5 多特征融合 光照条件、照相机特性等对肤色的影响以及个体肤色差异,肤色与非肤色具有 内在的重叠性,仅仅依靠象素颜色来检测皮肤将导致很高的误检率。皮肤本身具有 良好的平滑特性,利用这一线索,结合邻域相关的其它特征能够有效提高皮肤分类 性能。另一方面,肤色检测通常是人脸、手部等其它目标的手段,而人脸等高层目 标反过来又能指导皮肤区域的检测,并校验和更新肤色模型i ”9 l 引】。 1 3 研究的内容 本文系统地比较分析了基于颜色的皮肤检测技术,包括颜色空间选择、建模方 法比较分析、基于物理的模型、动态肤色建模,以及光照不变性和自适应算法等。 基于大肤色样本库,构造了完善的评估平台,为颜色空间和模型的选择提供了一般 性指导。颜色与纹理等其它特征的融合,与高层目标及其它先验知识的结合也在本 文得到了一定的讨论。 一4 浙江大学博士学位论文 颜色空间的选择相当于模式识别中的特征选取,对于基于颜色的皮肤检测是非 常重要的。许多研究者试图找到一个最优的颜色空间,引发了最优空间是否存在的 争论。肤色检测中采用了哪些各种颜色空间? 有什么优缺点? 皮肤颜色的差异主要 在于亮度而不是色度,人们纷纷采用了忽略亮度信息的纯色度空间,这种忽略合理 吗? 在定义了基于空间分布本身的肤色类内聚性和肤色。非肤色可分离性两类指标 后;基于一个大的肤色样本库,比较不同颜色空间的相应性能指标,并以此指导肤 色空间的选择。 肤色建模方法是肤色检测的另一关键问题,类似地,也有关于模型性能的比较。 基于构建好的肤色样本库,选择最典型的肤色模型,分别采用不同精度的模型参数, 在所有颜色空间中比较不同模型的肤色分类性能,从而构成关于不同颜色空间和模 型的完善性能评测体系。 同大多数基于颜色的图象分割问题一样,基于颜色的皮肤检测同样存在颜色恒 常性问题。环境照明的变化、不同的照相机特性以及噪声都对肤色有很大的影响, 而且个体肤色也各不相同的。肤色检测需要适应这些变化,针对肤色检测,主要有 光照不变性和自适应两种主要手段。光照不变性主要思想是对光照条件进行补偿, 将其转换到标准光照环境,而自适应方法则基于邻域特征或其它先验知识来调整模 型参数。利用视频序列相邻帧之间的皮肤区域在光照、位置和姿态等方面具有一定 的连续性,可以建立动态更新模型。 感兴趣区域内的人像总是位于成像系统焦平面上,当景深比较小时,人体的周 围环境将因散焦而变得模糊,焦平面的检测能够有效减少类肤色搜索区域。 由于环境对肤色的影响以及肤色与非肤色的内在重叠性,仅仅依靠颜色来检测 皮肤是不够的,必须与纹理等邻域相关的底层特征相结合,引入其它线索,与高层 目标相结合;研究了多特征融合、目的与手段互为印证的开放式体系结构。 1 4 论文组织 本文共分为六章,各章的内容如下: 第一章是绪论,介绍了肤色检测研究的应用背景、研究目的以及研究内容。对 皮肤检测的研究方法、主要技术以及存在的问题等几个方面进行了全面阐述。肤色 检测包括颜色空间和模型选择、模型自适应和光照不变性、动态更新以及多特征融 合等几个方面。 第二章研究肤色检测的颜色空间选择。首先列举了肤色检测中的所使用的各种 颜色空间,并根据各自的特点及变换关系进行分类,在定义了肤色内聚性和肤色一 非肤色可分离性指标的基础上,基于一个包含不同人种个体在不同光照条件下的 1 8 9 4 张图片的样本数据集,考察了包含所有常用颜色空间的1 5 个3 维颜色空间以及1 5 个不含亮度的2 维“纯色度”空间的相应指标,并分析了去除亮度信息和不同量化等 第一章绪论 级对可分离性的影响,得到了关于最优肤色空间选择的一般结论。 第三章研究肤色建模技术。根据肤色模型的应用环境和数据来源进行分类,首 先介绍了基于统计的三类常见方法及其优缺点,接着从皮肤的生理结构和光学特性 入手介绍了皮肤光谱估计技术,并结合成像条件进一步介绍了基于物理的肤色模型 和肤色轨迹。着重比较分析了s p m 、g m m 、s o m 干n s v m 这4 个典型的整体分类性能, 并比较了决策策略和不同精度参数对模型性能的影响,给出了肤色建模方法的指导 意见。第三章与第二章一起构成了一个完善的颜色空间和模型的评测体系。 第四章研究环境变换问题。首次介绍了光照不变性和自适应模型这两神针对环 境变换的策略,并指出各种光照补偿方法和自适应模型的优缺点,比较分析典型的 应用于视频序列的动态更新方法。提出了一个基于焦平面的肤色检测算法,针对实 际图象中很少有完整边界的缺陷,提出了基于强边界段检测的类肤色区域分类算法, 并根据聚焦皮肤区域的内聚性从散焦皮肤区域中进一步提取出皮肤区域。 第五章讨论了多特征融合问题。首先介绍了纹理等邻域特征在皮肤检测中的应 用,以及与高层目标的结合。提出了一个以光滑子区域分割为目的的底层多特征融 合技术,与人脸、手部等高层目标相结合、互相印证的反馈结构,以及焦平面、运 动等多线索筛选体系,构成一个开放式框架。并以肤色、纹理为底层特征,人脸为 高层目标,焦平面为线索验证了该皮肤检测体系的有效性。 第六章是总结和展望。总结了本文的工作和创新点,指出需要进一步进行的实 验和研究工作。 - 6 浙江大学博士学位论文 第二章颜色空间选择 颜色特征是图象内容的重要组成部分。在人类的认知活动中,色彩起着非常 重要的认知作用,并且和人类的情感相联系。每一种物体都有其特有的颜色特征, 人们往往以此为依据来分辨物体。 本章主要研究肤色检测的关键问题之一一一颜色空间的选择。首先列举了肤 色检测中的所使用的各种颜色空间,并根据各自的特点及变换关系进行分类,在 定义了肤色内聚性和肤色非肤色可分离性指标的基础上,基于一个包含不同人 种个体在不同光照条件下的1 8 9 4 张图片的样本数据集,考察了包含所有常用颜 色空间的1 5 个3 维颜色空间以及1 5 个不含亮度的2 维“纯色度”空间的相应指 标,并分析了去除亮度信息和不同量化等级对可分离性的影响,得到了关于最优 肤色空间选择的一般结论。 2 1 引言 颜色是人类视觉系统对可见光的感知结果,人类只能感知自然界中波长大约 在3 8 0 7 8 0 n m 之间的很小范围内的电磁波,如图2 1 ,称之为可见光。现代科学 研究证实,人的视网膜上存在三种不同的锥状细胞,分别对不同波段的光十分敏 感,并产生红、绿、蓝的视觉感受。当色光投入眼睛时,它同时刺激三种锥状细 胞,其结果产生了对该可见色光的感觉。虽然人们可以通过光谱功率分布来精确 地描述颜色,但眼睛对颜色的采样仅仅使用相应于红、绿和蓝三种锥体细胞,这 种描述方法具有很大冗余。锥体细胞获得的信号通过大脑产生不同颜色的感觉, 可以通过色调、饱和度和亮度这三个特性来描述,它们是颜色固有的并且是截然 不同的特性。其中,色调指颜色的外观,对应主波长,用于区别颜色的名称或颜 色的种类;亮度是光作用于人眼时引起的明亮程度的感觉,一般来说,色光能量 大则显得亮,反之则暗;饱和度则是色光纯度的反映,对于同一色调的彩色光, 其饱和度越高,颜色就越深,或越纯;而饱和度越小,颜色就越浅,或纯度越低。 色调与饱和度合称为色度,它既说明彩色光的颜色类别,又说明颜色的深浅程度。 图2 1电磁波范围与可见光谱 根据三基色原理,国际照明委员会( c i e ) - t :19 31 年选择波长分别为7 0 0 n m 、 5 4 6 1 n m 和4 3 5 8 r i m 的光谱色作为红、绿和蓝基色光,并以相等数量的三原色刺 - 7 - 第二章颜色空间选择 激值匹配出等能白光来确定三刺激值单位,综合不同实验者的实验结果,得到了 代表人眼2 。视场的平均颜色视觉特性的r g b 颜色匹配函数,如图2 2 所示。 厂、 | 7 z | 曩0 、 图2 , 2c i e r g b 光谱三j | i 0 激值图2 3c i e x y z 光谱三刺激值 从图2 2 可以看到,使用红、绿和蓝三基色匹配4 3 8 1 n m 和5 4 6 1 r i m 之间的 可见光谱颜色时,需要使用绿基色的负值,这就意味匹配这个区段的光谱色时, 混合颜色需要使用补色才能匹配。任何基色系统都可以从一种系统转换到另一种 系统,因此人们可以选择想要的任何一种基色系统,阻避免出现负值。c i e 采用 了假想的x 、y 和z 三种基色,建立了新的c i ex y z 颜色系统,x 、y 和z 基 色具有如下性质:1 ) 所有的x 、y 和z 值都是正的,匹配光谱颜色时不需要一种 负值的基色;2 ) 用y 值表示人眼对亮度的响应;3 ) x 、y 和z 是相加基色,每一 种颜色都可以表示成x 、y 和z 的混合。根据视觉的数学模型和颜色匹配实验结 果,c i e 制定了一个称为“1 9 3 1c i e 标准观察者”的规范,实际上是用三条曲线 表示的一套颜色匹配函数,如图2 3 。任何一种彩色c 都可由x 、y 和z 三基色 单位来表示,即c = x x + y y + z z ,系数x 、y 和z 归一化: x : 墨 。: 兰 z : 兰 ( 2 1 ) x 2 x + y + z y 2 x + y + z 2 。x + y + z l 2 1 ) 由于卅心= 1 ,因而可用删直角坐标系来表示各种色度,这样的平面图形就 是c t e 色度图,如图2 4 。所有的色谱都位于马蹄形曲线上,光谱曲线以及连接 光谱两端的直线所构成的马蹄形内包含了用物理方法能实现的所有颜色。利用色 度图,既可以计算任何颜色的主波长和纯度,而且还可以用来定义颜色域。 图2 4c i e1 9 3 1 - x y 色品图 8 一 目萧hi 浙江大学博士学位论文 2 2 皮肤检测中所采用的颜色空间 颜色空间是颜色的一种数学表示方法,人们用它来指定和产生颜色,使颜色 形象化。对于人来说,习惯通过色调、饱和度和明度来定义颜色;对于显示设备 来说,人们使用红、绿和蓝磷光体的发光量来描述颜色;对于打印或者印刷设备 来说,则使用青色、品红色、黄色和黑色的反射和吸收来产生指定的颜色。颜色 空间通常用三维模型表示,空间中的颜色用三维坐标来指定,这些参数描述的是 颜色在颜色空间中的位置,但并没有告诉人们是什么颜色,其颜色要取决于使用 的坐标。人们已经构造了各种各样的颜色空间,以适应不同的应用场合。 2 2 1r g b 颜色空间 r g b 是基于视觉三原色原理的一个加法模型,源于1 9 3 1c i er g b 系统,通 过三种不同数量的红、绿、蓝颜色光互相组合,能够较好地匹配自然界颜色,广 泛地应用于数字图象处理和存储,是其它颜色空间的变换基础。在r g b 空间中, 采用三个互相正交的坐标轴来分别表示红、绿、蓝参数,原点处的亮度为0 ,亮 度值随坐标值的增大而上升。附图1 ( a ) 表示r g b 颜色立方体,立方体中的每个 点的坐标都代表某种特定的颜色。r g b 颜色空间直接模拟了人眼的三种敏感细 胞,面向硬件,在计算机图形图象领域以及肤色检测中受到普遍欢迎,文献 1 8 ,3 9 ,5 1 ,9 1 ,1 4 1 等采用了r g b 颜色空间。各通道间高度相关、亮度与色度混合、 非均匀感知以及具有设备和成像条件依赖性是该空间的主要缺陷。 2 2 2x y z 颜色空间 x y z 来源于c i ex y z 系统,其坐标有时也叫做c i e 刺激值,表示三种基色 的量( 用百分比表示) ,其中y 表示亮度,x 、z 表示色度,实现了亮度与色度分 离。x y z 系统是色度学的实际应用工具,几乎关于颜色的一切测量、标准以及 其他方面的延伸都以此为出发点,是颜色视觉研究的有力工具。x y z 系统是设 备无关的,与r g b 之间具有线性变换关系: 0 1 7 7 0 5 8 7 0 0 5 6 2 2 3 归一化色品坐标 归一化r g b ( n r g b ) 表示r g b 三个通道之间的比例关系:,= 彤豫+ g + 剀, g = g 俾+ g + 引,b = b ( r + g + b ) 。由于r + g + b = l ,一般只需其中的r 和g ,以减少 空间维数。该归一化色度坐标对亮度的依赖性大大减少,对光照方向和表面法向 有一定的不变性弘”,并具有变换简单的优点,得到大量研究者的青睐 【l o ,4 _ 2 67 2 81 0 0 呲1 0 6 1 0 9 1 引6 2 1 。从r g b 变换到n r g b 过程中,不可逆转的损失了 9 22 1,j r g 口 rijjjjijjjjiu h 钳 2 1 9 o o o 9 9 o l 9 o 6 2 o 0 0 0 。,l i 石y z 。l 第二章颜色空间选择 亮度信息;当亮度很小时,其比例值将变得不稳定。类似地,归一化色品坐标 n x y z 表示x y z 的三个通道之间的比例关系,其中x 、y 完全描述了一个色品点。 2 2 4y u v ,y i q ,y o b o r 和y e s 颜色空间 y u v 、q 和y c b c r 等颜色空间是为电视系统开发的,亮度分离的颜色空 间。y u v 用于p a l 和s e c a m 模拟彩色电视制式,q 用于n t s c 模拟彩色电 视制式,y c b c r 用于数字电视,在i t u 。rb t 6 0 1 和b t , 7 0 9 等推荐标准中有明确 的定义。y u v 空间的亮度信号y 和色度信号u v 是相互独立的,可对这些单色 图分别进行编码。彩色电视采用y u v 空间正是为了用亮度信号y 解决彩色电视 机与黑白电视机的兼容问题,使黑白电视机也能接收彩色信号。w v 表示法的 另一个优点是可以利用人眼的特性来降低数字彩色图象所需要的存储容量,人眼 对彩色细节的分辨能力远比对亮度细节的分辨能力低,通过降低彩色分量的分辨 率,甚至可以将几个相邻象素不同的彩色值当作相同的彩色值来处理,可以实现 在不明显降低图象主观质量的条件下,有效地减少图象存储容量,提高通道的传 输效率

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论