（计算机应用技术专业论文）人像照片背景替换方法研究.pdf

人像照片背景替换方法研究 摘要 人像照片背景替换技术是在人像照片中，运用彩色图像分割技术 对照片进行处理，提取人像并分离背景，将分离的背景替换成其他颜 色或者其他背景，它广泛应用于人事、公安、海关等部门的证件录入 系统、照片更新系统，影像处理系统等。 在分析比较大量彩色图像分割算法的基础上，本文将一种改进的 模糊聚类方法( f f c m ) 运用于人像图像分割。这种方法先利用分层聚 类把图像数据分成一定数量的色彩相近的子集，再利用子集中心点和 分布密度对图像进行模糊聚类。然后，本文提出了人机交互方式的人 像目标提取方法。这种方法旨在能够准确地还原模糊分类后的人像目 标，并使背景部分替换成其他颜色。为了达到自动的背景替换的效果， 本文将一种基于y c b c r 空间的人脸肤色检测算法运用于人像目标提 取。最后，在分析现有的图像合成算法的基础上，本文设计了一种新 的数据融合法将两种不同的合成算法结合起来，最终使人像目标与背 景图像有机的合成在一起，从而实现人像照片的背景替换。 关键词：图像分割，模糊聚类，图像目标提取，图像合成 浙江工业大学硕士论文 t h er e s e a r c ho np o r t r a i tb a c k g r o u n d s e g e n t p 汀i o na l g o r i t h m a b s t r a c t p o r t r a i t b a c k g r o u n ds e g m e n t a t i o na p p l i e s t h e c o l o r i m a g e s e g m e n t a t i o na l g o r i t h m st ot h ep o r t r a i ti m a g e s ，i no r d e rt os e g m e n tt h e p o r t r a i tf o r e g r o u n df r o mt h eb a c k g r o u n d ，a n dc h a n g et h ec o l o ro ft h e b a c k g r o u n da tt h em e a n t i m e i tc a nb ew i d e l yu s e df o rt h es y s t e m so f t h e c e r t i f i c a t em a n a g e m e n t ，p h o t op r o c e s si nt h ed e p a r t m e n to fp e r s o n n e l ， p o l i c ea n dc u s t o m ，e t c t h i sp a p e ra n a l y s e sa n dc o m p a r e st h er e s e a r c ha c t u a l i 够o ft h ec o l o r i m a g es e g m e n t a t i o na l g o r i t h m s ，a n dt h e na p p l i e sa ni m p r o v e df u z z y c m e a n sc l u s t e r i n g ( f f c m ) t ot h ep o r t r a i tb a c k g r o u n ds e g m e n t a t i o n f i r s t ，i tu s e st h eh i e r a r c h i c a lc l u s t e r i n g ，w h i c hc o u l dr e d u c et h eh e a v y c o m p u t a t i o nl o a dw h e nc l u s t e r i n g al a r g en u m b e ro fd a t ap o i n t s ，t o p a r t i t i o nt h ei m a g ed a t ai n t oac e r t a i nn u m b e ro fs u b s e t sw i t hs i m i l a r c o l o r t h e n ，t h e s ec e n t e r so ft h es u b s e t sa n dt h en u m b e ro fp o i n t si nt h e n e i g h b o r h o o do fc e n t e r sa r eu s e di nf c m b e s i d e s ，t h i sp a p e rp r o p o s e sa m e t h o do fm a n u a lo b j e c ts e l e c t i o n ，w h i c hc o u l dq u i c k l yr e v e r tt h e o r i g i n a lp o r t r a i to b j e c tw h i c hh a v i n gb e e nf u z z ys e g m e n t e d ，a n dc h a n g e 浙江工业大学硕士论文 t h ec o l o ro ft h eb a c k g r o u n do b v i o u s l y i no r d e rt oi m p r o v et h ea u t o m a t i c d e g r e e o fs e g m e n t a t i o n ，t h e p a p e rs u g g e s t s an e wm e t h o do fo b j e c t s e l e c t i o nb a s e do nc o m p l e x i o nt h a ti si nt h et r a n s f o r m e dy c b c rc o l o r s p a c e a tl a s t ，t h i sp a p e rd e s i g n s an e wm e t h o do fc o l o r i m a g e s y n t h e s i z i n g ，w h i c h c o m b i n e st w od i f f e r e n t i m a g es y n t h e s i z i n g a l g o r i t h m s ，s oa st os y n t h e s i z et h eo b j e c ti m a g ea n dt h eb a c k g r o u n d ，a n d f i n i s h e st h ep o r t r a i tb a c k g r o u n ds e g m e n t a t i o n k e yw o r d s ：i m a g es e g m e n t a t i o n ，f u z z yc l u s t e r i n g ，o b j e c ts e l e c t i o n ， i m a g es y n t h e s i z i n g i i i 浙江工业大学 学位论文原创性声明 本人郑重声明：所提交的学位论文是本人在导师的指导下，独立进行 研究工作所取得的研究成果。除文中已经加以标注引用的内容外，本论文 不包含其他个犬或集体己经发表或撰写过的研究成果，也不含为获得浙 江工业大学或其它教育机构的学位证书而使用过的材料。对本文的研究作 出重要贡献的个人和集体，均已在文中以明确方式标明。本人承担本声明 的法律责任。 作者签名：昊笨日期：啡 月坫目 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权浙江工业大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密口。 ( 请在以上相应方框内打4 ) 作者签名： 导师签名： 日期：聊6 年 e l 期：m 6 年 月砧日 月垴日 色力 媒舭 浙江工业大学硕士论文 1 1 引言 第一章绪论 人眼接受的可视信息约占人类感知信息的7 0 以上，包括：视频、活动图像、 静止图像、文本、动画等等。由于图像与人们的日常生活息息相关，从人类诞生 之时就开始了对图像的研究。但是通常我们所看到的图像大多来自光电设备扫描 获得的模拟信号，如电视、录像或照相机等设备。数字图像技术只是在近几十年 迅速发展起来的新领域。 电子技术的发展使信号的数一模转换成为现实，计算机技术的发展使大规模 运算成为可能，因此数字图像处理技术得到了快速发展。现今数字图像处理技术 已发展成信息技术的重要分支，包括图像压缩编码、图像理解、图像识别、图像 跟踪、图像重建等方面。 电脑、数码相机、数码录像机、摄像头等电子设备的广泛应用和i n t e m e t 网 络的快速发展，使数字图像逐渐成为人们生活中的重要部分。为适应数字图像应 用的需求，各种图像处理系统得到了研究发展。 图像处理系统根据应用场合的不同可以分为专用系统和通用系统。专用系统 是指针对某个专用领域的应用设计处理系统，如军事图像处理、遥感图像处理、 医学图像处理、机器人视觉、安全与检测( 指纹、人脸、车牌识别) 等。通用系 统是指满足普通客户需求，实现数字图像的制作处理等操作的系统，如美国 a d o b e 公司的p h o t o s h o p 和图像浏览器a c d s e e 等等。 人像照片背景替换技术是在人像照片中，运用彩色图像分割技术对照片进行 处理，提取人像并分离背景，将分离的背景替换成其他颜色或者其他背景，它是 图像处理系统的重要内容之一，其技术包括两个层面，一个是图像分割，另一个 是图像合成。人像照片背景替换技术是照片处理系统中的一个重要方面，它广泛 应用于人事、公安、海关等部门的证件录入系统、照片更新系统等，也可以应用 于影像处理系统，实现背景图像和照片之间的快速合成、照片图像的艺术处理。 现今市场上流行的集成了通用人像照片背景替换技术的图像处理系统基本以满 足图像制作和特效处理为目标，系统主要应用于艺术设计、广告设计和影像制作 等方面。然而实现人像照片背景替换的系统还有不少不足之处。一方面图像分割 功能的智能化比较低，很大程度上需要用户手动描出需要分割的区域，处理效率 比较低。另一方面图像合成的效果不太理想，只是简单的粘贴关系，得到的合成 浙江工业大学硕_ l 论文 图像让人觉得有一点人工合成，不大自然的感觉，这是因为人物与背景的边界处 常常有锯齿状或有色框存在，达不到合成效果。存在这些问题的原因主要是图像 分割和图像合成技术还需要完善。 图像分割是图像分析和模式识别的首要问题，也是实现众多图像处理操作的 经典难题之，它是图像分析和模式识别系统的重要组成部分，并决定图像的最 终分析质量和模式识别的判别结果。所谓图像分割是指将图像中具有特殊意义的 不同区域分开来，并使这些区域相互不相交，且每个区域应满足特定区域的一致 性条件。比如对同一物体的图像，一般需要将图像中属于该物体的像素( 或物体 特征像素点) 从背景中分割出来，将属于不同物体的像素点分离开1 3 ”。 图像合成是通过特定算法实现多幅图像的合成，以达到某种预期效果，它不 同于般的图像处理技术，要涉及到不同图像之间的运算。 1 2 图像分割技术及图像处理系统的研究现状与发展趋势 1 2 1 图像分割技术的研究现状与发展趋势 随着科技水平的不断发展和工业、国防、医学，资源和艺术等领域应用需求 的扩大，图像处理技术获得了飞速的发展。在图像处理技术的发展过程中孕育和 发展了图像增强与图像恢复、图像理解与图像识别、图像重建技术、虚拟现实和 数字图像编码等技术。 在众多图像处理技术中，图像分割是其基本问题之一，其要点是：把图像划 分成若干互不交叠区域的集合，这些区域要么对当前的任务有意义，要么有助于 说明它们与实际物体或物体的某些部分之间的对应关系。比如对同一物体的图 像，一般需要将图像中属于该物体的像素( 或物体特征像素点) 从背景中分割出 来，将属于不同物体的像素点分离开。分割出来的区域应该同时满足： ( 1 ) 分割出来的图像区域的均匀性和连通性。其中，均匀性指的是该区域 中的所有像素点都满足基于灰度、纹理、彩色等特征的某种相似性准则，连通性 是指该区域内存在连接任意两点的路径。 ( 2 ) 相邻分割区域之间针对选定的某种差异显著性。 ( 3 ) 分割区域边界应该规整，同时保证边缘的空间定位精度。 假设一幅图像中所有像素的集合为f ，有关均匀性的假设为p ( ) 。分割定义 把f 划分为若干个子集碱，最，s 。 ，其中每个子集都构成一个空间连通区域。 以上四个条件进行数学描述，即 2 浙江工业大学硕士论文 ( 1 0 s ，= f ( 2 ) s ，n s ，= 由，( f ) ( 3 ) p ( s ，) = t r l i e ，( w ) ( 4 ) p ( s ，u s ，) = f a l s e ，( f ) 如果加强分割区域的均匀性约束，分割区域很容易产生大量空白和不规整的 边缘：若过分强调分割后不同区域之间的性质差异，则会造成非同质区域的合并 和丢失一部分有意义的边界。图像处理和机器视觉界的研究者们为了研究满足上 述定义的分割算法作了长期的努力。 图像分割的应用非常广泛，几乎出现在有关图像处理的所有领域，图像分割 的准确性直接影响后续任务的有效性，因此具有十分重要的意义。 迄今为止，研究者们已经提出了上千种各种类型的分割算法( 2 1 p 2 4 1 ，而且近 年来每年都有上百篇相关研究成果发表。但是，现有的方法多是为特定应用设计 的，有很大的针对性和局限性，对图像分割的研究还缺乏一个统一的理论体系。 f u 和m u i 2 5 1 从细胞学图像处理的角度将图像分割技术分为三大类：特征阈值或 聚类、边缘检测和区域提取。一个更加细致的分类里，h a r a l i c ka n ds h a p i r o 2 6 】将 所有算法分为6 类：测度空间导向的空间聚类、单一连接区域生长策略、混合连 接区域生长策略、中心连接区域生长策略、空间聚类策略和分裂合并策略。依据 算法所使用的技术或针对的图像，p a l l 27 】也把图像分割算法分成了6 类：阈值分 割、像素分割、深度图像分割、彩色图像分割、边缘检测和基于模糊集的方法。 但是，该分类方法中，各个类别的内容是有重叠的。为了涵盖不断涌现的新方法， 有的研究掣2 3 j 将图像分割算法分类以下6 类：并行边界分割技术、串行边界分 割技术、并行区域分割技术、串行区域分割技术、结合特定理论工具的分割技术 和特殊图像分割技术。而在较近的篇综述中，更有学者 2 9 1 将图像分割简单的 分割数据驱动的分割和模型驱动的分割两类。 因此，图像分割的算法都是针对某一类型的图像或某具体应用的，通用方 法和策略仍面临巨大的困难，同时并不存在一个判断分割是否成功的统一标准。 所以，针对单一简单颜色背景或者复杂背景的各类人像照片，如何采用适当的彩 色图像分割方法，正是本文要研究的重点和难点。 1 2 2 图像处理系统的现状分析与发展趋势 图像处理系统是应用图像处理技术满足用户需求的应用系统。根据图像数据 的处理流程，图像处理系统可以表述为图1 1 所示的模型。首先从成像设备获取 图像信息；然后对图像信息作相应的预处理，提高图像的质量；其次对图像进行 浙江工业大学硕 论立 分割，获得目标区域；再次分析图像目标区域，提取目标特征；最后根据领域知 识进行图像的识别和理解，并将结果显示出来。 根据图像处理系统的应用范围可以将其分为两类：专用图像处理系统和通用 图像处理系统。专用图像处理系统主要是指满足某类专业需求的处理系统，一般 它与专业知识密切结合，从中获得足够的先验知识建立知识库。系统一般包括了 从图像采集设备获得原始连续信号、进行量化、增强处理以获得质量较好的数字 图像到提取图像特征和利用系统知识库进行模式识别，获得处理结果的整个过 程。而通用图像处理系统是指为满足普通客户的需求而设计图像处理系统。该类 系统一般是对己经量化的数字图像进行操作，采用各种数字图像处理的知识，改 变图像的显示效果或者制作新的图像。通用图像处理系统不同于专用图像处理系 统，它一般没有应用邻域的专业知识作为背景，是利用纯图像处理知识解决问题。 不论是那种类型的，图像处理系统都符合图1 1 所示的模型，只是系统实现的侧 重点不同。 图1 1 数字幽像处理模删图 由于本文是针对通用图像处理系统技术的研究，因此需要对这类系统更加深 入的研究。现今流行图像处理系统已经解决许多方面的技术问题，但对于普通的 计算机用户来说图像处理还是一件非常复杂的操作。综合分析现有的已经集成了 背景替换功能的图像处理系统可以发现存在以下缺点： ( 1 ) 智能化程度低：由于图像处理技术还不是很完善，因此图像处理系统 的操作必须有用户的介入才能进行。采用交互操作的模式虽然使图像处理变得灵 活，但是增加了图像处理的操作难度。例如在p h o t o s h o p 里，要对一幅人像照片 进行人像分割时，可以使用p h o t o s h o p 集成的魔棒工具，但是要不断地调整容差 参数( 颜色取样时的范围) ，还要选择其他另外的选项，十分不方便；并且魔棒 选择的人像区域常常是不完整的，是分散的，人的脸部与头发、衣服无法同时选 中，无法适用于人像和背景相对复杂的情况，所以分割效果不佳。 ( 2 ) 图像处理操作复杂，往往要同时设置好几个选项，还要进行不断的调 整，这就使对操作人员要求较高，操作人员需要经过专业的培训。普通计算机用 户难以掌握，不利于图像处理技术的推广应用。 随着图像处理在日常生活中的应用日益广泛，图像处理系统必将获得更为广 泛的发展。信息技术、计算机技术和数字信号处理技术的快速发展，为图像处理 系统的发展提供了充分的技术基础。图像处理系统将朝着以下几个方面发展： 4 浙江工业大学硕l 论文 ( 1 ) 智能化 智能化是图像处理系统发展的必然趋势，目前图像处理过程大多采用用户交 互操作的方式实现。随着图像处理技术的发展，图像处理系统的智能程度必将提 高。智能化主要是减少图像处理的难度，提供从图像目标选取到图像显示效果的 自动匹配功能，智能化的结果就是使图像处理过程“傻瓜”化。智能化程度的提 高有利于图像处理技术的推广。 ( 2 ) 专业化、集成化 专业化和集成化是统辨证的，专业化表示图像处理系统将朝着满足某一类 需求的专用系统发展，使该系统成为该领域的专家系统：集成化表示图像处理系 统不仅仅是单一的图像处理工具，它应该集图像处理、信息交换和图像浏览等为 一体。 ( 3 ) 网络化 随着网络传输速度的提高，i n t e m e t 以成为人们生活中的重要方面。i n t e r n e t 的发展提供了资源共享和信息交换的机会。为了加速获得信息、发布信息，图像 处理系统应充分利用网络技术使图像处理系统具有图像搜索，图像下载和图像传 输等功能的系统。 1 3 人像照片背景替换技术的研究现状 目前，采用人像照片背景替换技术的照片处理系统基本是国外的，例如柯达 的照片处理系统就集成了人像照片背景替换技术。在国内，研究这一领域的人并 不多，主要是重庆大学的李祖枢教授和他的“自拍乐”网上自助照相系统研发团 队，其中，刘恒在其2 0 0 4 年的硕士毕业论文中提出了基于蓝色向量聚类特征的 人像提取技术和基于先验知识的阈值获取技裂“，通过对人像与背景形成的不同 聚类构成直方图，并根据先验知识的阈值获取算法进行图像分割，以提取人像。 但是这种方法要求人像照片的背景主要是蓝色或者其他单色，而且人像与背景的 色彩相异度要很大，这样就难以适用于复杂背景的情况。 与人像照片背景替换相关研究最多的应该是人脸检测和定位方面，人脸识别 研究的历史已经很长了，最早可以追溯到1 9 世纪后期，f r a n c i sg a l t o n 就曾对此 问题进行过研究，他采用组数字代表不同的人脸侧面特征来实现对人脸侧面图 像的识别 1 5 1 。2 0 世纪9 0 年代以前，典型的人脸识别技术始终是用人脸正面或侧 面的特征点之间距离量度，而且早期的人脸识别多集中于对侧影图像的研究。进 入九十年代，由于高性能计算机的出现，人脸识别方法有了重大的突破，真正进 入了机器自动识别阶段，人脸识别的研究得到了前所未有的重视【l5 j 【l “。这段时 浙江工业大学硕士论文 间，国际上发表的关于人脸识别的文章也大幅度增加。这个阶段人们的研究也约 来越深入，开始研究带一定深度旋转的人脸识别，动态视频图像序列的人脸识别。 其中，“面相检测与识别核心技术”这一国家8 6 3 项目取得了重大突破，标志着 我国在人脸识别这一当今热点科研领域掌握了一定的核心技术1 1 7 。 在众多人脸检测算法中，基于特征的方法是比较常用的一种方法。在光照和 姿势不同的情况下，眉毛、眼睛等面部特征及其之间的关系是不会改变的，故可 以先检测这些不变特征，再根据它们之间的空间几何关系来定位人脸。这种方法 又进一步分为基于面部特征的方法、基于纹理的方法、基于肤色和基于多特征综 合的方法。基于面部特征的方法，首先通过一系列规则检测到特征点并组合为人 脸，然后进行验证k 】：基于纹理的方法根据人脸与其它模式的纹理有较明显的差 别来检测人脸，但是这种方法只能区分人脸和非人脸模式，并不能确定人脸的位 置；基于肤色的方法主要是利用肤色比较稳定的特点，先分离出类肤色区域，再 在这些区域中结合其它特征进行检n 2 0 】：基于多特征的方法是综合利用多种特 征比如肤色和其它方法结合来进行人脸检测【i8 1 。近年来，结合肤色和面部特征 进行检测的算法的研究增多。因为肤色是一种比较稳定的特征，在不同的光照以 及人脸姿势，角度和表情等都不相同的情况下，肤色信息仍然比较稳定，所以可 以先根据肤色信息来对输入图像进行粗分类，将图像分为类肤色区域和非肤色区 域，然后在类肤色区域上查找人脸，故运算速度和准确度都可以大幅提高【l 。 人脸检测和定位着眼于人的脸部特征的提取。而本文要提取的不仅是人的脸 部特征，还有人的头发、衣服、首饰等等，故采用人脸检测和定位的方法来提取 人像，还是有相当的局限性和不足的，必须结合其他方法予以改进。 1 4 论文的技术方案和实现目标 1 4 1 技术方案 人像照片背景替换系统的设计实现涉及到许多技术问题。根据系统的应用需 求和图像处理技术的现状，需要解决以下难点： ( 1 ) 图像分割算法 首先要从人像图像中获得所需的图像目标，然后将其与背景进行分离。图像 分割属于图像理解和识别技术，现今还没有十分完善的分割算法，只能根据图像 特点设计合适的算法。本文将结合人像照片的特点设计合适图像分割算法，实现 图像目标的自动分割。系统除了具有自动分割的功能外，还要能够手动交互分割 所需的图像目标。手动分割图像目标需要设计合适的人像样本矩形选择算法，确 定分割的样本区域。 6 浙江工业人学硕上论文 ( 2 ) 图像合成算法 在系统导入多幅图像以后，将它们有机的合成为一幅符合要求的图像，需要 设计特定的图像合成算法。为了方便图像操作，还要存储，读取合成的效果图像。 ( 3 ) 系统设计与实现 人像照片背景替换系统是一个集图像处理、图像浏览为一体的通用图像处理 系统。为有效管理和组织系统的开发与实现，系统的结构要划分为不同的功能模 块，各模块要相对独立便于开发和代码重用。系统采用面向对象的模块化组件技 术设计，系统的各个子模块独立实现，模块之间采用接口传递信息。采用这种方 法可以降低系统开发的难度，也便于系统更新和修改。 ( 4 ) 图像处理模块 图像处理模块是系统的核心模块，包括多个子模块：图像效果处理、色彩变 换、图像几何变换、图像分割算法实现、图像合成等。由于不同的图像处理操作 需要不同的图像处理知识，因此对于不同处理子模块需要设计不同的数据结构， 对于不同的操作要设计对应的实现算法。对于处理模块本身设计，要考虑不同子 模块之间的协调问题，以及模块本身与系统其它模块的接口。具体设计如图1 - 2 所示： 1 4 2 实现目标 图1 - 2 图像处理模块设计图 ( 1 ) 分析比较彩色图像分割方法，选择一种或几种算法( 如基于阈值选取 的图像分割算法、种子填充、f c m 算法等) 对人像图像进行分割，并对该算法 进行改进，提高程序的运算速度。再根据模糊分类后的人像照片，设计人机交互 方式的人像目标提取方法。这种方法旨在能够准确地还原模糊分类后的人像目 标，并使背景部分替换成其他颜色( 如黑色) ，从而实现人像照片的人像目标分 割。 ( 2 ) 结合人脸检测和定位方面的各种算法，如在y c b c r 色彩空间采取阂值 7 浙江t 业人学坝f 。论文 分割算法，二值化后提取人的肤色区域，并能提高图像的分割精度，然后在头发 和肤色区域的结合部以及肤色区域和衣服的结合部分别取两个矩形，以选取人像 的样本像素，并与f c m 算法相结合，希望能够达到人像图像的自动分割之目的。 ( 3 ) 能够对不同背景的人像图像( 包括单一色彩背景、色彩由浅入深的背 景、具有阴影背景的照片和其他相对复杂的背景等) 进行分割运算，确保分割精 度和运算速度。 ( 4 ) 进行图像合成，将分割后的目标图像与其他背景( 如风景画等) 进行 合成，实现目标图像和替换背景之间的边缘软拟合，从而完成人像照片的背景替 换。 综上所述，人像照片背景替换技术的总体步骤可以如下图1 3 所示： 图1 - 3 人像照片背景替换技术的总体步骤图 1 5 论文主要章节安排 第一章首先介绍图像处理技术在生活实践中的广泛应用，并分析图像分割技 术和图像处理系统的研究现状。然后在分析图像分割和图像合成的基础上结合人 脸检测和定位方法提出人像照片背景置换技术，分析了该技术的研究现状和相关 应用领域。最后总结技术方案和预期目标，并给出实现流程图。 第二章主要对多年来彩色图像分割领域中出现的色彩空间( 包括r g b 及它 的线形的、非线形的变换模型色彩空间) 进行了归纳和总结，结合本课题，指出 了各类色彩空问在彩色图像分割中的优缺点。 第三章主要归纳比较了五类彩色图像分割算法，包括基于阈值选取的图像分 割方法、利用图像空间区域信息的图像分割方法、利用图像中灰度变化最强烈的 区域信息方法边缘检测方法、利用图像模糊分类技术的图像分割方法、基于 数学形态学的分害0 技术。并结合人像照片的特点，作了相关的背景替换的实验， 分析比较了各类彩色图像分割算法在人像照片背景替换中的适用效果。 第四章介绍了模糊聚类方法在图像分割中的应用。在分析比较传统的模糊聚 类方法的基础上，并结合人像照片的特点，将一种改进的模糊聚类方法( f f c m ) 运用于人像图像分割。再根据模糊分类后的人像照片，本文提出了人机交互方式 8 浙江工业大学硕士论文 的人像目标提取方法。 第五章结合人脸检测的相关理论，将一种基于y c b c r 空间的人脸肤色检测 算法运用于人像目标提取，旨在能够快速自动地选取人像样本像素，进而达到自 动分割人像目标之目的。 第六章首先分析现有的图像合成算法，在此基础上提出图像合成解决方案， 设计新的数据融合法将两种不同的合成算法结合起来，最终使人像目标与背景图 像有机的合成在一起。 第七章对本文的工作进行了总结，表明该研究完成了预期的目标，同时就研 究期间出现的问题和难点给出了进一步研究建议。 9 浙江工业大学硕士论文 第二章色彩空间的表示 随着计算机、数字通信、网络多媒体技术的发展，信息在急剧膨胀。现代信 息传播的特点是图像所占的比例越来越大。图像作为现实视觉世界原型，它所提 供的直观作用，不是语言文字描述所能达到的。针对一幅图像，人类智能能从其 中挖掘出的信息量，不是用同样尺寸幅面的语言文字描述可以穷尽的。有人曾经 对这两种信息传达方式的能力和容量做过量化的估计，如果将语言文字的能力定 为1 0 0 量级，图像的量级则为1 0 3 。也许这种估计并不精确，但是图像信息在容 量上的丰富性，信息内在的关系的直观性以及与此相关的在信息传达的有效性上 都是语言文字所不能比拟的【。从视觉角度来讲，图像可以分为彩色和非彩色两 大类。非彩色是指黑色、白色及灰色系列。彩色图像包含的信息量要丰富的多， 但是它所占的存储容量也较大。为方便处理，通常图像在计算机中都表现为一矩 形区域的位图形式。随着计算机存储容量的增大和其它硬件技术的发展，现在彩 色图像的使用越来越广泛。 物体的颜色是由照射光源的光谱成分、光线在物体上反射和吸收的情况决定 的。我们知道，可见光的波长分布在3 8 0 n m 到7 8 0 n m 之间，人的颜色感觉是不 同波长的可见光刺激人的视觉器官的结果。为了解释视觉对颜色的感知能力，美 国物理学家t y o u n g 于1 8 0 1 年提出三色假说，中心内容是：假设有三种视觉( 锥 体) 感受器，分别对红、绿、蓝三种颜色敏感。当光线同时作用在这三种感受器 上时，三个感受器产生的兴奋程度不同。不同兴奋程度的组合将产生不同的颜色 感觉，三种感受器处于等强度兴奋时，便产生白色的感觉。现代技术的发展充分 证实了三色假说的合理性。红、绿、蓝这三种颜色又被称为人类视觉的三基色。 实践证明，光谱上的大多数颜色都可以用这三种颜色的加权混合产生。为了使用 r g b 三基色有效地描述或调制各种颜色，可以对r g b 进行线性或非线性变换导 出其它的颜色表示模型【7 ，8 ，9 ，l 。下面分别加以介绍。 2 1r g b 三色空间 红色( r ) 、绿色( g ) 和蓝色( b ) 被称作三种基本的颜色，人类感知到的颜色就是 这三种基本颜色联合产生的。我们把这种约定称为r g b 格式。每个像素实 际上任何可能要量化的颜色都能用三维空间的一个点表示，如图2 - 1 中的彩 色立方体所示。 1 0 浙江工业大学硕士论文 椭狴删 图2 - ir g b 彩色模型立方体 在r g b 色彩空间的原点上，任一基色均没有亮度，即原点为黑色。三基色 都达到最高亮度时则表现为白色。亮度较低的等量的三种基色产生灰色的影调。 所有这些点均落在彩色立方体的对角线上，该对角线被称为灰色线。彩色立方体 中有三个角对应于三基色红、绿和蓝。剩下的三个角对应于二次色黄色、 青色( 蓝绿色) 和品红( 紫色) 。 色度学规则：( 1 ) 通过r 、g 、b 这三种颜色能产生任何颜色，并且这三种 颜色结合后产生的颜色也是唯一的；( 2 ) 如果两个颜色是相等的，这三个颜色向 量再乘以或者除以相等的数，得到的颜色仍然相等；( 3 ) 混合色的亮度等于每种 颜色亮度的和。 虽然r g b 空间用于屏幕显示是很方便的，但基于r g b 空间的分割是将r g b 三色作为三个互相独立的特征来对待，事实上，r g b 三色是有联系的，彼此之 间的相关性很强，冗余信息较多，计算量也很大，分别考虑不太符合人的感知和 思维习惯，与人对颜色的感觉差异较大，不利于分辨颜色。 2 2r g b 的线性转换模型 ( 1 ) 1 1 1 2 1 3 y o h t a 等针对区域分割进行了系统的实验，得到了系列有效的颜色特征。在 区域分裂的每一步，由r 、g 、b 经过线性变换得到三个正交的颜色特征： ：! 墨竺里2 ，l ：( r - b ) ， ：( 2 g - r - b )( 2 1 )1 2 一，= 一，12 一 i z 1 ， 3 2。4 y o h t a 等根据分割的质量和变换的计算复杂性，比较了i i l 2 1 3 和其他色彩空 间( 如r g b 、h s i 、c i e 等) ，认为1 1 1 2 1 3 也是部分地去掉了红、绿、蓝的高相关 性，计算时间少，能用于彩色图像处理，但是和r g b 色彩空间一样，由于线性 变换的存在，所以也仍然存在相关性，只是没有r g b 色彩空间的相关性高。 浙江工业大学颂j i ：论义 ( 2 ) y c r c b 颜色空间 这种颜色空间是以演播室质量标准为目标的c c i r 6 0 1 编码方案中采用的彩 色表示模型，被广泛地应用在电视的色彩显示等领域中。它同样具有h s i 模式 中亮度分量与色度分离的优点。它与r g b 空间的转换关系是： y = 0 2 9 9 r + 0 5 8 7 g + o 1 14 b c r = - 0 1 6 8 7 r - 0 3 3 1 3 g + 0 5 b + 1 2 8 ( 2 2 ) c b = 0 5 r - 0 4 1 8 7 g + o 0 8 1 3 b + 1 2 8 y 表示颜色的亮度，c r 表示红色成分的多少，c b 表示蓝色成分的多少，c r 和c b 一起表示颜色的色度信息，并且c r 和c b 之间是二维独立的。色度信息在 很多彩色图像的分割的应用中是很有效的，也非常适合于将皮肤区域从图像背景 中分割出来。研究表明虽然不同人的皮肤颜色可能相差很大，但它们在色度上的 差异要远小于亮度上的差异。也就是说，不同人的肤色在色度上往往是很相近的， 只是在亮度上有较大差异。人类皮肤的颜色在色度空间中的分布被证明是聚集在 色度空间中一个较小的区域中的。 2 3r g b 的非线性转换模型 ( 1 ) 归一化的r g b f n r g b ) 颜色模型 在彩色图像的分割中，为了达到好的分割效果，常常希望颜色能够不依赖于 光强的变化，于是有人提出了归一化的r g b 。此颜色空间可以表示为公式( 2 3 ) ， 其中r 、g 、b 分别是r 、g 、b 的相对值： f r = r ( r + g + b ) g = g ( r + g + b )( 2 3 ) k b ( r + g + b ) 归一化的r g b 颜色空间减小了对颜色变化分布产生的敏感度。此模型相对 来说可以适应一定的光照条件的变化。但它明显的缺点就是在低亮度的情况下， 非线性变换使得归一化的r g b 噪声比较大。 ( 2 ) h s i 颜色模型 另一种有用的彩色方案称为f i s i 格式，它是m u n s e u 提出的彩色系统格式， 经常为艺术家使用，这种设计反映了人观察彩色的方式，同时也有利于图像处理。 浙江工业大学硕士论文 图2 - 2 h s i 色环 在t t s i 格式中，i 表示强度，或亮度。在本论文中，它是r 、g 、b 三个灰 度线的平均值，虽然也有人使用对不同分量有不同权值的彩色机制。强度值确定 了像素的整体亮度，而不管彩色是什么。人们可以通过平均r g b 分量将彩色图 像转化为单色，这样就丢掉了彩色信息。 包含彩色信息的两个参数是色度( h ) 和饱和度( s ) ，虽然也有人使用其等价的 其它定义。图2 2 中的色环描述了这两个参数。色度由角度表示，彩色的色度反 映了该彩色最接近什么样的光谱波长( 即彩虹中的那种颜色) 。不失一般性，假定 0 0 的彩色为红色，1 2 0 0 的为绿色，2 4 0 0 的为蓝色。色度从0 0 到2 4 0 0 度覆盖了所 有可见光谱的彩色。在2 4 0 0 到3 0 0 0 之间是人眼可见的非光谱色( 紫色) 。饱和度 参数是色环的原点( 圆心) 到彩色点的半径的长度。在环的外围圆周是纯的或称为 饱和的颜色，其饱和度值为1 。在中心是中性( 灰色) 影调，即饱和度为0 。饱和 度的概念可描述如下：假设你有一桶纯红色的颜料，它对应的色度为0 ，饱和度 为1 。混入白色燃料后使红色变得不再强烈，减少了它的饱和度，但没有使它变 暗。粉红色对应于饱和度值约为0 5 左右。随着更多的白色燃料加入到混合物中， 红色变得越来越淡，饱和度降低，最后接近于零( 白色) 。相反地，如果你将黑色 燃料与纯红色混合，它的亮度将降低( 变黑) ，而它的色度( 红色) 和饱和度( 1 0 ) 将 保持不变。 图2 - 3 柱形色彩空间 总之，三个彩色坐标定义了一个柱形色彩空间( 图2 - 3 ) 。灰度影调沿着轴线 浙江工业大学硕士论文 以底部的黑变到顶部的自。具有最高亮度，最大饱和度的颜色位于圆柱上顶面的 圆周上。 为了图像处理的目的，有必要在r g b 和h s i 这两种彩色坐标转化。有些处 理在某个彩色系统中可能更方便些。通常的数字图像是用r g b 格式表示的，从 r g b 到h s i 空间的转换公式为： 日2 a r c c 。s 三了i i ( 三r 葛- i 于g i ) i + 露( ：r i - 豸b 丽) ) ，r g ，或r b ， ( 2 4 ) 2 ( r b ) 2 + ( r 一口) ( g b ) 、。 若b g ，则日= 2 a t 一日 s 2 1 一i 磊丽叫n ( r ，g ，b ) 】 ( 2 5 ) 2 ( r + g + b ) 3 ( 2 6 ) 当r = g = b 时，饱和度s 为零，这样的区域是黑自的，对应于无色的灰度。 此时将h 定义为零，便于处理，但无实际意义。 由h s i 到r g b 的转化公式有些不同，它取决于要转换的点落在色环哪个扇 区。 当0 。h 1 2 0 0 时， 肛击h s s ( 6 c 0 0 0 _ s ( h 驯) 肛去”趴g _ 西啦b q 7 当1 2 0 0 h s 2 4 0 0 时， g ：去fl + 墅燃k 去( 1 删，b ：由一r g ( 2 8 ) 3l c o s ( 1 8 0 0 一h ) i 7 3 、 ” 一。 当2 4 0 。h 3 6 0 0 时， b ：一1i1 + 蕊s c o s ( h - 2 4 0 。) f 肚 ( 1 - 趴b ：4 5 1 - b - g (24 3i c o s ( 3 6 0 0 _ ) f 3 、 ” 对于实际图像的分割，使用h s i 空间至少有两个优点：其一是其中的分量 亮度i 与颜色没有什么关系，相对是独立的一个分量；其次，h 和s 两个分 量与人感觉颜色的方式联系密切，于是用h s i 空间进行分割也就是说有利于人 们获取和使用彩色图像的特征。 但是h s i 色彩空间有如下两个缺点1 7 】：第一，在r 、g 、b 取值相近的情况 下，色度值是不稳定的，即使r 、g 、b 值有微小的变化，那么色度值可能变化 很大，这种现象又称为奇异性问题；第二，当亮度很高或很低时，色度分量也是 不稳定的。所以对于图像中强烈的高光和阴影部分，还是要进行一些特殊处理， 才能更好的色度分量。 h s i 的转换还有几种变形，如h s b ，h s l ，h s v 等。从彩色图像处理的观 1 4 浙江工业大学硕士论文 | ：( 戮默自 亿坳 肚t ，s ( 捂 - 1 6 瑚o ( 癔一摆卜划o ( 捂一瘙 t ， 上式中妄 m 叭，专 0 0 1 ，z 0 z o 0 1 ，1 o ，z 0 ，分别是标准白时的值。 驴_ 1 1 6 l 接) 1 6 _ 1 3 p 一0 ) ，伊- 1 3 ( v o _ v 。) ( 2 1 2 ) 上式中 0 0 1 ，d o ，v o 分别为标准白时的值，并且有 。： 坚 ，。： 些 f 2 1 3 1 中的聚类特性时直接利用了h s i 色彩空间 2 0 ；r e i n l i e n h s u 等利用变型的y c b c r 色彩空间进行彩色图像中的人脸肤色检测问题的研究1 9 】，在本文的第五章就这 浙江工业大学硕士论文 第三章彩色图像分割方法 由于人眼对亮度具有适应性，即在一幅复杂图像的任一点上只能识别几十种 灰度级，但可以识别成千上万种颜色，所以许多情况下，单纯利用灰度信息无法 从背景中提取出目标，还必须借助于色彩信息。由于彩色图像提供了比灰度图像 更为丰富的信息，因此彩色图像处理正受到人们越来越多的关注。彩色图像分割 是彩色图像处理的重要问题，从分割的方法来说，灰度图像和彩色图像的区别， 主要表现在每一个像素的描述上，前者是在一维亮度空间上，而后者是在三维颜 色空间上。彩色图像比灰度图像包含更多的信息，是对客观世界更为逼真的描述， 因此，在很多情况下对彩色图像的分割很有必要。从分割的原理上看，彩色图像 和灰度图像的分割是一样的，都是基于像素数值的相似性和空间的接近性，只是 对像素属性的考察以及特征提取等技术由一维空间转向了高维空间。所以，彩色 图像分割可以看成是灰度图像分割技术在各种颜色空间上的应用。 下面，本文将彩色图像分割算法大致分为基于阈值选取的图像分割方法、利 用图像空间区域信息的图像分割方法、利用图像中灰度变化最强烈的区域信息方 法边缘检测方法、利用图像模糊分类技术的图像分割方法、基于数学形态学 的分割技术五类，分别介绍其算法及实现步骤，并针对本课题做了相关实验研究。 3 1 基于阈值选取的图像分割方法 基于阈值选取的图像分割方法是提取目标与背景在灰度上的差异，把图像分 为具有不同灰度级的目标区域和背景区域的组合。阈值法对物体和背景对比较强 的景物分割有着很强的优势，计算较为简单，而且可以用封闭和连通的边界定义 不交叠的区域，是图像分割中最有效且实用的技术之一。阈值分割方法基于对图 像的一种假设：目标或背景内的相临像素间的灰度值是相似的，但不同目标或背 景的像素在灰度上有差异，根据获取最优分割阈值的途径可以把阈值法分为直方 图双峰法、迭代法、最大类间方差法、基于模糊散度的图像分割算法等。 3 1 1 直方图双峰法 直方图双峰法是灰度图像广泛使用的一种分割方法，它基于对灰度图像的这 样一种假设：目标或背景内部的相邻像素间的灰度值是相似的，但不同目标或背 景上的像素灰度差异较大，其反映在直方图上，就是不同目标或背景对应不同的 浙江工业大学硕士论文 峰。分割时，选取的阈值应位于直方图两个不同峰之间的谷上，以便将各个峰分 开。 与灰度图像不同的是，彩色图像有3 个颜色向量，其直方图是一个3 维数组， 在这样的直方图中确定阈值是比较困难的。0 h l a n d e r 【3 0 】等提出了种多维直方图 阈值化方案，其阈值是从不同的颜