（信号与信息处理专业论文）基于抠图和颜色传输的图像对象合成相关研究.pdf

摘要 摘要 数字图像比文本承载了更多的信息，比音频媒体更加直观，比视频媒体所需 的存储空间小，是从各个方面权衡下来效率比较高的信息载体。大多数数字图像， 都是来源于实地场景的拍摄。但是由于受到环境和人为因素的影响，比如某些场 景只有一次成像机会，或者某些场景无法清除干扰，往往所获得的初始图像并不 能满足人们的主观要求因此，能任意地编辑和修饰图像中的元素，以符合人们 的主观美感或者目的，成了目前的一个迫切需求。图像合成是图像编辑中举足轻 重，但又十分有挑战的一种技术。它能够将图像中的元素( 物体，纹理等) 提取 出来，经过重新安排，甚至加入从其他图像中提取出来的元素，重新组合成一幅 视觉上逼真的图像。 一个完整的图像对象合成平台由感兴趣前景区域的提取和拼接素材两个步 骤组成。本文深入分析和比较了两类半自动分割技术：硬分割和抠图。对于某一 个特定的像素，硬分割给出的结果是“非此即彼 ，而抠图给出的是该像素属于 前景的比例( 概率) 。本文认为，在图像对象合成这样一个特定的应用场合，由 软分割提取出的感兴趣目标的边缘更加符合人眼观感，在与背景拼接以后，不会 生成生硬的边缘而且，软分割从原理上解决了透明物体的提取难题。 拼接过程中，前景和背景颜色分布在某些场合常常不统一，前景和背景在光 照或者色彩上是不吻合的，需要一种算法来修正前景或者背景( 一般是修正前景) 的颜色。在这里，本文引入了颜色传输技术。颜色传输技术能够根据参考图像的 颜色分布，修正目标图像中每一个像素的颜色，使得目标图像整体的颜色分布和 参考图像相似。利用颜色传输对拼接中使用的前景和背景颜色分布进行处理，能 使合成结果视觉效果更好。 在深入研究了前景提取技术和前景背景合成技术，并对某些技术进行改进的 基础上，本文实现了一种结合贝叶斯抠图和颜色传输技术的图像合成系统。该系 统只需要较少的人工交互，便能产生具有真实感的合成图像。运算速度快，硬件 要求低，具有一。定得实际使用价值。 关键字：图像合成，图像分割，抠图，颜色传输 a b s t r a c t a b s t r a c t d i g i t a li m a g e sc o n t a i nm o r ei n f o r m a t i o nt h a nt e x t s ，a 他m o r es t r a i g h t f o r w a r dt h a n a n d i o s , a n dn e e dl e s ss t o r a g et h a nv i d e o s ，w h i c hm a k e si t t ob ea ne f f e c t i v e i n f o r m a t i o nc a r r i e m o s to fi m a g e sa 他p h o t o g r a p h e di na 蒯s c e n a r i o h o w e v e r , t h e s ei m a g e sd on o tm e e tp e o p l e ss u b j e c t i v er e q u i r e m e n t sd u et oe n v i r o n m e n t a lo r h u m a nf a c t o rs o m e t i m e s s o ，i th a sb e e n 锄u r g e n td e m a n dt oe d i td i g i t a li m a g e 幻 s a t i s f yp e o p l e ss u b j e c t i v ep u r p o s e i m a g ec o m p o s i t i o n ，w h i c hh o l d sa m a t e r i a lp a r ti n i m a g ee d i t , i sa b l et op r o d u c eav i s u a l l yp l e a s i n gc o m p o s i t i n gi m a g eb yp a s t i n ga n o b j e c to rar e g i o no fas o u i i m a g eo n t oat a r g e ti m a g e a c o m p l e t ei m a g ec o m p o s i t i o np l a t f o r mc o n s i s t so f e x t r a e t i o no f r o la n dp a s t 吨 p i e c e st o g e t h e r t w ot y p e s o f s e g m e n t a t i o nt e c h n i q u e s , m a t t i n g a n dh a r d s e g m e n t a t i o na r ea n a l y z e da n dc o m p a r e d i nh a r ds e g m e n t a t i o n , ap i x e li sl a b e l e dt o b ee i t h e rf o r e g r o u n do rb a c k g r o u n d h o w e v e r ，v a l u e so fp i x e l so naf o r e g r o u n do b j e c t b o r d e rv a r yg r a d u a l l yf r o mt h eo b j e c tt ob a c k g r o u n da n dt r a n s l u c e n ta r e a sm i g h te x i s t , d u et ow h i c has i n g l ep i x e lm a yb eac o m b i n a t i o no ff o r e g r o u n da n db a c k g r o u n d t h e r e f o r eh a r dl a b e l i n gh e r ei si n c o r r e c t d i g i t a lm a t t i n g , w h i c hi su s e dt oe s t i m a t ea n o p a c i t y ( a l p h a ) v a l u ef o re s e hp i x e la sw e l l 舔t h ef o r e g r o u n dc o l o r , c a ng i v em o r e r e a s o n a b l er e s u l t i ns o m es p e c i f i cs c e n a r i o sw h e nc o m p o s i t i n gt h ee x t r a c t e dp i e c e s ，t h ef o r e g r o u n d a n db a c k g r o u n dp i e c e sa r en o tc o i n c i d e n ti nl u m i n a n c eo rc h r o m a c o l o rt r a n s f e ri s t h ep r o c e s so fa d j u s t i n ga ni m a g e sc o l o rt oc o n s i s tw i t ht h a to fa n o t h e ri m a g ew h i c h i sa p p l i e di nm a n yf i e l d s w ea p p l yc o l o rt r a n s f e rt os o l v et h ec o l o rh a r m o n i z a t i o n p r o b l e mb e t w e e nf o r e g r o u n do b j e c t sa n db a c k g r o u n d t h ec o l o ro f e x t r a c t e do b j e c ti s t r a n s f e r r e da c c o r d i n gt ob a c k g r o u n dc o l o r b a s eo nt h er e s e a r c ho fi m a g em a t t i n ga n dc o m p o s i t i o nt e c h n i q u e s ，t h i st h e s i s p r o p o s e sa ni m a g ec o m p o s i t i o ns y s t e mt h a tc o m b i n e sb a y e s i a n m a t t i n ga n dc o l o r t r a n s f e r t h es y s t e mi sa b l et op r o d u c er e a l i s t i cc o m p o s i t e di m a g e sw i t hf e wu s e r i n t e r a c t i o n s a n di t sf a s ts p e e da n dl o wr e q u i r e m e n tf o rh a r d w a r em a k e ss u r ei th a s c e r t a i no fp r a c t i c a lv a l u e k e yw o r d s ：i m a g ec o m p o s i t i o n ，i m a g es e g m e n t a t i o n ，m a t t i n g ，c o l o rt r a n s f e r 1 l 中国科学技术大学学位论文原创性和授权使用声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作 所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任 何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名：王从襁 沁7 年r 月刁日 第l 章绪论 1 1 研究背景 第1 章绪论 1 1 1引言 作为一种信息载体，图像在人们生活中起着重要作用。图像的获取有很多途 径，可以通过绘画或者利用计算机生成，或者是实地场景中用相机拍摄照片的 意义在于照片蕴含了自然界最为丰富的视觉信息，而所有的信息都是自然界中的 物体对象，有着各自的特征，能够给人提供更多的视觉感受。因此，照片无疑成 为人们记录难忘瞬间的最有效的媒体。 然而，自然获取的图像却有不以人的意志为转移的特点。人们在通过照相机 获取自然图像的过程中会受到环境和照相机操作差异性的影响，可能会出现所获 取的图像与人们主观期望相悖的情况，例如相机曝光时间太短导致的照片太暗， 拍摄时的抖动导致的图像出现运动模糊，图像中出现了多余的人物或物体等等 因此人们希望能够对初获取的图像进行编辑从而使所获取的自然图像满足人们 的主观审美标准。图像编辑( i m a g ee d i t i n g ) 包括对图像的全局处理如颜色增强， 滤波，变形等等以及更有意义的对图像的局部处理如图像合成。 图像合成在图像处理的层面上来说已经属于最高层次的操作，因为它代表着 人们可以对图像的内容进行随心所欲的安排。但是它又不同于计算机生成或手绘 的图像，因为其素材来源于真实的场景，有着自然景物的特征。例如，人们可以 将自己的肖像和一幅自己从未去过的背景图像进行合成，或者将两个不在一个地 方的人合成在一幅照片中等等。目前，许多的专业图像处理软件已经实现了包括 图像合成在内的几乎所有人们可对图像进行操作的功能，如a d o b ep h o t o s h o p 等 人们已经可以不必关心图像处理技术层面上的问题，而只需考虑如何使用已经集 成封装好的各种方法。但是自动化程度不够高，需要专业人员的大量精力才能完 成一幅好的作品。 1 1 2 图像合成起源和应用 图像合成技术从广义上看，属于数字合成的一种，其他的还包括视频合成、 纹理合成、阴影合成等等。数字合成技术最早起源于电影制作行业。导演和制作 人员能够使用图像合成，能够将新的元素，比如人物、道具、视觉效果等等，添 加到一个已经拍摄好的场景中，或者把已经拍摄好的一段人物动作转移到一个全 新的场景中。 随着计算机技术的发展和图像合成技术的初步成熟图像合成逐渐被应用到 电视直播，广告中到今天为止几乎所有的现代视觉效果制作都用到图像合威 技术。一个典型的倒子是电髟拍摄和电视直播中，蓝屏抠图和合成技术已经成熟 的得到应用为了减少其他无干因素的干扰，拍摄现场的背景被布置为单色调 ( 一般是蓝色或者绿色) 拍摄得到的固像，经过蓝屏抠圈据取出癌兴趣的前景， 再和虚拟的背景图像合成在一起作为输出图像 ( a ) 实景拍摄( b ) 合成结果 图i1 毓屏抠图和台成应用 拍摄时背景被设置为单一色调 相对蓝屏抠图和合成技术，自然图像的合成要复杂许多。自然图像的背景不 再是单一色调这对前景提取工作产生了很大的干扰。在前景提取工作没有做 得比较完善的情况下，合成出来的结果往往会产生很多视觉上伪造的痕迹。 1 1 3 圈像合成的含义和分类 图像合成是指将一系列不相干的图像合成成为一张图像基本思想是从不同 的图像中提取出蹲并趣的目标( 包括前景和背景) ，综合搭配成一张和谐统一的 图片。一些术语- 如图像编辑( i m a g e e d i t i n g ) ，照片蒙太奇( p h o t o g r a p h m o n t a g e ) ， 数字织锦( d i g i t a l t a p e s t r y ) ，都是指黯图像中的感兴趣目标进行编辑，或引入新 的背景喊物体再进行布局调整，无缝嵌入，或者一些边界羽化的操作，增加图 像的表现力尽可能使之达到与自然获取的图像相同的效果和逼真度 一般的，我们把图像合成分为纹理合成( t c x t u ms y n t h c s i s ) 和对象合成 ( o b j e c t c o m p o s i t i o n ) 。本文的研究范围为对象合成。如不做特殊说明，下文中 的图像合成都是指的对象合成。 ( a ) 纹理合成 纹理是指颜色空间以一定形式变化而产生的图案由许多相互接近的，互相 编织的元索构成。而纹理合成就是由小块原纹理图像生成一大块纹理图像，虽 然整体 ：看起来这幅图像中各个地方的纹理是不同的，其实却是由相同的小块的 纹理拼接而成的( v _ k w a t r a 甜a 1 2 0 0 3 ) ，圈l2 是一些实倒 4 法魍襞理j 勺一 i v 笪壁塑! 竖璺j z 】【 圈隰 前景图像背景图像合成结果 圈l3 对象合成示俯 图像中的对象概念就是指图像中有语义的图像块如图像中的位人物肖像 一幢房子，一辆汽车等都可以称之为图像中的对象。圈像的对象合成就是指将不 同图像中的有语义的图像块分割提取出来，再按一定的偏好进行组合，成为一幅 复台图像。有可能是前景对象的组合也可以是前景和背景对象的组合，图l3 是一个对象合成的实例。 1 1 4 图像对象合成系统组成 一个完整的圈像对象合成框图可以表示为( 图l4 ) ： 到14 图像合成框幽 第l 章绪论 由图可见，一个图像对象合成系统主要由两个部分组成：前景提取、前景和 背景对象合成。在前景提取时，人工交互是必须的，否则无法知道用户要提取的 感兴趣目标是什么难点在于，如何使用更少的人工交互，更少的计算时间，就 能尽可能精确地由算法自动计算出感兴趣目标的区域。在前景和背景的对象合成 阶段，要保证前景和背景在视觉上没有对象合成的痕迹。为了做到这一点，前景 的颜色和亮度可能需要改变。在某些需要进行纹理合成( t e x t u r es y n t h e s i s ) 的场 合，还需要进行纹理拼接，纹理拼接属于一个另一个范畴，暂时不在本文的讨论 范围内。 1 2 图像对象合成技术的重要意义 本文中我们将面向对象的图像合成作为研究的重点，主要考虑到以下几点 现实意义t 第一，实现面向对象的图像合成技术可以满足人们对于完美的追求， 有非常高的实用意义。图像作为记录美好瞬间的媒体之一，其价值毋庸置疑然 而自然图像无可避免的瑕疵使得人们对如何在语义对象的层面上进行图像编辑 有更加迫切的需要；第二，自然获取的图像虽然丰富，但是由于现实环境的限制， 其表现力稍有逊色。而合成图像能够将前景对象和喜好的背景完美地结合，营造 出自然图像无法呈现的美感，因此更加受到用户的青睐；第三，传统专业图像处 理软件如p h o t o s h o p 等虽然功能强大，但是需要较高的操作技巧和大量的时问。 对于没有相关经验的用户来说，即使是简单的图像分割和对象提取，也无法快速 完成；第四，研究面向对象的图像合成技术，对图像分割，图像光照处理，图像 中语义对象的变形等传统和新兴的难题都有非常深远的指导意义。因此，希望本 文的工作能够对上述几方面都起到积极的促进作用。 1 3图像合成技术的研究现状 1 3 1 问题描述 如前所述，图像合成主要分为两部：前景提取、前景和背景的合成。一个图 像合成过程可以表述为公式( 1 1 ) ( y y c h u a n ge ta i 2 0 0 3 ) ： c ，= a c + ( 1 - c o b ,( 1 1 ) 其中c 表示合成结果图像，f ，b 分别表示已知的前景图像和背景图像。i 表示 图像的通道编号。口称为掩膜( m a t t e ) ，并且口【0 ，i 】。口表示了每个像素的不 透明度。从公式中我们可以看 ：，通过口可以将前景色和背景色进行线性组合。 如果口= 0 ，则表示前景色完伞透明，在这个图像区域其实就是单独由背景构成。 第l 章绪论 如果口= l ，则表示前景色完全不透明，即前景把背景完全遮挡住了口处于其 他状态时，表示这个区域处于半透明状态。 而前景提取可以看作是是图像合成的逆过程，即已知合成图像c ，需要求解 出前景图像f ，背景图像b 和掩膜值口在本文涉及到的自然图像合成中，可以 假设f 、b 、c 都是r 、g 、b 三个通道，则我们实际上有3 个方程和7 个未知量 因此，前景提取问题本身是一个约束不足的问题。所以，必须利用人工交互或者 其他方式来提供一定的先验信息，从而减少未知数个数来求解前景提取问题目 前的常用办法是提供一个三色图( 1 r i m 印) 把图像划分为前景区域，背景区域， 未知区域。通过利用已知的前景区域和背景区域中的信息( 甚至是假设) ，来估 计未知区域中每个像素的掩膜值。 在整个图像合成系统中，前景提取工作是难点也是重点。如果在前景提取这 一步能够将感兴趣目标精确的提取出来，后面的合成工作会省力不少。针对这个 特点，目前的大多数合成方法都把重心放在前景提取这个部分上面，只有少数方 法专门研究合成步骤中的各个问题。但是需要指出的是，用于合成中的f 并不一 定完全等同于前景提取中的从其他图像中得到的素材，这中间有可能经过了缩放， 形变，颜色变换等等。 1 3 2 前人工作 针对图像合成中的各种问题，前人已经进行了大量的研究并提出了很多有效 的算法。这里我们简单介绍几种发展过程中里有代表性的几种算法。 ( 1 ) i n t e l l i g e n ts c i s s o r s ( e n m o r t e n s e ne ta 1 1 9 9 5 ) ： m o r t e n s e n 和b a r r e t t 总结了在此之前的一些基于动态边界的算法的缺点后， 通过改进基于动态规划图搜索，提出了智能剪刀算法。该算法把图像中的每个像 素看做图像中的一个节点，在节点之间建立有权边反应像素值的变化。这样就把 一个图像( i m a g e ) 转化成了一个图( g r a p h ) 。其主要目标是给定一个种子点以 后，根据图搜索方法计算出种子点到一些目标点的最优路径。若指定的种子点就 在图像中的感兴趣物体边界上，再设定恰当的代价函数来定义像素之间的关系 ( 即对应的图的节点之间的边的权值) ，那么求取出来的最优路径就是感兴趣物 体的边界。 该算法在定义图的边权时考虑了三个因素。第一个因素是拉普拉斯过零点。 该算法通过把图像和一个拉普拉斯算子进行卷积来近似图像的二阶偏微分。由于 拉普拉斯图像的过零点对应于图像梯度的极值点，则在这些过零点的位置就是图 像中边缘的位置。但是将一个离散的拉普拉斯算子和数字图像进行卷积只能生成 很少的零点，所以算法用从正值向负值变化的两个相邻像素来表示过零点，并且 第l 章绪论 选择值最接近零的那个像素为所求的过零点。算法定义了一个二值的特征左国) 来表示这个过零点的代价假设t a q ) 表示图像i 在像素q 处的拉普拉斯变换， 则： 五劬- 器裟麓 n 刁 由于过零点只产生了一个二值的特征，无法表示出边界的强弱程度，所以引 入了第二个因素：梯度幅度。梯度是一个表示边界代价的很直接的特征。假设用 和，分别表示图像i 在x 和y 方向上的偏微分，那么梯度幅度则表示为： g = e + j ； ( 1 3 ) 但是梯度幅度和代价函数是反相关的，对其做一个归一化和倒转的操作得到梯度 幅度的特征值五： 五= 巡茅小丽g m a x ( g ) ( 1 4 )叫 。1 l l a x ( g ) ”一7 第三个因素是梯度的方向。梯度方向是由和，定义的单位向量，令d ( p ) 为 该向量顺时针绕9 0 。的单位向量，即d ( p ) = ( ，( p ) ，- l ( p ) ) ，定义 2 淼笼苫嬲 n 5 ， 哝( p ，g ) = 三( p ，g ) d ( g ) 、。 其中 ( p ，g ) = q - p ；i f d ( p ) ( q - p ) q 1 0 ( 1 6 ) 则最后得到的梯度方向表征的代价值为： f o ( v ，叮) = 2 气仃t - - l c o s - a , f v ，g ) 】+ c o s - d f p ，g ) 】) ( 1 7 ) 将这三个因素作一个加权和作为最后的代价表达式： t ( p ，g ) = 厶国) + 无( q ) + r o o 厶( p ，g ) ( 1 8 ) 在定义好这个代价表达式，即图的节点间的边权后该算法使用了最优图搜索算 法( 类似于d i j k s t r a 算法) 来求取最优边界。这个最优图搜索算法用动态规划的 方法一步一步地更新每一个点处的代价函数。在每一个点p 处，有一个指针指向 他的相邻像素，这个相邻像素就位于从点p 到种子点s 的最优路径( 代价和最小) 上。这样从任意一点到种子点s 的最优路路径可以很快建立起来。 得到感兴趣目标的边界后，该算法在合成时只是简单地把各个目标按一定的 逻辑进行缩放、旋转，然后布局到背景图像上。 ( 2 )f o r e g r o u n d d i s t o r t i o nm e t h o d ( j h u a n ge ta 1 2 0 0 5 ) 第l 章绪论 该算法的目标本来是解决纹理合成的，但是其中用到了对象合成的思想所 以我们这里也介绍一下在纹理合成过程中，会产生大量的重复块并把他们拼接 起来。如果对这些重复块中的感兴趣物体不做一定的处理，合成结果中就会有大 量的一摸一样的物体。为此该算法首先从每个重复块中通过前景提取算法把感 兴趣物体提取出来，然后利用样条插值对提取出来的前景进行扭曲操作，得到形 式多样的前景图像，最后再进行纹理拼接 ( 3 ) d r a g - a n d - d r o pp a s t i n g ( j j i ae ta 1 2 0 0 6 ) 这个算法是对泊松图像编辑( p o i s s o ni m a g e - e d i t i n g ) ( ep 舰e ta 1 2 0 0 3 ) 的 一个改进。泊松图像编辑的基本思想是给定一个区域的梯度场和边界条件，我们 可以通过求解泊松方程恢复出原始图像。通过解泊松方程的方法来解决图像合成， 即达到了源图像块和目标图像的无缝合成，并且使源图像块的内部的颜色，亮度 等与目标图像结合得很好，这当然归功于利用梯度向量场和边界条件来重新解出 源图像块内部的梯度向量场的值。但是也出现了一些问题，比如合成的源图像块 会出现模糊等等，解决的办法是合理选取边界条件一般来说，由用户圈定一个 含目标对象的图像块，再将该块复制到要合成的图像中，这时所用的边界条件就 是用户圈定的那个图像块的边缘上的值，这个值对合成结果有着决定性的影响， 如果是一个较优的光滑的边界给出的边界条件，则在解梯度场能量最小化和泊松 方程时的偏差就会变小，能够得到更加自然的合成效果。于是用户圈定的这个边 界就起到了决定性的作用。 d r a g - a n d d r o pp a s t i n g 在使用泊松图像编辑算法之前，先以用户标定的边界， 利用g r a b c u t ( c r o t h e re ta 1 2 0 0 4 ) 求出用户感兴趣目标的粗略的边界。g r a b c u t 是一种基于g r a p hc u t s 的前景提取算法。关于g r a p hc u t s ，我们将在2 2 1 中详细 介绍。然后该算法认为，用于泊松图像编辑算法的最优边界一定存在于用户标定 的边界和通过g r a b c u t 得到的感兴趣目标边界之间。算法定义了一个新的边界条 件和目标函数用于搜索这条最优边界。然后以该边界处的背景图像上的像素值为 边界条件，以该边界内的前景图像的梯度场为引导向量场求解泊松方程，就可以 得到满意的合成结果。 ( 4 ) s i m u l t a n e o u sm a t t i n ga n dc o m p o s i t i n g ( j w a n ga n dm c o h e n2 0 0 7 ) 在此之前的大多数算法都把前景提取和合成作为两个基本独立的问题来考 虑。该算法认为，如果已知了背景图像曰，那么前景提取算法就有更大的优化 空间。算法修改了原始的合成公式( 1 1 ) ，变成： c ：= c + ( 1 一口) ( 曰，一b ，)( 1 9 ) 可以看出，最后的合成结果，只取决于两个未知数：原始前景图像的背景颜色e ， 以及透明度口。这个算法是从l 刳像的背景处开始估计掩膜值的，而背景处满足 7 第l 章绪论 置= e ，故这个合成结果在大多数情况下仅有透明度口，决定。 在已知背景图像b 的情况下，最大的好处是，如果新背景图像和原始背景图 像有这很相似的区域，那么原始图像中一些背景的成分也被合成到了最终的结果 中，但是视觉上却察觉不出来，所以前景提取不必绝对的精确。 算法也需要提前由人工将图像划分为前景区，背景区，和未知区。对于未知 区的所有像素，算法把他们划分为两种模态：抠图态( m a t t i n gm o d e ) 和合成态 ( c o m p o s i t i n gm o d e ) 。对于那些像素值和新背景值相差很远的点，算法认为它们 处于抠图态这时问题退化为一个普通的抠图问题，即利用前景提取算法计算出 掩膜值。为此，算法对处于抠图态的每个像素定义抠图代价( m a t t i n gc o s t ) ，包 含两项。一项是数据项( d a t at e r m ) 。衡量了某一节点本身估计的掩膜值的正确 程度。另一个是领域项( n e i g h b o r h o o dt e r m ) ，对估计出来的掩膜值加入了局部 平滑的约束。对于那些像素值和新背景的值很相近的点算法认为他们处于合成 态。算法为合成态的像素定义了一个合成代价，也包含数据项和领域项两项。其 中数据项代表了在什么位置要将原始图像中的颜色传输到新背景图像上去。领域 项要求这种原始图像往新背景上像素值的传输必须是局部平滑的。定义好代价函 数后，算法只需要求解一个线性稀疏系统即可以得出合成结果。 1 4 图像合成系统的性能评价标准 图像合成系统的目的就是为了改善如今全手动的，必须由专业人员花费大量 时间和人力来合成图像的现状。为了区分合成算法的优劣，需要给出图像合成算 法的性能评价标准。目前，衡量一个图像合成算法的性能主要从以下几个要素考 虑： ( i ) 合成结果的图像质量 ( 2 ) 合成平台需要的人工交互量 ( 3 ) 分析算法的时间复杂度和空间复杂度 1 4 1合成结果的图像质量评价 针对不同的需求，合成的目的其实不同。对于广告艺术，合成的目的是美化 或者夸张，不追求图像中的表现的逻辑的合理性。对于影视中的应用，需要合成 结果能够通过一些真伪图像鉴别( 人工鉴别或者软件鉴别) 。对于绝大多数的应 用，图像合成的受众都是人，而不是计算机。所以，目前对于图像合成结果的质 量评价，可以归入到一般的图像质量卡观评价的框架中。 图像的主观评价就是以人作为图像的观察者，按照事先规定的评价尺度或者 自己的绎验对图像的视觉效果作质量判断，给卅质量分数，然后对所有观测者的 第l 章绪论 分数进行加权平均，比较有代表性的方法是m e a no p t i o ns c o r e ( m o s ) 在有些 情况下，也可以提供一组标准图像作为参考，帮助观察者对图像质量做出合适的 评价。但是一般的主观评价标准是评价图像的模糊度，视觉质量等等针对合成 图像的评价标准和普通的主观评价标准有所不同。对于合成图像，我们的评价标 准应该是合成图像的真实感，用户视觉上是否认为该图存在伪造的可能性 1 4 2 合成平台的人工交互量 对于图像合成系统的人工交互量，目前还没有一个统一的方法来评价。在一 个合成系统中。只有两个地方需要用户进行人工交互。第一是在本系统的前景提 取时，用户需要标注出感兴趣目标的区域。第二是在前景提取完成以后，用户需 要将前景放置到背景合适的位置上。由于前者占所有人工交互的9 0 以上，本文 以这项人工交互的复杂度来评价一个图像合成系统的人工交互量。 1 4 3 算法时间和空间复杂度 算法复杂度用于衡量一个算法在处理器上运行所消耗的时间和存储空间，包 括时间复杂度和空间复杂度。 ( 1 ) 时间复杂度( t i m ec o m p l e x i t y ) 时间复杂度表示算法在处理器上的执行时间。可以通过事先估计和事后统计 的方法得到。由于事后统计的方法通常依赖于计算机的硬件和软件环境，因此常 用事先估计的方法。一个算法是由控制结构和基本操作构成的，算法时间取决于 二者的综合效果。一般情况下，算法的基本操作执行次数是规模聆的某个函数 厂( 刀) ，算法的时间复杂度记作 t ( n ) = d ( ( 刀) ) ，刀是问题的规模( 1 1 0 ) 事先估计的方法即估计算法中基本操作( 如一次乘法或一次加法) 的执行频 度以及输入数据规模对时间性能的影响。 ( 2 ) 空问复杂度( s p a c ec o m p l e x i t y ) 一个算法的空间复杂度定义为该算法所消耗的存储空间，记作 s ( ，) = d ( 0 ) ) ，刀是问题的规模( 1 1 1 ) 通常只需要分析输入和程序之外的额外空间，即实现计算所需要信息的辅助空间。 1 s 本文研究内容 本文针对而向对象的图像合成方法近几年来的发展作了详细的研究，介绍了 传统的图像合成方法，对其中的技术细节和算法进行了研究和探讨，晟后我们在 9 第1 章绪论 国外现有技术的基础上，提出了一个结合了贝叶斯抠图和颜色传输的图像合成系 统该方法的主要优点在于：第一能一步或者分步地快速分割出用户感兴趣的 目标对象；第二，在分割的同时考虑了源图像块和目标图像在边界处像素之间的 关系，实现了无缝的图像块拼接：第三，操作简便，无需任何背景知识，所见即 所得：第四，能按用户的需求改变前景的色度或亮度，增加真实感。 文章结构如下：第一章从总体上介绍图像合成系统的含义、起源、应用、系 统框架和评价标准，并简单回顾了几项已有的重要成果。第二章，主要介绍了图 像合成系统中的第一个部分：前景提取。回顾了关于前景提取的两类方法，并详 细介绍了贝叶斯抠图抠图算法。最后介绍了本系统实现贝叶斯抠图的一些细节。 第三章，主要介绍了图像合成系统中的第二个部分：前景和背景的合成。回顾并 分析了以往的前景背景的合成算法，指出了这些方法的缺陷，并提出了利用颜 色传输来完成合成步骤。第四章，在前两章理论知识的基础上，详细介绍了本文 提出的基于抠图和颜色传输的图像合成系统，包括框架、模块、界面，并给出了 几组实验结果对本系统进行验证。第五章，则是对本文所作研究的总结和今后工 作方向的展望。 l o 第2 章前景提取 第二章前景提取 2 1引言 前景提取是整个图像合成系统中的关键步骤，其目标在于使用尽量少的人工 交互和时间，将用户感兴趣的目标精确地提取出来。如前面1 3 1 节中所述，这 是一个约束不足的问题。为了解决这个问题，必须引入一定的先验知识，然后对 问题模型进行一定的假设，才能求解出感兴趣目标的边界。目前研究者们已经提 出了很多算法，利用图像中相邻像素之间的强相关性来近似求解目标边界根据 这些算法求取的边界特点，我们可以将他们大致分为两类：基于分割 ( s e g m e n t a t i o n ) 的方法和基于抠图( m a t t i n g ) 的方法。基于分割的方法将像素 划分为两类，前景和背景间的边界是硬边界。基于抠图的方法认为每个像素是由 前景值和背景值通过一个掩膜经过线性组合得到的一个混合值，这一类方法就是 要求出这个掩膜值。 本文经过深入调研，选择了一种在很多场合都能产生良好结果，运算速度快 的贝叶斯抠图算法作为本文提出的图像合成系统的前景提取算法。 2 2 相关工作 2 2 1 基于分割的前景提取 早期的前景提取主要是基于图像分割。这里的图像分割特指“硬”分割。所 谓硬分割，就是说一个像素要么被划分为前景，要么被划分为背景，即掩膜值 口= 0 ，i 。这里我们介绍几个逐步发展过程中的重要方法。 ( 1 ) 基于特征空间的图像分割方法： 如果我们假设颜色是描绘在图像中物体表面的一种定常属性，我们可以把每 个像素映射到一个特定的颜色空间，那么不同的物体将以不同的类( 点集) 出现， 那些属于一类的点主要由颜色变量决定。换句话说，如果我们用颜色特征( 比如 色度) 直方图来代替颜色空间，那么每类颜色将以直方图中的峰值形式出现。因 此，一幅图像的分割问题就变做颜色空间的聚类问题或寻找颜色特征直方图峰值 问题。这两种方法有一个共同的特点就是：仅仅依据某个特征空间而忽略了颜色 在图像平面的空间上的联系。 直方图阂值法是灰度图像广泛使用的一种分割方法，它鉴于对灰度图像的这 样一种假设：目标或背景内部的相邻像素间的灰度值是相似的，但不同目标或背 第2 章前景提取 景上的像素灰度差异较大，其反映在直方图上。就是不同目标或背景对应不同的 峰。分割时，选取的阈值应位于直方图两个不同峰之间的谷上，以便将各个峰分 开。这种思想同样适用于彩色图像分割。o h l a n d e r 等提出了一种多维直方图阈值 化方案( ro h l a n d e re ta 1 7 8 ) ，其阈值是从不同的颜色空间( r o b y i c 、h s ) ) 中 选取，并用于区域分裂。对于每个要分裂的区域，先计算r 、g 、b ，y 、i 、q ， h 、s 、i 等九个特征量的直方图后，再确定每个直方图的峰值，然后选出具有最 佳峰值的直方图，并从中确定出一个阈值来将要分裂的区域一分为二，对于新分 裂出的子区域重复同样的过程，直至每个区域都是相似的，不能再进行分裂为止， c e l e n k 和u i j t ( c e l e n ke ta 1 9 8 ) 首先通过最大化类内方差分别对r g b 空间的三 个直方图进行阂值化，然后通过一个逻辑函数对三个结果进行合并 直方图阈值法不需要先验信息，且计算量较小，但缺点是：1 ) 单独基于颜色 分割得到的区域可能是不完整的：2 ) 在复杂图像的各个分量直方图中并不一定存 在明显的谷，用来进行阈值化分割：3 ) 当像素颜色映射到三个直方图的不同位置 时，颜色信息会发散；4 ) 没有利用局部空间信息。 ( 2 ) 基于区域的分割方法 基于区域的分割方法是基于物体表面有平滑均匀的表面，与图像中强度恒定 或缓慢变化的区域相对应，即每个子区域都具有一定的均匀特性。这一类方法直 接取出若干特征相近或相同像素组成区域。常用的方法有区域增长法，分裂合并 区域法。 a ) 区域增长法： 区域增长法是最基本的区域增长法。又可以分为单连接区域增长、混合连接 区域增长等等。 单连接区域增长技术，是把两个像素看成是连接图中的一个节点，把单个像 素同空间与其相邻像素的特性进行比较，用一条弧将特性足够相似的相邻像素连 接起来，从而进行区域的增长。因此如何衡量两个相邻像素是否在特性上“足够 相似”，是实现这种方法的关键。通常最简单的方法就是计算两个相邻像素的灰 度值之差。 混合连接区域增长的总过程和单连接区域增长法类似，但是对于每个节点， 他用该节点对应的像素周围k x k 领域的特性，相邻像素的相似与否，主要依赖 于它们各自领域在某个具体含义上是否相似，这就增加了抗干扰性。 b ) 分裂合并泫： 分裂合并区域分析方法，利用了图像数据的金字塔或四叉树数据结构的层次 概念，将图像划分成一组任意不相交的初始区域，即可以从图像的这种金字塔或 四叉树数据结构中的任意q i 间层开始，根据给定的均匀性检测准则进行分裂和合 第2 章前景提取 并操作，逐步改善区域划分的性能，知道最后将图像分成数量最少的均匀区域位 置。 ( 3 ) 基于图论的图像分割方法 近年来，基于图论的图像分割方法得到越来越多的重视这种方法把图像中 的每个像素看做图像中的一个节点，然后利用像素之间在像素值或者像素间的距 离关系在节点之间建立有权边，把图像( i m a g e ) 转化成图( g r a p h ) 利用图论 中已有的工具，可以解决图像分割问题。 a ) 第一章中介绍过的智能剪刀图像合成算法中用到的前景提取就是这一类。 该算法要求用户沿着感兴趣目标的边界放置几个种子点。然后使用d i j k s t r a 算法 求取用户指定的种子点之间的最短路径。而这条路径就被认为是感兴趣目标的边 界。 b ) g r a p hc u t s 是基于图论的图像分割方法中的代表( yb o y k o ve ta 1 2 0 0 1 ) ， 主要是利用了图论中的最大流原理。该算法把图像分割看做是一个二值分类问题。 假设一般图的构成为g = v ，e ) ，v 为节点集，e 为边缘集。二值分类问题就是对 v 中的所有节点i ，附一个值而，为l 表示对象，为0 表示背景。二值分类问题 可以通过最小化g i b b s 能量e n e r g y ( x ) 来解决： e n e r g y ( x ) = 巨( 五) + a 毛( 薯，) ( 2 1 ) i e v j 。肛r 其中层( ) 为似然能量，表示将节点i 赋值为薯的代价。易( 薯，x ，) 是p r i o r 能量， 表示柏邻节点i 和j 分别赋值为五和x ，的代价。通过图论中的g r a p hc u t s 算法可 以最小化如上能量。g r a p hc u t s 算法将用户指定的前景去设为s ( 源端点) ，而被 背景区域设为t ( 目标端点) 。相邻节点闻的边权为最( 而，工，) ，每个节点和s 或t 的连接的边权为层( 葺) 。然后利用最大流算法求取r 一个最小代价分割，可以 将图中的所有顶点分为两个集合，一个集合包含s 点，另一个包含t 点。基于 g r a p hg u t s 的图像分割方法的另外一个好处在于，它从原理上支持扩展到3 维信 号的分割，比如医学图像，多光谱图像，视频数据的分割。由于g r a p hc u t s 返回 的结果是分离这些种子点的最小割，所以可能得到的前景是包含这写种子点的很 小的区域，还有大部分的感兴趣区域被划分为了背景。因此用户必须沿着感兴趣 目标的边界不断的增加种子点。另外，g r a p hc u t s 是n p 难问题，需要使用启发 式的方法来求解。 自从2 0 0 1 年g r a p hc u t s 被引入到图像分割领域后，出现了大量基于g r a p h c u t s 的改进图像分割方法，主要在两个方向上对g r a p hc u t s 算法进行了改进。一个方 面是通过简化图，来提高g r a p hc u t s 算法的速度。文献( h l o m b a e r t2 0 0 5 ) 先用 一种怀准的多标签算法分割图，然后在每个特定的子图里面求解小得多的g r a p h c u t s 题。l a z ys n a p p i n g ( y l i ne ta 1 2 0 0 4 ) 先用分水岭算法对图像进行处理， 第2 章前景提取 然后把每个分水谷当做一个“超节点一，再做g r a p hc u t s 。l a 巧m a p p i n g 还提供 了一个交互式工具来分开那些在分水岭算法中被错误地分到同一个分水谷中的 前景和背景区域这些方法都主要是通过减少图的节点来提高运算速度。第二个 方面是通过g r a p hc u t s 迭代地估计一个颜色模型出来( a b l a k e2 0 0 4 ) g r a b c u t ( c r o t h e r 醴a i 2 0 0 4 ) 还把这种颜色模型的迭代操作和人工介乎结合起来了 g r a b c u t 要求用户在感兴趣目标周围划一个方框，并用其颜色模型作为一种先验