（计算机应用技术专业论文）图像前景提取技术研究.pdf

浙江大学硕士学位论文摘要 摘要 前景提取( f o r e g r o u n de x t r a c t i o n ) 与图像合成( i m a g ec o m p o s i t i o n ) 是图像 处理中的基本操作，也是视觉特效制作中是最重要和最常用的操作。在杂志、二 维图形艺术、电视、广告等领域也有广泛的应用。 前景提取根据图像中是否有半透明像素，可分为前景分割( f o r e g r o u n d s e g m e n t a t i o n ) 与前景抠图( f o r e g r o u n dm a t t i n g ) 两类。本论文简要介绍了图像 前景提取技术的研究背景及其研究现状，并分析比较了多种算法的优缺点。本论 文的主要工作包括： 研究并实现了懒人分割系统( l a z ys n a p p i n g ) ，它是一种交互式的图像前 。 景提取工具。该系统将图分割算法与分水岭算法结合起来，能够提供及 时的视觉反馈。该系统实现了一种直观的用户界面，为用户提供了灵活 的控制和编辑能力。 研究并实现了鲁棒抠图算法( r o b u s tm a t t i n g ) ，它结合了基于采样的抠图 算法和基于传播的抠图算法的优点，同时弥补了它们的缺陷。该算法使 用优化颜色采样算法进行采样，并同时计算样本点的信度( c o n f i d e n c e ) ， 只选择具有高信度的样本点来计算估计掩膜值( m a t t e ) ，然后使用 r a n d o mw a l k 算法优化估计值。实验结果说明了该算法的优越性。 把多种前景分割算法和前景抠图算法进行集成，实现了一个图像前景提 取应用系统。系统提供前景分割、创建提示图像( t r i m a p ) 、前景抠图等 多种功能。系统集成了懒人分割( l a z ys n a p p i n g ) 、贝叶斯抠图( b a y e s m a t t i n g ) 、鲁棒抠图等算法。该系统具有一定的应用价值。 关键词前景提取、图像合成、前景分割、前景抠图、懒人分割、鲁棒抠图、前 景提取系统 浙江大学硕士学位论文 a b s t r a c t a b s t r a c t f o r e g r o u n de x t r a c t i o na n di m a g ec o m p o s i t i n ga r ef u n d a m e n t a lo p e r a t i o n si n i m a g ep r o c e s s i n g ，a n dt h e yh a v eb e c o m ec r u c i a la n df r e q u e n t l yu s e do p e r a t i o n si n v i s u a le f f e c t sp r o d u c t i o n i na d d i t i o n , m a t t i n ga n dc o m p o s i t i n ga r eu s e di nm u c ho f t o d a y sm e d i a , i n c l u d i n gm a g a z i n e s ，2 d a r t sa n dg r a p h i c s ，t e l e v i s i o na n da d v e r t i s i n g e t c a c c o r d i n gt oa s s u m p t i o no f w h e t h e rt h e r ea r cs e m i - t r a n s p a r e n tp i x e l s ；f o r e g r o u n d e x t r a c t i o nc a l lb ed i v i d e di n t ot w oc a t e g o r i e s ：f o r g r o u n ds e g m e n t a i o na n df o r e g r o u n d m a t t i n g i nt h i sp a p e r , a f t e rab r i e fi n t r o d u c t i o nt ot h er e s e a r c hb a c k g r o u n do f f o r e g r o u n de x t r a c t i o n , w ef i r s t s u m m a r i z et h es t a t eo ft h ea r t so ff o r e g r o u n d e x t r a c t i o na n di m a g ec o m p o s i t i n g ；t h e nw ea n a l y z ea n dc o m p a r et h ep r o sa n dc o i l so f s e v e r a la l g o r i t h m s o u rm a i nc o n t r i b u t i o i n sa r ea sf o l l o w s ： w es t u d ya n di m p l e m e n tl a z ys n a p p i n ga l g o r i t h m , a l li n t e r a c t i v ei m a g e f o r e g r o u n dc 呦i i tt 0 0 1 i n s t a n tf e e d b a c ki sm a d ep o s s i b l ew i t han o v e li m a g e s e g m e n t a t i o na l g o r i t h mw h i c hc o m b i n e sg r a p hc u ta l g o r i t h mw i t hw a t e r s h e d a l g o r i t h m as e to f u s e ri n t e r f a c ei si m p l e m e u t e dt op m v i d ef l e x i b l ec o n t r o l a n de d i t i n gf o rt h eu s e l f s w es t u d ya n di m p l e m e n tr o b u s tm a t t i n ga l g o r i t h m , w h i c hc o m b i n e s s a m p l i n g - b a s e dm e t h o da n dp r o p a g a t i o n - b a s e dm e t h o d , w h e r e a sa v o i dt h e i r l i m i t a t i o n sa sm u c ha sp o s s i b l e w eu s eo p t i m i z e dc o l o rs a m p l i n gt os a m p l e f o r e g r o u n da n db a c k g r o u n ds a m p l e s f o ro n k n o w np i x e l s , b u tm o s t i m p o r t a n t l y , w ec o m p u t ec o n f i d e n c ef o rt h e s es a m p l e s o n l yh i g hc o n f i d e n c e s a m p l e sa r cc h o s e nt oe s t i m a t em a r c t h e nw eu s ear a n d o mw a l l 【e rt o o p t i m i z et h em a t t e e x p e r i m e n t a lr e s u l t sh a v ep r o v e ds u p e r i o r i t yo f0 1 1 1 a p p r o a c ho v e rp r e v i o u s l yp r o p o s e da l g o r i t h m s w ea l s od e v e l o pa f o r e g r o u n de x t r a c t i o na p p l i c a t i o ns y s t e m , w h i c hi n t e g r a t e s s e v e r a lf o r e g r o u n ds e g m e n t a t i o na n df o r e g r o u n dm a t t i n gt o o l s o u rs y s t e m r e q m r e su s e r st os p e c i f ya no r i g i n a li m a g e ，a no p t i o n a lt r i m a pi m a g ea n da n i i 浙江大学硕士学位论文 a b s h a e t o p t i o n a ln c wb a c k g r o u n di m a g e u s e r sc a l la l s oc r e a t eat r i m a pm a n u a l l y o u rs y s t e mi n t e g r a t e sl a z ys n a p p i n g ，b a y e sm a t t i n g , a n dr o b u s tm a t t i n g c u r r e n t l y w ee x p e c t e do u rs y s t e mt ob eav e r yu s e f u lt 0 0 1 k e yw o r d s ：f o r e g r o u n de x t r a c t i o n ，i m a g ec o m p o s i t i o n , f o r e g r o u n ds e g m e n t a t i o n , f o r e g r o u n dm a t t i n g , l a z ys n a p p i n g ，r o b u s tm a t t i n g , f o r e g r o u n de x l r a e t i o ns y s t e m 浙江大学硕士学位论文 目录 图目录 图1 1m i s h i m a 算法5 图1 - 2k n o c k o u t 算法7 图1 3r u z o n 算法8 图1 4h i l l m a n 算法9 图1 - 5b a y e s 算法。l o 图2 1 懒人分割系统1 7 图2 2 基于图分割的对象标记操作1 9 图2 3 改进的图分割算法2 l 图2 - 4 基于图分割的边界编辑操作2 3 图2 5 使用多边形的位置作为软约束：低对比度的边界2 4 图2 - 6 使用多边形的位置作为软约束：模糊的边界。2 4 图2 7 懒人分割：测试图片集合2 5 图2 8 懒人分割实验结果2 8 图3 - l 以前算法的局限性：不符合线性模型3 2 图3 2 以前算法的局限性：非均匀分布3 2 图3 3 以前算法的局限性：实例3 3 图3 - 4 优化颜色采样：仅依赖距离比率会带来问题3 5 图3 5 优化颜色采样：实例3 6 图3 6 鲁棒抠图：图标记问题3 7 图3 7 鲁棒抠图：输入图像、提示图像与真实掩膜值图像4 2 图3 8 贝叶斯抠图与鲁棒抠图的结果比较4 5 图4 1f e s 的基本使用流程4 8 图4 2f e s 的主界面5 0 图4 3 工具栏的功能介绍5 2 图4 - 4f e s 系统使用实例5 8 u i 浙江大学硕士学位论文表目录 表目录 表1 - 1 四种自然抠图算法的比较1 2 表2 - 1 懒人分割实验数据2 8 表3 1 执行时间比较4 l 表3 - 2 均方误差比较4 1 i v 浙江大学硕士学位论文第一章绪论 1 1 研究背景 第一章绪论 前景提取( f o r e g r o u n de x t r a c t i o n ) 与图像合成( i m a g ec o m p o s i t i o n ) 是计算 机图像处理和视觉特效制作中的基本操作。前景提取是指从一幅图像中提取出任 意形状的前景对象，而图像合成是将提取出的前景对象放置在一个新的背景对象 上合成一幅新的图像。前景提取与图像合成技术最早是从电影制作中发展起来 的。而今，前景提取与图像合成是视觉特效制作中最重要的也是最常用的操作。 通过前景提取与图像合成操作，我们可以将新物体无缝地插入到一个场景中，也 可以将演员放在一个全新的位置上。另外，前景提取与图像合成技术也在其他领 域有广泛的应用，比如杂志、二维图形艺术、电视、广告等传媒制作业。 根据图像合成公式，一幅输入图像c 可以表示为一幅前景图像f 与一幅背景 图像b 的凸组合，即c = a f + ( 1 一a ) b 。因此只要确定了口和f ，我们就可用新 背景图像f 来取代曰，得到新的合成图像。一般将求解口和f 的问题称为前景提 取问题。前景提取问题是一个欠约束问题。因此，许多前景提取算法都需要用户 首先大致将输入图像分割成包含已知前景区域、已知背景区域和未知区域的提示 图像( t r i m a p ) ，然后算法根据己知前景区域和己知背景区域的信息来计算未知区 域像素的掩膜值( m a t t e , a l p h a ) 。 我们可以进一步的将前景提取问题分为两类：前景分割( f o r e g r o u n d s e g m e n t a t i o n ) 与前景抠图( f o r e g r o u n dm a t t i n g ) 。前者认为图像中没有半透明像 素，即口= 0 或口= l 。后者认为图像中存在半透明像素，即口【o ，1 】。下文中， 在不至于引起混淆的地方，我们将交换使用这三个概念。读者可以用上下文确定 其具体含义。 在前景分割技术方面，主要有基于像素( p i x e l - b a s e d ) 的方法、基于边界 ( e d g e - b a s e d ) 的方法和基于区域( r e g i o n - b a s e d ) 的方法。基于像素的方法要求 浙江大学硕士学位论文第一章绪论 用户在单个像素级来指定前景或者背景，因此工作量非常庞大。基于边界的方法 允许用户围绕前景对象的边界绘制曲线，然后对该曲线进行分段优化，但是用户 必须谨慎的绘制曲线，仍然需要大量的用户交互。基于区域的方法允许用户指定 一些松散的提示信息，并使用优化算法来提取实际的前景对象边界，因此具有简 单快速的特点。但是基于区域的方法也具有缺陷，如区域检测算法可能失效，图 像中某些区域可能很难给出合适的提示信息等。 在前景抠图技术方面，主要有基于采样( s a m p l i n g - b a s e d ) 的算法和基于传播 ( p r o p a g a t i o n b a s e d ) 的算法，基于采样的抠图算法的基本思想是，首先进行采样 ( 如最近邻采样等) ，然后利用样本点来估计未知区域像素点的前景颜色和背景颜 色，算法的主要局限性在于不能精确的计算未知像素的掩膜值。基于传播的抠图 算法的基本思想是，根据图像的统计特性做出假设( 如邻域不变性等) ，然后使用 不需要进行颜色采样的基于传播的算法( 如置信度传播等) 来求解前景颜色和背景 颜色，但基于传播的算法的前提假设条件不一定能得到满足。这两类算法一般都 需要用户首先指定一幅提示图像，用户需要细致地构画出前景边界和背景边界， 因此需要较多的用户交互，效率较低。 综上所述，对前景提取技术的研究具有非常重要的现实意义。如何设计既具 有基于区域的方法的快速提示功能，又能提供像素级的边界编辑功能的前景分割 算法，如何设计既能消除以前抠图算法的局限性，又能减少用户交互并改进抠图 结果的前景抠图算法，是我们研究工作的重点。 1 2 抠图技术综述 1 2 1 图像合成与前景提取 图像合成过程可以用下式来表示： c = c r f + n - a ) b ( 1 1 ) 其中c ，f 和b 分别表示合成图像、前景图像和背景图像，口称为掩模值( m a t t e , a l p h a ) ，并且口【o ，l 】。掩模值表示了每个像素的不透明性，用来将前景色和背景 色进行线性混合。如果口= 0 则表示前景色完全透明，即完全不会遮挡背景色； 2 浙江大学硕士学位论文第一章绪论 口= l 表示前景色完全不透明，它会完全遮挡住背景色；而0 c t f l ij 水拟i ? = j 个像索维 群，最后使川舟j 听混合模删r g a u s s i a nm i x t u r e sm o d e lj 柬拟彳川j j ：像索的分佑。 对7 f 景像袭也进” ：迹的操作，褂刽。f l i f 4 1 f t j , a 瓦，l j l , j ；+ 左为，门尤m 高斯分 们，并也川：4 斯混f ? 模型水拟台d i y ；2 像索的分_ j 。 哆 ( a )( b ) hi 一3r u z o n 锥，、 卜- 嘶将每个l m 景像索娥群分别和背景像索臻群配刘，并i i 般壬i - 各种“棚交规 则”f i n t e r s e c t i o nc o n f l i c t ) 和“峡f 】规则”f a n g l ec o n f l i c t ) 对这些集群对进行以 舍。图1 3 f bj 就镀示了这样的 个集群对。在建、7 这样的集群对网络以后，似改 未知【式域的像袭( 满足。种介于前景分向和背景分以，之间的e p i u j 分卅，) ( c ) 。 p ( c ) 也是一些高斯分析，的干，并且每个高斯分_ ，的均值为e ，协，j 蔗为y ，。 l 中e 位7 二连接每个綮群对的均值f 一和西的a 线f ：，位荐f j | 掩帧值“决定；f 面 ，也是月j f r d 十t 的力法插值得到。使得未知像索( 1 的，p 问分机有最大概二 ：的掩 摸值即为最优掩模值。l 上i 此，最优掩模值的选择与f 和口无关。作为后续处理步 骤，通过埘f 】u 景7 f 景集群肘的均值迸行加权求和r 使f f j f ：f 个鬃群对的分和概牢做 为权、嚣j 分别得到未知域像索的前景色和背曩色m 仍计值户年西。然后i 户和 b 进行扰动，使得它们成为通过 的线段的阴端i ，这样便满足了f 成力+ 烈( 1 1 ) 。 1 jr u z o n 和t o m a s i f ：卜1 if n 足，l i l l m a n “寄人1 1 6 i x , j 样水进行j ：成分分析 fp r i n c i p a lc o m p o n e n t a n a l y s i sj ，并使用有向线段束表j i 颜色样本。之所以使川 订线段，怂i 川为颜色维群4r u b 颜色窄m t ，的分伽趋向于扁k 形f 炎似j ，t i 掰i ) 算划：一先按照光栅循序 i 拙矧缘找到f个_ i 知区域内未被处删过的像索，i ( 。以( 为一 ，一l ，、f 住为，范_ _ | 内的所订朱钦处理的像豢点构成未知r 域( ，+ ，这 o ；像褒使川州| r _ ( j 的前景模型和 i 景模为了建”i f l 景模型，阿先将7 荣边界j ： 距离c 最近的像索作为集合口，并口内任像索为r f ，h 、 径为疋范内f 他 背景像素也归入口。前景模删声使”炎似方法得到。或卉如图l - 4 ( a j f i i , 1 ：- ，以( 为 中心，半径为p 范田内的所订7 景像索点的集合作为占，所仃前景像豢j 7 j 臻f ? 作为f 。对时景和背景颜色样本使用 j 成分分析找剑 方向r m a j o r ( ) r i e n t a t i o n j 然后将颜色样本投影到f 弘杯轴卜如图4 ( b j 所4 - ，分别找到投影历颈色样本 的极限点，这些极限点形成线段f e 和e 口，。给定未知区域的像索点c ，首先找 剑f 只利口。口，卜距离c 最近的，r i ，分刖记为f 和口，u c 枉f 曰上的投影点为 c ”。则掩摸值口的估计值为线段r 口和线段f b 的c j ：= 度的比值，与r u z o n 和 t o m a s i 算法类似，作为后续处删，未知像索j l i 的丽疆笆厂椰7 疆色b 也通过分别 扰动f7 和疗得到。 ( a ) ( b ) | 冬i 一4 i l l m a n 算法 丫一yc h u a n g 等人”提出了p 。斯抠旧算法( b a y e s i a nm a t t i n g ) ，以竹泣也足 种堪r 概率统计的方法。与r u z o n 和t o m a s i 的算法类似，也是般训给j 芷邻域 求构造丽姬和7 弘的概率分御。但是陔方法使用个滑动窗【j 束定义制：城，缓份 9 塑! ! ：生兰竺i 兰竺堕兰二! ! i 生 j 以“洋葱剥皮”( 0 n i o np e e l ) 的办，从前景和 擐k 域向未知区域内；坩r 力如 【雩 1 5 ( a ) 所不然历在一个良好j 已义的p 嘶氍架r b a y e s i a nf r a m e r , ( ) r k ) 内z 。f 汁 竹掩横f f 洲j i h 】题进”描述，并使川敲) s i 验概率算法r m a x i m u map o s t e r i o r i ) 进 求解。卉：m a i ，仆“t l 对j 纷j 迂术夤k 域像素( ，我们尝试柬、 找皱彳可能 的f ，b 和口的仙汁 ：l ：f 。这个问题u r 以描述成在概：簪分布p z f f s - 4 、最j f 七i n 题， 根掘91 j j j _ j 听定l l ( b a y e s sr u l e ) i q 以得剑： a r g m a x p ( f b 口c ) ：a rmaxp(cf,b,cx)p(f)p(b)p(cx)(1，6)g = a 豫：7 万广一 驯 ，口 ，f tl = a r g m a x 上( ( 1 ，1 b “) + 工( f ) + l ( 口) + ( o ) ，$ 其中l f ) 是刘数似然概率( l o g , i k e l i h o o d ) ，即f j u l o g p ( ) 。l ( c 7 i f ，t l , c x ) ， ( f ) 和】( b ) 的j 芷义清参考，返q t f l k 设( 刎足常 i ，此“：蜮人化f f j j 样。f 忽 略。 式f 16 ) 小足个：次力_ c f ! ，力 r7 i 效的求解，“j 以将它分解成两个含。次 方程的予酒i 题：先j 之“求求雠f 和b ；然后呵j 兰f 和b 求求解“；然后循：优 化直到结粜收敛( 即达剑预先指定的蚓值) 。与r u z o n & t b ) 嘲1 5b a y e s 算法 l o m a s i 钳i 上所使j i j 的【岛j 斩混合梭，掣r g m m ) 棚比，9 斯弭法似设未知i k 域像 索仪对逦卟前景7 f 景壤群对。1 存仡多个f j i _ 景背景集群，j t i g - ，需要分别为每一 d 窭萋 浙江大学硕士学位论文第一章绪论 个集群对进行上述的优化过程，然后选取具有最大似然的集群对。当然，我们也 可以直接使用g m m 。 随后，y yc h u a n g 等人【1 8 1 将贝叶斯抠图扩展到视频应用中，使用光流法 ( o p t i c a lf l o w ) 将提示图像在帧间传递。因为光流的计算不是完全稳定的，所以 提示图象的帧间传递成为该视频抠图系统的瓶颈。 j i a ns u n 等人【1 9 】在贝叶斯抠图算法的基础之上，提出了联合贝叶斯抠图算法， 并使用在闪光抠图( f l a s hm a t t i n g ) 中。闪光抠图使用两幅图像( 即f l a s h 图像， 和n o _ f l a s h 图像i ) 来提取掩模值，因此属于多幅图像的自然抠图算法。该算法 基于两个假设：( 1 ) 在闪光摄影过程中，只有前景有明显改变，即当照相机和闪光 装置连接在一起，并且背景距离照相机很远时，可以近似认为f l a s h 图像和 n o - f l a s h 图像中背景色是不变的( b ，* 占) ；( 2 ) 输入的两幅图像是像素对齐的，即 相机没有位移。因此可以通过图像相减来得到f l a s h - o n l y 图像，即 i i i1 a ( e ，一f ) = 口，。然后通过最大化一个对数似然函数 l ( a ，f ，b ，f i ，) 来求解未知区域像素的掩模值： ：arg口m，a，x磊l，(a,f,b，,f，功i,+i上)arg m a x l ( i i o tf 。，l a ，f ，+ 工。f ，+ 三。b ，+ 三。f ，+ 三。，c t ， = 。 。， ，功+ 上( ，) + 工( f ) + 三( b ) + 三( f ) + 三( 口) ) 其中l ( i l c t ，f ，b ) ，三( ，i 口，f ) ，( f ) ，上( 回和l ( f ) 的计算请参考 1 5 】。而 与贝叶斯抠图类似，假设工 ) 是常量，因此在最大化的过程中忽略。 y u n g - y uc h u a n g 2 0 1 对基于概率统计的自然图象抠图算法进行了比较分析，认 为它们之间的主要区别在于5 个方面：( 1 ) 估计掩模值时选择像素的次序；( 2 ) 如何 进行样本收集；( 3 ) 如何对前景色和背景色进行建模；( 4 ) 如何估计掩模值；( 5 ) 如 何估计前景色等。表1 1 对上面提到的4 种基于概率统计的抠图算法( k n o c k o u t , r u z o n & t o m a s i ，h i l l m a n , b a y e s i a n ) 进行了概述。 与基于概率统计的抠图算法不同，孙剑等人 2 1 1 提出了基于梯度场的泊松抠图 算法( p o i s s o nm a t t i n g ) 。从1 1 1 l 中得到启发，如果假设前景和背景是平滑的，那么 输入图象的梯度场与掩模值的梯度场成比例。与【i l 】不同的是，泊松抠图通过在2 d 图象空间中通过直接求解泊松方程来重建掩模值。算法根据输入的提示图象 浙江大学硕士学位论文第一章绪论 ( t r i m a p ) ，首先计算掩模值梯度场，然后通过求解满足i ) i r i c h l e t 边界条件的泊松方 程从掩模值梯度场来重建未知区域内各像素的掩模值。在全局泊松抠图( g l o b a l p o i s s o nm a 坩n g ) 中，对合成公式( 1 1 ) 两边求梯度，并忽略f 和b 的梯度，得到 掩模值梯度场的近似值为w ( f 一研。如果在未知区域内f 和b 不满足平滑的假 设，那么全局泊松抠图所得到的结果会产生错误，因此需要对掩模值梯度场进行 手工局部操作，从而得到满意的结果。这种交互式的改善的过程称为局部泊松抠 图( l o c a lp o i s s o nm a t t i n g ) 。 表1 - 1 四种自然抠图算法的比较 比较项k n o c k o u ti ir u z o n 1 r o m a s ih i l l m a nb a y e s i a n 像素次序 光栅序区域更替光栅序洋葱剥皮 样本收集 图l 一2 ( a )图1 - 3 ( a ) 图1 4 ( a ) 图l - 5 ( a ) 颜色建模 外推法 无向高斯有向线段有向高斯 图1 2 ( b ) 图l 一3 ( b ) 图1 - 4 ( b )图1 - 5 ( b ) 掩模值估计 ( m l l )( c 倚f 雷)( m a r )( 公式( 2 3 ) ) 前景色估计 外推 扰动 扰动 m a p 2 m a p ：t x , ( m a x i m u ma p o s t c r i o r i ) l e v i n 等人【2 2 】提出一种抠图问题的闭合形式解：( c l o s e d f o r m s o l u t i o n ) 。该方 法与其他抠图算法的不同之处在于，通过假设前景颜色和背景颜色是局部连续 的，直接推导出一个能量函数，并且可以将前景色f 和背景色b 从能量函数从消 除，从而得到一个关于口的二次能量函数。这样通过求解一个稀疏线性方程组就 能够得到全局最优的掩模值。 该方法的描述如下。假设在图像中的每个像素附近的一个小窗口w ( 通常为 3 x 3 ) 中，背景色和前景色大致是常量。那么根据合成公式( 1 1 ) ，可以得到： q2 口巧+ 6 ，v i e w ( 1 8 ) ：在数学中，当且仅当一个方程或一个方程组至少有一个能够使用有限多个。已知”函数表 达出来的解时，称它有闭合形式解。所谓“已知”函数包括基本初等函数，也可以包括误差 函数或者g a n u n a 函数等常用函数。 1 2 浙江大学硕士学位论文 第一章绪论 其中r ，f ，群，q 分别表示窗1 3 w 中的像素点i 的合成色、前景色、背景色( 分 别为3 个通道) 和掩模值。a 。是标量常量，b 是3 x l 的矢量常量，它们都是从 f ，只，耳计算得到的。为了求解掩模值，定义下面的能量函数： j ( a ，口，6 ) = ( 一f 一屯) 2 + 2 ) ( 1 9 ) j t ll e 。t ce 可以证明，可以消去公式( 1 9 ) 中的a 和b ( 即消去f 和b ) ，得到一个关于口的 二次能量函数： j ( a 1 = 口7 缸 ( 1 1 0 ) 其中三称为l a p l a c i a n 抠图矩阵( m a t t i n gl a p l a c i a n ) ，它是是一个n x n 的矩阵， 并且( f ，_ ，) 处的元素为： 州磊、( 岛一南( 1 “一段x t + 南批训” ( 1 1 1 ) 其中。窗口w k 中颜色的协方差矩阵，以是窗口心中颜色的均值，厶是一个 3 x 3 的单位矩阵。通过求解公式( 1 1 0 ) 的最小值就可以得到全局最优掩模值。 另外，通过对稀疏矩阵的特征向量进行分析，用户可以对方程组的解的特性进行 预测。特别地，通过分析l a p l a e i a n 矩阵的最小的特征向量，可以指导用户如何描 绘线条。 1 3 本文结构组织 本文的主要工作有如下三个方面： 研究与实现了懒人分割算法【划( l a z ys n a p p i n g ) 研究与实现了鲁棒抠 算法p 4 1 ( r o b u s tm a t t i n g ) 集成多种前景分割与前景抠图算法，以及图像合成功能开发了一个图像 前景提取应用系统。 论文内容组织如下： 第一章：介绍了论文选题的研究背景，从图像合成、前景分割和前景抠图三 个方面详细综述了前景提取技术以及发展现状。总结性介绍本文主要工作，并给 浙江大学硕士学位论文第一章绪论 出了论文的组织结构。 第二章：本章研究与实现了懒人分割算法。详细介绍了图分割算法，分水岭 算法和边界编辑算法。最后通过实验结果来说明该算法的优越性。 第三章：本章首先分析了现有的具有代表性的前景抠图算法存在的缺陷，并 基于此介绍了鲁棒抠图算法，然后详细分析了鲁棒抠图算法所依赖的两个算法， 即优化颜色采样算法和r a n d o mw a l k 算法。最后通过实验结果的比较说明该算法 的优越性。 第四章：本章介绍了图像前景提取应用系统。它提供了创建提示图像、前景 分割、前景抠图和图像合成等多种功能。系统集成了懒人分割算法，贝叶斯抠图 算法和鲁棒抠图算法等。该系统具有一定的应用推广价值。 第五章：本章对全文内容进行了总括，回顾了本文的主要研究内容，归纳了 本文的主要贡献以及创新点，并指出进一步可以进行研究的内容，作为下个阶段 研究的重点。 1 4 本章小结 在本章中，我们首先介绍了前景提取和图像合成的概念，然后介绍图像合成 技术与前景提取技术( 可分为前景分割技术、蓝屏抠图技术与自然抠图技术) 的 研究现状。最后，我们列出了本文的组织结构。 1 4 浙江大学硕士学位论文第二章懒人分割 第二章懒人分割 2 1 引言 前景分割技术是一种在图像中将前景对象提取出来的技术。前景分割技术经 历了很多年的发展，并被广泛应用于电影、电视、出版和摄影等领域。随着数字 成像技术的出现，我们可以在单个像素级上来指定前景和背景，这种基于像素的 方法得到的结果非常精确，但是这种方法很繁琐。 前景分割的任务是指定图像中的哪些部分是前景( 即用户想要提取的部分) ， 哪些部分是背景。虽然人的视觉系统可以很容易地指定前景和背景，但是计算机 在没有人工帮助下是很难具备这种理解能力的。这就需要用户在像素级上来分别 指定图像中的每个前景区域。这样繁重的像素级上的工作使得前景分割成为一件 令人沮丧的事情。 因此，前景分割技术的挑战是，如何在不牺牲像素级结果精度的同时，设计 一种比基于像素的方法要简单得多的前景分割算法。 2 2 相关工作 目前，对基于像素的方法主要有下面两种改进方法：基于边界的方法和基于 区域的方法。它们都是利用了某种图像特征( 如颜色一致性等) 来实现前景的自 动选取或者用来指导前景的选取。 基于边界的方法，允许用户环绕前景对象的边界绘制一条可变曲线，然后对 该曲线进行分段优化。此类算法有智能剪刀刀l ( i n t e l l i g e n ts c i s s o r ) ，i m a g e s n a p p i n g 2 5 l 和j e t s t m a m t + 6 + + 。 基于边界的方法，虽然比传统的基于像素的方法容易，但仍然需要大量的用 户交互。算法所使用的图像特征与前景图像的特征不可能完全相同。因此，用户 需要非常谨慎地控制曲线。如果有错误，用户必须先“还原”曲线，然后重新勾 浙江大学硕士学位论文第二章懒人分割 勒边界曲线。算法要求曲线环绕前景对象的整个边界，而如果是一个复杂的高分 辨率的对象，用户就需要花费比较长的时间。控制曲线的细节也使得用户无法把 握整体进度。用户在绘制边界线的时候，是很难对图像进行缩放的。另外，一旦 确定了边界，这种工具就没用了，此后产生的任何错误都只能使用传统的选择工 具来清除( 如使用p h o t o s h o p 中的套索工具等) 。 进来，研究者们开始使用基于区域的方法来对前景分割技术进行改进。此类 方法有p h o t o s h o p 中的魔棒( m a g i cw a n d ) 、i n t e l l i g e n tp a i n tq - 具【4 用、m a r k e r d r a w i n g 工具 2 7 1 、基于缩略图的交互式工具瞄l ( s k e t c h - b a s e di n t e r a c t i o n ) 、交互式 图分割技术1 = 0 1 、交互式数字蒙太奇系统【2 】( i n t e r a c t i v ed i g i t a lp h o t o m o n t a g e ) 和 g m b c u t 【6 】等。基于区域的方法允许用户指定一些松散的提示信息，如图像哪些部 分是前景或背景，但并不要求区域闭合或者在像素级指定。这些提示信息通常是 在前景或者背景对象上进行点击或者拖动来产生的，因此具有简单快速的特点。 在用户输入的提示信息的基础上，采用某种优化算法来提取前景对象的实际边 界。基于区域的方法允许用户在任意尺度进行操作。在用户给出提示信息后，系 统给出部分结果。随着用户提示信息的增加，前景和背景的分割就会越来越精确。 但是此类方法也有缺陷。区域检测算法所使用的图像特征有可能与前景区域或者 背景区域的特征不一致。有些阴影区域、低对比度的边界或者模糊的区域很难给 出合适的提示信息。 综上所述，我们需要设计一种即具有基于区域的方法的快速提示功能，又能 够提供像素级的边界编辑功能的前景分割方法。 本章中，我们研究懒人分割1 3 0 l ( l a z ys n a p p i n g ) 系统，它是一种新颖的能够 从粗到细地提取出前景对象的工具。如图2 1 所示，懒人分割系统由两个步骤组 成：如图2 1 ( b ) 所示的一个快速的对象标记操作和如图2 1 ( c ) 所示的一个简 单的边界编辑操作。我们将第一个步骤称为对象标记( o b j e c tm a r k i n g ) ，它是在 较粗糙的尺度上的操作，用户绘制几条标记线来指定感兴趣的对象( 参见2 3 节) 。 将第二个步骤称为边界编辑( b o u n d a r ye d i t i n g ) ，它是在较细致的尺度上的操作， 用户通过简单的点击( 或者拖动) 附着在前景边界上的多边形顶点来编辑对象边 浙江大学硕i 学位论文第二章懒人分割 界f 参见24 卜) 。该系统通过上述两个步骤，综合了基于边界的方法和基于区域 的方法的优点。第一步的对象指定直观并且快速，第二步的精确边界控制简单而 高效。 ( a ) 输入幽像( b ) 对象标记f c ) 边界编辑( d ) 新合成图像 图2 1 懒人分割系统 从【2 9 1 中得到启发，在两个步骤中我们都将前景分割问题看作是一个图分割问 题。在对象标记步骤中，我们将图分割算法与分水岭算法结合起来，提出了一种 更为有效的图分割算法，使得用户能够得到即时的视觉反馈。在边界编辑步骤中， 我们使用一个简单的多边形编辑的用户界面，使用多边形的位置作为软约束，对 模糊或者低对比度的边界进行优化。 本文其余部分是这样组织的：2 3 节介绍懒人分割系统的第一个步骤一对象 标记；2 4 节介绍第二个步骤一边界编辑：2 5 节中我们在许多自然图像上对该系 统进行实验：2 6 节对本章进行了总结。 2 3 对象标记操作 对象标记操作是懒人分割系统的第一个步骤。对象标记的主要任务是允许用 户从概念上对前景对象和背景对象进行区分。我们没有采用跟踪对象边界的方 法，而是允许用户通过绘制直线和曲线来指定感兴趣对象的区域。在2 3 1 节介 绍了对象标记操作的用户界面设计。一在2 3 2 节中详细介绍了图分割算法的实现。 在2 3 3 节中将分水岭算法与2 3 2 节中的图分割算法相结合，实现了一种改进的 图分割算法。 浙江大学硕士学位论文第二章懒人分割 2 3 1 用户界面设计 用户按住鼠标键拖动( 左键拖动绘制前景，右键拖动绘制背景) ，在图像上 绘制几个线条来指定对象如图2 1 ( b ) 所示，图像中红色的线条和蓝色的线条 分别表示前景标记和背景标记。这种较粗糙的类似于绘画的用户界面不需要用户 的标记很精确。实际上，大多数的标记线条都距离前景对象的真实边界较远。类 似的用来区分前景和背景的用户界面也出现在口7 捌中，应用于图像分割或者基于 摄像头交互的表情跟踪中。 在用户绘制过每个标记线条并松开鼠标键后，系统开始进行前景分割，并将 分割结果及时的反馈给用户。用户可以检查分割结果来确定是否需要增加更多的 标记线条。因此我们的系统能够在很短的延时后计算出对象边界是非常重要的。 我们采用一种新颖的交互式图分割算法来优化对象边界，该算法能够使对象内部 的颜色相似度和对象边界上的梯度同时最大化。 2 3 2 图分割算法 如前文所述，我们将前景分割问题看作是一个二值图标记问题( b i n a r yg r a p h l a b e l l i n g ) 。将图像看做是一个图( g r a p h ) g = ( y ，e ) ，其中矿是图中所有顶点的 集合，e 是图中所有连接相邻顶点的弧的集合通常，图中的顶点即为图像中的 像素点，而图中的弧表示图像中像素4 领域或者8 领域之间的邻接关系。二值标 记问题是为图中的每个顶点i v ，指定一个唯一的标记五，其中耳【o ，i 】，标记 0 表示背景，而标记1 表示前景。二值标记问题的解可以通过求解g i b b s 能量e ( x ) 最小化来得到【3 1 1 ，其中e ( 抑为： e ( 的= 巨( 薯) + a e 2 ( x , ，_ ) ( 2 1 ) 埘7 j ) e e 其中五