（应用数学专业论文）基于大位移视图的图像修补技术研究.pdf

浙江大学博士学位论文摘要 摘要 图像修补是指去除图像中不需要的景物或者修复缺损区域并使得修复后的 图像看起来和谐、自然。由于在照片编辑、影视特效制作和文物保护等领域的广 泛应用，图像修补技术一直是计算机图形学、图像处理和计算机视觉交叉领域的 一个研究热点。 传统的基于单幅图像的图像修补方法本质上是一个欠约束的病态问题，本文 提出并研究基于大位移视图的图像修补技术，即利用大位移视点图像中的已知信 息来修补当前视点图像中的被遮挡或丢失信息区域。算法的关键是如何将大位移 视图中的已知信息转化为当前视图的可用信息并利用其来修补日标区域。 首先，本文提出一种基于交互的平面场景分割的方法。在用户的协助下，算 法首先交互地将两个视图分割为多个对应的平面场景区域，然后将大位移视图中 的相关平面场景区域变换到目标图像视图上；结合基于图割算法的图像拼接、基 于纹理合成的边界修复和基于像素融合的缝隙填充技术，我们提出一个适用于多 候选平面场景重投影图像的图像修补新算法来修补目标图像。修补结果中存在的 亮度差异通过基于泊松方程的图像混合算法消除，以达到无缝的修补效果。 然后，注意到由于大位移视图中用于修复目标图像的源图像区域并不是一个 平面场景，当它们重投影到当前视图上后可能会形成透视畸变。本文提出一种大 位移视图重投影畸变最小化的方法，采用由粗到细的畸变校正算法来消除大位移 视图重投影后的透视畸变。算法首先基于平面场景假设，利用单应矩阵将大位移 视图的源图像区域做重投影得到初始的校正结果；然后，在颜色恒常性和位移场 光滑性的期望下，通过像素对应的能量优化方法松弛两视图之间的公共场景区域 存在的畸变；最后，在极线几何、邻域像素的位移场光滑性和颜色一致性约束下， 空洞中的像素按照定义的优先级次序依次得到修复。 最后，本文研究了一种基于多层次场景聚类与视点一致性合成的方法。我们 提出一个由粗到细的多层次场景聚类算法，将传统的单模型拟合方法扩展到多模 j 浙江大学博十学位论文：基于大位移视图的图像修补技术研究 型拟合，通过对大位移视图与目标图像上特征匹配点集的聚类分析和外点剔除， 在采用基础矩阵表示的极线几何模型的约束下将含有多个相对运动刚体的动态 场景分割为多个运动模型，在采用单应矩阵表示的平面场景模型的约束下将静态 场景分割为多个近平面场景区域。为了解决近平面场景区域重投影后的图像修补 问题，我们提出基于蒙太奇和结构位移传播的视点一致性合成算法来缝合空洞区 域，它主要包括基于结构位移传播的畸变预校正、基于蒙太奇的空洞缝合和基于 结构位移传播的畸变后处理三个步骤。 实验证明，我们的方法优于传统的图像修补算法，特别是对于修补具有复杂 结构信息的较大丢失信息区域显示出明显的优势。 关键词：图像修补，图像修复，大位移视图，透视畸变，特征检测，图像重投 影，图像拼接，纹理合成，像素对应，能量优化，单应矩阵，极线几何，场景聚 类，模型拟合，图割，蒙太奇，位移传播，泊松图像混合 a b s t r a c t i m a g ec o m p l e t i o nc o n c e r n st h ep r o b l e mo fr e m o v i n gt h eu n w a n t e do b j e c t so r f i l l i n gi nt h em i s s i n gr e g i o n so na l li m a g e w i t ht h ea v a i l a b l ei n f o r m a t i o nf r o mt h es a m e i m a g eo ra n o t h e rt og e n e r a t ev i s u a l l yp l a u s i b l er e s u l t d u et ow i d ea p p l i c a t i o n s i n p h o t oe d i t i n g ，s p e c i a le f f e c t sp r o d u c t i o na n dd i g i t a lc u l t u r eh e r i t a g e ，i m a g ec o m p l e t i o n h a sb e e nah o tt o p i ci nc o m p u t e rg r a p h i c s ，c o m p u t e rv i s i o na n di m a g ep r o c e s s i n g t h i st h e s i sf o c u s e so ni m a g ec o m p l e t i o nb a s e do nt h ev i e w so fl a r g ed i s p l a c e m e n t ， w h i c hi n t r o d u c eo n el a r g ed i s p l a c e m e n tv i e w ( l d v ) i m a g et oi m p r o v et h ei l l n e s s n a t u r eo ft r a d i t i o n a li m a g ec o m p l e t i o nm e t h o d s t h ek e yc h a l l e n g e sh e r ea r eh o wt o c o n v e r tt h ev i s i b l ei n f o r m a t i o no nt h el d vi m a g et ob eu s e f u la n dh o wt oe x p l o i t t h e mt or e p a i rt h et a r g e ti m a g e f i r s t ，w ep r o p o s ea i li n t e r a c t i v es e g m e n t a t i o no fp l a n a rs c e n e sb a s e da p p r o a c h w i t ht h eh e l po fu s e ri n t e r a c t i o n ，o u ra l g o r i t h mf i r s td e c o m p o s e st h et a r g e ti m a g ea n d t h el d vo n ei n t os e v e r a lc o r r e s p o n d i n gp l a n a rs c e n er e g i o n s ( p s r s ) a n dt r a n s f o r m s t h ec a n d i d a t ep s r so nl d v i m a g eo n t ot h et a r g e ti m a g e t h e nw ed e v e l o pan e w i m a g er e p a i r i n ga l g o r i t h m ，c o u p l e dw i t hg r a p hc u tb a s e di m a g es t i t c h i n g ，t e x t u r e s y n t h e s i sb a s e db o u n d a r yi n p a i n t i n g ，a n di m a g e f u s i o nb a s e dh o l ef i l l i n g ，t oc o m p l e t e t h ed a m a g e dr e g i o n ss e a m l e s s l y f i n a l l y ，t h eg h o s te f f e c tb e t w e e nt h er e p a i r e dr e g i o n a n di t ss u r r o u n d i n g si se l i m i n a t e db yp o i s s o ni m a g eb l e n d i n g t h e n ，w en o t et h a tt h ep s r so nt h el d vi m a g ed o n ta g r e et o t h ep l a n a r a s s u m p t i o ne n t i r e l y ，p e r s p e c t i v ed i s t o r t i o n sp r e s e n ti nt h ew a r p e dp s r st o c e r t a i n d e g r e e ac o a r s e t o f i n ed i s t o r t i o nc o r r e c t i o na l g o r i t h mi sp r o p o s e dt oe l i m i n a t et h e p e r s p e c t i v ed i s t o r t i o n s ，a n da na p p r o a c hb a s e do n t h em i n i m i z a t i o no fw a r p e d p e r s p e c t i v ed i s t o r t i o n sf o rt h el d vi m a g ei sp u tf o r w a r dt or e s t o r et h et a r g e tr e g i o n f i r s t ，u n d e rt h ea s s u m p t i o no fap l a n a rs c e n e ，t h el d vi m a g e i sw a r p e da c c o r d i n gt oa h o m o g r a p h ym a t r i xt og e n e r a t et h ei n i t i a l c o r r e c t i o nr e s u l t s e c o n d ，t h er e m a i n i n g p e r s p e c t i v ed i s t o r t i o ni nt h ec o m m o ns c e n er e g i o n si sr e l a x e db ye n e r g yo p t i m i z a t i o n o fo v e r l a p p i n gc o r r e s p o n d e n c e s ，w i t ht h ee x p e c t a t i o n s o fc o l o rc o n s t a n c ya n d 羔塑型苎生羔三量型塑笙墅l 茎王盔垡整堡鬯丝鬯堡堡 垫垄堕窒 d i s p l a c e m e n tf i e l ds m o o t h n e s s t h i r d ，u n d e rt h ec o n s t r a i n t so fe p i p o l a r g e o m e t w ， d i s p l a c e m e n tf i e l ds m o o t h n e s sa n dc o l o rc o n s i s t e n c yo ft h en e i g h b o r i n gp i x e l s ，t h e m 1 8 s l n gp i x e l sa r eo r d e r l yr e p a i r e da c c o r d i n gt oas p e c i a l l yd e f i n e d p r i o r i t yf u n c t i o n t 1 n a l l y ，w ep r e s e n ta l la l g o r i t h mb a s e do nm u l t i 1 e v e l s c e n ec l u s t e r i n ga n d v l e w 。c o n s i s t e n tc o m p o s i t i o n e v o l v i n gt h et r a d i t i o n a l s i n g l e m o d e lf i t t i n gm e t h o dt o m u l t i m o d e lf i t t i n g ，ac o a r s e - t o f i n em u l t i l e v e ls c e n ec l u s t e r i n gs c h e m ei sp r o p o s e d t o s l m u l t a n e o u s l yc l u s t e rt h ef e a t u r ec o r r e s p o n d e n c e sa n dr e j e c to u t l i n e r sb e t w e e nt h e l d v i m a g ea n dt h et a r g e ti m a g e a sar e s u l t ，i ts e g m e n t st h em u l t i b o d yd y n a m i c s c e n em t os e v e r a ld y n a m i co b j e c t si nt e r m so f t h ee p i p o l a rg e o m e t r ym o d e l ( e x p r e s s e d b yt h ef u n d a m e n t a lm a t r i x ) ，a n ds e g m e n t st h es t a t i cs c e n ei n t os e v e r a la p p r o x i m a t e p l a n a rs c e n er e g i o n s ( a p s r s ) i nt e r m so ft h ep l a n a rs c e n em o d e l ( r e p r e s e n t e dw i t ht h e h o m o g r a p h y ) t h e n ，e m p l o y i n gm o n t a g ea n ds t r u c t u r a ld i s p l a c e m e n t p r o p a g a t i o n ( s d p ) ，av i e w 。c o n s i s t e n ti m a g ec o m p o s i t i o na l g o r i t h ms t i r c h e sa n dc o m p l e t e st h e 衄s s m ga r e aw i t ht h r e es t e p s ，i e s d pb a s e dd i s t o r t i o np r e p r o c e s s i n g ，m o n t a g eb a s e d h o l es t i t c h i n ga n ds d p b a s e dd i s t o r t i o np o s t p r o c e s s i n g 乜x p e n m e n t a lr e s u l t sd e m o n s t r a t et h a to u rm e t h o d so u t p e r f o r mr e c e n ts t a t e o f ：a n 1 1 1 1 a g o m p l e t i o na l g o r i t h m s ，e s p e c i a l l yf o rr e p a i r i n gl a r g em i s s i n ga r e aw i t hc o m p l e x s t r u c t u r ei n f o r m a t i o n k e y w o r d s ：i m a g ec o m p l e t i o n ，i m a g ei n p a i n t i n g ，l a r g ed i s p l a c e m e n tv i e w ( l d v ) p e r s p e c t i v ed i s t o r t i o n ，f e a t u r ed e t e c t i o n ，i m a g e w a r p i n g ，i m a g es t i t c h i n g ，t e x 眦 s y n t h e s i s ，p i x e lc o r r e s p o n d e n c e ，e n e r g y o p t i m i z a t i o n ，h o m o g r a p h y , e p i p 0 1 a r g e o m e t r y , s c e n ec l u s t e r i n g ，m o d e lf i t t i n g ，g r a p h c u t ，m o n t a g e ，d i s p l a c e m e n t p r o p a g a t i o n ，p o i s s o ni m a g eb l e n d i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得逝姿盘堂或其他教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：词店拯签字日期：么彤年，月劢日 学位论文版权使用授权书 本学位论文作者完全了解逝姿盘堂有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和 借阅。本人授权逝姿盘鲎可以将学位论文的全部或部分内容编入有关数据库 进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：刊奢奶 签字日期：2 哆年，月矽日 学位论文作者毕业后去向： 工作单位： 通讯地址： 刷醴锄影劈穆 签字日期：6 2 9 年岁月2 d 日 电话： 邮编： 浙江大学博士学位论文第1 章绪论 第1 章绪论 据统计，人类获取的信息中大约有6 0 以上来自于视觉，而图像是视觉信息 获取和传播的主要载体。然而，由于种种原因，在图像的获取和传播过程中会产 生一些不理想的图像。传统的图像处理( i m a g ep r o c e s s i n g ) 【啦】和计算机视觉 ( c o m p u t e rv i s i o n ) 【3 ，4 】中一个重要的研究课题就是如何处理这些不理想图像中的 退化图像( d e g r a d e di m a g e ) ，即那些受到噪声污染或者模糊了的图像。从退化图 像恢复原始图像的过程被称为图像恢复( i m a g er e s t o r a t i o n ) 。 近年来，基于图像的绘制技术i b r ( i m a g eb a s e dr e n d e r i n g ) ，即基于已有图 像来生成新的真实感或者艺术感图像的计算机技术【5 6 】，快速发展为计算机图形学 ( c o m p u t e rg r a p h i c s ) 【_ 7 ，8 】的研究热点。其中，利用已有图像上的信息修补或修复 目标图像上的缺损区域，即图像修补或修复技术( i m a g ec o m p l e t i o n i n p a i n t i n g ) ， 也受到计算机图形学界的广泛关注，并成为一个热门的研究课题。后来，图像处 理和计算机视觉界的学者也加入这个问题的研究行列，尝试从图像处理、分析和 理解的角度来解决这个问题【9 1 们。 正是由于在文物保护、影视特效制作、照片编辑和虚拟现实等领域的广泛应 用需求 1 1 , 1 2 】，图像修补技术一直是计算机图形学、图像处理和计算机视觉交叉领 域的一个研究热点。 1 1 研究背景 早在文艺复兴时期，人们就开始修复中世纪的一些艺术品，目的是通过填补 一些裂缝来使中世纪的一些图画得到翻新，这样的工作被称作“r e t o u c h i n g ( 润 饰) 或者i n p a i n t i n g ( 修补或修复) ， 1 2 1 3 】，如图1 1 所示。那时的修复工作丰要 是由专业修复师手工完成的，存在着费时、辛苦和存在主观性等缺点。 受博物馆艺术家人工修复工作的启发，计算机图形学领域的学者尝试使用图 浙江大学博士学位论文：基于大位移视图的图像修补技术研究 形学算法来修复图像( 古画或老照片) 中的较小划痕【13 1 ，如图1 2 所示。后来， 这一想法被迅速扩展到移除图像中较大的不和谐景物【l4 1 ，并得到越来越广泛的应 用。早期的图像修补方法仅仅利用目标图像上的已知信息像素来填充其中的丢失 像素，后来的方法则扩展到可以利用其它图像甚至具有一定规模的图像库中的信 息【l5 1 。 1 1 1 问题描述 图像修补技术是指利用当前图像或者其它图像中的己知信息来移去目标图 像上不需要的景物或者修复其中的破损区域，使得修复后的图像看起来和谐、自 然 1 6 , 1 7 , 1 8 ，保证修补后的目标图像画面在结构、纹理和亮度上连续和一致，如图 1 3 所示。 一般来说，图像修补技术主要包含三个步骤，即1 ) 首先输入待修补的目标图 像和含有可利用信息的其它图像( 称为源图像或参考图像) ；2 ) 然后由用户交互 指定目标图像上待修补的区域；3 ) 最后，以待修补区域周同的已知信息作为约束， 从目标图像上的已知信息区域或源图像上检测和拷贝可利用的信息来填充信息 丢失区域中的像素。 1 1 2 评价标准 一般来说，结果质量( 效果) 和运算速度( 效率) 是考核计算机算法的两大 标准。然而，两者对于图像修补算法并不是处于同等重要的地位，其中图像修补 的质量好坏显得尤其重要。这主要是由于以下因素决定的：1 ) 需进行图像修补的 大部分应用没有对算法的实时性要求，高质量的修补结果是这些应用第一位的追 求目标；2 ) 对图像修补算法的研究起步较晚，现有算法尚不能满足大部分应用对 画面修复质量的要求；3 ) 在图像处理领域，图像处理加速算法方面的研究工作非 常丰富，为我们提供了很多可以借鉴的成果。在保证图像修补质量的前提下，借 鉴一些提速策略对算法进行加速相对比较容易。因此，在图像修补算法的研究工 2 晰大学博1 学位论立筇1 章绪论 图1 l 手工修补油画 ( 町旧油画的数字圉像d ) 数字图像修补结果 图12 旧油画的数字图像修补 图l3 图像修补的数学模型示意图。绿色区域n 和黄色区域五 分别是图像1 卜的待修补区域和已知信息区域。 * 江学博l ：学口论文：基十太证移目嘲像修补技术研究 作中，目前的方法大多h 关注图像修补的质最和效果只有极小数的丁作考虑剐 像修补算法的加速策略。 影响图像修补质量评价的因素有报多，但擐重要的还是修复区域中所填充的 图像视觉信息及其特征描述能否与整体图像保持一致。描述图像中视觉信息的特 征主要有纹理、结构和亮度的连续性以及儿何关系( 特别是透视几何关系) 的一 致件。 ( 帕口= 1o ( 吣扣1 6 0“) 口= 2 o 图l5 不同高斯尺度一f 的网像( 第行) 及其边缘提取图像( 第二行) 浙江大学博士学位论文 第1 章绪论 纹理( t e x t u r e ) 是指具有稳定的局部重复模式( p a t t e m ) 的图像( 区域) 1 1 9 】。 如图1 4 所示，纹理的模式2 0 2 1 1 可以是结构性的，也可以是随机性的，还可能是 两者复合型的。纹元( t e x t o n ) 是纹理的最小单元，与观察尺度相关 2 2 , 2 3 】。 结构( s t r u c t u r e ) 主要是指体现图像中局部特征不连续性的边缘( e d g e ) 信息。 根据边缘对局部图像特征的冲击剧烈程度，可将边缘分为阶跃型和屋顶型两种 【2 4 ，2 5 挪1 。在不同空间尺度下提取的边缘信息具有较大的差异【2 7 】，如图1 5 所示。 亮度( b r i g h t n e s s ) 就是像素的亮度值。相邻像素之间的亮度差异非常容易理 解，但是它往往隐含在纹理和结构的信息之中。另外，纹理之间也可能存在亮度 差异，也正是亮度差异的显著程度产生了边缘的强弱之分。 几何关系( g e o m e t r i c a lr e l a t i o n s h i p ) 是指图像中的物体之问的几何透视变换 ( p e r s p e c t i v et r a n s f o r m a t i o n ) 关系。 由于上述视觉特性在图像上的连续性和一致性受到多种因素的影响，难以合 理量化，目前衡量图像修补质量的方式主要有以下两种： 1 ) 用户调查：开展用户的调查问卷，由用户人为地观察比较图像修补结果， 给出主观评价，统计调查结果，将大多数用户的评价作为衡量标准； 2 ) 实景比较：人为去除实拍图像中的一块区域，然后使用图像修补算法对人 为去除区域进行修复，将图像修补结果与实拍图像( g r o u n dt r u t h ) 进行比较。 1 2 国内外研究现状 图像修补技术在近几年的发展过程中，涌现出了一些具有代表性的经典算法 【9 ，】o 】，取得了许多研究成果，但其中大多数是基于单幅图像的图像修补方法。注 意到视频修补技术旨在填补视频序列中每一帧上的信息丢失区域【2 8 】，与图像修补 技术具有很大的相似性，本节将介绍国内外在图像和视频修补方面的一些前沿性 的研究工作。 1 2 1 图像修补技术 自b e r t a l m i o 等人在s i g g r a p h 2 0 0 0 大会上第一次发表关于图像修补技术的 浙江大学博士学位论文：基于大位移视图的图像修补技术研究 论文以来13 1 ，图像修补技术引起了研究者们的关注。鉴于目前提出的大多数方法 是基于单幅图像的图像修补算法，问题的关键是如何更好的利用当前图像中的已 知信息像素填补待修复区域。它大体分为以下三类，即基于偏微分方程p d e s ( p a r t i a ld i f f e r e n t i a le q u a t i o n s ) 的方法、基于纹理合成( t e x t u r es y n t h e s i s ) 的方 法和基于统计分析( s t a t i s t i c a la n a l y s i s ) 的方法。 1 2 1 1 基于偏微分方程的方法 基于偏微分方程的方法将图像修补看作是将空洞周围已知像素作为边界条 件下的偏微分方程 1 3 , 2 9 - 3 3 1 或变分 3 4 3 9 1 求解问题，因此图像修补变成己知信息像素 向丢失信息区域的扩散过程。 b e r t a l m i o 等人【1 3 把图像分为三个独立的信道，在每个信道上使用2 d l a p l a c i a n 方法估计局部颜色的光滑度，然后利用光滑度将待修补区域边界的等值 线( i s o p h o t e s ) 外部的信息沿轮廓法向各向异性地扩散到内部待修补的像素上， 保证了图像中边缘处的边界连续性。后来，他们又将流体动力学中的n a v i e r - s t o k e s 方程应用于图像修复，提出一种基于n a v i e r - s t o k e s 方程的图像修补算法【2 9 1 。另外， a c t o n 等人【3 0 】将输入图像在调幅一调频( a m f m ) 的框架下进行建模，然后采用 基于偏微分方程的反应和扩散( r e a c t i o n d i f f u s i o n ) 过程来重建破损的方向性纹 理图像。扩散过程使用各向异性的扩散方程在保持重要的边缘和特征条件下自适 应地平滑图像；反应过程则借助g a b o r d x 波进行图像的调幅和调频来局部化反应 滤波器的空谱特性，从而可靠恢复纹理信息。该方法对指纹图像的修复比较成功。 基于柏松方程的方法 3 1 , 3 2 首先利用基于块的填充算法来修复待修补区域中的梯度 图，然后通过求解柏松方程从梯度图来重建目标图像。t o n yec h a n 和j i a n h o n g s h e n 通过求解结构曲率驱动下的三阶非线性扩散偏微分方程，达到对非纹理性的 目标图像进行视觉连续性修复的目的【3 3 | 。 c h a n 等人还提出基于整体变分t v ( t o t a lv a r i a t i o n ) 模型的图像修补算法 3 4 3 5 ， 通过欧拉拉格朗目方程的约束和基于曲率的各向异性扩散c d d ( c u r v a t u r e d r i v e nd i f f u s i o n ) 过程来保证修复区域和原始图像的无缝拼接。后来，整体变分 6 浙 * j 学位论空第1 章绪论 最小化疗法被应用在图像传播过程中丢失的小波系数的修复，即在小波域e 进行 图像修复，其中的丰要挑战是相关的欧拉一拉格朗日方程导致了在小波域上的非线 性偏微分方程，必须考虑恰当的数值求解方法。许威威等人p ”也提出了一个基于 整体变分的图像修补算法，着重考虑了网像中边缘信息的恢复，并采用一种前向 传播操作来缩小修补区域。b a l l c s t e r 等人”7 通过求解变分问题来联合插值图像的 灰度值和梯度，等值线方向，将空洞周围的等值线光滑地延展到信息丢失区域内部 达到图像修复的目的。d o b r o s o t s k a y a 等人【”利用基于小波的局部方法，建立了一 。、1 。d 矾1 。r ，“双： 二- _ 意割- i 藕瀚 ( 酊带有字幕的阿片嘞文字去除结果 图1 6 基于偏微分方程的文字去除( t e x tr e m o v a l ) ( a ) 目标图像0 ) 穆除人物后被遮挡区域的恢复 图l7 基于纹理台成的人物移除( p e o p l e r e m o v a l ) 浙江大学博士学位论文：基于大位移视图的图像修补技术研究 个新的变分模型进行图像的盲复原和修复。b a i 等人已经将基于全变分的图像修补 方法应用于金属表面高光的去除【3 9 】。 周廷方等人提出的基于径向基函数r b f ( r a d i a lb a s i sf u n c t i o n ) 的图像修复 方法【删首先把二维图像看成矩形域上均匀采样的高度场，将图像上每个点的颜色 值看成高度场中该点的高度值，这样一张图像就张成以颜色为高度的三维空间曲 面，而图像中的破损或者划痕区域就成为曲面上的空洞。因此，图像空间中的破 损区域修复就转换成三维曲面的局部重建问题，可以很好地利用径向基函数在曲 面重建方面的优势来修补破损的图像。 总之，基于偏微分方程的方法在图像的光滑性假设下，通过拟合函数的重采 样获得空洞区域的颜色信息。它可以较好地修补小尺寸的信息丢失区域，如图1 6 所示；然而，它在修补较大信息丢失区域时容易产生模糊效果，而且对于具有高 度纹理特性的较大受损区域更是无能为力，因此它又称图像修复( i m a g e i n p a i n t i n g ) 。 1 2 1 2 基于纹理合成的方法 基于纹理合成的方法，又称图像补全( i m a g ec o m p l e t i o n ) ，它将空洞周围的 已知信息区域看作纹理样本，然后通过纹理合成的方法产生新的图像块来填补丢 失信息区域【4 1 4 5 1 。 基于面片的图像修补方法【4 i 】采用由粗到细的方式，从图像上的信息已知区域 中采集与待修复像素的邻域具有最佳相似性的面片进行填充，逐步迭代逼近整个 受损区域。但在整幅图像搜索最佳填充面片使该类方法非常耗时，难以实用。 c r i m i n i s i 等人的方法【4 2 1 首先把丢失信息区域边界上的待修补面片按一定的优先级 进行排序，然后在整幅图像内搜索与优先级高的像素邻域最匹配的区域来逐步填 补待修复区域。由于在修补过程中考虑到了结构信息的重要性，加强了具有较强 结构信息的局部区域的修补优先级，这种方法获得了非常好的效果，成为图像修 补技术发展过程中的一个里程碑。在此基础上，t a n g 等人【4 3 】通过缩小面片匹配的 搜索范围，加快了算法的运行速度；通过优化最优面片的选取准则，避免了误差 浙江大学博士学位论文 第l 章绪论 传播，取得了更佳的效果。随后，c h e n g 等人m 】发现随着修补过程的进行，修补 优先级中的置信度项会迅速下降到零。这使修补优先级的计算不可靠，导致错误 的填充次序，进而影响修补的质量。因此，他们提出一个更加合理的修补优先级 函数用于控制修补过程，从一定程度上保证了受损区域中结构和纹理信息的恢 复。尽管如此，上述方法的修补过程围绕着空洞边界，采用从外向内逐步修复空 洞的方式。这是一种基于局部信息的图像修补策略，它仅仅考虑到待修补像素块 局部的连续性，没有一个全局的误差控制机制。因此，复杂情况下的误差累积必 然造成修补工作的失效。受启发于基于全局优化的纹理合成方法【2 0 ，2 1 1 ，k o m o d a k s 等人【4 5 】提出基于离散全局优化的图像修补框架，将图像修补问题看做马尔科夫随 机场的标号问题，从一定程度上减轻了修补过程中的误差累积问题。在算法优化 过程中将标准的置信传播b p ( b e l i e f p r o p a g a t i o n ) 算法发展为基于优先级的b p 算 法，采用基于优先级的信息传递和动态的标号裁剪策略，不但改善了图像修补的 质量而且加快了图像修补的速度。总之，基于纹理合成的方法假设整幅图像具有 丰富的纹理特征，而且空洞区域与信息已知区域之间具有相似的纹理模式，因此 它从信息已知区域之中采集相似的纹理样本来填充空洞。它对于纹理特征一致的 图像能够产生令人满意的修补效果，如图1 7 所示。但是，受纹理变形和误差累积 等因素的影响，它不能很好地修复较大的信息丢失区域，尤其是不能恢复其中的 结构信息。 基于交互辅助的方法：为了克服基于纹理合成的方法存在的缺点，有些学者 在借助用户交互的辅助手段方面做了一定的努力。s u n 等的方法m 】先通过用户交 互在信息丢失区域内指定重要的结构曲线，然后通过结构传播的策略来引导恢复 待修复的结构信息，最后对剩余区域通过块纹理合成的方法得到修复，取得了良 好的修复效果。另外，先通过交互方式来指定场景中的射影变换关系【47 | ，使图像 中存在的透视畸变得到校正，也有利于基于纹理合成的方法得到更好的修补效 果，可以解决一定的问题。基于交互辅助的图像修补技术可获得令人满意的修补 效果，然而这类方法对于具有复杂结构的自然场景需要烦琐的用户交互。 9 浙江大学博士学位论文：基于大位移视图的图像修补技术研究 结合偏微分方程和纹理合成的混合方法：考虑到基于偏微分方程的方法对结 构信息敏感却难以处理纹理信息，基于纹理合成的方法易于修复纹理信息却对结 构信息缺乏控制，一种自然的想法是将两种方法结合起来，达到互补共赢的目的。 b e r t a l m i o 等人提出基于图像分解的方法【4 引，算法首先把输入图像分解为结构图和 纹理图，然后采用基于偏微分方程的方法修补结构图，采用基于纹理合成的方法 修补纹理图，最后合并修复好的两幅子图像得到原始图像的修复结果。此方法将 图像中的结构和纹理信息分开处理，避免了互相干扰，因此修复过程只需考虑图 像的单一特性，能够有效恢复带有一定结构信息的图像。另外，他们还提出了一 种通过分析空洞周围的信息已知区域来将空洞区域分类为纹理性或结构性区域， 然后自动选择基于纹理合成或偏微分方程的方法进行信息丢失区域复原的方法， 并在图像压缩和无线传输过程中的丢包图像上进行了试验【4 9 1 。g r o s s a u e r 算法【5 0 】 将图像分解为几何图像和纹理图像之后，先采用基于偏微分方程的方法修补几何 图像，并采用各向异性扩散滤波增强修补结果中的结构连续性，然后采用一个梯 度控制的区域生长算法将几何图像的修补结果分割成连通的区块，最后对每个连 通的区块采用基于纹理合成的方法修补其中的纹理信息，得到最后的图像修补效 果。e l a d 等人【5 1 】贝0 采用基于稀疏表示的图像分解方法，即形态元分析m c a ( m o r p h o l o g i c a lc o m p o n e n ta n a l y s i s ) ，将图像分解为线性结合的纹理和卡通层，然后采用 基于m c a 的图像修补方法进行图像的修复。 数字图像中的网状遮挡物去除算法【5 2 】首先利用网状遮挡物的近似平移对称 性线索来自动提取和分割网状遮挡物，然后采用基于纹理合成的方法来修补去除 网状遮挡物后所留下的信息丢失区域，取得了不错的效果。 1 2 1 3 基于统计分析的方法 基于统计分析的方法通过对目标图像上信息己知区域进行统计分析、理解和 学习，获得反映整幅图像的统计特征，再用来对空洞区域的信息进行估计和填充。 j i a 等人 5 3 j 先对图像进行纹理分割并把图像的颜色和纹理信息转换为自适应 的维张量，然后采用张量投票( t e n s o rv o t i n g ) 的方式表决受损区域的填充像 l o 浙江大学博十学位论文第l 章绪论 素，其中采用的自适应尺度选择策略能够很好地表现不同尺度特征的连续性。 l e v i n 等人的方法【5 4 】通过对图像上信息已知区域进行统计学习获得图像的全局统 计特性，然后使用闭环置信传播算法l b p ( l o o p e db e l i e fp r o p a g a t i o n ) 优化求解 概率最大的修复图像。f a d i l i 等人则将图像修补看作对破损区域的估计问题【5 5 1 ，采 用最大期望算法e m ( e x p e n t a t i o nm a x i m i z a t i o n ) 求解基于线性稀疏表示的最大似 然估计问题。z h u 等人【5 6 】提出一个基于低层视觉学习的图像修补方法，先通过对 自然图像库的学习来建立不同的场景及其对应图像的复合关系，并获得使用马尔 科夫网络表示的图像面片之间的关系，然后在学习到的知识和图像连续性约束之 下，采用置信传播算法求解建立的最大后验概率估计问题，修复隐藏的场景结构。 邻域专家方法f o e ( f i e l do f e x p e r t s ) 【5 7 通过训练一个高阶马尔科夫模型捕捉自然 场景的统计特性并用于推断待修补区域。 总之，单幅图像中的信息是非常有限的，仅仅利用单幅图像内的已知信息进 行图像修补很难处理待修复区域较大和结构信息复杂的情况。最近的工作【l5 】利用 从图像库中检索得到的相似图像区域来缝合日标图像上的空洞，但是图像数据库 的大小和数据多样性将对修补效果具有决定性的影响。本文提出基于大位移视图 的图像修补技术来改善传统图像修补方法的病态本质 5 引，就我们所知，这方面的 研究工作还很少见。 1 2 2 视频修补技术 视频修补技术 5 9 - 6 8 1 是指利用视频中的信息已知时空像素来填充视频中的时 空空洞，获得视觉上连续、一致、合理的视频修复结果。它比图像修补问题多了 一个时间维，信息量更多，但是要求也更严格。 b e r t a l m i o 等人【1 3 1 将基于偏微分方程的图像修补方法扩展到视频序列上，以视 频中时空空洞周围的已知信息为边界条件，通过求解n a v i e r - s t o k e s 方程将周围的 信息扩散到空洞内部得到视频修补结果。这种方法适于修补视频序歹c 上面积较小 的非纹理性的信息丢失区域，不适用于较大的空洞。 z h a n g 等人的方法【5 9 】假设在每一帧中运动层之问的重叠次序保持不变且不存 1 1 浙江大学博士学位论文：基于大位移视图的图像修补技术研究 在运动层之间的交叉遮挡。算法首先利用图割算法将视频按照物体的相对运动分 割为不同的运动层，然后采用运动补偿和图像拼接算法选择参照帧中的信息来修 复每个运动层上的空洞，最后算法根据每个运动层的运动参数将修复好的运动层 投影到其它帧上，达到对该帧上的空洞进行填补的目的。该方法仅适合处理每一 个运动层为接近平面刚体运动的情况。j i a 等人【6 0 】将基于纹理合成的图像修补算法 扩展到视频上，首先根据定义的优先级函数在视频序列中选择一个具有最高优先 级的像素，然后到整段视频序列中迭代寻找和它邻域最匹配的图像块来逐步填补 待修复的空洞。该方法还采用物体跟踪方法来加快搜索速度，借助图割算法改善 图像块的填充质量，并对源图像块施加控制约束来保持修复视频在时间上的一致 性。p a t w a r d h a 等人【6 l 】提出一种去除使用固定摄像机拍摄视频中的遮挡物体和被遮 挡物体的方法。算法先利用纹理合成的方法，逐块拷贝其它帧中可见的运动物体 信息来修复当前帧中被部分遮挡的运动物体；然后，利用基于优先级的时空合成 方法来修复其中被遮挡的静态背景。在此基础上，香港中文大学的j i aj i a y a 等j k t 6 2 利用运动的周期性信息实现了运动目标遮挡严重情况下的可靠修复。 受启发于基于全局优化的纹理合成方法 2 0 , 2 1 1 ，时空视频修补算法【6 3 1 将视频修 补看做基于时空块的视频体合成过程，根据颜色和结构特征的相似性从信息已知 视频体中采样填补时空空洞。它利用全局优化的思想，采用e m 算法迭代优化衡 量视频修补质量的能量函数，直至从信息已知区域中获得图像修补质量标准下最 优的填充像素。然而，由于求解空间庞大和日标函数的复杂，算法优化的过程不 但耗时，而且往往收敛到局部解，难以取得令人非常满意的效果。基于运动场迁 移的方法 6