基于样本修复技术的对象消除

基于样本修复技术的对象消除摘要本文提出了一种移除数字图像中大目标的新颖算法。该算法挑战的难点是以看上去合理的方式去填充移除物体后的空洞。 在过去，这类问题通过以下两种类型的算法来处理：（1）“纹理合成”算法适用于通过样本纹理来修复大图像区域，（2）“图像修复”技术是为了填充小区域的空缺。前一项关于“纹理”的研究重复一些二维模式的随机性变化；后一类算法主要研究线性结构，可以被认为是一维模式，比如线和目标轮廓。 本文提出了一种结合了两种方式的优点的新的高效的算法。我们首先注意到基于样本的纹理合成技术涵盖了重复纹理和结构的所需的必要过程；然而，结构传播的成功，很大程度上是依赖于填充执行时的顺序。我们提出了最佳优先权算法，在合成象素值的置信度是通过一种与修复技术中信息传播相似的方式来传播的。实际颜色值是通过基于样本合成的方式来计算得到的。计算效率是通过基于块的取样过程来提高的。一些对现实图像和合成图像处理的例子证明了我们的算法的有效性，在去除大面积封闭物体时能同去除细小的抓痕一样有效。手工选择目标区域形状来通过鲁棒修复方式也证明了这一点。同现存的技术相比，我们算法的结果更好。简介本文提出了一种新颖的算法，用于将数字图像中的目标移除并用看起来貌似真实的背景来填充。图1展示了这项研究的一个例子，前景人物（人为地选择作为目标区域）被从图像其余部分取样来的纹理替代。该算法有效地使人眼对目标区域产生了新的合理的颜色值的幻觉。在以前的工作中，一些研究人员也考虑将纹理合成作为一种去填充大图像区域的方式，运用纯纹理反复选用适度的随机的二维空间上的纹理模式。这是基于一种大面积的纹理合成研究，这项研究在找寻可以永远复制的纹理，给出了一个关于纯纹理的小样本来源1,8,9,10,11,12,14,15,16,19,22。这个特殊有意思的例子基于一种有效廉价地通过取样和复制样本1,9,10,11,15的颜色值来产生新的纹理的技术。尽管这些技术有效地复制了一致的纹理，但是它们不能很好地填充关于现实世界场景的图像里的空缺，图像的空缺也是由线状结构和复合的纹理组成多样的纹理之间相互影响。最主要的问题是图像区域边界是不同纹理相互影响的复杂产物。与二维空间纯纹理的本质相反，这些边界模式更可能被认为是一维空间，或者是线状的，或者是图像结构。大量算法准则明确阐述了图像修复任务所要处理的问题，斑点，抓痕，多余的文本可以都可被移除2,3,4,7,20。这些图像修复技术通过传播线状结构(在图像修复艺术中被称为等照度线)扩散到目标区域来填充图像空缺。他们的不足之处是这样的传播过程将带来一些模糊现象，特别是当算法被应用于更大区域的图像修复时，模糊现象更加明显。这里提出的算法结合了两种方式的优势。与图像修复相比，我们更多地关注于线性结构。但是，靠近目标区域的线性结构只是影响以基于样本的纹理合成算法为核心的填充顺序。结果表明基于样本的纹理合成算法有有高效和高质的性能，但同时也涉及到周边线性结构所施加的图像限制。该算法建立在最近的基于相似线的研究基础上，5中的工作将原始图像分成了两个组成部分；其中一部分是被图像修复处理的，另一部分是通过纹理合成技术处理的。输出图像是两部分处理结果的综合。这种方法只是局限地适用于小图像以去除空白，然而，就像是扩散过程不断地模糊填充区域。在21中提出的“纯纹理”和“纯结构模式”之间的自动切换也是要避免的。Harrison是第一位使用基于样本的合成技术来明确为了移除对象的尝试者。那时，目标区域的像素点的填充顺序是由像素点领域的纹理特征决定的。尽管直观上来看是合理的，但是强线性结构却总是被邻近的噪声影响，从而减小了额外计算的值。一种相关的技术通过目标区域的局部形状来控制填充顺序，但是却不能搜索到线性结构明确的传播方式。最后，Zalesny描述了一种关于复合纹理的对比合成的有意思算法。他们为两种纹理之间的接口设置了一个专用解决方案。在这篇文章中我们表明，实际上只要一种机制就足够包含纯纹理和合成纹理。第二部分里阐述了我们的算法所基于的关键技术。第三部分介绍了算法的详细部分。第四节给出了合成图像和真正图像的运算结果。图1：从图像中移除大目标.(a)原始图像.(b)与前景人物相关的区域（占据了图像将近19%的面积）已经被手工选择，然后被自动消除。注意到在封闭区域内，喷泉的水平结构连同流水，绿草，岩石等的纹理已被合成基于样本合成我们算法的核心部分是基于被驱动等照度线的图像抽样过程。基于样本的方式能够很好地完成二维纹理1,9,15的处理是被普遍认知的。但是此外，我们需要注意到基于纹理合成的样本也足够提供给图像结构的延长线传播。等照度线的处理并不需要一种单独的合成机制。图2：基于样本的纹理合成的结构传播（a）原始图像，目标区域，目标区域边界，清楚标记的样本区域。（b）我们希望合成被集中在边界上的点限制的区域。（C）在样本区域中沿着受损边界的两边的纹理中与最相似的候选值。（d）在候选值集合中最匹配的点已被复制到占据的位置，实现了对的部分填充，目标区域逐渐减小。通过图像2论证了这个观点。为了便于比较，我们采取了类似于用于修复文学中的注释。待修复区域，用来表示目标区域，它的边界用表示。当算法运行时，轮廓线向内进化，所以我们也称它为“前向填充”。在算法运行过程中保持不变的样本区域，为填充过程提供了采样样本。现在我们注意下单一的迭代算法来说明纹理和结构是如何充分地被基于样本合成来处理的。假设集中在点P（图2b）方模板，是需要被填充的。来自于源区域块最匹配样本，也就是与那些在里的已填充部分最相似的样本。在图2b的例子里，我们看到如果位于图像边界的延长线上，最相似的图像匹配将倾向同样边界的一侧。所需要做的是去传播来自于最匹配源块模式的简单转换去向内传播等照度线（图2d）。注意到等照度线取向是被自动保存的。在这些图片里，尽管那些原始边界与目标边界并不是正交的，但是在源区域传播结构一直保持着同一方向。图像填充算法 我们继续讲我们算法的细节部分。首先，用户选择了需要被移除和填充的目标区域，。样本区域，被定义为原图像减去目标区域，作为目标区域周围的扩大范围，也可以被用户手动指定。其次，所有基于样本纹理合成体，样本窗的尺寸需要被指定。我们提供了默认窗口尺寸为9*9像素，但在源区域的实际操作中要求用户设置它要为大于最大可区别的纹理元素。一旦这些参数定下来，剩下的区域修复过程是完全自动的。在我们的算法中，每一个像素点包含一种颜色值（或者是“空”，当像素点没被填充时）和置信度，它反映了在像素值中我们的置信度，一旦一个像素点被填充后就冻结。正是在这个算法的过程中，沿着前向填充的块也被给予了一个临时的优先值，也决定了填充的先后顺序。然后，我们的算法迭代接下来的三个步骤知道所有的像素点被填充：1、 计算优先块。填充指令对于非参数纹理合成1,6,10,13是至关重要的。迄今为止，公认的最喜欢的方法是“洋葱皮”算法，在同中心的层面上，目标区域是由外而内合成的。据我们所知，还没有开发出一种能够清楚说明传播顺序的线结构。我们的算法通过在完全依赖于被分发去前向填充块中的优先值的最好算法来执行任务。给出一个集中在P中的块，优先值被定义为两个项的乘积： （1）和定义如下：是的面积，是一个归一化因子（例：=255表示一幅典型的灰度图像），np是P的法向量。首要目标通过明显的块来表示为目标区域边界的每一个像素点的方式来计算每一边界块。赋初值时，功能函数被设为 置信度可能被认为是作为一种测量像素点P周围的大量可靠的信息值。其目的在于先填充那些有更多已经被填充好像素点的块，在早期被赋予额外优先权的已被填充的像素点。这一自动化填充的优先权趋向于沿着前向填充的某一形状。举例来说，包含角落和小弯曲的目标区域块将先被填充，由于根据原始图像来看，它们被更多的像素点所包围。这些块提供更多的可靠信息以备去匹配。相反地，目标区域的突出像素点将被置于一旁先不被填充，直到更多的边界像素点被填充完。在一种较低的层次，数据项是各自迭代下拉升受损区域边界的等照度线的功能函数。这项促进了等照度线流动块的优先级。这一因素是我们算法中最基本的价值，因为它首先支持合成的线性结构。因此，能够安全地传播到目标区域。断线能够被连接，因此实现了视觉心理学“连通性原理”。在置信度和数据项之间有一种微妙的平衡关系。数据项倾向于去迅速推动等照度线向内，而置信度项在某种程度上趋向于去抑制目标区域的入侵。在结果中提出，这种平衡通过一种对所有前向填充块的单一优先级的计算机制来实现。由于目标区域的填充秩序完全取决于优先级的功能函数，我们应该去避免预先确定的目前基于块方式的任意填充秩序。我们是根据图像传播函数来确定填充秩序的，在有机合成的过程中消除了“结构破损”的伪像的危险，同时也减少了不需要昂贵切块步骤的块像。2、纹理传播和信息结构。一旦在前向填充中的所有优先级被计算出后，最高优先级的块也就被找出。我们从源区域中提取数据来填补它。在传统的图像修复技术中，像素值信息是通过扩散来传播的。先前也提到过的，在模糊填充时，扩散传播必将导致图像平滑化，特别是在大面积区域里。（见图f）。相反地，我们通过从源区域直接取样的方式来传播图像纹理。与10相似，我们在源区域中寻找与最相似的块。形式上， （2）在两个一般块和之间的距离被简单地定义为两个已被填充的块之间差异块之和。我们使用CIE的实验室颜色空间，因为它具有感知一致的性能。找到源样本后，任一像素点的值需要被填充，是从内部的相应区域复制来的。这能够充分实现从源区域到目标区域的结构和纹理的信息传播。实际上，我们注意到任何进一步的像素值操纵，并不明确地依赖于源区域的统计，更倾向于在填充区域和源区域之间降低可视的相似点而不是去增加它。3、更新置信度。 在块被新的像素点填充后，在被划定界限的区域内被更新，如下： 这一简单的更新原则允许我们在前向填充块里去测量相关的置信度，并不需要具体的图像参量。在进行填充时，置信度值衰减，表明我们更加不确定目标区域中心附近的颜色像素值。表1 区域填充算法表1中给出了一个算法步骤描述的伪代码。上标t表示最近的更新。结果和比较 我们将算法应用于各种各样的图像中，从纯粹的合成图像到包含复杂纹理的全彩色照片。在可能的情况下，我们给出与先前提出方法的并行比较。在其他情况下，我们希望读者能够参考我们的测试图像的原始来源（很多是从先前的图像修复和纹理合成的文献中得来的），同时也可以将这些结果与早期研究处理结果进行比较。所有的实验中，样本区域中所有的块尺寸被设定为大于最大纹元或是最厚的结构。此外，除非另有陈述声明样本区域被设定为。所有的实验均是运行在1GB内存的2.5GHZ的奔腾IV中。我们在知名的Kanizsa 三角中完成我们的第一个实验，演示了这一算法如何在结构丰富的合成图像中运行。如图4所示，我们的算法使得前向填充受损区域边界变形，在以下两种力量的作用下：等照度线的延长（数据项）和来自于填充像素点的周围环境的“压力”（置信度）。不完全绿色三角形的锐线c性结构被拓展到目标区域。但是，没有单一的结构部件能够控制其他所有部分；通过自然衰