引导滤波论文翻译 - 图文-

1、引导滤波图像摘要:这篇论文中,我们提出一个新的明确的图像滤波器叫,引导滤波器。来自于一个局部线性模型,引导滤波器计算滤波结果通过考虑引导图像的内容,引导图像可以是输入图像自身或者是另外一个不同的图像。引导滤波器能够向双边滤波器1一样保持边缘平滑,但是它在边缘附近有更好的表现。引导滤波器也是更一般地超越平滑的概念:它可以转化引导图的结构为滤波输出,用于很多新的滤波应用图像去雾、及引导抠图。更多的,引导滤波器自然的有个快速并且不近似线性时间算法,与核的尺寸和像素亮度范围无关。现在,它是最快的边缘保持滤波器之一。实验显示引导滤波器在很多种计算机视觉及图形学的应用中有很好的作用及效率,包括边缘保持平滑

2、,细节增强,HDR压缩,图像抠图,去雾,级联采样等等。1 介绍大部分的计算机视觉以及计算机图形学图像滤波涉及到抑制或者提取图像的内容。简单的有核的线性平移不变滤波器(LTI,例如平均,高斯,拉普拉斯和Sobel 滤波器2,都被广泛应用于图像恢复,模糊/锐化,边缘检测,特征提取等等。可选择的,LTI滤波器能明确地通过解决一个在高动态范围(HDR压缩3的泊松方程来执行图像拼接4,图像抠图5,以及梯度域操作6。滤波核是通过一个齐次的拉普拉斯矩阵的转置明确地被定义。LTI滤波核是空间不变并且与图像内容独立的。但是通常有时候需要考虑引导图像的附加信息。各向异性扩散7的先驱工作用需要滤波的图像本身的梯度去

3、指导扩散过程,避免平滑到边缘。平方和最小加权滤波器8利用输入需要滤波的图像(而不是像7的中间结果去指导,并且选择一个二次函数,这个二次函数等价于一个非一般稳定状态的各向异性扩散。在其他的应用中,引导图像也能是另外的图像而不是本来的输入图像。例如,灰度图着色9色度通道不应该在亮度边缘溢出;在图像抠图10, 应该抓住一个复合图像的细薄结构;在图像去雾11景深层应该与原场景一致。在这些例子中我们将色度/景深层作为需要被滤波的图像,亮度/复合/场景看做相应的引导图。滤波过程9、10、11 是通过优化引导图像的权重二次成本函数获得的。解决方法是解一个仅依赖引导的大的系数矩阵。这个非齐次的矩阵明确的是定义

4、于一个平移变化的滤波核。同时,这些依赖于最优化的方法8、9、10、11常常牺牲精确度来达到快的计算速度。另外的一个利用引导图像的方法是明确的建立它的滤波核。双边滤波器,在12、13中分别提出,1以及也许是这种滤波器中最受欢迎之一的后来提出的14。它们在一个像素的输出是附近像素的加权平均,这个加权是依赖于同引导图亮度/颜色的相似度。这个引导图能够是滤波器自己本身1或者是另一幅图像14。双边滤波器能够平滑小的波动并且保持边缘。尽管这个滤波器在很多情况下都有效,它可能会有一些不希望的在边缘附近的梯度逆转伪影15,16,8(将在3.4部分讨论。快速的执行双边滤波器也是一个挑战性的问题。近期的技术17、

5、18、19、20、21依赖于量子化方法加速,但是牺牲了精确度。在这篇论文中,我们提出了一个新的明确的图像滤波叫做引导滤波。这个滤波器输出结果是引导图像的局部线性转换。在一方面,引导滤波器有一个号的边缘保持平滑效果像双边滤波器一样,但是它没有梯度逆转伪影的影响。在另一方面,引导滤波能够远远不只是平滑:在引导图的辅助下,它能让滤波输出更结构化并且不比输入平滑。我们论证了引导滤波在很多方面的应用中都有很好的结果,包括图像平滑/增强,HDR压缩,flash/非flash成像,抠图,去雾,和级联采样。更多的,引导滤波器自然地有一个O(N(N个像素时间复杂度算法在灰度图和高维图像中,与核的尺寸和亮度范围无

6、关。特别的,我们的CPU执行达到40ms每兆像素在灰度滤波器:就我们所知,这是最快的边缘保持滤波器。本文的初步版本已经被ECCV1022出版。值得一提的是,从那时候开始起,引导滤波器见证了一些列新的应用。这个引导滤波器能有一个高质量的实时O(N立体匹配算法23。一个相似的立体方法被独立地提出来24。引导滤波也被应用于光流估计23,交互式的图像分割23,显著性检测25,照明渲染26。我们相信引导滤波有很大的潜能在计算机视觉及图形学,贡献出他的简单,高效及高质量。我们提供一个公开的代码来促进未来的学习27。2 相关工作我们回顾一下边缘保持滤波技术,我们对他们进行分类为显式及隐式平均权重滤波器和没有

7、平均的一种。2.1 显式的平均权重滤波器双边滤波器1也许是最简单并且最直观的一个显式平均权重滤波器。它计算滤波输出为每个像素邻近像素的平均值,由高斯权重空间及亮度距离。双边滤波器平滑图像并且保持边缘。他已经被广泛应用于减少噪声28,HDR压缩15,多尺度细节分解29,图像提取30,它推广成了级联滤波器14,权重是通过另一个引导图计算来的而不是输入的滤波图像。级联滤波器是很适合当需要滤波的图像不能提供可靠的边缘信息的时候,当它噪声非常多或者是一个中间结果的时候,例如Flash/非flash去噪14,图像采样31,图像去卷积32,立体匹配33。双边滤波器也有限制尽管他很普遍。他已经被提到15,16

8、,8,双边滤波器可能会产生“梯度逆转”伪影。原因是当(通常是边缘附近一个像素周围有很多相似的像素时,高斯平均权重不稳定。在这样的情况下,结果在边缘处会产生不希望的轮廓,通常被发现在细节增强和HDR压缩的情况中。双边滤波器的另外一个问题是效率问题。最有效的执行是O(Nr2时间复杂度。核的半径是r。Durand and Dorsey15提出一个线性分段函数模型并且能够给于FFT(快速傅里叶变换滤波。Paris和Durand17计算双边滤波器作为一个3D滤波器在一个空间变化的领域,并且向下采样这个领域去加速如果奈奎斯特条件大致上如此。在这种空间盒子核的情况, Weiss34提出一个O(Nlogr时间

9、复杂度的方法基于分布直方图,并且Porikli18提出第一个O(N的时间复杂度算法应用积分直方图。我们指出那些建立直方图本质上是执行2D的空间滤波器在空间变化领域用下面的1D变化滤波器。在这个观点下,34和18沿着范围域取样但是不重构它。Yang19提出另一种O(N方法,在范围域内插入值以至于可以进行更激进的再次抽样。这上面的所有方法都是线性复杂W,r,t取样亮度值的数目(eg线性分段数目或者直方图条的数目。他们需要粗采样去或者满意的数度,但是如果奈奎斯特条件被严重破坏,就会导致质量退化。空间变化域被推广到更高维的情况,颜色权重双边滤波器35。这个大的代价归因于高维能通过高斯线段树20,the

10、 Permutohedral Lattices 21, or the Adaptive Manifolds 36降低。但是这些方法的表现不能同灰度双边滤波器竞争,因为它们花费了很多额外的时间准备数据结构。在双边滤波器的限制下,人们开始调查新的设计边缘保持滤波器。O(N时间复杂度的边缘避免小波(EAW37是用显式图像自适应的小波变换。但是核的小波是在图像平面的稀疏分布的。限制核的尺寸,这可能会限制它的应用。最近Gastal and Oliveira38提出了另一个O(N滤波器,就是大家都知道的域转换滤波器。关键思想是反复地和分开地应用1D边缘保持滤波器。O(N时间复杂度是通过积分图像或者递归滤波

11、获得的。我们会在本论文中比较这些滤波器。2.2 隐式的平均权重滤波器一系列优化二次成本函数并求解线性方程组的方法,等效于隐式滤波图像的逆矩阵。在图像分割39和色彩化9,这个矩阵的关系是高斯函数的颜色相近。在图像抠图,一个抠图拉普拉斯矩阵10是被设计来强制matte作为一个图像颜色的局部线性转换。这个矩阵也被用来去雾处理11。平方和最小权重滤波器8根据图像梯度调整矩阵的相关性产生无光晕边缘保持平滑结果。尽管这些基于最优化的方法常常产生高质量结果,解决线性方程组很耗时。直接解决像高斯消元法由于内存要求“填充”问题40、41而不实际。迭代解决例如Jacobi方法,SOR和共轭梯度法40都汇集太慢。尽

12、管仔细设计预处理器41很大的减少了迭代次数,但是计算成本还是太高。多网格的方法42是被证明O(N时间复杂度用作齐次的泊松方程,但是它的质量退化了当矩阵变得越来越不齐次的时候。以经验为主的,隐式的加权平口滤波器至少花上好些秒去处理一个只有一个像素的图像或者用预处理器41或者用网格的方法8。已经发现就是这些隐式的滤波器与显式的是密切相关的。在43,Elad展示双边滤波器是一个Jacobi迭代法在解决高斯相关矩阵的时候。41局部自适应预处理器和37的小波边缘避免是用类似的方法构建的。早在这篇论文中,我们展示一个引导滤波与抠图拉普拉斯矩阵密切相关10。2.3 无平均滤波器边缘保持滤波能后同样通过无平均

13、滤波器得到。中值滤波器2是一个很有名的边缘保持操作,和一个特别的例子局部直方图滤波器44。直方图滤波器有O(N时间复杂度在某种程度是双边网格的一种。TV滤波器45优化一个正规化L1代价函数,并且相当于迭代中值滤波46。L1代价函数能被优化通过半二次分割47,在一个二次模型机软阈值法中选择。最近,Paris48提出操纵每个像素的拉普拉斯金字塔系数去保持边缘滤波。Xu49提出优化一个正规化L0代价函数帮助分段常量解决方法。这些无平均滤波器通常都很耗时。3 引导滤波我们先定义一个普通的线性平移变换滤波器程序,与引导图像I ,一个滤波输入图像p 以及一个输出图像q 相关。I 和p 是根据应用预先给定的

14、,他们可以完全相同。在一个像素点i 处的滤波结果是被表达成一个加权平均:(i ij j jq W I p = (1i 和j 都是像素下标。滤波器核ij W 是指导图像I 的函数并且与p 独立。这个滤波器是与p 线性相关的。一个这样的滤波器的例子是级联滤波器14双边滤波核bf W 是被下面的式子给定的: 2222|1(exp(exp(ij i j bf ij i s rx x I I W I K -=- (2 X 是像素坐标,i K 是一个归一化参数保证1bf j ijW =.参数s 和r 分别调整空间相似度和颜色亮度范围相似度的灵敏性。当p 和I 相等时,级联滤波器降解成初始的双边滤波器1。显

15、式的加权平均滤波器优化一个二次函数并且解决一个下面形式的线性方程组: Aq p = (3q 和p 是列向量N-1,相应的i q 和i p .A 是一个N-N 的只跟I 相关的矩阵。(3的解1q A p -=,与(1有相同的形式,1(ij ij W A -=。3.1 定义现在我们定义引导滤波器,关键的假设是这个引导滤波器在引导图像I 和滤波输出q 之间是一个局部线性模型。我们假设q 是I 中心在像素k 的窗口k 的线性转换:,i k i k k q a I b i =+ (4(,k k a b 是假定同k 相同的线性系数。用一个半径为r 的方形窗口。这个局部线性模型确定只要I 有一个边缘那么q

16、就有一个边缘,因为q a I =这个模型被证明在图像超分辨率50,图像抠图10,和去雾11中是有效的。为了决定线性系数(,k k a b ,我们需要约束输入的滤波图像p 。我们定义输出q 为输入p 减去一些不希望的内容n 例如噪声/纹理:i i i q p n =-. (5 我们寻求一个解决办法能够最小化q 和p 之间的差异,同时保持线性模型(4。特别的,我们最小化下面的窗口k 的代价函数:22(,(kk k k i k j ki E a b a I b p a =+-+ (6 这里,是一个惩罚大的k a 的正则化参数。我们将在3.2部分研究它的直观意义。方程式(6是线性回归模型51,52并且

17、它通过以下给定的解决:21|ki i k ki k k I p p a -=+(7k k k k b p a =- (8这里,k 和2k 是引导图像I 的窗口k 平均值跟方差,|是k 中像素个数,1|kk i i p p =是p 在k 的平均值。获得了线性系数(,k k a b ,我们能计算滤波输出i q 根据方程(4。图1(右显示了关于一个引导滤波过程的解释。 然而,一个像素i 与所有覆盖i 的重叠窗口k 相关,所以方程(4中i q 的值不是相同的当用不同的窗口中计算。一个简单的策略是平均所有的i q 的可能值。所以,计算了所有图像中k 窗口的(,k k a b 值,我们计算通过下面滤波输出

18、结果:|1(|ki k ik k i q a I b =+ (9注意|kik k k i k a a =,由于盒子窗口是对称的,我们重写方程(9为:i i i i q a I b =+ (101|ii k k a a =和1|ii k k b b =是在i 处的所有重叠窗口平均系数。这个重叠窗口的平均策略在图像去噪53很流行并且是非常成功的BM3D 算法54的一个构件块。用这个(10中的修改,q 不再是I 的缩放了,因为线性系数,(i i a b 空间可变。但是因为,(i i a b 是一个均值滤波器的输出,他们的梯度会比I 明显边缘附近要小得多。在这种情况下,我们能将q a I ,意味着I

19、中的突然强度变化可以大部分被q 保存。方程(7、(8、(10是引导滤波器的定义。一个伪代码在算法1中。这个算法中,mean f 是用一个半径为r 的均值滤波器。相关性的缩写(corr ,方差的缩写(var ,协方差的缩写(cov 表明了这些变量的直观意义。我们将讨论最快的执行并且在第4部分计算细节。Algorithm 1. Guided Filter.Input: filtering input image p, guidance image I , radius r,regularizationOutput: filtering output q.1:(.(.2:var cov 3:cov

20、(var .4:(5:I mean p mean I mean Ip mean I I I I Ip Ip I p Ip I p I a mean b mean a bmean f I mean f p corr f I I corr f I p corr mean mean corr mean mean a b mean a mean mean f a mean f b q mean I mean =*=*=-*=-*=+=-*=*+ / *mean f is a mean filter with a wide variety of O (N time methods. */3.2 边缘保持

21、滤波器考虑到给定的引导滤波器,我们第一次学习边缘保持特性。图2显示一个用一系列引导滤波参数的例子。这里我们研究特别的例子,当引导图像I 是同输入滤波图p 相同的情况。我们能看到引导滤波变现出的边缘保持平滑特性(图2。引导滤波的边缘保持滤波特性能够被解释为下面的直观反映。考虑到I=P 时,22(k k k a =+并且(1k k k b a =-。很明显当0=,1k a =并且0k b =.如果0,我们考虑两种情况。第一种:”高方差”。如果图像I 在k 中很多变化,我们有2k , so 1k a and 0k b .第二种:“平坦的块”。如果图像I 几乎与窗口k 相同的话,我们会有2k , so

22、 1k a and 0k b , 因此,0k a and k k b .当k a 与k b 被平均得到i a 和i b ,结合(10得到输出结果。我们有,当一个像素在一个高方差区域的中间,它的值是不变的(1,0,a b q p 。然而,如果是在平坦区域的中间,它的值就会变成周围区域像素的平均值(0,a b q 更具体的说,平坦与高方差的标准是被参数给定的。如果块状的方差(2比该参数小得多则被平滑,然而那些方差大得多则被保留。在引导滤波中的影响就像是双边滤波器(2中的方差r 2,都决定什么是应该被保留一个边缘/高方差块。更多的,在一个平坦区,引导滤波器变成一个级联的两箱平均值滤波器半径为r 。级

23、联的箱均值滤波器是高斯滤波器一个很好的近似。因此,我们经验性地建立在引导滤波器和双边滤波器的一致:s r 和2r 图2显示了两个滤波器的结果应用相应的参数,图2中的表格PSNR 显示了引导滤波器和双边滤波器用各自参数得到定量差异。当PSNR=4018时,它被认为视觉不敏感。3.3 滤波器核通过(7、(8、(10中可以很容易的显示I ,p 和q 的关系如(1中的平均加权形式。实际上,k a 在(7中能够被重写成一个权重总和:(k kj j j p a A I p =。ij A 是仅仅只依赖于I 的权重。同样的原因,我们也有来自(8的(k kj j j b B I p =。跟来自(10的(i ij

24、 j j q W I p =.我们能够证明核权重是明确被下面的式子表示:(,22:(,1(1k i k j k i j k i j k I I W I - =+ + (11 由于p 跟q 的线性关系,滤波核被,i j i j W q p =给定。把(8代入(10并且消掉b,我们得到: (21(ii kik k k q a I p =-+ (12 Fig. 2. Edge-preserving filtering results of a gray-scale image using the guided filter (top and the bilateral filter (bottom.

25、 In this example, the guidance I is identical to the input p. The input image is scaled in 0,1. The table “PSNR” shows the quantitative difference between the guided filter results and the bilateral filter results using corresponding parameters. The input image is1. Fig.3. A 1-D example of an ideal

26、step edge. For a window that exactly center on the edge, thevariables and are as indicated.求偏导,得到:1(i i k ki k k j j j q a p I p p p =-+ (13 在这个等式中,我们有:11k j k j k j p p = (14 当j 是窗口k 中的时候,k j 为1,否则为0.另一方面,偏微分kja p 在(13中能够被式(7计算:2211111jk k i k i k j k k i j k j j k a p p I I p p p =-=- + (15将(14(15

27、代入(13,我们得到(,2211i j i k j k i k k j k I I q p - =+ + (16 这是滤波核ij W 的表达式。一些更多的计算机代数操作显示(1ij j W I 不需要做额外的工作区归一化权重。边缘保持平滑特性能够被理解通过研究滤波核(11。以一个理想的一维的边缘阶跃信号为例子(图3I i k 和 I j k 有同样的符号(+、-当I i 和I j 在边缘的同一边,而当在边缘的不同两边他们就会有相反的符号。所以在(11,两个像素点再不同的边时2(i k j k k I I -+比在相同边时要小得多(接近于0。这意味着像素穿过一个边缘几乎不会被平均到一起。我们也能

28、理解式(11中对平滑的影响。当2k (如图5和图6。当q 是尖锐的,它给出了:x x q p 细节层d 因此有一个负的梯度0x x x d p q -意味着它有个翻转的梯度方向w,r,t 输入新哈(图5顶部。当细节层被夸大并且重组了输入信号,边缘处出现梯度逆转伪影。这个伪影是固有的并且不能通过调节参数被安全的避免因为图像通常有各种规模和量级的边缘。在另一方面,引导滤波器在避免逆转梯度上有很好的表现。实际上,如果我们用分片连续模型(4,当(I p 引导图是自身的时候能证明没有这种逆转伪影。在这种情况下,(7给出了22(1k k k a =+ 10 s/Mp 和先进的Permutohedral L

29、attice 算法21(1s/Mp。在22中引导滤波的出版后 筛选域变换中,最近很多如38提出 O(N时间阈转换滤波器。38的报告中提到,在彩色图像滤波中其归一化积(NC 版本需160ms/Mp ,而其递归滤波器(RF 版本需要60ms/Mp 。虽然域变换速度非常快,它不回避梯度逆转(图 7以及不适合传输结构(图10。在O(N时间来递归高斯滤波器58中,第3.3节所述的高斯引导的滤波器也是O(N时间。递归高斯滤波器是比箱子滤波器更昂贵(15个行动与两个操作,每个像素沿每个x=y 的方向。TABLE 2Time Comparisons with O (N Bilateral Filters fo

30、r Gray-Scale Image Filtering TABLE 3 Time Comparisons on Color Image Filtering Fig. 11. Quantization artifacts of O (N time bilateral filter. (a Input HDR image (32 bit float, displayed by linear scaling. (b Compressed image using Poriklis O (N bilateral filter (32 bins18. (c Compressed image using

31、the guided filter. Note both methods have comparable running time. Fig. 12. Detail enhancement. The parameters are 216,0.1r = for the guided filter, and16,0.1s r = for the bilateral filter. The detail layer is boosted * 5. Fig. 13. HDR compression. The parameters are 215,0.12r =for the guided filter

32、,and 15,0.12s r = for the bilateral filter. 5 实验接下来,我们使用引导滤波器在各种各样的计算机视觉和图形应用程序上进行实验。 F ig. 14. Flash/no-flash de-noising. The parameters are 28,0.2r = for the guided filter,and 8,0.2s r = for the joint bilateral filter. Fig. 15. Guided feathering. A binary mask p is filtered under the guidance of I

33、. In the zoom-in patches, we compare with the photo-shop refine edge function and the closed-form matting. For closed-form matting, we erode and dilate the mask to obtain a trimap. The parameters are 6=for the guided filter.r-60,10细节增强和 HDR 压缩。第 3.4 节已经讲述了细节增强方法。HDR 压缩是用类似的方式完成的,只是将压缩的基底层取代了放大细节层(见

34、15。图 12 显示了一个细节增强得例子,图 13 显示了一个示例 HDR 压缩。此外提供了使用双边滤波的结果。如缩放与修补部分中所示,双边滤波器会导致梯度逆转的情况。请注意梯度逆转情况经常引导边缘部分进行新的配置。闪光/无闪点去噪。在14中,已经展示了在有闪光图像的引导下进行去噪形成无闪点图像的过程。图14显示了使用联合的双边滤波和引导的滤波器的比较。梯度逆转情况在联合双边滤波结果中的一些边缘附近被发现。引导羽化/消光。我们已经在 3.6 节中介绍了引导羽化的应用。一个类似的工具,称为“边缘调整”是由 Adobe Photoshop CS4 商业软件提供的。此外可以通过闭合式窗体消光 10

35、计算准确的遮挡。图 15 显示了比较。我们的结果是在本文中短发的例子中与闭合式窗体解决方案进行比较。对于这 6 百万像素的图像,我们的方法和 Photoshop的方法都提供了快速反馈(1s,尽管闭合式窗体解决方法需花费大约两分钟来解决一个庞大的线性系统。在一般的消光情况下模糊区较大;我们可以采用59中的颜色取样策略来估计滤波前更可靠的初始猜测。结合59中的全球取样法,引导滤波器是在“阿尔法-消光”基准(,性能报告 2012 年 6 月中执行效果最好的基于滤波的消光法。单个图像去雾。在11,一个雾传输图是用暗原色先验方法粗糙的估计的,并且用抠图拉普拉斯矩阵进行精炼。相反,我们在雾图(我们首先运用一个最大滤波器去抵消最小值滤波的形态学影响,并考虑它作为滤波输入的指导图像的指导下对原始的传输图的简单滤波。结果是视觉上相似。放大窗口也证明这个滤波器的结构转化特性。运行时间是在600*400的图像上40ms,与11中用拉普拉斯抠图矩阵方法的10s形成鲜明对比。联合重采样。31中的联合重抽样是在另一幅图像的引导下来对图像抽样。以9中着色应用程序为例。灰度级亮度的图像通过优化过程被着