外文翻译-基于稀疏表示的多聚焦图像融合与恢复

1 摘要 ： 为了得到每个目标都很清晰的一幅图像，通常需要把同一场景 中 不同焦距的图像进行融合。多分辨率变换，如金字塔分解和小波等方法被通常用来解决这些问题。在这篇文章中，提出了一个基于稀疏表示的多聚焦图像融合方法。这种方法首先把源图像用过完备字典稀疏表示，稀疏系数 是 采取最大选择的融合策略，最后，用稀疏系数和过完备字典的 线性 组合得到融合之后的图像。而且在改变稀疏表示的近似准则之后，提出的融合策略也可以用于图像恢 复和信息融合。本文提出的方法将和空间梯度法、形态学小波变换、离散小波变换、平稳小波变换、曲波变换和非采样轮廓波变换等方法 针对 多聚焦图像进行实验。实验结果表明， 无论 在主观上和客观上，我们提出的方法都优于其他方法。 关键词 : 图像融合，图像恢复，稀疏表示 一 、 介绍 当今，图像融合成为图像处理中非常重要的一个子领域，对于一个目标或一个场景，通过一个或多个传感器我们可以获得多幅图像，包含着一些可以互补的一些信息，图像融合就是检测图像中的显著特征然后 把这些详细信息融合在一幅人工合成图中的一个过程。通过图像融合，合成图像中的图像信息 得到了 扩展和增强。图像融合应用领域非常广泛，例如数字图像、医学图像、遥感图像以及机器视觉。 有一个和本文图像融合相关的例子， 由 于受到景深的限制，光学照相机往往不能使同一幅图像中的所有目标都聚焦清晰，因此，如果同一个场景中的某一个目标聚焦时，不同距离的其他目标就会散焦，因此就变的模糊不清。使一幅图像中的所有目标都很清晰的的方法就是多聚焦图像融合技术。在这种技术中，基于同一场景中的不同目标分别聚焦得到几幅图像 ，用这些图像进行融合然 后得到每个目标都很清晰的理想结果图像。 有多种的方法可以进行图像融合，基本上，这些方法可以被分为两类，一种是基于空域的方法，这种方法是直接把源图像融合成强度值，另一中方法是变换域方法，它是把把源图像按特定的频率或时频变换进行融合。 假设 )(F 表示融合算子，空域上的融合方法可以总结为： ).,( 21 (1) 最简单的空域融合方法仅仅是对源图像中的每个像素进行平均，然而 ，这种方法往往会有不可预料的副作用，例如降低对比度， 如果原图像没有完全配准，那么基于单像素的方法，如空间梯度方法，往往会导致融合图像有缺陷。因此，一些融合图像的一些其他合理的方法被提出来了，这些是基于分块的或分割区域的非单像素的方法，然而基于块融合的方法往往会受到块度的影响，基于区域的融合方法，首先对源图像进行分割得到区域，然基于稀疏表示的多聚焦图像融合与恢复 i,2 后根据它们的属性 (如空间频率或空间梯度 )进行融合，分割也往往是复杂的，也很 耗时 ，这对于融合质量来说也是至关重要的。 近年来，人们发现了一种关于多尺度变换的非常受欢迎的方 法，它们使用的多尺度变换通常包括各种塔形分解、离散余弦变换、复数小波变换、脊波变换 、 曲波变换等。基于变换域的方法可以被总结为： )(,),(),( 211 (2) )(T 代表多尺度变换， )(F 是所用的融合算子。 塔形分解是最早用于图像融合的多尺度变换，在这种方法中，每个源图像首先被分解为一些不同分辨率的图像序列，在塔形分解中拥有最大特征值的每一个位置的变换图像被选中，然后用这些合 成图像的逆变换得到融合图像。基于小波变换的方法是用和塔形方法同样的方案，然而，多分辨率变换方法受到位移不变的限制，它是由欠降采样引起的，离散小波变换的位移不变延伸可以产生过完备信号表示，这是非常适合图像融合的，进一步，这几年，许多先进的几何多尺度变换方法得到的进一步探索，像曲波变换，脊波变换和轮廓波变换，并且得到了很好的效果，然而，因为用变换域方法得到融合图像，在变换域下的融合图像的单个系数会全局的发生一些小的变化，这些将导致空间域中的每个像素发生变化。因此，在某些情况下，基于多分辨率变换的方法将会在图像融 合过程中产生意想不到的缺陷。 显然，完整有效的提取原始图像的基本信息会使融合图像更加精确。与多尺度变换方法不同的是，稀疏表示方法是构建一个包含信号原型的一个过完备字典，然后用这些字典原子的线性组合来表述信号，稀疏表示两个主要属性是过完备性和稀疏性，过完备的意思是字典的原子数据目要大于图像的像素数目或信号的维数，为了使信号更稳定和更有意义表示，过完备字典里包含有丰富的变换基，稀疏就是与信号对应的系数 是 稀疏的，也就是说，只有一部分数据可以描述与目标相关的信息，得益于它的稀疏性和过完备性，稀疏表示理论成功的应用 到了许多领域，包括压缩，去噪，特征提取分类等，最近研究表明，普通图像特征可以用少量的系数来表示，这些少量的系数对应图像的显著特征，我们设计一个基于稀疏表示的图像融合方案。一般而言，稀疏表示是全局的运算，他是基于灰度图像的这个内容，然而，融合图像的质量依赖于源图像局部显著特征的精确表示，因此，我们采用滑动窗口技术，通过获得局部显著特征和保持位移不变性来获得理想的效果。 在建议的方法中，第一步，把源图像分成许多小块，这样就会得到每个图像过完备字典，这样的字典维数比较小，第二步，基于标准的信号原子对图像块 进行分解成相对应的系 数，稀疏系数越大，包含的显著特征就越多，第三步，根据“选择最大”的融合规则，把对应的源图像组合起来得到融合图像，最后，用最大的稀疏系数对应的图像块则和组合成融合 3 图像。在稀疏表示中，过完备字典通常是由实现定义的函数获得的，如离散余弦变换，快速傅里叶变换，小波，曲波变换和轮廓波。复杂一些的字典可以通过训练样本得到。 既然大多数的融合图像都是假设源图像是没有噪声，因此，在假设合理的情况下，这些融合算法都能得到高质量的融合图像，然而，实际上，图像在转换和获得的过程中往往会受到噪声的污染，对于 基于多尺度变换的方法，通常先对源图像进行降噪处理，首先，把所有小于零的系数限制在一定的阈值之下，并保持其他的系数不变，然后，滤波之后的图像就是融合图像，我们所建议的方法的优势在于可以对源噪声图像同时进行降噪和融合。 本文的剩余部分可以分为 5个部分，第二部分介绍基本的稀疏表示理论，第三部分，基于稀疏表示理论给出融合方案，并讨论怎样同时进行图像恢复和融合，在第四部分给出了数值实验，第五部分给出了建议方案的优势与不足，也对后续工作做出了建议。 二 、 信号稀疏表示的基础理论 稀疏表示是基于假设 自然信号可以由字典原子的线性组合或近似表示。对于信号 ，稀疏表示理论假设存在一个字典 ，包含 于任何一个信号 x 都存在一个字典的线性组合来对其进行近似。更正式的讲，存在, 使得 ，向量 s 包含 x 在常假设 ,暗指字典 是 冗余的，解通常不是唯一的，针对下面的优化公式，求解拥有最小非零数的 s 。 s e c t t o m (3) 在这里0s 中的非零数目。 上述优化问题是一个难题，且只能系统地测试潜在的列的线性组合来解决，因此 ，可以考虑一个近似的解来代替，最简单的一个算法是匹配追踪 (法，和正交匹配追踪 (它们是贪婪算法通过连续的选择字典的列，这个方法涉及到信号和字典原子的内积。 匹配追踪算法的目标是学习得到 ， 表示内积，初始化残差为 , (4) 然后循环信号原子，在 到一个符合下式的原子，该原子的索引为 * m (5) 得到一个和字典原子和数相同维数的一个稀疏向量， *,)( * (6) 更新残差 ： *)( *1 (7) 直至达到 21*2*)(li ) 或者达到先验的一个数值。 因为匹配追踪算法的收敛速度很慢，在本文中我们用的是正交匹配追踪算法，正交匹配追踪算法这样更新残差的： p a *2*1 ,1 (9) 了有效地计算映射，正交匹配追踪算法在计算原子的过程中并行地对其选择的原子 进行施密特正交化处理， 4 理想情况下，迭代次数和 s 中的非零个数是一致的。其他著名的追踪算法包括基追踪 (法，迭代聚焦算法 (在公式 (3)中， l 范数替代0而， 三、 图像融合方法 A 既然 稀疏表示方法可以全局的处理一幅图像，我们就不能直接把他用于图像融合，。因为图像融合依赖于源图像的局部信息，在我们的方法中，我们把图像分成许多小块，然后结合小字典来解决这个问题，滑动窗口技术使得系数表示方法具有唯一不变性，这对图像融合时非常重要的。 我们假设图像 图1所示，为了促进分析，大小为 的第 j 个小块被写成 种向量 形式来进行排序。则以表示成 (1 (10) Tl 1 ，包含有 T 个 原 子 ， ()()1( 是从 (3)中得到的稀疏表示。 假设图像的中所有小块组成矩阵 V，那么矩阵 (11) 得 , 21 则公式 (11)可以写成 V= (12) B 建议的融合框架 假设有 小为， ,1 ，则假设的融合框架是基于稀疏表示的，如图 2所示，按以下的融合步骤进行。 5 用滑动窗口方法把源图像大小为 ，和字典原子的维数是一致的，把所有的图像块向量化并进行排序，则所有的向量组成一个矩阵一列代表图像)1()( 于矩阵j 列向量 迭代满足误差表示条件时将停止迭代，则可以得到一个于kI， 动 水 平 可 以 表 示 为 1jj kk (13) 融合源图像稀疏矩阵 ,，对应的列来得到对应的活动级 第 )(m r , *j*, (14) 融合图像 的向量表示可以这样计算 (15) 最后融合图像 构得到，把 的列大小的矩阵然后放在融合图像对应的位置，这可以看做是图 1所示过程的一个反变换，因此，每个像素位置，是几个块像素值的 叠加，最后这个位置的像素值要除以叠加的次数。 C 修复和融合 在实际中，用于融合的源图像往往在获得和传送的过程中受到噪声的污染，在传统的方法中，图像修复和融合时分开进行的，没有人试图把两个过程结合起来，建议方法的一个优点是把图像融合和图像修复通过稀疏并表示的优势同时进行，假设一个原图像受到标准差为 的高斯噪声的污染，对图像 最大后验估计量进行求解， j 2j0 v s u b j e c t t o m i (16) 个块的系数表示向量组成稀疏表示矩阵 S。 对于源图像 ,1 对应的重叠块向量矩阵为 1 ， ，它们的稀疏表示, 21 可以通过公式 (16)得到，恢复后的图像矩阵可以由211 ， 得到，恢复后和融合后的向量表示 以由, 21 重构得到，设 )(F 为融合算子，则 ),( 21 (17) 融合图像的向量表示可以由以下公式得到 (18) 最后，从修复图像得到的融合图像可以由 构。 四 、 实验 建 议的方法将会和已有的特别的所聚焦融合算法相比较， (例如， 10和形态学小波变换方法 8)和常规的多聚焦图像融合方法(,5,6,平稳小波变换方法 (7,24和 9, 非 采 样 轮 廓 变 换 方 法(27,28). 1 实验设置 在多分辨率图像融合中有三个关键的问题： 1)活动度测量； 2),系数组合； 3),一致性校验。在我们的试验中我们选的是大家常用的设置。 1)活动度测量：在每个系数对应的位置选 6 取系数绝对值最大的。 2)系数组合，在每个像素对 应的位置选取绝对值最大的系数 (取大原则 )。 3)一致性校验：用一个小的主成分滤波器(基于窗口的校验 )，窗口大小为 3*35,对于所有的四个多分辨率方法，源图像被分解为四个级别， ,对于 ,8,8和 16方向的用于高频率范围，对于多分辨率的去噪，我们用 27，阈值为 (19) 对于每 个部分的系数， 是噪声的标准偏差。 对于建议的方法，用了 离散余弦波在不同频率的应用，由于其具有快速应用和良好的性能。在以下的实验中我们选取的滑动窗口的步长为 1个像素 算机的配置为，奔腾处理器， 12了进行主观评价，选取了两个评价准则 1)均方差 (1和 2) F/度量不同的融合结果， 合 结果越小，F/该尽可能的接近 1. 2 清晰图像的融合结果 在实验一中，有四对有噪声的图像，如图 3所示，用于测试建议的方法，图 3(a)是近聚焦的，时钟是聚焦的，是清晰的，然而聚焦以外的那个学生确实模糊的，图 3(b)是远聚焦的，时钟和学生的状态反了过来，图 3中的其他图像，也有相似的状态，都是图像的左边是近目标，而右边是远目标。 对于建议的方法，得注意两个参数， 1)图像块的大小和 2)公式 (3)中的全局误差 ，首先，我们固定全局误差 为 及图像块的大小，然后，为了探索全局误差的影响，图像块的大小为 8*8，对于均方差，在图 3中，清晰的区域用矩形框标记出来了，不同块大小和不同全局误差对 (a)-(d),从图 4(a)-(d)我们可以显然的总结出来，建议的方法得性能会随着图像块的增大和全局误差的减小而变好。然而，在这种情况下，也增加了运行时间，如图 4(e)和 (f)所示，但是我们相信，随着计算机硬件的高速发展，这不是一个问题 ，另外，我们可以从图 4(b)和(d)看出，当全局误差小于 2时，融合结果一直会很好。 7 图 3 多聚焦融合图像 在全局误差为 5和 10时，图 3(a)和 (b)的融合结果如图 5所示，当全局误差为 5时，融合结果如图 5(a)所示，丢失了一些细节信息，如时钟的秒针和桌子的细节信息，然而，大部分重要的细节信息保留了下来，尽管全局误差为 10，结果仍然是 图 4 本文方法在不同的块大小和全局误差下的效果 可以接受的，建议的方法也没有导致融合图像人为的失真，从分析中，把公式 (3)中的阈值 设为 *8是合理的。 我们也调查了滑动窗口的步长对融合结果的影响，当没有重叠时用大距离窗口，得到的融合结果有很明显的缺陷，因为大距离窗口不具有位移不变性，步长从 1变到 8从滑动窗口到大距离窗口，附加的实验很好的展示了建议的方法在最小步长的情况下的效果最好。 8 图 5 本文方法在不同的全局误差下的融合结果，(a)和 (b)分别是全局误差为 5和 10的情况下的融合结果 现在，在以上设置的情况下的融合结果将和 虑到篇幅限制，图 6中只显示了 建议方法的融合结果，事实上，图 3(a)和 (b)中学生的图有轻微的运动，为了更容易观察，在图 7中我们用不同的方法放大了学生的头部区域，用 由于降低采样率的原因，尽管 是对比度在一定的程度上下降了，建议的方法展示了一个具有良好的视觉效果的融合结果图像。 在表 ，黑体字表示 了在这几种方法中具有最高的融合质量，从表 ，建议的方法明显优于其他六种方法，我们的方法仅仅是在图 3的 (g)和 (h)实验中，没有 图 6 :不同算法的融合结果 图 7：不同方法头部区域放大的融合效果 3 加噪图像的融合结果 本文方法的恢复和融合结果将和基于 两种方法都是在图像去噪应用方面非常有用的，对于基于 在应用比较成功的情况下 ,公式 (19)中的 是最佳参数，在其他情况下设置为 3也是为了得到一个良好 9 的效果 27。图 3中的多聚焦源图像被零均值，标准差为 15的高斯加性噪声污染，公式(16)中的常数 4,我们首先测试图像块的尺寸对于本文方法的影响，图 8中的结果显示，图像块的尺寸设置为 8*8最为合适。 表 一：不同方法的客观评价指数 图 8：本文方法在不同块尺寸对噪声图像的处理效果 图 9：修复和融合结果， (a)和 (b)是两幅噪声图像， (c)-(e)是用 图 3(a)和 (b)的加噪后的图像，用 所示，基于 桌子上的纹理，这些细节在图 9的 (d)和 (e)中没有显示出来，但是多了一些人造的边缘，图9(d)比 (c)的视觉效果要好，但是比 (e)多了一些人工的修复，因此，用本文方法得到的融合图像比其他两种方法的效果要好，清晰图像以及修复融合之后的图像的 ， 。 然后，对于以上三种不同的方法，用加不同量噪声的图像进行测试，对于图 3(a)和 (b)分别加标准差为 5， 10， 15， 20的噪声。对应的参数估 10 表二：不同算法的修复和融合结果 计结果列在表 图 (3)中可以看出，随着标准差的变大，三种方法的融合修复图像的效果越来越差。然而，在少量噪声的情况下，本文所建议的方法明显要比 表三：不同噪声图像的修复和融合结果 图 10 20幅真实图像 4 人工图 像的融合结果 为了进一步说明本文方法的有效性，图(10)中列出了 20幅标准图像，这些都是实况图像，对于每一幅图像，用高斯模糊仿真产生两幅散焦图像，这两幅图像就作为要处理的源图像，原始图像将作为参考图像。用 和 在试验中，公式 (3)中的全局误差 设为 的尺寸设置为8*8。另外，图 (10)中的模糊图像添加了标准差为 15的高斯噪声，然后，给出了 同方法的 ，报告结果是 20幅图像的平均标准偏差，对于清晰的图像，在表 于 上要好的多，而且， 表四：不同方法对仿真图像的平均客观评价 于本文方法，基于 具有较好的效果， 于噪声图像的恢复和融合，我们也可以从表 明显的优于 五总 结 在本文中，我们给出了基于稀疏表示理论的多聚焦图像融合方法，本文的贡献可以总结为两个方面。首先，我们用系数表示理论来解 11 决图像融合问题，也实现了在融合的同时进行图像恢复。第二，用滑动窗口技术解决位移变化问题，这会增加计算复杂度，但随着计算机硬件的快速发展，这将不是一个难题。融合结果和 实验结果表明了本文方法的可行性和有效性。在本文中，只用了有其他的一些方法，例如用基于学习的方法，来得到字典，在以后的研究中，我们将会调查不同的字典 对融合结果的影响。 致谢 在这里，作者非常感谢仔细阅读这篇文章的无名读者，也欢迎提出宝贵的意见和建设性的建议。 参考文献 1 Z. . S. “A of a a 87, 8, 13151326, 1999. 2 Z. D. S. “by 57, 11, 25542560, 2008. 3 A. A. . “in 8, 2, 114118, 2007. 4 V. S. . S. 13, 2, 228237,2004. 5 G. . “A 37, 9, 18551872, 2004. 6 G. “A to 4, 4, 259280, 2003. 7 S. T. J. T. I. W. . N. “ 15, 6, 15551561, 2004. 8 I. De . “A 86, 5, 924936, 006. 9 A. K. . “of 16, 1, 269279, 2008. 10 H. A. . “A 2003, 5017, 332341. 11 S. T. J. T. . “of 2, 3, 169 176, 2001. 12 P. L. . Y. “on or 88, 6, 15111527, 2008. 13 S. T. Li . “ 26, 7, 971979, 2008. 14 P. T. . H. “as a 4, 532540, 1983. 15 Z. K. K. Y. K. . P. “by 22, 9, 929 939, 2001. 16 A. “by a of 9, 4, 245253, 1989. 17 A. “A 9, 3, 255261, 989. 18 H. B. . “