基于NSCT的多聚焦图像融合-毕业论文

本科毕业论文本科毕业论文 (科研训练、毕业设计) 题题 目：基于目：基于 NSCT 的多聚焦图像融合的多聚焦图像融合 姓 名： 学 院：软件学院 系： 专 业：软件工程 年 级： 学 号： 指导教师（校内）： 职称： 指导教师（校外）：沈贵明 职称： 年年 月月 本科毕业论文 基于 NSCT 的多聚焦图像融 合 I 摘摘 要要 多聚焦图像融合是采用一定的算法将两幅或多幅聚焦不同的图像合并成一幅新的图 像。多聚焦图像融合的关键在于融合方法的特征提取能力。Contourlet 变换是最近由 Minh N. Do 和 Nartin Vetterli 首先提出的，与小波变换相比，它是真正的二维变换， Contourlet 在每个尺度提供不同数目的、灵活的方向，能够捕捉图像内在的几何结构， 这使 Contourlet 能够更好的提取图像的边缘和纹理等特征信息。然而，由于拉普拉斯和 方向滤波器组（DFB）中并非无下采样的，最初的 Contourlet 并不具平移不变性，这在 图像的奇异位置容易产生伪吉布斯效应。由于基于无下采样的 Contourlet (NSCT)具有完 全的平移不变性，因此在多聚焦图像融合领域比 Contourlet 具有更大的优势。本文以 Wavelet 变换(WT)和 Contourlet 变换(CT)等多尺度分析方法为基础，对其原理和性质进 行分析，并开展了 NSCT 及其在多聚焦图像融合应用领域的研究。此外，针对多聚焦图 像融合，本文比较了多种在变换域提取图像特征的方法，并据此提出了基于 NSCT 域邻 域空间频率（Spatial Frequency）的融合方法，简称 NSCT-NSF。与传统的空间频率算法 不同，NSCT-NSF 算法并非在空间域内，而是首先对图像进行多尺度多方向分解，再在 NSCT 变换域内对图像进行特征提取，最后选择特征大的变换系数来重构融合图像。考 虑到 NSCT 高频子带邻域系数的相关性，我们还对 NSCT 域内的空间频率算法做了改进， 实验结果表明，在客观和主观评价标准上，本文提出的算法要优于典型的基于小波和基 于 NSCT 像素最大值的融合算法。 关键词：关键词：图像融合; Contourlet 变换; NSCT; 空间频率 本科毕业论文 基于 NSCT 的多聚焦图像融 合 II Abstract Multi-focus image fusion is the combination of two or more different images with different focus to form a new image by using a certain algorithm. The ability to extract feature information is key to multi-focus image fusion. Contourlet transform was recently pioneered by Minh N. Do and Martin Vetterli. Compared with wavelet transform, it is a “true” two-dimensional transform. Contourlet provides different and flexible number of directions at each scale and can capture the intrinsic geometrical structure, which make it possible to better extract feature information such as edge and texture. However, due to the down-sample and up-sample presented in both the Laplacian pyramid and the directional filter banks (DFB), the foremost Contourlet transform is not shift- invariant, which causes pseudo-Gibbs phenomena around singularities. Nonsubsampled contourlet is fully shift-invariant and performs better in multi-focus image fusion than contourlet. In this paper, the principle and characteristic of Contourlet Transform (CT) is introduced and study of NSCTs application in multi-focus image fusion is developed. In addition, several classical methods directed at multi-focus image fusion for feature extraction is compared. Based on this, we propose a fusion method based on neighbor region spatial frequency (SF) in NSCT domain, NSCT-NSF namely. In contrast with traditional spatial frequency method, the source image is first decomposed to several scales and directions, and then the proposed algorithm is applied to capture feature information in NSCT domain rather than spatial domain, at last the coefficient with larger feature value is selected to reconstruct the fused image. In addition, considering the correlation between neighbor coefficients, we also make some modification on spatial frequency in NSCT domain. Experimental results demonstrate that the proposed algorithms outperform typical wavelet-based and pixel maximum NSCT-based fusion algorithms in term of objective criteria and visual appearance. Key words: Image Fusion; Contourlet Transform; NSCT; Spatial Frequency 本科毕业论文 基于 NSCT 的多聚焦图像融 合 III 目目 录录 第一章 引言1 第二章 小波变换2 2.1 小波变换 .2 2.1.1 小波变换的发展2 2.1.2 小波变换原理 .2 2.1.3 二维小波变换实现框架 .3 2.2 小波变换的局限性 .4 第三章 Contourlet 变换 .5 3.1 Contourlet 变换的提出 5 3.2 Contourlet 变换的原理.5 3.2.1 拉普拉斯塔形分解6 3.2.2 方向滤波器组（DFB） 7 3.2.3 多尺度、多方向分解：塔型方向滤波器组.11 3.3 无下采样的 Contourlet（NSCT）变换13 3.3.1 NSCT 变换原理13 3.3.2 NSCT 域的邻域和兄弟信息14 第四章 基于 NSCT 变换的多聚焦图像融合15 4.1 基于小波变换的多聚焦图像融合 15 4.2 基于 NSCT 的多聚焦图像融合规则 .16 4.2.1 融合框架.16 4.2.2 融合规则.17 4.2.2 NSCT 域的特征提取18 4.2.3 特征提取方法的选取.19 4.3 基于 NSCT-NSF 的融合算法 .21 4.3.1 NSCT-NSF 融合规则22 4.3.2 实验仿真和评价 23 第五章 总结与展望.28 5.1 本文工作总结 28 5.1 NSCT 应用前景展望28 致谢30 参考文献31 附录一 离散小波图像融合代码.33 附录二 “ATROUS”多孔小波图像融合代码.33 附录三 基于 NSCT 变换的图像融合代码35 本科毕业论文 基于 NSCT 的多聚焦图像融 合 IV Contents Chapter 1 Introduction1 Chapter 2 Wavelet Transform.2 2.1 Wavelet Transform.2 2.1.1 Development of Wavelet.2 2.1.2 Principle of Wavelet.2 2.1.3 The Implementation Framework of 2D Wavelet.3 2.2 Limitation of Wavelet4 Chapter 3 Contourlet Transform5 3.1 Propose of Contourlet5 3.2 Principle of Contourlet5 3.2.1 Laplacian Pyramid Decomposition6 3.2.2 Direction Filter Banks（DFB）.7 3.2.3 Multiscale and Multidirection Decompostion：Pyramid DFB.11 3.3 NonSubssampled Contourlet Transform13 3.3.1 Principle of NSCT.13 3.3.2 Neighbor and Cousin Info in NSCT Domain14 Chapter 4 NSCT-based Multifocus Image Fusion15 4.1 Wavelet-based Multifocus Image Fusion15 4.2 Principle of NSCT-based Multifocus Image Fusion16 4.2.1 Fusion Framework16 4.2.2 Fusion Rules17 4.2.2 Feature Extraction in NSCT Domain18 4.2.3 Selection of Feature Extraction Method.19 4.3 NSCT-NSF based Fusion Algorithm21 4.3.1 NSCT-NSF Fusion Rule22 4.3.2 Experiment Results and Evaluation.23 Chapter 5 Summary and Prospect28 5.1 Work Summary28 5.1 NSCTs Application Prospect.28 Acknowledgement30 Reference.31 Supplement 1 Matlab Code of Discrete Wavelet based Image Fusion33 Supplement 2 Matlab Code of “atrous” Wavelet based Image Fusion33 Supplement 3 Matlab Code of NSCT based Image Fusion.35 本科毕业论文 基于 NSCT 的多聚焦图像融 合 1 第一章 引言 多聚焦图像融合是指对经过不同传感器得到的同一目标聚焦不同的图像进行一定的处理， 形成一幅满足特定需求的图像的技术，从而提高对图像信息分析和提取的能力。图像融合技 术在医学、遥感、计算机视觉、目标识别等领域有着广阔的应用前景。 在图像融合领域中，变换对图像特征（主要为边缘和纹理）的提取和分析效率是影响图 像融合效果的最重要因素。近二十年来，小波变换以其时频局部性与多分辨率性在图像融合 中取得了广泛应用，并取得了很大的成功。但是小波基缺乏方向性，不能充分利用数据本身 所特有的几何特征，挖掘图像中边缘方向信息。为了克服小波变换存在的缺陷，近几年来， 人们提出多种多尺度几何分析方法：脊波变换（Ridgelet Transform） 、Bandelet 变换1、 Curvelet 变换、小线变换（Beamlet Transform） 。我们把这些方法统称为超小波变换（X-lets Transform 或 Beyond Wavelet Transform） 。 2002 年,M.N.Do 等人提出了一种“真正”的图像二维表示方法：Contourlet 变换2。作 为 X-lets 的一个新成员，Contourlet 能用不同尺度、不同频率的子带更准确的捕获图像中的 分段二次连续曲线，具有方向性和各向异性，从而使表示图像边缘的 Contourlet 系数能量更 加集中，或者说 Contourlet 变换对于曲线有更“稀疏”的表示。 Contourlet 的提出，主要是基于如下事实：在二维情况下，二维小波变换并不能充分利 用图像本身特有的几何特征，并不是最优的或者说“最稀疏”的函数表示方法。比如二维小 波，其实际是由一维小波变换直接用张量积扩展得到的，在表述具有一维奇异性的方向信息， 如边缘、纹理等效果并不理想。而边缘和纹理的提取将直接影响到图像融合的效果。 鉴于此，本文对图像融合算法、Contourlet 变换的原理、实现以及 NSCT 变换在多聚焦 图像融合中的应用进行了研究，通过分析比较 EOL、SML、SF、Tenengrad 等多种图像特征 提取的算法，据此提出了 NSCT-NSF 算法。该算法并非在空间域内，而是在 NSCT 域内对 图像进行特征提取。此外，算法还考虑到了 NSCT 高频子带邻域系数的相关性，还对传统的 SF 算法做了很大改进。实验结果表明，本文算法在主观视觉和客观评价上都优于经典的基 于小波（本文采用离散小波和多孔小波作为对比实验）和基于单个像素最大值的 NSCT 的图 像融合算法。 本科毕业论文 基于 NSCT 的多聚焦图像融 合 2 第二章 小波变换 2.12.1 小波变换小波变换 2.1.1 小波变换的发展 自 1882 年傅立叶发表“热传导解析理论”以来，傅立叶变换一直是信号处理领域中应 用最广泛的分析手段，傅立叶变换的基本思想是将模拟信号分解成一系列不同频率的连续正 弦波的叠加，或者从另外一个角度来说是将信号从时间域转换到频率域，对于许多情况，傅 立叶变换能很好的满足分析要求。 但是傅立叶变换有一个严重的缺陷在变换中丢失了时间信息。傅立叶变换后我们无法 判断一个特定的信号是在什么时候发生的。换言之，傅立叶变换只是一种纯频域的分析方法， 它在频域里的定位是完全准确的，即频域分辨率最高，而在时域无任何定位性。 如果分析的信号是一种平稳信号或规则信号，丢失时间信息或许并不重要，然而在实际 的信号处理中，大多数信号含有大量的非稳态信号，如信号的过渡、突变，这些非稳态变化 是相当重要的，反映了信号的特征信息。例如音乐、语音信号，它们的频域特性都随时间变 换。对这类时变信号进行分析，常需要提取某一时间段的频域信息。因此，需要寻求一种具 有一定的时频分辨率的基函数来分析时变信号。 小波（Wavelet）分析3-5是 1986 年以 Y. Meyer, S. Mallat 和 I. Daubechies 等的研究工作 为基础而迅速发展起来的一门新兴学科，它是傅立叶变换划时代发展的结果，是目前数学分 析和信号处理领域中广泛应用的一套新理论、新方法。小波变换以牺牲部分频域定位性能来 取得时-频局部性的折衷，其不仅能提供较精确的时域定位，也能提供较精确的频域定位。 小波分析是一种窗口面积固定而时间窗和频率窗都可以改变的时频局部分析方法。即在低频 部分具有较高的频率分辨率和较低的时间分辨率，在高频部分具有较高的时间分辨率和较低 的频率分辨率，所以被誉为数学显微镜。在大尺度下，可将信号的低频信息（全局）表现出 来；在小尺度下，可以将信号的高频（局部）特征反映出来。 2.1.2 小波变换原理 小波这一术语最早是 20 世纪 80 年代中期由 J. Morlet 首先使用的。小波，顾名思义，就 本科毕业论文 基于 NSCT 的多聚焦图像融 合 3 是小的波形。所谓“小”是指它具有衰减性， “波”则是因为它具有波动性，其振幅具有正 负相间的震荡形式。 设，假设为为一个基本小波或母小波。将母函数经伸缩和平移后得 2 ( )( )tL R( ) t( ) t 到： （2-1） , 1 ( ) ,;0 a b tb ta bR a a a 我们称以上为一个小波序列。其中为伸缩因子，为平移因子。ab 对于任意的函数的连续小波变换为： 2 ( )( )f tL R （2-2） 0.5 , ( , )( ,)( ) fa bR tb Wa bfaf tdt a 其重构公式为： （2-3） 2 11 ( )( , ) f tb f tWa bdadb Caa 从数字计算角度出发，我们感兴趣的是时域频域都是离散的情况。在实际应用中，连续 小波不适合计算机运算，必须对其进行离散化。通常把连续小波变换中的尺度参数和平移a 参数的离散化公式分别取做，其中，。对应的离散小波b 0 j aa 00 j bka bjZ 0 1a 可写作：( ) t （2-4） /2 00 ,0 0 ( )() j j j k j tka b ta a 离散化小波变换系数可表示为： （2-5） * , ( )( ) j kj k Cf tt dt 离散小波重构公式为： （2-6） , ( )( ) j kj k f tCCt 其中是一个与信号无关的常数。C 2.1.3 二维小波变换实现框架 二维小波变换分解的主要步骤如下： 本科毕业论文 基于 NSCT 的多聚焦图像融 合 4 (1) 将图像送入高通和低通滤波器，分别得到 1 个高频和 3 个低频子带。 (2) 对高频和低频子带进行下采样，下采样参数为 2。 (3)对低频子带进行上面两个步骤的迭代循环，直至达到规定的尺度，迭代结束。 图图 2-1 二维小波分解框架图，二维小波分解框架图，g(n)高通滤波器，高通滤波器，h(n)低通滤波器低通滤波器 小波反变换是小波变换的逆过程，跟小波变换一样，小波反变换可以通过迭代的使用数 字滤波器来计算，通过一维的滤波器对小波变换得到的高频和低频子带进行卷积操作，这一 过程会一直重复，直到源图像被重构为止。 2.22.2 小波变换的局限性小波变换的局限性 如果某个基函数能与被逼近的函数较好的匹配，则其相应的投影系数较大，变换的能量 集中性也较高，这对于有效的提取图像的特征信息是至关重要的。遗憾的是，小波分析在一 维时所具有的优异特性并不能简单的推广到二维或更高维。以二维小波为例，在图像处理中， 二维小波是先对行做一次一维小波变换，再对列做一次一维小波变换扩展而来的。这样一来， 小波变换的基函数的支撑区域由区间扩展为正方形，基函数形状的方向性较差。对于平滑区 域，小波变换的表示效率较高，而对于图像中方向性较强的边缘及纹理，由于两者的匹配较 差，导致其表示效率欠佳。另外，在高维情况下，小波分析并不能充分利用图像数据本身特 有的几何特征，并非最优或者说是“最稀疏”的函数表示方法。 本科毕业论文 基于 NSCT 的多聚焦图像融 合 5 第三章第三章 ContourletContourlet 变换变换 3.13.1 ContourletContourlet 变换变换的提出的提出 二维小波变换，是由一维小波变换直接用张量积扩展得到的，在表述具有一维奇异性的 方向信息，如边缘、纹理等效果并不理想。本质上，小波善于捕获零维的点状奇异性，在表 示具有点奇异性的目标函数时是最优的或者说是“最稀疏”的表示，但是对于具有一维奇异 性的边缘，小波基不是最优基。小波变换不能充分利用数据本身所具有的几何特征，挖掘出 图像中边缘方向信息。为克服小波的局限性，人们提出了多级多尺度脊波变换：Curvelet 变 换6,7。Curvelet基良好的方向性和各向异性，很成功的实现了多尺度分析的思想，但是 Curvelet存在如下一些需要解决的问题，这些问题主要与Curvelet的数字实现有关。 Curvelet变换提出的初衷是为了对高维空间中含奇异曲线或者曲面的函数进行“稀疏” 表示。而实际上，目前Curvelet变换的数字实现算法冗余度高达（是尺度分解数目） ，161S S 实际的算法与提出Curvelet变换时的初衷产生了背离。Curvelet变换的冗余性主要由以下几个 方面产生：首先，Curvelet变换是一种基于块剖分的变换，为了避免重构图像出现边界效应， 在数字实现时必须对各剖分块进行叠加处理，这样不仅增加了运算量，而且增加了变换系数 的冗余度；其次，Curvelet变换基于脊波变换，而脊波变换中存在极坐标和笛卡尔坐标的转 换问题，人们提出了不同的插值方法。然而，各种解决方法却都是以计算复杂度或冗余度的 增加为代价来获得变换精度的提高。 2002年， M.N.Do等人提出了一种“真正”的图像二维表示方法：Contourlet变换2。 Contourlet变换继承了Curvelet变换的各向异性尺度关系，并且Contourlet变换是直接在图像域 构建的，很好的克服了Curvelet变换的缺点。 3.23.2 ContourletContourlet 变换变换的原理的原理 Contourlet变换14,15是用类似于轮廓段(Contour segment)的基结构来逼近图像8。基的支 撑区间是具有随尺度变化长宽比的 “长条形”结构，具有方向性和各向异性，Contourlet系 数中，表示图像边缘的系数能量更加集中，或者说Contourlet变换对于曲线有更“稀疏”的 表达。而二维小波是由一维小波张量积构建得到，它的基缺乏方向性，不具有各向异性。只 能限于用正方形支撑区间描述轮廓，不同大小的正方形对应小波的多分辨率结构。当分辨率 本科毕业论文 基于 NSCT 的多聚焦图像融 合 6 变得足够精细，小波就变成用点来捕获轮廓,两种变换对曲线的描述如图所示。与小波相比， contourlet在每个尺度提供不同数目的、灵活的方向。因此contourlet已在图像增强、去噪和融 合中被成功应用8-10 （a a）小波变换对曲线的描述）小波变换对曲线的描述 （b b）ContourletContourlet 变换对曲线的描述变换对曲线的描述 图图3-13-1 小波基和小波基和ContourletContourlet基对曲线的描述基对曲线的描述 Contourlet变换是利用拉普拉斯塔形分解（LP）和方向滤波器组（DFB）把图像分解成各 个尺度上的带通方向子带，它有两个步骤实现：子带分解和方向变换。首先，用LP变换对 图像进行多尺度分解以“捕获”奇异点，然后用方向滤波器组（DFB）将分布在同方向上的 奇异点合成一个系数。 3.2.1 拉普拉斯塔形分解 拉普拉斯金字塔分解是实现图像多分辨率分析的一种有效方式。每一层次拉普拉斯金字 塔分解将产生一个下采样的低通部分b和一个该图像与预测图像的差图像a。如下图示。H和 G为分解和合成滤波，M为采样矩阵。这种处理可以在下采样的低通信号b循环进行下去。最 后将形成第n层低通部分和N个细节部分（高频部分） ，组成的金字塔式的图像分解。 （a）LP 的分解的分解 本科毕业论文 基于 NSCT 的多聚焦图像融 合 7 （b b）新的）新的 LPLP 的重构的重构 图图3-23-2 LPLP的分解与重建的分解与重建 3.2.2 方向滤波器组（DFB） 1992年Bamberger和Smith构造了2-D方向滤波器组(DFB)。它可以很好的按方向分解图像 并具有很好的重构性。DFB的实现是通过l层的二叉树的分解，通过对频域的分割产生了 的子带，相对的可用个通道结构来表示。 2l2l Minh N.Do提出了一种新的分解实现方法。这种简单的DFB包括两个模块：第一个是两 通道的梅花滤波器组（Quincunx滤波器，如图3-3） ，用扇形滤波器将2-D光谱分成两个主要 方向，垂直和水平方向，其中扇型滤波器的黑色部分表示其频域通带。Q为采样矩阵，有以 下两种： （3-1） 0 11 11 Q 1 11 11 Q Q的作用是将图像旋转并且下采样，和不同在于它们将图像旋转的方向不同，分别 0 Q 1 Q 为和-。45。45。 H0 H1 Q QQ Q X G1 G0 X 图图3-3 Quincunx滤波器滤波器 本科毕业论文 基于 NSCT 的多聚焦图像融 合 8 第二个模块是的平移操作（Shearing） 。它在Quincunx滤波分解阶段前进行，并在合成阶 段后进行一个反shearing操作。其作用是重新排序图像的采样。如图3-4为Shearing操作的一 个应用。实际上Shearing操作是对图像的一种采样，图像被旋转了并且宽度变为原来的两倍。 Shearing操作可采用如下四种采样矩阵。 （3-2） 0 11 01 R 1 11 01 R 2 10 11 R 3 10 11 R (a)(a) 源图像源图像 (b)(b) shear变换后的图像变换后的图像 图图3-4 图像的图像的Shearing操作操作 使用二抽取与二插值的一维双通道滤波器组具有类似的结论： （3-3） A 0011 0011 1 ( )( )( )( )( )( ) 2 1 ()( )()( )() 2 XHGHGX HGHGX 完全重构的条件： （3-4） 0011 ( )( )( )( )2HGHG （3-5） 0011 ()( )()( )0HGHG 如图3-3所示，H0 , H1, G0, G1 是方向滤波组， 那么在完全重构的条件下，可以将 输入信号分解到不同方向，并保持样本数目不变。对二维双通道Quincunx采样滤波组的输出， 继续采用二维双通道Quincunx 采样滤波组，可以形成一棵二叉树。 图3-5表示了前两级DFB分解，在前两级分解中都只采用Quincunx滤波器，第一级分解后 输出水平方向带和垂直方向带。第二级分解又将分解成和，以及将分解成和 0 y 00 y 01 y 1 y 10 y 。前两级只须采用Quincunx滤波器，在第三级及以后的分解时，则先进行Shearing操作， 11 y 本科毕业论文 基于 NSCT 的多聚焦图像融 合 9 再进行Quincunx滤波。其中对于和的第三级DFB分解形式分别按上通道0和下通道1又 00 y 01 y 分为两种，如图3-6所示。上通道采用Type1型分解，下通道则采用Type2型分解。对于图3-5 中的和也分别有两种DFB分解形式，其结构与上半部分类似，但在进行第三级分解前 10 y 11 y 要先交换图像的二维，以及采样矩阵（例如：换成，换成）和扇型滤波器。 0 R 2 R 0 Q 1 Q 图图3-53-5 DFBDFB的前两级分解的前两级分解 图图3-6 DFB第三级分解第三级分解 下面演示对zoneplate图像进行DFB分解后的结果： 本科毕业论文 基于 NSCT 的多聚焦图像融 合 10 (a) zoneplatezoneplate图像图像 (b) DFBDFB分解的分解的8 8个不同方向个不同方向 图图3-73-7 ContourletContourlet方向子图方向子图 DFB分解实际上可以等效为如图3-8所示的并行结构。即每个方向子带是由图像通过对应 的方向滤波器E后，再进行下采样S而得到的。右半部分为其对应的合成部分。 图图3-8 DFB等效结构等效结构 对于图3-9中的多通道滤波器组，滤波器具有下列对角形式： （3-6） 11 ( ) 11 (2,2),02 (2,2),22 ll l k lll diagfork S diagfork 这一维的采样是可分离的，分别对于主要是垂直和水平方向。 DFB可以等价的看成一族基： （3-7） 2 ( )( ) 02 , l ll kk km Z dnSm 本科毕业论文 基于 NSCT 的多聚焦图像融 合 11 它是滤波器在对采样结果作的相应转化而来的，可以看成是的一族离散基， ( ) l k D ( ) l k S 22 ()lR 这组基具有方向性和局域化特性。 3.2.3 多尺度、多方向分解：塔型方向滤波器组 将金字塔分解和方向滤波器结合起来，就实现了Coutourlet变换。而且单独使用任何一部 都不能很好的描述图像。金字塔分解不具有方向性，而方向滤波器对高频部分能很好分解， 对低频部分不行。二者的结合恰好能弥补对方的不足，从而得到了很好的图像描述方式如图 3-10所示： 图图3-9 Contourlet变换滤波器组结构图变换滤波器组结构图 （a）小波频谱划分）小波频谱划分 （b）Contourlet频谱划分频谱划分 图图3-10 频谱划分示意图频谱划分示意图 由图3-10可知：Contourlet变换具有比Wavelet变换分解出更多的方向子带，分解具有更 多的方向信息。而且，Wavelet变换在每一尺度上只能分解出四个方向子带，而Contourlet变 换在每一尺度上所能分解的方向子带是可以自由选择的（个，）分解更具灵2 j 0,1,jn 本科毕业论文 基于 NSCT 的多聚焦图像融 合 12 活型，可以更具图像的纹理的特性选择合适的参数，从而能更有效的表示图像。Contourlet 变换和wavelet变换一样，两者都是一个迭代过程，因此可以容易地用递归的方法实现 Contourlet变换程序。这里需说明的是，当在某一尺度上需用DFB分解的方向子带数为0，则 程序使用wavelet变换分解，获得三个方向（垂直，水平，对角线）和低通的子带。 以下给出利用Contourlet变换分解图像的结果: 图3-11给出了2级Contourlet变换的分解示意图。由图可知，对于原图像，在第一层进行 的是小波分解，得到四个方向的信息子带，而在第二层进行8方向的DFB滤波，得到8个方向 的子带信息。 (a)源图像源图像 (b)分解后子图分解后子图 (c)源图像源图像 (d)分解后子图分解后子图 图图3-11 利用利用Contourlet变换变换2层分解示意图层分解示意图 本科毕业论文 基于 NSCT 的多聚焦图像融 合 13 3.33.3 无下采样的无下采样的 ContourletContourlet（NSCTNSCT）变换）变换 虽然 Contourlet 变换与小波变换相比具有一定的优越性，但是其与传统小波变换类似， 由于拉普拉斯和方向滤波器组（DFB）中并非无下采样的， Contourlet 并不具平移不变性， 因此在应用它进行图像重构时会带来人为的视觉效果(视觉魇像)。尤其是在图像的奇异点 （边缘或纹理）附近，会产生伪 Gibbs 现象，重构后的图像在奇异点附近交替出现较大的上 下幅值振动。 下面我们将阐述一种平移不变的 Contourlet，即 NSCT。这种方法建立在迭代的非降采样 滤波器组基础之上，目的是为了获得一种方向性多尺度图像描述。由于 NSCT 没有降采样， 所以它是一种完全平移不变的 Contourlet 变换形式。 3.3.1 NSCT 变换原理 NSCT(Nonsubsampled Contourlet Transform)是一种改进后的 Contourlet 变换形式。这促使 它在一些冗余不是主要问题的领域得到应用，像图像融合。 不同于 Contourlet 变换，NSCT 采用的是非子采样的金字塔结构和方向滤波器组。非子采 样的金字塔结构主要是通过双通道的非子带采样的二维的滤波器组实现的。DFB 是通过交 换在 DFB 树结构每个双通道滤波器组的下采样和上采样并相应的对滤波器上采样实现的。 因而 NSCT 具有平移不变性并且比 Contourlet 能更好的采集频率且具规律性。图 3-12 展示 的是 Contourlet 和 NSCT 的多尺度分解框架。 （a）Contourlet 多尺度分解框架多尺度分解框架 （b）NSCT 多尺度分解框架多尺度分解框架 图图 3-12 Contourlet 和和 NSCT 的多尺度分解框架的多尺度分解框架 本科毕业论文 基于 NSCT 的多聚焦图像融 合 14 3.3.2 NSCT 域的邻域和兄弟信息 作为图像稀疏表示的一个热门话题，NSCT 的系数特征在13中进行了研究。NSCT 的系 数间具有三种关系，如图 3-13 所示。 图图 3-13 Contourlet 系数间的关系系数间的关系 被参考的系数在同一子带具有 8 个邻居（NX） ，在粗尺度相同的空间位置是父系数，在 相同尺度不同方向的子带上是兄弟系数。在13中，互信息被作为检测相关性的尺度，用来 统计相邻的 Contourlet 系数。假设表示随机变量和的互信息。评估记过显示在(; )I X YXY 细尺度比（要比大）更大；这表面 8 个邻系数包含了(;)I X NX(;)I X CX(;)I X CX(;)I X PX 父系数中的多数信息。受该结果启发，我们将在第四章把邻域系数的相关性反映在图像融合 算法中。 本科毕业论文 基于 NSCT 的多聚焦图像融 合 15 第四章第四章 基于基于 NSCTNSCT 变换的多聚焦图像融合变换的多聚焦图像融合 与小波相比，Contourlet 在每个尺度提供不同数目的、灵活的方向。因此 Contourlet 已在 图像增强、去噪和融合中被成功应用。然而，由于拉普拉斯和方向滤波器组（DFB）中并非 无下采样的，最初的 Contourlet 并不具平移不变性，这在奇异性方面导致了吉布斯现象 （Gibbs-like Phenomena） 。一些平移可变的 Contourlet 已在1012中进行了研究。无下采样 的 Contourlet 变换（NSCT）是一种完全平移不变的 Contourlet 变换形式。此外，一种基于 Contourlet 变换的方向多尺度模型已在11中进行了研究，结果表明 NSCT 的系数很大程度 上依赖于它的邻域系数。 4.14.1 基于小波变换的多聚焦图像融合基于小波变换的多聚焦图像融合 多聚焦图像融合是指因镜头聚焦不同而形成的多个图像通过图像融合得到目标聚焦都清 晰的结果图像。基于小波的多聚焦图像融合就是对多幅聚焦不同的图像进行小波变换，然后 在不同的特征域内进行融合，构成新的小波系数，再利用小波逆变换得到融合图像，其流程 如图 4-1 所示。 对二维图像进行级小波分解，最终得到个不同频带，其中包含个高频子带和j31j 3j 1 个低频子带。这个高频子带都包含了一些在 0 附近的变换系数，而在这些子带中，较大3j 的变换系数对应灰度急剧变化的区域，即图像中的显著特征，如边缘、线以及轮廓。由于小 波变换具有很好的空域和频域局部性，融合的效果就是：对同一目标，融合前在图像中的A 区域如果比图像显著，融合后图像中的区域就被保存下来，这就是基于小波变换的图像BA 融合的基本思想。 图A 图B 小波变换 小波变换 融合规则 融合 图像 重构 图图 4-1 小波图像融合流程小波图像融合流程 本科毕业论文 基于 NSCT 的多聚焦图像融 合 16 整个基于小波变换的图像融合的基本步骤如下： (1) 对多幅源图像分别进行小波变换，得到各尺度的小波系数矩阵； (2) 对各尺度的系数矩阵分别按一定的融合规则进行处理，得到融合后的小波系数； (3) 对融合后的小波系数进行小波逆变换，重构出融合后的图像。 4.24.2 基于基于 NSCTNSCT 的多聚焦图像融合规则的多聚焦图像融合规则 4.2.1 融合框架 NSCT 继承了 Contourlet 的良好的方向性和各向异性,对自然图像具有更加稀疏的表达能 力。将 NSCT 引入图像融合,可以利用其优良特性更好地提取原始图像中的几何特征,为融合 图像提供更多的信息。为此，本文提出了基于 NSCT 的多聚焦图像融合算法，算法的实现步 骤表述如下。 (1) NSCT 分解。将精确配准的源图像 A 和 B 进行 NSCT 变换, 得到相应的 NSCT 系数 集合. 在融合中一般采用 4 层或 5 层分解. 设源图像为 ， ,使用级 L P 分解,每 A f B fJ 个尺度上的方向数分别为 ,则源图像的 Contourlet 分解过程为：( )l j （4-1） ()()()() 12 ( , )(,) AAAA AJJ fx ybbba （4-2） ()()()() 12 ( , )(,) BBBB BJJ fx ybbba （4-3） ()()()() ,1,2, ( ) , XXXX jjjj l j bddd 式中: 是低频子带; 为尺度上的方向子带集合; 为尺度上第个方向的高 J a j bj , j k djk 频子带。 (2) 图像融合。对于分解后的低频子带和所有高频子带,使用基于区域特性的融合规则进 行判别和融合处理, 得到各尺度上融合后的 NSCT 系数。 (3) NSCT 重构。重构是分解的逆过程, 对融合后的 NSCT 系数进行 NSCT 逆变换,得到 重构的融合图像, 该图像包含原有多幅图像中的信息。令为融合后的结果,此过程 F f 可以表示为： （4-4） 12 (,)( , ) FFFF JJF bbbafx y 基于 NSCT 的多聚焦图像融合步骤如图 4-2 所示。 本科毕业论文 基于 NSCT 的多聚焦图像融 合 17 图A 图B NSCT变换 NSCT变换 融合规则 融合 图像 重构 特征提取 特征提取 图图 4-2 基于基于 NSCT 的多聚焦图像融合框架的多聚焦图像融合框架 4.2.2 融合规则 融合规则是图像融合算法的核心,其优劣直接决定最终的融合效果。由于 NSCT 分解后的 低频和高频子带具有不同的物理意义, 因此在融合时必须采用不同的融合规则19,20,21。 (1) 低频子带融合规则。低频子带是源图像的逼近子图，继承了源图像的整体特性，对 低通系数采用平均法，如公式（4-5） （4-5）( , )( , )( , )/2 FAB lll Si jSi jSi j 表示融合图像第 尺度的系数。( , ) F l Si jl (2) 高频子带融合规则。NSCT 分解后的高频子带中具有较大绝对值的系数对应于源图 像中强度变换强烈的区域，即清晰图像的高频系数能量远大于模糊图像，因此高频 子带采用的融合算法直接决定着融合图像的效果。该部分典型的算法是最大值法， 即经过 NSCT 分解后，取源图像图像中绝对值较大的系数作为融合图像的系数。让 表示融合后 尺度下第方向高频系数，则有公式（4-6）( , , ) F l Di j klk （4-6） ( , , ),if ( , , )( , , ) ( , , ) ( , , ),if ( , , )( , , ) AAB lll F l BAB lll Di j kMi j kMi j k Di j k Di j kMi j kMi j k 其中表示对源图像后 尺度下第方向高频子带按照一定的融合规则进( , , ) l M i j klk 行特征提取得到的特征值。由于最大值法仅考虑了单个像素的系数，而未考虑到系 数的邻域相关特性，采用该方法融合效果并不理想，因此后面几节将介绍几种