（应用数学专业论文）图像融合方法及效果评价研究.pdf

两北t = 业大学硕士论文 摘要 在图像融合领域，如何对融合图像进行评价已经成为一个很重要 的问题。长久以来，这个问题都没有得到很好的解决。因此，寻找 种符合人的视觉特点，同时又便于计算的融合图像客观评价指标是很 有必要的。 本文通过对i h s 图像融合变换方法进行推广，得到一种基于h p f 的图像融合方法。此外，本文还根据现有的单因素融合图像评价指标， 提出了一种基于模糊积分的融合图像空间分辨率评价指标。并在此基 础上提出了一种融合图像效果的综合评价方法。最后进行大量实验， 并对实验结果进行分析。 实验结果表明：这种评价方法在某些情况下基本符合人眼的主观 感觉，是一种相对客观的评价融合图像效果的评价方法。而基丁| h p f 的图像融合方法可以得到较为理想的融合结果。 关键词图像融合i h s 变换 模糊积分 图像评价 两北工业大学硕十论文 a b s t r a c t i nt h ef i e l do fi m a g ef u s i o n ，h o wt oe v a l u a t ef u s e di m a g e si sa ni m p o r t a n t p r o b l e ma n dt h ep r o b l e mh a s n tb e e ns a t i s f a c t o r i l ys o l v e dy e t f o rt h ep u r p o s eo f j u d g i n gt h ee f f e c to f f u s e di m a g e s ，i t sv e r yn e c e s s a r yt os e a r c hap e r f e c ti m a g ef u s i o n e v a l u a t i o nm e t h o dt h a ti sf i tf o rt h ec h a r a c t e r i s t i co f p e o p l e ss e e i n gs y s t e ma n do f t h e s u b j e c t i v e j u d g ea b i l i t y i nt t l i sd i s s e r t a t i o n ，b a s e do nt h ei h st r a n s f o r mf u s i o nm e t h o d ，w ep r e s e n tan e w k i n do fi m a g ef u s i o nm e t h o da n dg e tar e a s o n a b l ef u s i o nr e s u l t f u r t h e r m o r e ，w e b r i n go u t ah e wk i n do fi m a g ee v a l u a t i o nc r i t e r i ab a s e do nt h ef u z z yi n t e g r a lt o e v a l u a t et h er e s o l u t i o ni n f o r m a t i o n i nt h ef i n a l ，w em a k es o m ee x p e r i m e n t sa n d a n a l y z et h er e s u l t s t h ea n a l y s i sr e s u l ts h o w st h a tt h ee v a l u a t i o nc r i t e r i ap r e s e n t e di nt h i sp a p e ri s c o m p a r a t i v e l yas o m e w h a tb e t t e rf u s e di m a g ee v a l u a t i o n w em a y h a v es o m ep i e st o u s ei ti ns o m ef i e l d s a n dw i t ht h ef u s i o nm e t h o db a s e do nh p fw ec a ng e t c o m p a r a t i v e l yi d e a lf u s e di m a g e s k e y w o r d s ：i m a g ef u s i o n i h st r a n s f o r m f u z z yi n t e g r a l i m a g ee v a l u a t i o n 一一堕垄三些奎兰堕主堡苎 第一章绪论 第一节图像融合及其发展现状 信息融合最早被广泛应用于军事领域。美国国舫部在1 9 7 3 年资助的声纳信 号理解系统研究中，首先引入了数据融合技术。由于信息融合可以获得比由各个 独立信息源所提供的信息更加全面、更少冗余、也更加实用的分析处理结果，因 此在很多领域得到广泛应用。 图像融合作为信息融合的一个重要分支，同样也得到了人们的广泛关注。由 于遥感是目前为止能够提供全球范围的动态观测数据的唯手段，敞其在航字、 航天、军事侦察、灾害预报等很多军事及民用领域有着举足轻重的地位。 随着信息社会的到来，现代遥感技术可以提供同一地区的不同光谱、不同实 践和不同空间分辨率的遥感图像，这就为全面地了解事物提供了极为有利的条 件。但是数掘量的急剧增加，也增加了综合观察的难度。因为不同的传感器获取 的遥感图像数据在光谱信息和空间细节表现能力等方面都有其各自的差异性和 局限性，从而就想要把融合技术带进这个领域，把多种传感器得到的遥感图像融 合在一起，尽可能地再现原事物，为我们真实地了解事物带来很大的方便。 图像融合的主要目的是综合各类图像数据的优点，提高图像的解译能力“1 。 图像融合已经在地质的探矿、地质结构分析，测绘的专题图的制作和地图更新以 及军事的目标识别等等很多方面得到了广泛的应用。当前图像融合的t 要目标是 在提高融合图像空问分辨率的同时尽可能地保持原图像的光谱特征。 一般情况下，在图像经过预处理( 包括几何校正、噪声消除、图像配准) 以 后，才开始真正的图像融合过程。图像融合由低到高分为三个层次：像素级融合、 特征级融合、决策级融合，如图1 所示。 西北丁业大学钡卜论文 1 1 像素级融合 幽1 图像融合的3 个层次 像素级融合是在图像预处理阶段的融合。首先将图像进行空间配准，然后将 图像上各类数据进行综合分析，以便改善如分割、特征提取等处理的效果。因此 像素级融合是图像融合过程中十分重要的环节，本文研究的是这一层次的融合。 传统的像素层融合方法主要有i h s ( i r t e n s i t y - - h u e - - s a t u r a t i o n ) 变换法，主成 分分析( p r i n c i p a lc o m p o r e n ta n a l y s i s ) ，高通滤波法( h i g hp a s sf i l t r a t i o n ) ，小 波变换( w a v e l e tt r a n s f o r m ) ；法等。 1 9 7 9 年，z o b r i s t 等报道了有关把s e a s a t 和m s s 复合图像应用于地质解译的 信息“。： 1 9 9 0 年，c a r y e r 等应用i h s 变换方法来融合全色图像和多光谱图像“1 ： 随后，c h a v e z 等对t m 和s p o t 图像的融合又做了大量研究工作。1 。随着雷达卫 星遥感技术的深入应用，s o l b e r g 等对r a d a r s a t 和多光谱图像的融合也做了大量 研究性一l ：作。近年来，主要集中在基于多尺度的小波变换研究”“”等。 下面主要介绍i h s 变换法，? c a ( 主成分分析) ，高通滤波法和小波变换法。 考虑对高分辨率全色图像和多光谱图像进行融合。 1 、i l l s 变换法 为了图像处理的目的，有时需要在r g b 和 h s 这两种彩色坐标间进 ? 变换， 因为有些处理在某个彩色系统中可能更方便些。对多光谱图像进行i h s 变换， 得到亮度l 、色度h 、饱和度s 成分，用高分辨率图像代替1 分量，对h 、s 分 量进行拉伸，最后通过逆变换回到r g b 空间。 型! 三、业叁兰堡、! 堕兰 i h s 变换的方法很多，最具有代表性的是三角形法、六棱锥法和圆柱体法。 对图像融合中的 - i s 变换而言，变换模型基本上不会影响处理结果，在实际应 用中可根据具体情况自由选择”1 。 然而在i h s 方法融合过程中，采用了将s p o t 多光谱数据经彩色变换后的强 度( i ) 用其全色波段影像来替代的融合方法，虽然可以提高结果影像的地物纹理特 性，即可以得到更高的空间分辨率图像，但是由于不同频道数据的不同光谱特性 曲线，i h s 方法扭曲了原始的光谱特性，产生了光谱退化现象，光谱失真较大， 不利于图像的分类。 2 、p c a 方法 1 9 8 7 年，w e l c h 等运用主成分分析法( 即p c a 方法) ，对多光谱图像和l a n d s a t t m 图像进行融合，得到精简数据。3 。主成分分析法通过图像x 的协方差矩阵 c o y 、求得的特征值为 ，- ；1 - 2 也，九，且 ， 。，其相应的特征向 量也按这样的顺序排列形成一个矩阵爿。主成分变换为y = a 。x ，y 的第主成 分包含了并的绝大部分能量。 而文献 8 中将主成分分析应用于影像融合处理，采用出另一传感器获得的 遥感影像替代多频道遥感影像经主成分变换后的第一主成分p c i 来进行融合处 理，以提高多频道影像( 如t m 多光谱影像) 的空间分辨率，并且可以拉伸第一主 成分的方差和均值。而文献【1 l 】证实了主成分分析替换法会失去其原有的物理特 性。 3 、高通滤波法 1 9 8 0 年，s h o w e n g e r d t 提出高通滤波( h p f ) 方法，通过加入一个简单滤波 器到高分辨率通道，并叠加到多光谱图像中”1 。 采用h p f 方法进行融合，即首先采用高通滤波器对高空间分辨率影像进行 滤波，然后将滤波得到的结果依像元加到多光谱影像数据( 低分辨率) 中”，此方 法虽然有效地保留了原始的多光谱信息，但在对高分辨率影像滤波时，却滤掉了 大部分的纹理信息。 4 、小波变换法 伴随着数学理论如小波变换、以及相关学科的深入发展，许多新颖高效的 西北工业大学顿士论文 基于小波变换的融合方法相继产生。小波变换主要步骤如图2 所示，首先对两幅 图像进行小波分解，得到低分辨率图像的高频和低频成分以及高分辨率图像的高 频和低频成分，然后对两低频成分采取加权平均得到新的低频成分，对高频部分 按照定的融合算法进行，也可以得到新的高频成分，然后进行小波重构得到融 合图像。 图2 小波变换示意图 而基于小波变换融合增强方法能有效地增强多光谱影像的空间细节表现能 力，保持影像融合前后的光谱特性，但多光谱影像增强的效果受到小波分解层数 的影响，容易出现分块效应与地物纹理模糊。一般较好的分解层次为3 - 4 层。基 于二进制和三进制小波的s p o t 全色影像和多光谱影像的融合“”1 ，由于它只是简 单的用高分辨率的遥感影像替换低分辨率影像经过小波分解后的低频分量，却没 有考虑影像特征方面的损失；基于特征的二进制小波影像融合“”，由于没有考虑 到待融合影像的分辨率，从而融合效果并不是很好。基于小波包变换的融合方法 ”，其优点是不仅对图像低频部分进行分解，对高频部分也进行分解，对于有大 量细节部分的遥感图像的融合，既能保持大量的光谱信息，也有大量的空间细节 部分。 显然这些方法都各有利弊，i h s 方法虽然会扭曲光谱信息，但是在很多情况 下，这种方法是最简单也最快速的；而小波变换方法种类繁多，虽然比较高效， 但由于方法本身就很复杂，不容易进行实现。因此考虑，在融合过程中是否可以 不仅仅只用一种方法进行融合呢? 这样得到的结果可否比原始的单一的融合方 法得到的结果更优呢? 因此本文着重对i h s 方法进行研究，试图找到一个更加新颖、简便的，而 又能在尽可能保持原始光谱基础上提高图像空间分辨率的融合方法。 西北工业大学硕士论文 1 2 特征级融合 特征级融合是在图像特征提取阶段的融合。对不同图像进行特征 提取， 按各图像上相同类型的特征进行融合处理，以实现对多传感器数据的分类、汇集 和综合。一股来说提取的特征信息包括目标的边缘、方向、运动速度等。 目前，特征级融合的主要方法有聚类分析法、d e m p s t e r s h a f e r 推理法、贝叶 斯估计法、熵法、表决法和神经网络法等。 1 3 决策级融合 决策级融合是一种高层次的融合。首先按照应用的要求刘各图像进行分类， 确定各类别中的特征图像，再按此进行融合处理。其结果将为各种控制或决策提 供依据。 目前，常用的决策级融合方法主要有：贝叶斯估计法、神经网络法、模糊聚 类法和专家系统等。 第二节融合图像结果评价方法及其发展现状 数字图像处理研究的主要内容是图像变换、图像增强、图像压缩、图像分析、 特征识别等等。特别是在遥感图像处理方面，图像分析已经成为一个很重要的环 节，它为在图像特征识别等高层次的图像处理中能更好的发挥作用打下基础。而 图像融合就是为了进行更好的图像分析而经常要采取的一个重要手段，在图像分 析和特征识别方面有着非常重要的意义。为了评价图像融合的效果，我们必须研 究并建立一一科t 评价融合图像效果的方法，这种评价方法必须是一种客观的、符合 人的感官要求的、而且算法本身又是比较简单容易实现的，同时要能很好的反映 融合图像效果的评价方法。 但是目前对于融合图像效果的评价还没有一个全面、客观和统一的标准，因 此评价主要还是依靠观察者的主观感觉。为了能对融合图像进行定量的分析，人 们常借助均值、标准差、信息熵、偏差指数和扭曲程度等单因素指标求对融合图 像的清晰度和光谱值进行分析。 西北工业大学硕士论文 这样，图像融合结果评价方法分为两个类：一类是主观评价；另一类是客观 评价。前者取决于人的主观感受，是主观的、不确定的，评价结果往往因人而异， 且只能给出一个模糊的评价“好，不好，差，较差”等。厉者足以一定的数学 公式给出，从量上给出了严格的尺度标准。 但是这些现有的客观评价指标大都只是讨论了单因素方面的结果，其结果只 能反映单方面的好坏，在遥感图像融合结果评价中不具有太大的现实意义。而最 重要的是，单因素评价指标常常会在清晰度和光谱值的分析中自相矛盾，相互冲 突，给图像分析带来很大的麻烦。而主观评价虽然能克服了这些缺点，但却是主 观的、不确定的，评价结果往往因人而异，且只能给出一个模糊的评价“好，不 好，差，较差”等。因此有必要提出一种更加合理的客观评价指标，使其能同 时反映融合图像空间信息和光谱信息保持情况。 第三节本文主要工作 本文根据现有的单因素融合图像效果评价指标，提出一种融合图像效果的综 合评价方法。本文还对i h s 图像融合变换法进行进一步的分析研究，提出种 基于h p f 的i h s 图像融合方法，可以得到比较理想的融合结果。最后进行各种 实验，并对实验结果进行分析。全文共分五章，各章主要内容如下： 第一章首先介绍图像融合的有关背景知识以及几种现有的图像融合方 法存在的局限性，并介绍了融合图像效果评价方法及其发展现 状，指出了本文的研究思路及内容。 第二章介绍后面所要用到的基本知识。第一节首先介绍了两种彩色空 间，即r g b 空间和i h s 空间；第二节介绍模糊积分的一些相关 知识；第三节简要叙述模糊积分在一般图像评价中的应用。 第三章进一步分析i h s 变换法，详细阐述其存在的缺点和问题；接着 引进h p f 滤波器并对这个滤波器进行分析，提出了基于h p f 的 i h s 变换法。 第四章首先提出一种基于模糊积分的空间分辨率评价指标，并在此基础 上，提出了一种基于模糊积分的融合图像效果的综合评价方法。 第五章对两组不同的图像用不同的融合方法进行处理，得到 融合图 西北工业大学硕士论文 这样，图像融合结果评价办法分为两个类：一类是主观i 平价；另一类是客明 评价。前者取决于人的主观感受，是主观的、不确定的，评价结果往往因人而异， 且只能给出一个模糊的评价“好，不好，差，较差”等，后者是以一定的数学 公式给出，从量上给出了严格的尺度标准。 但是这些现有的客观评价指标大都只是讨论了单因素方面的结果，其结果只 能反映单方面的好坏，在遥感图像融合结果评价中不具有太大的现实意义。而最 重要的是，单因素评价指标常常会在清晰度和光谱值的分析中自相矛盾，相互冲 突，给图像分析带来很大的麻烦。而主观评价虽然能克服了这些缺点，但却是主 观的、不确定的，评价结果往往因人而异，且只能给出一个模糊的评价“好，不 好，差，较差”等。因此有必要提出一种更加合理的客观评价指标，使其能同 时反映融合图像空间信息和光谱信息保持情况。 第三节本文主要工作 本文根据现有的单因素融合图像效果评价指标，提出一种融合图像效果的综 合评价方法。本文还对i h s 图像融合变换法进行进一步的分析研究，提山_ 平十 基于h p f 的i h s 图像融合方法，可以得到比较理想的融合结果。最后进行各种 实验，并对实验结果进行分析。全文共分五章，各章主要内容如p ： 第一章首先介绍图像融合的有关背景知识以及几种现有的图像融合方 法存在的局限性，并介绍了融合图像效果评价方法及其发展现 状，指出了本文的研究思路及内容。 第一章 第三章 第四章 第五章 第五章 介绍后面所要用到的基本知识。第一节首先介绍了两种彩色空 间，刨r g b 空间和i h s 空间；第二节介绍模糊积分的一些相灭 知识；第三节简要叙述模糊积分在一般图像评价，1 的应用。 进一步分析i h s 变换法，详细阐述其存存的缺点和问题：接着 引进h p f 滤波器并对这个滤波器进行分析，提出了基于i i p f 的 i h s 变换法。 首先提出一种基于模糊积分的空间分辨率评价指标，升在此基础 上，提出了一种基于模糊积分的融合图像效果的综合评价力法。 对两组不同的图像用不同的融合方法进行处理，得到融合图 对两组不同的图像用不同的融合方法进行处理，得剑融合图 两北下业大学硕上论文 像。接着利用各种评价指标对这些融合结果进行计算，给出一些 实验数据。最后根据实验结果详细分析了新的图像融合方法在图 像融合中的适用性，并检验了第三章中提出的融合图像效果综合 评价指标在图像融合效果评价中的合理性。 第二章预备知识 第一节彩色空间 本文主要研究的是遥感图像融合技术。遥感图像通常得到的是：全色图像和 多光谱图像。黑向照片在遥感上称为全色波段，是将可见光等作为个全色宽波 段对待，彩色照片是将全色波段分成红、橙、黄、绿、蓝、紫及其中叫色等几十 个波段，每个波段仅相当于全色波段宽度的几十分之一。多光谱图像，是指由电 磁波谱所包含的所有波段( 见图1 ) 所成的图像，包括可见光、红外线、紫外线、 毫米波、x 射线、y 射线等所成的像。全色( p a n ) 图像的优点是具有很高的空 间分辨率，能够得到丰富的细节部分；多光谱( m s ) 图像的空阳j 1 1 分辨率低，但 其具有不同波段光谱信息。那么我们现在就是要把这两种图像融合在一起，得到 对原事物的再现，也就是在提高空间分辨率的基础上，尽可能保持原始多光谱图 像的光谱特征。 图1 电磁波谱图 为了客观、定性地描述颜色特征，需要有科学的颜色命名标准，这些标准称 为表色系统或颜色空间。常见的有r g b 彩色空间和i h s 空间。 2 1 1r g b 彩色空间 r g b 彩色空间使用红色、绿色、蓝色三种单色作为三原色，任何呵能要表 示的颜色都可咀用三维空间中第一象限的一个点来表示，如图1 的彩色立方体所 示。原点为黑色，三基色达到最高值时表示白色。等量的三基色产生扶色的阴影 所有这些都落在彩色立方体的对角线上，称为灰度线。 2 1 2i h s 空间 监 图2 彩色立方体 黄 亮度i 、色度h 、饱和度s 是指人的色彩感觉中的三元素，属f 定性处理颜 色的显色系统孟塞尔表色系统，如图3 所示。亮度i 是指色彩的亮度，主要 反映图像中地物反射的全部能量和图像所包含的空间信息；色度h 是指组成色 彩的主波长，由红绿蓝色的比重所决定；饱和度s 表示的是相对中性灰色而言颜 色的纯度，即颜色的鲜艳度，它与色度合称为色品，主要反映地物的光谱信息。 1 2 0 图3i h s 空间 西北1 二业大学硕上论文 第二节模糊积分 1 9 6 5 年美国加利福尼亚大学控制论专家扎德( z a d e hl a ) 教授在 ( i n f o r m a r l o n a n dc o n t r 0 1 ) ) 杂志上发表了篇开创性论文“f u z z ys e t s ”，这标志着模糊数学的 诞生。z a d e h 提出的模糊集概念给我们提供了一个研究人类复杂行为的强有力的 工具。从诞生至今的3 0 多年，模糊数学得到了巨大的发展。在过去的几卜年罩， 除了人工智能外，在睹如模糊控制、模糊系统、模糊聚类分析、模糊图像处理、 模糊决策、模糊信息论、模糊统计等领域均已取得了一大批有实际意义的成果。 图像度量问题是图像处理中一个非常重要的问题。在利用计算机进行图像处 理的过程中，首先要把现实世界的图像用采样的方法转化成数字信号，即进行量 化处理。为了评价这种量化的效果一级检查经过处理后的图像与原图像之f b j 的差 别，人们必须寻找一种合适的度量来衡量图像失真度的问题。但是长久以来，以 往的图像度量，如，。，l 。，h a u s d o r f f 度量等在刻画图像的失真度方面有较大的缺 陷。因此，近年来，模糊积分被引入图像度量领域中。这种基于模糊积分的图像 度量方法”可以在很大程度上克服以往的图像度量的缺陷，经实验证实是一种客 观的、符合人的视觉习惯、算法简单并有较强的抗干扰能力的图像度量。 下面给出两种( s ) 模糊积分和( g ) 模糊积分，并用来定义一类新的图像度量。 定义2l 设x 是非空集合，a 是x 的子集族构成的o - 一代数，映射a ： a 寸 o ，叫称为模糊测度，若满足： ( 1 ) ( ) = 0 ； ( 2 ) 若a c b ，则有( a ) s 一( b ) ；( 单调性) ( 3 ) a i 亡a ：c a 。c ，a 。a ，则( u ：l a 。) = 1 2 m p ( a 。) 。( 连续性) ； ( 4 ) a l3a 2 ) a 。3 ，a 。a ，并且存在使得，f ( 爿。、) 口 。 定义2 3 设厂是从模糊测度空间( x ，a ，s o 到【o ，m 】的可测函数，记 n o ( f ) 刊厂( x ) 口 苣 o ，c 。 ) ，则厂关于模糊测度在。( 。4 a ) 上的( s ) 模糊 积分定义为 l s k 嗣舻s 。u p m i n ( 口，划。( ，) n h n 。 注2 1 ( s ) 模糊积分在综合评判过程、聚类分析以及系统分析等领域得到广 泛应用。 定义2 4 记d = o ，o o 】2 ( ( o ，。0 ) ， ，o ) ) ，映射l s r ：d 叶 o ，叫称为是广义三角 模若s 满足条件： ( 1 ) s l x , o l = o ，觇【0 ，叫，且存在p ( 0 ，叫使得s k p = x ，v x ( 0 ，o 。1 。 这里p 称为单位元。 ( 2 ) s x ，y 】= s l y ，x 】； ( 3 ) 当x 1 x 2 , y ls y 2 时，s i x y 】s x 2 ，y 2 】； ( 4 ) 若 ( x 。，y 。) ) 匕d ，( x ，j ，) d 且个x ，y 。上y ，则 l i ms x 。，y 。 = s x ，y 】。 注2 2 s x ，川= m i n ( x ，y ) ，s i x ，纠= 助( 女 0 ) 均为广义三角模，其巾 s x ，川2m i n ( x ，) 的单位元为c 。，s i x ，川= x y ( k 0 ) 的单位元为i l k 。 在以后的讨论中恒设( ，a ，) 是模糊测度空间。 定义2 5 设s 是广义三角模，是非负可测函数，爿a ，则，在爿上的( g ) 模湖积分i 触定义为 ( g ) i 弘= s u p ) ， 州 o 如5 s 此处s = ! 【口，z 4 ，口as , ( i ，) ，且d ， o ，4 a 且z 。为爿，的特征函数，而 酉北工业犬学硕士论文 q d ( j ) = m a y s , z ，2 ( a n 4 ，) 】。规定s u p f l 庐) = 0 a 定理2 1 对于( g ) 模糊积分有 i 月= s u p s a ，t ( a n i ( 厂) ) = s u p s a ，4 a n 。( 厂) ) 】， 州 a 0 a 0 此处n s ( 厂) = 驯厂0 ) 口 。 对于( g ) 模糊积分有如下性质： 定理2 2 若 厂，则l f l d ；- l f 2 d , u 。 下面引进重要性测度的有关内容。 设x 为待评判的某一客体，它具有”个参加评分的品质因素x i , x 2 ，x n 。我 们不妨把上述品质因素的全体 _ ，x ：，靠 记为集合x ，并称之为因素域。 对于因素域x 的每个子集a ，都对应地赋予一个介于0 与1 之问的实数 ( ) ，它是x 凭借a 中的品质因素所能得分的最高限额，可以描写因素集合a 的重要性。显然，让x 本身的重要性取值l 通常是合理的，而空集巾( 不包含 任何品质因素的集合) 的重要性当然应取值0 。此外，若因素集合a 中的诸品质 因素都包含在因素集合b 内，则a 的重要性显然不如b ，即应有( 爿) 5 ( 曰) 。 因此，集函数u 满足下列条件： 1 ) ( ) = l ：( 中) = 0 ； 2 ) 若a c b c ，n , - ( a ) ( 日) 。 注意到我们所考虑的因素域总是只含有有限个品质因素，从而是一个模糊 测度。我们称k t 为集合x 上的重要性测度。 重要性测度在评判过程中起着相当关键的作用，它是评判专家们某种经验 的数量化，是公认的评判准则。 第三节用模糊积分定义的图像度量及算法 设，= 1 0 ，l 】，d = i x ，我们考虑d 上值域为，的离散的灰度图像，并用 堕韭三j 堕兰耍! 堡塞 2 ( 一，x 2 ，) ，r = ( y l ，y 2 ，y k ) 表示两幅图像，y ，它们的差异用k 维向量来 表示： l x y ( i _ 一y l i ，1x 2 一y 2 1 ，l y 1 ) ， k 为图像象素的个数。归化后0 _ x i ，儿】。 我们定义 d f ( x ，】，) 2 ( g ) j z y f 印= m 。a ；x 。s 峙 一只 ，f h 。f ( x y 例， 这罩定义为：集合元素的个数除以k ，s 为广义三角模。容易验证这个是d 上的一个具有可加性的普通测度，并且( d ) = l 。 f 面研究办( 爿，d 作为一个距离的条件。首先给出一个定义? 定义3i 一个广义三角模s 称为零承的，如果s k 纠= o 蕴涵z = o 或j ，= 0 。 “零承的| 生质是广义三角模的一个很重要的性质。s 【x ，川= r a i n ( x ，y ) 以及 s i x ，y = 协均是零承的。 定理3 1 如果广义三角模s 是为零承的，则办( ，r ) 是一个距离。 具体到( s ) 模糊积分我们得到： d r ( x ，y ) = ( s ) 眵一y d = m 。a ；。x m i n ( k 一，。 ，( _ ，。( p y ) ) ) 。 我们把d ，( x ，y ) 称为“模糊度”。 评判过程中，我们把每个象素( 即一个品质因素) 上的灰度值的差 k 一儿l ( 汪1 ，2 ，足) 作为该品质因素固有的品质指标。这个时候，对图像差异的 j 爿一r l 的评判全面而客观。因此，对图像差异的j z y l 的最理想评判就是 x 卅关 _ 二重要性测度的( s ) 模糊积分( s ) f 一t l d z ，称为客观评判值。这是实质上就 是对图像x ，y 的差异的一个最理想评判。 然而，这个( s ) 模糊积分( s ) 眵一y l 舡计算过程还是比较繁琐，因此赖昌材 师兄在其硕士论文中，定义了如下积分： 型! 三些查堂堡主笙壅 州础) 2 肛叫伽巧t d 川+ h 以) l 。l ，_ jj 其中定义为集合元素的个数除以图像象素的个数k ，s 和t ，分别为前面定义的 三角模。他证明了7 k y ) = 螂以及7 _ 。( x ，y ) = m i n ( x ，y ) 都满足作为三角模的条件 因此用丁。( x y ) = x y 以及s ( x ，y ) = m a x ( x ，一) 作为对应的三角模，得到的积分办( x ，】，) 称为模糊度量。即 d e ( ，l ，) 2 婴磐b f l ( h a , ) ) 。 可以证明这样的度量是一个距离。 此重要性测度的定义简单，便于计算，它还是具有可加性的普通测度 而具有可加性的测度是对客观世界中长度、体积、面积和质量等重要概念的一种 抽象，最易被人们接受。它和传统的图像度量相比，不但考虑了象素差的因素， 而且考虑了至少具有这一象素差的全体象素在整个图像中占的比例的因素，这两 种因素在图像度餐中并不是孤立的，其最后的结果是这两种因素的综合。在评价 图像的过程中，把每个象素上的灰度值的差看成一个指标，再加上至少具有这 象素差的全体象素在整个图像中占的比例的因素，模糊度量使得对图像差异 f 一，1 的评价全面而客观。 一一一堕垄! 些查兰! 翌主堡苎 第三章i h s 变换法及广义的i h s 变换法 第一节i h s 变换矩阵 i h s 变换法是多源遥感图像数据像素级融合中最常用的方法。1 9 9 0 年，c a r p e r 等应用i h s 变换法来融合全色图像和多光谱图像。3 ，c h a v e z 等对t m 和s p o t 图像的融合又做了大量研究工作二”，随后，出现了大量的文献”“，对i h s 变 换法进行研究和改进。在实际应用中，i h s 变换的模型很多，常见的有图柱体法， 六棱锥法，三角法等等。王仁礼“1 等在用于图像融合的i h s 变换方法的比较 中说明，对图像融合而占，这几种方法无明显差异，但相比之下，圆柱体法和六 棱锥法优于三角法。本文主要对圆柱体法进行研究。 3 1 1 彩色坐标变换 可以进行评价，而且可以通过数学上的调整更容易得到所希望的结果。1 。 m 阱 眈辑) ， s = ( _ ) 2 + ( 以) 2 ， 其中r ，g ，b 为彩色空间中的r g b 值，k ，k 为中间变量。 西北工业大学倾卜论文 其中，4 为变换矩阵，有各种表示法，最常见即为圆柱法中所用的 ，相当于对r g b 空间进行旋转变换。 3 1 2i h s 变换法图像融合的原理 亮度i 主要反映地物辐射总的能量及其空间分布，即表现为几何特征；而h 、 s 则主要反映地物的光谱信息，因此可对原始多光谱图像t m 进行i h s 变换。图 像融合的原理( 图l 所示) ：首先对原始多光谱图像t m 从r g b 空问变换到i h s 空间，得到三个分量i ，h ，s ；然后用高分辨率图像p a n 代替1 分量，保持h 、 s 分量不变，最后通过i h s 逆变换再返回到r g b 空间。这样融合的结果既保持 了原图像的光谱特征，又引入了新图像的几何特征。 幽1i h s 变换法图像融合方法示意图 。一压：一拓。 上拈上打拒上拈上拈上压 型型! 燮：! 墼 然而，这种直接将t m 图像经彩色变换后的亮度i 用其p a n 图像直接笛代 的融合方法，虽然可以提高结果影像的地物纹理特性，即可以得到更高的空间分 辨率图像，但是由于不同频道数据的不同光谱特性曲线，i h s 方法扭曲了原始的 光谱特性，产生了光谱退化现象，光谱失真较大。随后，人们提出通过对p a n 进行适当的拉伸进行调整。”1 ，这种方法的效果要依据人们的先验知识_ 才能取得 比较好的结果，因此，具有一定的局限性。 第二节i h s 变换法图像融合的推广 根据上述所说的i h s 变换法，用的变换矩阵为a = l 压 l 拓 1 压 1 撕 l 拈 1 j l 拈 2 压 0 对 两幅待融合图像进行讨论。然而实验表明这种融合方法在很多时候会严重扭曲原 始多光谱图像的光谱特征。 例如当多光谱图像t m 为白色，即单个像素值都为r g b ( 2 5 5 ，2 5 5 ，2 5 5 ) ，且高 分辨率图像p a n 也为自色时，由上述的融合方法得到的融合结果却是灰色的( 如 图2 ) 。 幽2由原始正交矩阵得到的融合结果 2 0 两北【业大学顺十论文 但是两幅白色图像融合得到的结果必须是白色，才不至于扭曲光谱信，皂、，这 样得到的效果才是较优的。因此图2 的结果表明，在这种情况原来的融合方法严 个正交矩阵，包括前面提到的矩阵a ，以及4 。的转置矩阵等等。那么可以按以卜- 设想：把这个变换矩阵a 推广到所有的正交矩阵当中来讨论，这样就可以适当 地利用正交矩阵所特有的一些性质，考虑的问题也能变得相对简单些。 a 锻a ：矧a 3 3 = ld 2 i 口2 2口2 3 l 吒l3 2 口l l2 + 1 22 + 日1 3 2 = 1 口2 i2 + 口2 22 + a 2 3 2 = 1 d ，。2 + 口，：2 + d ，2 = 1 ( 由正交矩阵的性质可得) a l l a 2 i + a 1 2 a 2 2 + a 1 3 a 2 3 = 0 a l l 口，l + a 1 2 a 3 2 + 口l3 a 3 32 0 a l l 口1 1 4 - d ，a j ，+ a 2 3 a 3 ，20 m r c t 文钤 s = 两丽 卫苎三些塑笙苎 i ，= 盘j r + a t 2 g + ( l 3 b 再根据上面所说的融合方法进行i h s 逆变换，此时分量，用p 口”替代，而 s 保持不变，在这里相当于k ，没有改变，可得： 卧何 r = d | l p a n4 ：( 口2 1 2 + 口2 ) r + ( d 2 1 d 2 2 + 口3 l 3 2 ) g + ( d 2 l 口2 3 + d 3 1 日3 ) ) b g 。= d f2 p a n + ( a 2 i 口2 2 + 口3 i q 2 ) 月+ ( 口2 22 + 口3 22 ) g + ( 口2 2 岛2 3 + 甜3 2 d 3 3 ) 口 b = a 13 p a n + ( 口2 l 口2 3 + 口3 l 以”) r + ( 口2 2 n 2 3 + d 3 2 口3 3 ) g + ( 口2 32 + 日玎2 ) b 盼鼢册+ 鞋a 2 1 a 2 2 a 一r 其中r 、g 、b 和r 。、g 。、b 分别为融合前、后的r g b 值，p a n 为原始 改变正交矩阵的第二行和第三行的顺序，对结果没有影响，即假设两个证交 矩阵。：f 芝：菱：22 ，：a l l da。12b b 2 ，由这两个正交矩阵变换后可以 矩阵t 2 o ：口：z 口z ，f ， ：= d ”f ，由这两个f 交矩阵变换后可以 l 日3ja 3 2a j 3 j l 吒1 a 2 2 a 2 3 j c 。：f j ：a 。2 3 1 ，其中日：，：+ 口：，：。 0 一“，：a ：j 西北工业大学硕士论文 用上面介绍的i h s 变换方法对两幅白色图像进行融合，变换过程- | 原始融合 方法中的变换矩阵4 用正交矩阵c 替换，可以得到融合图像( 如图3 ) 。 5 l 鬻麓瀚鬻瓣嚣攀i _ ；? - 誓鼍i 纛i f。， 奠镑翳 秽u - 瓣麟篱蓼i 鬻薹鬟 图3由正交矩阵c 得到的融合图像 从图3 与图2 的比较中可以很明显的看出，此时的结果已经基本达到要求 得到了一个很好的融合结果。但是在其他情况下，这个可行解c ，会严重扭曲原 始的光谱信息。比如下面这种情况，两幅原始图像如下 由正交矩阵c 得到的结果如下： 糕纛 西北工业大学顺士论文 但是，由原始正交矩阵得到的结果 很明显，在这种情况下，由正交矩阵c 得到的结果严重扭曲了图像的光谱 信息，远不如原始正交矩阵所得的结果。因此说明f 交矩阵c ，也存在着局限性， 只能在某种情况下才能得到较优的结果。 那么换个角度考虑问题，考虑是否可以得到不同于c ，的f 交矩阵，使得融 合结果较优。 假设t m 的颜色为r g b ( r ，g ，6 ) ，p a n 的颜色为r g b ( r ，r ，r ) ，则两者相结 合的颜色应该为原始t m 图像颜色的a 倍，即只有当融合结果的颜色是 r g b ( 2 r ，砑，肋) 才算是比较好的结果。这样可以得到一个类似方程组的结果， 如下： ，枷= e 1 1 r + ( 口2 i2 + 呜i2 ) ，+ ( 口2 i c k + a 3 1 a 韭) 占+ ( 口2 l 口z ，+ a 3j a 柏) 6 丑g = a j 2 r + ( 口2 1 盯2 2 + 盯3 l 口3 2 ) ，+ ( 口2 22 + 口3 2 2 ) g + ( d 2 2 口2 3 + 口3 2 ”) 6 2 b = a 13 r + ( d 2 l 口2 3 + d 3 1 d ”) ，+ ( 口2 2 口2 3 + d 3 2 d ”) g + ( 口2 32 + d 3 32 ) 6 因此，当t m 的颜色和p a n 的颜色为具体的数值时，根据方程组和方程 组很难得到一个最优解。这不难解释，因为在这个方程组中有1 0 个未知数， 却只有9 个方程，每给出一组t m 的r g b 值和一组p a n 的r g b 值时，会相应 的得到一维的解向量，因此很难得到一个优化解。但是如果给出一个或几个优化 条件，就有可能通过这个方程组得到一个优化解。 实验表明，在多光谱图像t m 和高分辨率图像p a n 不同时为白色时，即它 们的r g b 值都不n ( 2 5 5 ，2 5 5 ，2 5 5 ) 时，运用原始的正交矩阵a l 进行变换还是能得 到较好的结果的。因此下面我们重点考虑如何对原始的i h s 变换方法进行改变， 西北工业大学硕j 论文 使得融合结果较优。 第三节基于h p f 滤波的图像融合方法 考虑到i h s 变换过程中，正是由于p a n 图像和t m 图像亮度分量之问的光 谱特性不一致而导致了融合图像光谱失真，因此本文提出基于h p f 滤波的图像 融合方法。通过在i h s 空间里对p a n 图像和t m 图像的1 分量进行高通滤波， 可以提高p a n 图像和t m 图像亮度成分之间的相关程度，使得它们的光谱信息 比较接近，这样就能更好的保持原始光谱信息内容。 首先介绍一下这个滤波器。 s h o w e n g e r d t ”1 提出的滤波器表示如下： i u = ，j + ( h 一h u ( 。 ) ) ， 其中，。是融合图像在( f ，) 的象素值，。为低分辨率图像在( f ，) 的象素值， e ，为高分辨率图像在( f ，) 的象素值，e “。m 为高分辨率图像在中心为( f ，) ， 大小为w h 的窗口中的局部均值。 s h o w e n g e r d t ”3 主要利用这个滤波器来提取高分辨率p a n 图像的边缘信息， 在图像压缩过程中存储p a n 图像的许多高空间信息内容。 本文引进此滤波器，利用其具有保持低分辨率图像局部均值的性质，在图像 的局部范围内对p a n 图像和原始t m 光谱图像的局部均值进行匹配，而剩下的 - 4 , 部分不同与p a n 图像的高空间信息相对应。这种滤波器急剧地增加了融合 图像与多光谱图像的相关性。而在融合图像中所保持的光谱信息的数量可通过调 节滤波器窗口大小来控制。 使用这个滤波器( 窗口为5 5 ) 对图像的亮度成分进行适当的调整，直方图 比较如图4 所示。图4 ( a ) 为原始p a n 图像和t m 图像亮度分量的直方图比较， 图4 ( b ) 为t m 亮度分量和经过h p f 滤波后的亮度分量的直方图比较，可以看 出这时的直方图非常接近。 西北工业大学硕士论文 ( b ) 图4 ( a ) 为原始p a n 图像和t m 图像亮度分量的直方剀比较 ( b ) 为t m 亮度分尾和经过h p f 滤波后的亮度分昔的直方剧比较 算法描述如f ： 将多光谱图像t m 进行i h s 变换，分别得到，h ，s 分量； ，= 去尺+ 击g + 万1b ，h = a r c t 文鲁j ，s = 如了可玎， u = 去只+ 而1g 一孺2b ，= 万1 月去g ， 对，分量和高分辨率图像矿进行h p f 滤波，得到新的，。分角： 一，= ，+ ( q ，- , e ，“。竹) ，此时窗口大小为5 x5 。 接着对滤波后的亮度分量，和原来的h ，s 分量进行i h s 逆变换，得到 j 1 以幅 1 1 订垢 l2 以拈 曩1 ，最终得到融合图像，。 前面介绍过，在融合图像中所保持的光谱信息的数量可通过调节滤波器窗口 火小来控制。我们尝试改变窗口大小，从3 x3 变化到2 5 x2 5 ，得到八幅不同的融 合结果( 见图5 ) 。 、l卜圹iiiiii厂 上以上应。 西北工业大学硕上论文 3 3 7 7 1 1 1 1 5 5 9x 9 1