（电路与系统专业论文）多源遥感图像融合方法的研究.pdf

摘要 摘要 遥感是以不同空间、时间和频谱分辨率提供不同电磁频段的数据。为了更充 分地利用这些数据资源，数字图像融合技术便应运而生。 目前，研究的热点是多光谱图像和全色图像之间的融合，目的是为了融合出 新的图像，它在提高空间分辨率的同时也保持了相当的光谱分辨率。 最流行的遥感图像融合方法包括基于i h s ( i n t e n s i t y h u e s a t u r a t i o n ) 变换和基 于p c a ( p r i n e i p a lc o m p o n e n t a n a l y s i s ) 变换的方法。这些所谓的“成分替换方法” 会导致融合图像中出现光谱失真现象。高通滤波方法( h p f ) 和高通滤波器的选 择密切相关。基于小波变换( w a v e l e tt r a n s f o r m a t i o n ) 的融合方法对于分解层次和 小波基的选择比较敏感，并且会因操作人员的不同，而有不同的效果。 目前基于统计参数估计的方法开始被关注。n i s h i i 等提出条件均值估计( c e ) ， h a r d i e 等提出最大后验概率估计( m a p ) ，但它们都要求全色图像和多光谱图像 高度相关，限制了使用范围。 本论文首先探讨了基于神经网络的图像超分辨率算法在遥感图像融合中的 应用。 其次，提出种基于残差和主成分分析的新方法，从图像残差恢复的角度研 究遥感图像融合问题。该方法借助于主成分分析方法对多光谱图像的残差图像和 全色图像的残差图像进行融合，恢复出多光谱图像的高分辨率残差图像，从而实 现多光谱图像和全色图像的融合，具有物理意义明确、实现结构简单、融台效果 好的优点。 另外，提出一种新的基于统计参数估计的遥感图像融合方法。文中引入高分 辨率多光谱图像和低分辨率多光谱图像之间的观测模型，以及高分辨率多光谱图 像和全色图像之间的观测模型，并将上述两个观测模型联立成一个贝叶斯线性模 型。通过高分辨率多光谱图像的协方差估计决定融合图像的幅度，不仅解决传统 的基于统计参数估计方法依赖于多光谱图像和金色图像相关系数的问题，而且算 法自动设置参数，在不需要人为干预的情况下取得了很好的融合性能。 最后，本论文对遥感图像融合在分类中的应用进行了研究。 在上述研究的基础上，完成了个遥感图像融合的实际系统，比较不同的融 合方法在各种类型的遥感数据下的融合性能。 关键字：遥感，图像融合，多光谱图像，全色图像，残差，贝叶斯线性估计 a b s t r a c t e a c ho b s e r v a t i o ns a t e l l i t e s p r o v i d ed a t ac o v e r i n g d i f f e r e n tp o r t i o n so ft h e e l e c t r o m a g n e t i cs p e c t r u ma td i f f e r e n ts p a t i a l ，t e m p o r a la n ds p e c t r a lr e s o l u t i o n s f o r t h ef u l le x p l o i t a t i o no fi n c r e a s i n g l ys o p h i s t i c a t e dm u l t i s o u r c ed a t a ，n u m e r i c a ld a t a f u s i o nt e c h n i q u e sa r eb e i n gd e v e l o p e d t h ef u s i o no fm u l t i s p e c t r a l ( m s ) a n dp a n c h r o m a t i c ( p a n ) i m a g e s ，w i t h c o m p l e m e n t a r ys p e c t r a la n ds p a t i a lc h a r a c t e r i s t i c s ，i sb e c o m i n gap r o m i s i n gt e c h n i q u e t oo b t a i ni m a g e sw i t l lh i g hs p a t i a la n ds p e c t r a lr e s o l u t i o ns i m u l t a n e o u s l y , p r o b a b l yt h em o s tp o p u l a ri m a g e f u s i o nm e t h o d sa r et h o s eb a s e do nt h e i n t e n s i t y h u e s a t u r a t i o n ( i h s ) t r a n s f o r m a t i o na n dp r i n c i p a lc o m p o n e n ta n a l y s i s ( p c a ) t h em a i nd r a w b a c ko ft h e s em e t h o d s ，f r e q u e n t l yc a l l e d “c o m p o n e n t s u b s t i t u t i o n ”m e t h o d s ，i st h eh i g hd i s t o r t i o no ft h eo r i g i n a ls p e c t r a li n f o r m a t i o nt h a t t h er e s u l t i n gm si m a g e sp r e s e n t 1 1 1 eh i g h p a s s f i l t e r i n g ( h p f ) m e t h o di sr e l a t e dt ot h e s e l e c t i o no fh i g h g l a s sf i l t e r f u r t h e r m o r e ，c u r r e n t l yu s e dw a v e l e t - b a s e di m a g ef u s i o n m e t h o d sa r es e n s i t i v et ot h es e l e c t i o no fd e c o m p o s i t i o nl e v e la n dw a v e l e tb a s i s ，a n d c h a n g et h ef u s i o nr e s u l t sd u et ot h ed i f i e r e n to p e r a t o r s r e c e n t l y , t h em e t h o d sb a s e do ns t a t i s t i c a lp a r a m e t e re s t i m a t i o na r ed i s c u s s e d n i s h i ie ta lg i v eac o n d i t i o n a le x p e c t a t i o ne s t i m a t o r ( c e ) ，a n dh a r d i ee ta lp r e s e n ta m a x i m u map o s t e r i o r i ( m a p ) e s t i m a t o r h o w e v e r , t h ep r o p o s e dm e t h o d sa r es u i t a b l e f o ra p p l i c a t i o nw h e r es o m ec o r r e l a t i o n se x i s tb e t w e e nt h em si m a g e sa n dp a n i m a g e 0 u rc o n t r i b u t i o n sd e s c r i b e di nt h i st h e s i sa r es h o w na sf o l l o w s ： f i r s t ，w ee x p l o r et h ei n t r o d u c t i o no fs u p e r - r e s o l u t i o na l g o r i t h mb a s e do nn e u r a l n e t w o r ki n t ot h er e m o t es e n s i n gi m a g ef u s i o na p p l i c a t i o n s e c o n d ，w ei n t r o d u c ear e s i d u a le l t o rc o n c e p tt or e m o t es e n s i n gi m a g ef u s i o n h e r e ，w ef o c u so nt h eu s eo ft h ep r i n c i p a lc o m p o n e n ta n a l y s i st oe n h a n c et h er e s i d u a l e r r o ro fm si m a g e s ，w h i c hi sr e l a t e dt ot h es p a t i a li n f o r m a t i o n i nt h ed e v e l o p e d f r a m e w o r k ，t h el o w - r e s o l u t i o nr e s i d u a le r r o ro fm si m a g e sa r ee x t r a c t e d ，a sw e l la s t h eh i g h - r e s o l u t i o nr e s i d u a le r r o ro fp a ni m a g e t h e nt h eh i g h - r e s o l u t i o nr e s i d u a l e r r o ro fm si m a g e sc a l lb er e s t o r e db yu s i n gp c aa l g o r i t h m e x p e r i m e n t a lr e s u l t s d e m o n s t r a t et h es i m p l i c i t ya n de f f i c a c yo f t h ep r o p o s e dm e t h o d t h i r d ，w ep r o p o s ean e wr e m o t es e n s i n gi m a g ef u s i o nm e t h o db a s e do ns t a t i s t i c a l p a r a m e t e re s t i m a t i o n t w oo b s e r v a t i o nm o d e l sb e t w e e nh j 【g h r e s o l u t i o nm si m a g e s - 2 - a n d1 0 w r e s o l u t i o nm si m a g e sa n db e t w e e nh i g h - r e s o l u t i o nm si m a g e sa n dp a n i m a g ea r ei n t r o d u c e d ，a n df u r t h e r , a r ec o m b i n e di n t oo n eb a y e s i a nl i n e a rm o d e l t h e p r o p o s e dm e t h o dd e t e r m i n e s t h ea m p l i t u d eo ft h ef u s e di m a g eb yu s i n gt h e c o v a r i a n c em a t r i xo ft h eh i g h - r e s o l u t i o nm si m a g e s ，t h u ss o l v e st h ep r o b l e mt h a tt h e t r a d j t i o n a lm e t h o d sb a s e do ns t a t i s t i c a lp a r a m e t e re s t i m a t i o nd e p e n d so n t h e c o r r e l a t i o nc o e f f i c i e n t so ft h em si m a g e sa n dp a ni m a g e m o r es p e c i f i c a l l y ，w e s h o u l dp o i n to u tt h a tt h ep r o p o s e dm e t h o dw i l ts e ta l lt h ep a r a m e t e r sa u t o m a t i c a l l y , a n di t sp e r f o r m a n c ei si n d e p e n d e n to fo p e r a t o r s f i n a l l y , w er e s e a r c h e dt h ee f f e c to fr e m o t es e n s i n gi m a g e f u s i o nt oi m p r o v et h e c l a s s i f y i n ga c c u r a c y b a s e do nt h ea b o v er e s e a r c hr e s u l t s ，w ef i n i s h e do n ee x p e r i m e n t a ls y s t e m ，a r e m o t es e n s i n gi m a g ef u s i o nd e m ot oc o m p a r et h ee f f e c t i v e n e s so fv a r i o u sm e t h o d s u p o na l lk i n d so f d a t a k e y w o r d s ：r e m o t es e n s i n g ，i m a g ef u s i o n ，m u l t i s p e c t m li m a g e ，p a n c h r o m a t i ci m a g e r e s i d u a le r r o r ，b a y e s i a nl i n e a re s t i m a t i o n 第一章绪论 第一章绪论 随着遥感技术的发展，由各种卫星传感器对地观测获取同地区的多源遥感 图像数据( 多时相、多光谱、多传感器、多平台和多分辨率) 越来越多，为自然资 源调查、环境监测等提供了丰富而又宝贵的资料，从而构成了用于全球变化研究、 环境监测、资源调查和灾害防治等的多层次遥感图像金字塔 1 ，2 。 由于实际应用所需的遥感图像数据在时间、空间和光谱方面差异很大，而各 种传感器提供的遥感图像数据各有其特点，遥感技术应用的主要障碍，不是数据 源的不足，而是从这些数据源中提取更丰富、更有用和更可靠信息的能力大小。 各种单一的遥感手段获取的图像数据在几何、光谱和空间分辨率等方面存在明显 的局限性和差异性，导致其应用能力是有限的，仅仅利用一种遥感图像数据是难 以满足要求的。 与单源遥感图像数据相比，多源遥感图像数据所提供的信息具有冗余性、互 补性和合作性。多源遥感图像数据的冗余性表示他们对环境或目标的表示、描述 或解译结果相同，冗余信息的应用，可以降低误差和不确定性，提高识别率和精 确度。互补性是指信息来自不同的自由度且相互独立，互补信息的应用能提高最 终结果的可信度。合作信息是不同传感器在观测和处理信息时对其它信息有依赖 关系，合作信息的应用，可提高协调性能。因此把多源图像数据各自的优势结合 起来加以利用，获得对环境或对象正确的解译是非常重要的。多源遥感图像融合 则是富集多种传感器遥感信息的最有效途径之一，被认为是现代多源图像处理和 分析中非常重要的一步 3 卜 8 。 1 1 多源遥感图像融合的概述 由于多源遥感图像数据融合涉及不同的学科领域，并随着在不同领域应用的 深度和广度而被不断地完善和推广，多源遥感图像数据融合正将许多学科技术进 书综台与应用。目前对于多源遥感图像数据融合的研究都是根据问题的要求和应 用来设计融合方法，并在此基础上形成融合方案。闺际上关于该技术还没有形成 一套完整的理论与方法。p o h l 等人 4 对遥感图像数据融合技术作了较全面的论 述。以下部分将分别介绍多源遥感图像融合的基本概念、融合的分层和具体目标。 1 1 1 基本概念 图像融合是一个对多遥感器的图像数据和其他信息的处理过程。文献 4 中 定义如下：把那些在空间和时间上冗余或互补的多源数据，按照一定的算法进行 第一章绪论 处理，获得比任何单一数据更精确、更丰富的信息，生成- - n 具有新的空间、波 谱、时间特征的合成图像。 它不仅仅是数据间的简单复合，而强调信息的优化，以突出有用的专题信息， 消除或者抑制无关的信息，改善目标识别的图像环境，从而增加解译的可靠性， 减少模糊性、改善分类、扩大应用范围和效果。 1 1 2 融合的分层 多源遥感图像数据从层次上可分为：像素层、特征层和决策层。因此信息融 合就可在相应的像素层、特征层和决策层三个层次上进行，对应三种融合水平。 融合的层次决定了对多源原始数据进行何种程度的预处理，以及在信息处理的哪 一个层次上实施融合。 厂 厂 厂 刳削一目 v，t 固寓一 t e v a l u t i o n 【，一，。一 r 王t r e s u l t i ，+t f e a t u r ee x t r a c t i o n f e a t u f ce x t r a c t i o n f e a t u r ei d e ：n t i f i c a t i o n j ! ! 图1 1 多源遥感图像融合的分层 像素层融合 像素层融合是将空间配准的多源遥感图像数据根据某种算法生成融合图像， 而后对融合的图像进行待征提取和属性说明。它是直接利用原始数据进行的融 合，是一种最低层次的融合。像素层融合的优点在于它尽可能多地保持了景物的 原始信息，能提供其它两种融合层次所不具有的细微信息，但也存在定的局限 性。 m 特征层融合 特征层融合是从各个数据源中提取特征信息进行综合分析和处理的过程。它 是一种中间层次的融合。通常所提取的特征信息应是像素信息的充分表示量或统 计量，据此对多传感器信息进行分类、汇集和综合。 基于特征的图像融合，强调“特征”之间的对应，并不突出像元的对应，在 处理上避免了像元重采样等方面的人为误差。由于它强调对“特征”进行关联处 击吾 第一章绪论 理，把“特征”分类成有意义的组合，因而它对特征偶性的判断具有更高的可信 度和准确性，围绕辅助决策的针对性更强，结果的应用更有效，且数据处理量大 大减少，有利于实时处理。 决策层融合 决策层融合是在信息表示的最高层次上进行融合处理。不同类型的传感器观 测同一个目标获得的数据在本地完成预处理、特征抽取、识别或判断，以建立对 所观察目标的初步结论。然后通过相关处理、决策层融合判决，最终获得联合推 断结果，从而直接为决策提供依据。因此决策层融合是直接针对具体决策目标， 充分利用特征层融合所得出的目标各类特征信息，并给出简明而直观的结果。决 策层融合除了实时性最好之外还具有一个重要优点，即在一个或几个传感器失效 时仍能给出最终决策，因此具有良好的容错性。目前国内外学者热衷于研究该级 融合。 1 1 3 具体目标 目前对于多源遥感图像数据融合的研究都是根据问题的要求和应用来设计 融合方法，并在此基础上形成融合方案。针对不同的背景，多源遥感图像融合的 具体目标大致有以下六类。 母得缆化 图像融合作为提高图像分辨率的一种手段，常被用于高低空间分辨率图像数 据的融合，最典型的应用是高分辨率全色图像与低分辨率多光谱图像数据的融 合。它既保留了多光谱图像的较高光谱分辨率，又保留了金色图像的高空间分辨 率，以便更详细地显示图像信息，提高图像的空间分辨率和几何精度。 l 改善配准糖瘦 对于多源遥感图像融合，其必要条件是空间配准。常规的几何纠正是借助于 地面控制点( g c p ) 或特征控制点，但当融合的数据来源于完全不同观测方式的 遥感器时，或者当多光谱图像被云层覆盖时，控制点对的位置确定是相当困难的， 为了确保或者改善配准精度，需要运用一些综合纠正方法。 l 特征增强 图像融合的特征增强能力是明显的。它往往能产生单一数据所不具备的或者 难以显示的特征，并增强图像的语义( s e m a n t i c ) 能力，从而最大限度地提取特 征信息。 第一章绪论 l 改善分类 利用多源的、互补的图像数据融合，来改善遥感图像的分类精度。如可见光 一红外图像数据主要反映地面目标光谱特征，但大田作物往往具有相似的光谱响 应，仅从多光谱数据难以区分，而利用雷达图像数据在地表粗糙度、形状和水分 含量等方面的不同表现，可以从另一个侧面提高对不同作物类别的识别能力，明 显提高分类精度和效果。 l 多时相萤像融合再于变化捡溉 多时相图像数据融合，包括同一遥感器的数据和多遥感器数据。由于目前几 乎不能获得完全同步的多遥感器数据，因此不同遥感器数据融合本身就包含了时 间因素。多时相数据的融合，主要用于变化检测，也可以利用目标波谱特征的时 间效应提高对目标的识别能力。 i 替换或者修补图像数据的缺陷 不同的遥感图像数据，由于成像机理、所用波段、影响因素的不同均会出现 不同的缺陷，如多光谱图像数据常被云层遮挡，损失部分地面目标的信息。为了 克服这些影响，往往需要用另一遥感器的图像数据来替换和修补这幅图像的遗失 或有缺陷的信息，实现不同图像数据的融合。它包括简单或者复杂的镶嵌和其他 相关技术。 1 2 论文的工作和创新点 本论文主要是对多源遥感图像融合方法进行研究，探讨了基于神经网络的图 像超分辨率算法在多源遥感图像融合中的应用，提出一种基于残差和主成分分析 的遥感图像融合方法以及一种基于贝叶斯线性估计的遥感图像融合方法。所提议 的算法较好地解决了现有融合方法的问题，在不同类型的遥感图像融合实验中表 现出良好的性能，证实了方法的有效性。 论文的创新点为： 1 将基于神经网络的图像超分辨率算法应用到多源遥感图像的融合中，改 进了基于残差线性恢复的图像超分辨率算法，使之能够在遥感图像融合 中提高多光谱图像的空间分辨率。 2 提出一种基于残差和主成分分析的遥感图像融合新方法，在图像残差的 层次上实施主成分分析。该方法借助于主成分分析对多光谱图像的残差 图像和全色图像的残差图像进行融合，恢复出多光谱图像的高分辨率残 差图像，从而实现多光谱图像和全色图像的融合，具有物理意义明确、 第一章绪论 实现结构简单、融合效果好的优点。 3 提出一种基于贝叶斯线性估计的遥感图像融合新方法。该方法是一种新 的基于统计参数估计的方法，引入高分辨率多光谱图像和低分辨率多光 谱图像之间的观测模型，以及高分辨率多光谱图像和已观测到的全色图 像之间的观测模型，并将上述两个观测模型联立成一个贝叶斯线性模 型。该方法通过协方差矩阵g 来决定融合图像的幅度，实现了多光谱 图像的光谱信息和全色图像的空间信息之间的折衷，解决了n i s h i i 和 h a r d i e 方法的图像融合效果过多地依赖于多光谱图像和全色图像的相关 系数的缺点，而且算法自动设置参数，在不需要人为干预的情况下取得 了很好的融合性能。 1 3 论文的组织 本文的内容是这样安排的： 在第一章“绪论”中，简要介绍了多源遥感图像融合的概念、层次、具体目 标，以及本文的工作和主要创新点。 在第二章“像素层的遥感图像融合方法概述”中，介绍了几种具有代表性的 基于像素的遥感图像融合算法，分析了它们各自的优势和缺陷，并列举了典型的 统计参数用于评价融合效果。 在第三章“基于神经网络的图像超分辨率算法在遥感图像融合中的应用”中， 分析了基于残差线性恢复的图像超分辨率算法，进而改进了残差线性恢复算法并 应用于多光谱图像和全色图像的融合，最后分析了神经网络应用于遥感图像融合 时存在的问题。 第四章的“基于残差和主成分分析的遥感图像融合”，在分析p c a 变换方法 的基础上，提出了在图像残差的层次上实施主成分分析的新方法。在实际的遥感 图像数据上比较了新方法和其他遥感图像融合方法的性能。 在第五章“采用贝叶斯线性估计的遥感图像融合”中，分析了传统的基于统 计参数估计方法中存在的问题，在引入遥感观测模型的基础上，提出了贝叶斯线 性估计的方法。并在实际的遥感图像数据上验证了叛方法的特点。 第六章是“遥感图像融合在分类中的应用”。本章介绍了遥感图像分类的基 本概念以及常见的方法，特别是最大似然分类方法，并将融合图像应用到撮大似 然分类方法中，进而证明了遥感图像融台能够提高分类的精度。 在第七章“实用系统开发”中，介绍了作者在研究生阶段开发的遥感图像融 合系统。 第八章是“总结与展望”，总结了硕士阶段的工作，并对将来的研究方向进 行了展望。 9 第二章像素层多源遥感图像融台技术 第二章像素层多源遥感图像融合技术 本章主要讨论像素层遥感图像融合方法，以及像素层遥感图像融合质量的评 价。为了说明像素层遥感图像融合技术，首先介绍了高分辨率的全色图像和低分 辨率的多光谱图像的特点，以及对全色图像和多光谱图像进行融合的要求。然后 讨论了目前常见的各种像素层遥感图像融合方法，并分析了它们各自的优缺点， 这是我们提出新的融合方法的依据。本章的最后给出了遥感图像融合质量的评价 体系，作为本论文比较各种融合方法性能的标准。 本章共分为四个小节，第l 节是像素层遥感图像融合的概述，第2 节介绍各 种像素层遥感图像融合方法，第3 节讨论遥感图像融合质量的评价，第4 节是本 章的小结。 2 1 像素层多源遥感图像融合概述 目前对地观测卫星提供了越来越多的覆盖同一地区的多空间分辨率、多时相 和多光谱的图像，为进行地形测绘与地图更新、土地利用分类、农作物与森林分 类、冰雪洪涝灾害监测等提供了丰富的数据。但设计同一平台上的遥感成像装 置时，要采用全色、多光谱或超光谱传感器获取同步图像，由于波段逐渐变窄， 要保持获取图像的信噪比，必须逐渐增大瞬时视场i f o v 以采集更多的光，因此导 致获取的图像空间分辨率逐渐下降。全色图像具有较高的空间分辨率但缺乏光谱 信息，多光谱图像光谱分辨率高，光谱信息丰富，但其空间分辨率低。现代遥感 成像装置如s p o t 和l a n d s a t 都具备获取一套多光谱和全色图像的性能，但如何获 取高空间分辨率的多光谱图像满足植被研究、农业精细耕作、土地利用和城市资 源调查等的要求，是急待解决的问题。多源遥感图像像素层融合的研究则是解决 这一问题的有效途径之一。 对于高空间分辨率的全色图像和低空间分辨率的多光谱图像的融合而言，目 的是获取空间分辨率增强的多光谱图像。理论上要求融合的图像不仅具有全色图 像的高空间分辨率，而且不应该使原多光谱图像的光谱特性发生改变。实际上， 通过融合增强多光谱图像的空间分辨率，必然会产生多光谱图像光谱特性或多或 少的变化。 对于高空间分辨率的全色图像和低空间分辨率的多光谱图像融合而言，为保 证多源遥感图像融合质量，在数据选择上要求： 降低与场景相关因素的影响。如图像源尽可能是同时同期的、区域的起 伏要小。 第二章像素层多源遥感图像融合技术 降低与传感器相关因素的影响。如图像的光谱范围尽可能相同，因为融 合图像质量强烈地依赖于图像的辐射相关程度。 2 2 像素层融合方法及其特点 第一章中已经指出像素层融合属于三个融合层次中的初始级融合，在实际的 遥感应用当中其主要目的是用于目视解译，或者为特征层或是决策层融合提供特 征。 像素层融合是目前三个层次中研究最为成熟的一级，已经形成了丰富有效的 融合算法。通常像素层融合的方法可以大致分为以下几类： 分量替换方法：i h s 变换和p c a 变换等。 一空间域融合法：采用某种算法直接对空间配准的全色图像和多光谱图像 在空间域进行处理，获取融合图像。如高通滤波方法。 一基于多分辨率分析的方法：利用不同变换尺度以对图像数据进行任意尺 度的分解、融合和恢复，如金字塔分解法，小波变换方法等。 不同的方法有各自的优缺点和适用范围，选择融合算法的准则是根据应用的 范围和实际条件，尽量选择算法执行效率高且融合效果可以接受的融台方法。在 图像融合处理实际系统当中，通常是上述几种方法的结合，利用各种算法的优点 达到融合的目的。在下面的小节当中将逐一介绍各种算法及相关的研究成果。 2 2 1 基于i i - i s 变换的融合方法 基于i h s 变换的融合方法【9 一 1 4 已经成为图像分析的一个标准过程，它可 用于高度相关图像数据的色彩增强以及改善空间分辨率等融合处理。 h a r r i s o n 和j u p p 于1 9 9 0 年完成了i h s 变换方程的推理，它将彩色图像的r g b 分 量转换为代表空间信息的亮度( i n t e n s i t y ) 、代表光谱信息的色调( h u e ) 和饱和度 ( s a t u r a t i o n ) 分量。 i h s 正变换公式如下所示： = l1 压压 11 垢拓 11 压压 r g b q，ll 1，110，llj 。一压乇一拈。 量三茎堡重星耋堡矍矍璧堡壁垒些查 h = t a n s = 厢 反变换公式如下所示 阱 1 压 1 压 l 压 v l = s c o s ( h ) v 2 = s s i n ( h ) l 厮 l 垢 一2 压 1 压 一1 压 o ( 2 1 ) f 2 ，2 ) i h s 变换融合方法的主要原理是通过i h s 变换将多光谱图像的空间信息和光 谱信息分离。在i h s 变换中，多光谱图像的空间信息被聚集到亮度分量，而各个 波段的光谱信息被保留在色度和饱和度分量中。由于彩色图像的空间分辨率主要 是由亮度图像的空间分辨率决定的，因此用高分辨率的全色图像替换多光谱图像 的亮度分量可以增强多光谱图像的空间分辨率。 i h s 变换的一般步骤如下： 选取多光谱图像的三个波段分别作为r g b 通道，通过( 2 1 ) 式中的i h s 正变换 获得多光谱图像的亮度分量，将高分辨率的全色图像和亮度分量进行直方图匹 配，然后用匹配后的全色图像替换原多光谱图像的亮度分量，最后通过式( 2 2 ) 中的i l l s 反变换得到融合结果。 标准的i h s 变换方法适用于如下情况：全色图像和从多光谱图像中获得的亮 度分量是高度相关的。当全色图像的频谱范围没有覆盖多光谱图像的所有波段或 者全色图像和多光谱图像不是同时获取的，那么i h s 变换得到的亮度分量和全色 图像之间的差异很大，此时i h s 变换方法的融合结果中会出现严重的光谱失真现 象。 i h s 变换融合方法的另外一个问题是它只适用于多光谱图像的三个波段。 2 2 2 基于p c a 变换的融合方法 主成分分析( p r i n c i p a lc o m p o n e n ta n a l y s i s ，p c a ) 是一种统计学方法，它能够 通过正交变换将一组相关变量转化为一组原始变量的不相关线性组合。对一组图 像实施p c a 变换后，该组图像中的信息按照相关性大小得以重排。 大多数的多光谱传感器是在电磁频谱的相邻波段上采集信息，因此在多光谱 、，h 屹 ，lqli 第二章像素层多源遥感图像融台技术 图像的各个波段之间存在着大量的冗余信息。对多光谱图像进：i ? p c a 变换后，多 光谱图像的空间信息被聚集到第一主成分( p c l ) ，而各个波段的光谱信息被保留 在其他的主成分q 。 1 5 1 6 1 。 算法的具体过程如下： 取k 波段多光谱图像数据( ) 形成2 1 维列向量x i ， 工= ( x 1 ，x 2 , x 3 ，) ，求其均值向量m 和协方差矩阵c i ，以及c x 的特征值五和 特征向量磅( i = l ，2 k ) ，令a 1 = ( 磊，晚，如，苁) ，由 c y = a c a 7 = 0 0 五 ；0 o0 - 0 00 ： 0 九 其中 恐- 气 ( 23 ) 得到p c a j i e 变换公式：y = a ( x m )( 24 ) 将高分辨率图像与y 的第一主成分分量图像进行直方图匹配，使之与第一主 成分分量具有相同的均值和方差，然后将匹配后的高分辨率图像代替第一主成分 分量，再把它同其他主成分分量一起进行反变换，即可得到融合后的图像。 p c a 的反变换公式如下： x = a 。j ：。 ( 2 5 ) 其中e 。是替换后的主成分分量。 p c a 融合算法的优点在与，它适用于多光谱图像的所有波段，但其不足之处 在于，由于在p c a 融合算法中只能用高分辨率全色图像来简单替换低分辨率多光 谱图像的第一主成分，故会有低分辨率图像第一主分量中一些光谱特性的信息损 失，因而使得融合结果图像的光谱畸变严重。 2 2 3 高通滤波方法 高通滤波方法的主要思想是让高分辨率图像通过一个高通滤波器( 如高通掩 模) ，然后将高分辨率图像的高频部分的空间信息叠加到多光谱图像上 1 7 _ 1 9 。该种方法对光谱信息保持得非常好，但融合结果受所选滤波器影响。 对不同的图像需要取不同的滤波器，由于滤波器的大小是固定的，因此如何选取 滤波器成了一个难题。若滤波器尺寸取得过小，则融合图像将包含过多的纹理特 征，且难于融入高分辨率图象中的空间信息；反之，若尺寸取得过大，则融合图 像中将难于包含高分辨率图象所包含的纹理特征h p f 和小波变换算法相似，保 留了多光谱图像的低频部分和全色图像的高频部分。不同的是h p f 法滤波器尺寸 是固定的，而小波变换是可变频率分辨率的。所以要找到一个最优的h p f 法滤波 器几乎是不可能的。 第二章像素层多源遥感图像融合技术 2 2 4 基于小波变换的融合方法 通过小波变换，可以将信号分解成为一系列具有不同的分辨率、频率特性和 方向特性的子带信号，能使我们很容易地找到变换小波系数和原始图像内容在空 间和频率域两方面的对应关系，同时，变换小波系数的幅值随着分解层次的变化， 提供原始图像灰度的局域变化特性，为不同遥感器影像融合提供了有利条件。 2 2 4 1 图像的小波分解与重构 由于小波变换是将原始图像与小波基函数以及尺度函数进行内积运算，多分 辨率空间的方法可把内积运算转换为信号和离散滤波器的卷积运算，双正交的小 波基可得到对称的紧支撑的正交镜像滤波器，它在小波变换时用的滤波器组为分 析滤波器，在小波反变换时用的是综合滤波器组。对图像进行小波变换时，将图 像分别沿着水平和垂直方向进行一系列的滤波，得到一系列尺度、方向和空间局 部变化的子带即小波变换系数。利用综合滤波器组，得到图像的重建。快速小波 变换的分解和重建示意图如图2 1 所示 2 0 。 嚣。( w ) 图2 1 ( a ) 图像d w t 分解国 嚣( w ) 盎咕力 嚣( w ) 薯( w ) 嚣( 础) 肆( x ，) 蜀( x ，y ) 0 ( w ) 图2 1 ( b ) 图像d w t 合成图 图中，h ，表示沿x 方向作低通滤波，g ，表示沿x 方向做高通滤波，h ，表示沿y 方向做低通滤波，g 。表示沿y 方向做高通滤波。2 5 表示每两行( 列) 中抽取一行 ( 列) ，2 个表示每两行( 列) 中间插入一行( 列) 。小波变换后得到多个高频予带和 一个低频子带。经过水平低通和垂直低通滤波得到低频子带把( x ，y ) 用肚，表示， 水平低通、垂直高通滤波后得到高频子带，爿，( x ，y ) 用埘。表示，水平高通垂直低 通滤波后得到高频子带咒( x ，y ) 用h l 表示，水平和垂直方向都进行高通滤波则 得到了高频子带( x ，y ) 用煳表示。其中i = 0 ，n 一1 ，i = 0 时表示原图像， 是小波分解的最高级数，经级小波变换得到3 n + 1 个子带。图2 2 给出了图像 经2 级小波变换的结果图： l l l l i 1 1 l k i l h 2 m l 班1 2 l i - i l l l o n 1 强1 n 1 髓l ( a ) 麒糯僚蛐卜- 毽小谴静群f c 。：攥小渡静斛 图2 2 图像的小波分解 上面的图像的小波分解、合成可以用以下公式表示： 小波变换分解公式： c j ( 胛，优) = c 一。( 蚋。岛。 d 斯，m ) = c j 一。( 七，f ) 甑。啊山 ，= ( 2 6 ) d ? ( 门，脚) = e 一。( 蚴讯。g 。 、 秽( 门，m ) = e 一( 七，1 ) h k 。岛。 小波变换的重构公式： c ( n ，m ) = z c ( k ，) 吒。h 。一：女+ d 1 ( ，) 一2 。g 。“t k , 1 5 z 5 2 f 2 7 、 d 2 ( ，豫t h 。，+ e d 3 ( ，f ) g m 。g 。， 、 ，e z女，e z 式中c 。d j l ，d f 2 ，d , 3 对应于小波变换以后的系数，在图像上分别是用 l l ，l h ，h l ，h h 表示。 2 2 4 2 小波变换用于遥感图像融合的基本原理 从上述小波分解的m a l l a t 算法可知，对二维图像进行堪小波分解，最终可以 得到3 ，+ 1 个子带，其中含有3 j 个高频成分和一个低频成分。小波分解的层次 越多，对应层图像的尺寸越小，因此图像小波分解的各个图像也具有金字塔结构。 基于小波变换的图像融合的基本思想如下：首先将待融合的两幅原始图像分别进 第二章像素层多源遥感图像融合技术 行小波分解，然后在不同的分解层上采用不同的融合算子来进行融合，最后对融 合后的小波金字塔进行小波逆变换( 图像重构) ，得到最终的融合图像 2 1 卜 2 5 。 多分辨率分析 图2 3 基于小波变换的遥感图像融合 针对i h s 变换和p c a 变换产生光谱失真现象的情况，近年来小波变换方法经 常和i h s 变换或者p c a 变换相结合，具体的算法可见文献 2 6 ，【2 7 。 小波变换方法对于小波基和分解层次的选择比较敏感，融合效果在不同的小 波基和分解层次下具有很大的差异。因此，选取合适的小波基和分解层次是小波 变换首先要考虑的问题。 2 3 像素层融合图像质量评价 在上述像素层遥感图像融合方法的综述中，已经列举了很多的融合方法。对 同对象，不同的融合方法可以得到不同的融合效果。如何评价融合效果，即如 何评价融合图像的质量，是图像融合的一个重要步骤 2 8 1 。 2 3 1 主观融合效果评定法 对于遥感融合图像的评价方法一般可分为两大类，一类是采用目视评估的方 法，即主观评定法。它是由判读人员来直接对图像的质量进行评估，具有简单、 直观的优点，对明显的图像信息可以进行快捷、方便的评价，在一些特定应用中 是十分可行的。 主观评定法是最简单、最常用的方法，通过它对图像上的田地边界、道路的 轮廓、场跑道的边缘的比较，可直接地得到图像在空间分辨率等方面的差异，且 由于人眼对色彩具有强烈的感知能力，使得对光谱特征的评价是其他任何方法所 无法比拟的。 融合图像质量评价离不开视觉评价，这是必不可少的。但因为人的视觉对图 田繁 广_liii融 辟习 第二章像素层多源遥感图像融台技术 像上的各种变换并不都很敏感，图像的视觉质量强烈地取决于观察者，具有主观 性、不全面性。因此需要与客观的定量评价标准相结合进行综合评价 2 9 1 。 2 3 2 客观融合效果评定法 多源遥感图像融合的目的，不仅要求提高融合图像的空间分辨率，而且要求 尽可能地保持原始图像的光谱特征。此外，这两个要求在很大程度上是不相容的。 因此，对于遥感图像融合效果的评价，应综合考虑空间信息的增强和光谱信息的 保持。 设融合图像为f ，其图像函数为f ( x ，y ) ；高分辨率的多光谱图像为r ，其 图像函数为r ( x ，y ) ；低分辨率的多光谱图像为e ，其图像函数为e ( x ，y ) 。上述 图像的大小都是一样的。设图像的行数和列数分别为m 和n ，则图像的大小为 m n 。 为了衡量遥感图像融合过程中空间信息的增强，我们采用如下的统计参数： is d d s d d 参数 2 7 是融合图像和低分辨率多光谱图像的差异的标准差，其定义如 下所示： s d d = 1 z e ( ( f ( x y ) - e ( x , y ) ) - ( f - e ) ) 2 ( 2 8 ) 一般来说，融合图像的s d d 参数以接近于高分辨率多光谱图像的s d d 参数 为佳，此时融合图像中包含的空间信息和高分辨率的多光谱图像中的空间信息差 不多。 如果融合图像的s d d 参数比高分辨率多光谱图像的s d d 参数大，那么可能 有过多的全色的空间信息被融入到多光谱图像中去，导致融合图像中的光谱特征 被改变。 为了衡量遥感图像融合过程中光谱特征的保持情况，我们采用如下的统计参 数： 一峰值信噪b e ( p s n r ) 图像融合后去噪效果的评价原则为信息量是否提高，噪声是否得到抑制。这 里我们认为融合图像f ( x ，y ) 与标准参考图像r ( x ，y ) 的差异就是噪声，而标准参 考图像r ( x ，j ，)