（计算机应用技术专业论文）多源遥感信息融合研究.pdf

多源遥感信息融合研究捅要近年来，随着遥感技术、计算机技术和信息处理技术的发展，多源遥感信息融合技术在军事、遥感、自动目标识别、计算机视觉和医学图像处理等领域取得了广泛的应用。多源遥感信息融合就是将多个传感器获得的同一场景的遥感图像或同一传感器在不同时刻获得的同一场景的遥感图像数据进行空间和时间配准，采用融合算法将各类图像数据所含的信息优势互补地有机结合起来产生新图像或给出场景解释的技术。传统的融合算法，如i h s 变换融合、p c a 变换融合、h p f 变换融合、金字塔融合、小波变换融合及其相结合的融合算法由于各自的特点和复杂性，一般都存在融合图像的清晰度和原始信息的保留程度不够理想的问题。本研究针对上述问题提出了一种改进的图像直方图匹配算法，基于高斯函数的直方图匹配算法对图像灰度值进行拉伸和均衡处理，达到较好的匹配效果。在传统小波包变换融合算法的基础上，提出了一种基于多通道滤波的小波包变换融合算法，对空间高分辨率图像在小波包分解之前先进行多通道滤波，较好地保留了尺度纹理特征并且采用改进的基于区域特征的自适应融合准则，对高频信息和低频信息采用不同的融合准则，提高了空间分辨率。利用遥感软件e n v i4 5 和e r d a si m a g i n e9 2 对传统融合算法和本文提出的改进算法进行对比实验，从目视的主观评价和数量统计的客观评价两方面进行了分析和总结。实验结果表明本文的改进算法在融合效果方面与传统的融合算法相比具有更丰富的信息量，保留了大量的纹理特征和光谱特征而且色彩逼真、清晰度更高。关键词：多源遥感信息融合，遥感技术，直方图匹配，自适应融合准则r e s e a r c ho fm u l t i - s o u r c er e m o t es e n s i n gi n f o r m a t i o nf u s i o na u t h o r ：h ey a n g h u i ，s u p e r v i s o r ：z h o uh a i y i n ga b s t r a c ti nr e c e n ty e a r s ，w i t ht h ed e v e l o p m e n to fr e m o t es e n s i n gt e c h n o l o g y , c o m p u t e rt e c h n o l o g ya n di n f o r m a t i o np r o c e s s i n gt e c h n o l o g y , m u l t i s o u r c er e m o t es e n s i n gi n f o r m a t i o nf u s i o nt e c h n o l o g yi su t i l i z e ds u c c e s s f u l l yi nab r o a dv a r i e t yo ff i e l d si n c l u d i n gm i l i t a r y , r e m o t es e n s i n g ，a u t o m a t i ct a r g e tr e c o g n i t i o n , m a c h i n ev i s i o n , m e d i c a li m a g ep r o c e s s i n ga n de t c m u l t i s o u r c er e m o t es e n s i n gi n f o r m a t i o nf u s i o ni sd e f i n e dan e wt e c h n i q u et om a t c ht w oo rm o r ei m a g e so ft h es a m es c e n et a k e na td i f f e r e n tv i e wp o i n t so rb yd i f f e r e n ts e n s o r s ，a n dt h e ni n t e g r a t et h ei m a g e s 嬲o n ei m a g ei no r d e rt oo b t a i nf u s i o nr e s u l tw h i c hh a sm o l er e l i a b i l i t y ,l e s sa m b i g u i t ya n db e t t e ru n d e r s t a n d i n g t h ee x i s t e da l g o r i t h m s ，s u c h 嬲i h st r a n s f o r mf u s i o n ，p c at r a n s f o r mf u s i o n , h p ft r a n s f o r mf u s i o n ，p y r a m i df u s i o n , w a v e l e tt r a n s f o r mf u s i o na n dt h ec o m b i n e df u s i o na l g o r i t h md u et ot h e i ro w nc h a r a c t e r i s t i c sa n dc o m p l e x i t y , u s u a l l ya l ew i t ht h ep r o b l e m sw h i c ha r en o ti d e a li nt h e i rc l a r i t ya n dr e s e r v a t i o nt ot h eo r i g i n a li n f o r m a t i o n i nt h i sr e s e a r c h ，f o rt h ep r o b l e m sm e n t i o n e da b o v e ，a ni m p r o v e di m a g eh i s t o g r a mb a s e do ng a u s s i a nf u n c t i o nm a t c h i n ga l g o r i t h mi sp r o p o s e d i tm a k e st h ei m a g e 黟a yv a l u eh a sav e r yg o o db a l a n c ea n ds t r e t c ht oa c h i e v eg o o dm a t c h i n ge f f e c t s t h e n ，b a s e do nt h et r a d i t i o n a lw a v e l e tp a c k e tf u s i o na l g o r i t h m ，a l li m p r o v e dm u l t i - c h a n n e lf i l t e rw a v e l e tp a c k e tf u s i o na l g o r i t h mi sp r o p o s e d b e f o r eh i g hs p a t i a lr e s o l u t i o ni m a g e sd e c o m p o s e d ，m u l t i c h a n n e lf i l t e r i n gr e t a i n e dt h eg o o ds c a l ef e a t u r e s ，a n di tm a k e sa ni m p r o v e dt h ea d a p t i v ef u s i o nc r i t e r i ab a s e do nr e g i o n a lc h a r a c t e r i s t i c s i n f o r m a t i o no nh i 咖f r e q u e n c ya n dl o wf r e q u e n c yu s e sd i f f e r e n tf u s i o nc r i t e r i a ,i m p r o v i n gt h es p a t i a lr e s o l u t i o nb e t t e r f i n a l l y , i nt h eu s eo fw o r l d - r e n o w n e dr e m o t es e n s i n gs o f t w a r ee n v i4 5a n de r d a si m a g i n e9 2 ，t h ee x i s t e da n di m p r o v e df u s i o na l g o r i t h mr r ec o m p a r e di ne x p e r i m e n to ft h i sr e s e a r c h f r o mb o t ht h ev i s u a ls u b j e c t i v ea n ds t a t i s t i c a lo b j e c t i v ee v a l u a t i o n ，t h ef u s i o nr e s u l t so b t a i n e dc a r r i e do u ts o m ea n a l y s i sa n ds u m m a r i e s c o m p a r e d 、析t ht h ee x i s t e df u s i o na l g o r i t h m s ，t h ef u s i o nr e s u l to ft h ei m p r o v e df u s i o na l g o r i t h mo ft h i sr e s e a r c hn o to n l ye n r i c h e st h ea m o u n to fi n f o r m a t i o n ，r e t a i n sal a r g en u m b e ro ft e x t u r ef e a t u r e sa n ds p e c t r a lc h a r a c t e r i s t i c s ，a n di s 晰t hc o l o rf i d e l i t y , b e t t e ri n t e g r a t i o na n dh i g h e r - d e f i n i t i o n k e yw o r d s ：m u l t i - s o u r c 宅r e m o t es e n s i n gi n f o r m a t i o nf u s i o n ，r e m o t es e n s i n gt e c h n o l o g y ,h i s t o g r a mm a t c h i n g ，a d a p t i v ef u s i o nc r i t e r i o n原创性声明本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下，独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含其他个人或集体已经发表或撰写过的科研成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人承担。论文作者签名：目蝴。o 夕了夕0日期叩? o 关于学位论文使用权的说明本人完全了解中北大学有关保管、使用学位论文的规定，其中包括：学校有权保管、并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩印或其它复制手段复制并保存学位论文；学校可允许学位论文被查阅或借阅；学校可以学术交流为目的，复制赠送和交换学位论文；学校可以公布学位论文的全部或部分内容( 保密学位论文在解密后遵守此规定) 。签名：导师签名：日期：竺互蔓日期：中北大学学位论文第一章绪论随着多源图像融合技术的发展，其应用相当广泛。它对国民经济的发展和国防事业的建设均具有非常重要的意义。本章从研究背景起，详细地介绍了多源遥感信息融合在国内外研究的历史、现状和发展趋势，提出了目前尚未解决的问题，并对本文作了总体的安排。1 1 论文的背景和意义自2 0 世纪7 0 年代以来，遥感技术伴随着空间技术的快速发展以及新型传感器的不断出现，使得人们能够获取大量的不同空间分辨率、不同时间分辨率、不同光谱分辨率的可见光、红外、雷达等遥感信息，图像分辨率从粗到精，光谱从多到细，形成了现代遥感技术的特点u l ，从而构成了用于国防军事、环境监测、资源调查、灾害防治等多方面、多层次的遥感图像集。遥感作为一门已经兴起，并有着广泛应用前景的学科，是到目前为止能够提供全球范围动态观测数据信息的唯一手段，具有空间上的连续性和时间上的序列性。随着2 1世纪数字地球时代的来临，现代遥感技术正进入一个能快速、及时地提供多种地物遥感信息的新阶段。纵观过去的3 0 多年，地学思维引导着遥感技术的发展方向，同时遥感应用的水平滞后于空间遥感技术的发展，突出表现在卫星发回的遥感数据未能得到充分的利用。遥感信息认识的不足和对遥感专题信息提取水平的滞后，使遥感数据中隐藏的丰富知识远远没有得到充分地挖掘与利用，造成了遥感信息资源的巨大浪费及其应用价值的降低。因此，信息提取的能力与效率将成为未来遥感应用面临的突出闽题之一。经过许多专家的研究发现，来自不同卫星传感器的大量图像数据，既存在着互补性，又存在着极大的冗余性，在摆脱了传统上针对单一信息源进行分析处理得束缚之后，开始考虑如何把这些多源遥感信息尽可能作为一个整体来综合利用，以便从中提取出更精练的信息结果，为人或决策系统提供依据。这种技术在上世纪8 0 年代以来逐步发展成为- i 1 新技术，即多源遥感信息融合( m u l t i s o u r c er e m o t es e n s i n gi n f o r m a t i o nf u s i o n )技术。中北大学学位论文多源遥感信息融合是富集多种传感器遥感信息的最有效途径之一，被认为是现代遥感信息处理和分析中非常重要的一步。由于它能对不同传感器提供的海量数据进行快速、有效的信息关联和复合，因而能克服遥感图像信息提取与解译中单一信息源的不足，产生出比单一信息源更精确、更完整、更可靠的估计和判断。在遥感信息处理方面，多源遥感信息融合可以提高图像的空间分解力和清晰度、平面测图精度、分类精度和可靠性；增强解译和动态监测能力；有效地提高遥感信息的利用率等。因此，其应用引起了普遍的关注，成为近年来世界范围内遥感应用领域的个研究热点【2 l 。随着传感器技术、信号处理技术以及高性能计算机和通讯技术的发展，使得多源遥感信息融合的应用更为丰富。尤其在军事领域的不断广泛的应用，未来战争将是作战体系间的综合对抗，在很大程度上表现为信息战的形式，夺取信息战优势是取得战役乃至战争胜利的关键，而多源遥感信息融合就是建立具有合成作战能力和智能化决策指挥能力的指挥控制系统的关键技术之一 3 】。因此，关于其融合理论和技术的研究对于我国国防建设具有重要的意义。另外，以军事应用为目标的信息融合理论和技术通过转化，广泛应用于民用领域，例如大型经济信息系统、决策支持系统、工业仿真系统、城市规划、交通管制、资源管理以及地质分析等，从而获得更广泛的经济和社会效益。随着多源遥感信息融合的发展，其应用会更加广泛。它对国民经济的发展和国防事业的建设均具有非常重要的意义。近些年来，人们在多源遥感信息融合的不同层次上开展了大量的理论与应用研究。但是，至今为止在各层次的图像融合研究领域内尚未有公认的完整的理论和方法，还存在许多理论和技术问题有待解决。目前多源遥感信息融合技术在国内所进行的研究相对于国际上的研究起步较晚，还处于较为落后的状态。因此，迫切需要开展广泛深入的基础理论和技术研究工作。1 2 国内外研究的历史、现状和发展自美国1 9 7 3 年开展了声纳信号理解系统研究以后，多传感器融合技术迅速发展起来，不仅在命令、控制和智能通信系统中尽可能采用多传感器来收集信息，而且在工业控制、机器人、遥感、海洋检测和管理等领域也在朝着多传感器方向发展。多传感器融合的研究成了军事、生产和高技术开发等多方面所关心的问题。1 9 8 8 年，美国国防部2中北大学学位论文将多传感器融合技术列为2 0 世纪9 0 年代重点研究开发的2 0 项关键技术之1 4 】。后来，许多专家一致认为多源遥感信息融合的发展可以为三个阶段：( 1 ) 简单的图像融合方法，主要是针对各个图像通道，利用一些简单的如替代、算术等方法来实现图像的融合。应用较广的有r g b 假彩色的合成、i h s 彩色变换、p c a主分量变换、加权平均法、b r a v e r y 变换、h p f 高通滤波等方法。这些方法简单易行，在不同的遥感应用领域得到应用。i h s 彩色变换可以较好地用于提高多光谱影像的空间分辨率；p c a 主分量变换可以有效地用来剔除个图像之间的信息冗余，从而把多通道的图像数据压缩到三个通道上。但是这些方法往往改变了原来图像的光谱特性，使图像失去了原来的物理特性。( 2 ) 在8 0 年代中期，随着塔式算子的提出，在融合领域也出现了一些较为复杂的模型。它的基本思路是把原始图像进行塔式分解，在不同的分解水平上对图像进行融合，然后再通过塔式反变换来获得融合的图像。其主要方法有g a u s s i a n 、l a p l a c i a n 、低通比率、梯度等塔式算法。( 3 ) 进入9 0 年代，随着小波变换应用研究的深入，人们开始把小波变换应用到图像融合领域，用小波变换的多尺度多分辨率分析替代塔式算法，它保持了塔式算法的优点，同时具有更完整的理论体系，小波变换作为一种新的数学工具，它是介于函数的时间域表示和频率域表示之间的一种表示方法。它在时域和频域上同时具有了良好的局部化性质，对高频成分采用逐步精细的时域取样步长，可以“聚焦”到对象的任意细节，从而被人们誉为“数学显微镜，i 引。它能够将一个信号分解成信号对空间和时间的独立贡献，同时又不丢失原信号所包含的信息，并且可以找到正交基，实现无冗余的信号分解【6 】。许多研究结果表明，基于小波变换的融合方法可以达到最好的光谱和空间质量。在关于图像融合算法的文章中，大部分是与小波变换相关的融合方法。至今，多源遥感信息融合得到了飞速的发展，并且在很多领域得到了成功的应用，但是由于其自身理论基础依然不坚实。所以，仍然显得不成熟，并且存在着很多的问题，有待将来研究人员的深入探讨。归纳起来存在的问题主要表现在如下几个方面：( 1 ) 缺乏完备系统的理论。目前对多源遥感信息融合的研究尚处于初级阶段，许多研究仍属于试探性或仿真性的阶段。许多新技术如人工智能、神经网络、小波分析等在数据融合方面的应用研究还处于初级阶段【_ ”。目前为止还没有出现一整套完备、系统3中北大学学位论文的理论来推动该领域的发展。( 2 ) 缺乏对融合结果系统、有效的评价手段。不同应用场合对图像融合的要求不同，在不同应用场合采用不同的融合方法和融合规则，有时对图像的不同区域也采用不同的融合方法及融合规则，这就需要建立合理的融合性能融合效果的评价方法和准则。然而，这一问题至今仍未得到较好地解决【引。( 3 ) 关联二义性问题。在进行融合处理前，必须对数据进行关联，以保证融合的信息来自同一目标或事件【9 】。如果对不同目标或事件进行融合，则难以得到正确结论，这就是关联的二义性问题。怎样确立信息可融性的判断准则，降低关联二义性，己成为融合研究领域急待解决的问题。( 4 ) 容错性与自适应性。融合系统的容错性也没有得到很好解决，并且具有自适应的算法不多。这里的容错性包括信息融合过程中多种信息的不确定性，也包括信息来源、信息关联、信息决策等过程中的鲁棒性等i 瑚。( 5 ) 快速实时算法。现有的融合算法大都是串行执行，而实际应用系统往往要求算法的实时性，算法并行化是其中一个可行的出路【1 1 l 。如何提高现有算法的并行性则是融合研究领域需要探讨的问题。1 3 论文的主要工作本文共分五章来详细论述了多源遥感信息融合及融合结果的分析。第一章为绪论部分。介绍了信息融合技术的背景与研究意义，在此基础上，引出了遥感信息融合在国内外研究的历史、现状和发展。提出了到目前为止，尚未解决的问题。还有本文的工作安排。第二章为多源遥感信息融合的理论基础。从信息融合的概念起，详细介绍了多源遥感信息在像素层、特征层、决策层上的融合过程和图解，并用表格的形式进行了不同层次上的融合在信息处理量、容错性等方面的优劣。由于不同传感器有不同的特征、天气和人为因素的影响，在信息融合之前，必须进行图像的校正、配准等预处理，所以介绍了遥感信息预处理的相关知识。在信息融合之后，要对融合结果进行性能评价，所以给出了常用的几种评价准则。以便对不同的融合方法进行性能评价。4中北大学学位论文第三章首先详细讲述了传统的多源遥感信息融合算法，即i h s 融合、p c a 融合、h p f 融合、金字塔变换融合、小波变换融合算法；然后提出了改进的多源遥感信息融合算法，即一种改进的基于m a t l a b 的直方图匹配算法和一种基于多通道滤波的小波包变换融合算法。分别从他们的概念、基本思路、关键步骤、应用到的公式等方面做了详细的阐述。第四章为融合实验与结果评价。首先介绍了实验环境，应用到优秀的遥感软件e n v i4 5 和e i m a si m a g i n e9 2 ；接着给出了实验数据，分别是l a n d s a t 提供的t m 图像和r a d a r s a t 提供的s a r 图像：然后经过实验，得出传统的融合结果和本文改进的融合结果，并利用第二章介绍的融合性能评价进行主观和客观上的评价。第五章为全文的总结与展望。总结论文的主要研究工作，指出其主要创新点，并对其中的不足给出了进一步研究的方向。5中北大学学位论文第二章多源遥感信息融合理论不同形式的遥感信息虽然丰富了研究目标的内容和特征，但是海量数据处理起来很复杂，得到的结果有很大的冗余性。要使不同的遥感信息相互补充，以获得对同一事物或目标更客观、更本质的认识，多源遥感信息融合是遥感技术的发展趋势。2 1 多源遥感信息多源遥感信息是通过不同载体，对目标观测获取不同高度、不同空间分辨率、不同波谱段和不同时相的遥感图像数据。按不同传感器可以分为e t m + 遥感信息、a s t e r遥感信息、合成孔径雷达( s a r ) 遥感信息、l a n ds a tt m 遥感信息、s p o t 卫星遥感信息、q u i c k b i r d 卫星遥感信息等；按波段可以分为光学遥感信息、红外遥感信息、微波遥感信息；按光谱特征可以分为多光谱遥感信息、高光谱遥感信息、全色波段遥感信息等【1 2 1 。由于平台载体的多层次性，使得不同遥感平台的高度、运行速度、观测范围、图像分辨率等都不相同。从多时相而言，各种分辨率不同的传感器具有不同的时间分辨率。如日本的j e r s 1为4 4 天，法国的s p o t 为2 6 天，印度的i r s 1 为2 2 天，m o s 1 为1 7 天，l a n d s a tt m陆地卫星为1 6 天，e r s 1 为3 天，e o s 重复周期为1 3 天，而n o a a 气象卫星每天收到两次图像，每3 0 分钟可以获得同一个地区的m e t e o s a t 图像。从多空间分辨率而言，其跨度从n o a a a v h r r 的1 1 公里，l a n d s a tm s s 的8 0 米，m o s 1 的5 0 米，l a n d s a tt m 和e r s 1a m i 的3 0 米，m o m s 0 1 的2 0 米，j e r s 1 的1 8 米，s p o t - 1 的l o 米2 0 米，s p o t - 3 及德国m o m s 0 2 的5 米，i k o n o s 的1 米4米，现在已经发展到s p o t - 5 的2 5 米。空间分辨率越高，其地面扫描的宽度越小。中科院院士张钱等科学家完成的高技术发展报告中指出，我国已发射及将要发射的小卫星群可逐步形成世界上可覆盖全球的地球环境监测小卫星群。这对提高我国遥感信息的空间分辨率以及促进这方面研究的进一步发展带来极大好处。从光谱分辨率而言，遥感图像的获取已从多光谱( m u l t i s p e c t r a l ，1 0 。1 九数量级)发展到高光谱( h y p e r - s p e c t r a l ，1 0 数量级) 正向超高光谱( u l t r a s p e c t r a l ，1 0 。九数6中北大学学位论文量级) 发展。一方面是充分利用能透过大气的各类电磁波谱段，向红外、远红外和微波扩展，另一方面则是细分光谱段。例如，l a n d s a t - 5t m 图像可以提供从可见光到远红外的7 个波段的图像。美国e o s 地球观测系统空间站，计划装有o 4 一1 0 4 微米的6 4 波段中分辨率和0 4 - 屯5 微米的1 9 2 波段高分辨率成像光谱仪，光谱分辨率达到了1 0 纳米，可获得非常丰富的波段图像数据；微波遥感，例如s a r 图像，可以包括l 波段( 2 4厘米) 、c 波段( 5 7 厘米) 、g 波段( 3 1 厘米) 的几种不同极化方式，能解决阴天、雾天和雨天的遥感图像数据获取。遥感图像的特性在很大程度上取决于其成像过程，它与遥感平台所携带的遥感传感器密切相关。遥感传感器发展到今天，种类非常繁多。为了更好地进行多源遥感信息的融合，有必要先了解一下遥感信息的特点1 1 3 1 。( 1 ) 冗余性。冗余信息往往由多个传感器提供。对冗余信息进行融合，可以减少不确定性、提高检测的精度。即使有个别传感器发生错误或损坏，同样可以得到可靠的结果。也就是说，有利于对冗余信息的融合并使系统具有较强的容错性能。同时，由于多个传感器检测时的噪声是不相关的，因此，可以很容易地减少或消除噪声的影响、提高检测性能。( 2 ) 互补性。从多个不同种类的传感器可以获得互补信息。不同类型的传感器可提供不同类型、不同层次或不同方面的信息，每种传感器均可提供其他传感器所不能感知的信息。多传感器的互补信息可以改善检测性能，从而获得更为全面的信息。2 2 多源遥感信息融合数据( 信息) 融合( d a t a o r i n f o r m a t i o n f u s i o n ) 的概念开始出现于二十世纪七十年代初期，是从八十年代以来逐步发展起来的- f 7 新兴技术，当时称之为多源相关、多传感器混合或数据融合。八十年代以后，数据融合技术得到了迅速地发展，对它的称谓也逐渐统一。现在多称为数据融合或信息融合。2 2 1 多源遥感信息融合的概念融合是指采集并集成各种信息源、多媒体和多格式信息，从而生成完整、准确、及7中北大学学位论文时和有效的综合信息的过程。多源遥感信息融合是研究如何加工、协同利用多源遥感信息，并使不同形式的信息相互补充，以获得对同一事物或目标的更客观、更本质认识的信息集成1 1 4 1 。它不是数据间的简单复合，而是强调执行结果的信息优化，比直接从各种信息源得到的信息更简洁、更少冗余、更有用途。对多平台、多光谱、多角度和多分辨率的遥感信息进行融合处理，以增强多重数据分析能力，改善遥感信息提取的及时性和可靠性，有效地提高数据的使用率。根据多源遥感信息的特点，多源遥感信息融合主要包括【1 5 】：( 1 ) 多传感器遥感信息的融合，实现从多种遥感传感器得到遥感信息的融合处理，如将多光谱图像和s a r 图像进行融合，提取具有多种分辨率的遥感专题图。( 2 ) 多格式遥感信息的融合，实现各种格式图像以及灰度和全色图像的融合和综合处理。( 3 ) 多分辨率遥感信息的融合，允许对不同分辨率空间数据进行融合等处理。( 4 ) 多角度遥感信息的融合，根据多角度、有重叠区域的多幅图像，产生一幅大范围的空间数字图像。( 5 ) 多光谱遥感信息的融合，各种光谱特性进行融合分析，挖掘深层次信息。2 2 2 多源遥感信息融合的层次对于多源遥感信息融合，l i 和m e n i j u n a t h 提出的三层形式【1 6 】：像素层( p i x e ll e v e l ) 、特征层( f e a t u r el e v e l ) 、决策层( d e c i s i o nl e v e l ) ，在不同层次的融合之前，对传感器的数据应该进行预处理。多源遥感信息经过预处理后，既可以通过图像配准后进行像素层融合，也可以对这些图像数据进行特征提取，然后进行特征层融合：经像素层融合处理的图像可用于图像增强、图像压缩、图像分类等方面，而后这些应用的结果将成为图像产品。另外，像素层融合的输出结果经过相应的特征提取后，也可以参与特征层融合，从数据中提取的各种特征经分类后将被置入特征库中；特征层的结果一方面被置入特征库中，另一方面经过特征识别等处理后用于决策层融合，并最终形成决策结果。特征层和决策层融合都可以用于图像分类、目标检测、变化决策、目标识别等应用，而这些应用处理结果和决策层处理结果都被视为最终信息产品【 】。在各层融合过程中都8中北大学学位论文需要广泛应用各种辅助信息和外部知识，同时，融合处理结果也将不断形成新的知识扩展至外部知识库。另外，各个融合过程还将进行融合性能评估，并且进行信息反馈以优化融合处理进程。图2 1 显示了多源遥感图像融合的基本处理过程和框架。图2 1 多源遥感图像融合的基本处理过程和框架( 1 ) 像素层融合( p i x e l 1 e v e lf u s i o n )像素层融合是将空间配准的多源遥感信息根据某种算法生成融合图像，然后对融合的图像进行特征提取和属性说明。它直接对各原始信息进行处理，是一种较低层次的融合。像素层融合的优点在于它尽可能多地保持目标的原始信息，能够提供其他两种融合层次所不具有的细微信息。但其也存在一定的局限性，主要体现在：所要处理的数据量大、处理时间比较长，因此实时性差、代价较高：由于像素层融合在信息的最低层进行，由于原始信息的不确定性、不完全性和不稳定性，要求在融合过程中有较高的纠错处理能力；抗干扰性能力差：各传感器信息必须来自同质传感器，在图像融合过程中要求各传感器信息之间具有精确到一个像素的校准精度【1 8 】。图2 2 所示像素层的遥感信息融合过程。9中北大学学位论文遥感图像特属像素征性校层提说正融取明配l j准图2 2 像素层融合过程像素层融合的主要方法有：色彩变换方法( i h s 变换、y i q 变换等) ；统计和数字方法( p c a 变换、b r o v e y 变换、高通滤波法、线性加权法等) ：多分辨率分析方法( 金字塔分解法、小波变换等) 以及上述各种方法的结合。下一章对主要算法进行了具体的介绍。( 2 ) 特征层融合( f e a t u r e 1 e v e lf u s i o n )特征层融合属于图像中间层次的融合，是指从各个传感器图像中提取特征信息，并将其进行综合分析和处理，以实现对多源遥感信息的分类、汇集和融合。通过特征层图像融合可以在原始图像中挖掘相关特征信息、增加特征信息的可信度、排除虚假特征、建立新的复合特征等。特征层融合的优点在于实现了可观的信息压缩，便于实时处理。由于所提取的特征直接与决策分析有关，因而融合结果能最大限度地给出决策分析所需要的特征信息。在进行特征层融合之前，首先需要检测图像中的感兴趣区域或感兴趣目标，进而对这些区域或目标进行分割处理，紧接着提取区域或目标的各类特征，然后再将多传感器、多分辨率和多时相遥感信息的特征进行融合处理，以进一步减少图像中区域或目标的特征空间，消除部分特征的不确定性，经过特征层融合处理后的结果是一个特征空间，其数据量相比原来的遥感信息量大为减少，因而该处理过程极大地提高了数据处理和传输的效率，有效地推动了数据的自动实时处理【1 9 1 。特征层融合通常采用两种结构，分布式融合和集中式融合【2 0 j 。在传统的特征层融合处理中，通常采用集中式融合结构，它通过一个核心推理引擎对来自不同信息源的原始数据或部分经过预处理的数据进行融合处理，进行相关的处理，并获得相应的决策信息。当前，分布式融合结构越来越多的在特征层和决策层融合中被采用。这种融合结构把通常的特征提取与相关处理分别置于各自的环节中独立进行，然后再对各个分布式处理环lo中北大学学位论文节的结果进行全局融合处理，从而获得最终结果。图2 3 和图2 4 所示，典型的集中式特征层融合过程和分布式特征层融合过程。圣茎霎三三二三二二：蓁蓁茎茎一特征识别与堕刊取p分类图2 3 集中式特征层融合过程图2 4 分布式特征层融合过程特征层融合的方法主要有基于假设前提及统计分析的方法，包括b a y e s i a n 理论方法、d s 方法、相关聚类方法等；基于知识的方法，包括神经网络方法、模糊逻辑方法、专家系统方法等。( 3 ) 决策层融合( d e c i s i o n 1 e v e lf u s i o n )决策层融合是一种更高层次的信息融合，其结果将为各种控制或决策提供依据。它是指对每个图像的特征信息进行分类、识别等处理，形成了相应的结果后，进行进一步的融合过程，最终的决策结果是全局最优策略。决策层融合的主要特点为通信及传输要求低、容错性高、数据要求低、分析能力强、能全方位有效反映目标及环境的信息，满足不同应用的需要【2 1 1 。由于对预处理及特征抽取有较高要求，所以决策层融合代价较高。决策层融合过程如图2 5 所示：中北大学学位论文吵遥感1 特征提取r 叫图像分类卜决、_ _ - _ l _ _ 一图像策f 结正层- 叫果砂r l、- 一特征提取l 一图像分类卜融i 一遥感数据卜配合准图2 5 决策层融合过程决策层融合方法通常分为两类，即基于辨识的决策融合方法和基于知识的决策融合方法。基于辨识的融合方法对数据设定一定的假设前提，然后建立目标的概率模型来分类目标；而基于知识的融合方法则使用逻辑模板和句法上下文知识来描述、融合数据。主要方法有多种逻辑推理方法、统计方法、信息论方法等，例如b a y e s i a n 推理、d s 证据推理、表决法、聚类分析、模版法、模糊集合论、神经网络。这些方法的基本原理与特征层融合的方法类似，但是有所不同的是：1 ) 融合的对象不同，特征层融合的对象是目标的特征空间，而决策层融合的对象则是目标的决策信息空间。2 ) 对支撑知识的依赖程度不同，决策层融合与外部知识支撑系统密不可分，相对特征层融合而言，其更加依赖于外部知识的推理决策。对于一般的信息融合过程，随着融合层次的提高，要求数据的抽象越高，对各传感器的同质性要求越低，对数据表示的统一性越高，数据转换量越大；随着融合层次的下降，系统对数据的容错性更强，但融合所保存的细节信息越多，融合数据的处理量增大，对融合使用的数据配准精度要求更高，并且融合方法对数据源及其特点的依赖性增大，不易给出信息融合的一般方法。下面给出了三个层次融合的优缺点对比。如表2 1 所示：1 2中北大学学位论文表2 1 三个层次融合的优缺点对比一像素层融合特征层融合决策层融合特性、信息处理量最大中等最小信息损失最小中等最大容错性最差中等最好抗干扰性最差中等最好实时性最差中等最好对传感器的依赖性最大中等最小精度最高中等最低融合预处理最小中等最大融合方法最难中等晟易融合性能最好中等最差2 3 多源遥感信息的预处理上一节详细地讲述了多源遥感信息的融合机理和流程，在进行各层次的融合之前，必须对原始图像进行有效丽精确的图像校正、配准等预处理，以去除不同传感器的系统误差和偶然误差，并保证各传感器信息之间具有精确到小于一个像素的校准精度。遥感图像预处理阶段的精度对最终图像信息的质量有直接的影响。因此，下面对遥感信息融合的预处理做较详细的讲解和探讨。2 3 1 遥感图像的校正在遥感器成像时，由于飞行器姿态、高度、速度，地球自转等因素的影响而造成图像相对于地面目标而发生几何畸变，畸变表现为像素相对地面目标实际位置发生挤压、扭曲、伸展和偏移等，使其得到的图像灰度值并不完全是地物辐射电磁波能量大小的反映：再则遥感传感器在获得原始数据的过程中，由于受卫星扰动、地形起伏、天气变化、大气散射、反射等因素的影响而产生了种种误差，这些误差只有经过精确纠正后才能保1 3中北大学学位论文证进一步融合处理的有效性 2 2 1 。遥感图像的校正有两个基本环节【2 3 】，一是像素坐标变换；二是像素的重采样。如图2 6 所示遥感图像的校正处理过程。建立像素纠正像素值重变换几何采样函数变换图2 6 遥感图像的校正处理过程其中建立纠正变换函数是图像校正的关键，根据图像坐标和地面( 或地图) 坐标间的数学关系建立数学模型，来确定图像的纠正方法，典型的方法有多项式法、共线方程法等。纠正变换函数中有关的参数，一般可利用控制点数据来取，也可利用某些可预测的参数，如卫星轨道参数、传感器姿态参数等来直接构成。遥感图像校正处理的传统方法有三种方案，即系统校正、利用控制点校正以及混合校正 2 4 1 。2 3 2 遥感图像的配准图像数据配准是指对从不同传感器、不同时相、不同角度所获得的两幅或多幅影像进行最佳匹配的处理过程。其中的一幅图像是参考图像，其它图像则作为输入图像与参考图像进行相关匹配。在遥感图像应用过程中，由于图像之间存在复杂多变的成像畸变，往往需要对多幅遥感图像数据进行比较和分析，例如遥感图像变化检测、多源遥感信息融合、目标检测和识别等【2 5 1 ，这就要求多幅图像之间是相互配准的。因此，遥感图像配准技术己成为遥感图像数据处理和充分利用的瓶颈问题。它作为遥感图像处理的关键步骤，日益引起人们的重视。图像配准的一般过程是在对多传感器图像经过严密的较正处理、改正了系统误差之后，将图像投影到同一地面坐标系统上，然后在各传感器图像上选取少量的控制点，通过特征点的自动选取或计算其间的相似性、粗略估计配准点的位置、精确确定配准点以及估计配准变换参数等多步处理，从而实现图像的精确配准。遥感图像的配准一般按照以下几个步骤：1 4中北大学学位论文( 1 ) 特征提取，从参考和输入图像中提取共有的特征，如闭合边界、轮廓、边缘、重心、线交叉点和端点等。( 2 ) 特征匹配，采用一定的匹配算法，对两幅图像中的所提取的特征点( 控制点)进行匹配。目前常采用的匹配算法有互相关法、傅立叶变换法、点映射法、弹性模型法、遗传算法等等。( 3 ) 空间变换，根据控制点建立图像间的映射关系，估计变换参数并进行空间变换。( 4 ) 图像重采样，图像经过空间变换后，重新进行像素采样。由于图像变换后的坐标不为整数，还必须选择适当的插值技术进行灰度插值。遥感图像的配准精度要求在1 2 个像素内，所以每一个步骤都特别关键。2 4 多源遥感信息融合的性能评价准则遥感图像融合的性能评价是遥感图像融合处理不可缺少的环节之一。目前在遥感图像的融合研究中，已经有很多种融合方法。在实际应用中，如何评价图像融合算法的性能是个非常复杂的问题。衡量融合图像的效果时，应遵循以下原则【2 6 1 ：( 1 ) 融合图像应包含多源图像中尽多的有用信息：不破坏图像的色彩信息，也不能丢失图像的纹理信息，获得一个既有光谱信息又有空间信息的图像。( 2 ) 融合图像中不应引入人为的虚假信息，否则会妨碍人眼识别以及后续的目标识别过程。( 3 ) 算法应使融合图像的噪声降到最低程度。( 4 ) 在图像配准等前期预处理效果不理想时，算法还应保持其可靠性和稳定性，即无论在什么条件下算法的性能都不会有太大的变化。对同一对象，不同的融合方法可以得到不同的融合结果。如何评价融合图像的质量，是图像融合的一个重要步骤。图像融合结果的评价分为主观评价和客观评价，主观评价是通过目视进行分析，客观评价是利用图像的统计参数进行判定【2 7 】。目前，融合结果主要采用主观评价和客观测度评价相结合的方法。主观评价法可以用于判断融合图像是否配准，如果配准的不好，那么图像就会出现15中北大学学位论文重影；可通过直接比较图像差异来判断光谱是否扭曲和空间信息的传递性能以及是否丢失重要信息；判断融合图像纹理及色彩信息是否致，图像兴趣点是否明亮突出；判断融合图像整体亮度、色彩反差是否合适，是否有蒙雾或马赛克等现象出现以及判断融合图像的清晰度是否降低、图像边缘是否清楚等。所以主观评定法是最简单、最常用的方法，通过它对图像上的边界、轮廓的比较，可直观地得到图像在空间分解力、清晰度等方面的差异，且由于人眼对色彩具有强烈的感知能力，使得对光谱特征的评价是任何其它方法所无法比拟的。融合图像质量评价离不开视觉评价，这是必不可少的，但因为人的视觉对图像上的各种变化并不都很敏感，图像的视觉质量强烈地取决于观察者，具有主观性、不全面性，缺乏稳定性，并且不能保证评价方法的可重复性。因此，需要与客观的定量评价标准相结合进行综合评价。客观定量评价法不受人为条件影响，为了定量地、高效地、精确地、高抗容错性地进行融合图像的效果和质量的评价，本文选用以下参考量：信息熵、均值、标准方差、平均梯度、偏差指数和相关系数，并做了如下详细讲解【2 8 】：( 1 ) 信息熵图像的熵值是衡量图像信息丰富程度的一个重要指标，熵值的大小表示图像所包含的平均信息量的多少。图像的熵定义为：工一lh = - y p , l o g ：( p )j o( 2 1 )其中h 表示图像的熵，h 越大表示融合后的图像所含的信息量越大；l 为图像的灰度级数；p i 表示灰度级为i 的像素数d i 与总像素数d 之比，即p i = d i d 。p = p o ，pz ，p l i )反映了图像中具有不同灰度值像素的概率分布。( 2 ) 均值均值是图像中所有像素灰度值的算术平均值，均值在遥感影像中反映的是地物的平均反射强度，表示了地物的平均反射率，其大小由波谱信息量决定。虿= 击姜薹g ( “)( 2 2 )均值反映了图像的灰度分布情况，灰度分布接近的图像，均值也会比较接近。均值差别越小，说明该融合方法得到的融合图像效果越好。( 3 ) 标准方差1 6中北大学学位论文志。标准方差描述了像素灰度值与图像平均值的离散程度，是图像信息量大小的重要标叫耻岳再丽面小嘉绺“，)( 2 3 )蚕= 齿善薹厄而而研眨4 ，式中，季为平均梯度，一般蚕越大，图像层次越多，图像越清晰；，( f ) ，a y 厂( f ，_ )分别为像素( f ，_ ，) 在x 、y 方向上的一阶差分值，m 、n 为图像的行数、列数。在用平均偏差指数d 眦反映了融合结果与原多光谱图像的偏差程度，越小越好。它定义为：= 击善薹帮汜5 ，式中歹( f ，歹) 和j o ，歹) 分别为像素灰度值为( f ，) 的融合前后的灰度值；m 、n 为图像相关系数反映了图像f 和g 的相关程度。它定义为