《多源图像融合技术及其遥感应用-图像融合技术》课件

——图像融合技术多源图像融合技术及其遥感应用图像融合技术概述灰度图像融合技术彩色图像融合技术实时图像融合系统遥感图像融合技术图像融合前沿应用123456课程内容CONTENTS01图像融合技术概述图像融合概念图像融合(ImageFusion)技术是多传感器信息融合（MultisensorDataFusion）领域的重要分支。随着科学技术的发展，传感器性能获得了很大的提高，各种面向复杂应用背景的多传感器系统大量涌现。在多传感器系统中，由于信息表现形式的多样性，信息数量的巨大性，信息关系的复杂性，以及要求信息处理的及时性，都已大大超出了人脑的信息综合处理能力。如何能够在保证信息内容的真实性及完整性的同时，迅速有效地从结构多样复杂的海量信息资源中捕获到最感兴趣的内容已变得尤为重要。常用的图像传感器传感器类型主要特点TV可见光，可获得丰富的对比度、颜色和形状信息。微光夜视仪夜视，探测距离一般在800~1000m。红外（IR）热像仪昼夜两用，探测距离一般在几km~十几km。成像激光雷达兼有测距、测速和成像三功能，成像距离3~5km。由于激光束很细（小于10mm），探测分辨能力强，能够探测出架空电缆之类的细小物体。毫米波雷达全天候特性优于TV及IR，抗干扰性能好，分辨率较高。合成孔径雷达（SAR）天线尺寸小，成像分辨能力高（地面分辨宽度可达1~3m），由于微波对土壤和水有一定穿透能力，因此SAR可探测浅层地下和水下目标。多光谱/高光谱/超光谱

成像仪多个光谱谱段同时、精确测量目标。可用于地形测绘、监测和分析等。热岛Theindustry’shighestpointdensitycombineswithunlimitedreturnsfromeachoutboundpulsetoprovideoutstandingcanopydetailforforestrystudies.Highsensitivityallowshighdefinitiononpowerlineinfrastructure,includingthesmalleststructuralelementsandsmall-diametergroundwires,anddoessofromgreaterflyingheightsthanothersensors.多传感器信息融合从上世纪70年代起，多传感器信息融合（又称多传感器数据融合）作为一门新兴的学科迅速地发展起来。所谓的信息融合是一种多层次的、多方面的处理过程，这个过程是对多源数据进行检测、互联、相关、估计和组合以达到精确的状态估计和身份估计，以及完整、及时的态势评估和威胁估计。（Waltz和Llinas，1995）信息融合的特点信息融合技术的优点体现在：能获得更准确、更及时、低成本的信息和仅靠单一传感器无法获得的新信息。多传感器信息有冗余、互补等特点，通过信息融合可带来：扩大时空覆盖范围增加信息维数增大电磁谱的侦察范围提高探测率提高精度增大置信度提高空间分辨力提高系统可靠性等由于可以通过低成本的多个传感器协调完成任务来替代高成本的高精度高性能的传感器，从而有可能实现系统的相对低成本与高性价比。AB冗余信息互补信息互补信息图像融合技术所谓图像融合技术，就是指将多源信道所采集的关于同一目标的图像经过一定的图像处理，提取各自信道的信息，最后综合成统一图像或综合图像特征以供观察或进一步处理。图像融合技术的优点提高系统探测性能提高系统自动化程度降低系统相对成本提高指挥决策的正确性和可靠性图像融合技术应用军用领域侦察、探测、识别、跟踪及制导系统中：采用图像融合技术可使现代军事侦察手段发生革命性变化，将多个图像传感器得到的信息资源得以最大限度的发挥。民用领域机器视觉：是克服目前某些技术难点的突破方向。航空航天遥感：各种遥感器所获得的大量光谱遥感图像（其中分辨力差别、灰度等级差别可能很大）的融合与分析，为信息的高效提取提供了良好的处理手段。医学成像：辅助疾病诊断和病灶定位。生产过程控制：产品巡检、智能机器人控制。图像融合技术分类像素级融合：在严格配准的条件下，直接使用来自各个传感器的信息进行像素与像素关联的融合方法，达到叠加不同信道图像的特征或提高融合图像的质量的目的，用来提高信号的灵敏度与信噪比，以利于特征提取。特征级融合：在像素级融合的基础上，使用参数模板、统计分析、模式相关等方法进行几何关联、目标识别、特征提取的融合方法，用以排除虚假特征，以利于系统判决。决策级融合：基于认知模型的方法，模拟人在识别分析推理的思维过程，采用人工智能的处理方法来进行融合处理。关联各传感器提供的判决，以增加识别的置信度。图像融合技术分类

像素级融合特征级融合决策级融合信息种类多维（图像）特征判决的符号信息的表征层次低到中中高信息模型具有多维特性的随机过程非不变量；各方面的特征包括：几何方式、方向、位置等。不确定度量的符号配准要求时间中中低空间髙中低配准方法时间同步同步若需要，归类符号的时间特性。空间传感器对准共同光学系统几何交换若需要，归类符号的空间特性。融合方法图像估计或像素特性合成。几何、时间上关联；特征特性的合成。逻辑或统计推理融合的作用提高人眼对环境的识别能力；提高图像处理的质量。提高特征的度量精度；提供新特征。提高（认识）概率的置信度。双传感器图像融合功能模型一个完整的融合系统接收到的最初信息是像素级信息。融合的策略一般从低到高。先对同一层次上的信息进行融合处理，获得可供更高层次进行融合处理的信息后，再将信息汇入相应的高层次融合级进行下一级融合。像素级融合的研究意义当前，大多数的图像融合系统均是辅助人眼观察以进行目标探测、识别的像素级融合设备。图像本身的可视性，像素级融合具有浓厚的图像处理色彩。融合后图像的易接受性也要求图像融合的输出结果应需还原到像素级上，这也使得某些已具备特征级融合架构的融合算法（如金字塔法）仍被认为是像素级的，并带来了算法的复杂化。由于缺乏对多信道的原始数据所包含的特性进行一致性检验的有效手段，像素级上的合成具有较大的盲目性，因此，信息融合原则上不赞成在像素级直接进行。像素级图像融合的应用（遥感）提高分辨力具有立体成像能力突出感兴趣区域提高分类效果弥补某一路传感器成像缺陷(a)Landsat卫星图像

(b)Spot卫星图像

(c)融合结果图像伪彩色融合多光谱图像的彩色编码以近红外代替红色进行合成，有效区分了生物区域与人造目标。(a)CT图像(b)PET图像(c)融合结果图像像素级图像融合的应用（医学）利用不同成像诊断设备联合进行病灶的精确定位计算机辅助手术临床怀疑坐骨内生软骨瘤诊断（红十字线为病灶定位）利用不同成像诊断设备联合进行病灶的精确定位计算机辅助手术(a)NMR图像(b)SPECT图像(c)融合结果图像像素级图像融合的应用（医学）数字减影成像像素级图像融合的应用（医学）改善曝光时间对成像质量的影响(a)曝光不足图像(b)曝光过度图像(c)融合结果图像像素级图像融合的应用（数码成像）高动态范围图像合成像素级图像融合的应用（数码成像）DynamicrangesofcommondevicesDeviceStopsContrastLCD9.5700:1(250:1–1750:1)Negativefilm(KodakVISION3)138192:1Humaneye10–141024:1–16384:1DSLRcamera(NikonD800)14.421744:1多聚焦图像可提高像质和分辨力(a)聚焦于前面钟表的图像

(b)聚焦于中间磁盘盒的图像(d)融合结果图像(c)聚焦于后面人员的图像像素级图像融合的应用（数码成像）多聚焦图像可进行3D重建像素级图像融合的应用（显微成像）违禁品检查暗藏枪支检查辅助导航(a)可见光成像结果

(b)毫米波(MMW)成像结果(c)融合结果图像

像素级图像融合的应用（安检）像素级图像融合的应用（安检）可见光彩色图像红外图像融合图像像素级图像融合的应用（安检）海天目标探测、识别与与跟踪伪装识别战场监视(a)可见光图像

(b)热红外图像

(c)灰度融合图像

(d)伪彩色融合图像

像素级图像融合的应用（军事）像素级图像融合的应用（立体视觉）像素级图像融合的应用（立体视觉）thelastpicturethatSpiritsenthome像素级图像融合的基本过程预处理预处理可见光图像红外图像融合图像图像配准融合融合参考图像融合中需解决的问题图像预处理图像配准图像空间分辨力的匹配帧频同步非光学图像的融合融合信息的阐述融合效果的客观评价规则图像预处理技术由于成像系统的使用环境不同，传感器的信噪比不同，光学系统不同，图像质量也不同。图像预处理是为了减少原始图像中的噪声和其它赝像的影响，技术关键是图像去噪。同时兼顾滤除高斯噪声和脉冲噪声的效果，在滤除噪声的同时要较好地保留边缘等细节信息。图像配准概念图像配准（ImageRegistration）：是将两幅图像的一对一的映射（或者说变换）过程，即将两幅图像中对应于空间同一位置的点对应起来。根据实际情况可以做刚体变换，也可以是较复杂的弹性变换。图像配准的关键问题是图像之间的空间变换或几何变换。图像配准是像素级图像融合的前提。图像配准的数学形式图像配准可描述为两（相邻）图像之间的空间变换与灰度变换数学形式表示

——待配准图像和参考图像——二维空间坐标变换——一维灰度变换一般地，空间变换和灰度变换是非线性变换。图像配准的基本条件是相邻图像之间有一部分在逻辑上是相同的比如：这是对应于同一物体同一位置的两幅图像。这两幅图有两点明显的不同，第一是方向上有差异，第二是形状上少了一部分。我们可以认为它们由不同的成像设备得到（少的那部分代表两种成像设备成像模式的差异），也可以认为它们来自同一个成像设备（如手术前和手术后，少的那部分代表病变组织），但它们都有着共同的成分。图像配准的数学形式图像配准过程我们这里解决的“空间配准”问题是指图像传感器相对位置保持不变、光学系统光轴保持平行时、视场不变的“对准”（Alignment），原则上经过一次标定好配准参数后，只要光学系统的参数不变，对待配准通道图像进行空间变换和灰度变换即可完成图像的配准过程。图像对准常用的空间变换平移（Translation）旋转/拉伸/平移（Rotation/Scale

/Translation）仿射（Affine）投影（Projective）ComplexTransformationsGlobalPolynomialTransformation(splines)前向映射后向映射图像的重采样待配准图像I1(x,y)经过空间变换后，其原像不一定是整数的网格，所谓重采样就是利用待配准图像与几何变换的逆变换T-1座标最临近的像素点的灰度，使用插值逼近的变换G获得T(x,y)的灰度，得到最终的配准图像I2(i,j)。几何变换T几何逆变换T-1图像的重采样常用的插值算法包括

设对待配准图像g(x,y)进行空间变换T:(x,y)→(i,j)得到图像gT(i,j)，如果变换可逆T-1：(i,j)→(x,y)，则最近邻域法（计算速度快，但几何精度较差。）双线性插值法（精度较好，但会造成分辨率下降。）其中图像的重采样双三次卷积（误差可以为双线性插值的1/3，较好地保留了图像细节，但计算过于复杂），设则双三次卷积法的计算式为其中x方向y方向5423421563521241最近邻点插值5423421563521241双线性插值5423421563521241双三次插值BilinearInterpolationCubicConvolution遥感图像配准意义地理坐标寻址（地理编码）多源数据融合方案图像→地图←图像图像↔图像地图↔图像配准图像↔图像配准基于控制点的几何配准坐标的空间变换（空间插值）灰度级内插（亮度插值，重采样。）后向映射空间变换方法仿射变换模型简单多项式变换直观，控制点数量与多项式阶数相关。三角网格变换可以在不同的局部区域，应用不同的多项式。仿射变换几何变换的类型：刚性变换（Rigid）：包括平移和旋转。仿射变换（Affine）：将平行线变换为平行线。投影变换（Projection）：将直线映射为直线。曲线变换（curve）：将直线映射为曲线。图像的配准利用映射函数进行图像配准地图

–图像利用映射多项式进行图像配准精确形式难以获得→用多项式替代如二阶：如何估计多项式的系数？地面控制点(GCPs)红色曲线是龙格函数，蓝色曲线是5阶多项式，绿色曲线是9阶多项式。随着阶次的增加，误差逐渐变大局部三角网格变换在图像变化较大、失真扭曲复杂、特征点多的区域，三角网密集，能很好地配准失真细节变化。而在图像内容简单、失真扭曲小的区域，特征点少，三角网稀疏，不会造成大量的冗余数据，也不会无谓地增加计算量。三角网格变换Delaunay三角剖分（Delaunaytriangulation）对平面有限点集P的三角剖分DT，P中的点不在任意一个DT三角形外接圆里。它满足两个重要准则三角网格变换Delaunay三角剖分——准则1空圆特性。Delaunay三角网是唯一的（任意四点不能共圆），在Delaunay三角形网中任一三角形的外接圆范围内不会有其它点存在。三角网格变换Delaunay三角剖分——准则2最大化最小角特性。在散点集可能形成的三角剖分中，Delaunay三角剖分所形成的三角形的最小角最大。

ABCDABCD三角网格变换Delaunay三角剖分——优异的性质：最接近的点形成三角形。唯一性，无论何种算法，最后得到的Delaunay三角剖分是唯一的。最规则，由最大化最小角特性可以推出，Delaunay三角网是“最接近于规则化的”的三角网。所有三角形并集为点集的凸包。（这个所有剖分都是）三角网格变换Delaunay边假设E中的一条边e（其端点为a,b），若e满足条件：存在一个圆经过a,b两点，圆内不含点集中任何其他的点，这一特性又称空圆特性，则称之为Delaunay边。Delaunay三角剖分如果点集的一个三角剖分只包含Delaunay边，那么该三角剖分称为Delaunay三角剖分。控制点的选择手工选择GCPs(thesameasImagetoMap)自动算法直接从像素值中提取从频域提取（基于FFT）利用如边缘、角点等低级特征利用高级特征，如识别出的物体、特征间的关系等控制点的选择数量位置分布在图像边缘覆盖整个图像曲线拟合类比高阶外推的不良影响从图主图GCP分散GCP集中三阶多项式双三次插值一阶多项式双三次插值地图原图配准图LandsatMSS图像悉尼11个控制点二阶映射多项式双三次插值GCPImagepixelImagelineMapeastingactualMapeastingestimateMapeastingresidualMapnorthingactualMapnorthingestimateMapnorthingresidualI19091473432279432230.149.4836471836410.160.7219501625431288431418.0-130.1822844822901.4-56.9319511747428981428867.9112.6812515812418.296.8419591851427164427196.9-33.2803313803359.4-46.7517971847417151417170.3-18.9805816805759.357.1614961862397860397871.6-11.2808128808187.2-59.6715551705404964404925.838.6821084820962.6121.6815991548411149411138.510.5833796833857.3-61.1916751584415057415129.0-72.4829871829851.119.81018291713422019421986.632.7816836816884.5-48.11118231625423530423507.822.0824422824504.8-83.2Standarderrorineasting=55.92mStandarderrorinnorthing=63.06m控制点的提取常见的特征点提取算法有：Harris算子（改进后的Shi-Tomasi算法）、Moravec算子、Forstner算子、小波变换算子等。简单介绍一下最常用的Harris角点检测算法。角点附近的区域相比于其他区域有一个显著的特点：无论沿着哪一个方向，灰度变化率始终是很大。假设我们有一个矩形窗口罩在角点附近，将这个窗口沿任意方向移动一小段距离得到一个新的区域，新、旧区域对应点的灰度差值始终很大。相比之下，平滑区域的变化就很小，而边缘区域沿着某些方向变化率大、某些方向变化率小。控制点的提取Harris算法首先定义了一个窗口函数w(x,y)表示选择的窗口区域，w(x,y)表示这个坐标所占的权值。有时用0-1赋值，有时候用高斯滤波减少噪声影响；定义E(u,v)表示窗口沿着(u,v)方向移动后的梯度变化情况：为了简化计算，泰勒展开其中Ix,Iy

分别为灰度沿x,y方向的导数。控制点的提取Harris算法转化为矩阵形式：最后定义一个评价函数R：其中k是一个控制参数，λ1,λ2

为M的特征值。当R较小时，图像是平坦的；当R<０时，图像是一个边缘；当R很大时，图像是一个角点。因此通常会对R设置一个阈值，大于这个阈值的点可以看做是角点。控制点的提取Harris算法HARRISC,STEPHENSM.

“ACombinedCornerandEdgeDetector”ProceedingsofFourthAlveyVisionConference.1988,147-151.控制点的精确对准SequentialSimilarityDetectionAlgorithms(SSDA)相关定位附近搜索简化相关计算计算窗口内绝对值差之和。改进：平均亮度差异很大时，计算窗内相对各自均值的差的绝对值。错误定位时：改变搜索区域大小与窗口尺寸。EOimageCompositebeforeAlignmentIRimageCompositeafterAlignment图A图B配准效果CharacteristicsofRegistrationMethodsFeatureSpaceSimilarityMetricsSearchStrategyFeatureSpacesSimilarityMetricsSimilarityMetricAdvantagesNormalized,cross-correlationfunction[Rosenfeld82]accurateforwhitenoisebutnottolerantoflocaldistortions,sharppeakincorrelationspacedifficulttofindCorrelationcoefficient[Svedlow76]similartoabovebuthasabsolutemeasureStatisticalcorrelationandmatchedfil­ters[Pratt78]ifnoisecanbemodeledPhase-correlation[DeCastro87]tolerantoffrequencydependentnoiseSumofabsolutedifferencesofintensity[Barnea72]efficientcomputation,goodforfindingmatcheswithnolocaldistortionsSumofabsolutedifFereaicesofcontoiuis[Barrow77]canbeefficientlycomputedusing“chamfer”matching,morerobustagainstlocaldistortions-notassharplypeakedContour/surfacedifferences[Pelizzari89]forstructuralregistrationNumberofsignchangesinpointwiseintensitydifference[Venot89]goodfordissimilarimagesHigher-levelmetrics:structuralmatching:treeandgraphdistances[Mohr90].Syntacticmatching:automata.[Bunke90]optimizesmatchbasedonfeaturesorrelationsofinterestSearchStrategies02灰度图像融合技术基于灰度的图像融合方法代数法灰度调制法高通滤波法……多分辨算法金字塔算法小波变换……在下面的分析中：l多分辨力分析分解的第l级G1,G2,G3,…输入的序列图像i,m像素横坐标GV输入的可见光图像j,n像素纵坐标GI输入的红外图像M图像行数GF融合后图像N图像列数

代数法（加权平均）加权平均法的优点是简单直观，适合实时处理，但多幅图像简单的叠加会使合成图像的信噪比降低。当融合图像的灰度差异较大时，就会出现明显的拼接痕迹，不利于人眼识别和后续的目标识别过程。灰度调制算法灰度调制是一种线性处理，采用线性归一化的手段将图像进行变换一般仍然对两路图像中细节较多的一路GH进行归一化。然后以归一化的该路图像对另一路图像GL进行调制得到GF。将得到融合图像重新量化，使之灰度范围与显示设备动态范围R相匹配，则得到最后的融合图像GF*。高通滤波法对于两幅图像，利用高通滤波器H计算出细节丰富的图像GHI的高频部分，与低分辨力图像GLO相加形成融合图像。由于图像的边缘等细节特征都是由高频信号表示，因此高通滤波器方法可以增强低分辨力图像的边缘特征，增强的程度可以通过改变高通滤波器来实现。几个常用的3×3高通滤波器多分辨分析多分辨分析（MultiResolutionAnalysis，MRA）的思想是将信号表示为一系列逼近的极限，这一系列逼近的分辨力以一定规律变化，其定义如下：多分辨融合算法多分辨结构的融合算法（如图像金字塔和小波等）是当前图像融合算法的主流，其基本思想来自于人眼视觉系统对于局部对比度变化的敏感性，因此可直接将融合图像作为一种融合多尺度边缘的描述。多分辨融合能较好地保留图像的细节部分，并具有较好的目视效果。常用的多分辨融合算法有。金字塔算法Laplacian金字塔FSD金字塔Contrast金字塔Gradient金字塔小波算法（图像的金字塔结构）LN… L2 L1 L0多分辨融合算法近似金字塔Gaussianpyramid残差预测金字塔Laplacianpyramid（512×512）Gaussian和Laplacian金字塔（高斯金字塔）（Laplacian金字塔）Laplacian金字塔实质上就是局部亮度差异的分解结构Gaussian金字塔实质上是图像在较粗分辨力上的逼近多分辨图像融合算法的实现流程输入源图像；确定分解层数、低频融合策略、高频融合策略等参数；分别构建两幅图像的多分辨结构；利用低频融合策略融合源图像的低频部分；利用高频融合策略融合源图像的高频细节部分；重构图像，获得融合图像。金字塔多分辨结构图像融合算法融合策略选择“或“融合策略对于分解后图像的低频部分采取加权平均融合策略。而对于高频分量采用“或”运算进行融合。即取两个源图像第l级高频分量中的最大值。该算法简单，运算量小，但对噪声敏感。

融合策略选择匹配融合策略分解后图像的低频部分依然采取加权平均融合策略，而对于高频分量采取区域特征匹配融合策略。如：选取局部能量为区域特征。若两幅图像的区域特征匹配，则进行加权平均处理，若不匹配，选择特征明显即局部能量大的作为融合后的高频分量。计算两幅图像各级高频分量的区域能量。计算两源图像第l级的局部区域匹配度。融合策略选择确定融合算子：确定匹配度阈值a<1。若MIVl(i,j)>a，则利用加权平均计算融合图像。否则选取局部区域特征更明显的源图像作为融合图像：Gaussian金字塔图像多分辨结构中的每一级图像均是前一级图像低通滤波形成的。（Burt,Adelson，1983）其中r(i),r(j)为对称滤波器核，二者乘积组成一个Gaussian形式的二维低通滤波器，上式也可写为。其中*表示卷积，[·]↓2表示“2抽1”的下采样，用REDUCE表示。Gaussian金字塔对Gaussian金字塔进行扩展EXPAND。定义EXPAND函数为REDUCE函数的逆运算，其作用是利用插值在给定的数值间插补新的样本值，将Gaussian金字塔结构中某一级图像扩展成其前一级图像的尺寸大小。（Burt,Adelson，1983）Laplacian金字塔Laplacian金字塔Dl（多分辨力带通滤波器）是一组带通滤波图像序列，定义为Gaussian金字塔中相继各级低通滤波图像之差。（L为分解层数）原始图像G0可以由Laplacian金字塔精确恢复。Laplacian金字塔Laplacian金字塔生成近似和预测残差金字塔的系统结构

上采样器下采样器近似滤波器可选，比如：邻域平均→平均金字塔低通高斯滤波→高斯金字塔不滤波

→取样金字塔插值滤波器可选，比如：最近邻域双线性双三次（迭代方式）FSD金字塔FSD（FilterSubtractDecimate）金字塔是一种类似于Laplacian金字塔的多分辨力结构。FSD金字塔的带通序列图像Dl定义为。（Anderson,1984）重构算法其中[·]↑2表示“1插2”的上采样Contrast金字塔Contrast金字塔把Gaussian金字塔的Gl内插放大，得到放大图像Gl,1，将其视为Gl的“背景”，故可定义图像的Contrast金字塔为（Toet,1992） 其中I表示单位灰度图像重构算法

Gradient金字塔Gradient金字塔相比Laplacian金字塔和FSD金字塔的最大优点在于分解后的带通细节图像具有方向性，细化了图像性质。（Burt,Kolczyski，1993）引入矩阵 其中

表示代表源图像的第l级第k个方向的分解利用d1、d2、d3、d4，Gradient金字塔可以分解出水平、45°、垂直、135°四个方向上的细节图像。Gradient金字塔第l级细节图像Dl定义为Gradient金字塔的重构可以借助FSD金字塔来完成小波分析（WaveletAnalysis）一个L2(R)的信号可以根据一个确定函数

的伸缩、平移系展开为一系列的子带信号

(A.Grossman,1984)L2(R)可表示为关于一系列子空间WJ的直和分解关系

1986年，Y.Meyer构建出具有一定衰减性的光滑函数，其二进制伸缩与平移系

构成L2(R)的规范正交基=>VJ空间（尺度函数）=>WJ空间（小波函数）离散小波变换离散小波变换（DWT）展开系数规范小波正交基信号重构小波变换许多小波函数和缩放函数都是以开发者名字命名的，例如。Moret小波函数是Grossmann和Morlet在1984年开发的db6缩放函数和db6小波函数是Daubechies开发的小波变换——计算过程小波ψ(t)和原始信号f(t)的开始部分进行比较。计算系数C——该部分信号与小波的近似程度；C值越高表示信号与小波相似程度越高。小波右移k得到的小波函数为ψ(t-k)

，然后重复步骤1和2，……直到信号结束。扩展小波，如扩展一倍，得到的小波函数为ψ(t/2)

。重复步骤1~4。小波变换——粗略的解释小波变换的公式有内积形式和卷积形式，两种形式的实质都是一样的。它要求的就是一个个小波分量的系数也就是”权”。其直观意义就是首先用一个时窗最窄，频窗最宽的小波作为尺子去一步步地“量”信号，也就是去比较信号与小波的相似程度。信号局部与小波越相似，则小波变换的值越大，否则越小！当一步比较完成后，再将尺子拉长一倍，又去一步步地比较，从而得出一组组数据。如此这般循环，最后得出的就是信号的小波分解（小波级数）。小波变换系数的含义小波变换的系数表示了：小波与处在分析时段内的信号的波形近似程度C=0.2247C=0.0102不同的分析时段不同的分析尺度二维小波分解1987年，Mallat巧妙地将计算机视觉领域内的多尺度分析思想引入到小波分析中，提出多分辨力分析概念，提出了相应的分解与重构快速算法（1988）在图像的小波分解中每一层图像被分解为LL（轮廓，

空间），HL（垂直向细节，

空间），LH（水平向细节，空间）和HH（135◦对角线细节，

空间）四个频带，下一层对LL继续分解。图像的小波分解图像分解上式中h(·),g(·)为选定的滤波器系数，h具有低通性质，g具有高通性质。待分解图像Gl(i,j)与滤波器进行卷积，然后对结果进行下采样，从而得到Gl、Dl1、Dl2、Dl3，分别代表图像第l级分解的低频信息及水平、垂直、对角线方向的高频信息。图像的小波重构图像重构将分解的图像Gl、Dl1、Dl2、Dl3与镜像滤波器h(·),g(·)分别卷积，进行行列重构，每两列和两行重构时进行补零上采样。4.小波变换系数取自H2灰度直方图近似方向敏感性256×256128×12864×64图像的小波分解与重构原始图像2层小波分解结果如：采用的Daubechies(2,2)小波函数对原始图像分解。基于小波分解的图像融合基本的融合过程MultifocusfusioninwaveletdomaininputchannelswaveletdecompositionsMax-ruleinhighpassfusedwaveletdecompositionfusedimage小波在图像融合处理中的优势小波变换的完善重建能力，理论上保证了信号在分解过程中没有任何信息损失和冗余信息。小波变换把图像分解成逼近图像和细节图像，分别代表了图像的不同结构，因此原始图像的结构和细节信息容易提取。小波变换具有快速算法（Mallat算法），基于小波分析的多分辨结构回避了层与层之间的反馈运算，计算效率高。小波多分辨结构的分解过程中会自然生成具有方向性的高频分量，符合人眼视觉对比度感知的方向性，其恒带通频率分析的特性与人的感觉过程十分类似。小波具有空间和频域上的局部性，利用小波变换可以将源图像分解到一系列频率通道中，类似于人眼视网膜的处理过程，在多频率分量、多方向上的融合，可以充分利用源图像的信息，得到特征更突出、细节信息更丰富的融合图像。小波算法vs.金字塔算法无论金字塔法还是小波变换法，多分辨分解的数据结构其内在机理是统一的。基于高斯塔式结构的金字塔算法虽然运算简洁，但算法的稳定性则相对差些。小波可以选取不同的小波基以改善融合效果，而金字塔结构中高频成分采用空域差值图像表征，分解后的多通道多频信息不具备正交性，不能精确地反映两不同分辨力图像的信息差。融合的评价规则主观评价由观察者根据一些事先规定的评价尺度或自己的经验，对被评价图像提出质量判决。有些情况下，也可提供一组标准图像作为参考，帮助观察者对图像质量作出合适的评价。图像主观评价的尺度(即评分标准)往往要根据应用场合等因素来选择和制定。对一般人来讲多采用质量尺度，对专业人员来讲，则多采用防碍尺度。为了保证图像主观评价在统计上有意义，参加评价的观察者应足够多。分数质量尺度妨碍程度5分非常好丝毫看不出图像质量变化4分好能看出图像质量变化，但不妨碍观看。3分一般能清楚的看出图像质量变坏，对观看稍有妨碍。2分差对观看有妨碍1分非常差非常严重地妨碍观看主观评价尺度表客观评价利用图像的统计参数进行判定，主要分2类：反映空间细节信息，如方差、信息熵和清晰度。反映光谱信息，如扭曲程度、偏差指数与相关系数。融合的评价规则均值与标准方差均值反映平均亮度，如果均值适中，则视觉效果良好；方差反映了灰度相对于灰度均值的离散情况，方差越大，灰度级分布越散，图像中所有灰度级出现概率越趋于相等，包含的信息量越趋于最大。信息熵融合的评价规则融合的评价规则熵的大小反应了图像携带的信息量的多少。融合图像的熵值越大，说明融合图像携带的信息量越大。

交叉熵交叉熵反映了融合图像对原始图像综合的信息量的多少。偏差熵偏差熵反映了融合图像信息量的差异。融合的评价规则清晰度清晰度反映了融合图像边缘的清晰度。偏差指数

偏差指数比较融合图像和原图像偏离程度。融合效果比较可见光图像红外图像代数法高通滤波法Laplacian金字塔法FSD金字塔法Contrast金字塔法Gradient金字塔法小波算法融合算法性能对比融合算法性能分析一些参数原始图像大小：640×384由于可见光图像细节更丰富，后三种指标的值都是融合图像与可见光图像相比较得到。上表中1表示“或”融合策略、2表示采用了匹配融合策略。多分辨力融合算法匹配融合策略中。选用了DB(2,2)小波。融合算法性能分析分析结果可以看出代数法各指标都十分突出。除代数法外，各融合算法均使融合图像的平均灰度和方差介于原始图像的数值之间，处于较合理范围。高通滤波法的交叉熵、偏差熵和均方差都是最小的，说明其融合结果与可见光图像非常接近，很少包含红外图像的信息。几种金字塔算法和小波算法融合结果平均亮度近似。Laplacian金字塔算法的熵最大，因此细节也最丰富。从交叉熵和偏差熵相关指标来看，对比度金字塔与原始图像差异较大，而Laplacian金字塔与原始图像最为接近。05遥感图像融合效果评价本章内容图像融合效果评价与异源遥感图像融合基于视觉注意的可见光/红外图像融合技术双通道红外图像融合技术138图像融合的评价规则评价融合图像的质量是图像融合的一个重要步骤。评价融合效果主要包括定性（主观）和定量（客观）评价定性评价一般选用目视法解译定量评价分为融合图像的整体质量融合图像与源图像的关系评价融合图像和低分辨率图像的光谱信息保真度融合图像与高分辨率图像的高频信息保真度（纹理信息）基于参考图像的融合效果评价图像融合的评价规则图像融合的主观评价规则分数MOS质量尺度Quality妨碍尺度Impairment5分非常好丝毫看不出图像质量变化4分好能看出图像质量变化，但不妨碍观看。3分一般能清楚地看出图像质量变坏，对观看稍有妨碍。2分差对观看有妨碍1分非常差非常严重地妨碍观看141国际无线电咨询委员会制定的CCIR-500五级质量评价标准由观察者根据一些事先规定的评价尺度或自己的经验，对被评价图像提出质量判决。有些情况下，也可提供一组标准图像作为参考，帮助观察者对图像质量作出合适的评价。图像主观评价的尺度(即评分标准)往往要根据应用场合等因素来选择和制定。对一般人来讲多采用质量尺度，对专业人员来讲，则多采用防碍尺度。主观评价尺度表MeanOpinionScore(MOS)图像融合的主观评价规则为了保证图像主观评价在统计上有意义，参加评价的观察者应足够多。在每个人给出打分后，对分数进行计算统计：N

指评价总人数，M

指失真类型总数为了限制评价人员的个人习惯、数值度量差异，可以转换为Z-Score。142成功的图像融合结果失败的图像融合结果图像融合的主观评价规则优秀主观图像质量标准的特征：(1)足够宽的质量覆盖范围。

不仅要满足当前的使用要求，而且必须兼顾以后的技术发展。(2)恒定性。

一旦标准被建立，就不应随时间变化，尽管标准中的样本图像可能需要及时扩充和更新，但恒定性对于保证图像质量评价实验在不同时期的精确重复非常重要。(3)小的奇异性。

当多名图像分析人员使用同样的标准对同一幅图像进行评定时，评价的均方误差越小，标准本身的性能越好，说明任务的描述清晰准确，参照物的选择科学，样本图像的数量充分且分布合理，易于被图像分析人员把握。145图像融合的主观评价规则主观质量评价是进行遥感图像质量评价常用的方法，并且是检验客观评价指标是否与人类视觉一致的唯一标准。但是由于主观评价需要耗费大量人力和时间，评价结果受实验条件的影响常常不够稳定，因此对效率和稳定性要求较高的实时系统一般不太倾向于选择这一方法。146美国国家图像解译度分级标准NationalImageryInterpretabilityRatingScale

(NIIRS)

它定义了一组解译任务，覆盖范围从大目标的低级检测到小目标的细节分析。IRARS（美国图像分辨率评估和报告标准委员会）对执行这些解译任务的难度进行分级，为每个任务赋予一个数值等级，判断图像能执行的最高级的解译任务，将任务的数值等级赋予图像，从而达到对图像质量量化的目的。NIIRS作为一种定量的主观图像质量标准，将用户的任务需求同遥感图像质量联系了起来，是目前西方情报机构广为使用的一种图像质量标准。开发NIIRS最初的目的是建立一个量化表，来表示从一副特定图像中可以提取什么信息以及不可以提取什么信息。147148等级判据0由于图像模糊、恶化或极差的分辨能力致使解译工作无法进行。1发现中等大小的港口设施或辨别大型机场的跑道和滑道。2发现机场的大型机库。发现大型固定雷达站（如AN/FPS-85，COBRADANE，PECHORA，HANHOUSE）。发现军事训练区域。

由道路的类型和场地形状辨认SA-5基地。发现海军设施的大型建筑（如仓库和建造大厅）。发现大型建筑（如医院和工厂）。3辨认所有大型飞机（如707，CONCORD，BEAR，BLACKJACK）的机翼形状（直翼、掠翼和三角翼）。由形状、土丘及混凝土顶罩辨认地对空导弹基地的雷达和制导区域。由形状和标志发现直升机升降场。发现移动导弹基地的支持车辆。辨别停泊在港口的大型海面舰只的类型(巡洋舰、补给舰、非战斗舰或商船)。发现铁路线上的火车或标准滚动台座(但不要求辨认出每个车厢)。4辨认所有大型战斗机(如FENCER，FOXBAT，F-15，F-14)。发现独立的大型雷达天线(如TALLKING)。辨别履带车辆、野战炮、大型舟桥设施以及成群出现的轮式车辆。发现开启的导弹竖井。判定中等大小潜艇(ROMEO，HAN，Type209，CHARLIEⅡ，ECHOⅡ，VICTORⅡ／Ⅲ)的头部形状(尖头、钝头或园头)。辨认铁路调车场中每一节火车、铁路线、控制塔以及铁道交叉点。等级判据5基于加油设备辨别MIDAS和CANDID。辨认雷达是安装在汽车上还是安装在拖车上。辨认已展开地对地战术导弹系统的类型(FROG，SS-2l，SCLID)。一个已知的支援基地没有被伪装的情况下，辨别SS-25移动导弹运输、安装、竖立、发射装备和导弹支持搬运车。辨认KIROV-，SOVREMENNY-，SLAVA，MOSKVA-，KARA-，KRESTA-Ⅱ级舰只的TOPSTEER或TOPSAIL对空监视雷达。辨别每节火车的类型(敞蓬车、平板车或厢式货车)以及机车的类型(蒸汽机车还是内燃机车)。6辨认小型或中型直升机的型号(如HELIXA、HELLXB和HELLXC，HINDD和HINDE，HAZEA、HAZEB和HAZEC。辨认EW／GCI／ACQ雷达天线的形状，是抛物面、有剪边的抛物面或矩形。辨别中型卡车的备用轮胎。辨别SA-6，SA-11和SA-17的导弹弹体。辨认在SLAVA级舰艇上SA-N-6导弹的每一个垂直发射器顶盖。辨认轿车和厢式旅行车。7辨认战斗机大小飞机(如FULCRUM，FOXHOUND)的附件和整流罩。辨认电子车辆的入口、阶梯和通风口。发现反坦克导弹的安装(如BMP-1上的SAGGER)。发现Ⅲ-F，Ⅲ-G和Ⅱ-H发射井和Ⅲ-X发射控制井顶盖的铰链机构细节。辨认在KIROV-，KARA-和KRIVAK级舰只上RBU的每个炮管。辨认铁轨的每个结点。8辨认轰炸机上的铆钉线。发现安装在BACKTRAP和BACKNET雷达顶部的角状和W状天线。辨认手持式地对地导弹(如SA-7/14，REDEYE，STINGER)。辨认TEL或TELAR的接点和焊点。发现安装在甲板上的起重机的卷扬机钢索。辨认汽车的雨刮器。9从飞机体表嵌板紧固件的一字槽中辨认十字槽。辨认天线罩连接导线的浅色调的小型陶瓷绝缘予。辨认卡车的车牌号。辨认导弹部件上的螺栓和螺钉。辨认编织绳索(直径在1-3英寸之间)。发现铁路线上的每一个道钉。可见光NIIRS分级标准(1994年3月)空军：侦察空军目标或设施的任务电子：侦察电子目标或设施的任务陆军：侦察陆军目标或设施的任务导弹：侦察导弹目标或设施的任务海军：侦察海军目标或设施的任务文化：侦察民用或文化设施的任务149等级判据0由于模糊、质量退化或空间分辨率极差无法解译。1在大型飞机场，根据配置和布局辨别跑道和滑行道。探测稠密森林中的火面积（例如，超过1km2)开阔区域。在开阔的水域探测远洋大型舰船（例如：航空母舰、超级游船、“基洛夫”巡洋舰）探测大面积的（例如，超过1km2）湿地或沼泽。2探测大型飞机（例如：C-141、波音707、“熊”轰炸机、“文豪”运输机）在城区探测单个的大型建筑（例如：医院、工厂）。辨别密林、稀疏林和开阔地。通过建筑和道路的图案辨认SS-25基地。基于大型功能区域的类型和格局辨别军用和民用港口设施3区分大型（如：C-141、波音707、“熊”轰炸机、空中客车A-300）和小型飞机（如：A-4、L-39）在热电厂中辨认连接烟囱与锅炉房之间的单根烟道。通过堑壕、警戒防护设施、混凝土掩体探测大型防空雷达阵地。在地面部队营区探测驾驶员训练场。辨认萨姆-5综合发射的独立功能区域(例如：发射井、电子设备部分、支持部分和导弹存储部分)。分辨大型(例如：超过200m)货船和游船。4辨认小型战斗飞机(例如：FROGFOOT、F-16、FISHBED)的机翼外形。在市区探测小型(例如：超过50m2)变电站。在电子设备工厂中探测大型(例如，直径超过超过10m)圆形屋顶。在部队营区中探测每一个内燃机车辆。在部队营区中探测发动引擎的SS-25导弹支撑搬运车。辨认大型商船上每个关闭着的货物舱门。等级判据5辨别单尾翼(例如：FROGFOOT、F-16、TORNADO)和双尾翼战斗机(例如：F-15、FLANKER、FOXBAT)。辨认室外网球场。辨认大型(例如，近似为75m)无线电中继塔的金属网格结构。探测堑壕内的装甲车辆。探测SA-10站展开的移动式电子设备塔(TET)。辨认大型(例如，超过200m)商船的货船形状(例如：方形、圆形、椭圆形)。6探测大型轰炸机(例如：B-52、“熊”轰炸机、BADGER)机翼上突出安装的装备(即空对地导弹、炸弹)。辨认柴油机车顶部的每个发热的出烟口。基于天线型式和间距辨别FIXFOUR和FIXSIX基地。区分发动引擎的坦克和装甲运兵车。区分双轨和4轨SA-3发射台。辨认潜水艇上的导弹发射舱口。7基于飞机前端形状区分MIG-23的地面攻击型和拦截型机种。辨认汽车为轿车还是厢式货车。辨认无线电中继站的反射面天线(直径小于3m)。辨认SA-6上装运机的导弹转运起重机。在没有装载导弹时区分SA-2／CAS-1和SCUD-B导弹索引车。在码头探测船只泊停板或系船柱。8辨认歼击机FISHBEDJ／K／L背部的滑块式(RAM)空气进气口。辨认单兵的肢体(例如：胳膊、双腿)。辨认雷达天线上水平的和垂直的单根桁肋。探测坦克炮塔上关闭的舱口。根据半自动拖车前部单个或成对的配件，区分油料和氧化剂多系统推进剂运输车。在甲板边缘的救生道上辨认单根立柱和围栏。9辨认战斗机的进出舱口。在轻型敞棚卡车里辨认货物(例如：撅铲、搂耙、梯子)。根据小型振子单元的存在与否区分BIRDSEYE和BELLLACE天线。辨认装甲车上舱口铰链。辨认SA-2／CSA-1导弹上单个带状制导天线。辨认舱壁梯子上的每个梯蹬。红外NIIRS分级标准(1996年4月)均值：均值越大说明图像含信息量越高。标准差：反映图像灰度相对于灰度均值的离散情况。标准差大，则图像灰度级分散，图像反差大，信息量丰富。熵：熵越大说明整体图像的信息含量高融合图像的整体质量评价融合图像的整体质量评价

融合图像的整体质量评价空间频率——

基于清晰度的评价其中，RF和CF分别表示空间行频率和列频率SF

越大，说明融合图像越清晰。融合图像与源图像的关系评价互信息之和——基于信息量的评价

F为融合图像，A、B为原始图像。融合图像与源图像的互信息之和越大，表示融合图像从源图像获取的信息越丰富，融合效果越好。互信息和有时也被称为FusionFactor（FF）融合图像与源图像的关系评价FusionSymmetry（FS）——基于信息量的评价互信息和高，并不能表示融合图像的信息均衡（对称）地来自于两幅源图像FS可以表征图像融合过程中信息来源的对称性。

FS越小，表示融合图像过程越均衡。如果某一图像源较差，互信息和高更重要。如果两个图像源均具有高像质，则