遥感信息融合

遥感影像融合 参考书目 1 徐青 张艳 耿则勋等 遥感影像融合与分辨率增强技术 科学出版社 2007 一 多源遥感影像数据融合概念 多源遥感影像数据融合 是将同一环境或对象的多源遥感影像数据综合的方法或工具的框架 以获得满足某种应用的高质量信息 产生比单一信息源更精确 更完全 更可靠的估计和判决 多源遥感影像数据融合的理解 1 融合的对象不仅仅是遥感图像 还包括其他非图像形式的遥感数据 如数字地图 GPS导航信息 地理信息等 2 强调了要产生高质量的信息 融合后产生的信息必须能够比原始数据更好地满足用户的需要 3 融合的目的 就是要产生比单一信源更精确 更完全 更可靠的估计和判决 多源遥感影像数据融合的优点 1 可靠的数据来源 某些传感器不能被利用或被干扰 或某个目标 事件不在覆盖范围内时 至少有一种传感器可以提供图像信息 2 增加测量维数 增加了置信度 利用对同一目标的多波段 多时相 多角度的图像数据可以更全面地揭示目标的本质特性 提高目标判别结果的可靠性 3 容错性好 性能稳定 4 改进探测性能 增加响应的有效性 各个传感器信息的有效互补 对某个目标 事件产生更全面的响应 5 提高了空间分辨率 6 降低了对单个传感器的性能要求 多源遥感影像数据融合技术分类1 增强光谱信息的图像融合技术高空间分辨率的影像光谱分辨率低 多光谱或高光谱影像光谱分辨率高 但空间分辨率低 两者融合以提高多光谱或高光谱影像空间分辨率 以及高空间分辨率影像的光谱分辨率 2 增强几何信息的图像融合技术即超分辨率技术 从一系列低分辨率图像复原 或重建 出更高分辨率的图像 多源遥感影像数据融合技术分级像素级 特征级 决策级 1 像素级融合直接在采集到的原始图像数据层上进行 在各像元一一对应的前提下进行图像像元级的合并处理 以改善图像处理的效果 像素级融合目的 图像增强 图像分割和图像分类 为图像人工判读或更进一步的特征层融合提供良好的基础数据 优点 能保持尽可能多的现场数据 提供其他融合层次所不能提供的细微信息 局限性 效率低 高精度配准 分析能力差 抗干扰性差 2 特征级融合首先对来自不同传感器的原始信息进行特征抽取 然后对从多传感器获得的多个特征信息进行综合分析和处理 以实现对多传感器数据的分类 汇集和综合 融合结果能最大限度地给出决策分析所需要的特征信息 特征信息就是像素信息的充分表示量或充分统计量 包括目标边缘 方向 运动速度等 应用 在指挥 控制 通信和信息系统中常用 特征级融合分类 1 目标状态数据融合 首先通过融合系统对传感器数据进行预处理以完成数据校准 再实现主要参数的状态向量估计 用于多传感器目标跟踪 2 目标特性融合 即特征层联合识别 就是采用模式识别等相关技术 在融合前对特征进行相关处理 从而把特征向量分类成有意义的组合 特征级融合主要方法贝叶斯估计法 Dempster shafer推理法 聚类分析法 神经网络法 3 决策级融合是一种高层次信息融合 其结果将为各种控制或决策提供依据 决策级融合必须结合具体的应用需求特点 有选择的利用特征级融合所抽取或测量的有关对象的各类特征信息 才能实现决策级别融合的目标 方法 贝叶斯估计法以 神经网络法 模糊聚类法 专家系统 背景 空间分辨率与光谱分辨率是一对矛盾 如何增强高空间分辨率影像的光谱信息 或者是如何增强高光谱分辨率影像的空间分辨率 属于像素级的影像融合技术 像素级 融合的基本思路对多源影像进行空间配准 当空间分辨率不同时 要求配准后空间分辨率保持一致 将多光谱影像按某种变换方法分解成不同级别的子影像 然后采用某种融合方法进行处理 将处理后的子影像进行逆变换 得到融合后的影像 二 增强图像光谱信息的数据融合方法 像素级融合方法 代数运算法 基于空间变换的方法 基于金字塔式分解和重建的融合方法 加权融合法 比值融合法 高通滤波法 Brovey变换融合法 IHS变换融合法 PCA变换融合法 YIQ变换融合法 Lab变换融合法 拉普拉斯金字塔融合法 梯度金字塔融合法 小波变换融合法 像素级融合的方法 一般塔式融合方法 一 代数运融合法1 加权融合法 基于像元的加权和方法对两个波段影像进行融合 例 SPOT全色影像与其多光谱影像融合 1 对两幅影像进行配准 并将多光谱影像重采样 与全色分辨率相同 2 计算全色波段与第j个波段影像的相关系数Rj3 将全色波段影像与第j个波段影像按下式组合 融合的效果主要与权值有关 权值选取得当 可以获得较好的效果 金剑秋 2002 提出了一种基于人类视觉系统的自适应加权平均融合法 就是根据相应像元领域内的能量 方差和熵来确定权值 得到具有较强真实感的融合图像 1 2 比值融合法 对于多光谱影像而言 比值处理可将反映地物细节的反射分量扩大 不仅有利于地物的识别 还能在一定程度上消除太阳照度 地形起伏阴影和云影等的影响 比值融合算法 Munechicka 1993 2 3 Resolutionenhancementofmultispectralimagedatatoimproveclassificationaccuracy 3 高通滤波法 就是将高空间分辨率图像中的高频信息 细节 边缘 提取出来 叠加到低分辨率高光谱图像中 首先采用高通滤波器提取高空间分辨率图像中空间信息的高频分量 去掉了大部分的低频信息 然后将高通滤波结果加入到低分辨率光谱图像中 形成高频特征信息突出的融合影像 高通滤波融合算法 式中 Fk i j 表示第k波段像素 i j 的融合值 Mk i j 表示低分辨率多光谱影像第k波段像素 i j 的值 HPH i j 表示高空间分辨率图像在高通滤波后的高频图像像素 i j 的值 4 4 Brovey变换融合法 它是为RGB影像显示进行多光谱波段颜色归一化 将高分辨率全色与各自相乘完成融合 融合算法 方法简单 但存在一定的光谱扭曲 同时没办法解决波谱范围不一致的全色影像和多光谱影像融合的问题 5 二 基于空间变换的融合方法1 IHS变换融合法 IHS变换可以把影像的亮度 色调 度 和饱和度分开 影像融合只在亮度通道上进行 影像的色调和饱和度保持不变 基本数据处理步骤 1 将全色影像和多光谱影像进行几何配准 并将多光谱影像重采样 与全色分辨率相同 2 将多光谱影像变换到IHS空间 RGB空间变换到IHS空间 3 对全色影像和IHS空间中的亮度分量I进行直方图匹配 得到新的全色影像I 4 用全色影像I 代替IHS空间的亮度分量 即得到I HS 5 将I HS逆变换到RGB空间 即得到融合影像 不足 扭曲了原始的光谱特性 产生了光谱退化现像 同时 该方法只能同时对多光谱影像的3个波段进行融合 RGB到IHS的转换 M R G B中的最大值m R G B中的最小值 IHS到RGB的转换 m 2 I M 2 PCA变换融合法主成份分析 PrincipalComponentsAnalysis PCA K L变换 Karhunen Loeve 主成份分析可以用作数据压缩的一种方法 也可以用于影像融合 它可以将多光谱影像压缩为较少的波段 也就是谱空间的维数可以被减少 通过主成份变换得到的各波段影像间是不相关的 更容易被解译 主成份变换核心 将相关性较高的多波段影像数据变换为相互垂直 不相关的多波段影像数据 2个波段影像的散点图 如果影像灰度服从正态分布 散点图的形状为椭圆 ellipse 如果是3波段 则为椭球 ellipsoid 如果是3波段以上 则为超椭球 hyper ellipsoid PCA变换原理 以2个波段数据为例 PCA变换 经过坐标轴旋转 平移操作 将每一像素在光谱空间 Spectralspace 的坐标 各波段的灰度值序列 变换到新的坐标空间 椭圆的长 短轴分别对应于第一 第二主成份 其长度 方向分别由特征值 eigenvalue 特征向量 eigenvector 所决定 第一分量 第一主轴 对应的灰度值波动范围最大 表明其包含最丰富的信息 主成份变换的数学实现 坐标轴的平移 旋转通过线性变换 Lineartransform 实现 主成份变换基于多光谱影像 波段数为n 的协方差矩阵来完成 Cov 波段间的协方差矩阵 EV 特征向量矩阵 E 主成份变换后的协方差矩阵 是一个对角阵 对角线元素称为特征值 它表示某个主成份的方差 非对角线元素为各主成份之间的协方差 非对角线元素均为0 这表示各主成份之间的协方差为0 即各主成份彼此间没有关联 相互独立 对于像元 i j 在某个主成份p中的值Pi j p为 BVi j k 像元 i j 在第k个波段中的亮度值 k 1 2 n 主成份变换为线性变换过程 例 有某地区landsatTM的7个波段影像 方差 协方差矩阵 Componentp 特征向量 EV 矩阵 Componentp 特征值 p 矩阵 第一个像元 1 1 在7个波段中的值为 第一个像元 1 1 在第1主成份中的值为 每个主成份所占信量 依据特征值计算 上例中 7个主成份所占的信息量 第一主成份包含最丰富的信息 某个主成份P代表的各波段信息的贡献量 或各波段信息分解到各主成分上的信息量 依据主成份P与每个波段k的相关系数计算 上例中 各个主成份所代表的各波段信息的贡献量 该矩阵又称特征矢量矩阵 Componentp 基于主成份变换的影像融合方法 1 对多光谱影像进行主成份变换 变换后的第一主成份含有变换前各波段影像的综合信息 而各波段中其余对应的部分 被分配到变换后的其它波段 2 将高分辨率影像和第一主成份进行直方图匹配 使高分辨率影像与第一主成份影像有相近的均值和方差 3 用直方图匹配后的高分辨率影像代替主成份中的第一主成份 然后与其余主成份一起进行主成份逆变换 最终得到融合影像 3 YIQ变换融合法 什么是YIQ 跟IHS一样 是一种颜色系统 是用于电视信号传输NTSC制式的彩色编码系统 Y是亮度信息 通过基于人眼视觉敏感特征对图像R G B波段的加权平均而获得 I Q分量反映了图像与硬件相关的彩色信息 YIQ的正 反变换关系式YIQ变换融合算法YIQ变换融合法与IHS变换融合法一样 不足 与IHS变换融合法一样 扭曲了原始的光谱特性 产生了光谱退化现像 并且只能同时对多光谱影像的3个波段进行融合 三 基于金字塔式分解和重建的融合方法 是一种在多尺度 多空间分辨率上进行的图像融合方法 它可以在不同尺度 不同空间分辨率上有针对地突出各