多传感器图像融合方法

多传感器图像融合方法 摘要 摘要 多传感器图像融合是指针对多个传感器采集的关于同一目标或场景的图 像进行适当的处理 产生一幅新的图像 使之更适合人眼感知或计算机后续处 理 每一种传感器是为了适应特定的环境和适用范围设计的 具有不同的特征 或不同视点的传感器获取的图像间既存在冗余性又存在互补性 通过对其融合 能有效提高系统的可靠性和图像信息的利用效率 本文介绍了图像融合基本概 念 包括融合系统结构 传感器性能特点 常用融合方法 并分别从定量与定 性的角度对融合图像质量的评价标准做了详细的介绍 关键词 关键词 图像融合 评价标准 多传感器信息融合是指对来自多个传感器的信息进行多级别 多方面 多 层次的处理与综合 从而获得更丰富 更精确 更可靠的有用信息 其中 Edward 和James LlinaSll J对信息融合给出了如下定义 信息融合就是一种多层次的 多方面的处理过程 这个过程对多源信息进行检测 结合 相关 估计和组合 以达到精确的状态估计和身份估计 以及完整 及时的态势评估 从八十年代 初至今 多传感器信息融合特别是多传感器图像融合已引发了世界范围的广泛 兴趣和研究热潮 它在自动目标识别 计算机视觉 遥感 机器人 医学图像 处理以及军事应用等领域有着广泛的应用前景 多传感器图像融合就是利用各 种成像传感器得到的不同图像 综合不同图像的互补信息和冗余信息 以获得 更为全面更为准确的图像描述 例如 红外图像和可见光图像的融合可以更好 地帮助直升机飞行员进行导航 CT和核磁共振 MPd 图像的融合处理为临床诊断 提供可靠的信息 一 图像融合技术的发展与现状 多传感器图像融合技术最早被应用于遥感图像的分析和处理中 1979年 Daliy等人首先把雷达图像和Landsat MSS图像的复合图像应用于地质解释 其 处理过程可以看作是最简单的图像融合 到80年代中后期 图像融合技术开始引起人们的关注 陆续有人将图像融 合技术应用于遥感多谱图像的分析和处理 90年代以后 随着多颗遥感雷达卫星JERS 1 ERS 1 Radarsat等的发射 升空 图像融合技术成为遥感图像处理和分析中的研究热点之一 近二十年来 国际上在图像融合的不同层次上开展了大量的模型与算法研 究 提出了各种形式的系统 美国计划在2010年研制出覆盖射频 可见光 红 外波段公用孔径的有源 无源一体化基于图像与数据融合的探测器系统图像融 合技术无疑具有良好的发展前景 近年来 图像融合在应用方面有了一定的发展 2005年lO月4日 由我国和 巴西联合研制的 资源一号 卫星发射升空 卫星上安装了我国自行研制的CCD 相机和红外多光谱扫描仪 这两种航天遥感器之间可进行图像融合 大大扩展 了卫星的遥感应用范围 二 多传感器图像融合基本概念 2 1 图像融合的定义 图像融合就是指对采用一定算法 把两幅或多幅具有互补信息的源图像融 合成一幅新的图像 它可使得新图像更加适合人的视觉感知 或者满足诸如图 像处理中的分割 特征提取 目标识别的需要 图2 1说明了两传感器的互补 与冗余信息关系 由于技术的进步 不断出现了多种新的传感器 将这些成像传感器进行适当 的组合 将会改善整个信息处理系统的性能 虽然每一种传感器在特定的工作 条件和工作范围内 在每种程度上是最佳的 但是它却不能获得人或者计算机 在检测目标时所需要的全部信息 因此 对于这些具有不同特性的传感器进行 有效的集合 将会扩展其中任何一个的能力 最终合成的图像将包含更加完整 和详细的内容 这对于图像处理正作将会带来很大的帮助 2 2 多传感器图像融合系统的一般结构 图像融合需要前期的预处理 它包括几个方面 配准 校正 去噪声等 在完成几何校正 噪声消除及图像配准后是真正的图像融合过程 图像融合一 般 可以分为像素级融合 特征级融合和决策级融合三个级别 融合的水平依次由 低到高 图2 2给出了图像融合的三个层次示意图 像素级融合 像素级融合是直接在采集到的原始图像数据层上进行的融合 人眼对颜色信息的融合就是典型的像素级融合 像素级图像融合是最低层次的 图 像融合 该层次的数据融合准确性最高 能够提供其它层次上所不具备的细节 信 息 但是需要处理的信息量大 像素级融合也称数据级触合 是高层次图像融 合 的基础 也是目前图像融合研究的重点之一 本文所研究的融合方法都是像素 级 融合方法 特征级融合 特征级融合是在信息处理的中间过程中进行的融合 它是指 在 对经过预处理的数据进行特征提取的基础上 进行综合分析和处理 其输入输 出 均为特征 典型的特征有边缘 拐点 线条等 决策级融合 决策级融合是在对采集到的数据己独立完成了决策或分类任 务 的基础上 模仿人的思维借助一定的规则或特定的算法对各个判别结果进行组 合 判断 在决策级融合中 首先采用局部分类器对目标的各个特征进行分类 得 到了各局部分类器对目标的判决 然后采用贝叶斯推理 神经网络法技术等决 策融 合技术对各局部决策进行融合得到目标的准确判别 表2 1给出了不同融合层次其性能特点的比较情况 从表中及前面所介绍 的内容可以看出 像素级图像融合是最重要 最根本的多传感器图像融合方法 其获取的信息量最多 融合性能最好 在图2 3的模型中 分别对要融合的图像进行数学变换 然后 在变换域内 对图像数据依据某种规则进行处理 以实现两者的有机组合 之后 再进行数 学反变换 从而得到融合的图像 变换域内 图像数据的处理规则 因融合目 的的不同而有所不同 图像像素层融合处理与特征级融合 决策级融合最大的区别是 在对两幅 图 像进行融合处理之前 首先要对其进行严格的配准 图像配准是指同一目标的两幅图像在空间位置上的对准 图像配准的技术 过 程 称为图像匹配 或者图像相关 图像配准涉及许多相关知识领域 如图像 预处理 图像采样 图像分割 特征提取等 常用的基于灰度的图像配准方法 有 空间相关法 频域相关法等 基于灰度的图像配准方法具有精度高的优点 但 也 存在一些缺点 1 对图像灰度变化比较敏感 在非线性光照变化时 将大大降低算法的性 能 计算的复杂度高 运算所花费的时间比较多 2 对目标的旋转 形变等没有很好的适应性 基于特征的图像配准方法有两个重要环节 特征提取和特征匹配 可以选取的 特征包括 点 线以及区域等 特征匹配一般采用互相关来度量 但互相关对 旋转比较困难 最小二乘法匹配算法和全局匹配的松弛算法能够取得比较理想 的结果 小波变换 神经网络和遗传算法等新的数学方法的应用 进一步提高 了图像配准的精度和运算速度 与基于灰度的图像配准方法相比 基于特征的 图像配准方法有以下几优点 1 特征点的提取过程可以减少噪声的影响 对灰度变化 图像变形等有较 好 的适应能力 2 特征点的匹配度量对位置的变化比较敏感 可以提高匹配的精确程度 3 图像的特征点比图像的像素点要少的多 可以减少匹配的计算时间 2 3 融合系统中多传感器的特点 现实世界中传感器多种多样 它们有其自身的物理及其成像特点 任何单 一传感器成像都可以看成对输入信号的响应 输出图像或信号即是响应结果 常用图像融合传感器及其特点如表2 2所示 各种传感器组合及其效果如表2 3所示 2 4 几种常用多传感器图像融合方法 像素级多传感器图像融合方法是目前研究比较深入的 已有的融合算法种 类繁多 主要分为变换域和非变换域的融合方法 常用非变换域的图像融合方法 1 平均法或加权平均法 对源图像进行平均计算提高了融合图像的信噪 但降低了对比度 加权平均方法中 加权系数的选择要考虑信息的冗余与互补 性 可采用主分量分析法 2 伪彩色融合方法 在灰度图像中 人眼只能同时区分出由黑到白的十 种到二十几种不同的灰度级 而人眼对彩色的分辨率可达到几百种甚至上千种 基于人眼视觉的这一特点 可以将图像中的各种灰度级变成不同的彩色 以便 提取更多的信息 A M Waxman等人采用伪彩色融合技术对热红外图像和电视 图像进行融合 该算法利用了人眼视觉感受野的中心一周边型模型 彩色视觉 的单颉颃和双颉颃模型 常用变换域图像融合方法 1 图像金字塔 LP 法 依据融合目的 利用特征选择规则和待融合图像 金字塔表示 来构建一个融合的金字塔表达式 对融合后的金字塔表达式进行 金字塔反变换 得到一个融合后的图像 2 小波变换法 小波变换是傅立叶变换发展的新阶段 它具有紧致性 正 交性 方向可选择性 这些优良特性是小波变换成为图像融合的一种强有力工 具和手段 小波变换的多分辨分解特性符合人类的视觉机制 与计算机视觉中 由粗到细的认识过程十分相似 非常适用于图像融合 3 Contourlet变换法 Contourlet变换是基于LP分解和方向滤波组DFB结 合 的图像变换法 它解决了小波变换只能捕获水平 垂直 对角三个方向信息的 问题 是真正意义上的多尺度多方向变换 其反变换也易于实现 在图像融合 中有很大的发展前景 2 5 多传感器图像融合方法的性能评价 图像融合效果的评价问题是一项重要而有意义的工作 如何评价融合效果 即如何评价融合图像的质量 是图像融合的一个重要步骤 但目前还缺乏一种 对融合效果进行系统 全面的评价方法 国内外对该问题的研究相对较少 目 前的融合效果评价中 主要有主观评价法和客观评价法两种 融合图像质量的主观评价方法 假若人是图像的观察者 图像质量的含义主要包括两个方面 是图像的 逼 真度 Fidelity 另一个是图像的可懂度 Intelligibility 多少年来 人们 总是希望能够给国图像逼真度和可懂度的定量测量方法 以作为评价图像质量 和设计图像系统的依据 但是由于目前人们对人的视觉系统还没有充分认识和 掌握 对人的心理因素还找不出定量描述的方法 因此这个问题一直没有很好 的得到解决 融合图像质量的客观评价方法 为了克服主观评价中人眼视觉系统 心理状态 知识背景等因素带来的不 确 定性 实际融合效果评价多采用客观评价 客观评价通过对各融合图像统计参 数 的计算来进行判定 比较各种融合方法的优劣 为了定量评价融合图像的效果和质量 假设参加融合的两个源图像分别为 A B 图像大小为MXN 经融合处理后得到的融合图像为F 特定义了以下几个 评价参量 1 熵 Entropy 图像的熵值是衡量图像信息丰富程度的一个重要指标 熵值的大小表示图像平均信息量的多少 如果融合图像的熵越大 可以认为 融合图像的信息量增加 融合图像所含的信息越丰富 融合质量越好 2 互信息量MI Mutual Information 评价图像融合效果的一个重要指 标是看融合图像从源图像中获得了多少信息 互信息量是信息论中的一个重要 指标 可作为两个变量之间相关性的度量 或一个变量包含另一个变量的信息 量的量度 互信息量是反映融合效果的一种客观指标 它的值越大表示融合图 像从源图像中获褥的信息越丰富 融合效果越好 它可以更准确地评价融合效 果的优劣 3 平均梯度 平均梯度 即图像清晰度 可敏感地反映图像对微小细节反 差的表达能力 可用来评价图像的清晰程度 同时还反映图像中微小细节反差 和纹理变换特征 4 标准差d 标准差反映了图像灰度相对于灰度平均值的离散情况 在某 种程度上 标准差也可用来评价图像反差的大小 若标准差大 则图像灰度级 分布分散 图像的反差大 可以看出更多的信息 标准差小 图像反差小 对 比度不大 色调单一均匀 看不出太多的信息 5 交叉熵 Cross entropy 亦称相对熵 Relative entropy 交叉熵可用 来表示两幅图像之间的差异 交叉熵越小 表示图像差异越小 6 相关系数C Correlation coefficient 图像的相关系数 又称为相似性 度量 它反映了两幅图像的相