数字图像处理（matlab版）第八章 图像融合算法.pdf

第八章 图像融合算法第八章 图像融合算法 8 1 图像融合技术的发展过程 随着科学的发展和技术的进步 采集图像 数据的手段不断完善 出现了各种新的图 像获取技术 如今 图像融合方法已经运 用于社会的很多领域 像遥感卫星图像 光图像 红外图像 医学图像 尤其是多 传感器图像融合应用以来 它已成为计算 机视觉 目标识别 机器人以及军事等方 面研究的重要方面 8 2基于小波变换图像融合的基本原理 如果一个图像进行L层小波分解 我们将得到 3L 1 层 子带 其中包括低频的基带 和层的高频子带 用代表源图像 记为 设尺度系数和小波函数 对应的滤波器系数矩阵分别为 则二维小波分解算法 可描述为 j C 3L hvd DDD和 f x y 0 C x x HG与 1 1 1 j h jj v jj d jj CHC H DGC H DHC G DGC G j 1 0 1 1 jJ 8 1 小波重构算法为 基于二维DWT的融合过程如图1 1所示 ImageA和 ImageB代表两幅源图像A和B ImageF代表融合后的图 像 具体步骤如下 1 图像的预处理 1 hvd jjjjj CH C HG D HH D GG D G 1 1 jJ J 8 2 图8 1 基于DWT图像融合过程 图像滤波 图像配准 2 对ImageA和ImageB进行二维DWT分解 得到图像的 低频和高频分量 3 根据低频和高频分量的特点 按照各自的融合算法进 行融合 4 对以上得到的高低频分量 经过小波逆变换重构得到 融合图像ImageF 8 3 融合效果性能评价指标 8 3 1均值和标准差 用表示图像中第 x y 个像素的灰度为g 为图像灰度级数 图像尺寸为 则图像的灰 度均值可以表示为 设一幅图像的灰度分布为 为灰度等于 g 的像素数与图像 总的像素数的比值 且 其灰度标准差的定义为 8 3 2熵 G x y g L Row Column 11 1 Row Column xy G x y Row Column 8 3 1 2 0 L g g gp g 8 4 图像的信息熵是衡量图像信息丰富程度的一个重要指标 表示图像所包含的平均信息量的多少 融合图像的熵值越 大 说明融合图像携带的信息量越大 信息就越丰富 1 2 0 log L g ENp gp g 8 5 8 3 3平均梯度 平均梯度用来表征图像的清晰度 反映图像质量的改进 及图像中微小细节反差和纹理变换特征 平均梯度越大 及图像中微小细节反差和纹理变换特征 平均梯度越大 图像的平均梯度定义为 8 3 4 互信息 互信息量是信息论中的一个重要概念 可作为两个变量之 间相关性的量度 或一个变量包含另一个变量的信息量的 量度 两图像A 和B的互信息可以定义如下 这里为边缘概率密度函数 为联合概率密 度函数 它们可以由下式得到 1 2 22 11 1 Row Column xy xy AGGx yGx y Row Column 8 6 MI A BH AH BH A B 2 log AB A BABA BAB gg H A BPggPgg 8 7 8 8 AABB P gP g A BAB Pgg h是这两幅图像的联合直方图 它是一个二维的矩阵 AB AB A BAB AB gg h gg Pgg h gg 8 9 B AAAB g P gh gg A BBAB g P gh gg 8 10 8 11 0 0 0 1 0 1 1 0 1 1 1 1 1 0 1 1 1 1 A A BBBA hhhL hhhL h h Lh Lh LL 8 12 是矩阵h的元素 的值表示在图A中具有灰度值为 在图B中具有灰度 值的相关点对的个数 图像融合评价中的互信息可定义为 8 3 5归一化指标 设表示第个指标 归一化指标定义如式 8 14 所示 其中 表示中的最小值 表示 中的最大值 AB h gg 0 1 0 1 AABB gLgL AB h gg A g B g AB F MMI F AMI F B 8 13 i Q min i 1 2 3 I max min ii i ii QQ QQ 8 14 min i Q i Q iI max i Q i Q iI 8 4 高频融合方法研究 8 4 1均值法 对两幅源图像进行小波分解 获取需要的小波系数 对相 应的像素进行比较取均值 获取的系数通过小波逆变换重 构出图像 表示多焦距图像的数目 表示各图像的加权系数 1 2 3表示水平 垂直和对角线的小波分解系数 表示第k幅图像在的第层小波分解系数 表示融合图像在的第层小波分解系数 1 0 5 K ii Jkk Jk k Fx ycDx yc 其中 8 15 K k c i i k J Dx y i J Fx y 实验结果如图8 2 a 所示 可见 取平均值的 方法使图像变平滑 对低频的处理较为可靠 但 细节部分缺乏完整的表征 融合后感兴趣的高频 信息丢失严重 图像模糊不易于识别 不是一种 可靠的融合方法 图8 2 不同图像融合效果 a b 8 4 2最大值法 在图像小波分解 绝对值较大的小波系数对 应于图像较大的边缘等特征 而人眼对于这 些特征比较敏感 其中 表示对小波分解系数 取绝对值 表示对K个小波分解系数取最大值 max ii Jk J K Fx yabs Dx y 8 16 i k J abs Dx y i k J Dx y max i k J K D 实验结果如图2 2所示 可见取最大值 的方法能很好的图像显示每个源图像 的高频信息 效果较好 然而却容易 引起高低频边缘的失真 出现条纹现 象等 特别是在两幅源图像质量差别较 大的地方 出现明显的融合痕迹 8 4 3基于区域的最大值法 此方法中 每个像素点和周围相关各点被同时考虑 融合 图像的每个像素点处于考察区域的中心 将高频子带的参 考区域内各个高频系数的绝对值进行求和 比较两幅源图 像中各个高频子带对应区域的和 并选取和最大的区域中 心的像素点作为融合图像的高频系数 其中 表示第k个图像的像素 x y 在J尺度下 的分解系数 表示水平 垂直 对角线的分解系数 max ii Jk J K m M n N Fx yabs Dxm yn 8 17 i k J Dx y 1 2 3i 8 4 4基于区域能量的图像融合方法 基于区域能量融合的思想是 对待融合图像进行二维小波分 解 计算待融合图像高频成分的区域能量及匹配度 然后 比较匹配度与给定阈值以及待融合图像区域能量的大小 决定采用选大选小融合法还是区域中值加权法 1 区域特征的定义 表示高频系数矩阵中以为中心的区域大小为的 能量 定义为 i J Ex y x y MN 2 ii Jk J m M n N Ex yDxm yn 8 18 的变化范围在之内 区域大小一般 等 区域中值的定义为 小波分解后的高频图像以区域特征的能量作为融合算子 定 义两幅图像对应区域能量的匹配度为 2 高频融合规则 1 计算ImageA和ImageB两幅图像高频分量的小波系数矩阵 的区域能量 区域中值和匹配度 m n3 35 57 7 或 i k Ji J m M n N Dxm yn MEDx y MN 8 19 2 ii A JB Ji J ii m M n N A JB J Dxm ynDxm yn Matchx y Ex yEx y 8 20 i A J E i A J E i J MED i J Match 2 选取高频图像匹配度阈值 一般取 3 若 则融合后的高频系数为 若 则融合后的高频系数为 图8 3中 a b c d 分别是以office一组图 如 图8 12 a b 所示 在取 的仿真图像 0 5Thr i J MatchThr iii JA JB J i J iii JA JB J Dx yEx yEx y Fx y Dx yEx yEx y 2 ii A JB Ji J MEDx yMEDx y Fx y 8 22 0 5 0 6 0 7 0 8Thr a b c d 图8 3 基于区域能量融合方法中不同阈值仿真图 8 4 5基于边缘强度的自适应融合法 1 边缘强度定义 用表示第k个图像的像素 x y 在J尺度下的分 解系数 窗口大小取为 边缘强度定义为 其中表示第k个图像的像素 x y 在J尺度下 的区域中值 定义见式 8 19 图8 5中 a 和 b 分别是窗口取的仿真图像 从融合 图像可以看出 窗口为的融合图像由于考察图像边缘强度 的范围增大 使得图像融合的整体性更好 融合痕迹得到 更大的抑制 i k J Dx y MN 1 ii k Jk Ji k J m M n N Dxm ynMEDx y Ex y MN 8 23 i k J MEDx y 8 4 6基于PCNN的图像融合方法 8 4 6 1 PCNN的基本模型 PCNN 是由若干个PCNN 的神经元互连所构成的反馈型网 络 其每一神经元由三个部分组成 分支树 链接器和脉冲 产生器 模型如图8 5所示 Wkj Mlj Mkj adjust vjT threshold jT Wlj l Yj Yl Yk Jj Ij ljL kjL ljF kjF j Lj Fj j Uj 图8 6 PCNN基本模型 PCNN的数学模型可以描述为 exp exp 1 F jkjkjkj k L jkjkjkj k jjjj TT jjjjj jjj FMtY tI LWtY tJ UFL V Y t Y tsetp U 8 24 8 4 6 2 图像融合中的PCNN设计 数字图像应用中的PCNN是一个单层的二维横向连接的脉 冲耦合神经元 神经网络中的神经元数与输入图像的像素 数相等 神经元与图像的像素点一一对应 每个像素点与 唯一的一个神经元相联 每个神经元与周围的神经元相 联 图像融合中的PCNN可以用下面的式子描述 exp 1 1 1 kk ijij kk ijLijLij mnmn m n kkk ijijij FnI L nL nVWYn UnFnL n exp 1 1 8 25 1 0 kkk ijijij kk ijijk ij nnV Yn if Unn Yn otherwise 8 4 6 3 基于PCNN的高频融合算法实现 PCNN融合方法可以按如下方法进行 1 表示源图像ImageA和ImageB的第层小 波分解系数 2 归一化在之间 并将归一化的值作为 F通道输入激励PCNN网络 3 初始化 可以 看出 初始状态时像素点都没有着火 即 产生脉冲数 4 根据式5 1 5 5计算 ii A JB J Ix yIx y和 ii A JB J Ix yIx y和 0 1 i J Fx y 0 0 0 ii JJ Lx yUx y 0 1 i J x y 0 0 i J Yx y 0 0 i J Tx y iiii JJJJ Lx y nUx y nx y nYx y n 5 进行脉冲次数统计 6 如果 回到步骤4 如果 迭代结束 融 合系数按照如下原则选取 7 将作为小波分解子图的小波分解系数进行 重构 仿真试验中 取PCNN参数为 神经元的连接范围为 卷积算子 1 0 iiii JJJJ Tx y nTx y nYx y nTx y n 其中已初始化为 max n N max n N max max max max 8 26 iiii F JA JA JB xy J iiii F JB JA JB xy J Ix yIx yTx y NTN Ix yIx yTx y NTN 如果 如果 1 2 3 i F J Ii 0 1 0 2 1 0 200 2 LL VV 和 3 3 11 1 22 101 11 1 22 W 实验结果如图8 7所示 a b c d e f 图8 7 PCNN融合方法中迭代不同次数的图像 图8 7中 a f 分别是迭代的仿真图像 图8 8是不同迭 代次数下各个指标的比较 0 0 2 0 4 0 6 0 8 1 1 2 10100500200030005000 迭代次数Nmax 归一化指标 平均值 标准差 平均梯度 熵 互信息 图2 8 PCNN融合方法中迭代不同次数比较 8 4 7 改进的PCNN图像融合方法 首先定义两幅图像PCNN脉冲次数的相似程度 即匹配度 高频系数的选取规则 max max 22 max max 2 ii A JB Ji J ii A JB J Tx y NTx y N Mx y Tx y NTx y N 8 27 max max max max max 8 2 iiii A JJA JB xy J iiiii F JB JJA JB xy J iii AA JBB JJ i A J A i A J Ix y Mx yTx y NTN Ix yIx y Mx yTx y NTN CIx yCIx y Mx y Tx y N C T th th th T 且 T 且 8 T 其中 max max max max max i B J B iii B JA JB J Tx y N C x y NTx y NTx y NTx y N 由于式4 18具有平滑图像的作用 可以看出 如果满足的 元素越多 图像中被平滑的部分越多 通过取不同的我们 统计得到被平滑的像素点与关系如图2 7所示 图8 9 与平滑的像素点关系图 th T 为比较不同下的融合效果 我们取不同的阈值进行融合比 较 图8 10中 a d 是取阈值分别为0 5 0 8 0 95 0 99的融合结果 a b c d th T 图8 10 8 4 8 高频域内不同融合方法比较 高频域融合算法比较 0 0 2 0 4 0 6 0 8 1 1 2 平均值标准差平均梯度熵互信息 归一化指标 最大值法 区域最大值 区域能量 边缘强度 PCNN 改进PCNN 图8 11 不同高频融合方法的比较 16 18407 48539 031361 322981 4086方法7 16 17377 48339 186961 341181 4193方法6 16 21787 49078 444861 015681 3924方法5 16 18097 48759 002861 308381 4135方法4 16 17807 48339 111961 329281 4198方法3 16 17297 48269 181961 340781 4191方法2 16 45267 50105 601059 218381 3741方法1 互信息熵平均梯度标准差平均值高频域融合方 法 表8 2 不同高频融合算法比较 8 5 低频融合方法 8 5 1低频平均法 图像模糊是由于其细节信息 高频信息 丢失较多 而整 体信息 低频信息 则保持较好 对于一个目标的多聚焦 图像 对应区域的低频分量几乎是相同的 由于两幅源图 像的低频信息在小波变换过程中保存较好 因此融合图像 的低频分量可通过对小波分解后的低频系数求平均的方 法 1 0 K J k J Ck C K 8 29 8 5 2基于低频边缘的选择方案 对图像A的尺度系数定义一个变量 其中 表示卷积 变量E在一定程度上反映了图像在水平 垂直和对角线方 向的边缘信息 为了较好地保留源图像的细节 可对两幅 图像的尺度系数计算出变量E E较大的尺度系数作为合成 图像的尺度系数 A E 222 1 2 3 A JA JA JA J EFCFCFC 8 30 1 111 222 111 F 2 121 121 121 F 3 101 04 101 F 0 算法描述 8 5 3基于PCNN的低频融合方法 PCNN的基本模型和图像中PCNN的用法已经在高频域的融合 方法中介绍过 这里不再介绍 PCNN是模拟猫的视觉皮层 细胞对视觉信号的处理机制 对高频域和低频域信号具有 相似的处理方法 因此高频域的PCNN模型也能用于低频 域 F JA JA JB JB J A JB J A J B JA J B J CWCWC EE W EE W 1 如果 0 其它 1 如果 0 其它 直接将图像的低频系数矩阵代入PCNN模型中 取 A J C B J C max 3000N 图8 12 基于PCNN低频融合方法结果 8 5 4低频域内不同融合方法 比较 16 62197 67029 700964 584490 3727低频 PCNN 16 51757 23959 868167 828682 4669边缘选 择 16 17297 48269 181961 340781 4191平均法 互信息熵平均梯 度 标准差平均值 表8 3 高频融合算法比较 源图像 clock图 0 0 2 0 4 0 6 0 8 1 1 2 平均值标准差平均梯度熵互信息 归一化指标 平均法 边缘选择 低频PCNN 13 99996 50127 625061 187959 3675低频 PCNN 13 91326 47568 716361 237655 8556边缘选择 12 74276 09096 237937 041032 1216平均法 互信息熵平均梯度标准差平均值 1 边缘选择的方法得到的融合图像与低频直接取平均 得到的融合图像相比 图像亮度明显增大 边缘保留更 多 细节信息更为丰富 从实验数据来看 低频边缘选择 的方法比在低频直接取平均得到标准差 平均梯度 互信 息均有明显提高 边缘和细节保留较好 融合图像保留了 更多源图像的信息 2 基于PCNN的低频融合方法与基于低频边缘的选择方 案相比 前者得到的标准差和平均梯度均比后者高 说明 基于PCNN的低频融合方法对微小细节及纹理反映很好 能 够很好的保留图像的边缘 熵和互信息比后者稍小但很接近 基于PCNN的低频融合 方法所得融合图像在保留源图像信息上稍微于后者 但对 于视觉观察来说 边缘和纹理信息更为重要 而细微的信 息差别基本分辨不出来 可见 低频域内采用基于PCNN的 低频融合方法是一种提高图像融合效果的非常有效的方 法 3 与低频直接取平均相比 对小波变换低频部分进行 特征提取后图像所有指标均有大幅度提高 图像无论在亮 度 边缘信息 细节信息还是包含源信息上均有大幅度提 高 低频域主要包含待融合图像的近似特性 低频系数反映 了图像的轮廓 低频系数的选择对融合图像质量的好坏起 到非常重要的作用 可见 基于小波变换的图像融合中 根据图像特征进行低频系数的选择是非常重要的 应当予 以足够的重视 1 最终融合算法的确定 根据高 低频中各种算法的研究结果