基于视觉信息保真度的融合图像质量评价方法.

基于视觉信息保真度的融合图像质量评价方法 张勇 1 2 余宏生 金伟其11 1 北京理工大学光电学院 北京 2 军械技术研究所 河北 石家庄 摘要 在假设图像源符合高斯尺度混合模型前提下 将图像融合算法视为图像信号 增强通道 考虑人眼视觉内部神经元噪声特性 建立了一种基于视觉信息保真度的 融合图像质量客观评价模型 采用该方法对不同融合算法获得的融合图像进行了 性能验证 实验结果表明该算法能对融合图像质量进行正确评价 相比于传统方法 其客观评价结果与主观评价结果更具有一致性 关键词 图像融合 评价 高斯尺度混合模型 视觉信息保真度 中图分类号TP391 4 文献标识码 A Fusion Image Quality Assessment Method Based on Visual Information Fiedity ZHANG Yong 1 2 YU Hong sheng1 JIN Wei qi1 1 School of Optoelectronics Beijing Institute of Technology Beijing 2 Mechanical Engineering Institute Heibei Shijiazhuang Hebei Abstract Based on the assumption that the image sources meet GSM model is correct and image fusion algorithm is regarded as image signal enhancement channel And considering human visual noise characteristics within neurons FVIF objective quality assessment model is established The experiment indicated that the method can evaluate fusion image quality correctly and its objective evaluation results are more consistent with subjective evaluation results than traditional methods Keywords Image Fusion Assessment Gaussian Scale Mixture GSM Visual Information Fiedity VIF 1 引言 图像融合技术为解决单一图像来源成像机理 天候环境 光学系统等因素限制 将 不同传感器获取的信息进行有效综合和集成 一定程度上提高了图像承载信息量 和空间图像分辨率 拓展了图像应用范围 针对图像融合系统开展融合图像质量评 价方法研究 不仅可比较各个融合算法的性能优劣 还可根据融合效果对算法进行 改进和完善 具有重要的指导意义和参考价值 1 融合图像质量客观评价方法用可定量分析的数学模型表达人对图像的主观感受 再经各种计算得到图像质量评价指标 归纳近年来融合图像客观评价方法大致可 分为四类 第一类是基于全像素统计理论的评测方法 该评测方法完全忽略人眼视 觉特性对图像质量评测结果的影响 算法实现虽然简单 但评测结果常与人的主观 感受相偏离 2 第二类是基于信息理论的评测方法 该方法虽然克服了全像素统 计理论中主观赋权的局限性 根据熵 交互信息量等评价指标的差异程度来修正权 重 但仍和主观评价结果存在较大差异 3 第三类是基于人眼视觉系统 Human Visual System HVS 仿生理论的评测方法 该方法模仿人眼对像素层绝对差值的认知机 制 通过掩盖低于人眼感知能力的差异修正评测结果 从原理上较好的体现了人眼 对图像质量的感知机制 但由于目前对人眼视觉感知机制认识的局限性 且仿生模 型的实现又非常复杂 模型性能和上述两种方法相比不具有明显的优越性 4 第 四类是以结构相似度 Structure Similarity SSIM 为代表的基于特征参数的评测方法 该方法利用人眼视觉机制特 点 通过设计和检测能典型代表图像特性的单个或多个特征参数来体现图像质量 算法实现简便 具有较好的应用前景 5 收稿日期 2011年 月 日 收到修改稿日期 2011年 月 日 作者简介 张勇 1974 男 博士生 工程师 主要从事融合图像质量评价方面的研究 Email bit sina c om 余宏生 1968 男 博士生 副教授 主要从事图像拼接方面的研究 Email yhs99981 导师简介 金伟其 1960 男 博士 教授 主要从事微光与红外成像技术方面的研究 Email jinwq bit ed 通信联系人 E mail bit 本文基于视觉信息保真度 Visual Information Fiedity VIF 评价方法 通过建模人眼视觉失真通道和信号失真通道 提出了基于 视觉信息保真度的图像融合质量客观评价指标 Fusion Visual Information Fiedity FVIF 首先介绍VIF图像质量评价模型 然后给出了FVIF的构造方法和参 数估计 最后利用不同融合算法获得的融合图像进行了算法验证 实验结果显示F VIF与主观评价具有一致性 2 VIF图像质量评价模型 VIF最初应用于自然感图像质量评价 依赖于自然场景统计模型 图像信号失真通 道和人眼视觉失真模型 VIF评价模型需满足以下假设 1 图像源的统计分布满足 GSM模型 2 图像小波域系数不相关 各小波子带相互独立 3 人眼视觉失真解 释为内部神经元的噪声特性 4 输入信号 参考图像系数 和输出信号 失真图像 系数 均已知 6 图1是VIF评价模型示意图 图1 VIF评价模型 Fig 1 VIF assessment model 模型中假设输入图像 图像失真通道 失真图像模型均是精确的 利用I C E z 和I C F z 分别表示人眼能够理想的从输入图像和失真图像特定子带中提取的信息 I C E z 解释为输入图像信息内容 I C F z 解释为输入图像和失真图像的互信息值 该值在视觉上从失真图像相对于 输入图像中出现的信息 内容中提取 由于各小波子带相互独立 则两种信息测量的比例能够扩展到多个子 带 I Cr E zr 和 k k k I Crk Fk zrk 分别是第k个子带相应的互信息测量 其中k是子带数 VIF指标可表示 为 VIF I C k 1Kk 1 K krkr Fk zrk 1 I C 3 FVIF评价模型 Ek zrk 用于融合图像质量评价的VIF模型如图2 不失一般性 假设输入源图像分别为可 见光图像和红外图像 输入源图像分别经过信息增强通道cs1 c s2生成融合图像 经人眼视觉通道后 输入源图像信息内容可表示为 I Csk1 Esk1 zsk1 和I Csk2 Esk2 zsk2 输入源图像与融合图像之间的互信息值可 表示为I Csk1 Fk zsk1 和 k I Csk2 Fk zsk2 可见光图像与红外图像之间的互信息值表示为I Cek1 o Cek2 o zoi 3 1 图像GSM模型 小波域高斯尺度混合 Gaussian scale mixture GSM 模型用一个随机场来描述图像小波系数分布 该随机 场由一个高斯随机场和一个尺度随机变量构成 设输入图像符合GSM分布 则可 从图像小波子带的不重叠块中提取小波系数c 随机向量c可表示为零均值高斯向 量u和独立正尺度随机因子和红外图像的小波系数cs1 cs2可分别表示为 z的乘积 7 可见光图像 2 cs1 zs1us1 3 cs2 zs2us2 式 2 3 中 表示具有相同的分布 us1 us2为零均值的高斯向量 zs1 zs2是 独立的标量随机变量 向量cs1 cs2具有相同的协方差结构Cs1 m Cs2 m 每一个子 带的小波系数被分成M个不重叠块 由于块不重叠 当乘数zs1 zs2已知时 块内系数之间的相关性可通过协方差矩阵Cs1 m Cs2 m建模 图2 基于FVIF的融合图像质量评价模型 Fig 2 FVIF based fusion image quality assessment model 3 2 图像增强模型 将图像融合算法视为图像信号增强通道 融合图像可视为图像源小波域信号cs1 c s2在增益gs1 gs2作用下的输出信号与附加噪声v叠加 4 d gs1cs1 gs2cs2 v 其中d为融合图像相应子带的随机向量场 gs1 gs2表示确定的标量增益场 v是独 立的零均值白噪声 2 场 协方差矩阵满足Cv vI 3 3 人眼视觉失真模型 人眼视觉失真模型主要考虑人眼内部神经元的噪声作用 将其建模为固定零均值 附加白高斯噪声 5 es1 cs1 n 6 es2 cs2 n f d n 7 其中es1 es2和f分别表示人眼视觉感知输入图像和融合图像相同小波子带的随机 系数向量 n表示在 2 小波系数中独立的白高斯噪声 其协方差矩阵满足Cn nI 3 4 图像源互信息模型 在计算输入图像信息内容时 图像源的互信息被重复叠加 因此须在信息总和中剔 除输入图像源互信息 8 设输入图像源重叠区域分别为cs1 o cs2 o 则 8 cs1 o gocs2 o vo 2 其中go是确定的标量增益场 o是独立的零均值白噪声场 其协方差矩阵满足Co oI 有 9 es1 o cs1 o n es2 o cs2 o n 10 其中es1 o es2 o分别是人眼视觉感知两幅输入图像重叠区域相同小波子带的 随机系数向量 图3是图像源 互信息计算模型 图3 图像源互信息模型 Fig 3 Mutual information model of image sources 4 FVIF评价指标 令Cs1 ca1 ca1 caN Cs2 cb1 cb1 cbN 表示随机向量场cs1 cs2的N个实现集 合 这些向量从小波子带不重叠的系数块中提取 利用 2 至 7 中的d es1 es2 f co es1 o es2 o定义 D Es1 Es2 F Co Es1 o Es2 o 且令Zs1 za1 za1 zaN Zs2 zb1 zb1 zbN 同时 假设模型参数 22 均已知 由于协方差矩阵Cs1 u Cs2 u Co u对称 可将其改写成对角矩阵形式 对角 线gs1 gs2 go v2 o n 上的一组特征值分别定义为 a1 a2 aM b1 b2 bM o1 o2 oM 对于可 见光图像 给定Zs1 则 Cs1和Es1之间的信息内容为式 11 其中h c 表示连续随机向量的熵微分 I Cs1 Es1 zs1 I cai eai zai i 1 2 zaiCs1 m nIzai ai11NM h cai ni zai h ni zai log2 log 1 222 2 I 2 i 1i 1i 1j 1nn N N N 11 同理对于红外图像 有 z 1NM I Cs2 Es2 zs2 I cbi ebi zbi log2 1 bi2bi 12 2i 1j 1 ni 1 N 根据式 4 对于融合图像和可见光图像的互信息可表示为 d gs1cs1 gs2cs2 v I Cs1 Fs1 zs1 h gaicai gbicbi vi ni zai h gbicbi vi ni zai i 1 N gz aj1 log 1 2g2z 2 2 2i 1j 1bibibjv in N M 2 aiai 13 类似的 对于融合图像和红外图像的互信息可表示为 2 gbizbi bj1NM 14 I Cs2 Fs2 zs2 log2 1 2 22 2i 1j 1gaizai aj v i n 根据式 8 至 10 可见光与红外图像的互信息可表示为 2 goizoi oj1NM I Ce1 o Ce2 o zoi log2 1 2 15 2 2i 1j 1 o i n 由于各小波子带互相独立 将互信息扩展到K个子带求和 即得出融合图像质量评 价指标FVIF 式 16 kkkkkk 中K是子带数 I C E z 和I C F z 分别是第k个子带对应的互信息测量值 FVIF I C k 1 K ks1 Fk zsk1 I Csk2 Fk zsk2 16 I C k 1 K k s1k Esk1 zsk1 I Csk2 Esk2 zsk2 I Cek1 o Cek2 o zoi 若可见光图像与红外图像相等时 式 16 退化为VIF计算公式 只是由于输入图像 完全相同 计算结 果为VIF的2倍 可见式 16 是更普遍的计算图像质量的表达公式 可推广至多源 图像融合计算过程 要完成FVIF算法 必须分别对可见光图像 红外图像和融合图 像进行小波变换 然后将小波子带划分为不重叠的系数块 从小波系数块中提取小 波系数构成向量cs1 i cs2 i co i di 协方差矩阵Cs1 m Cs2 m Co m以及 zri zbi zoi可利用小波系数块中的小波系数进行估计 由于图像输入和输出均已知 gri gbi goi v i o i可 采用线性回归分析方法进行估计 5 实验分析 实验图像来源于美国麻省理工学院林肯实验室 荷兰人力资源研究所 美国海军研 究生院在网络上提供的可见光 微光 和红外图像 采用像素级图像融合算法 包括 取大平均法 MAX 主成分分析法 PCA 拉普拉斯金字塔 Laplacian Pyramid LP 和离散小波变换 DWT 图4 图5是采用上述融合算法获得的融合图 像 由6名观察者在相同设备和视角条件下给每幅融合图像评分 评分采用相对尺 度 即由观察者将一批图像由好到坏进行分类 在视觉无法确定两幅图像质量优劣 时 尽可能采用相同分数以避免分数的不确定性 主观评价过程中要求测试者根据 不同的融合图像 从 目标可探测性 Target Detectable Ability TDA 细节分辨能力 Details Resolvable Ability DRA 和 图像整体舒适性 Whole Comfortable Ability WCA 等三个方面依次给出分值 9 10 评价结果取三者均值 Average Score AS 评分依据如表1 表2 表3是分别针对图4 图5获得的FVIF指标和主观 评价结果比较 其中MI Mutual Information MI 又称互信息 是两个变量之间相关性的度量 或为一个变量包含 另一个变量信息量的度量 FMSSIM为利用空域SSIM评价方法获得的评价指标 实现方法是利用图像块标准差作为选择参考图像对应位置图像块的判据 即如果 输入图像A图像块a的标准差大于输入图像B对应位置图像块b的标准差 选择a作 为参考图像块 反之选择b 然后利用参考图像和融合图像进行结构相似度比较 从而获得整幅图像的FMSSIM评价结果 11 分析表2 表3可知 MI指标评价结果 与主观评价结果存在较大差异 虽然基于信息理论的评价方法克服了全像素统计 理论主观赋权的局限性 但受自然图像内容复杂性和承载信息多样性限制 图像信 息量变化能否真正反映人眼对图像的理解程度还需进一步探讨 而FVIF指标展示 了与主观评价结果较好的一致性 表1 相对评价尺度与分值 Tab 1 Relative assessment metric and score value 7 6 Good 4 Fair 3 2 Poor 1 MAX fused image PCA fused image LP fused image DWT fused image 图4 采用不同融合算法获得的融合图像 Fig 4 Different fusion images by different fusion algorithms 图5 采用不同融合算法获得的融合图像 Fig 5 Different fusion images by different fusion algorithms 表2 针对图4的主观评价与FIVF评价结果比较 Tab 2 Comparison subjective evaluation result to FIVF metric with figure 4 MAX PCA LP DWT MI 6 4173 1 6332 2 1948 2 2754 FMSSIM 0 3544 0 1282 0 5858 0 5798 表3 针对图5的主观评价与FIVF评价结果比较 Tab 3 Comparison subjective evaluation result to FIVF metric with figure 5 MAX PCA LP DWT MI 6 8660 5 2198 2 6427 2 8365 FMSSIM 0 4602 0 1527 0 6714 0 6719 FVIF 0 3695 0 2751 0 6974 0 6868 TDA 7 1 3 4 8 2 8 4 DRA 6 7 3 4 7 8 8 0 WCA 8 5 6 7 7 4 7 5 AS 7 4 4 5 7 8 8 0 FVIF 0 3494 0 1319 0 5865 0 5763 TDA 7 2 4 3 8 2 8 9 DRA 4 5 3 1 8 7 8 8 WCA 6 5 3 2 6 4 6 9 AS 6 1 3 5 7 8 8 2 6 结论 不同的融合算法从不同角度解释输入源图像 从而产生不同亮度 不同对比度 不 同结构特征的融合图像 本文将图像融合算法视为图像信号增强通道 建立了一种 基于视觉信息保真度的融合图像质量客观评价模型 实验结果表明该算法能对融 合图像质量进行正确评价 具有主客观一致性 应该说明的是 融合图像质量评价 属于图像质量评价范畴 但相比于图像质量评价 构建通用 高效 客观的融合图 像质量评价指标存在相当大的难度 原因包括对人眼生理特性和心理特性建模的 局限性 也包括实际应用的融合系统往往带有明显的视觉任务或视觉目的 如何将 明显的主观目的性引入到客观评价指标中 还要对应用于不同条件下的实际图像 融合系统进行充分分析 但是 考虑到考核融合图像质量客观评价指标的重要依据 是主客观一致性 因此可深入开展以下方面的研究 一是多种评价指标的综合利用 二是由单纯的客观评价方法逐步向主客观结合的评价方法转变 三是构建面向具 体任务的融合图像评价指标 参考文献 1 A TOET E M FRANKEN Perceptual evaluation of different image fusion schemes J Displays 2003 24 1 25 37 2 崔岩梅 倪国强 钟堰利 等 利用统计特性进行图像融合效果分析及评价 J 北京理工大学学报 2000 20 1 102 106 3 V PETROVI Subjective tests for image fusion evaluation and objective metric validation J Information Fusion 2007 8 2 208 216 4 CHRIS HOWELL RICHARD MOORE STEPHEN BURKS et al An evaluation of fusion algorithms using