基于视觉信息保真度的融合图像质量评价方法

1、基于视觉信息保真度的融合图像质量评价方法张勇*,1,2，余宏生，金伟其11（1 北京理工大学光电学院，北京 100081）（2 军械技术研究所，河北 石家庄 050000）摘要：在假设图像源符合高斯尺度混合模型前提下，将图像融合算法视为图像信号增强通道，考虑人眼视觉内部神经元噪声特性，建立了一种基于视觉信息保真度的融合图像质量客观评价模型。采用该方法对不同融合算法获得的融合图像进行了性能验证，实验结果表明该算法能对融合图像质量进行正确评价，相比于传统方法其客观评价结果与主观评价结果更具有一致性。关键词：图像融合；评价；高斯尺度混合模型；视觉信息保真度中图分类号TP391.4 文献标识码 AFu

2、sion Image Quality Assessment Method Based on Visual Information FiedityZHANG Yong*,1,2, YU Hong-sheng1, JIN Wei-qi1(1 School of Optoelectronics, Beijing Institute of Technology, Beijing 100081)(2 Mechanical Engineering Institute, Heibei, Shijiazhuang, Hebei 050000)Abstract: Based on the assumption

3、that the image sources meet GSM model is correct and image fusion algorithm is regarded as image signal enhancement channel. And considering human visual noise characteristics within neurons, FVIF objective quality assessment model is established. The experiment indicated that the method can evaluat

4、e fusion image quality correctly and its objective evaluation results are more consistent with subjective evaluation results than traditional methods.Keywords: Image Fusion; Assessment; Gaussian Scale Mixture (GSM); Visual Information Fiedity (VIF)1 引言图像融合技术为解决单一图像来源成像机理、天候环境、光学系统等因素限制，将不同传感器获取的信息进行

5、有效综合和集成，一定程度上提高了图像承载信息量和空间图像分辨率，拓展了图像应用范围。针对图像融合系统开展融合图像质量评价方法研究，不仅可比较各个融合算法的性能优劣，还可根据融合效果对算法进行改进和完善，具有重要的指导意义和参考价值1。融合图像质量客观评价方法用可定量分析的数学模型表达人对图像的主观感受，再经各种计算得到图像质量评价指标。归纳近年来融合图像客观评价方法大致可分为四类。第一类是基于全像素统计理论的评测方法。该评测方法完全忽略人眼视觉特性对图像质量评测结果的影响，算法实现虽然简单，但评测结果常与人的主观感受相偏离2。第二类是基于信息理论的评测方法。该方法虽然克服了全像素统计理论中主观

6、赋权的局限性，根据熵、交互信息量等评价指标的差异程度来修正权重，但仍和主观评价结果存在较大差异3。第三类是基于人眼视觉系统（Human Visual System，HVS）仿生理论的评测方法。该方法模仿人眼对像素层绝对差值的认知机制，通过掩盖低于人眼感知能力的差异修正评测结果，从原理上较好的体现了人眼对图像质量的感知机制，但由于目前对人眼视觉感知机制认识的局限性，且仿生模型的实现又非常复杂，模型性能和上述两种方法相比不具有明显的优越性4。第四类是以结构相似度（Structure Similarity，SSIM）为代表的基于特征参数的评测方法。该方法利用人眼视觉机制特点，通过设计和检测能典型代表

7、图像特性的单个或多个特征参数来体现图像质量，算法实现简便，具有较好的应用前景5。 收稿日期：2011年-月-日；收到修改稿日期：2011年-月-日本文基于视觉信息保真度（Visual Information Fiedity，VIF）评价方法，通过建模人眼视觉失真通道和信号失真通道，提出了基于视觉信息保真度的图像融合质量客观评价指标（Fusion Visual Information Fiedity，FVIF），首先介绍VIF图像质量评价模型，然后给出了FVIF的构造方法和参数估计，最后利用不同融合算法获得的融合图像进行了算法验证，实验结果显示FVIF与主观评价具有一致性。 2 VIF图像质量评

8、价模型VIF最初应用于自然感图像质量评价，依赖于自然场景统计模型、图像信号失真通道和人眼视觉失真模型。VIF评价模型需满足以下假设：（1）图像源的统计分布满足GSM模型；（2）图像小波域系数不相关，各小波子带相互独立；（3）人眼视觉失真解释为内部神经元的噪声特性；（4）输入信号（参考图像系数）和输出信号（失真图像系数）均已知6。图1是VIF评价模型示意图。图1 VIF评价模型 Fig.1 VIF assessment model模型中假设输入图像、图像失真通道、失真图像模型均是精确的，利用I(C;E|z)和I(C;F|z)分别表示人眼能够理想的从输入图像和失真图像特定子带中提取的信息。I(C;

9、E|z)解释为输入图像信息内容，I(C;F|z)解释为输入图像和失真图像的互信息值。该值在视觉上从失真图像相对于输入图像中出现的信息内容中提取，由于各小波子带相互独立，则两种信息测量的比例能够扩展到多个子带，I(Cr;E|zr)和kkkI(Crk;Fk|zrk)分别是第k个子带相应的互信息测量，其中k是子带数，VIF指标可表示为：VIF=I(Ck=1Kk=1Kkrkr;Fk|zrk)， （1）I(C3 FVIF评价模型;Ek|zrk)用于融合图像质量评价的VIF模型如图2。不失一般性，假设输入源图像分别为可见光图像和红外图像，输入源图像分别经过信息增强通道cs1,c s2生成融合图像，经人眼视

10、觉通道后，输入源图像信息内容可表示为I(Csk1;Esk1|zsk1)和I(Csk2;Esk2|zsk2)，输入源图像与融合图像之间的互信息值可表示为I(Csk1;Fk|zsk1)和k)。 I(Csk2;Fk|zsk2)，可见光图像与红外图像之间的互信息值表示为I(Cek1,o;Cek2,o|zoi3.1 图像GSM模型小波域高斯尺度混合（Gaussian scale mixture, GSM）模型用一个随机场来描述图像小波系数分布, 该随机场由一个高斯随机场和一个尺度随机变量构成。设输入图像符合GSM分布，则可从图像小波子带的不重叠块中提取小波系数c，随机向量c可表示为零均值高斯向量u和独立

11、正尺度随机因子和红外图像的小波系数cs1,cs2可分别表示为：z的乘积7。可见光图像（2） cs1=zs1us1，（3） cs2=zs2us2，式（2），（3）中，“=”表示具有相同的分布，us1，us2为零均值的高斯向量，zs1，zs2是独立的标量随机变量。向量cs1，cs2具有相同的协方差结构Cs1,m,Cs2,m，每一个子带的小波系数被分成M个不重叠块。由于块不重叠，当乘数zs1，zs2已知时，块内系数之间的相关性可通过协方差矩阵Cs1,m,Cs2,m建模。图2 基于FVIF的融合图像质量评价模型 Fig.2 FVIF-based fusion image quality assessm

12、ent model3.2 图像增强模型将图像融合算法视为图像信号增强通道。融合图像可视为图像源小波域信号cs1，cs2在增益gs1，gs2作用下的输出信号与附加噪声v叠加：（4） d=gs1cs1+gs2cs2+v，其中d为融合图像相应子带的随机向量场，gs1，gs2表示确定的标量增益场，v是独立的零均值白噪声2场，协方差矩阵满足Cv=vI。3.3 人眼视觉失真模型人眼视觉失真模型主要考虑人眼内部神经元的噪声作用，将其建模为固定零均值附加白高斯噪声：（5） es1=cs1+n，（6） es2=cs2+n，f=d+n， （7） 其中es1，es2和f分别表示人眼视觉感知输入图像和融合图像相同小波

13、子带的随机系数向量；n表示在2小波系数中独立的白高斯噪声，其协方差矩阵满足Cn=nI。3.4 图像源互信息模型在计算输入图像信息内容时，图像源的互信息被重复叠加，因此须在信息总和中剔除输入图像源互信息8。设输入图像源重叠区域分别为cs1,o,cs2,o，则：（8） cs1,o=gocs2,o+vo，2其中go是确定的标量增益场，o是独立的零均值白噪声场，其协方差矩阵满足Co=oI。有：（9） es1,o=cs1,o+n，es2,o=cs2,o+n， （10）其中es1,o,es2,o分别是人眼视觉感知两幅输入图像重叠区域相同小波子带的随机系数向量。图3是图像源互信息计算模型。图3 图像源互信息

14、模型Fig.3 Mutual information model of image sources4 FVIF评价指标令Cs1=ca1,ca1,.,caN,Cs2=cb1,cb1,.,cbN表示随机向量场cs1,cs2的N个实现集合。这些向量从小波子带不重叠的系数块中提取，利用（2）至（7）中的d,es1,es2,f,co,es1,o,es2,o定义D,Es1,Es2,F,Co,Es1,o,Es2,o，且令Zs1=za1,za1,.,zaN,Zs2=zb1,zb1,.,zbN,，同时假设模型参数22均已知，由于协方差矩阵Cs1,u,Cs2,u,Co,u对称，可将其改写成对角矩阵形式，对角线gs

15、1,gs2,go,v2,o,n上的一组特征值分别定义为a1,a2,.,aM,b1,b2,.,bM,o1,o2,.,oM。对于可见光图像，给定Zs1，则Cs1和Es1之间的信息内容为式（11），其中h(c)表示连续随机向量的熵微分：I(Cs1;Es1|zs1)=I(cai;eai|zai)i=12zaiCs1,m+nIzaiai11NM=h(cai+ni|zai)-h(ni|zai)=log2()=log(1+)2222|I|2i=1i=1i=1j=1nnNNN， （11）同理对于红外图像，有：z1NMI(Cs2;Es2|zs2)=I(cbi;ebi|zbi)=log2(1+bi2bi)， （1

16、2）2i=1j=1ni=1N根据式（4），对于融合图像和可见光图像的互信息可表示为：d=gs1cs1+gs2cs2+vI(Cs1;Fs1|zs1)=h(gaicai+gbicbi+vi+ni|zai)-h(gbicbi+vi+ni|zai)i=1N=gzaj1log(1+2g2z+(2+2)2i=1j=1bibibjv,inNM2aiai， （13）类似的，对于融合图像和红外图像的互信息可表示为：2gbizbibj1NM（14） I(Cs2;Fs2|zs2)=log2(1+2)，222i=1j=1gaizaiaj+(v,i+n)根据式（8）至（10），可见光与红外图像的互信息可表示为：2goi

17、zoioj1NMI(Ce1,o;Ce2,o|zoi)=log2(1+2)， （15）22i=1j=1o,i+n由于各小波子带互相独立，将互信息扩展到K个子带求和，即得出融合图像质量评价指标FVIF，式（16）kkkkkk中K是子带数，I(C;E|z)和I(C;F|z)分别是第k个子带对应的互信息测量值：FVIF=I(Ck=1Kks1;Fk|zsk1)+I(Csk2;Fk|zsk2)， （16）I(Ck=1Kks1k;Esk1|zsk1)+I(Csk2;Esk2|zsk2)-I(Cek1,o;Cek2,o|zoi)若可见光图像与红外图像相等时，式（16）退化为VIF计算公式，只是由于输入图像完全

18、相同，计算结果为VIF的2倍，可见式（16）是更普遍的计算图像质量的表达公式，可推广至多源图像融合计算过程。要完成FVIF算法，必须分别对可见光图像、红外图像和融合图像进行小波变换，然后将小波子带划分为不重叠的系数块，从小波系数块中提取小波系数构成向量cs1,i,cs2,i,co,i,di。协方差矩阵Cs1,m,Cs2,m,Co,m以及zri,zbi,zoi可利用小波系数块中的小波系数进行估计，由于图像输入和输出均已知，gri,gbi,goi,v,i,o,i可采用线性回归分析方法进行估计。 5 实验分析实验图像来源于美国麻省理工学院林肯实验室、荷兰人力资源研究所、美国海军研究生院在网络上提供的

19、可见光（微光）和红外图像。采用像素级图像融合算法，包括取大平均法（MAX）、主成分分析法（PCA）、拉普拉斯金字塔（Laplacian Pyramid，LP）和离散小波变换（DWT）。图4、图5是采用上述融合算法获得的融合图像。由6名观察者在相同设备和视角条件下给每幅融合图像评分，评分采用相对尺度，即由观察者将一批图像由好到坏进行分类，在视觉无法确定两幅图像质量优劣时，尽可能采用相同分数以避免分数的不确定性。主观评价过程中要求测试者根据不同的融合图像，从“目标可探测性（Target Detectable Ability，TDA）”、“细节分辨能力（Details Resolvable Abil

20、ity，DRA）”和“图像整体舒适性（Whole Comfortable Ability，WCA）”等三个方面依次给出分值9-10。评价结果取三者均值（Average Score，AS），评分依据如表1。表2、表3是分别针对图4、图5获得的FVIF指标和主观评价结果比较，其中MI（Mutual Information，MI）又称互信息，是两个变量之间相关性的度量，或为一个变量包含另一个变量信息量的度量。FMSSIM为利用空域SSIM评价方法获得的评价指标，实现方法是利用图像块标准差作为选择参考图像对应位置图像块的判据，即如果输入图像A图像块a的标准差大于输入图像B对应位置图像块b的标准差，选择

21、a作为参考图像块，反之选择b。然后利用参考图像和融合图像进行结构相似度比较，从而获得整幅图像的FMSSIM评价结果11。分析表2、表3可知，MI指标评价结果与主观评价结果存在较大差异，虽然基于信息理论的评价方法克服了全像素统计理论主观赋权的局限性，但受自然图像内容复杂性和承载信息多样性限制，图像信息量变化能否真正反映人眼对图像的理解程度还需进一步探讨。而FVIF指标展示了与主观评价结果较好的一致性。表1 相对评价尺度与分值Tab.1 Relative assessment metric and score value76 Good4 Fair32 Poor1MAX fused image PC

22、A fused image LP fused image DWT fused image图4 采用不同融合算法获得的融合图像Fig.4 Different fusion images by different fusion algorithms图5 采用不同融合算法获得的融合图像Fig.5 Different fusion images by different fusion algorithms表2 针对图4的主观评价与FIVF评价结果比较Tab.2 Comparison subjective evaluation result to FIVF metric with figure 4MAX

23、 PCA LP DWTMI 6.4173 1.6332 2.1948 2.2754FMSSIM 0.3544 0.1282 0.5858 0.5798表3 针对图5的主观评价与FIVF评价结果比较Tab.3 Comparison subjective evaluation result to FIVF metric with figure 5MAX PCA LP DWTMI 6.8660 5.2198 2.6427 2.8365FMSSIM 0.4602 0.1527 0.6714 0.6719FVIF 0.3695 0.2751 0.6974 0.6868TDA 7.1 3.4 8.2 8.

24、4DRA 6.7 3.4 7.8 8.0WCA 8.5 6.7 7.4 7.5AS 7.4 4.5 7.8 8.0FVIF 0.3494 0.1319 0.5865 0.5763TDA 7.2 4.3 8.2 8.9DRA 4.5 3.1 8.7 8.8WCA 6.5 3.2 6.4 6.9AS 6.1 3.5 7.8 8.26 结论不同的融合算法从不同角度解释输入源图像，从而产生不同亮度、不同对比度、不同结构特征的融合图像。本文将图像融合算法视为图像信号增强通道，建立了一种基于视觉信息保真度的融合图像质量客观评价模型，实验结果表明该算法能对融合图像质量进行正确评价，具有主客观一致性。应该说明

25、的是，融合图像质量评价属于图像质量评价范畴，但相比于图像质量评价，构建通用、高效、客观的融合图像质量评价指标存在相当大的难度，原因包括对人眼生理特性和心理特性建模的局限性，也包括实际应用的融合系统往往带有明显的视觉任务或视觉目的，如何将明显的主观目的性引入到客观评价指标中，还要对应用于不同条件下的实际图像融合系统进行充分分析。但是，考虑到考核融合图像质量客观评价指标的重要依据是主客观一致性，因此可深入开展以下方面的研究，一是多种评价指标的综合利用；二是由单纯的客观评价方法逐步向主客观结合的评价方法转变。三是构建面向具体任务的融合图像评价指标。参考文献1 A TOET, E M FRANKEN.

26、 Perceptual evaluation of different image fusion schemes J. Displays, 2003, 24(1): 25-37. 2 崔岩梅, 倪国强, 钟堰利, 等. 利用统计特性进行图像融合效果分析及评价J. 北京理工大学学报, 2000, 20(1): 102-106. 3 V PETROVI. Subjective tests for image fusion evaluation and objective metric validation J. Information Fusion, 2007, 8(2):208-216.4 CHRIS HOWELL, RICHARD MOORE, STEPHEN BURKS, et al. An evaluation of fusion algorithms using image fusion metricsand human identification performanceC. Proc. of the SPI