【《深度神经网络融合模型评价案例分析》3000字】

深度神经网络融合模型评价案例分析目录TOC\o"1-3"\h\u17186深度神经网络融合模型评价案例分析 129930一、遥感图像数据介绍 117012二、评价指标 19955三、评价结果 429030四、模型优劣评价 6一、遥感图像数据介绍WorldView-2是全球第一颗高分辨率8波段多光谱卫星。其卫星图像数据可分为以下几类：全色图像为收集单一波段的资料，图像分辨率为0.5米；多光谱图像收集四个波段数据，分别为蓝色可见光、红色可见光、绿色可见光及近红外REF_Ref103788413\n\h[37]，图像分辨率为2米。其详细参数如下表：表4.1WorldView-2号卫星参数轨道形式太阳同步卫星轨道高度770公里全色图像光谱波段450-800nm海岸多光谱波段400-450nm红外光谱波段630-690nm蓝色光谱波段450-510nm近红外光谱波段705-745nm绿色光谱波段510-580nm黄色光谱波段585-625nmNear-IR1770-895nmNear-IR2860-1040nm二、评价指标为更好地对比各个模型融合结果的好坏，设定相应的评价指标，分为主观指标和客观指标两大类。（一）主观指标主观评价依靠评价者个人对图像视觉体验进行评价。给出的结果比较直接，但是主观倾向比较严重，且对评价者自身的要求较高，因此，主观评价不能作为全部的评价标准，需要与客观评价指标共同作用，起到评价效果。一般从以下两个方面进行评价：（1）光谱分辨率具体要与最初的多光谱图像即MS图像进行对比，主要从颜色上进行评价，通过对比原始的多光谱图像，观察融合图像是否出现了颜色的改变、颜色的失真等。（2）空间分辨率具体要与最初的全色图像即PAN图像进行对比，主要从图像的整体清晰度、具体的细节是否清楚等方面进行评价，此外，还可以对融合后图像与原全色图像内各种物体的细节、纹理等进行对比，得出更为准确的评价。还可以与融合前的多光谱图像进行对比，观察清晰度是否有明显的提升。设计了如下评价标准：表4.2主观评价标准融合后的图像质量具体尺度和标准优秀空间细节与全色图像几乎一致，光谱色彩等与多光谱图像几乎一致良好空间细节与全色图像几乎一致，但是光谱色彩等方面出现失真中等空间细节部分模糊，光谱色彩失真差空间细节很模糊，光谱色彩等失真（二）客观评价融合后图像的客观评价指标是指通过数学的方式定量的对图像质量进行评价，客观评价指标具有较为科学的结果，能够与主观评价互相补充，有效地解决主观评价中通过个人肉眼难以辨别的细微差别问题，但是客观评价指标对数据本身的特点关注度不够，因此，要将上述两种评价指标相结合，以此来更好地对融合图像进行评价。有关图像的评价指标分为有参考和无参考两种，本文采用有参考评价。参考图像主要通过上采样原多光谱图像来获得。1.均方根误差(RootMeanSquareError，RMSE)REF_Ref103787733\n\h[29]均方根误差是指预测值与真实值偏差的平方与观测次数n比值的平方根。在实际测量中，观测次数n总是有限的，真值只能用最可信赖值来代替REF_Ref103787742\n\h[30]。其值越小越好，具体公式如下：(15)其中，F是融合后的结果图像，M为融合前的参考图像，n和m分别为图像的宽和高，d为图像的波段数。上式主要用于评价光谱的变化程度，其结果越小越好，最佳值为0。2.相对无量纲全局误差(ErreurRelativeGlobalAdimensionnelleDeSynthèse，ERGAS)REF_Ref103787760\n\h[31]其定义如下：(16)其中hl是原全色图像(PAN图像)与原多光谱图像(MS图像)的像素大小之间的比值，即分辨率大小的比值，RMSE(d)和MEAN(d)为第d波段的均方根误差和均值。该指标考虑了滤波器规格。结果值越小，融合图像光谱与参考图像差异越小REF_Ref103787532\n\h[25]，其最优值为0。3.光谱角映射（SpectralAngleMapper，SAM）REF_Ref103787787\n\h[33]光谱角映射用于确定给定参考光谱r与每个像素t处的光谱之间的光谱相似性REF_Ref103787558\n\h[26]。根据以下等式，将比较结果报告为两个光谱之间的角差（弧度）：(17)也可以写成如下形式：(18)其中，n是图像中的条带数。每一对光谱都被视为n空间中的一个向量，允许在不考虑其相对亮度值的情况下确定光谱的相似性REF_Ref103787558\n\h[26]。v表示融合后图像的谱向量v表示参考图像的谱向量SAM的值表示两幅图像之间的相似程度，值越小表示两幅图像之间的光谱差异越小，即说明融合后图像的光谱失真较低，其最优值为0。4.通用图像质量评价（UniversalImageQualityIndex,UIQI）REF_Ref103787830\n\h[34]定义的原始参考图像x和待评价图像y的公式如下：(19)其中，σxy表示x和y之间的协方差，x和y分别表示x和y的均值，σx和σy分别表示x(20)具体分别是：UIQI指标结果越接近1，光谱信息损失越少，融合结果图像的光谱性能就越好REF_Ref103787847\n\h[32]。5.相关系数（CorrelationCoefficient，CC）REF_Ref103787860\n\h[35]融合后图像和原始图像的相关系数衡量光谱特征的相似性。它被定义为(21)X表示原始参考图像，X表示融合后图像。相关系数接近+1意味着这两幅图像高度相关，融合质量较好。三、评价结果主观评价方面原全色图像PAN原多光谱图像MSPan-PNN结果Pan-DRPNN结果Pan-GAN结果Pan-GDD结果图4.1实验结果如图4.1所示，从上到下，由左到右依次为原全色图像、原多光谱图像、通过PNN模型融合后的图像Pan-PNN、通过DRPNN模型融合后的图像Pan-DRPNN、通过Pan-GAN模型融合后的图像Pan-GAN、通过自编码器模型融合后的图像Pan-GDD。通过仔细观察，可以发现融合后图像的质量得到了明显的提高，但是各个模型融合后的效果也不尽相同。Pan-PNN的色彩保留方面表现不佳，明显较暗，同时清晰度提升不够明显。Pan-DRPNN在色彩保留方面表现优于PNN模型，空间细节方面较另外两个模型有差距，在空间清晰度方面还是比较模糊。Pan-GAN以及Pan-GDD在色彩保存方面都表现较好，空间细节方面Pan-GDD表现更为优秀一些。综上所述，各模型主观评价如下：表4.3主观评价结果模型评价PNN中等DRPNN中等Pan-GAN优秀GDD优秀 通过上述的客观评价指标对各个模型的融合图像质量进行评估，表4.4是本文涉及的模型评估，包括PNN，生成对抗网络Pan-GAN，自编码器，DRPNN。表4.4客观评价指标结果MethodsRMSESAMERGASUIQICCPNN3.91486.55874.15470.95230.9383Pan-GAN3.76532.37462.44760.94320.9262GDD2.37874.02542.68790.95650.9650DRPNN2.63475.36903.65490.91360.9789从评价的结果上来看，本文所涉及的四种模型中，PNN模型的效果最差，除了在相关系数和通用图像质量评价上评价较好外，在其余三个指标上均有所不足。而DRPNN模型在在相关系数指标上表现最好，且其在均方根误差指标上的表现要明显优于Pan-GAN模型，但在其他三项指标上表现较为平庸，而自编码器模型在均方根误差以及通用图像质量评价上表现最好，在相对无量纲全局误差上的表现仅次于Pan-GAN模型，在相关系数指标上仅次于DRPNN模型，可见自编码器模型在本次实验中的表现较好，Pan-GAN模型的表现要优于PNN模型以及DRPNN模型，在光谱角映射、相对无量纲全局误差方面表现最好。综上所述，在本次实验中，表现最好的模型是GDD模型，Pan-GAN模型次之，DRPNN模型位居第三，而PNN模型位列最后。通过对比各项指标，可以发现Pan-GAN网络在光谱角映射、相对无量纲全局误差上相对于PNN网络有了极为明显的提高，表明Pan-GAN网络在保留光谱信息方面有很大的提高；GDD模型在均方根误差、通用图像质量评价方面的提高较为明显，表明其光谱损失较低。尽管DRPNN模型的相关系数较高，但是与其他模型的差距比较小。四、模型优劣评价PNN模型是一个简单的三层模型，是首次将深度神经网络模型应用于遥感图像融合处理，具有开创性，但由于其简单的三层结构，提升空间还是比较巨大。通过主观评价和客观评价也可以看出其质量相对其他三种模型较差。DRPNN模型利用深度残差的知识，加深了网络的深度，与PNN方法相比，其引入了网络跳跃连接，训练更为容易，并缓解了梯度消失的问题，但是在特征提取方面选择使用大量的卷积核进行操作，加大了网络的负担，通过上述的评价指标也可以发现其性能与