遥感影像融合及质量评价研究总结.docx

遥感图像融合及质量评价总结总结分两大部分：融合部分和评价部分。图像融合阶段包括图像的预处理，最佳波段的选择，以及融合方法的选择。图像的预处理主要有对接收图像质量的控制，几何校正，正射校正。论文中列出的算法均为常用算法。而后是对重采样后图像像素亮度的处理，有直方图均衡化，直方图匹配。最后对多源影像进行影像匹配。最佳波段的选择主要是根据多波段图像间各波段图像中信息含量多、相关性小、地物光谱差异大、可分性好的波段，进行波段组合，进行后续的图像融合。融合方法的选择方面除了常规方法以外，作者提出了2种改进型融合算法：在像素级的融合方面（1）将HIS变换与小波变换结合算法；（2）小波变换的改进算法。在突出边缘的融合方面采用将突出边缘的特征级融合图像与像素级融合图像再融合的改进算法。图像质量的评价这几篇论文进采用主客观相结合的评价方式，最终以评分的形式确定图像的质量。主要有1、基于人眼视觉系统HVS的评分系统；（1）基于HVS感兴趣特性和对比度的遥感图像无参考质量评价方法这种方法基于人类视觉系统感兴趣性的原理，在对比度计算时考虑视觉感兴趣区域与背景区域权重系数，实现了一种基于HVS的感兴趣特性和对比度的遥感图像无参考质量评价方法。并利用遥感图像专家库的图像和数据进行实验，实验结果表明本章方法更加符合主观评价的结果。（2）基于HVS掩盖效应和图像模糊的遥感图像无参考质量评价方法该方法以盲测量图像模糊算法作为理论基础，将HVS的空间复杂度掩盖模型、亮度掩盖模型引入到图像质量评价过程中，并对人眼灰度敏感度进行建模，建模过程依据人类视觉系统对灰度具有差异的敏感性这一特性。实现了基于HVS和模糊的改进的遥感图像无参考质量评价体系。2、基于模糊集的评分系统；该方法基于模糊度理论，选取若干个图像质量参数，确定图像模糊度，由模糊度级隶属函数划分图像一级等级，然后再按二级隶属函数划分二级等级。次方法过程较复杂，工作量较大，结果相对精确。3、针对土地利用项目的各个阶段质量对应控制的质量评价方式。这种质量控制方法从阶段到整体对图像处理的每一步均进行质量检验，确保每一阶段图像质量均在可接受范围之内，最后再对结果进行整体检验，确定图像质量。其针对的是土地利用变更遥感监测项目，针对性较强。遥感图像融合及质量评价总结1一、融合阶段总结：31、遥感影像预处理31.1几何校正31.2基于影像直方图的预处理31.3 影像配准42、多波段遥感影像最佳波段选择52.1遥感影像最佳波段选择指标52.2分析试验数据62.3 试验数据最佳波段选取73、图像融合方法83.1像素级融合处理方法83.2 突出边缘信息的影像融合方法9二 质量评价阶段总结101基于HVS的主客观相结合的评价方法101.1建立主观评分数据库101.2基于HVS和SSIM的遥感图像全参考质量评价方法111.3基于HVS感兴趣特性和对比度的遥感图像无参考质量评价方法111.4基于HVS掩盖效应和图像模糊的遥感图像无参考质量评价方法122基于模糊集理论的主客观相结合评价方法132.1评价参数选取132.2建立基于模糊集的评分系统142.3评分并评级163阶段性与整体性图像质量控制方法163.1图像接收阶段173.2 图像预处理阶段183.3 图像融合阶段183.4 整体性图像质量检验18小结19一、融合阶段总结：1、遥感影像预处理1.1几何校正1.1.1位置校正1.1.2重采样论文列举方法有最邻近内插法,双线性内插法及三次卷积内插法。最邻近内插法的优点是不破坏原来的像元值，处理速度快,但会使原影像中的某些线状特征变粗成块。双线性与三次卷积内插法则可以减少线状特征的块状化现象，但两种方法均具有低通滤波性质，校正后滤掉信号中的部分高频分量。在实际工作中，应依据具体的影像和应用目标选择不同的内插算法。1.2基于影像直方图的预处理1.2.1 直方图均衡化直方图均衡化又称直方图平坦化，是将一已知灰度概率密度分布的影像，经过某种变换，变成一幅具有均匀灰度概率密度分布的新影像，其结果是扩展了像元取值的动态范围。其实质是对影像进行非线性拉伸，重新分配影像像元值，使一定灰度范围内的像元的数量大致相等。直方图均衡后每个灰度级的像元数理论上应相等，但实际上为近似相等，直接从影像上看，直方图均衡效果是：1、各灰度级所占影像的面积近似相等，因为某些灰度级出现高的像素不可能被分割。2、原影像上出现频率小的灰度级被合并，频率高的灰度级被保留，因此可以增强影像上大面积地物与周围地物的反差。3、如果输出数据分段级较少，则会产生一些大类地物的近似轮廓。1.2.2 直方图匹配直方图匹配是通过非线性变换使得一个影像的直方图与另一个影像直方图类似。直方图匹配对在不同时间获取的同一地区或邻接地区的影像，或者由于太阳高度角或大气影响引起差异的影像处理很有用，特别是对影像镶嵌或变化检测。为了使影像直方图匹配获得好的结果,两幅影像应有相似的特性:1、影像直方图总体形状应类似。2、影像中明暗特征应相同。3、对某些应用，影像的空间分辨率应相同。4、影像上地物分布应相同,尤其是不同地区的影像匹配。如果一幅影像里有云，而另一幅没有云，那么在直方图匹配前，应将其中一幅进行去云处理。直方图匹配在HIS变换融合、主成分变换融合和小波变换融合中用得较多，且能起到辐射增强的效果。许多研究表明：直方图匹配能够在尽量保持光谱信息的情况下提高融合影像的细节信息，增大信息量。1.3 影像配准影像配准为对从不同传感器、不同时相、不同角度所获得的两幅或多幅影像进行最佳匹配的处理过程。其中的一幅影像是参考影像数据,其它影像则作为输入影像与参考影像进行相关匹配。影像配准是影像融合处理中最关键的一个步骤。在影像融合的各项预处理过程中，多幅影像的几何配准精度对融合影像的质量影响最为显著。主要有两类像素层影像配准算法：基于区域的配准算法和基于控制点的配准算法。基于区域的影像配准算法已广泛的应用于各种影像配准领域，它运用的是整个区域的影像像素灰度值来进行配准。基于区域的像素层配准算法主要分为三类：灰度相关类算法、快速相关算法（如变灰度级相关算法、FFT相关法、序贯相似性检测算法(SSDA)、变分辨率相关算法等、以及相位相关算法）。这类配准技术目前发展较为成熟，在没有太大的畸变情况下具有较好的配准性能且对各种影像场景都有较好的适应性。由于基于区域的配准是以像素的灰度值为基础，当存在较大的灰度畸变时，这类算法就难免失效。此外，整个区域的影像灰度值难以正确描述影像的结构信息，当存在较为复杂的结构畸变时，基于区域的配准算法也很难得到正确的配准结果。针对以上两种情况，目前研究较多的是基于控制点的影像配准算法。基于控制点的影像配准方法通过选取影像间明显的控制点对，利用它们之间的对应关系来获得配准结果，从而解决了无法掌握灰度畸变成因而失配的难题。控制点的选择分为人工选点和自动选点两种，两种选点方法的选点精度都受到影像质量影响，例如在低分辨率或噪声干扰大的影像中选取的控制点的精度都会有所降低。而影像配准效果在很大程度上取决于控制点选取的好坏，因此，如何选取高精度的控制点是基于控制点的配准算法的关键所在。2、多波段遥感影像最佳波段选择2.1遥感影像最佳波段选择指标通常,波段选择考虑三个方面的因素：(1)波段或波段组合信息含量的多少；(2)各波段间相关性的强弱；(3)研究区内欲识别地物的光谱响应特征如何。那些信息含量多、相关性小、地物光谱差异大、可分性好的波段组合就是最佳组合。因此常选用下列指标判断最佳波段。2.1.1均值、标准差、信息嫡和联合嫡1）均值均值就是像素的平均灰度值，对人眼反映为平均亮度；标准差反映了相对灰度均值的离散状况，标准差越大，灰度分布越分散。一般认为平均灰度接近128和更大方差的图像有较好的视觉效果。2）标准差标准差反映了图像灰度相对于灰度平均值的离散情况。在某种程度上，标准差也可用来评价图像信息量的大小。若标准差大，则图像灰度级分布分散，图像的反差大，可以看出更多的信息。标准差小，图像反差小，对比度不大，色调单一均匀，看不出太多的信息。3）信息嫡图像的嫡值是衡量图像信息丰富程度的一个重要指标，嫡值的大小表示图像所包含的平均信息量的多少。对于一幅单独的图像，可以认为其各像素的灰度值是相互独立的样本，则这幅图像的灰度分布为p=p0，p1，pi，pL-1 ，pi为灰度值等于i的像素数与图像总像素数之比。根据shamrnon信息论的原理，一幅图像的信息嫡为4）联合嫡两幅图像的联合嫡为:式中Pi1i2是图像X1像元亮度值为i1与图像X2中同名像元亮度值为i2时的联合概率。一般来说联合嫡值越大，图像信息量越大。2.1.2 相关系数及最佳指数1）相关系数融合图像与源图像的相关系数能反映两幅图像光谱特征的相似程度，其定义如下：式中， 和分别为融合图像与源图像的均值。通过比较融合前后的图像相关系数可以看出图像的光谱信息的改变程度。融合的影像与相应多光谱影像的相关系数p能反映融合影像同原多光谱影像光谱特征相似程度，即保光谱特性能力。同样，通过比较融合增强前后的图像相关系数可以看出融合影像与高分辨率影像的空间分辨率改善程度。2）最佳指数美国查维茨提出的最佳指数OIF的概念，即其中，Si为第i个波段的标准差，Rij为i，j两波段的相关系数。对n波段图像数据，计算其相关系数矩阵，再分别求出所有可能三组合波段对应的OIF。OIF越大，则相应组合图像的信息量越大。对OIF按照从大到小的顺序进行排列，即可选出最优组合方案。2.2分析试验数据以议论文中选取IKONOS和QUICKBIRD影像试验为例QUICKBIRD影像是2005年5月份合肥地区256平方公里的数据，IKONOS影像是2001年5月份北京地区100平方公里数据。由表可以看出：QUICKBIRD标准差，IKONOS标准差，标准差越大越好，则图像灰度级分布分散，图像的反差大，说明信息量丰富；QUICKBIRD信息嫡，IKONOS信息嫡，墒值的大小表示图像所包含的平均信息量的多少，信息嫡越大说明信息量越丰富。2.3 试验数据最佳波段选取一般来说,波段选择有两点原则：所选择的波段和波段组合的信息量最大；所选的波段和波段组合使得某些地物类别之间最容易区分。对于论文中试验数据做各个波段组合分析：由上表可知波段、联合嫡和最佳指数最大。由联合嫡、最佳指数以及以上各波段的分析可知，最佳波段组合是、。3、图像融合方法3.1像素级融合处理方法论文中对于此类列举了几种常规算法并一种改进算法，包括：3.1.1影像代数运算融合方法1）加权平均融合方法2）乘积性融合方法3）比值融合方法4）高通滤波融合方法3.1.2彩色空间变换融合方法1) HIS变换融合法2) YIQ与YUV变换融合法3.1.3 PCA变换融合方法3.1.4基于塔式分解和重建融合方法1)基于拉普拉斯塔形分解的影像融合方法。2)基于梯度塔形分解的影像融合方法。3.1.5小波变换融合方法3.1.6 改进算法1) 将HIS变换与小波变换结合算法其基本思想是:多光谱影像经TROUS小波分解后生成不同尺度的近似影像和一组相关分辨率的小波面，不同尺度下的近似影像及每一小波面的尺寸都与原影像的尺寸相同。在不同尺度下的近似影像中，低频分量集中了绝大部分能量，它与多光谱影像中的光谱信息相对应。高分辨率全色影像经TROUS小波分解得到一组不同分辨率的小波面，在每一小波面中，绝对值较大的系数对应于原始影像中的显著特征(如边缘、线、区域边界等)，它反映了原始影像中的丰富细节和空间结构。因而在高分辨率全色影像与多光谱影像融合时，尽可能保留高分辨率全色影像的小波面系数；另一方面保持多光谱影像的近似数据，并抑制高分辨率全色影像的近似数据，以达到融合影像既保留原始影像中的丰富细节和空间结构，又不改变原多光谱影像的光谱信息。因此将高分辨率影像经小波分解得到的各小波面叠加到低分辨率多光谱影像中，从而既提高了多光谱影像的空间分辨率，同时又保持了多光谱影像的光谱信息。2) 小波变换的改进算法该算法根据待融合影像分辨率之比来确定采用几进制小波，将待融合的高分辨率影像进行多进制小波变换，然后把高分辨影像经小波变换后获得的低频成分和低分辨率影像依据一定的关系进行相互替换，以形成新的高分辨影像的低频成分，经过多进制小波逆变换获得融合后的影像最大限度地利用了待融合影像的信息，防止了影像信息的丢失。3.2 突出边缘信息的影像融合方法3.2.1经典边缘检测算子常用的边缘检测算子有Sobel算子、Prewitt算子、Roberts算子、Laplacian算子和Canny算子。3.2.2改进算法首先对高分辨率全色影像与多光谱影像选取适当的方法进行像素级融合，同时，对边缘信息丰富的全色影像进行不同算子的边缘检测分别得到边缘影像1和边缘影像2，然后将两幅边缘影像进行特征融合，融合后的边缘影像与前面生成的像素级融合影像用下列公式进行叠加，其中，N（x,y）、F（x,y）、L（x,y）分别为边缘增强影像、像素级融合影像及边缘影像；K为权系数。其流程图如下:二 质量评价阶段总结1基于HVS的主客观相结合的评价方法HVS：人类视觉系统，论文提出的所有方法均以HVS为依据，按尽量符合人眼观察信息时的生理特点而设计。1.1建立主观评分数据库论文中选取10张原始遥感图像，经过4种失真方式处理，获得了 240张待评价图像。选择3个专家人员以及15个非专家人员参加图像主观质量评价。按照ITU-R BT.500-11中有所描述标准，评分系统采用双刺激连续质量测量法的设计，为评价人员展示图像对。评分人员对图像打分（百分制）。该过程工作量较大。1.2基于HVS和SSIM的遥感图像全参考质量评价方法该方法主要针对大部分图像无法较准确的评价包含严重失真的图像的问题而设计。具体实现的过程如下，首先生成相应的视觉感知图，生成过程使用到图像的空间域视觉特征(包括空间位置、纹理复杂度以及亮度对比度等)。其次生成失真感知图，该图可通过计算块结构相似度得到。接着通过视觉感知图计算获得相应的视觉特征显著区域，同时通过失真感知图计算获得相应的失真严重区域，再进而计算视觉注意焦点的转移，要分别从视觉特征显著因素与失真严重因素这两个方面进行考虑，分析该转移影响了视觉感知的哪些方面,在考虑视觉注意焦点转移的基础之上，重新生成一幅视觉感知图（焦点转移后的）。最终图像的客观质量可以通过将块结构相似度与两幅视觉感知图加权求和获得。1.3基于HVS感兴趣特性和对比度的遥感图像无参考质量评价方法实际为在对比度计算时考虑视觉感兴趣区域与背景区域权重系数，实现了一种基于HVS的感兴趣特性和对比度的遥感图像无参考质量评价方法。通过计算图像中感兴趣区域与非感兴趣区域的加权因子以及归一化后的加权系数；计算出图像的原始对比度值以及添加HVS特性之后的对比度值。所得结果作为评价标准。论文中实验结果为此方法计算结果表明添加了 HVS特性之后的对比度值与图像的主观评价值相关性和单调性都高于传统方法。这就意味着，在添加了 HVS特性之后,图像的评价值与其主观评价值更为相似，即加入了 HVS特性之后的图像评价值的结果更为符合人类在现实生活中对图像所进行的评价。1.4基于HVS掩盖效应和图像模糊的遥感图像无参考质量评价方法该方法以盲测量图像模糊算法作为理论基础，将HVS的空间复杂度掩盖模型、亮度掩盖模型引入到图像质量评价过程中，并对人眼灰度敏感度进行建模，建模过程依据人类视觉系统对灰度具有差异的敏感性这一特性。实现了基于HVS和模糊的改进的遥感图像无参考质量评价体系。该方法通过对图像进行掩盖后确定图像的边缘，则使用边缘检测算子计算出边缘结果，然后计算该边缘点的灰度敏感度s（g），由s（g）求出所有边缘点基于HVS的模糊度HB，取其最大结果作为该图像的模糊度。论文中实验验证结果为：如表5.5，在第一组实验中,引入了 HVS的掩盖特性的质量评价结果(HB)与主观评价结果的相关度：pearson相关系数为90.4%，spearman秩相关系数为90.7%，说明本文的方法与主观评价结果更加具有一致性。在第二组实验中，虽然三幅图像均使用同样的模糊半径进行模糊,但由于亮度不同，评价人员从视觉感知上对他们的打分显然有所不同，而评分也反映出它们的质量是依次下降的。对于原始的模糊度值(B)得出的评分确实完全相同的，根因也是其并未考虑人眼灰度敏感度特性的影响。根据评价分析可以看出，三幅图像的基于HVS的掩盖特性的质量评价结果(HB)与主观评价结果的相关度：pearson相关系数为94.1%，spearman秩相关系数高达95.1 %，表明本文方法所得到的模糊程度评价结果与主观评价结果更加具有一致性。根据以上两组实验，可以推断，引入了 HVS的掩盖特性的质量评价方法更加符合人眼的视觉特性。2基于模糊集理论的主客观相结合评价方法模糊集合是将普通集合论中元素 x 对于集合 A 隶属关系体征函数的取值范围从0，1拓展到了0，1。从而导出了模糊集合(也称模糊子集)的概念。检测图像质量时选取若干个相应参数，用这些参数确定图像的模糊度，再将模糊度代入隶属函数，确定图像的质量等级。2.1评价参数选取客观质量的评价的元素，应该具备靠元素的一个数值便能在一定程度上说明质量的优劣；数值的大小应与质量和分数都应呈线性关系（无论正反比），便于建立函数为宜。因此经过分析，在客观评价方面采用影像几何精度、调制传递曲线、分辨率、信噪比、元数据和说明文件正确性以及完整性、为评价标准。评价是采用10分制模式。其中影（1）像几何精度采用Kappa 度量模型，K临 经Kappa分析所得的图像合格临界值（2）调制传递曲线采用MTF 度量建模，（3）分辨率采用（4）信噪比 （5）元数据和说明文件正确性以及完整性另外再加一项（6）主观因素这里采用传统的描述方式，由专业人员先按五分制打分，再转化成十分制，其标项有：影像的清晰度、影像的色彩、影像的亮度、对比度以及色差、色斑等分别列表如下：具体得分细则如下：2.2建立基于模糊集的评分系统此论文运用模糊集原理将遥感图像质量划分为五大级，每一大级再细分为五级，共25级，并从整体，局部，特征三方面评分：1、整体信噪度分辨率清晰度图像精度2、局部局部信噪度局部分辨率局部清晰度局部精度3、特征说明文件完整性元数据完整性元数据正确性主观因素性评分项目列表如下：2.3评分并评级多位评分人员计算上述评分参数，建立评分矩阵，与对应权重矩阵相乘，将结果代入对应一级模糊度隶属函数出区间值模糊综合评判矩阵，计算最终模糊度。根据模糊度划分一级，然后再代入二级模糊度评分函数，确定二级区间，划分二级等级。基于模糊集的评价方法步骤多，而且每个参数的计算量较大，由参数代入隶属函数计算模糊度时也比较多，但结果精确。针对不同融合目的的图像，应选择不同的模糊度评价参数，保证计算结果的合理性。3阶段性与整体性图像质量控制方法这种质量控