(高等教育)图像质量质量评价

图像质量评价综述 摘要图像质量评价是图像处理领域的研究热点。本文综合论述了图像质量的主观和客观评价方法，就各自具体的实现方法做了简要的介绍，并分析了各自适用性和存在的问题。最后进而根据发展趋势和应用需求，对图像质量评价方法的进一步发展提出了若干技术与研究方向的展望。关键字 图像质量评价 人类视觉系统 结构相似度 全参考评价 部分参考评价 无参考评价abstractImage quality assessment (IQA) is a hot research area in the field of image processing. In this paper, we discuss the subjective and objective assessment methods of image quality, respectively give a brief introduction of their specific implementation method, and analyses the respective applicability and problems. Finally, the further development of the technology and research directions of the future are proposed based on the trends and application requirements.keywords Image Quality Assessment(IQA) Human Visual System(HVS) Structural similarity Full Reference(FR) Reduced Reference(RR) No Reference(NR)，一 .引言图像是人类获取信息的重要途径，其所承载的信息远比其它形式的信息更贴切、更丰富。图像质量表示图像向人或设备提供信息的能力，直接关系着所获取信息的充分性与准确性。然而，图像在获取、处理、传输和存储的过程中，由于各种因素的影响，将不可避免的产生图像的降质问题，这给信息获取或图像的后期处理带来了极大的困难。因此，在图像处理的相关领域建立图像质量评价机制具有重大的意义。图像质量评价的问题涉及到图像处理技术许多方面，例如压缩、传输、增强、存储、水印等。一个有效的评价标准可以有如下三种应用：首先，可以在质量控制系统中检测图像质量。例如图像采集系统利用其来自动调整系统参数，从而获得最好的图像数据；其次，可以用作衡量图像处理系统和算法的标准。例如有若干图像降噪和恢复的算法用来提高数码照片的质量时，质量标准便可以用来确定哪个算法可获得最好的结果；最后，可以嵌入到图像处理系统中来优化系统和参数设置。例如在视频通信系统中，质量标准既能辅助编码端的预滤波和比特分配算法的设计，又能辅助解码端的最优重构、误差消除和后滤波算法的设计。图像质量评价从方法上可分为主观评价方法和客观评价方法，前者凭借实验人员的主观感知来评价对象的质量；后者依据模型给出的量化指标，模拟人类视觉系统感知机制衡量图像质量。下文中，我们将分别进行介绍。二 .主观质量评价方法人是图像的最终接收者，因此，主观质量评价是最为可靠的图像质量评价方法。最常用的方法是平均主观分值法(MOS)和差分主观分值法(DMOS)。平均主观分值法(MOS)是通过不同观测者对于图像质量评价得出的主观分值进行平均来得到归一化的分值，用这个分值来表示该图像质量。它一般有五个标准：优，良，中，差，劣。对应这五个标准由两种类型的分值：图像主观绝对分值和图像主观相对分值，主观绝对分值意思是观测者对于图像本身的主观分值，主观相对分值意思是观测者对于图像在一组图像中的相对其它图像的主观分值，如表1和2所示。优良中差劣54321表1 图像主观绝对分值最好中等偏上中等偏差最差54321表2 图像主观相对分值差分主观分值法(DMOS)，它是建立在平均主观分值法(MOS)分值基础上，它的计算公式如下：di,j=MOSorigial-MOSdistorted di,j=di,j-min(di,j)maxdi,j-min(di,j)这里，di,j代表观测者对于参考图像和失真图像评分的差异值。最后对di,j取平均值，可以得到DMOS值。主观评价算法也有很大的不足之处。首先，需组织人力对图像质量进行评价，评价结果很容易受到个人主观因素的影响，并且当图像数量巨大时，该方法就更为耗费时间，因此不利于在工程实践中的应用；其次，该方法不能自动实现，不能嵌入实际的图像或视频处理系统中，比如流媒体播放、视频会议等。但是为了评测客观图像质量评价算法，仍然需要用到主观评价算法的辅助，所以对于主观评价算法的介绍也是很有必要的。三 .客观质量评价方法客观质量评价是指使用一个或多个图像的度量指标，建立与图像质量相关的数学模型让计算机自动计算得出图像质量。其目标是客观评价结果与人的主观感受相一致。根据是否对原始图像进行参考及参考的程度，客观质量评价又可分为以下三种类型：1)全参考方法(Full Reference，FR)，需要完整的原始图像作为评价的参考；2)部分参考方法(Reduced Reference，RR)，需要原始图像的部分信息作为评价的参考；3)无参考方法(No Reference，NR)，不需要借助任何参考图像，依靠待评价图像本身各种信息进行质量评价。3.1 全参考方法(Full Reference，FR)全参考图像质量评价方法需要参考原始图像，经过几十年的发展，已形成较完整的理论体系和成熟的评价框架。待评价图像信号的质量可以通过与原始图像信号相比之后获得的误差信号来进行质量分析。图像质量的下降与误差信号的强弱相关。3.1.1 均方差（Mean Squared Error）和峰值信噪比(Peak Signal-Noise Ratio)最简单的主观评价方法MSE和PSNR可由下列表达式表示：上式中，foriginal(i,j)代表参考图像在空间位置(i,j)的灰度值，fdistorted(i,j)代表失真图像在空间位置的(i,j)的灰度值。虽然MSE和PSNR计算形式上非常简单，物理意义理解也很清晰，但是因为它们是基于失真图像和参考图像像素对之间随机误差差异而定义的本质上没有考虑没有将HVS特性引入到图像质量评价当中来，只是单纯从数学角度来分析差异，与图像的感知质量之间没有必然联系，所以有时候会出现评价结果的不准确性。3.1.2 加权均方误差(weighted MSE)与加权峰值信噪比(weighted PSNR)结合人眼的视觉特性，对传统图像质量客观评价算法MSE、PSNR进行加权处理，得到了加权均方差(wMSE)评价方法与加权峰值信噪比(wPSNR)评价方法，以达到在评价方法中融入HVS特性的目的。加权均方差的总体实现过程为：首先对经二维离散傅立叶变换的原图像和目标图像频谱，依据HVS分别予以子带分割并对获取的系列子带频谱进行二维傅立叶反变换，建立相应的原图像和目标图像的子带图像系列；然后分别计算逐个子带图像对应的MSE值，并依据各子带视觉加权系数Wi进行加权处理；经过wMSE的阈值判决，最终得出该图像质量的评价等级。加权信噪比的主要思想为：首先将原始载体图像划分为区；分别对图像不同区域的象素设定不同的加权系数；计算原始图像和待测图像的误差，整幅图像的加权均方根误差wMsE为；wMSE=i=0M-1J=0N-1wx,y(fx,y-fx,y)21/2MN其中w(x,y)表示在(x，y)处的象素所属区域的加权系数；最后计算加权峰值信噪比wPSNR：wPSNR=10*lg(fmax2/wMSE2)。通常，对于灰度图像有：fmax=255。wMSE和wPSNR方法使得客观评价方法与主观感觉达到一定程度的统一，但是所带来的问题是计算复杂度提高。 3.1.3 基于人眼视觉系统（Human Visual System，HVS）的结构相似度方法HVS模型的主要特性包括视觉非线性、多通道、对比敏感度带通、掩盖效应、多通道间不同激励的相互作用以及视觉心理特征，可以简化描述为如下一系列过程。多通道分解掩膜效应对比度调整和适应对比敏感度函数图1 人类视觉模型其中非线性、多通道、对比敏感度带通和掩盖效应特性研究较多，已有相应的计算模型。而多通道间不同激励的相互作用和视觉心理特征还无法根据生理特性得到精确的计算模型。自然图像具有特定的结构，像素间有很强的从属关系，这些从属关系反映了视觉场景中的结构信息。由此，Wang 等人提出了基于结构失真的图像质量评价方法，称为结构相似度 (SSIM)方法，流程可用下图表示。图2 结构相似法(SSIM)方法框图该方法认为光照对于物体结构是独立的，而光照改变主要来源于亮度和对比度；所以它将亮度和对比度从图像的结构信息中分离出来，并结合结构信息对图像质量进行评价。该类方法在某种程度上绕开了自然图像内容的复杂性及多通道去相关问题，直接评价图像信号的结构相似性。该方法的出发点是要有效模仿人眼提取视觉场景中结构信息的能力，评价结构信息与人眼主观感知非常接近。因此，采用结构相似性可提供与人眼主观感知图像失真非常接近的一种客观评价。SSIM 评价方法通过测量图像结构信息的改变来反映图像质量的失真情况，实现复杂度较低，应用性较强；但同时也屏蔽掉了HVS的其它生理特征，评价过程不易于解析。3.2 部分参考方法(Reduced Reference，RR)部分参考评价方法只需提取部分原始图像数据用于评价，相对于全参考评价方法，这种方法灵活性强，适用范围广泛，具有传输数据量小，可靠性高等特点，受到了越来越多人的关注，更具研究价值。如图3为一个部分参考弄图像质量评价模型。图3 一个部分参考弄图像质量评价模型在这个模型中，发送端有一个特征提取过程，所提取的特征一般数据量远远小于原始图像数据，并通过辅助通道传输到接收端。辅助通道通常认为是没有误差的，虽然实际上做不到绝对没有误差，但相对于原始图像，特征数据量少，其误差更容易控制，而且即使在有误差的情况下，其对图像质量评价也非常有意义。一个成功的部分参考型图像质量评价方法必须在特征数据率和图像质量的预测精度上取得很好的平衡。这是因为，如果部分参考型特征数据率越大，能包含参考图像的信息就越多，得到的预测就会越精确，但这也会给传送这些参数造成很大负担；相反，数据量越小就越易于传送，但最终的预测也会越差。对于部分参考型图像质量的评价方法而言，其实质是统计失真图像相对原始图像的某种或某些特征信息的变化。所以，如何有效地提取和统计图像的特征信息成为对图像质量评价的关键。3.3 无参考方法(No Reference，NR)由于全参考方法和半参考方法需要有原始图像信息作参考，且这两种方法得到的结果往往不能很好的反映人的主观感受阳田，所以无参考方法正受到越来越多的关注。相对于全参考和质降参考评价方法，无参考评价方法的研究仍处于起步阶段。目前，无参考图像失真度量一般是针对某一种或几种类型的失真，如模糊效应、分块效应、噪声效应等：l 模糊效应模糊是一种常见的失真现象其表现是边缘的平滑效应。引起模糊的原因有很多，如图像压缩、拍摄时运动、聚焦不准、镜头失常等。从频域的角度看，模糊往往是高频分量的不足。模糊效应的度量一般是基于模糊会产生边缘的平滑效应的现象。l 分块效应度量分块效应一般是由离散余弦变换压缩算法带来的降质效应。JPEG图像便是采用离散余弦变换压缩算法。客观评价分块效应对于图像、视频压缩系统的发展、优化和评估都很重要。分块效应的度量一般是基于相邻分块间的差异提出来的。l 噪声效应度量数字图像中往往存在各种类型的噪声。产生噪声的原因可能有几种，与生成图像的方法有关，如：图像的处理过程、图像数据的传输、获取罔像数据的电子设备等。噪声效应度量一般是通过对局部平滑度的测量进行，如Xin Li认为,一个像素点如果破坏了一个局部的平滑度，则该像素点可以被以为是噪点。通过对一个像素点与其周围八个像素点的信息比较判断其是否为噪点。可以看出，多数无参考图像质量评价方法所选择的反应图像质量的特征都有比较强的针对性。当然，仅仅评价某一种并不能很好的反应图像的整体质量，应该综合考虑多种因素进行评价。对图像失真效应的度量只能反应出图像的失真程度，并不能直观的反应出人的主观感受。一般将失真效应的度量结果与主观测试值相结合，得出客观质量评价值。3.3.1 基于函数拟合方法函数拟合是指，在掌握大量观察数据的基础上，利用数理统计方法建立因变量与自变量之间的关系函数表达式。在无参考图像质量评价中。根据从样本中提取的特征值结合图像质量的主观测试值构造预测函数，以此函数评价图像质量。主要是针对JPEG图像的评价方法和针对JPEG2000图像的评价方法。a) JPEG图像评价方法JPEG算法的压缩过程是，首先对图像分成统一大小的分块(一般是8x8分块)，对每个分块采用离散余弦变换(DCT)，接着对DCT系数进行压缩。由于压缩过程中存在各种误差，因此压缩后的图像会产生模糊效应和分块效应。Zhou Wang等在2002年提出的针对JPEG图像的分块效应和模糊效应的算法便是采用函数拟合方法。首先。从水平方向和垂直方向对图像的分块效应、模糊效应及图像的零相交比率(zerocrossing rate)进行度量，分别获得特征向量B、A和Z；接着，通过特征向量构造图像质量的评价函数：S=+B1A2Z3其中，, 1,2,3为待定参数，可通过非线性回归方式得出最佳值。非性线回归时，输入值为主观评价值。测试时，S为函数的输出值，即客观评价值。b) JPEG2000图像评价方法JPEG2000与JPEG不同，JPEG2000采用小波变换，其主要的失真效应是模糊和振铃，出现在图像中比较明显的边缘上，因此JPEG2000图像失真与图像内容有关。对JPEG2000失真效应的度量方法也与JPEG不同，一般是基于边缘信息等。如在2004年时，Hanghang Tong等使用PCA方法抽取边缘点的局部特征Ld(i,j)，利用局部特征对图像失真进行度量：Dm=1Nedge(i,j)Ld(i,j)构造质量评价函数：Ps=+DmT其中，,为待定参数，结合主观测试值，使用非线性回归方式得出最佳值；2008年时，ZMParvez Sazzad等也基于像素失真、边缘信息等进行失真度量，利用函数拟合方法构造质量评价函数。3.3.2 基于机器学习方法基于机器学习方法的无参考图像质量评价算法的基本思路是：在训练阶段，通过主观测试值对图像按质量进行分类；抽取反应图像质量的特征向量，以此特征向量和其所对应的图像质量类别构建质量分类器。在测试阶段，将以同样方法抽取的特征向量作为分类器的输入值，分类器的输出值即为图像质量的客观评价值。这类方法的特点是可以借助机器学习领域所取得的研究成果，改进客观质量评价结果。主要是针对JPEG图像的评价，大致可以分为基于统计特征的方法和基于HVS特性的方法两类。a) 基于统计特征的评价方法该方法以图像中的原始像素值对图像的各种失真效应进行度量，作为机器学习的原始特征向量。Huitao Luo提出对视觉感兴趣区域进行评价并以此作为图像质量的方法：首先对感兴趣区域的模糊度、亮度、噪声进行度量，接着采用RBF神经网络进行质量评价。Yanwei Yu等分别度量图像的分块效应和模型效应并以此作为机器学习特征，然后采用广义回归神经网络来评价JPEG图像质量。b) 基于HVS特性的评价方法该方法提取HVS特性作为机器学习的特征，如R.Venkatesh、SureshI等提取边缘振幅、边缘长度、背景活跃度和背景亮度作为机器学习的特征，分别使用两种机器学习方法进行质量评价：串行可裁减径向基函数神经网络和极限学习机。无论是哪类无参考评价模型，模型的准确性都难以比拟全参考模型。一方面是由于缺乏图像的先验知识；另一方面也是由于图像质量的定义模糊造成的。例如一幅发生几何偏移失真的图像，如果有原始图像作为参照，其失真可以明显地察觉。但忽略原始图像的相关信息，单纯从人眼感知的角度去考虑，则图像的质量可以认为不变。为此，在设计质量评价模型时，需要更多关注视觉心理学的相关研究，并可借鉴盲信号处理领域的研究方法，提高模型的精确度。无参考图像质量评价是一个比较新的研究领域，所取得的成果还非常有限。无参考图像质量评价的难点在于：a) 首先，图像中存在许多无法量化的因素，比如，美学、认识联系、知识、上下文等在图像质量评价中起着重要的作用，这些因素会导致基于个人主观印象的人类观察者的一些感知变化，而同时又无法利用可参考信号对比，使得无参考质量评价的问题变得更加复杂。b) 其次，对人类视觉系统的了解还相当有限，图像的理解水平仍然比较低，利用图像的统计信息获取相应的模型和知识表示是一个关键，做到这一点是很困难的。四 .总结与展望关于图像质量评价研究是图像处理领域中一个正在发展中的分支方向，面临的困难还很多。但作为提高图像处理前沿水平的重要方法和有力工具，其在图像处理领域可以发挥无法取代的重要作用。在这种情况下，如何更好地利用各种评价指标为图像处理服务是广大研究者普遍面临的问题。理想的图像质量评价指标应该在3 个方面具有良好的性能：1) 与人类视觉感受具有较好的符合程度；2) 评价指标具有通用性，能够适用于多种图像处理技术；3) 评价的结果具有单调性、准确性和一致性。在现有的客观评价方法中，全参考的评价方法不仅能够对某种技术处理后的图像进行单独的评价，而且也具有一定的通用性，虽然在多种应用的质量评价中其准确性和一致性还不尽如人意，但也能够在一定程度上衡量用多种处理技术处理后的图像质量优劣。无参考的评价方法只能在某种既定的处理技术上得到较好的评价效果，完全无法对多种处理技术处理后得到的图像质量进行评价。在实际应用中，图像质量评价方法和工具可以在各种图像处理技术中发挥重要作用，质量评价的结果可以作为衡量图像处理技术性能的量化指标，通过进一步的反馈优化，以强化图像处理技术的优化功能。根据当前的发展趋势和应用需求，我们认为我们需要努力的方向如下：1） 加深对人眼视觉系统（HVS）的认识。图像的最后接收端是人，而至今我们对于人眼视觉系统的工作原理还没有一个全面而系统的认识，这也使得我们的质量评价工作受到了制约。因此，我们要深入研究人类视觉系统特性。2） 从单纯的客观评价算法到客观与主观评价方法的结合。图像质量评价算法的目标是得到与人的主观评价相一致的评价结果，因此一致性是衡量算法性能的最