《基于学习的图像增强技术》课件第2章

第二章常用图像增强技术介绍2.1图像增强概述2.2空域图像增强2.3频域图像增强2.4图像客观评价算法2.5本章小结2.1图像增强概述图像增强的目的是突出图像的有用特征,同时削弱或消除干扰信息,将原来不清晰的图像变得清晰或强调某些感兴趣的特征,最终改善图像质量、丰富信息量,提高目标图像的视觉质量,使得增强后的图像利于后续的分析处理。

常用的图像增强方法主要分为两大类：空间域(空域)方法和频率域(频域)方法。空域图像增强方法属于直接操作,通过对图像的像素直接处理达到增强效果。基于空域的方法又分为点运算方法和空域滤波方法。点运算方法包括灰度变换、直方图均衡等,其目的是或者使图像成像均匀,或者扩大图像动态范围,或者扩展图像的对比度。空域滤波方法是通过各种模板与图像进行卷积运算,以突出图像的某些特征并抑制或者去除其它特征,从而增强图像的视觉效果。空域滤波中使用的模板即滤波器,常用的包括抑制噪声的均值滤波器、中值滤波器以及各种边缘锐化算子(如拉普拉斯算子等)。频域图像增强属于间接操作,需要先对图像进行离散余弦变换(DCT)、快速傅立叶变换(FFT)或者小波变换到频域空间做滤波处理,然后对滤波处理后的频率信息进行反变换,以获得增强后的图像。在图像变换到频域后,通常原图像的细节边缘以及噪声对应频率域的高频信息,而原图像背景区域则对应低频区域,因此可利用高通滤波器或者低通滤波器达到锐化边缘或者消除噪声的目的。下面将简单地介绍空间域图像增强方法和频率域图像增强方法。

2.2空域图像增强

空域图像增强是对图像像素进行直接操作的过程,可由下式定义：

g(x,y)=T(f(x,y))

(2-1)

其中,f(x,y)是输入的原始图像,g(x,y)是处理后的增强图像,T是对f(x,y)的操作。如果T定义在单个像素点(x,y)上,则T为一种点操作,主要方法有灰度变换、直方图均衡等;如果T定义在(x,y)的邻域上,则T为模板操作,该方法称为空域滤波,主要包括空域平滑滤波、空域锐化滤波等。

2.2.1灰度变换

设r和s分别表示原始图像和增强后图像的灰度值,则灰度变换的图像增强原理就是通过将原始图像f(x,y)的灰度值r映射到增强图像g(x,y)中的灰度值s,从而扩展或者压缩图像灰度动态范围,达到增强图像对比度的目的。灰度变换的关键在于映射函数的设计,常用的灰度变换有分段线性变换、对数变换和幂次变换。

1.分段线性变换

分段线性变换的一个典型代表是基于三段线性变换函数的变换,如图2-1所示。图2-1分段线性变换函数示意图从图2-1可知三段线性变换函数的表达式为(2-2)其中,L为图像灰度的最大值,一般取255;ai是尺度因子,在图2-1中表示为第i条线段的斜率,计算公式如下：(2-3)分段线性变换通过拉伸图像感兴趣区间并抑制不感兴趣区域对图像进行增强处理,从而改善图像的质量。算法的关键点在于分段点的选取,该算法虽然比较灵活,但鲁棒性不强。图2-2为一个分段线性变换函数增强图像的例子。图2-2一个分段线性变换函数增强图像示例

2.对数变换

由于人眼对图像亮度信号的处理过程近似为对数形式,因此人们常用对数变换实现对图像灰度动态范围的调整。对数变换可表示为

s=clg(r+1)

(2-4)

其中,尺度因子c为常数,且r≥0。对数变换可以扩展被压缩的高值图像中的暗区域,使低亮度区域的细节更清晰可见,在处理低照度图像上表现出了良好的增强效果。在对数变换图像增强过程中,尺度因子c的选择是关键,它的取值需要结合图像的灰度动态范围及显示设备的显示能力。由于对数变换压缩了图像的灰度动态范围,而幂次变换相对对数变换更加灵活,因此在更多的时候是采用幂次变换对图像动态范围进行调整。

3.幂次变换

幂次变换是将输出图像g(x,y)与输入图像f(x,y)的灰度映射关系表示为幂次形式,其基本形式可表示为

s=crγ

(2-5)

其中,尺度因子c和参数γ为正常数。随着γ取值的变化,幂次变换将得到一族变换曲线。γ>1时和γ<1时增强效果相反,γ>1时,幂次变换会扩展图像灰度值的高区域而压缩灰度值的低区域,而γ<1则正好相反。如图2-3所示,在c值不变的情况下,随着γ值的变化将得到一系列变换曲线。图2-3在c值不变的情况下,随着γ值的变化将得到一系列变换曲线图2-4所示为幂次变换函数增强图像的一个例子。目前,图像的获取、打印及显示等装置都根据幂次规律产生响应,用于修正幂次等式的过程(即修正γ的过程),又称为伽玛校正,如果伽玛校正不恰当,常会造成图像变暗或过白。图2-4幂次变换函数增强图像示例2.2.2直方图均衡

图像的直方图反映像素值的出现频率,它是一种重要的图像特征。若只考虑图像的灰度信息,则图像f(x,y)的灰度直方图可表示为(2-6)灰度信息的整体描述,可以通过对直方图进行修正达到增加图像对比度的效果,其中最常用的方法就是直方图均衡。直方图均衡的核心思想是把原始图像的灰度直方图从比较集中的某个灰度区间变成在全部灰度范围内的均匀分布。直方图均衡的具体实现如下。假设输入图像和输出图像的归一化灰度级分别为r和s,则直方图均衡化就是通过一个变换函数s=T(r)修正直方图使输出图像的灰度概率密度均匀分布,拉大像素灰度间距。但变换函数T(r)需要满足两个条件：

(1)T(r)为[0,1]上单调递增函数;

(2)输入、输出灰度级保持一致,即0≤r≤1时,0≤s≤1。

上述条件分别保证了逆变换的存在和灰度变换前后灰度动态范围的一致性。逆变换r=T－1(s)也必须满足上述两个条件。

对于离散的数字图像,变换函数T(r)可表示为(2-7)利用式(2-7)改变输入图像的灰度分布,使变换后的图像的灰度分布均匀,也就是提升了图像的灰度动态范围,从而改善图像视觉效果,达到增强图像的目的。直方图均衡就是对图像进行非线性拉伸,重新分配图像像素值,使一定灰度范围内的像素数量大致相同。虽然直方图均衡能够增强图像对比度,但是存在如下缺点：

(1)变换后图像的灰度级减少,某些细节消失;

(2)某些图像,如直方图的高峰,经处理后呈现对比度不自然的过分增强。

图2-5为一个直方图均衡的例子,可以看出经过直方图均衡后,图像的对比度得到了极大的提升,直方图也变得更加平坦。图2-5直方图均衡示例2.2.3空域滤波

空域滤波是通过各种模板与图像进行卷积运算,以实现对图像的增强。这些模板也就是滤波器,用来突出图像的某些特征并抑制其它特征,从而增强图像的视觉效果。空域滤波增强的运算如下：

g(x,y)=f(x,y)*H(x,y)

(2-8)

其中,f(x,y)、g(x,y)分别是输入图像和输出图像,H(x,y)为滤波模板。常用的模板有邻域均值模板、中值模板和拉普拉斯模板等。邻域均值模板滤波主要用于平滑噪声,但在边缘区域会造成模糊效应。中值模板滤波基于统计排序,在平滑噪声时对边缘区域的保持效果上要优于邻域均值模板滤波。而拉普拉斯模板主要用于图像锐化,缺点是对噪声比较敏感。图2-6为一个拉普拉斯模板增强图像的例子,从该图中可以看出,应用拉普拉斯模板可以增强图像的细节,但是同时也加大了噪声。图2-6拉普拉斯模板增强图像示例

2.3频域图像增强

在傅立叶变换中,图像空域的背景平滑区域对应频域的低频部分,而细节部分如边缘或噪声对应频域的高频部分。对图像频域的高频部分进行衰减或截断,从而实现对图像的平滑处理的滤波器称为频域低通滤波器。相对应的,保留图像高频部分,而抑制低频部分的滤波器称为频域高通滤波器。设F(u,v)、G(u,v)分别为输入图像f(x,y)和输出图像g(x,y)对应的频域图像,H(u,v)为滤波器传播函数,则频域图像增强流程如图2-7所示。

图2-7频域图像增强流程2.3.1频域低通滤波器

1.理想低通滤波器

理想低通滤波器是最简单的低通滤波器,它通过截断频域上大于截止频率D0的所有高频分量达到滤波效果,其传递函数可表示为(2-9)式中,截止频率D0为非负数。若图像的尺寸为M×N,则D(u,v)是点(u,v)距频率中心点(M/2,N/2)的距离,表示如下：(2-10)

2.巴特沃斯低通滤波器

为避免理想低通滤波器频率的突然截断造成的振铃效应,巴特沃斯低通滤波器保留了一定的过渡带,其传递函数定义如下：(2-11)

3.高斯低通滤波器

高斯低通滤波器的传递函数定义如下：

(2-12)

与巴特沃斯低通滤波器一样,高斯低通滤波器也能避免振铃效应。2.3.2频域高通滤波器

频域低通滤波器主要是衰减或截断频域的高频分量并加强中低频分量,从而平滑边缘,去除噪声,突出边缘区域。如果想削减频域中的低频分量并加强高频分量,则需要进行相反的操作,其滤波器称为频域高通滤波器,又称频域锐化滤波器。频域高通滤波器的传递函数可通过低通滤波器求出,即

Hhp(u,v)=1－Hlp(u,v)

(2-13)

其中,Hlp(u,v)是相应低通滤波器的传递函数。与低通滤波器相似,高通滤波器主要有理想高通滤波器、巴特沃斯高通滤波器和高斯高通滤波器等。

2.4图像客观评价算法

2.4.1人眼视觉系统

人眼视觉系统具有非线性、多通道和掩蔽效应等特性。通过对这些视觉特性的分析,可总结出以下几点人眼视觉系统对图像质量的认知特征：

(1)人眼分辨细节的能力与相对亮度成正比,而不是取决于整体亮度,这也是韦伯定律的基础,因此相对于平坦区域,人眼对图像边缘轮廓信息的失真更加敏感。

(2)人眼对图像细节的敏感度与其背景的亮度相关,对中高亮度背景情况下的细节信息较敏感,对低亮度和高亮度背景下的细节敏感度则较低。

(3)人眼对低频下的噪声敏感度要高于高频区域,即人眼更容易感知平坦区域的噪声,而不是边缘区域的噪声。

以观察者的角度表达图像带给人的直观感受,这就是图像视觉质量的主观评价。图像质量客观评价模型就是对人眼的主观感受的模拟过程。常用的图像质量主观评价标准如表2-1所示。该表是表1-2在图像增强中的另外一种体现形式。

结合上文介绍的人眼视觉系统特性,可分析和建立图像质量的客观评价模型。表2-1图像质量主观评价标准2.4.2归一化灰度差

视频图像的绝对亮度值与其质量的好坏紧密相关,亮度过高或者过低都会导致视频图像的质量不好。质量良好的视频图像一般都在合适的亮度范围内,一般认为越靠近平均灰度127.5的视频图像质量越好。为了评价图像质量,可定义归一化灰度差NID用来描述绝对亮度值与视频图像质量的关系：(2-14)2.4.3归一化对比度

对比度对图像的视觉效果影响非常关键,一般来说,对比度越高,图像的色彩越鲜明,层次感越强;相反对比度越小,则图像会有灰蒙蒙的效果