《基于学习的图像增强技术》课件第13章

第十三章基于马尔可夫模型与Contourlet变换的图像超分辨率复原算法13.1算法的基本原理13.2Contourlet系数块结构13.3马尔可夫模型13.4基于MRF模型和Cotourlet变换的超分辨率学习算法13.5实验结果与分析13.6本章小结

13.1算法的基本原理

基于学习的超分辨率算法的任务是恢复出低分辨率图像丢失的高频信息,也就是在已知低分辨率图像的情况下,通过某些先验知识预测出高分辨率图像。由于复原(预测)低分辨率图像丢失的高频信息时,低频部分提供的信息有限,而中频部分(在本章中指的是低分辨率图像的高频信息)能提供更多的有用信息,一般可以认为最高频信息条件独立于最低频信息,即

P(H|M,L)≈P(H|M)

(13-1)

式中,H表示高频信息,M表示中频信息,L表示最低频信息。这样就需要提取高频信息和中频信息。为有效提取该信息,可采用Contourlet变换提取高、低分辨率图像不同方向的高频信息和中频信息。

图13-1所示为算法的基本原理框架,在该框架中基于学习的超分辨率算法的任务为在已知4个方向的中频特征图像的情况下,预测未知的4个方向的高频特征图像,最后将预测得到的4个方向的高频特征图像和低分辨率图像进行Contourlet反变换,获得最终的高分辨率图像。图13-1算法的基本原理框架

13.2Contourlet系数块结构

假设对高分辨率图像进行Contourlet变换,生成一个G层的Contourlet金字塔,如图13-2所示(该图中G为4)。在每一层中,均生成4个方向的特征图像(除最后一层外,该层是一个低通的子图像)。可以对每一个在训练库中的高分辨率图像定义一个特征向量:

(13-2)

式中,kl表示第l层中的方向特征图的数量。Dlz,z=1,2,…,kl表示第l层、第z个方向的特征方向图。在图13-2中,E1、E2被看做高频信息,E3被看做中频信息。第4层的低通子图像可以认为是低频信息。图13-2Contourlet变换后的特征表示示意图通过4个方向的中频特征图像来预测4个方向的高频特征图像是本章超分辨率复原问题的关键。由于直接预测整幅方向特性图像较为困难,因此本章先对特征方向图像进行分块,然后分别对各个分块的特性系数进行预测,最后将这些预测的分块融合为完整的特征方向图像。

每一个特征方向图像Dlz都被划分为N×M个图像块,N和M分别为行数和列数。令SH(i,j),(i=1,2,…N;j=1,2,…,M)为高频系数块,如图13-3所示,它被定义为(13-3)式中,Dlz(i,j)表示在方向图像Dlz中位置为(i,j)的系数块。SH(i,j)包括k1和k2个在第1层和第2层中的系数块。类似地,中频系数块SM(i,j)可表示为

(13-4)图13-3Contourlet系数块示意图

13.3马尔可夫模型

本节将使用马尔可夫随机场(MarkovRandomField,MRF)建立高频系数块和中频系数块之间的关系。每一个高频系数块和中频系数块都可以看做MRF模型的一个节点。如图13-4所示,每一个高频系数块SH(i,j)与其对应的中频系数块SM(i,j)以及与它相邻的高频系数块SH(i,j+1)、SH(i,j－1)、SH(i+1,j)、SH(i－1,j)都有联系。φ(·)表示高频系数块SH(·)与中频系数块SM(·)之间的观测函数;ψ(·)表示相邻的高频系数块SH(·)之间的相关函数。

通过Contourlet系数块SH(·)和SM(·),可以把P(H|M)表示为

(13-5)式中,SM是已知的,而SH是未知待求的。由MRF的性质有(13-6)式中,NB(x,y)表示与高频系数块SH(x,y)相邻的块。根据MAP可以估计每一个高频系数块SH(x,y)MAP,即^(13-7)设SH(x,y)为MRF中节点(x,y)的理想的高频系数块,SM(x,y)为SH(x,y)对应的中频系数块,SH(x,y)与SM(x,y)的相容性函数可以表示为^^^^(13-8)式中,σi为噪声参数。类似地,相容性函数ψ表示MRF中相邻高频系数块SH(·)的相关性,定义为(13-9)图13-4高频系数块与中频系数块以及对应的MRF模型节点的示意图设MRF中节点(x,y)与节点(u,v)相邻。O(x,y)为SH(x,y)中的块,它是与SH(u,v)的重叠区域,O(u,v)类似,它们的关系如图13-5所示。其中阴影区域表示相邻节点对应的图像块间的重叠部分。在重叠的区域,相应的邻接的小块的像素值应该尽可能相似。但是由于噪声的存在,认为其重叠的区域有一定的差异,这个差异服从高斯分布,σx为噪声参数。

在马尔可夫随机场中,SH(x,y)如果是连续值的话,将导致计算量巨大,因此通常要求SH(x,y)是有限个离散状态。在基于学习的超分辨率中,SH(x,y)的状态值是从图像库中的高分辨率图像获取的。^^^^^^^将训练库中的高、中频方向特征图划分为相互重叠的块,输入的低分辨率待复原图像也按照相同的方式进行分块。每一个中频系数块需要选择一定数量的高频系数块作为其估计的高频系数块的候选块。最简单的方法是将训练样本中的每一个高频系数块作为SH(x,y)的候选块,但是这将致使计算量巨大。因此为了减少计算量,可在中频系数块库中寻找与中频系数块SM(x,y)最相近的n(例如n=5)个块SiM(x,y),i=1,2,…,n,然后将这些中频系数块对应的高频系数块SiH(x,y)作为SH(x,y)的候选块。

从候选图像块中选择出最优的高频系数块使得式(13-7)最大化计算量非常大,直接计算几乎不可能。^^图13-5图像块间的重叠区域

13.4基于MRF模型和Contourlet变换的超分辨率学习算法

1.训练过程

训练过程的目的是对图像库中的高、低分辨率图像提取特征并进行分块,为学习过程提供相应的数据。训练过程示意图如图13-6所示,具体步骤如下：

(1)对训练库中的高分辨率图像进行3层Contourlet变换,每层包括4个方向特征图像。

(2)将高频特征方向图像划分为图像块(最上面两层),生成高频特征系数块,然后构成高频特征系数块数据库。

(3)采用插值算法放大训练库中的低分辨率图像(与高分辨率图像分辨率相同)。

(4)对放大的低分辨率图像进行两层Contourlet变换。

(5)将中频特征方向图像划分为图像块(最上面一层),生成中频特征系数块,然后构成中频特征系数块数据库。图13-6训练过程示意图

2.学习过程

在学习过程中,输入低分辨率图像,在MRF模型下,通过训练过程中建立的数据库,复原高分辨率图像,学习过程示意图如图13-7所示。具体步骤如下：

(1)对输入的待复原的低分辨率图像使用插值算法进行放大(与高分辨率图像分辨率相同)。

(2)对放大的低分辨率图像进行两层Contourlet变换。

(3)将Contourlet变换后的方向特征图像进行分块处理,并生成中频特征系数块。

(4)利用MAP准则,在MRF模型下,使用训练过程中建立的数据库高频特征系数块数据库SH和中频特征系数块数据库SM,以及第(3)步获得的中频特征系数块求取高频特征系数块。

(5)将求取的高频特征系数块融合为特征方向图。

(6)将求取的特征方向图与输入的待复原图像进行Contourlet反变换,获得高分辨率图像。图13-7学习过程示意图

13.5实验结果与分析

1.实验一人脸图像的实验

本实验使用亚洲人脸标准图像数据库(IMDB)中的人脸图像,提取人脸的面部图像,并进行归一化,归一化为160×192。将160×192的人脸图像作为高分辨率人脸图像,对其进行降质处理,先降质为80×96的图像,然后再将80×96的图像降质为40×48的图像。实验首先选取(IMDB)中不带眼镜的75人进行实验,选正面人脸各一幅,总共75幅。随机选择其中的4幅男性人脸图像和4幅女性人脸图像(共8幅人脸图像)作为测试图像,剩下的67幅作为训练图像。最近邻插值算法、CubicB-Spline插值算法,Contourlet算法与本章算法的实验结果比较如图13-8所示。从实验结果的对比中可以看出：最近邻插值算法、CubicB-Spline插值算法在平滑噪声的同时模糊了大部分的人脸细节;Contourlet算法虽然可以复原出大部分人脸细节,但是在人脸的耳部及嘴唇部存在大量的噪声;而本章的算法能恢复出人脸的细节,并在人脸的细节部分基本没有噪声,其复原结果更逼真。从视觉效果来看,本章算法复原结果与原始高分辨率图像最为相似。

图13-9为定量分析不同方法的平均均方根误差。平均均方根误差是所有测试样本均方根误差(RMSE)的平均。均方根误差定义为(13-10)图13-8实验结果比较式中,HR为原始的高分辨率图像,SR为由低分辨率图像复原得到的超分辨率图像,它们在像素点(x,y)上的灰度值分别为HR(x,y)和SR(x,y)。图像的长度和宽度以像素点数表征,分别为M和N。从图13-9可以看出本章算法的均方根误差最低。图13-9不同方法的平均均方根误差

2.实验二车牌图像的实验

本实验将以车牌为研究对象。收集210幅带有车牌的图像,将其车牌部分图像提取出来(为(176×64)像素)。将提取的车牌图像作为高分辨率图像,对其进行降质处理,分别降质为88×32和44×16的图像。实验中随机选择其中的10幅车牌图像作为测试样本,剩下的200幅车牌图像作为训练样本。图13-10为实验中使用的部分车牌图像。

图13-11为车牌图像的实验结果对比。从实验结果中可以看出,本章算法的复原效果明显好于插值算法。插值算法模糊掉车牌字符的边缘信息,而本章算法较好地复原出了高频信息,使得复原的图像结果在视觉上与真实的高分辨率图像非常接近。图13-10实验中的部分车牌图像图13-11车牌图像的实验结果对比表13-1为不同算法的平均均方根误差,可以看出,本章算法复原的图像的均方根误差远小于插值算法的均方根误差。表13-1不同算法的平均均方根误差

3.实验三自然场景图像的实验

为了进一步研究算法的性能,本实验使用自然场景图像为实验对象。本实验中,图像训练库包含88幅各种类型的图像,例如各种建筑、花卉等。与前两个实验类似,首先对图像库的图像进行下采样,然后进行放大4倍的实验。分别对建筑、花卉和船的图像进行实验,实验结果分别如图13-12、图13-13、图13-14所示。从实验结果中可以看出,本章算法的复原效果明显好于插值算法,插值算法模糊了高频边缘信息,而本章算法较好地复原出高频信息;基于Contourlet变换的算法由于图像库中图像类型较多,并且放大倍数较大,因此复原的结果显得较为凌乱;基于MFR模型的算法效果较好,但是仔细与本章算法对比会发现,本章算法性能更好,特别是边缘部分本章算法的结果显得更加自然。总的来说,本章算法的复原效果最好,在视觉上与真实的高分辨率图像最为接近。图13-12建筑图像的实验结果对比图13-13花卉图像的实验结果对比图13-14船图像的实验结果对比表13-2、表13-3、表13-4为不同算法的PSNR。可以看出,本章算法复原的图像PSNR远小于插值算法的PSNR,本章算法取得了最高的PSNR,这与视觉效果完全一致。表13-2不同算法对建筑图像的PSNR表13-3不同算法对花卉图像的PSNR表13-4不同算法对船图像的PSNR

4.实验四真实环境下采集的图像的实验

为了进一步验证本章的算法,本实验中将本章算法应用于真实的环境。图13-15(a)为数码相机拍摄的真实