基于双变量admm的超分辨率图像重建

基于双变量admm的超分辨率图像重建

0超分辨率图像重建图像高分辨率重建使用数字处理器技术重建图像的最小分辨率（lr）图像，并获得高分辨率图像（hd）图像的技术。目前超分辨率图像重建的方法主要分为3类在重建之前,先分析相关原理和模型,了解HR图像退化成LR图像的过程,才能对其进行逆操作,即图像重建。Elad基于正则化方法的超分辨率图像重建有2个关键问题1优化函数结构1.1像素点及超分辨率全变分是超分辨率图像重建中常用的正则化算子,因为它可以保持图像的边缘信息。假设X为单幅图像,可表示为其中#X为对X求梯度运算,TV可以看做是图像一阶梯度#X的1范数。对于二维图像的像素点,用矩阵差分表示为:其中,i、j表示像素点的位置。全变分还可以表示为:其中,D根据前述分析的退化模型,将全变分应用到超分辨率图像重建问题中,可以表示为:全变分算子作为先验知识进行约束,使重建图像有较高的精度,具有各项异性的平滑作用,梯度计算可以较好地保护图像的边缘信息。并且与不含噪图像的TV相比,含噪图像的TV要大很多。因此,通过限制TV的值就可以限制图像中的噪声1.2k及分数阶微分算子为了弥补全变分的缺陷,许多高阶全变分算子被提出,但高阶项的使用容易产生斑点状噪声通过分数阶微分构造FOTV算子,分数阶全变分同样由2个方向的分数阶微分构成。本文根据Grümwald-Letnikov(G-L)中的定义其中v为分数阶微分的阶次,k是涉及计算量的常数。C其中Γ为伽马函数,定义为:对于式(5),v=1时,等同于整数阶的一阶微分算子。当v固定时,随着k增加,二项式系数C对于二维图像的分数阶全变分,与全变分类似,主要分为图像X在2个方向的梯度分量D其中,W因此分数阶全变分可以表示为其中,v取值1<v<2。分数阶微分可以看作是整数阶微分的推广,本文从频域的角度绘出分数阶微分的幅度随频率变化的曲线如图1所示。从图1可以看出,不同阶次的分数阶微分算子都可以加强信号,并且随着频率增大,呈非线性地增长。对于高频信号来说,分数阶的阶次选择得越大,信号的增强作用越大,但是对于低频信号来说,较小的分数阶阶次,可以更好地保护信号。根据上述思想构造FOTV,选择合适的分数阶阶次,可以在加强高频信号的同时,非线性地保留低频信号,更好地重建出图像的纹理细节信息1.3fctv阶次自适应选择在选择分数阶全变分阶次之前,要首先分析结构张量,构造纹理检测函数,再分析图像不同区域的纹理和平滑程度,从而根据图像的纹理和平滑程度,自适应地选择FOTV的阶次,对高频纹理和边缘信息选择较高的阶次,对低频的平滑信息选择较低的阶次。假设f是输入的图像,即需要进行纹理提取的图像。原始的结构张量的定义是其中G在传统结构张量思想的基础上,构造基于图像一阶和二阶微分的向量u=(u因此,定义纹理检测函数为其中k是对比因子,且为常数,用来调整图像纹理和平滑的对比程度。Λ(x,y)是公式(15)几何矩阵Λ的最大特征值。对于公式(14)所示的纹理检测函数,在图像的平滑区域,图像的一阶二阶微分接近于0,即u的元素接近于0,从而Λ(x,y)接近于0,纹理检测函数g(x,y)接近于1。在图像的纹理区域,u至少有1个元素的值比较大,从而导致Λ(x,y)无穷大,纹理检测函数g(x,y)接近于0。图2是利用纹理检测函数对图像的检测结果,可以看出,利用纹理检测函数可以准确清楚地衡量图像特征。因此根据纹理检测函数g(x,y)选择图像不同区域的分数阶全变分的阶次1<v<2,表示如下:其中δ是常数。但是对一幅M×N大小的图像进行FOTV阶次的自适应选择,就会有M×N个不同的阶次,导致重建的运算量很大。因此为了减少重建的运算量,对M×N个FOTV的阶次进行分段,降低运算量。1.4图像边缘优化函数前文所述优化函数为:本文采用正则化方法求解,并选择全变分和自适应全变分作为正则化项约束解空间,使重建的图像边缘清晰并具有丰富的纹理细节信息,则优化函数为:其中,第1项是保真项,衡量重建结果的误差,表示重建结果图像和原始图像的拟合程度。第2项和第3项是正则化项,μ和θ是正则化参数,用来调节各项所占比重。v是自适应选择的分数阶阶次,可根据式(16)得到。根据式(18)可重建得到高分辨率图像。2admm算法求解互动型问题对图像重建的优化函数求解时,由于超分辨率图像重建的优化函数中包括下采样因子,导致在使用交替方向乘子算法(ADMM)求解的过程中,子问题求解时快速傅里叶变换无法使用,而采用其他算法(如共轭梯度法)又会使运算时间加长,实时性降低。针对这一问题,本文首先利用近端映射的理论,将优化函数分解为2步进行求解。从而第2步中不含有下采样因子,就转化为了去噪的问题在实际进行迭代运算时,应对Y更新,更新方式为:从而在对公式(19)中的第2步采用ADMM方法时,其子问题可以通过快速傅里叶变换进行求解,降低了计算的复杂程度为了求解式(19),引入另外2个辅助变量其中λ公式(21)中包含3个变量,求解其中一个时,将其他2个变量固定,化为如下3个子问题进行求解。增广拉格朗日系数矩阵更新如下:子问题1根据公式(22)得求解Z采用迭代收缩阈值(IST)子问题2与子问题1处理方式相同,即:子问题3根据公式(22)得求解X在X处对公式(28)进行求导,并令导数为0,推导得:算法总流程如图3所示。输入一幅低分辨率图像,首先对图3算法中的参数进行初始化,利用1.3节的纹理检测函数自适应地确定各像素点的阶次。其次利用近端映射将优化函数转化为2步求解的方式,即式(19),采用ADMM算法将式(19)的第2步划分为3个子问题(Z,Q,X),并按照上述分析分别进行优化求解,最终求得X。更新参数并进行迭代,直到满足迭代终止条件,输出重建的高分辨率图像X。3结果与分析3.1小样本图像的2倍放大重建在选择测试图时,考虑到图像的纹理和平滑程度,本文选择4幅256×256像素的图像,分别为Fingerprint、Pentagon、Lena、Girl。Pentagon和Fingerprint图像整体来看,纹理细节信息较多。Lena作为经典的图像测试图,其包含了丰富的纹理信息和平滑信息,Girl图像虽纹理平滑兼具,但是相比之下平滑信息较多一些。将选择的测试图按照前文所述的退化模型进行降质,模拟生成作为输入的LR图像。对这4幅图分别进行2:1下采样,加高斯模糊核,得到低分辨率图像,然后作为输入再进行对应的2倍放大重建。其中相关参数选择:迭代阈值tol=10从表1、表2可以看出,在2倍放大时,本文方法相比于其他几种方法,在PSNR值和SSIM值上有一定的提升,改善了图像的重建质量。尤其是Fingerprint图像,重建结果较其他方法改善较大。主要是因为Fingerprint图像的平滑和纹理特征较明显且容易检测,本文方法自适应地选择了合适的分数阶阶次,保护低频信号的同时非线性地放大了高频信号,改善了图像重建质量。3.2重建率图像后的重建选择256×256像素Fingerprint图像,并进行2:1、3:1、4:1、5:1下采样,加高斯模糊核,得到低分辨率图像,然后作为输入再进行对应的2倍、3倍、4倍、5倍放大重建,对结果进行比较。从表3、表4可以看出,随着放大倍数增加,各种方法的重建质量都在变差,原因是正则化方法是利用自身现有较少的信息重建估计未知的像素点,而输入的低分辨率图的本身信息又是有限的。因此随着放大倍数增加,重建质量变差。但是从PSNR和SSIM值来看,本文方法重建效果依然优于其他几种方法。3.3重建图像的误差对3.1节中Pentagon图像2倍放大重建的结果进行观察对比。从图4~图6的重建结果可以看出,双线性插值、Tikhonov和ScSR重建图像的效果较差,和原图误差较大,TwIST+TV和本文方法都重建出了大楼图像的细节信息,但是从图5的误差图和图6细节图可以看出,在大楼楼体部分,本文方法重建图像更真实,和原图的误差明显最小,重建质量最好。4fctv函数和admm算法处理图像重建本文采用正则化的方法对单幅图像进行重建,添加TV和自适应FOTV正则化项约束解空间,重建得到高分辨率图像。与普通FOTV不同的是,自适应FOTV利用纹理检测函数检测图像的平滑和