基于稀疏表示与矩阵填充的多帧超分辨率图像重建

基于稀疏表示与矩阵填充的多帧超分辨率图像重建

图像的分辨率是指使用1个或多个低分析率（lr）图像重建1个高分辨率图像（hr）的过程。其主要技术主要包括图像质量分析的设计、图像的定时速度和精度、超分辨率方法的性能评价和分析、噪声去除等。超分辨率方法主要分为:基于插值的方法、基于重建的方法和基于学习的方法.基于多帧LR图像的插值方法最直观且算法简单易行,可用于并行计算,但高频细节损失效果明显,从而造成图像模糊;基于重建的方法虽然保留了更多图像细节,但当分辨率提升要求较高(4倍以上)时,先验假设偏离实际较大,造成获取的亚像素运动信息不准确,重建效果通常不理想.基于学习的方法是近几年图像超分辨率算法研究的热点.为在大抽取率情况下恢复必要的高频信息给出了新的思路,例如:Freeman等针对以上问题,本文引入压缩感知领域的矩阵填充理论,即使矩阵元素缺失或者损坏,只要观测矩阵低秩且满足某些条件,则可精确恢复矩阵.1稀疏表指示法1.1图像块局部特性的重建假设过完备词典D∈瓗式中:α如图1所示,SΔ∈瓗根据流形理论,图像块的局部特性在投影后基本不变式中:α通过解决式(4)中给定的优化问题,高分辨率图像块y进行重建.1.2经过制定的联合词典针对高分辨率词典与低分辨率词典对应相同稀疏向量的特点,训练联合词典对D经过训练得到的D已知条件求解稀疏表示.1.3高通滤波的滤波器为了使重建后的图像保持高频细节,算法采用F———简单而高效的4个一维梯度滤波器进行高通滤波.一阶和二阶梯度滤波器分别表示为下标h和v分别表示计算水平和垂直梯度.根据式(4),将LR图像块y2矩阵填充和epca2.1低秩矩阵填充理论矩阵填充技术主要解决在仅观察到一个矩阵的某一小部分数据时,如何填充那些未知或者缺失的数据问题.近几年,矩阵填充理论取得了较大的发展.2006年,Candès等假设一低秩矩阵A∈Σ式中:P式中‖·‖2.2改进的增广拉格朗日乘子法针对矩阵元素损坏与丢失问题,结合矩阵填充与矩阵恢复2种凸优化问题,求解以下问题:对应的增广拉格朗日乘子为式中:‖·‖在迭代过程中,实际上只需更新A与E各1次即可得到子问题的一个近似解,足以使算法最终收敛到原问题的最优解,这种更简洁且收敛更快的算法称为非精确增广拉格朗日乘子法(IALM).基于矩阵填充与RPCA可恢复矩阵丢失元素及修复受损元素的特点,本文在多帧超分辨率图像重建方法中,对稀疏表示法进行改进.由于过完备词典对的训练与稀疏表示均针对图像块的局部特征,故在求解出稀疏表示后加入图像全局约束,使HR图像进一步收敛,提升重建后的图像精度.3图像重建多场景数据3.1稀疏表示和局部限制假设已知经过不同传感器获取的多帧同一场景LR图像集合I槇式中:α初步重建的图像块由D3.2约束重建记序根据第2部分矩阵填充与RPCA的论述,改进后的非精确拉格朗日乘子法可有效对抗矩阵元素的缺失与损坏.设第k幅观测图像局部约束重建后记为则HR图像集合I考虑理想情况:假设同一场景不同传感器获得的LR图像具有几乎相同的图像降质模型(根据式(2),各传感器具有近似的SΔ、H和n将以上理想情况反推:根据式(9),可将局部约束后重建的图像行列串联组成的矩阵I^全局约束IALM算法如下.(9)endwhile;通过矩阵填充和矩阵恢复对图像进行整体约束,提取输出低秩矩阵I4bic使用算法测试图像超分辨率本文对基于稀疏表示的超分辨率算法进行了改进,将矩阵填充与矩阵恢复引入图像整体约束,增强了图像块之间的相关性,并提高了图像重建精度,同时对噪声具有一定的鲁棒性.实验环境为CPU奔腾双核2.4GHz,内存4.0GB,显存为512MB,操作系统为WindowsVisa针对基于学习的方法易受训练词典中图像选取范围影响的问题,本文首先选取100幅自然类图像(nature)进行过完备词典对的训练,然后分别针对与自然图像相关度较低的“bookshelf”与“girlface”图像进行超分辨率性能的比较.本文分别选取双三次插值法(bicubic)、邻域嵌入法(NESR)、稀疏表示法(SRSR)和本文算法(basedonsparserepresentation&matrixcompletionandrecovery,SRMCR)进行对比,分辨率提升倍数选取4倍.需要指出的是,LR输入图像的产生均是通过针对原始的HR图像源进行K次不同的降质过程,构成LR图像序列I槇同理,对“girlface”图像进行超分辨率实验,原始LR图像分辨率为:70×70像素;输出分辨率为:280×280像素,分辨率提升4倍.LR输入图像、4种算法输出图像及HR原图像如图3所示.为便于比较,放大图中女孩的鼻子,4种算法中Bicubic效果最差;NESR虽然生成的图像比较平滑,但损失了高频细节;SRSR虽然保留了头发和鼻子的高频细节,也能看到面部的部分雀斑,但由于缺少图像块间的相关性,图像不够平滑;本文算法(SRMCR)采用矩阵填充与矩阵恢复增加了图像整体约束,从而与HR原图像最为接近,可清晰看到鼻子的轮廓及面部的雀斑.为了进一步比较算法性能,引入峰值信噪比(peak-to-peaksignal-to-nioseratio,PSNR)指标,它定义为计算信号与噪声的功率谱比值,公式如下:式中:L为图像可表示的最大灰度级数;RMSE为信号的均方根误差.峰值信噪比越大,说明超分辨率性能越好,图像重建质量越高.分别选择“bookshelf”、“girlface”、“Lena”、“flower”、“building”进行实验,计算4种算法重建图像的PSNR值,表1列出了对比结果.Bicubic对不同素材表现的比较均匀;“flower”素材由于贴近过完备词典中的自然图像,NESR、SRSR和SRMCR的PSNR值均为最高.比较之下,本文算法SRMCR不易受过完备词典选择范围的限制,具有更好的超分辨率性能.5实验结果及分析1)本文首先建立稀疏表示模型,训练过完备高分辨率和低分辨率联合词典,通过局部先验约束计算稀疏向量;然后,对初步生成的多帧HR图像构建图像全局约束,采用非精确拉格朗日乘子法进行矩阵填充和矩阵恢复;最后,利用矩阵构建的逆过程重建图像.2)实验结果表明,该算法不易受训练词典的影响,具有较好的PSNR指标,可有效保留图像高频信息,又不会使图像过于平滑而导致图像模糊,可应用于遥感图像超分辨率重建等机器视觉领域.式(4)为拉格朗日乘子表示法.式