基于小波域图像超分辨率复原

基于小波域的图像超分辨率复原姓名：徐震寰学号：2011000366专业：模式识别与智能系统导师：林茂松（教授）日期：2013年5月13日报告内容超分辨率复原技术简介基于学习与重建相结合的单幅图像超分辨率复原小波变换在超分辨率技术当中的应用一、超分辨率技术简介1、超分辨率复原技术

超分辨率复原技术的基本思想是采用信号处理的方法，在改善图像质量的同时，重建成像系统截止频率之外的信息，从而在不改变硬件参与的前提下，获取高于成像系统分辨率的图像。作为一种不需要硬件参与的提高图像空间分辨率的方法。超分辨率复原技术利用连续多帧低分辨率图像中不同而又相似的信息，并结合有关先验知识，重建高分辨率图像。因此，它的最大优点就是成本低，现有低分辨率成像系统依然可以使用，特别是能够实现对已经获取的大量图像资源充分利用。目前，超分辨率复原技术在遥感遥测、医学成像、视频监控、数字媒体等诸多领域都得到了初步的使用，并表现出了巨大的发展潜力。超分辨率定义：

图像超分辨率(superresolution,SR)是指由一幅低分辨率图像(lowresolution,LR)或图像序列恢复出高分辨率图像(highresolution，HR)。HR意味着图像具有高像素密度，可以提供更多的细节，这些细节往往在应用中起到关键作用。2、超分辨率复原方法（1）、基于重建的方法a、频域法b、空域法（2）、基于学习的方法a、频域法

频域方法是通过在频域消除频谱混叠来重建图像的高频信息，提高空间分辨率，其理论依据为傅里叶变换的混叠理论。优点：思路清晰，容易理解缺点：动模型和退化模型受到限制，无法充分利用图像的先验知识。（1）、基于重建的方法b、空域法

能够建立全面的观测模型，将复杂的全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样以及压缩赝像等并入其中，而且具有很强的包含空余先验约束的能力。目前空域法主要包括迭代反投影方法，凸集投影算法，最大后验概率估计法等。空域法图像复原流程图

基于学习的超分辨率复原是使用一个图像训练集来产生学习模型，并运用这个模型创建图像的高频细节。具体步骤为：(1)将高分辨率图像按照退化模型进行恶化，产生一个图像训练集。(2)根据高低分辨率块的对应关系，通过一定算法进行训练学习，获取先验知识，建立学习模型。(3)以输入的低分辨率块为依据，在建立好的学习模型中搜索最匹配的高分辨率块，最终复原出最优的超分辨率图。（2）基于学习的方法基于学习的超分辨率复原框架2、基于学习与重建相结合的单幅图像超分辨率复原DanielGlasner，ShaiBagon，MichalIrani根据图像块局部自相似性设计出了一种基于学习与基于重建相结合的超分辨率复原方法，从而实现单幅图像超分辨率的复原效果。（1）、局部自相似性图像块局部自相似特性（patchredundancy）：每一幅图像倾向于包含很多重复的视觉内容，尤其是小的图像块，倾向于重复在图像中出现，不管是在同尺度图像，还是在不同尺度图像中。而这一原理成为构造单幅图像恢复超分辨率图像的框架的基础。

在上图两个尺度相同都为128*128的图1和图2中，可以看出两个红色图像块和两个蓝色图像块具有相似的视觉效果，其具有较高的相似性，却又存在一定的细节差距，我们将这样的图像块可以作为构造超分辨率图像的相似块，而图像（2）中的图像块依然可以在图像（3）中找到相似块，并构成低分辨率/高分辨率图像块配对。（2）、利用图像局部自相似性实现单幅图像超分辨率复原3、小波变换在超分辨率中的应用

小波是近几年发展的一种新算法，其优点在于频域和时域都具有良好的局部化性质。在小波变换域中进行超分辨率重建有利于保持高分辨率估计图像的边缘信息。

小波变换的基本思想是将信号分解到不同的分辨率层或者尺度上，这样分解可以在不同的尺度上独立对信号进行分析和研究，对高频部分采用逐渐精细的频域或者时域取步长，从而可以聚焦到对象的任意细节。haar小波变换haar平稳小波变换小波二级分解图a、基于小波变换的双线性插值方法1、将原图像f(x,y)进行小波分解得到MA、MH、MV和MD四个细节子图，形式上记为

Tf(x,y)=（MA,MH,MV,MD）；2、将MH、MV和MD采用双线性插值算法（记做算子L）分别进行插值，得到

，

和

；3、设原始图像的低通部分

，这样对四个子图

做小波逆变换，变换后的结果也就是最终的插值结果为：。b、基于小波变换修正的双线性插值图像放大方法

该算法建立于小波变换的双线性插值方法之上，利用了细节子块之间的相似信息实现超分辨率复原。具体算法描述如下：1、将原始图像f(x,y)进行双线性插值得到放大图像2、将进行二维小波分解得到低频近似分量和三个高频近似分量，，和。3、计算修正参数。令，计算得到修正参数。4、基于修正高频分量。5、重构图像，用原始图像f替换与修正后的高频分量进行小波二维分解逆变换重构得到最终放大图像。c、基于小波域自学习实现方法（1）输入图像I灰度图像I-0超分辨率图像低频L2低频L3竖直高频V2低频L1对角高频D2I-0水平高频H对角高频D对角高频D1竖直高频V水平高频H1水平高频H2竖直高频V1水平高频H3灰度转换滤波平稳haar小波变换学习关系小波逆变换对角高频D3haar小波变换竖直高频V3构建神经网络获得自相似关系haar平稳小波d、基于小波域自学习实现方法（2）另外一种小波域自学习实现超分辨率方法是将图像的利用局部自相似性实现单幅图像超分辨率方法与小波域变换相结合，实现超分辨率复原，具体算法描述如下：1、将图像L进行三次小波分解，第一次平稳小波分解后得到高频H1，水平高频V1和对角高频D1，图像大小为N*N，2、再将图像进行两次降采样的小波分解，得到高频H2，H3，水平高频V2，V3和对角高频D2，D3图像大小为N/2*N/2和N/4*N/4。3、利用H1、H2和H3，V1、V2和V3，D1、D2和D3的局部自相似性和小波变换子块相似性构造高分辨率/低分辨率图像块配对矢量来实现单幅图像的超分辨率复原，首先选取H1，H2和H3作为样本，通过基于示例学习的方法得到高分辨率图