图像超分辨率重建技术综述

图像超分辨率重建技术综述

1图像超分辨率重建技术的基本原理

图像的高分辨率重建是对多段图像的低分辨率重建，其中图像具有互换信息。利用图像超

分辨率重建技术,可以在不改变成像系统的前提下，实现提高图像空间分辨率的目的，入但

可以改进图像的视觉效果:而且对图像的后续处理如特征提取、信息识别等都具有十分重

要的意义。该技术在高清晰数字电视、旧视频翻录、视频监控、医学诊断、遥感监测、生

物信息提取与识别等领域具有重要的应用价值。

图像超分辨率重建技术与其它的一些图像处理技术如图像去噪、图像去模糊、图像复原、

图像增强、图像内插以及药像融合密切相关,然而这些关系在一有的文献中并没有被系统

的总结。本文的一个主要册究内容就是从图像观测模型出发介绍超分辨率重建技术的基本

原理，阐述超分辨率重建技术与这些相关图像处理技术的关系。超分辨率重建可以大致分

为运动估计、重建模型的建立和超分辨率影像运算三个基本步骤,在得到超分辨率影像后

还经常需要对其进行质量评价。此前有关超分辨率重建技术的综述文献主要是对第二个步

骤内容即重建模型进行总结,而对图像超分辨率重建中常用的运动估计方法、运算方式及

质量评价方法论述不多。因此,木文的另一个主要研究内容就是对以上三个方面进行系统

的总结和归纳。

2图像超分辨率重建

首先介绍一个通用图像观测模型。图像观测模型描述的是理想图像与观测图像之间的关系,

它是深入理解超分辨率重建原理的关键。在超分辨率重建中，观测图像为一系列的低分辨

率图像,理想图像即为所求的高分辨率图像。给定一定场景的P幅低分辨率图像，可以认为

它们是由一幅高分辨率图像经过一系列的降质过程产生的，降质过程包括儿何运动、光学

模糊、亚采样以及附加噪声。如果用矢量Z表示所求的高分辨率图像,gk表示某一幅低分

辨率图像（下角k为图像编号），一个常用的图像观测模型为

gk=DBMkz+nk（l）

式中:Mk表示几何运动矩阵;B表示模糊矩阵;D表示亚采样矩阵;nk表示附加噪声。整个降

质过程可以用图1米表示，最左边的图像表示理想高分辨率图像,依次经过旋转运动、模糊、

降采样和噪声过程后得到最右边的观测图像。

上述的图像观测模型描述了从理想图像到观测图像的正过程,而图像超分辨率重建则是一

个利用多幅观测图像求解理想图像的逆过程。1984年,Tsai和Huang首次提出了超分辨率

重建的方法,基本原理就是把各图像上.由于亚像素位移而存在的互补信息融合到同一幅图

像中，从而达到提高分辨率的目的。从观测模型式（1）可以看出，超分辨率重建要求不同的

图像具有不同的运动Mk,而且Mk必需包含亚像素的位移。在图2中，箭头左边代表四幅具

有亚像素位移的3X3图像,如果把第一幅图像看作是参考图像，则它们之间的相对位移量

分别为(0,0),(0,0.5),(。5,。和(0.5,0.5)。由于图像之间的位移差正好以半个像素为单

位,所以可直接把这四幅图像融合到同一幅图像中，得到箭头右边的6X6的高分辨率图像

(假设为等间隔采样模式)。当然,这只是超分辨率重建的一个最简单的例子，在很多情况下,

图像之间的位移量并不一定恰恰以半个像素为单位，而且运动也并不一定为整体平移，也可

能为旋转、缩放、扭曲以及局部运动等，但无论如何，只要它们之间存在亚像素的位移，而

且位移量为已知或通过运动估计方法可以近似求得，那么就会存在实现超分辨率的可能。

这里给出一个超分辨率重建的实例。用普通商用数码相机进行连续拍摄取景,得到序列图

像,如图3所示。拍摄过程中图像中的景物都是静止的,但通过移动相机的方式可保证序列

图像之间存在亚像素的位移。把重建目标锁定在车排号及其附近的区域，采用基于最大后

验估计的方法进行重建。可以看出，重建图像的质量比重建前有了较大的改善,能更清晰地

分辨出图像上的数字和字母。

上述利用图像之间的亚像索位移来获取互补信息并实现超分辨率的方法称之为基于运动的

超分辨率重建，它是当前图像超分辨率重建领域中的研究主流。目前也产生了一些基7变

焦、基于模糊和基于学习的超分辨率重建方法，本文不再详述。

3其他数据处理技术之间的关系

在数字图像处理领域,有一些图像处理技术与超分辨率重建技术密切相关。本节主要介绍

它们之间的相互关系。

(1)通过若干滤波器来完成治疗

影像去噪是消除图像中的附带噪声，是通过提高信噪比改善图像质量的一种技术。比较简

单的方法是通过一些滤波器如均侑滤波器、中俏滤波器等来完成的。先讲的图像去噪方法

一般是从模型退化的角度来考虑的。观测模型可以表示为

g=z+n(2)

与观测模型式(1)对比可以看出，图像去噪是超分辨率重:建在没有运动、模糊和亚采样过程

中的一种特殊情况。

(2)图像分辨率的测定

图像去模糊或去卷积的主要目的是消除模糊函数(点扩散函数)对图像的影响，提高图像的

清嘶度。经典的观测模型为

g=Bz+n(3)

此模型是超分辨率观测模型式(1)在仅考虑模糊和噪声情况下的(没有运动和亚采样过程)

一种特殊情况。

(3)困像超分辨率重建技术

以上所述的基于特定观测模型的图像去噪和图像去模糊都可以称为图像复原。由于传统的

图像复原只能对模糊和噪声等进行恢复,处理后像素并没有增加,所以不能被看作是图像超

分辨率重建技术。但实际上，图像复原和超分辨率重建是非常相关的领域，很多超分辨率重

建方法都是从单幅图像复原中引入的，所以超分辨率重建可以被看作是第二代图像的复原。

(4)图像分析处理

图像增强技术是最基本的国像处理技术，目的是对图像进行加工，突出图像中的某些信息，

削弱或除去某些不需要的信息，以得到对具体应用来说视觉效果更好、更有用的图像，或转

换成•种更适合人或机器进行分析处理的形式。如直方图均衡、图像的数学变换、图像平

滑、图像锐化等技术都可以归属于图像增强。

图像增强和图像复原(包括超分辨率重建)是相交叉的领域，但图像增强主要是•个主观、

探索性的过程，是为人的视觉系统的生理接受特点而设计一种改善图像的方法C而图像复

原与超分辨率重建大部分过程是一个客观过程,试图利用退化现象的某种先验知识来复原

被退化的图像,即复原或重建技术是把退化模型化，并采用相反的过程来进行处理的。

(5)内插放大算法

图像内插或图像放大是根据图像自身的像素值来增加像素的处理的。经典的内插方法有最

临近插值、双线性插值和双三次插值方法,这地方法直接利用已知点通过某种线性组合来

完成对未知点的内插。另外一类图像内插放大算法是基于图像观测模型的方法,观测模型

可以表达成为

g=Dz+n(4)

与超分辨率观测模型式(1)相比，该模型少了运动矩阵和模糊矩阵，所以也可以看作是式(1)

的特殊情况。值得注意的是,一些学者把单幅图像内插也归属于图像超分辨率重建的范畴，

但单幅图像内插并不能恢复出在图像降采样过程中恢复的高频信息，因此应该把图像内插

和图像超分辨率重建技术区别开来。

(6)超分辨率重建

图像融合是利用某种算法把两幅或多幅图像的信息结合起来产生一幅新的图像的技术。从

此定义可以看出，图像融合比超分辨率图像重建具有更加广泛的含义，即图像融合可以包括

图像超分辨率重建。但反过来,图像融合技术不一定就是超分辨率重建技术,例如按照定义

图像拼接(把两幅或多幅图像在几何上拼接在一起)也属于图像融合的范畴,但很明显它不

属于图像超分辨率重建技术。

在遥感领域,有一类融合技术与超分辨率重建技术非常类似,即全色(或雷达等其它具有较

高分辨率的图像)图像与多/高光谱图像的融合,融合图像同时具有全色图像的空间分辨率

和多/高光谱图像的光谱分辨率。但就空间分辨率而言，融合图像并不比原始的全色图像高,

所以作者认为同样应该把比类融合技术与图像超分辨率重建技术区别开来。

4运动估计超分辨率重建

图像超分辨率重建需要知道不同图像所对应的像素之间的亚像素位移量，这是实现超分辨

率的前提。在一些成像系统中，可以通过硬件控制的方法得到序列影像之间的位移量。例

如SP0T5卫星的HRG(Highresolutiongeometric)成像仪在焦平面内放置两个12000个单

元的线性阵列,两个阵列在水平和垂直方向分别错开0.5像素并单独成像,获取两幅相互错

位的分辨率为5m的图像,然后通过超分辨率重建技术可以得到一幅分辨率为2.5m的高分

辨率图像(实际分辨率在2.5〜3m之间)，其像元排列如图4所示。

然而在很多实际应用过程中，如视频图像的超分辨率重建，图像之间位移量并不能事先知道,

需要对其进行数值求解。求解两幅图像上各目标或像素之间位移矢量的过程称为运动估计“

高精度的运动估计,有助于更加充分地利用图像之间的互补信息,从而提高后续超分辨率重

建的精度,它是整个超分辨率重建过程中的关键步骤之一。在计算机视觉领域,学者们己经

发展了多种运动估计方法。其中，在图像超分辨率重建中常用的方法有全局运动估计方法、

块匹配运动估计方法、光流运动估计方法和最大后验估计方法。此外，运动估计与超分辨

率重建联合求解的方法也被广泛的采用。

4.1序列成像后的全要素模型

如果场景中所有目标的运动可以由一个参数转换模型来表达，则此时通过对模型参数讲行

求解进而得到位移矢量的方法可称为全局运动估计方法。一般情况下，如果在序列成像过

程中目标保持静止,而相机或光圈保持运动，则目标之间的运动就可以通过全局运动模型来

表达。如果分别用gk和gl表示图像k和1,则全局运动估计的主要任务就是寻求一种几何

变换G,使得

gk=G(gl)(5)

成立。一般情况下，儿何变换G为一参数模型。常用的参数模型为全局平移模型、平移-旋

转模型、仿射变换模型、透视变换模型、二维线性变换模型等，如图5所示。应用中可以

根据不同的实际运动情况假定相应的模型,模型的具体形式可以参见文献,这里不再详述。

4.2块匹配方法的一般

由于块匹配方法具有简单、快速的特点，所以具有较为广泛的实际应用。如MPEG系列、

H.263、H.264等压缩标准中的运动估计方法都是基于块匹配的。其基本思想如图6所示，

它是通过考虑一个定位在(x,y)的MXN块和搜索图像(搜索帧)找出最佳匹配块的位置来确

定图像k(当前帧)中的像素(x,y)的位移的。因此,块匹配方法一般由匹配准则和搜索方法

两部分组成。常用的匹配淮则是最小绝对误差(MAD)、最小均方误差(MSE)和最大相关系数

(CC)等，经典的搜索方法有全搜索法、三步搜索法、交叉搜索法等，详细内容参见文献。

另外，图6是假设在不同的图像中图像块具有相同的形状，这对做局部平移运动的目标点比

较适合，但是在很多情况下目标的运动并不紧紧局限于平移运动，所以需要考虑变形的块匹

配。变形的块匹配首先要假定一定的空间变换模型，然后利用某种匹配准则寻求最佳的变

换参数，如图7所示。

4.3超分辨率重建与光流场

给图像中的每一像素点赋予一个实际运动的速度向量，这就形成了图像运动场(Motion

field),运动场是三维目标的实际运动在图像中的投影。光流(Opticalflow)场描述的是

图像亮度模式的表观运动:它反映了图像中像素灰度的变化趋势。虽然运动场并不一定等

于光流场,但在一般情况卜.可以认为二者没有太大的区别，因此允许根据基于灰度的图像运

动来估计目标的实际运动,值得说明的是，超分辨率重建所需要的是图像之间的相对位移

矢量。一般可以假定在每一个时间间隔内速度保持恒定,此时,位移矢量的求解实际上就等

价于光流矢量的求解。假设I(x,y,t)表示连续时空的亮度分布,如果沿着运动轨迹上的亮

度保持不变,则对任意的x,y和t有

I(x,y,t)=I(x+Ax,y+Ay,t+At)(6)

对上式进行一阶泰勒展开,即可得到以下光流方程：

eof[v1(x,y,t),v2(x,y,t)]=v1(x,y,t)dI(x,y,t)v2(x,y,t)dI(x,y,t)d,r+dl(x

,y,l)前力⑺

光流运动估计方法即为一类基于以上光流方程的方法，比较典型的方法有Horn-Schunck方

法、Lucas-Kanade方法和HiIdreth方法等。

4.4map模型求解

可以把二维运动估计作为最大后验率(MAP)估算问题加以系统阐述。根据最大后验概委理

论,对运动估计进行求解,即在给定两幅图像gk和gl条件卜，使运动场或位移场m=(ml,m2)

的后睑概率最大，即

*m=argmaxmp(m|gk,gl)=argmaxm{p(gl|gk,m)p(m|gl)p(gk|gl))(8)

p(gk|gl)相对于运动场独立,可以省去，即

m=argmaxm{p(gl|gk,m)p(mgl)}(9)

可见,MAP公式中有两个概率密度函数（PDF）,一个为给定运动场下的被观察图像的条件PDF,

称为似然函数，另一个为运动矢量的先验函数。通过假定不同似然函数和先验函数,就可以

得到不同的MAP运动估计模型。对模型进行求解可以采用梯度下降、模拟退火、迭代条件

模式等方法。有关PDF的具体形式及模型求解方法可参见文献。

4.5联合求解方法

上述的四种运动估计方法都是在原始观测图像或其内插图像上直接进行求解的。为了得到

更高的精度，一些学者提出了对运动参数和超分辨率图像进行联合求解的方法。联合求解

的方法一般都是基于最大后验估计或最大似然框架上来建立重建模型的，然后对图像和运

动参数进行循环迭代求解（在求解每一组未知量时，都假定其它未知量为已知）。该类方法

充分利用了高分辨率图像与运动参数之间的相互制约、相互促进的关系,通过逐步迭代，使

求解向着对它们都有利的方向进行,最终可同时得到运动参数和超分辨率图像的最优解，比

较典型的方法可参见文献,一般情况下,该类方法比单独求解方法的重建精度更高,但缺点

是重建速度较慢。

5不进行全矩阵存储或计算的方法

通常情况下，图像超分辨率重建的运算量非常大。例如,对于一•个100X100大小的图像来

说,如果要重建200X200大小的超分辨率图像（即重建因子为2）,则观测模型式⑴中的运

动矩阵Mk、模糊矩阵Bk和降采样矩阵Dk的维数分别为40000X40000,40000X40000和

10000X40000o对于如此亘大的矩阵,如果采用直接进行全矩阵存储和计算的方法,即使不

进行矩阵的求逆运算,计算机内存等硬件也难以满足处理的要求。而且随着原始图像尺寸

和重建因子大小的增加，运算量也会成指数的增加。因应,在超分辨率图像的实际求解过程

中，必需采取适当的运算方式来摆脱计算机内存的限制。

5.1分块运算时图像块与分块的转换是一个过程

为了减小内存的消耗,最直接的方法就是把图像分为一定大小和数量的图像块,处理中对每

一个图像块单独进行处理，然后再把处理后的图像块拼接到一起。分块运算方法主要是通

过降低系数矩阵的维数来摆脱内存的限制，从而提高运算的速度。但是,分块运算忽略了块

与块之间的连续性与相关性,因此处理结果往往并不是最优,特别是在块与块的交界处,往

往会出现灰度分布不连续的情况。缓解此问题的方法是使相邻的图像块有一定的重叠处理

区域。

5.2基于稀疏矩阵的加速求解

值得注意的是,虽然超分辨率重建模型中的系数矩阵维数非常大，但在通常情况下为稀疏矩

阵,即矩阵中的大部分元素为0。如果用全矩阵的格式进行存储,则意味着矩阵的大部分空

间是空的,浪费了很多内存存储已知值为零的元素。然而现有的一些计算机语言或程序包

能够支持对稀疏矩阵实行特殊的存储方式，如MATLAB可把一个稀疏矩阵当作一个NZX3型

的数组来进行存储,其中^Z是非零元素的个数。第一列非零元素的是行数,第二列是非零

元素的列数,第三列是非零元素的实际值,这样就可以减小0元素对计算机内存的消耗,能

够有效的提高处理的效率，

该类方法的优点是可以采用一些数学算法来加速求解速度，如对于系数矩阵为对称的情况

来说,一些学者采用预条件共朝梯度法加快模型的求解近度。其中Ng等人利用基于离散余

弦变换的预条件方法来加速高分辨率图像的重建。Nguyen等人在文献中把两个一有的预条

件方法应用到了超分辨率II像重建中，验证了在整体平移运动情况下算法的快速收敛性。

沈焕锋把Lin等人提出的一种带状近似逆条件方法应用到了视频和变焦图像序列的超分辨

率重建中。

当图像尺寸不是很大时,对图像进行稀疏矩阵的存储,并在求解时采用适当的数学加速策略

可以大大提高超分辨率重建的速度。但如果图像的尺寸过大,在构建系数矩阵时往往会速

度较慢,频繁的改变矩阵的结构往往也会需要较多的处理时间，导致的结果可能是构建系数

矩阵所需的时间比实际图像求解的时间还要多。

5.3成像的求解方法

超分辨率重建的另外•种运算方式是直接采用图像算子的方式，即运算过程中并不需要求

出矩阵的具体形式。对求释过程中所需的矩阵与向量的相乘运算采用如下方法实现:把向

量看作一幅图像,把矩阵看作一个图像算子,则矩阵与向量相乘的结果可以看作是算子对图

像处理的结果。对运动矩阵曲、模糊矩阵Bk和亚采样矩阵Dk对应的求解运算可以通过直

接对图像进行运动投影、国像模糊和图像降采样来执行,对其转置矩阵YTk、BTk和DkT

对应的求解也并不复杂。对它们进行求解的具体方法为：

x2-Mkxl——对x2中的每一个像素来说,根据当前的运动估计参数,求得它在xi中的亚像

素位置，然后利用内插方法求得此点的值。

x2=Bxl——假设bk(i,j)为对应于Bk的卷积函数，则用bk(i,j)和xl进行卷积运算,得到

x2o

x2=Dxl一一对图像xl采用某种规则进行降采样,得到降采样后的图像x2。一般假定的采样

方式有两种:一种是隔点采样,即对高分辨率像素,每隔一定的像素数量采样一个数值，作为

低分辨率图像的像素值；另一种为平均采样,假定低分辨率像素是高分辨率像素值的加权平

均。

x2=DTxl——对图像xl进行开采样，如果假设的是隔点采样，可以用零填充的方法来完成；

如果假定的是平均采样,贝J把xl中的每一个像素值,按照权系数分配到x2中的相应像素上。

x2=BTxl一一假设bk(i,j)为对应于Bk的卷积函数,yk(i,j)为对应于BTk的卷积函数，则

有b'k(i,j)=bk(-i,-j)°用b'k(i,j)与xl进行卷积运算，即得x2。

x2=MTkxl——对xl中每一个像素来说,根据当前的运动估计参数,求得它在x2中的亚像素

位置,然后把该像素的值按照内插系数分配到x