第四章 超分辨率技术综述

第四章超分辨率技术综述4.1超分辨率的含义及应用4.2超分辨率技术的分类4.3成像模型4.4基于重建的超分辨率4.5基于学习的超分辨率4.6本章小结在图像领域,图像的分辨率一直是表征图像观测水平的主要技术指标之一。图像的分辨率通常是指图像处理中的空间分辨率。描述分辨率的单位主要有dpi(点每英寸)和ppi(像素每英寸)。dpi与ppi非常相似,经常会出现混用现象,但是从技术上来说,它们是有区别的。ppi(像素)主要用于电脑显示领域,而dpi(点)主要用于打印或印刷领域。“分辨率”通常被表示成每一个方向上的像素数量,如一幅图像为1920×1080表示该图像的像素组成为1920列、1080行。另外在某些情况下,它也可以同时表示成ppi(像素每英寸)以及图形的长度和宽度。比如200ppi和3×4英寸。无论使用dpi还是ppi作为分辨率的单位,图像分辨率越高,一定数量的图像像素所代表的实际场景的面积就越小,图像能够反映的场景细节也就越精细,越能提供丰富的信息。图4-1为一个典型的测试图像系统分辨率的实验图。图4-1一个典型的测试图像系统分辨率的实验图目前提高图像分辨率的方法主要有:①提高工艺水平,减少像素尺寸,以提高单位面积上的像素数量;②改变成像系统探测元排列方式(应用一种梅花形的采样网格,可提高采集的分辨率);③增加成像芯片的尺寸,以增加成像的总像素数;④采用超分辨率技术。

前三种提高成像分辨率的方法都是通过硬件技术进行的,相对而言成本较高,并且开发及安装的周期较长。通常在图像采集条件一定的情况下,获取的图像分辨率就固定下来了,但是随着应用的发展,先前的图像分辨率不一定能够满足需求。如何通过软件方法提高现有图像的分辨率一直是图像领域研究的热点之一。超分辨率技术是通过软件方式从单幅或者多幅低分辨率图像中复原出高分辨率图像的方法,其主要优点是可利用现有的成像系统,在不改变原有系统硬件设备的前提下,提高图像的分辨率。它是一种快速、低成本的提高图像分辨率的技术,近年来已成为国际上图像复原领域最为活跃的研究课题之一。一种与图像超分辨率关系较为紧密的技术是图像复原。图像复原也是改善图像质量的一种技术。图像复原是根据图像退化的先验知识建立一个退化模型,然后以此模型为基础,采用各种逆退化处理方法逐步进行恢复,从而达到改善图像质量的目的。图像复原的一个示例如图4-2(a)所示。图像复原的好坏主要取决于对图像退化过程的先验知识所掌握的精确程度。图4-2图像复原和图像超分辨率复原示例超分辨率复原是通过信号处理的方法,在提高图像的分辨率的同时改善图像质量,其核心思想是通过对成像系统截止频率之外的信号高频成分估计来提高图像的分辨率。超分辨率复原与图像复原的一个重要区别是超分辨率复原的最终目的是要提高图像的分辨率(如图4-2(b)所示),而图像复原在复原前后图像的分辨率保持不变(如图4-2(a)所示)。从本章开始到第十三章将主要对基于学习的超分辨率技术进行详细介绍。

4.1超分辨率的含义及应用

1)医学成像(CT、超声波成像等)领域

利用超分辨率技术可判断出病体(如肿瘤)的详细情况和精确位置。病体的大小及位置等是医学检测中需要解决的核心问题。由于硬件设备及现有的成像技术限制,在某些方面还不能够获取足够清晰的图像,因此可以采用超分辨率技术来提高图像质量,便于后续分析。

2)军事遥感侦察领域

由于受到成像系统分辨率以及成像条件的限制,在采集军事与气象等遥感图像时,很难获取高清晰度的图像。在不改变卫星图像探测系统的前提下,可利用超分辨率技术,获得高于系统实际分辨率的图像观测,提高对(军事)目标的识别能力。

3)安全监控领域

通常在视频监控等情况下获取的人脸图像分辨率较低,不能直接使用。为了更好地识别这些图像,可以先采用基于学习的超分辨率技术对它们进行超分辨率放大,然后再进行人脸识别以及人脸表情分析等。

在某些敏感部门的安全监控系统中,在发生异常事件后,可对监控录像中的可疑目标进行超分辨率复原,提高目标图像的分辨率,从而为异常事件的处理提供重要线索,以利于计算机自动识别或者相关人员进行辨识。

4)视频转换领域

利用超分辨率技术可以将DTV(PAL)信号转化为与HDTV分辨率一致的信号,提高电视节目的清晰度和兼容性。

4.2超分辨率技术的分类

图像超分辨率复原的目的就是通过一定的技术对退化图像进行处理,获得图像更多的细节和信息,从而复原出退化前的理想图像。目前超分辨率技术主要分为两大类：基于重建的超分辨率方法和基于学习的超分辨率方法。

传统的基于重建的超分辨率方法是利用多帧(幅)图像进行超分辨率重建。由于多帧图像能够提供比单帧更多的信息,因此其逐渐成为研究热点之一。多帧图像复原(也称为基于重建的超分辨率复原)充分利用这些不同帧之间类似而又相异的信息以及图像的先验知识,提高图像的空间分辨率,其超分辨率复原能力明显好于单幅图像插值放大方法。基于重建的超分辨率方法主要的可用信息都从输入的多幅(帧)图像中得到,基本没有任何附加的背景知识,整个解决过程相当于一个信息提取和信息融合的过程。虽然基于重建的超分辨率方法取得了一定的复原效果,但是它有三大明显缺点：①需要提供多帧低分辨率图像,主要信息只能从输入的图像序列中获得;②需要图像配准,而目前图像配准技术远未成熟;③随着分辨率放大系数的增加,需要提供的输入图像样本数量也随之急剧增加,而达到放大系数的上限后,无论增加多少输入图像样本,都无法再改善复原效果。

基于学习的超分辨率方法依靠一个事先建立的图像训练库对待复原的单幅低分辨率图像进行复原。它是在基于重建的方法遇到困难的情况下发展起来的,虽然起步较晚,但是能够弥补基于重建方法的很多不足。结合智能技术的发展,这种方法能极大地提高图像的超分辨率复原性能,是一个值得进一步研究的方向。

4.3成像模型

图像采集设备获取图像的离散模型如图4-3所示。图4-3采集设备获取图像的离散模型首先对景物目标以高于Nyquist采样频率进行采样,获取高分辨率图像。图4-3中L1和L2是正整数,采样后获取的高分辨率图像的尺寸为L1N1×L2N2,获取的图像可表示为z(n1,n2)。由于景物目标可能存在运动,令第k帧图像为zk(n1,n2)。考虑到系统点扩散函数hd的影响,高分辨率图像可表示为(4-1)其中,*表示卷积,hd(n1,n2)是系统的离散点扩展函数。对高分辨率图像zk(n1,n2)进行采样,可获取第k帧低分辨率图像yk(n1,n2),它可表示为~(4-2)由于在采集过程中存在噪声,因此式(4-2)改写为(4-3)在对超分辨率问题的分析和计算时,常常使用矩阵-向量方式表示离散成像模型。在离散模型中,低分辨率图像是原始高分辨率图像运动(包括平移和旋转)、模糊和下采样并且还伴随着噪声处理后的图像。由于这些过程都可表示为线性过程,所以可以写成矩阵-向量形式。

Yi=DBiGiX+Ni,i=1,2,…,r

(4-4)

其中,Yi表示第i帧低分辨率图像,Ni是第i帧中的噪声,是一个N×1的列向量;Bi和Gi分别是模糊和几何运动矩阵,其大小都为L1L2N×L1L2N;X为高分辨率图像按照顺序排列成的L1L2N×1的列向量;D为采样矩阵,其大小为N×L1L2N。

令Hi=DBiGi表示观测通道矩阵,那么将r(设有r帧)个矩阵-向量等式通过矩阵乘的方式合并为一个等式,得

(4-5)即

Y=HX+Z

(4-6)其中(4-7)(4-8)(4-9)

4.4基于重建的超分辨率

基于重建的超分辨率(基于多帧图像的超分辨率)是依赖多幅低分辨率图像复原出单幅或多幅高分辨率图像。基于多帧图像的超分辨率框架如图4-4所示,它输入多幅低分辨率图像,充分利用这些不同低分辨率图像之间类似而又相异的信息以及图像的先验统计知识,采用超分辨率算法,输出高分辨率图像。图4-5所示为超分辨率的前提条件示意图。实现超分辨率的前提条件是不同的低分辨率图像必须存在着子像素的偏移,而这个条件通常在实际环境中基本都是满足的。图4-4基于重建的超分辨率示意图图4-5基于重建的超分辨率的前提条件示意图4.4.1频域算法

频域算法的复原思想是：低分辨率图像的形成是由于欠采样造成了频谱混叠,复原就是还原被混叠的频谱信息,也即表示图像细节的高频信息。该算法主要利用连续频谱和离散频谱之间的关系,以及图像空间域的全局平移参数与图像频域上相位的对应关系来复原原始高分辨率图像的频谱。

频域超分辨率重构算法是在频域内解决图像内插问题,其观察模型是基于傅立叶变换的移位特性。频域算法理论简单,运算复杂度低,很容易实现并行处理。但这类方法的缺点是所基于的理论前提过于理想化,不能有效地应用于多数场合,只能局限于全局平移运动和线性空间不变退化模型,包含空域先验知识的能力有限。4.4.2空域算法

在空域类算法中,其线性空域观测模型涉及全局和局部运动、光学模糊、运动模糊、空间可变点扩展函数、非理想采样等。空域方法具有很强的包含空域先验约束的能力,例如马尔可夫随机场和凸集等先验约束,这样在超分辨率复原过程中可以产生带宽外推。

空域方法主要包括迭代反投影法(IBP)、凸集投影法(POCS)、基于概率的最大后验方法(MAP)、最大似然方法(ML)、混合MAP/POCS等。

1．迭代反投影法

迭代反投影法(IterativeBackProjection,IBP)的思想是：如果复原的超分辨率图像接近于原始的高分辨率图像,那么对复原的超分辨率图像进行降质(退化)得到的低分辨率图像将与输入的低分辨率图像一致,将两者之间的误差投影到高分辨率图像上,随着误差收敛,最终得到相应的超分辨率图像。

设低分辨率图像为yi,i=1,2…,r,其中r为低分辨率图像的数量。设第n次迭代得到的超分辨率图像为xn,将xn按降晰过程退化到低分辨率图像空间,得到yni=Hixn其中,Hi表示降质矩阵。然后计算低分辨率的图像yi与yni之差,并将差值按照一定的投影算子映射到高分辨率图像空间中,作为对xn的修正值,即反向投影。重复进行上述过程,直至对x的估计xn满足一定要求,整个IBP过程可表示为(4-10)其中,HBPi为反向投影操作数,不同的背投影算子对算法收敛性以及收敛速度存在影响,同时背投影算子还需要满足一定的约束条件。可以通过对HBPi引入附加的先验知识限制,对解的收敛性质进行约束。迭代反投影法比较直观,容易理解,但是这种方法需要通过观测方程使超分辨率重构与观测数据匹配,且由于超分辨率逆问题的病态性质,重构结果不唯一,而且选择BBPi及引入先验约束也不是容易的事情。另外,IBP法对于问题的病态性没有进行相应的规准化处理,迭代过程不一定收敛。

2.凸集投影法

凸集投影法是基于集合理论解决超分辨率图像复原问题的算法。超分辨率图像解空间与一组凸约束集相交叉,而这组凸约束集代表预期的超分辨率图像的一些特性,如正定、能量有界、数据可靠、光滑等,通过这些约束集就可以得到简化的解空间。

POCS是一种依次将解的先验并入复原过程的迭代算法。根据POCS,将先验知识与解相结合意味着将解限制到一组满足解的某种特性的凸的闭集Cj上。如果高分辨率图像解空间与一组凸的约束集合有非空的交集Cs=∩mj=1Cj,通过这些约束集合就可以得到简化的解空间。POCS是一个循环过程,在给定高分辨率图像空间中任意一个点的前提下,可以定位一个能满足所有凸约束集合条件的收敛解：(4-11)

POCS的优点是简单,可以方便地加入先验信息,能够很好地保持高分辨率图像上的边缘和细节;缺点是解不唯一,且依赖于初始估计,收敛慢、运算量大等。为了提高凸集投影算法的收敛稳定性,可以采用松弛投影算子,但松弛投影算子不利于保持图像的边缘和细节。

3．基于概率的方法

统计信号处理在图像的超分辨率技术中占有重要地位,该方法不仅能够利用图像的先验知识,而且也是对病态问题进行规整化的一种有效方法。基于概率的方法主要包括最大后验概率方法和最大似然方法。

最大后验概率方法和最大似然方法分别求取满足最大后验概率和最大似然函数的高分辨率图像。由于基于学习的超分辨率中会涉及到最大后验概率方法,因此在此不作更多详细的介绍。

基于概率方法的优点是在解中可以直接加入先验约束,能确保解的存在和唯一,降噪能力强和收敛稳定性高等。假设噪声是高斯白噪声,具有凸的先验能量函数的MAP算法能确保得到唯一解。统计估计方法为同时估计运动信息和高分辨率图像提供了一种可能。

4.混合MAP/POCS方法

混合MAP/POCS方法的主要思想是：在最大后验概率方法的迭代优化过程中用凸集投影的方式对解加入一些先验约束。

这种方法的特点是综合利用了凸集投影和概率方法复原这两类算法的优点,与单独使用MAP方法相比,进一步提高了对解空间进行约束的能力,能够保证有一个最优解,且将数学的严格性、解的唯一性与先验约束描述的方便性有机地结合在了一起。其不足之处是：必须采用梯度下降最优化方法才能保证收敛到全局最优解,收敛慢且运算量大,故该算法不适合图像放大倍数较高的情况。

4.5基于学习的超分辨率

由于基于重建的超分辨率方法主要的可用信息基本上都从输入图像中得到,先验知识较少,整个解决过程相当于一个信息提取和信息融合的过程,其算法的主要缺点是没有充分利用图像的先验信息,随着分辨率放大系数的增加,需要提供的输入图像样本数量急剧增加,直到达到放大系数的上限后,无论增加多少输入图像样本,都无法再改善重建效果。另外,这种方法还存在不同图像帧之间的配准问题,而对于存在局部区域运动的图像间的配准仍然是一项艰巨的工作。针对基于重建算法的局限性,基于学习的超分辨率技术作为一个前沿的研究领域应运而生。基于学习的超分辨率算法充分利用了图像本身的先验知识,在不增加输入图像样本数量的情况下(可只输入单幅图像),仍能产生新的高频细节,获得比基于重建的算法更好的复原结果。在基于学习的超分辨率中,一个重要的特点就是特定的图像训练库。如果没有图像训练库,想要生成正确的高分辨率图像是不可能的。图像训练库中包括多个高低分辨率图像对。基于学习的超分辨率方法的示意图如4-6所示。基于学习的超分辨率方法最具潜力的优势就是适用于具有相对固定特征的图像,比如人脸图像和字符图像。例如，由于不同的人脸具有基本相同的全局特征,只是细节上存在个体差异,因此较适合建立学习模型。图4-6基于学习的超分辨率示意图4.5.1最大后验概率(MAP)框架下的基于学习的超分辨率理论

设低分辨率图像为IL，需要估计其对应的高分辨率图像为IH。超分辨率复原需要解决的问题是在已知IL的条件下,求出最优的IH。虽然许多研究者提出各自不同的基于学习的超分辨率算法,但这些算法(包括部分基于重建的超分辨率算法)都基本可以融入到MAP框架内。MAP是求取使得概率P(IH/IL)最大的IH。根据贝叶斯估计理论,即后验概率由下式生成：(4-12)其中,P(IH)和P(IL)分别为高分辨率图像IH和低分辨率图像IL的先验概率;P(IL/IH)为当实际场景的高分辨率图像为IH时,观测到的低分辨率图像为IL的条件概率;P(IL,IH)为IL和IH的联合概率。由于IL是已知的,可以认为P(IL)是常数,与求解最优的IH无关。因此式(4-12)可改写为(4-13)目前对式(4-13)的求解方法主要有两类：

(1)求取联合概率P(IL,IH)。这类算法的代表是使用马尔可夫随机场方法。

(2)求取P(IL/IH)P(IH)。由于对数函数是单调递增函数,因此可以利用对数运算将式(4-13)中的乘法转换为加法,即(4-14)在这种方法中,通常预测IH的三个步骤为：①建立先验模型,求取P(IH);②建立观测模型,求取P(IL/IH);③将先验模型和观测模型集成到MAP框架中,求得最优的高分辨图像IH

。其中第①步求取先验模型P(IH)是最复杂也是最关键的一步。

在基于重建的超分辨率(即多帧复原的方法)中常用的先验模型P(IH)中,Gaussian(高斯)模型对图像中的不同区域(如连续区域和边界区域)都不加区别地施以平方惩罚,因而不能很好地同时对不同区域进行复原,导致复原出的图像边界很模糊;而Gibbs模型也会产生类似的边界模糊。总的来说,基于重建的超分辨率采用的先验模型中,只是对图像的一般性建立先验模型,没有考虑图像的特殊性。例如对人脸图像或者文字图像来说,这种描述过于粗糙,而不太适用。而基于学习的超分辨率在建立先验模型过程中考虑到图像的特殊性。假设低分辨率图像IL通过对高分辨率训练样本图像的学习,复原出的高分辨率图像为IH(通过训练样本学习就是考虑到图像的特殊性,例如，人脸图像复原最好通过人脸图像库的学习,而字符图像复原最好通过对字符图像的学习)。IH和IH的特征分别表示为K(IH)和K(IH)(K为特征提取算子,通常提取的是高频特征信息)。在理想情况下,IH和IH应该是相等的,这样K(IH)和K(IH)也应该相等的。但是实际情况中,K(IH)和K(IH)之间存在一定的误差。假设K(IH)和K(IH)之间的误差满足高斯分布,并且方差为σp,从而可以建立如下公式求取先验模型P(IH),该式的概率分布是方差为σp的高斯分布,即^^^^^^^(4-15)对先验模型P(IH)的求取,IH起着关键性的作用。从这点意义上来说,基于学习的超分辨率中先验模型P(IH)充分考虑了图像的特殊性。

观测模型就是求取条件概率P(IL/IH)的值,与先验模型相比,求取观测模型相对来说较为简单。假设待求高分辨率图像IH所对应的低分辨率图像D(IH)可以用平滑和下采样过程得到(D表示降采样算子),输入的低分辨率图像IL应该与D(IH)是相同的。但是通常来说,IL和D(IH)之间存在一定的误差,假设IL和D(IH)之间的误差满足高斯分布,并且方差为σm。可以建立如下公式,该式的概率分布为方差为σm的高斯分布。^(4-16)这样把观测模型P(IL/IH)转化为高斯分布函数。将式(4-15)、(4-16)代入式(4-14),并且进行简化得到(4-17)

λ是系数,用于调节式(4-17)第一项和第二项权重的参数。如果λ0,式(4-17)退化为(4-18)如果

，式(4-17)退化为(4-19)