（测试计量技术及仪器专业论文）序列图像的超分辨率重建技术研究.pdf

序列图像的超分辨率重建技术研究 摘要 图像超分辨率重建技术近年来一直是图像处理领域中一个研究热点，其在理论和实 际应用中均有重要意义。该方法通过对图像序列作运动估计、信息融合、去除模糊和去 噪声等操作，从低分辨率序列的多幅图像中恢复细节更精细的高分辨率图像，是一种既 经济又容易实现的图像分辨率提高方法。 本文在分析图像超分辨率重建原理的基础上，研究了p o c s 算法，给出了改进的方法。 根据p o c s 算法的原理，以“模拟一修正迭代的方法实现超分辨率重建，改善了图像边 缘质量。 在此基础上，研究了基于n e d 运算的序列图像超分辨率重建算法，在对序列图像进 行运动估计中，采用相关频域配准方法，为随后的图像重建提供准确的图像信息。 通过研究n e d i 算法，将n e d i 算法与小波变换相结合，采用“小波逆变换一n e d i 运算一 小波变换”的方法，提高了重建图像质量。同时仿真测试了基于方向子带估计的单帧图 像超分辨率重建算法的性能，证明了该方法的有效性。 最后，进行算法性能的实验测试，并与类似算法进行了对比分析。 关键词：超分辨率重建，小波变换，频域配准，方向子带 s u p e r - r e s o l u t i o ni m a g e r e c o n s t r u c t i o nf r o ml o w r e s o l u t i o ni m a g es e q u e n c e s a b s t r a c t l i ut a 0 s u p e r - r e s o l u t i o ni m a g er e c o n s t r u c t i o nt e c h n i q u er e f e r st or e s t o r i n ga h i g h r e s o l u t i o na n d h i g h q u a l i t yi m a g ef r o mm u l t i p l el o w r e s o l u t i o no b s e r v a t i o n s ( o ra v i d e os e q u e n c e ) d e g r a d e d b yw a r p i n g ，b l u r t i n g ，n o i s ea n da l i a s i n g s u p e r r e s o l u t i o n ( s r ) r e s t o r a t i o ni so n e o ft h em o s t i m p o r t a n tr e s e a r c hs u b je c t s i nt h ef i e l di m a g ep r o c e s s i n ga n di tb e c o m e sm o r ea n dm o r e a t t r a c t i v ei n t h i sf i e l dd u r i n gr e c e n ty e a r s i th a sar e s e a r c h i n gs i g n i f i c a n c ei nt h e o r e t i c a l l ya s w e l la sab r o a da p p l i c a t i o ni np r a c t i c a l l y s u p e r r e s o l u t i o nr e s t o r a t i o ni sa ne c o n o m i ci m a g e p r o c e s s i n gm e t h o dt h a te x t r a c t i n gh i g h e rr e s o l u t i o ni m a g e sc o n t a i n i n gm o r ed e t a i l s f r o ma n i m a g es e q u e n c eo fl o w e rr e s o l u t i o n ，t h r o u g hs u c hm e t h o d sa s m o t i o ne s t i m a t i o n ，i m a g e f u s i o n ，d e b l u r r i n ga n dd e - n o i s i n g i nt h i sp a p e r , b a s e do nt h em e t h o do fi m a g es u p e r r e s o l u t i o nr e c o n s t r u c t i o n ，w es t u d yo n t h ea l g o r i t h mo fp o c s ，a c c o r d i n gt ot h et h e o r yo fp o c s ，w ed e s i g nas i m u l a t i o n 。c o r r e c t i o n i t e r a t i o nm e t h o dt or e c o n s t r u c th i g h r e s o l u t i o ni m a g e s as e a u e n c ei m a g e ss u p e r - r e s o l u t i o nr e c o n s t r u c t i o na l g o r i t h mb a s e do nn e d i ( n e w _ e d g e d i r e c t e di n t e r p o l a t i o n ) i sp r o p o s e d b e f o r ei n t e r p o l a t i o n ，a 奇e q u e n c yd o m a i na l g o r i t h m b yv a n d e w a l l ei se m p l o y e dt or e g i s t e ras e q u e n c eo f a l i a s e dl o w r e s o l u t i o ni m a g e sp r e c i s e l y b a s e do nt h ea l g o r i t h mo fn e d i ，t h ec o m b i n a t i o no ft h ea l g o r i t h mo fn e d ia n dw a v e l e t t r a n s f o r m ，w er e c o n s t r u c th i g h r e s o l u t i o ni m a g e sb yw a v e l e ti n v e r s et r a n s f o r m a t i o n - n e d i _ w a y e l e tt r a n s f i o n na n ds i m u l a t i o nr e s u l t so fc o n t o u r l e tt r a n s f o r mt op r o v i d e af l e x i b l e m u l t i r e s o l u t i o n 。l o c a la n dd i r e c t i o n a le x p a n s i o nf o rl o w r e s o l u t i o ni m a g ep r o v ew h i c hl s e f f e c t i v ea n df e a s i b l e t h ea l g o r i t h m sa r et e s t e di ns i m u l a t i o n s ，a n dc o m p a r e d t oo t h e rs i m i l a rs rm e t h o d s k e yw o r d s ：i m a g es u p e r 。r e s o l u t i o nr e c o n s t r u c t i o n ，w a v e l e t t r a n s f o r m ，i m a g er e g i s t e r i n g i nf r e q u e n c yd o m a i n ，d i r e c t i o n a ls u b b a n d s 原创性声明 本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下，独 立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含 其他个人或集体已经发表或撰写过的科研成果。对本文的研究作出重要贡 献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人 承担。 论文作者签名： 日期： 关于学位论文使用权的说明 本人完全了解中北大学有关保管、使用学位论文的规定，其中包括： 学校有权保管、并向有关部门送交学位论文的原件与复印件；学校可 以采用影印、缩印或其它复制手段复制并保存学位论文：学校可允许学 位论文被查阅或借阅；学校可以学术交流为目的，复制赠送和交换学位 论文；学校可以公布学位论文的全部或部分内容( 保密学位论文在解密 后遵守此规定) 。 签名： 型】盗 导师签名：智怼乎l 灶 日期：御6 、2日期：丛丝! 鱼! 丛 中北大学学位论文 1 1 研究背景和意义 第1 章绪论 随着多媒体技术的发展，人们对超分辨率的研究就一直方兴未艾。迄今为止，每年 都有很多关于超分辨率理论和算法的文章涌现。特别是这几年，随着卫星遥感技术和空 间技术的空前发展，超分辨率重建的研究几乎成了图像处理领域中最热门的研究方向。 超分辨率重建的基本思想最初是由h a r r i s 和g o o d m a n 于6 0 年代在单张影像复原 的概念和方法的基础上逐步形成并发展起来的。尽管有许多人对其进行了研究，并相继 提出了各种复原方法，但由于传统的单帧图像复原问题只对单帧输入图像进行处理，图 像复原和分辨率增强效果都受到极大限制，并没有在实践中得到广泛应用。而超分辨率 重建利用多帧图像序列进行处理，能提取序列图像中的附加空域时域信息，使得重建图 像的质量超过任何一帧低分辨率图像成为可能。超分辨率重建的核心思想就是用时间带 宽换取空间分辨率，实现时间分辨率向空间分辨率的转换。但超分辨率并不能创造奇迹， 由于单帧或序列图像中亚像素信息的提取是以其本身存在场景的额外信息为前提，因此 只有在多帧图像中存在非冗余信息的情况下，才能进行图像的超分辨率重建。 压缩视频的超分辨率重建有很多应用，一种是设计高清晰度电视( h d t v ) 装置。随 着h d t v 装置的使用变得普遍，对增强标准清晰度t v 信号并使之能符合h d t v 的质 量和分辨率要求的系统的需要进一步加强。当我们需要从一个视频序列重建出一幅分辨 率增强的静止图像时，比如从视频源打印静止图像时，也涉及到一个相关的超分辨率问 题。因为人类的视觉系统在相同的视觉效果时，对一幅静止的图像比对一序列帧有更高 的分辨率要求。n t s c 视频产生最多4 8 0 垂直线，然而要想在现代打印机上以适当的分 辨率打印，需要两倍多的垂直线。另一个超分辨率重建的应用领域是航空卫星成像。因 为涉及到广阔的远景，一些目标不能够被完全的分辨出来。 当某一场景有多幅图像时，超分辨率重建算法可以用来分辨出用别的方法分辨不出 的细节。超分辨率重建在安全监控系统、辩论科学、医学成像和天文学中也有应用。 大多数超分辨率重建领域内所做的工作没有考虑到压缩过程。即假设信号源( 视频 中北大学学位论文 图像的序列) 以一个原始的格式而不是压缩的格式存在。然而，因为通常可用的资源是 有限的，比如带宽、存储空间、i 0 需求等等。压缩己经成为几乎所有数据通信应用中 一个标准组成部分。从m p e g 视频源打印图像，就涉及到压缩视频；标准s d t v 信号 是m p e g 2 压缩的。另外更有代表性的，是数字摄像机以压缩格式储存图像。然而，当 将为非压缩数据设计的超分辨率算法直接应用到解压缩图像序列时，效果并不好，尤其 是对于高压缩比的情况。原因是当压缩比高的情况下，在压缩量化过程中引入的量化 误差通常成为主要的误差源，而这一误差没有被建模考虑到。 1 。2 研究现状 1 。2 1 压缩图像超分辨率重建的研究现状 随着超分辨率图像重建技术的发展，国内外研究工作者们先后提出了多种超分辨率 图像重建方法，这些方法大致可分为两类：频域方法和空域方法。t s a i 和h u a n g 【2 1 等人 首先在频率域提出了超分辨率图像重建技术，由场景经过平移的低分辨率图像序列来重 建一幅高分辨率图像。频域方法只能局限于全局平移运动和线性空间移不变降质模型， 且不能有效地利用图像的先验信息，而空域方法能更充分地利用图像的先验信息，有更 多的灵活性和更广的适用范围，因此，目前研究较多的是空域方法。下面分别介绍频域 方法和空域方法的研究发展状况。 1 频域方法 t s a i 和h u a n g 等人提出的频域方法实际上是在频域内解决图像插值问题，该方法 主要利用1 ) 傅里叶变换的移位性质；2 ) 原始高分辨率图像与低分辨率观测图像离散傅 里叶变换之间的混叠关系；3 ) 假定原始高分辨率图像的频率有限。每一幅低分辨率观 测图像在频域中提供了一组方程，假如能够获取的图像帧数足够多，就能够解出非变形 离散频谱，进而解出非变形图像。频域方法的优点是理论简单、运算复杂度低、意义直 观；缺点是只能局限于全局平移运动和线性空间移不变降质模型，且包含空域先验信息 的能力有限。 2 空域方法 2 中北大学学位论文 空域方法采用公式来表示降质模型。空域降质模型涉及全局和局部运动、光学模糊、 运动模糊、空间移变点扩散函数、非理想采样等内容。空域方法具有很强的包含空域先 验约束的能力，例如m a r k o v 随机场和凸集等先验约束。 3 空域方法的研究发展 空域方法主要有非均匀空间样本插值算法、迭代反投影( i b p ，i t e r a t eb a c k p r o j e c t i o n ) 算法、凸集投影算法、最大后验概率估计算法和最大似然( m l ，m a x i m u m l i k e l i h o o d ) 估计算法、混合m l m a p p o c s 方法等。 ( 1 ) 非均匀空间样本插值算法 k o m a t s u 3 j 等提出了一种非均匀空间样本插值算法。这种算法首先对一个低分辨率 图像序列进行运动估计，再采用插值方法产生单幅由非均匀空间样本构成的高密度合成 图像，以这个合成图像为初始值，采用l a n d w e b e r 迭代法来重建超分辨率图像。s h a h 等提出了种新的非均匀空间样本插值算法来进行超分辨率图像重建，这种算法考虑了 重建过程中的运动估计错误，利用视频信号的彩色分量来提高运动向量的估计精度。非 均匀空间样本插值算法的优点是计算复杂度低；缺点是降质模型只适用于所有低分辨率 图像的模糊和噪声特征都相同的情况。此外，由于重建时忽略了插值过程引入的误差， 无法保证整个重建算法的最优。 ( 2 ) 迭代反投影算法 i r a i l i 【4 】等提出了一种迭代反投影算法。这种算法首先用输出图像的一个初始估计作 为当前结果，并把这个当前结果投影到低分辨率观测图像上以获得低分辨率模拟图像， 低分辨率模拟图像与实际观测图像的差值称为模拟误差，根据模拟误差不断更新当前估 计。t o m f 5 】等通过改进运动补偿方法，进一步提高了迭代反投影算法的性能，并将迭代 反投影算法推广应用到彩色视频序列的超分辨率图像重建上。迭代反投影算法的优点是 直观、简单；缺点是问题具有病态性，解不唯一，而且难以利用先验信息。 ( 3 ) 凸集投影算法 凸集投影算法是一种集合理论重建方法。超分辨率图像的可行域是一组凸约束集合 的交集，而这组凸约束集合代表了期望的超分辨率图像的一些特性，如数据可靠、能量 有限、正定、支撑域有界、平滑等。p o c s 算法是一种迭代过程，在给定超分辨率图像 可行域中任意一个点的前提下，可以找到一个满足所有凸约束条件的点( 即收敛解) 。 3 中北大学学位论文 s t a r k 和o s k o u i 6 】首先将p o c s 应用于超分辨率图像重建。t e k a l p 7 】等进行了改进，考虑 了传感器噪声。p a t t i 8 】等提出了进一步改进，考虑了运动模糊和噪声问题，而且又提出 了考虑多种降质因素的图像获取模型，包括照相机运动、非零孔径时间、传感器单元的 非零物理尺寸、由光学成像元件引起的模糊、传感器噪声、任意空间时间采样等。 e r e n1 9 】等推广应用到多运动目标的场景上，这种算法引入了有效映射和分割映射的 概念，可以有效地减小不可靠运动估计产生的影响，并能较好地保持运动边缘信息。在 有效映射中，根据像素的运动向量是否可靠而把像素分为两类，这样在出现运动估计错 误时也能进行可靠重建。在分割映射中，首先标定参考帧上的感兴趣目标，然后采用一 种二维网格目标跟踪算法自动跟踪其他帧上的感兴趣目标。 ( 4 ) 最大后验概率估计和最大似然估计算法 最大后验概率估计和最大似然估计算法是一种统计重建方法，它是把超分辨率重建 问题看成个统计估计问题。最大后验概率估计的含义就是在已知低分辨率视频序列的 条件下，使出现高分辨率图像的后验概率达到最大。根据贝叶斯理论，高分辨率图像的 后验概率等于以下两项之积：1 ) 已知理想高分辨率图像的条件下，低分辨率视频序列 的条件概率；2 ) 理想高分辨率图像的先验概率。条件概率项通常采用高斯模型，先验 概率项在不同的算法中采用不同的模型。通常采用的先验模型应该具有三个特点：1 ) 是一个局部平滑函数；2 ) 具有边缘保持能力；3 ) 是一个凸函数。大多数最大后验概率 估计算法的差别就是在先验模型的选择上。一种常用的先验模型是h u b e r - m a r k o v 模型。 将对数似然函数化简，得到一个约束最优化问题。m a p 估计算法就是将目标函数最小 化。若目标函数是凸函数，则保证了它在最优化过程中的收敛性。目标函数中的观测误 差项通常采用粤，范数，这一项是凸函数，因此目标函数的收敛性取决于先验模型项。最 大似然估计算法可以认为是最大后验概率估计算法在等概率先验模型下的特例。 s c h u l t z 1 0 】等提出了m a p 超分辨率图像重建算法，它是单帧图像插值算法的推广。 这种方法采用h u b e r - m a r k o v 模型作为图像的先验信息，这些先验约束是解决超分辨率 重建问题的病态性所必须的。h a r d i e 1 1 】等提出了一种与超分辨率图像和配准参数同时有 关的m a p 目标函数，这种方法可以同时进行运动估计和图像重建。为了解决m a p 超 分辨率重建方法的病态性问题，可以把t i k h o n o v a r s e n i n 1 2 】正则化引入到超分辨率重建 4 中北大学学位论文 方法中。t i k h o n o v a r s e n i n 正则化函数可以认为是贝叶斯框架中m a r k o v 随机场先验的特 例。 ( 5 ) 混合m l m a p p o c s 方法 e l a d 1 3 】等把m a p 、m l 和p o c s 等三种算法合并为统一的算法族。他们还提出了 一种把m a p 和非椭球约束结合在一起的混合算法，这种方法的图像重建性能优于m a p 和p o c s 。混合m a p p o c s 方法相当于在m a p 估计算法的迭代优化过程中加入了一 些先验约束。理论证实，梯度下降法能保证这种混合m a p p o c s 方法收敛到全局最优 解。 1 2 2 超分辨率重建的发展趋势 目前，超分辨率图像重建技术主要分为两大类：频率域方法和空间域方法。频率域 方法实质上是在频域内解决图像内插问题，其观察模型是基于傅里叶变换的移位特性。 频率域方法中最有代表性的方法就是频率域频谱解混叠方法。这类方法的理论简单；运 算复杂度低，很容易实现并行处理；具有直观的去变形超分辨率机制。但其缺点是：运 动模型和退化模型不灵活，只能局限于全局平移运动和线性空间不变降质模型；而且包 含空域先验知识的能力有限。空间域的超分辨率图像重建方法则充分考虑了更加一般的 运动类型以及退化模型，涉及到图像的全局和局部运动、光学模糊、图像点扩散函数、 非理想采样等一些概念，并将复杂的运动模型与相应的插值或迭代及滤波重采样放在一 起处理，作为图像重建的全部内容，从而更加符合图像退化的复杂过程。空间域方法还 具有很强的包含空域先验约束的能力，使超分辨率图像重建过程中可以产生带宽外推。 有代表性方法的主要是n r s h a h 1 4 1 的非均匀空域样本内插法，m i r a n i 和s p e l e g ”】的迭 代反向投影方法，在集合论基础上发展起来的凸集投影方法( p o c s ) ，建立在概率统计 基础上的最大后验概率估计法( m a p ) 和最大似然估计法( m l ) 以及混合m a p p o c s 方 法等。 超分辨率重建技术的应用十分广泛，但这一领域又存在着许多需要解决的问题。未 来的研究将主要集中在降质模型、运动估计和重建方法三个方面展开。 首先，超分辨率重建的成功依赖于准确的、符合实际成像系统特性和成像条件的降 5 中北大学学位论文 质模型。通常采用简单、确定的退化模型进行近似，但这样的近似模型与实际成像过程 差距很大。在成像系统中，观察模型精确地对图像退化进行说明有利于对图像解空间进 行约束，因而进行这方面的研究是十分有意义的。此外，应该对c c d 传感器的几何属 性、空间一时域积分属性、噪声和读出噪声属性等方面给予关注，发展和寻求新的退化 成像模型，更好地对传感器观察过程进行建模，使其更加精确和全面，实现对点扩散函 数和噪声的精确估计，提高重建的效果。 其次，在超分辨率重建中，需要对视频序列进行亚像素精度的运动估计。由于运动 估计只能利用低分辨率序列上的信息，很难达到比较精确的运动估计，所以选择合适的 运动估计器是实现超分辨率重建的关键。虽然目前已经出现了多种运动估计方法，但在 实际应用中仍然无法获得令人满意的运动估计效果，同时这些运动估计方法的适用场合 非常有限，从而有必要对现有的运动估计算法进行研究，在回顾与分析现有算法的基础 上对其进行扩展。一方面，运动模型及其估计方法应根据场景相机运动的先验知识来 进行选择；另一方面，还应考虑到多种互不相关的运动方式。值得注意的是，由于运动 估计是根据退化图像进行的，而运动估计的效果与超分辨率重建的结果息息相关，因而 在运动估计过程中还应该重点强调算法的稳健性和结果的可靠性。另外有些方法，把运 动估计与重建过程分离开的做法是不合理的，而实际情况是图像的运动变形、模糊与噪 声等降质因素之间具有密切的关系。因此，将以上因素同时纳为一体进行考虑应该是一 种很有前景的方法。此外，还应增加对运动估计的约束。 再次，超分辨率重建是一个病态问题，它存在着多个解，因此，能否有效地利用己 知的信息和约束条件是实现最佳重建的关键，尽管目前已经提出了很多重建算法，但这 些算法仍然存在着较大的缺陷和不足。基于概率论和基于集合论的算法是两种很有前景 的研究方法，而混合m a p p o c s 方法能将数学的严格性、解的唯一性与先验约束描述 的方便性有机地结合在一起，也是一种大有可为的方法。在算法上，迸一步提高对解空 间进行的约束，提高算法的稳健性和精确性，减小计算量，加快运算的收敛速度，适用 于不同图像的要求是未来研究的一个重要的任务。 总之，对超分辨率重建技术的进一步深入研究必将导致这一技术拓宽到一些新的应 用领域。 6 中北大学学位论文 1 3 问题描述 由于超分辨率重建技术能够克服成像系统固有的分辨率限制，提高数字图像质量， 已经成为信号处理领域一个研究热点，涌现出一批批有价值的研究成果。总的来说，图 像超分辨率重建技术受以下几个因素影响。 1 精确的运动估计 精确的运动估计，即亚像素位移信息的可靠性。超分辨率重建包括全局或多个独立 物体的运动估计，精确的运动估计是超分辨率重建技术的关键。虽然目前已经出现了许 多种运动估计方法，但在实际应用中仍然无法获得令人满意的运动估计效果，同时这些 运动估计方法的适用场合非常有限，从而有必要对现有的运动估计算法进行研究，在回 顾与分析现有算法的基础上对其进行扩展。在进行运动估计的过程中，运动模型及其估 计方法应根据场景、相机运动的先验知识来进行选择，并且运动估计还应当考虑到多种 互不相关的运动方式。 值得注意的是，由于运动估计是根据退化图像进行的，而且运动估计的效果与超分 辨率重建的结果息息相关，因而在运动估计过程中还应该重点强调算法的稳健性和结果 的可靠性。 2 准确的观测模型 观测模型必须能精确地对成像系统的降质过程进行描述，这有利于对h r 图像解空 间进行约束，提高图像超分辨率重建的效果。建立精确反映成像系统降质过程的观测模 型，能够进一步提高超分辨率重建技术的性能。图像超分辨率重建通常采用的简单、确 定的降质模型进行近似时，近似模型与实际成像过程差距很大。 在成像系统中，观察模型精确地对图像退化进行描述有利于对图像解空间进行约 束。对c c d 影像传感器的几何属性、空间时域积分属性、噪声和读出噪声属性等方面 给予关注，发展和寻求新的退化成像模型，更好地对传感器观察过程进行建模，使其更 加精确和全面，实现对点扩散函数和噪声的精确估计，提高图像超分辨率重建的效果。 3 高效的重建算法 尽管目前已经提出了很多超分辨率重建算法，但这些算法仍然存在着较大的缺陷和 不足。基于概率论的超分辨率重建算法和基于集合论的p o c s 超分辨率重建算法是两种 7 中北大学学位论文 很有前景的研究算法，而混合最大后验概率p o c s 算法能将数学的严格性、解的唯一性 与先验约束描述的方便性两者有机地结合在一起，也是一种大有可为的算法。同时重建 多帧超分辨率图像的研究将进一步提高对解空间进行约束的机会，提高算法的稳健性和 精确性。基于小波变换的插值与超分辨率重建也是很有希望的算法。 1 4 本文组织结构 图像超分辨率重建算法的国内外研究现状可以看出，提出高效的重建算法仍是当今 一个富有挑战性的工作，存在着大量需要解决的问题。因此，论文在吸收前人的大量研 究成果的基础上，主要完成序列图像超分辨率重建算法和单帧图像超分辨率重建算法的 研究工作。 围绕这一目的，论文主要工作有以下几个部分： 1 从图像超分辨率重建算法的研究背景和现状分析出发，指出存在的问题以及急待解 决和完善的问题，对论文的研究内容进行概述，最后给出论文的结构。 2 对图像超分辨率重建算法的基础技术进行深入剖析，分析超分辨率重建的观测模型 构建、实现步骤和主要算法，通过介绍观测模型给出重建问题的病态性的原因，对 超分辨率各个步骤进行简单分析，并对频域算法和空域算法进行深入的介绍和全面 的比较。 3 对于p o c s 算法给予了相应的描述，随后将n e d i 与v a n d e w a l l e 频域配准相结合， 提出了一种高效的图像超分辨率重建算法，应用于序列图像中，并进行了算法的仿 真实验，在主客观两方面针对重建效果与其他算法做出比较。 4 在学习和借鉴前人在小波超分辨率重建领域的理论和算法的基础上，采用细节子带 小波逆变换图像空域n e d i 运算的方法对小波细节子带进行估计，实现重建目的。 5 进行仿真实验和性能比较。将c o n t o u r l e t 变换引用到图像超高分辨率重建领域。通 过对低分辨率图像进行c o n t o u r l e t 变换，获得多分辨率多方向信息。采用细节子带 置零的小波逆变换方式对c o n t o u r l e t 方向子带进行估计，再应用c o n t o u r l e t 逆变换 重建较高分辨率的图像，仿真实验用于测试算法的重建效果。 最后，在结论中对论文的工作进行总结，并对进一步的研究进行分析和展望。 8 中北大学学位论文 第2 章超分辨率重建技术概述 2 1 超分辨率图像重建的数学物理基础 按照傅立叶光学的观点，光学成像系统实际上是一个低通滤波器，系统频率响应截 止于某一光学衍射频率。图像超分辨率重建就是希望恢复或重建成像系统截止频率外的 一些频谱的内容。当图像作为一个函数，是空域有界的，则其谱函数是一个解析函数。 根据给定解析函数在某个区间上的取值而对函数整体进行重建就叫做解析延拓。从理论 上讲，重建图像的整个谱函数或至少重建衍射极限外某些频率上的谱函数是可能的。 一般情况下，我们考虑一个一维线性位移不变成像系统，其成像过程可用下 式来描述： g g ) = 厂g ) 木办g ) ( 式2 1 ) g g ) 表示图像，厂g ) 表示景物，局g ) 为光学传递函数，木表示卷积运算。对上式取 傅立叶变换得： 丁受) = f o 归( 圳、， ( 式2 2 ) l f ) = g ( u ) h ( u ) 一 这里的g 0 ) ，f ( u ) y o 日 ) 分别表示g g ) ，厂g ) 和乃g ) 的傅立叶变换。观察可以得 到，由于截止频率之外日0 ) = o ，因此要想重建出截止频率之外的信息，从严密的理论 上来说，基本上是不可能的【1 6 】。换个角度来看，我们相当于把成像系统看作一个傅立叶 滤波器，来对f ( u ) 的解进行了低通限制。实际上存在着许多方法对f ) 进行估计，而 这些方法并不具备傅立叶滤波器的性质，但是采用这些方法可成功的实现截止频率之外 信息的重建，主要基于以下几个方面的理论： ( 1 ) 解析延拓理论 如果一个函数厂g ) 是空域有界的( 即在某个有限范围之外全为0 ，则其谱函数是一个 解析函数。解析函数所具有的其中一个性质是：若它在某一个有限区间上为己知，就会 处处已知。根据解析函数的唯一性定理，如果两个解析函数在某区间内是一致的，那么 9 中北大学学位论文 这两个函数在全平面内也是完全一致的。根据给定解析函数在某区i 司上的取值，对函数 的整体进行重建叫做解析延拓。 定义如下：设g ) 在某个集合e 上有定义，d 是个包含e 的更大的区域，如果存 在d 内的解析函数f g ) ，使得x e 时，有厂g ) = f g ) 。则称f g ) 是厂g ) 在区域d 内的 解析开拓。 对于幅图像，由于其空域有界，因此其谱函数必然解析。从式中可以看到，在截 止频率以下的f ) 可通过上式计算获得。那么根据解析延拓理论，截止频率以上的信息 可采用截止频率以下的，仁) 得以重建，从而实现图像的超分辨率重建。 ( 2 ) 信息叠加理沦 对于非相干成像，实际的图像应具备以下约束条件和性质：非负性和有界性。即物 体或图像的最小光强应大于0 ，且物体或图像具有一定的大小，可用式下式进行表示： f s ( x ) o ，x x t 厂b ) ：o ，xgx 式2 3 这里x 表示物体的大小和范围。上式还可以用以下形式进行表示： s ( ) e c t x l x ) ( 式2 4 ) - 而f ( x ) 的频谱可以分成两部分：只0 ) 和e 0 ) 。其中c 0 ) 是截止频率以下部分， e 0 ) 是截止频率以上部分。对上式取傅立叶变换得到： f ( “) = 阮( 扰) + e ( 扰) 木s i n c ( x x ) ( 式2 5 ) 从上式可以看到，由于s i n c 函数是无限的，则截止频率以上的信息通过卷积迭加到 了截止频率以下的频率成分中。换句话说，对于有界受限物体，截止频率以下的频率成 分中包含了物体的所有信息( 包括低频和高频信息) 。很显然，我们只要找到方法来分离 出低频和高频信息，就可以利用这些信息来实现超分辨率重建。 ( 3 ) 非线性操作 在非理想的情况中，我们考虑噪声对成像过程的影响，加入噪声后的成像过程用下 式来表示： 1 0 中北大学学位论文 g g ) = 厂g ) 宰力g ) + 刀g ) ( 式2 6 ) 其中，z ( x ) 表示噪声。 估计理论是指从可能的数值域中找出未知参数的最佳值，从而得到一组不完善的度 量。在上式中由于噪声的影响，由此解得的物体估计无g ) 一般会破坏式中的非负性。 同时，由于日 ) 的低通作用，所以解得的物体估计z g ) 还会破坏式中的有界性。为了 重新满足上式的两个条件，必须要施加下面的两个约束条件： 1 ) 物体解空间的截断；2 ) 非负的数字截断。 由此带来的运算是一个非线性操作运算，在信号的非线性运算中，高频信息将会被 附加进最后的信号中。因此，我们通过约束操作对引入的高频部分进行逐步调整，即可 实现图像的超分辨率重建。 从上述三个方面可以看出，低频分量中包含着我们所需要的高频信息，并且所观测 的成像物体必须是非负有界的，这两个条件构成了实现超分辨率重建的基础。 以上讨论说明了重建超过截止频率以上高频成分的理论基础。那么，对于一幅退化 图像而言，由于探测器本身固有的条件限制，在图像中必然会存在光子噪声。这种噪声 可以近似看作为加性噪声，成像表达过程如上式所示，对其取傅立叶变换有： g ) = 日0 ) c 0 ) + 瓦 ) 木s i n c ( x x ) + n ( u ) ( 式2 7 ) 超分辨率重建能力是指噪声存在时，能被复原和重建的超分辨率信息的数量。当然， 对于不同的重建算法，其超分辨率重建的能力不同。s e m e n t i l l i 1 6 1 等人对此进行了分析， 提出了以下超分辨率重建能力的估算表达式： u p 去p 1 伍) _ s i n c - 1 ( 别 c 靓8 ， 这里厂p 表示截止频率以上能够重建的频率范围；t 是重建分量的允许误差；k 是常 数：a 是噪声标准差；s i n c - 1 函数只有在主极大范围内有意义。从上式可以看到，超分 辨率重建能力厶的大小主要取决于噪声的标准差和物体的大小x 。 中北大学学位论文 2 2 超分辨率重建算法综述 早在2 0 世纪6 0 年代就有人提出了超分辨率的概念，最初的方法包括频谱外推法、 能量连续降减法、长椭球函数法、线性均方外推法以及叠加正弦模板法等【 】。但这些基 于数学意义上的纯频谱解析的方法，因实际中噪声的影响，而没有实用的可能性，超分 辨率被当作了一个“神话”曾被放弃。 直至1 9 8 4 年，有人提出可利用同一场景的多幅图像来获取该场景的一幅高分辨率 图像，因为多幅图像包含的信息量要大于单幅图像f 1 8 】。这个观点的提出，推动了图像超 分辨率处理技术又一次发展，直到今天，它仍然是图像处理领域有待进一步研究的热点 课题之一。此后人们在这方面作了大量的工作，相继提出多种重建方法，这些方法总的 来说可归为两类，一类为频域法，另一类为空域法。 2 3 频域方法 频域方法是通过在频率域消除频谱混叠而改善图像的空间分辨率。其基本流程包括 运动估计、傅立叶变换、图像重建、傅立叶逆变换，从而得到重建的高分辨率图像。 t s a i 和h u a n g 1 9 】于19 8 4 年提出了通过解混叠频谱进行超分辨率重建，算法将图像 序列模型化为同一幅不变的景观，并且经整体平移运动后形成降采样样本，这些降采样 样本在频域表现为频谱的混叠。利用离散傅立叶变换和连续傅立叶变换之间的平移、混 叠性质，给出了一个由一系列欠采样观测图像重建高分辨图像的公式。t s a i 和h u a n g 的 方法尽管具有计算简单的优点，但其不足之处是其模型中没有考虑光学系统的点扩散函 数p s f ，也没有考虑运动模糊和观测噪声。 t e k a l p ，o z k a n 和s e z a n 2 0 1 针对t s a i 和h u a n g 方法的限制，于1 9 9 2 年提出一种改进 的方法，该方法的模型中包括了线性平移不变的点扩散函数和观测噪声。h a r d i e 和 k a l t e n b a c h e r e 2 1 】于1 9 9 6 年提出了另一种估计帧间参数的计算方法。虽然这些方法都对 t s a i 和h u n a g 的方法有所改进，但通过解混叠进行超分辨率重建的理论仍然没有重大突 破。k i m ，b o r e 和v a l e n z u e l a 2 2 1 在1 9 9 0 年的研究中采用了t s a i 和h u a n g 提出的频域理 论框架以及整体平移观测值模型，并且对t s a i 和h u a n g 的求解公式进行了重大改进， 1 2 中北大学学位论文 使得超分辨率重建过程可以顾及到观测噪声以及空间模糊等因素，同时提出了运用递归 最d , - 乘方法、加权递归最d , - 乘方法求解线性方程组。虽然k m i 等人在t s i a 和h u a n g 2 3 】 算法的基础上引入了线性平移不变模糊、线性平移变化模糊和观测值噪声，但是基于整 体平移观测模型这一限制仍未改变。k i m 和s u 2 4 】在后来的研究中进一步把他们早期的 递归最小二乘求解方法替换为t i k h o n o v 正则化方法。1 9 9 4 年，s u 和k i m t 2 5j 提出了t s a i 和h u a n g 的算法不能够处理非整体运动模型的本质缺陷，但是将t s a i 和h u a n g 的方法 应用于重叠观测图像序列的运动补偿子块上，就可以在一定程度上处理非整体的运动模 型。由整体运动模型到非整体运动模型是一个很有意义的推广。但平移运动模型这一限 制仍然没有得到解决，这是由于在重建阶段仍然是采用频域方法，而频域方法总是假定 平移运动模型这一限制条件。 u r 和g r o s s 2 6 】根据p o p o u l i s e 2 7 】的采样定理和b r o w 2 8 】的多通道采样定理提出了一种 超分辨率重建算法。这种算法表面上看起来是在空域实现的，但其本质还是频域技术， 因为它仍然是利用傅立叶变换的平移性质模型化原始图像之间的平移运动。他们引入了 一种可以顾及模糊点扩散函数以及整体平移图像的线性退化通道模型，证明了超分辨率 重建问题可以分为两个不同的过程，第一步将欠采样的信号合并成一个带限函数，第二 步对合并信号进行去模糊。由于去模糊操作与合并过程是相互独立的，因而通过r 个退 化和欠采样通道的输出完全有可能推导出一种完整的合并信号，然后任何标准的图像重 建算法都可以用到合并后的信号，用以对模型退化进行改正【2 9 】。正如前边分析的那样， u r 和g r o s s 算法实际上是t s a i 和h u a n g 的频域方法的空域翻版，唯一不同的是为所有 观测值考虑到一个共同的点扩散函数，即使这样也没有考虑到观测值噪声。 总结来说，频域方法有以下优点：理论简单，运算复杂度低；很容易实现并行处理， 具有直观的去变形超分辨率机制。但这类方法还存在以下缺点：只能局限于全局平移和 线性空间不变降质模型，并且包含空域先验知识的能力有限。所以目前这类方法不再成 为研究的主流。 2 4 空域方法 2 4 1 均匀空域样本内插法 1 3 中北大学学位论文 m a r v a s t i ，s a u e r ，k e r e n ，p e l e g ，a i z a w a 3 0 】等提出一种非均匀空间样本内插方法。 采用运动补偿对一个低分辨率序列进行配准后，采用内插方法产生单幅由非均匀空间样 本构成的高密度合成图像，以这个合成图像为初始值，采用l a n d w e b e r 迭代法来进行超 分辨率图像融合。s h a h 3 8 】等提出一种新的非均匀空间样本内插方法来进行超分辨率融 合，这种算法考虑了融合过程中的运动估计错误，利用视频信号的彩色分量来提高运动 矢量的估计精度。虽然这种方法看起来很有吸引力，但是这种方法的思想太过简单，它 甚至不能够顾及到l r 图像的采样值并不是理想采样而是一种空间平均这一事实。结果 是融合图像并不包含全部频率成分，而这些频率成分对给定的l r 图像观测数据是可以 重建出来的。非均匀空间样本内插方法的缺点是：过于简单化，无法重建比单幅低分辨 率图像更多的频域内容，其降质模型有限，没有考虑光学模糊和运动模糊，也没有使用 先验约束。 2 4 2 迭代反向投影法 m i r a n 】等提出一种迭代反向投影法( i b p ，i t e r a t i v eb a c kp r o j e c t i o n ) 。这种方法首 先用输出图像的一个初始估计作为当前结果，并把这个当前结果投影到低分辨率观测图 像上以获得低分辨率模拟图像，低分辨率模拟图像与实际观测图像的差值称为模拟误 差，根据模拟误差不断更新当前估计。他们的方法不限于特定的运动特性，而允许任意 的光滑运动流，但没有给出噪声过程的模型。 m a n n 3 2 等对该方法迸一步改进，以便能够处理通用的透视投影运动情况。 b c t o m 3 3 】等通过改进运动补偿方法，进一步提高了迭代反投影算法的性能。另外， b c t o m 等把迭代反投影算法推广到彩色视频序列的超分辨率融合上。迭代反投影方法 通过观测方程使超分辨率融合与观测数据匹配，但这种方法的超分辨率融合结果不唯 一，而且把先验约束引入到这种方法中也不是一件容易的事情。 2 4 3 代数滤波反向投影法 14 中北大学学位论文 f r i d e n 和a u m m a n 【3 3 】在19 8 7 年对超分辨率重建问题提出了一种代数层析滤波后向 投影方法。当时的研究并不是由一个图像序列重建超分辨率图像，而是一个与超分辨率 重建相关的、由线性成像阵列对一固定景物进行多次一维扫描的重建问题。由于在一维 扫描系统中p s f 代表线积分，而在多幅图像的超分辨率重建中的p s f 则代表面积分， 因此f r i d e n 和a u m m a n 研究的问题和超分辨率重建仅仅在成像系统的p s f 方面不同。 在f r i d e n 和a u m m a n 的重建公式中虽然假定线阵传感器的分辨率高于光学系统的有限 分辨率，成像几何也能够提供给定景物区域的重叠扫描，但并没有考