（计算机应用技术专业论文）超分辨率图像重构的研究.pdf

摘费 摘要 超分辨率图像重构技术的目的是从几幅包含有相同区域的图像序列中重新构 建更高分辨率图像，采用这种重构算法不仅利用了图像内象素l 到的空削相关性， 而且利用了图像问的时间相关性。相比较于传统单帧插值，更有利于图像细节部 分的恢复。 本文对图像序列重构算法的一些关键问题进行了深入的研究，主要集中在五个 部分：首先分析了图像降质原因，建立了摄像机成像和图像退化模型，并从理论 上分析了超分辨率图像重构的可能性及复原能力；其次实现并比较几种了较为成 熟的单帧图像分辨率放大算法( 包括最近邻域法、双线性插值法、三次卷积算法 和b 样务插值算法等) ；第三，将图像配准( i m a g er e g i s t r a t i o n ) 结合于凸集投影 ( p o c s ) 算法，提出基于图像配准的p o c s 图像序列超分率重构算法；第四，在 后向迭代投影( i b p ) 算法的基础上，对其求解过程进行了改进，采用共轭梯度优 化方法求解，并重新组织了代码的实现，使其更易于计算机实现，提高了其重构 的速度；第五，介绍和分析了最大后验概率( m a p ) 算法，给出了m a p 算法的实 现步骤。 本文提出和改进的方法需要基于一定的先验条件之上，需要建立更符合实际图 像退化模型、避行更精确的运动估计，并且重构的速度尚无法满足实时性的要求， 这些方面有待继续探索研究。 关键字：超分辨率图像插值图像重构图像配准共轭梯度最优化 a b s t r a c t a b s t r a c t t h et a s ko fs u p e r - r e s o l u t i o n ( s a ) i m a g er e s t o r a t i o nt e c h n i q u ei st og e th i g h e r r e s o l u t i o ni m a g ef r o ms e v e r a ll o w r e s o l u t i o ni m a g es e q u e n c e sc o n t a i n i n gs a m es c e n e t h et e c h n i q u et a k e sf u l la d v a n t a g eo fn o to n l ys p a t i a ld a t aa v a i l a b l eb e t w e e np i x e l si n t h ei m a g e ，b u ta l s ot e m p o r a ld a t aa v a i l a b l eb e t w e e nf r a m e si nt h ei m a g es e q u e n c e s c o m p a r e dw i t ht h et r a d i t i o n a ls i n g l ei m a g er e s t o r a t i o nt e c h n i q u e ，i ti sm o r ee a s i e rt o r e s t o r i n gd e t a i l so fi m a g e i nt h ep a p e r ，s o m ep i v o t a lp r o b l e m so fi m a g es e q u e n c e sr e s t o r a t i o na r er e s e a r c h e d d e e p l nw h i c hi sc o n c e n t r a t e di nt h ef o l l o w i n gf i v ep a r t i e s f i r s t l y ，t h er e a s o no fi m a g e d e g r a d i n g i sa n a l y z e d ，a n dag e n e r a li m a g i n gm o d e li sc o n s i d e r e d ，a sw e l la sf e a s i b i l i t y a n dc a p a b i l i t yo fs ri st h e o r e t i c a l l ya n a l y z e d s e c o n d l ns e v e r a ls c a l i n ga l g o r i t h m so f s i n g l ei m a g e ，w h i c ha r e n e a r e s tn e i g h b o ri n t e r p o l a t i o n ，b i - l i n e a ri n t e r p o l a t i o n ，c u b i c c o n v o l u t i o ni n t e r p o l a t i o na n db - s p l i n ei n t e r p o l a t i o n ，a r er e a l i z e d ，a n da l s ot h er e s u l t s a r ec o m p a r e d t h i r d l y , t h ep a p e r , c o m b i n i n gp o c sw i t hi m a g er e g i s t r a t i o n ，p r e s e n t s p o c ss r i m a g e r e c o n s t r u c t i o nb a s e do ni m a g er e g i s t r a t i o n f o u r t h l y , b a s e do ni b p a l g o r i t h m ，i ti si m p r o v e di nt h ef i e l do ff i n d i n gs o l u t i o na n dr e a l i z i n go f c o d e f i n a l l y ， m a p a l g o r i t h mi si n t r o d u c e d a n d a n a l y z e d ，a n di t sr e a l i z i n gs t e p s a r ea l s og i v e n t h em e t h o d si m p r o v e da n dp r o p o s e di nt h ep a p e rm u s tb eb a s e do ns o m ep r i o r c o n d i t i o n s ，a n dt h es rt e c h n i q u e ss h o u l db er e s e a r c h e df u r t h e rh o w t oc o n s i d e rm o r e f i t a b l ei m a g ed e g r a d i n gm o d e lt of a c ta n da c c u r a t em o t i o ne s t i m a t i o na n di n c r e a s et h e r a t eo f r e c o n s t r u c t i n gt of i tr e a lt i m e k e y w o r d s ：s u p e r - r e s o l u t i o n i m a g er e g i s t r a t i o n i m a g ei n t e r p o l a t i o ni m a g e r e c o n s t r u c t i o n c o n j u g a t e g r a d i e n t 创新性声明 y 5 8 3 4 3 3 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发袭或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均己在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：丝! 女这日期 p 口4 ，善 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在一年解密后适用本授权书。 本人签名： 导师签名 丝篓多 迎 日期一圭卯、p 日期鑫! ! 竺! ! ：坠 第一章概述 第一章概述 1 1 序论 图像的分辨率描述了成像系统对图像细节的分辨能力，也是图像中目标细微程 度的指标，它表示景物信息详细程度。在图像的产生、传输和记录过程中，不可 避免地会带来某些失真和程度不同的变质，对于这些变质的图像，进行一定的加 工处理，使其重构出真实的景物，这就是图像重构o ”( i m a g er e c o n s t r u c t i o n ) 或图像复原( i m a g er e s t o r a t i o n ) 。图像重构可以包括：提高图像的分辨率、去 除图像噪声、去模糊等等。许多成像系统，如红外成像仪和c c d 照相机等，在快 速采集图像的过程中，受其固有的传感器阵列排列密度的限制，图像的分辨率不 可能很高；同时欠采样效应又会造成图像的频谱交叠，使获取的图像因变形效应 而发生降质( 或称为降阶，d e g r a d i n g ) 。 虽然成像系统的光学元件能够有效地限制传感器阵列上图像的频带宽度，使获 取地图像有可能避免变形效应地发生，但这要求光学元件与传感器阵列进行有效 组合，这在实际应用场合中是很难做到地。如果采用增加传感器阵列密度地办法 来提高图像分辨率和消除变形效应，则费用可能很昂贵或者也很难实现。 但是，可以根据一定算法从软件的角度对获取的图像进行相应的处理，提高其 分辨率，使其重构图像细节，最大程度的逼近成像前的景物。 超分辨率( s u p e r - r e s o l u t i o n ，s r ) 是根据图像序列和成像模型去除由成像系统 造成的模糊( 散焦模糊、运动模糊、非理想采样等) 以及复原超出光学系统衍射极 限之外的空间频率信息，以使图像获得更多的细节和信息，其目的就是通过一组 低分辨率( l o w - r e s o l u t i o n ，l r ) 变形、降阶的图像( 或图像序列) 来估计一幅 ( 或一序列) 较高分辨率( h i g h r e s o l u t i o n ，h r ) 的非变形图像，同时还能消除 附加噪声以及由有限检测尺寸和光学元件产生的模糊“3 1 ”3 ，该过程示意图如图1 1 所示。 嗍瘌u 口姐姐姐姐口一口 卜 s r 视频序列 图1 1 从l r 图像序列进行s r 视频增强示意圈 超分辨牢图像最构的研究 由于成像过程比较复杂，而包括超分辨率在内的图像重构是一个不适定的逆问 题，对一个给定的观察图像的集合存在可能解的多样性，即可能存在多个解都可 满足给定的条件”1 。处理这样的问题应建立恰当的相机成像模型和根据先验知识约 束解空间，包含进平滑度、确定性等约束对获取高质量的超分辨率图像，因此更 多的蕈点应该放在如何建立合适的相机成像模型和能够包禽先验知识的方法上， 以及如何重构s r 图像以加速求解过程。 1 2 国内外发展状况 超分辨率例像重构技术虽初以单张( 又叫单帧) 图像重构的概念和方法提出， 随后许多人对其进行了研究。经过了几十年的发展，人们相继提出了多种重构方 法。其发展历程包括：从最早的根据单帧图像重构单帧图像，到根据多帧图像重 构单帧图像( 其中包括频域进行重构和从空域重构) ，进而发展到根据多帧图像 重构多帧图像“。 对于单帧图像重构问题，主要采用的方法是插值算法。 在早些年，主要采用一些最简单的算法进行重采样，如最近邻域插值或线性插 值。到二十世纪4 0 年代后期，随着香农信息论的提出，人们选择s i l q c 函数作为 插值函数。但是，s i n c 函数对应的是无限冲击响应，不适用于有限冲击响应来进 行局部插值。”。从数学的角度，泰勒多项式或拉格朗日多项式被用来近似s i n e 函 数。但从那以后，为了提高效率，人们又选择不同种类的样条函数作为插值函数 用于插值。二十世纪7 0 8 0 年代，大量的插值方法又被提出，如b 一样条插值。、 三次卷积。、高分辨率插值和双三次样条插值等等，其中主要的区别是选择的插 值函数的不同。不仅线性插值方法以及其他一些快速b 样条算法或特殊几何变换 在硬件上得以实现，而且也提出了具有边缘增强的非线性和自适应图像缩放算法 被提出。另外，1 9 8 6 年，m f d a r n s l e y 首先提出了基于分形的插值方法，该算法 在科学应用中( 如医学图像处理) 具有非常重要的意义。 然而，通过这些单帧插值方法图像经过放大后，会出现一些平滑效应，图像的 边缘细节通常不能被很好的重构出来。 频域方法是通过在频率域消除频谱混叠而改善图像的空间分辨率。其基本流程 包括运动估计、傅立叶变换、图像重建、傅立叶逆变换，从而得到重构的高分辨 率图像。 t s a i 和h u a n g 由1 9 8 4 年提出了通过解混叠进行超分辨率重构【2 ，算法将图像 序列模型化为同一幅不变的景观经整体平移运动后欠采样( u n d e r s a m p l e d ) 样本， 这些欠采样样本在频域表现为频谱的混叠。利用离散傅立叶变换和连续傅立叶变 换之间的平移、混叠性质，给出了一个由一系列欠采样观测图像重构s r 图像的公 第一章概述 式。t s a i 和h u a n g 的方法尽管具有计算简单的优点，但其不足之处是其模型中没 有考虑光学系统的点扩散函数p s f ，也没有考虑运动模糊和观测噪声。t e k a l p ， o z k a n 和s e z a n 针对t s a i & h u a n g 的限制，于1 9 9 2 年提出一种改进的方法，该方法 的模型中包括了线性平移不变的点扩散函数和观测噪声【8 1 。k a l t e n b a c h e r 和h a r d i e 于1 9 9 6 年提出了另一种估计帧问整体品一参数的计算方法口4 1 。虽然这些方法都对 t s a i & h u a n g 的方法有所改进，但通过解混叠进行超分辨率重构的理论仍然没有重 大突破。 k i m ，b o r e 和v a l e n z u e l a 在1 9 9 0 年的研究中虽然采用了t s a i & h u a n g 提出的频 域理论框架以及整体平移观测值模型，但对t s a i & h u a n g 的求解公式进行了重大改 进【2 ”，使得超分辨率重构过程可以顾及到观测噪声以及空间模糊等因素，提出了 用递归最小二乘方法、加权递归最小二乘方法求解线性方程组。虽然k i m d e n g r e n 在t s i a & h u a n g 算法的基础上引入了线性平移不变l s i 模糊、线性平移变化l s v 模糊和观测值噪声，但是整体平移观测模型这一限制仍未改变。k i m 和s u 在后来 的研究中对他们早期的递归最小二乘求解方法替换为t i k h o n o v 正则化方法。1 9 9 4 年，s u 和k i m 提出了t s a i & h u a n g 的算法不能够处理非整体运动模型的本质缺陷， 通过将t s a i & h u a n g 的方法应用于重叠观测图像序列的运动补偿子块可以在一定程 度上处理非整体的运动模型。由整体运动模型到非整体运动模型是一个很有意义 的推广。但平移运动模型这一限制仍然没有得到解决，这是由于在重构阶段仍然 是采用频域方法，而频域方法总是假定平移运动模型这一限制条件。 u r 和g r o s s 根据p o p o u l i s e 的采样定理和b r o w n 的多通道采样定理提出了一 种超分辨重构算法，尽管这种算法表面上看起来是在空域实现的，但其本质还是 频域技术，因为他仍然是利用傅立叶变换的平移性质模型化原始图像之间的平移 运动。他们引入了一种可以顾及模糊点扩散函数以及整体平移图像的线性退化通 道模型，证明了超分辨率重构问题可以分为两个不同的过程，第一步将欠采样的 信号合并成一个a 一带限函数，第二步对合并信号进行去模糊。由于去模糊操作与 合并过程是相互独立的，因而从r 个退化和欠采样通道的输出完全有可能推导出 一种完整的合并信号，然后任何标准的图像重构算法都可以应用于合并后的信号 以对模型退化进行改正。正如前边分析的那样，u r & g r o s s 算法实事上是t s a i & h u a n g 的频域方法的空域翻版，唯一不同的是对所有观测值考虑了一个共同的点扩散函 数，那样也没有考虑观测值噪声恶化运动模糊。 频域方法有以下优点：理论简单，运算复杂度低；很容易实现并行处理：具有 直观的去变形超分辨率机制。但这类方法还存在以下缺点：只能局限于全局平移 和线性空间不变降质模型；包含空域先验知识的能力有限。所以目前这类方法不 再称为研究的主流。 在空域类方法中，其线性空域观测模型涉及全局和局都运动、光学模糊、帧内 超分辨率剀像蕈 ：| 的研究 运动模糊、空间可变点扩展函数、非理想采样，压缩赝像以及其他一些内容。空 域方法具有很强的包含空域先验约束能力，例如马尔可夫随机场和凸集等先验约 束，这样在超分辨率重构过程中可以产生带宽外推。空域方法主要包括非均匀空 域样本内插法。、迭代后向投影方法”1 、集合理论重构方法( 凸集投影p o c s ) ”1 、 统计重构方法( 最大后验概率估计器m a p 和最大似然估计器m l ) ”、混合m a p m o c s 方法以及自适应滤波方法“。”等。 非均匀空间样本内插方法是先对低分辨率图像序歹0 进行运动补偿，再采用内插 方法产生单幅高密度合成图像，以这个合成图像为初始值，采用l a n d w e b e r 迭代 法重构超分辨率图像。非均匀空间样本内插的缺点是过于简单化，无法重构比单 幅低分辨图像更多的频域内容，其降质模型有限，也没有使用先验约束。 迭代后向投影方法( i b p ) 是首先用输入图像的一个初始估计作为当前结果，并 把这个当前结果投影到低分辨率观测图像上以获得低分辨率模拟图像，低分辨率 模拟图像与实际观测图像的差值被称为模拟误差，根据模拟误差不断更新当前估 计。迭代后向投影方法通过观测方程使超分辨率重构与观测数据匹配，但这种方 法的超分辨率重构结果不唯一，而且把先验约束引入到这种方法中也不是一件容 易的事情。 凸集投影方法( p o c s ) 是一类解决超分辨率图像重构问题的流行算法。超分辨 率图像解空间与一组凸形约束集合相交叉，而这组凸行约束集合代表了期望的超 分辨率图像的一些特性，如正定、能量有界、数据可靠、平滑等，这样通过这些 约束集合就可以得到简化的解空间。p o c s 是指一种迭代过程，在给定超分辨率图 像空间中任意一个点的前提下，可以定位一个能满足所有凸行约束集合条件的收 敛解。 在统计重构方法中，超分辨率重构问题可以解释为一个统计估计问题。最大后 验概率( m a p ) 的含义就是在已知低分辨率视频序列的前提下，使出现高分辨率图 像的后验概率达到最大。根据贝叶斯原理，高分辨率图像的后验概率等价于以下 两项之积：己知理想高分辨率图像的前提下，低分辨率图像序列出现的条件概 率；理想高分辨率图像的先验概率。条件概率项通常采用高斯模型，先验概率 项在不同的算法中采用不同的模型。最大后验概率估计方法的收敛稳定性取决于 先验概率项。先验概率模型应该具有下面3 个特点：是一个局部平滑函数； 具有边缘保持能力；是一个凸函数。最大似然重构方法可以认为是最大后验概 率重构方法在等概率先验模型下的特例。 混合m a p p o c s 方法就是在最大后验概率方法的迭代优化过程中加入了一些先 验约束。已有的理论证实，只有采用梯度下降最优化方法才能保证这种混合 m a p p o c s 方法收敛到全局最优解。 国内有苏秉华等提出了基于m a r k o v 约束的泊松最大后验概率超分辨率图像重 第一幸概述 构方法“，把p o i s s o n m a p 法和m a r k o v 随机场先验分别有机地结合在一起，该方 法有效地减少和去除重构图像中的噪声和震荡条纹。 在空域方法中，研究较多的是凸集投影方法和最大后验概率估计方法。凸集投 影方法的优点是可以方便地加入先验信息，可以很好地保持高分辨率图像上地边 缘和细节；缺点是解不唯一、解依赖于初始估计、收敛性慢、运算量大和收敛性 不高等。为了提高凸集投影算法的收敛性，可以采用松弛投影算子，但松弛投影 算子不利于保持图像地边缘和细节。最大后验概率算子方法的优点是在解中可以 直接加入先验约束、能确保解的存在和唯一、降噪能力和收敛稳定性高等；缺点 是收敛慢和运算量大。另外，最大后验概率估计算法的边缘保持能力不如凸集投 影算法，由这类方法获得的高分辨率图像上的细节容易被平滑掉。 1 3 研究的意义及应用领域 图像空间分辨率是图像质量评价关键性的一项指标，也是图像应用中举足轻重 的一个参数。超分辨率重构技术在军事、遥感、视频、医学和公安等领域具有十 分重要的应用价值和广阔的应用前景。对于已经获得的图像，由于条件所限，它 对目标物的空间分辨能力是一定的，其空间分辨率不能满足一些应用的需求。例 如在遥感应用中，通过利用超分辨率重构技术，在不使用微型图像探测系统的前 提下，可实现高于系统分辨率的观测图像；一些珍贵录像资料中的目标太小，其 细节不能分辨等等。因此，超分辨率图像重构技术研究有着十分重要的意义，主 要表现在1 2 1 t a 改善由于图像离散引起的空间分辨率下降； b 改善由于图像退化引起的空间分辨率下降； c 弥补原有图像空间分辨率的不足； d 突破图像获取手段的空间分辨率极限； e 发掘现有图像数据( 如多角度、多时相、多平台遥感图像，序列图像等) 的潜力。 正因为如此，超分辨率重构在近年来已成为国际上图像重构领域极为活跃的研 究课题。概括来讲，超分辨率重构技术的典型应用主要有： ( 1 ) 在安全领域中的应用在银行证券等部门的监控系统中当有异常情况发生 后可对拍摄的视频图像进行重构处理以获取较高分辨率的视频图像帧为事件的处 理提供重要线索； ( 2 ) 把普通视频信号转化成高清晰度电视标准或产生合成视频变焦( 合成视频 变焦就是把视频显示的一个区域按某一倍数进行放大然后重新播放) ； ( 3 ) 在采集军事与气象遥感图像时由于受到成像条件与成像系统分辨率的限 趟分辨牟图像熏构的究 制不可能获得清晰度很高的图像由多幅低分辨率图像来重构高分辨率图像具有十 分重要的意义； ( 4 ) 在医学成像系统中( 如c t 核磁共振成像仪和超声波仪器等) 可以采用超 分辨率技术来提高分辨率质量： ( 5 ) 根据视频信号来打印超分辨率静态图像其目的是扩大图像和增加细节。 1 4 本文的研究内容和章节安排 本文对超分辨率图像重构技术进行探讨，主要研究其基本概念、基本理论、部 分关键技术及其实现与改进。本文具体章节安排如下： 第一章概述。介绍了图像空间分辨率的概念和超分辨重构技术，回顾了目 前相关领域研究超分辨率图像重构技术的意义，同时综述了超分辨率图像重构技 术的现状，最后介绍了本文的主要研究内容与论文的结构。 第二章问题描述与成像模型。分析图像在成像过程的降质原因，建立了图 像成像模型：并从物理数学理论出发，阐述了超分辨率图像重构的可能1 注及重构 能力。 第三章单帧图像重构。研究和实现了四种典型的单帧图像插值算法：最近 邻域插值、双线性插值、三次卷积插值和三次b 样条插值，并对他们插值的结果 在主观、客观质量方面以及运行时间方面进行了比较。 第四章图像配准算法。首先分析了图像需要配准的原因以及常见的几种图 像间的几何变换及其关系表达，重点详细推导了基于最小二乘法的图像配准方法， 并给出了其实现的算法步骤。 第五章并将图像配准与p o c s 算法相结合，提出了基于图像配准的p o c s 超分辨率图像重构方法；实验表明该算法具有良好的图像重构能力。 第六章研究和分析了迭代后向投影算法，并在此基础上该算法的实现部分， 采用共轭梯度优化方法进行求解，提高其重构速度。 第七章详细介绍了最大后验概率图像重构算法，给出了采用梯度投影优化 方法求解该算法实现的步骤，并指出了该算法仍需要改进的不足之处。 结束语为本文的工作安排，在简要回顾了本篇论文工作的基础上，对图像序列 超高分辨率研究和实现的以后方展和需要进行的工作提出了自己的一些看法。 第二章问题描述与模型的建一 第二章问题描述与模型的建立 超分辨率图像重构就是对退化的图像进行处理，使其重构出退化阿的理想图 像。许多因素会导致图像在获耿的过程中质量的下降，造成图像的模糊和变形。 本章首先对图像的成像过程进行分析，确定其降质( 或降阶，d e g r a d i n g ) 原因， 包括几何变换、模糊操作、下采样和附加噪声，进而建立l r 视频序列的连续一离 散成像模型，列输入图像( 序列) 进行理想采样将其变换为离散形式，建立离散 一离散成像模型，为以后工作的开展建立基础；并根据模型结合实例分析直接求 解的不可行性和采用适当算法求解的必要性。然后从数学物理等基础理论出发， 论证了超分辨率图像重构的可能性和重构能力。 2 1 成像模型 2 1 1 成像过程分析 进行图像重构前必须进行成像分析，分析其降质的原因，以建立合适的图像变 质和退化模型，然后根据具体成像情况，进行图像采集和数字化处理b ”。造成图 像降质的原因很多，大致可分以下几个方面口0 j ： ( 1 ) 成像系统的象差、畸变、有限的带宽等造成的图像失真； ( 2 ) 太阳辐射、大气湍流等造成的遥感照片的失真； ( 3 ) 携带遥感仪器的飞机或卫星运动的不稳定，以及地球自转等造成的几何失真： ( 4 ) 数字图像在采样，量化以及模数和数模转换时造成的失真： ( 5 ) 拍照时，相机与景物之间相对运动造成的运动模糊； ( 6 ) 聚焦不良造成的散焦模糊； ( 7 ) 底片感光，图像显示时造成的记录显示失真： ( 8 ) 在图像系统中始终存在的噪声干扰。 s r 图像 一帧l r 图像 g 幽2 1 相机成像模型 如图2 1 所示，超分辨率的相机通用成像模型表示为：高分辨率图像投影到图 超分辨半幽像重构的研究 像平而，经过几何变换、模糊操作、下采样和叠加噪声，产生一序列l r 图像序列。 s r 图像重构的目的就是寻找符合这种模型的高分辨率图像。 用数学语言加以公式化公式表示：给定k 幅( 帧) 大小为m ，m ，连续拍摄 的图像序列g 。( 1 k k ) ，获取大小为m ：的图像，且满足函数误差e ( 厂) 最小： k e ( t ) = 恢( ) 一瓯 ( 2 1 ) = l 式巾： 1 可以是任意范数，通常是2 范数 2 e ( f ) 表示s r 图像厂向坐标系统的投影以及l r 图像g 。的采样网格。 若这利t 优化问题的解不唯时，需要添加其他一些表示在，上的先验假设作为附 加约束，比如图像的光滑度等。 投影操作b ( 厂) 通常由下列四个阶段( 如图2 1 所示) 所构成： 几何变换( g e o m e t r i c t r a n s f o r m a t i o n ) 模糊操作( b l u ro p e r a t o r ) 下采样( s u b s a m p l i n g ) 附加噪声( a d d i t i v en o i s e ) 现在一些典型算法间的不同主要表现：对几何变换，模糊操作和附加噪声的模 型建立；为用于求解方程组的优化方法：系统对，上的约束。 ( 1 ) 几何变换 ， 为了能使解得s r 图像厂有唯一解，必须首先确定其坐标系统。通常选择将输 入图像序列的其中一帧将其坐标系放大q 倍( 一般为2 倍) 后作为s r 图像厂的新 坐标系。通过获取输入图像间的运动参数，计算，相对于输入图像坐标系统的几 何变换，这其中包括运动参数计算和图像配准。获耿高精确的运动参数对超分辨 率重构的成功与否至关重要，当假定运动模型满足仿射变换或平面投影变换时， 可有助于获得运动参数的获取。对于高精确基于模型的方法，参见文献 1 1 , 1 2 1 。 ( 2 ) 模糊操作 图像模糊操作通常是由某些低通滤波器( 低通核) 的卷积建立模型，即模糊是 由与这些低通滤波器卷积而形成。空间不变( s p a c e i n v a r i a n t ) 函数需要进行估计 由光学原因引起的模糊和由镜头原因引起的模糊。低通核的光谱特性决定了s r 问 题的解是否可解和唯一：如果低通核的某些高频部分丢失，则可能会不唯一。此 时，需要增加一些对解的约束。 相机模糊的数字化结果是由于被称之为点扩散函数( p o i n ts p r e a d f u n c t i o n ， p s f ) 的作用。可有下列几种方法对其进行估计和获取： 第二= = 帝问题描述j 模型的矬，：i 使用相机厂商提供的信息( 通常这很难获得) 分析一个已知物体( 目标) 的图像 从图像( 序列) 中进行p s f 的盲估计 同时还有一些算法可以处理空间可变( s p a c e v a r i a n t ) 模糊，如空间可变运动模糊， 大气扰动等。 ( 3 ) 下采样 由于下采样操作的存在是超分辨率重构区别于一般图像重构的主要原因。通常 对不同图像帧中的采样操作均被排列在一个完全规则的网格上，比如当成像设备 的运动可被精确控制时。此时可采用图像重构技术( 如逆滤波，去卷积等) 重构 高分辨率的图像。而在相机运动的情况下，应从非规则网格采样重构s r 图像。无 论哪种情况图像重构算法对某些s r 重构算法仍具有很大的激励作用。 ( 4 ) 附加噪声 同其他相类似的图像处理过程一样，在s r 图像重构问题中通常假定噪声为加 性噪声，零均值正态分布。在这种假设情况下，寻找最大可能的解同时最小化 m a h a l a n o b i s 范数误差( 使用自相关估计矩阵) 或f 2 范数( 假定不相关的“白噪声”) 。 通过使用这种范数下的大型优化工具寻找最小化，如估计k a l m a n 滤波【l ，求解线 性等式 1 4 】等等。但是这种噪声符合正态分布的假定对大多数情况并不准确，成像 过程中的多数噪声并不是o a u s s i a n 噪声( 量化，相机噪声等) ，但是用更加实际的 方法对其建立模型将便问题变得非常大而复杂，也很难进行求解。 2 1 2 连续一离散模型 如图2 1 所示，用f ( x ，y ) 表示连续2 d 坐标系0 ，y ) 中的连续s r 图像，瓯 】表 示其中几何变换，通常为仿射变换，包括三种基本变换：平移、缩放和旋转。根 据这一变换，序列中第k 帧观测图像可表示为： l ( x ，y ) = a k f ( x ，y ) 】吨，0 女， k = 1 ，2 ，k ( 2 2 ) 其中，l ( x ，y ) 表示经仿射变换后的图像，以，0 。和s 。分别表示为第k 帧的平移向 量f 4 ，d ， ，旋转角度和二维缩放因子玻，5 ，) 。 图2 1 的投影变换中的第二方块表示对相机传感器的模糊效应建立模型，表达 式如下： 五( x ，y ) = l ( x ，y ) + + 魂( x ，y ) ( 2 3 ) 其中，忽( 上，y ) 表示模糊操作，“+ 表示二维( 2 d ) 卷积，五( 工，y ) 表示经模糊卷 积后的结果。需要注意的是：假定模糊操作为线性空间不变( l s i ) 萃e i 时间可变( t v ) ， 这种模糊由于光学系统不好和成像传感器分辨率有限造成的。简化起见，只考虑 超分辨牢f a 像重构的训f 究 传感器模糊。 观测模型的第三步是在二维矩形网格上具有恒定采样间隔( a x ，a y ) 的子采样 五( z ，y ) 子采样的结果由下式给出： 五( h t ，? 2 ) = 艺五( x ，y ) a ( x 叫蜗j ，一”l t a y ) ( 2 - - 4 ) “，2 1t i 2 2 l 其中6 表示d i r a c 三角函数。 最后，采样图像叠加噪声，产生l r 图像g k ( n ，心) ： 繇( 强，氆) 2 磊( 2 l ，也) + q ( 强，伤)( 2 5 ) 【其中：n l = 1 ，2 ，n i ，”2 = l ，2 ，n 2 2 1 3 离散一离散模型 连续s r 图像和被采样l r 图像间的关系可由式( 2 2 ) 式( 2 5 ) 建立，s r 插值( 或s r 重构) 问题即为从一帧或多帧l r 图像重构s r 图像。假定连续s r 图像f ( x ，y ) 以n y q u i s t 采样率采样以便连续s r 图像采样后不走样( a l i a s ) 。根据理 想n y q u i s t 采样定律，我们得到大小为l n 2 的离散图像，( 月。，”：) 。 离散h r 图像成像过程与图2 1 相似，但是此时的以，g i ，也和t 1 女表示二维 矩形网格上的离散阵列。 仿射变换的离散情况如下： j 五( 一，心) 2 a , f ( r h ，”：) 1 哜，钆，( 2 - - 6 ) l 其中：n l = 1 ，n i ，”2 = 1 ，n z ，k = 1 ，k 模糊操作和下采样操作分别为： j 五( m ，) 2 五( ”t ，也) + + h k ( n - , f 2 ( 2 7 ) 【其中：m = 1 ，n i ，月2 = l ，n 2 ，女= l ，k 五( m ：) = 五( m ，麓m 卺)( 2 _ 8 ) 【其中：m i = l ，m i ，m 2 = 1 ，m 2 ，k = 1 ，k 最后，采样图像叠加噪声： g ( m l ，m 2 ) = f k ( m l ，m 2 ) + m ( 啊，幔) ( 2 - - 9 ) 经过上述操作过程，我们可得到r 帧观测l r 图像序列 g ( m 。，m 2 ) 乞l 。其矩阵表 达形式如下： g k = d c k e k k + n k ( 2 - - 1 0 筇二章问题描述o j 模型的矬一 或简化为： g = h 女五+ ” ，( k = 1 ，2 ，l ) ( 2 - - 1 1 ) 其中，疋表示按行优先排列的s r 图像，大小为m ，l 的列向量形式； h k = d c k b ，大小为m l m ，l n 2 ；e k 表示仿射变换矩阵，大小为l 2 2 ； c 。表示模糊( 或平均) 操作，大小为m l n 2 ；d 表示下采样操作，大小为 m 。m 2 n l n 2 ；g 和仉表示按行优先排列的观测l r 图像和附加g a u s s 噪声，大小 为m ，m ，1 的列向量形式。 s r 求解是一。个主要问题是计算量的问题1 6 j ，通常会涉及到成千上万个数据值 的计算，其计算量十分庞大。比如，给定1 0 帧5 0 x 5 0 的l r 图像序列，将其在水 平和垂直方向上放大4 倍。此时，s r 中的未知数据达到2 0 0 x 2 0 0 = 4 0 0 0 0 。1 0 帧 l r 数据有1 0 ( 5 0 5 0 ) = 2 5 0 0 0 。根据式( 2 - 1 1 ) 可得： 计渺刚 g = h y + n ( 2 1 2 ) 在上面的例子中，k = 1 0 ，m l = m ：= 5 0 ，l = l = = 2 0 0 ，则h 的大小为： 1 0 m 尬m n 2 = 2 5 0 0 0 x 4 0 0 0 0 。此时，即便是存储h 将消耗大量的存储空间。 此外，如果由式( 2 1 2 ) 直接求解，的估计值： f = h 。( g - r 1 ) ( 2 - - 1 3 ) h 是病态的f 6 , 2 0 l ，g 的- q - 较小的扰动可能导致解于一个较大的变化。因此通过式 ( 2 - 1 3 ) 直接求解并无多少实际意义。 根据以上分析，针对s r 重构求解问题，根据上述模型需要采用适当算法和优 化方法以避免存储和计算的耗时，以便加速求解过程和增强解的鲁棒性。 2 2 超分辨率重构的理论基础n 3 2 2 1s r 重构的数学物理基础 对于一个线性空间不变成像系统，其成像过程可用下式加以描述： g ( x ) = ( x ) + f ( x )( 2 一1 4 ) 式中表示g ( 工) 像，厂( x ) 表示物，五( x ) 为系统点扩散函数；“表示卷积运算。对 式( 2 1 4 ) 取傅立叶变换有： 超分辨；社| 芏| 像蓖构的研究 g ( “) 2 f ( “) ( “)( 2 15 ) 【f ( u ) = g ( u ) n ( u ) 这里的g ( u ) ，f ( u ) 和h ( u ) 分别表示g ( x ) ，f ( x ) 和h ( x ) 的傅立叶变换，从式( 2 - 1 4 ) 表面上可以看到，由于截止频率之外h ( u ) = 0 ，因此要想重构出截止频率之外的信 息，无论从理论上还是实际概念上都是不可能的。以上结论等价于把成像系统看 作为一个傅立叶滤波器，对f ( u ) 的解进行了限制。但实际上存在着许多方法对 f ( u ) 进行了估计，而这些方法并不具备傅立叶滤波器的性质，采用这些方法可成 功地实现截止频率之外信息的重构。能实现高分辨率信息重构，主要基于以下几 个方面地理论： ( 1 ) 解析延拓理论 如果一个函数f ( x ) 是空域有界的( 即在某个有限范围之外全为o ) ，则其谱函 数f ( u ) 是一个解析函数。解析函数有一个众所周知的性质是：若其在某一个有限 区间上为已知，就会处处已知。这就意味着，如果两个解析函数在任一给定区间 上完全一致，则它们必须在整体上完全致，即为同一函数。根据给定解析函数 在某区间上的取值对函数的整体进行重构叫做解析延拓。 对于一幅图像，由于其空域有界，因此其谱函数必然解析。从式( 2 1 4 ) 可以 看到，在截止频率以下的f ( u ) 可通过该式计算获得，那么根据解析延拓理论，截 止频率以上的信息可采用截止频率以下的f ( “) 得以重构，从而实现图像的高分辨 率重构。 ( 2 ) 信息叠加理论 对于非相干成像，实际的图像应具备以下约束条件和性质：非负性和有界性。 即物体或图像的最小光强应大于0 ，且物体或图像具有一定的大小，可用下式进行 表示： 似) 0 ，x 工( 2 - - 1 6 ) i f ( x ) = 0 ，x 诺x 这里爿表示物体的大小和范围。式( 2 1 6 ) 还可以用以下形式迸行表示： f ( x ) r e c t ( x 1 ( 2 1 7 ) f ( x ) 的频谱可以分成两部分，f o ( u ) 是截止频率以下部分，e ( “) 是截止频率以上 部分。对式( 2 - 1 7 ) 取傅立叶变换有： f ( “) = c ( “) + 只( “) 】+ s i n c ( x x ) ( 2 1 8 ) 从式( 2 1 8 ) 可以看到，由于s i n f 函数是无限的，则截止频率以上的信息通过卷积 迭加到截止频率以下的频率成分中。换句话说，对于有界受限物体，截止频率以 下的频率成分中包含了物体的所有信息( 包括低频和高频信息) 。很显然，如果我 第一二带问题描述o i 模型的建 们能找到一种方法讲这些信息分离取出来，就可以实现图像的高分辨率重构。 ( 3 ) 非线性操作 考虑到噪声对成像过程的图像，一般成像过程由下式表示： g ( x ) = f ( x ) + f ( x ) + n ( x ) ( 2 1 9 ) 这里”( x ) 表示噪声。由于噪声的影响，由此觯得的物体估计f ( x ) 一般会破坏式 ( 2 - 1 6 ) 中的非负性。同时，由于( “) 的低通作用，解得的物体估计值厂( x ) 会破 坏式( 2 - 1 6 ) 中的有界性。因此在图像重构计算中，必须施加以下的约束条件：物 体解的空问截断和非负的数字截断。由此带来的运算是一个非线性操作运算，而 信号的非线性操作具有附加高频成分性质。因此，通过对约束操作引入的高频分 量的逐步调整，即可实现图像的高分辨率重构。 综上所述，低频分量中含有高频的信息和物体非负有界的约束条件是实现高分 辨率重构的根源。 2 2 2s r 重构的能力 以上讨论说明了重构超过截止频率以上高频成分的理论基础。那么，对于一幅 退化图像而言，有多少超分率的信息能被复原和重构呢? 由于探测器和图像本身 固有的光子发射噪声的音像，在图像中必然会存在着噪声。我们把这种噪声近似 看作为加性噪声，成像表达过程如式( 2 1 9 ) 所示，取其傅立叶变换有： g ( ”) = 胃 ) 【f ( “) + 冗( “) + s i n c ( x r ) + ( “) ( 2 - - 2 0 ) 超分辨率重构能力是指噪声存在时，能被复原和重构的超分辨率信息的数量。当 然，对于不同的重构算法，其超分率重构的能力不同。s e m e n t i l l i 等人对此进行了 分析，提出了以下超分率重构能力的估算表达式： = 去 s i n c 。k s i n c - i l jr 、a k 。t ) ( 2 2 1 ) 这里 表示截止频率以上能够重构的频率范围：丁表示重构分量的允许误差；k 是 常数，a 。是