（电路与系统专业论文）图像超分辨率重建算法研究[电路与系统专业优秀论文].pdf

摘要 摘要 图像超分辨率重建技术实现由一帧或一序列具有微小差别的低分辨率 图像估计一帧( 或一序列) 较高分辨率的图像，同时克服了因提高c c d ( c h a r g e c o u p l e dd e v i c e ) 分辨率所带来的工艺难题，降低成本。目前，该技术广泛应 用于卫星图像、视频监控、医学成像等多个领域。 首先对图像超分辨率重建技术的研究历史进行了回顾，详细介绍了目 前图像超分辨率重建的各种主流算法。同时，全面描述了超分辨率重建算 法的模型构建和基本步骤，包括图像的配准、插值和重建。在借鉴相关领 域技术的基础上，提出了以下算法。 提出基于n e d l ( n e we d g e d i r e c t e di n t e r p o l a t i o n ) 运算的序列图像超分辨 率重建算法。在对序列图像进行运动估计中，采用v a n d e w a l l e 频域配准方 法，为随后的插值重建提供精准的低分辨率图像信息。采用n e d i 算法， 利用像素之间的几何对偶性，对图像进行边缘指导插值，获得较高分辨率 的图像。 提出基于子带n e d i 运算的小波单帧图像超分辨率重建算法。采用对 低分辨率图像的细节子带小波逆变换图像在空域中进行n e d i 运算的方法 实现对高分辨率图像小波细节子带的估计，提高图像分辨率。 提出基于方向子带估计的c o n t o u r l e t 单帧图像超分辨率重建算法。用 c o n t o u r l e t 变换对低分辨率图像进行多分辨率多方向分解。采用细节子带置 零的小波逆变换方法对c o n t o u r l e t 方向子带进行估计。最终实现较高分辨率 图像的重建。 进行仿真实验测试算法性能，并与类似算法对比，为进一步的研究提 供了宝贵经验和完善方向。 关键字图像超分辨率重建；小波变换；c o n t o u r t e t 变换；子带估计；频域 配准：边缘指导插值 燕山大学工学硕士学位论文 a b s t r a c t i m a g es u p e r - r e s o l u t i o n r e c o n s t r u c t i o ni sat e c h n i q u et oe s t i m a t ea h i g h - r e s o l u t i o ni m a g e ( o rs e q u e n c e ) f r o mas i n g l ei m a g eo ra l li m a g es e q u e n c e h a v i n gs l i g h td i f f e r e n c ea n dc o m b a t i n ga d d i t i v en o i s ea n db l u r r i n gd u et ot h e f i n i t ed e t e c t o rs i z ea n do p t i c s a tt h es a m et i m e ，i tr e d u c e st h eh i g hc o s ta n d c o n q u e r st h ed i f f i c u l t yo f e n h a n c i n g t h ec c d ( c h a r g ec o u p l e dd e v i c e ) r e s o l u t i o n a tp r e s e n t ，t h i st e c h n i q u ei sw i d e l yu s e df o rs a t e l l i t ei m a g i n g ，v i d e om o n i t o r i n g ， m e d i c a li m a g i n g ，e t c t h ed e v e l o p m e n th i s t o r yo fi m a g es rc o n s t r u c t i o ni sl o o k e db a c k , a n dt h e p o p u l a ra v a i l a b l ea l g o r i t h m s o fs ra r ei n t r o d u c e d m e a n w h i l e ，at h o r o u g h i n t r o d u c t i o no f t h eo b s e r v a t i o nm o d e la n dt h ec o m p o n e n t so f at y p i c a li m a g es r c o n s t r u c t i o na l g o r i t h m , i n c l u d i n gi m a g er e g i s t r a t i o n ，i n t e r p o l a t i o na n d r e s t o r a t i o n , a l eg i v e n o nt h eb a s i so fr e f e r r i n gt oa l g o r i t h m so fo t h e rr e l a t i n g t e c h n o l o g i e s ，t h r e ea l g o r i t h m sa r ep r e s e n t e d as e q u e n c ei m a g e ss u p e r - r e s o l u t i o nr e c o n s t r u c t i o na l g o r i t h mb a s e do n n e d i ( n e we d g e - d i r e c t e di n t e r p o l a t i o n ) i sp r o p o s e d b e f o r ei n t e r p o l a t i o n , a f r e q u e n c yd o m a i na l g o r i t h mb yv a n d e w a l l ei se m p l o y e dt or e g i s t e ras e q u e n c e o fa l i a s e dl o w - r e s o l u t i o ni m a g e sp r e c i s e l y ah i g h r e s o l u t i o ni m a g ei st h e n o b t a i n e du s i n gn e d ib a s e do nt h eg e o m e t r i cd u a l i t yb e t w e e nt h el o w - r e s o l u t i o n e n v r r i a n c ea n dt h eh i g h - r e s o l u t i o nc o v a r i a n c e as i n g l ei m a g ew a v e l e t - b a s e ds u p e r - r e s o h i t i o nr e c o n s t r u c t i o na l g o r i t h m b a s e do i ln e d ii sp r e s e n t e d u s i n gn e d it oi n t e r p o l a t et h ei m a g e sf r o m a p p l y i n gt h ei n v e r s ew a v e l e tt r a n s f o r mt ot h eh i g hf r e q u e n c ys u b b a n d sa r e e m p l o y e dt o e s t i m a t et h eu n k n o w nd e t a i lc o e f f i c i e n t so fh i g h e rr e s o l u t i o n i m a g e a n o t h e rs i n g l e i m a g ec o n t o u r l e t - b a s c ds u p e r - r e s o l u t i o nr e c o n s t r u c t i o n i i a b s t r a c t a l g o r i t h mb a s e do ns u b b a n d se s t i m a t i n gi sp r o p o s e d e m p l o yc o n t o u r l e t t r a n s f o r mt op r o v i d eaf e x i b l em u l t i r e s o l u t i o n , l o c a la n dd i r e c t i o n a le x p a n s i o n f o rl o w - r e s o l u t i o ni m a g e t h e nt h ei n v e r s ew a v e l e tt r a n s f o r mw i t hz e r o f i l l i n g t h el l i g hf r e q u e n c yc o e f f i c i e n t si sa p p l i e dt oe s t i m a t et h eb n k n o w l ld i r e c t i o n a l s u b b a n d s t h ea l g o r i t h m sa 托t e s t e di ns i m u l a t i o n s a n dc o m p a r e dt oo t h e rs i m i l a rs r m e t h o d s f o rf u r t h e rr e s e a r c h ，a 1 io ft h e mp r o v i d ep r e c i o u s e x p e r i e n c ea n d i m p r o v i n gd i r e c t i o n k e y w o r d si m a g es u p e r - r e s o l u t i o nr e c o n s t r u c t i o n ；w a v e l e tt r a n s f o r m ；c o n t o u r - l e tt r a n s f o r m ；s u b b a n d se s t i m a t i n g ；i m a g er e g i s t e r i n gi nf r e q u e n c y d o m a i n ；e d g e - d i r e c t e di n t e r p o l a t i o n i i i 燕山大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文图像超分辨率重建算法 研究，是本人在导师指导下，在燕山大学攻读硕士学位期间独立进行研究 工作所取得的成果。据本人所知，论文中除已注明部分外不包含他人已发 表或撰写过的研究成果。对本文的研究工作做出重要贡献的个人和集体， 均已在文中以明确方式注明。本声明的法律结果将完全由本人承担。 作者签字肩。轴 日期：扣夕年2 月扣日 燕山大学硕士学位论文使用授权书 图像超分辨率重建算法研究系本人在燕山大学攻读硕士学位期间 在导师指导下完成的硕士学位论文。本论文的研究成果归燕山大学所有， 本人如需发表将署名燕山大学为第一完成单位及相关人员。本人完全了解 燕山大学关于保存、使用学位论文的规定，同意学校保留并向有关部门送 交论文的复印件和电子版本，允许论文被查阅和借阅。本人授权燕山大学， 可以采用影印、缩印或其他复制手段保存论文，可以公布论文的全部或部 分内容。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密瓯 ( 请在以上相应方框内打“”) 作者签名：秘j日期：击妒，) 年z 月如日 导师签名：巧干痧日期：却p 7 年f 月o 日 第1 章绪论 第1 章绪论 1 1图像超分辨率重建研究背景 图像是用各种观测系统以不同形式和手段观测客观世界而获得的，可 以直接或间接作用于人眼进而产生视知觉的实体。科学研究和数据统计表 明，人类从外界获得的信息有约7 5 来自视觉系统。一般从客观景物得到 的图像是二维的，可以用一个二维数组f ( x ，y ) 来表示，通常情况下图像是 连续的。为了能用计算机处理图像，需要把连续的图像在盯空间和f 空 间都离散化，这种离散化了的图像就是数字图像。数字图像中每一个基本 单元叫做图像元素，简称像素。 图像处理就是对图像信息进行加工处理，以满足人的视觉、心理和实 际应用的要求。图像处理可以应用光学方法，也可以应用电子学方法。从 2 0 世纪6 0 年代开始，随着计算机技术的发展，数字图像处理获得了飞速的 发展。数字处理技术为图像处理开辟了全新而广阔的道路，使得根据人们 的需求对图像进行各种各样的加工或从图像中提取各种不同的信息更为方 便快捷。自产生之日至今，图像处理技术已被应用到包括工业、农业、气 象、海洋、地质、环保、通讯、法律、生物、医学、军事等各个领域，在 人类社会的生产生活中发挥着越来越广泛和显著的作用。 空间分辨率是图像质量的重要指标，分辨率高意味像素密度高，细节 精细，这样不仅能提供更多的信息，也有利于进一步分析处理。上世纪7 0 年代以来，c c d 图像传感器已广泛应用于数字图像的获取。人们希望传感 器获取的图像质量能接近3 5n l l n 模拟胶片，图像放大时，不会出现方块效 应，因此对提高图像空间分辨率有十分迫切的需求【i 】。 提高空间分辨率最直接的方法是降低像素尺寸，提高单位面积的像素 数目。目前每个c c d 的尺寸下限己达5 0 肛m 2 ，进一步降低每个c c d 面积， 信噪比将会很低以至无法正常使用。即成像过程中难以避免的噪声限制了 燕山大学工学硕士学位论文 c c d 分辨率的提高。 提高空间分辨率的另一种方法是提高芯片尺寸，但这将导致电容增加 和电荷转移速度下斛1 1 。 在很多商业应用中，高精度的光学设备和传感器的成本也是人们关心 的一个方面，因此，要寻求新的方法来突破成像系统固有分辨率的局限， 一种很有前途的方法就是使用信号处理技术，由一帧或序列低分辨率( u 己， l o wr e s o l u t i o n ) 像来获取一帧或序列高分辨率( 乙h i i 曲r e s o l u t i o n ) l 虱像， 这就是图像超分辨率重建( s ri m a g es u p e r - r e s o l u t i o nr e c o n s t r u c t i o n ) 技术。 近年来，s r 技术己成为信号处理领域的一个研究热点。这种技术可以 利用多帧l r 图像( 或运动序列) 之间的相对运动信息，并将它们融合到单帧 h r 图像中，并去除l r 图像中的模糊和噪声。简言之，s r 技术利用信号 处理的方法，将模糊、含噪、频谱混叠后的多帧l r 降质图像融合估计出 一帧h r 图像。成本低、应用广泛是s r 重建技术的最大优点。 序列图像超分辨率技术中，提高空间分辨率的基本前提是能够获取同 一场景的多帧l r 图像，并且这些l r 图像能提供同一场景的不同信息， 即l r 图像是降采样并且有亚像素( s u b p i x e l ) 精度的位移。若没有相对运动， 超分辨率重建也可以由不同模糊程度的图像获得。即超分辨率重建技术可 以利用图像序列中各帧之间的冗余信息重构出超分辨率图像，消除和降低 混叠效应【2 j 。 图像插值( 或图像放大) 技术可以放大单帧图像的尺寸，该方法也可以 归入超分辨率重建算法，即单帧图像超分辨率算法。 图像复原技术( i m a g er e s t o r a t i o n ) 是指恢复一帧降质( 模糊、含噪) 图像， 但不改变图像的尺寸。实际上，超分辨率重建技术和图像复原技术在理论 上有着密切的联系，超分辨率重建可认为是第二代图像复原技术。 1 2 图像超分辨率重建应用领域 超分辨率重建技术的应用正在快速增长，主要应用于视频监控、视频 标准转换、卫星图像、遥测遥感图像、医疗数字影像等领域。其典型应用 2 第1 章绪论 主要有以下几方面。 第一，安全领域中的应用。在银行、证券等部门的监控系统中，当有 异常情况发生后，可对拍摄的视频图像进行重建处理，以获取较高分辨率 的视频图像帧，为事件的处理提供重要线索； 第二，把普通视频信号转化成高清晰度电视标准或产生合成视频变焦 ( 合成视频变焦就是把视频显示的一个区域按某一倍数进行放大，然后重新 播放) 唧； 第三，在采集军事与气象遥感图像时，由于受到成像条件与成像系统 分辨率的限制，不可能获得清晰度很高的图像，由多帧低分辨率图像来重 建高分辨率图像具有十分重要的意义； 第四，在医学成像系统中( 如，c t 核磁共振成像仪和超声波仪器等) 可以采用超分辨率技术来提高图像质量1 4 1 。 1 3 图像超分辨率重建研究现状 2 0 世纪8 0 年代初，t s a i c 和h u a n g 5 j 首先提出了基于序列图像的超分辨率 重建问题，并给出了基于频域逼近的图像重建算法。随后许多人对图像超 分辨率重建进行了研究，并相继提出了各种重建算法。 随着计算机技术、电子技术以及信号处理理论与技术特别是小波理论、 自适应滤波理论以及一些优化理论的发展，人们在图像超分辨率重建算法 研究上取得了突破性进展，研究成果倍出，其应用涵盖了航空航天遥感、 目标识别、医学计算机层析成像、空中目标光电监视成像等诸多领域。值 得一提的是，国际著名的光学仪器制造公司l e i c a ，i - l e l l a w a 公司、法国国家 航天研究中心已把该领域的理论研究成果转化到交错c c d 传感器阵列的 设计中，并己将之分别应用于他们的遥感设备a d s 4 0 和s p o t s 卫星，取得 了相当理想的效果【4 l 。 从目前的研究和应用成果来看，超分辨率重建算法主要分为频域算法 和空域算法。早期的研究工作主要集中在频域中进行。但随着更一般的退 化模型的考虑，后期的研究工作几乎都集中在空域中进行。 燕山大学工学硕士学位论文 1 9 8 4 年，t s a i 和h u a n g 最早提出多帧超分辨率问题并给出一种频域解决 算法【5 】，实现了无噪声和模糊的情况下，利用连续f o u r i e r 与离散f o u r i e r 变 换之间的移位、混叠性质，由多帧l r 图像重建出一帧h r 图像。他们将h r 图像的f o u r i e r 系数表示成一系列配准的l r 图像的函数。通过计算线性方程 组来求解函数系数。该法原理和p a p o u t i s 在文献 6 】中应用的原理相同。 1 9 8 8 年，k e r e n 等人在文献【7 】中提出迭代反投影算法，通过把估计l r 图像和观测l r 图像的差值进行迭代反投影，从而获得h r 图像的估计值。 1 9 9 1 年，i m a i 和p e l e g 在文献 8 】中也提出类似理论。随后z o m e t 等人在已 有的迭代反投影算法的基础上，利用不同反投影图像的误差中值改善算法 的性能，从而使得该算法在存在异常点的情况下具有更强的鲁棒性【9 】。 1 9 9 0 年，k i m 等人【l o 】在假设所有l r 图像的模糊和噪声特性都相同的 条件下，基于加权最t , - - 乘理论，将频域法应用在模糊含噪图像上。随后， k i m 和s u 考虑每帧l r 图像不同的模糊程度，应用t i k h o n o v 正则性解决 由模糊算子引起的病态问题【i l 】。 1 9 9 3 年，t e o d o s i o 和b e n d e r 提出非迭代空域数据融合算法1 1 2 1 ，e l a d 和h e l o r i ”】将该法应用于单纯平移和空间不变模糊情况下，提出一种快速 超分辨率算法。 1 9 9 7 年，p a t t i 等人提出p o c s ( p r o j e c t i o no n t oc o n v e xs e t ) 算法，即凸集 投影算法【1 4 】，将重建的f i r 图像估计值不断向条件凸集投影，根据已知数 据和对信号的合理假设，每个凸集表示对重建图像的一定的约束条件。 1 9 9 7 年，e l a d 和f e u e r 提出一种超分辨率框架，将最大似然最大后验 概率算法与p o c s 算法相结合，定义了一种新的凸集最优化算法并指出了 该算法与现有其他算法的联系【”】。 1 9 9 8 年，s c h u l t z 等人提出最大后验概率算法重建h r 图像【1 6 1 。2 0 0 3 年， c a p e l 和z i s s e r n l 趾在其基础上进行深入研究和改进【1 7 1 。最大后验概率算法 是将超分辨率问题作为一个随即估计问题来表示，更好的利用了求解超分 辨率问题所必须的先验约束知识。 2 0 0 0 年，b e i g e 等人以广义高斯分布作为小波系数的先验分布，提出 了一种小波域边缘保持规整化算澍1 8 】。 4 第1 章绪论 2 0 0 1 年，h e r t z m a n n 等人提出基于学习的超分辨率算法【l9 1 ，应用基于 训练的算法处理超分辨率问题，在不同图像间使用类推算法进行计算。 2 0 0 2 年，i , e r t r a t t a n a p a n i c h 和b o s e 提出一种快速超分辨率算法【2 0 】，首 先将l r 图像与非均匀h r 栅格参考帧配准，利用d e l a u n a y 三角剖分算法 进行插值，得到含噪模糊的h r 图像，再进行去模糊运算。 2 0 0 3 年，v a n d e w a l l e 、s t l s s m m k 和v e t t e r l i 等提出一种新的频域算法， 只使用图像的低频信息进行运动估计【2 。与通常的频域算法不同的是，这 种运动估计算法的性能不会因噪声和很强的混叠而下降，对旋转和移位参 数的估计性能更好。 2 0 0 3 年，z h a o 等人1 2 2 将k i n e b u c h i 提出的隐马尔可夫树模型( h m t , n d d e n m a r k o v g e e ) + 波图像插值技术田】推广到图像超分辨率领域。 2 0 0 3 年，w i l l i a m 和f r e e m a n 则使用一种学习的算法来实现单帧图像 的超分辨率重建【冽。基于学习的超分辨率算法认为，一个图像像素的集合 是一种特殊类型的信号集，和一个完全随机的变量序列相比，它的变化较 少，可以通过神经网络建立高低分辨率图像之间的对应关系【2 5 1 。 2 0 0 4 年，f a r s i u 等人提出一种新的超分辨率算法【2 6 】，使用l 范数代替 通常超分辨率算法中的三2 范数求取最小值，获得的h r 图像的边缘更加清 晰。通过与z o m e t 等人在文献 9 】中提出的算法相结合，f a r s i u 等人的算法 性能得到进一步提高。 2 0 0 5 年，t e m i z e l 和v l a c h o s 提出方向c y c l es p i n n i n g 小波超分辨率算 法i z ”。实验证明，算法对图像边缘方向的适应性更强，避免产生锯齿边缘。 2 0 0 6 年，t e m i z e l 和v l a c h o s 提出一种新的小波超分辨率算法【2 引。根 据小波系数的传递特性，采用局部相关系数和最小二乘回归算法实现细节 子带估计。根据小波定义，将观测到的低分辨率图像进行非抽样行列滤波， 通过寻找相关值最大的系数邻域计算细节子带系数。 1 4 图像超分辨率重建算法评价方法 目前，对图像超分辨率重建算法还没有统一的评价标准。在超分辨率 燕山大学工学硕士学位论文 图像重建研究中，一般采用真实的或由标准测试图像人工合成的低分辨图 像来检验新算法及改进算法。 当存在高分辨率原图时，可通过计算重建图像与真实图像的均方误差、 相对误差、信噪比或峰值信噪比进行量化评价。当不存在高分辨率原图时， 文献【2 9 】提出基于任务的间接评价方法，对人脸和光学字符图像的重建图 像进行识别，用识别率来评价。此外计算重建图像的频谱也可量化高分辨 率图像中高频细节的重建情况。 1 5 图像超分辨率重建研究方向 由于超分辨率重建技术能够克服成像系统固有的分辨率限制，提高数 字图像质量，已经成为信号处理领域一个研究热点，涌现出一批批有价值 的研究成果。总的说来，图像超分辨率重建技术受以下几个因素影响。 1 5 1 精确的运动估计 精确的运动估计，即亚像素位移信息的可靠性。超分辨率重建包括全 局或多个独立物体的运动估计，精确的运动估计是超分辨率重建技术的关 键。虽然目前已经出现了许多种运动估计方法，但在实际应用中仍然无法 获得令人满意的运动估计效果，同时这些运动估计方法的适用场合非常有 限，从而有必要对现有的运动估计算法进行研究，在回顾与分析现有算法 的基础上对其进行扩展。在进行运动估计的过程中，运动模型及其估计方 法应根据场景、相机运动的先验知识来进行选择，并且运动估计还应当考 虑到多种互不相关的运动方式 2 1 。 值得注意的是，由于运动估计是根据退化图像进行的，而且运动估计 的效果与超分辨率重建的结果息息相关，因而在运动估计过程中还应该重 点强调算法的稳健性和结果的可靠性。 1 5 2 准确的观测模型 观测模型必须能精确地对成像系统的降质过程进行描述，这有利于对 6 第1 章绪论 h r 图像解空间进行约束，提高图像超分辨率重建的效果。建立精确反映 成像系统降质过程的观测模型，能够进一步提高超分辨率重建技术的性能。 图像超分辨率重建通常采用的简单、确定的降质模型进行近似时，近似模 型与实际成像过程差距很大。 在成像系统中，观察模型精确地对图像退化进行描述有利于对图像解 空间进行约束。对c c d 影像传感器的几何属性、空间时域积分属性、噪 声和读出噪声属性等方面给予关注，发展和寻求新的退化成像模型，更好 地对传感器观察过程进行建模，使其更加精确和全面，实现对点扩散函数 和噪声的精确估计，提高图像超分辨率重建的效果 3 0 1 。 1 5 3高效的重建算法 尽管目前已经提出了很多超分辨率重建算法，但这些算法仍然存在着 较大的缺陷和不足。基于概率论的超分辨率重建算法和基于集合论的 p o c s 超分辨率重建算法是两种很有前景的研究算法，而混合最大后验概 率p o c s 算法能将数学的严格性、解的唯一性与先验约束描述的方便性两 者有机地结合在一起，也是一种大有可为的算法。同时重建多帧超分辨率 图像的研究将进一步提高对解空间进行约束的机会，提高算法的稳健性和 精确性【2 j 。基于小波变换的插值与超分辨率重建也是很有希望的算法。 1 。6 本文的主要工作和论文结构 从图像超分辨率重建算法的国内外研究现状可以看出，提出高效的重 建算法仍是当今一个富有挑战性的工作，存在着大量需要解决的问题，因 此，本文在吸收前人的大量研究成果的基础上，主要完成序列图像超分辨 率重建算法和单帧图像超分辨率重建算法的研究工作。 本文共分为5 章，内容如下。 第1 章为绪论，从图像超分辨率重建算法的研究背景和现状分析出发， 指出了存在的问题以及急待解决和完善的问题，对本文的研究内容进行了 概述，最后给出论文的结构。 燕山大学工学硕士学位论文 第2 章对图像超分辨率重建算法的基础技术进行深入剖析，分析了超 分辨率重建的观测模型构建、实现步骤和主要算法，通过介绍观测模型给 出重建问题的病态性的原因，对超分辨率各个步骤进行简单分析，并对频 域算法和空域算法进行了深入的介绍和全面的比较。 第3 章为基于n e d i 运算的序列图像超分辨率重建算法的研究。将 n e d i 与v a n d e w a l l e 频域配准相结合，提出了一种高效的图像超分辨率重 建算法，应用于序列图像中，并进行了算法的仿真实验，在主客观两方面 针对重建效果与其他算法做出比较。 第4 章为基于子带n e d i 运算的小波单帧图像超分辨率重建算法的研 究。在学习和借鉴前人在小波超分辨率重建领域的理论和算法的基础上， 采用细节子带小波逆变换图像空域n e d i 运算的方法对小波细节子带进行 估计，实现重建目的。最后进行了仿真实验和性能比较。 第5 章为基于方向子带估计的c o n t o u r l e t 单帧图像超分辨率重建算法 的研究。将c o n t o u r l c t 变换引用到图像超高分辨率重建领域。通过对低分 辨率图像进行c o n l o u r l e t 变换，获得多分辨率多方向信息。采用细节子带 置零的小波逆变换方式对c o n t o u r l e t 方向子带进行估计，再应用c o n t o u r l e t 逆变换重建较高分辨率的图像，仿真实验用于测试算法的重建效果。 最后，在结论中对本文的工作进行总结，并对进一步的研究进行分析 和展望。 3 第2 章图像超分辨率重建算法基础 第2 章图像超分辨率重建算法基础 图像超分辨率重建技术实现去除图像的退化因素、重建图像的目的。 这需要解决图像序列的运动估计、退化图像去模糊和去噪声以及对重建后 的图像信息进行融合等问题。 本章对图像超分辨率重建算法基础进行深入剖析，介绍了观测模型的 构建，解释了超分辨率具有病态性的原因，并详细分析了超分辨率重建步 骤和典型算法，从而为以后的算法研究打下理论基础。 2 1 观测模型的建立 全面分析图像超分辨率重建技术的第一步是建立一个联系原始h r 图 像和实际l r 图像的观测模型，建立精确的系统模型对超分辨率重建技术 至关重要。 设动态场景图像为x ( x ，y ) ，由于景物与成像系统之间的相对运动，图 像通过镜头成像时发生形变( w a r p ) 。由于大气湍流日。g ，y ) 和镜头的连续 点扩散函数( c o n t i n u o u s p o i n ts p r e a d f u n c t i o n ) 日。( x ，y ) 的作用，图像发生模 糊。再由c c d 的离散作用，最终得到数字含嗓图像j 协，n j 2 6 。这个过程 用数学方程可以表示成 】，k ，行】- 虬g ，) 牛f ( k g ，y ) 牛x g ，y ) ) 山+ k ，丹】( 2 - 1 ) 式中，+ 表示二维卷积运算，日。k y ) 和日一b ，y ) 分别表示大气模糊和镜 头模糊( b l u r r i n g ) 算子，表示形变( w a r p ) 算子，j ，表示抽取( d e c i m a t i o n ) 算 子，阢月l 表示系统噪声，】，l 朋，珂i 表示最终的数字含噪l r 图像。 通常情况下，上述方程可简化成矩阵形式 k = 见巩e x + l ，k = 1 , 2 ，k ( 2 - 2 ) 式中，矩阵风( ，州，2 删) 为h r 图像向量拟，2 胁r 1 ) 为和l r 图像向量 r k ( _ , t n r x1 ) 问的形变算子，r 为分辨率增强系数，矩阵两旷 讲) ( ， 为 9 燕山大学工学硕士学位论文 模糊算子，矩阵o k ( m n x r 2 m a o 为取算子，向量n k ( m n x l ) 为系统噪声， 五为可获得的l r 图像帧数。 在图像获取过程中，形变算子忍包括全局或局部平移、旋转等，通常 是未知的，因此需要进行运动估计。模糊算子凰通常是由光学系统本身、 成像系统与原始场景的相对运动，以及l r 传感器的点扩散函数( p s f , p o i n t s p r e a df u n c t i o n ) 造成的，模糊的特征通常假定为己知，常采用线性空间不 变( l s i ，l i n e a rs p a c ei n v a r i a n t ) 或线性空间可变( l s vl i n e a rs p a c ev a r i a n t ) 模 型。抽取算子z k 作用于变形、模糊的h r 图像产生频谱混叠的l r 图像。 从原始h r 图像到最终观测l r 图像的观测模型框图如图2 1 所示。 图2 - l从原始h r 图像到观；坝f j l r 图像的观测模型 f i g 2 - la no b s e r v a t i o nm o d e lr e l a t i n gh ri m a g et 0l ri m a g e ( s ) 2 2 超分辨率重建问题的病态性 l r 图像序列是由成像系统获取的，显然，由成像系统获取图像的过 程为直接问题，那么，相应的反问题就是由观测到的l r 图像序列以及成 像系统特征对场景进行估计，从而得到h r 图像。设成像系统特征己知， 直接问题是图像的获取过程，反问题就是图像重建过程，即超分辨率重建 问题是一个反变换问题【4 】。通常情况下，解决反问题要建立一个前向模型 ( f o r w a r dm o d e l ) ，至今为止，求解超分辨率重建问题的通用前向模型是类 似式( 2 - 2 ) 的线性观测模型。 设m = d h f ，则式( 2 2 ) 可以简化为 】，= m x + n ( 2 - 3 ) 式中，l r 表示观测数据向量( 单帧或多帧l r 图像) ，肘表示成像系统矩阵， 1 0 第2 章图像超分辨率重建算法基础 x 表示未知的h r 图像向量，表示成像系统中固有的随机噪声向量。 解决反问题的一个内在困难是如何对前向模型求反而又不放大噪声对 测量数据的影响。在线性模型中，这一困难源于模型矩阵膨的条件数很大 甚至有可能是无穷大。所以，解决反问题就是要求系统矩阵肘的反效应。 通常，肘矩阵是病态的。 问题的病态说明该问题的解不满足h a d a m a r d 条件【3 1 1 。h a d a m a r d 条件 是指若问题为良态，其解满足3 个条件，即对任何数据存在解、解唯一和 解具有连续性。由于成像系统或者观测图像的特征，超分辨率重建问题的 解往往不能满足一个或多个h a d a m a r d 条件，原因可能有以下几个。 第一，由于图像获取过程中噪声太大，观测图像与原始图像严重不一 致，无法估计出原始图像即无解； 第二，对一个观测图像序列，存在多个解： 第三，在图像获取过程中噪声给观测图像增加了不确定性( 如图像高频 部分任意小的噪声扰动都可能导致重建过程中突发性的、大的信号改变) ， 不能满足解的连续性要求。 由于以上原因，实际应用中的超分辨率重建问题都是病态反问题。 2 3 超分辨率重建算法的典型步骤 大多数超分辨率重建算法的典型步骤包括配准、插值和重建。根据采 用的算法不同，以上各个步骤可单独进行也可同时进行，如图2 2 所示。 图2 2 图像超分辨率重建过程 f i g 2 - 2s c h e m ef o ri m a g es u p e r - r e s o l u t i o nc o n s l r u c t i o n 2 3 1图像配准 图像配准是序列超分辨率重建的基础。待融合的l r 图像之间往往存 l l 燕山大学工学硕士学位论文 在偏移、旋转、比例等空间变换关系，图像配准就是将不同传感器所采集 得到的同一场景的多光谱、多波段图像或同一传感器在不同时间、不同方 位得到的同一场景的图像变换到同一坐标系下，以供重建使用。 目前图像配准的研究比较广泛，提出了很多有效的配准方法。例如， 基于灰度统计信息的配准方法【3 2 j 3 】、频域配准方法p 4 1 、基于特征的配准方 法【3 5 l 等。 图像配准可以定义为两帧图像在空间和灰度上的映射。如果用给定尺 寸的二维矩阵和l 代表两帧图像，( x ，y ) 和厶y ) 分别表示相应位置 ( x ，y ) 上的灰度值，则图像间的映射可表示为 ，2 ( x ，y ) = g ( 五( 厂( x ，y ) ) ) ( 2 - 4 ) 式中，g 是一维灰度或辐射变换，厂表示一个二维空间坐标变换，即 ( 一，y ) = f ( x ，y )( 2 - 5 ) 配准问题的任务包括找到最优的空间和灰度变换，使图像相对于基准 图像得到匹配。通常灰度变换譬是不需要的，但在不同传感器之间的图像 配准( 如光学到雷达图像) 等应用中可能要用到。 一般情况下，寻找空间或几何变换是解决配准问题的关键，这一交换 可参数化为两个单值函数五和矗，则 j 2 ( x ，力= 1 1 ( 六( 而_ y ) ，l ( x ，助 ( 2 6 ) 图像配准可分为频域法和空域法。由于f o u r i e r 变换的特点，频域法只 局限于求解全局运动模型，并且更多的是考虑平面移动或可能的旋转和伸 缩。但相对空域而言，频域中更容易描述和解决混叠问题 2 1 】。 图像配准一般可分为以下几个步骤。 第一步，特征检测，即根据图像性质，人工或自动从基准图像和待配 准图像中提取适于配准的图像特征( 如闭合边界区域、边缘、线交点等) ， 并用控制点( 如区域中心、角点、端点等) 表示； 第二步，特征匹配，即对每帧图像中的控制点进行匹配； 第三步，变换模型估计，即选择几何变换模型，并利用匹配控制点对 来估计映射函数的类型和参数； 第四步，图像插值和变换，即以基准图像为基础进行灰度插值和坐标 第2 章图像超分辨率重建算法基础 变换，获得配准图像，增加图像信剧。 2 3 2 图像插值和重建 序列图像进行配准以后，就要进行图像插值和重建；单帧图像则直接 进行插值和重建。 图像插值是一个图像数据的再生过程，利用己知采样点的灰度值估计 未知采样点的灰度值，在给定的空间范围内，从有限的离散采样数据重建 出原来连续的图像信号。通过插值可以实现图像的放大显示，提高图像分 辨率口j 7 】。一般来说，图像插值须满足以下假设。 第一，插值的像素灰度值在二维欧氏空间中是连续曲面； 第二，所采用的图像插值模型应满足插值条件，也即在原图的采样点 上，插值结果应与原图中的像素值保持一致。 目前，在图像插值领域里，对于单通道的静止图像信号，主要有基于 随机场、时域、频域、时频域1 3 8 1 和时频空埘3 9 1 等几类较为成熟的基于模型 的插值算法；而对于多通道的图像信号，己有文献h o 提出了通过信息融 合算法，增强高频信息，锐化边缘特征来提高插值图像的视觉效果和质量。 插值通常是利用曲线拟合的方法，通过离散的输入采样点建立一个连 续函数，用这个重建的函数便可以求出任意位置处的函数值。这样便可以 不受仅在采样点处抽取输入信号值的限制。对有限带宽的信号采样会产生 无限带宽信号，插值过程正好相反，它通过对离散信号作低通滤波处理， 减少了信号的带宽。插值函数对采样数值的平滑作用，恢复了在采样过程 中丢失的信息。因而插值可以看作是采样的逆过程。 对于等间隔采样数据，插值可以表示为 一- 1 厂( 力= 艺c t h ( x 一以) ( 2 - 7 ) k = o 式中，h 为插值核，c 。为权系数，卷积对k 个数据作处理。式( 2 7 ) 将插值 用卷积操作来表示，在实际应用中，h 总是对称的，即有矗( x ) = 矗( 一x ) ，c 。 即为采样值。 插值核的性质可以通过其在频率域的特性来评估。理想的插值核在带 燕山大学工学硕士学位论文 通区具有单位增益，在带阻区具有零增益。因而可以有效地通过和抑制不 同频率的信号成分。 图像重建，这里主要是指对前面步骤获得的h r 图像进行去噪、去模 糊操作，进一步合理优化重建的h r 图像。很多情况下，重建步骤可以和 前面的步骤一同进行。 2 4 超分辨率重建技术的典型算法 超分辨率重建算法主要分为频域算法和空域算法。早期的研究工作主 要集中在频域进行，但随着考虑更广义的退化模型，后期的研究工作主要 集中在空域进行。 2 4 1 频域算法 1 9 8 4 年，h u a n g 和t s a i 最早提出多帧超分辨率问题并在频域中进行求 解。他们在文献 5 】中证明了在不存在噪声和模糊的情况下，基于l r 图像 中的混叠，可以由多帧l r 图像重构出一帧h r 图像。在原始场景信号带 宽有限的假设条件下，利用离散f o u r i e r 变换与连续f o u r i e r 之间的平移和 混叠性质，给出一个由一系列降采样观测图像数据重建高分辨率图像的公 式，使得多帧观测图像经混叠的离散f o u r i e r 变换变换系数与未知场景的连 续f o u r i e r 变换系数以方程组的形式联系起来，方程组的解就是原始场景的 频率域系数，再利用求解的频率域系数进行f o u r i e r 逆变换就可实现原始场 景的精确重建。这种算法要求图像问位移参数的估计精度达到亚像素 ( s u b p i x d ) 级，而且每一帧观察图像都必须只对方程组中的一个不相关的方 程做出贡献。 设f ( x ，y ) 为一帧连续h r 图像，其连续f o u r i e r 变换( c f t , c o n t i n u o u s f o u r i e rt r a n s f o r m ) 为f ( u ，v ) 。由全局位移产生r 帧位移图像 z ( z ，y ) = ( 工+ t 豫，) ，+ 砂，) ( 2 - 8 ) 式中，= 1 , 2 ，r ，其c f t 为e ( “，v ) 。 根据c f t 的位移性质， 1 4 第2 章图像超分辨率重建算法基础 c ( “，v ) = e x p l 2 z r 陋，+ “，8 y ，+ v ：) 妒0 ，v )( 2 9 ) 通过对位移图像进行脉冲采样，获得观测图像 g ，k ，”j = f ( m t x + 缸，肝t + 6 y ，)( 2 - 1 0 ) 式中m = o ，1 ，m 一1 ，栉= 0 ，l ，一l ，其二维离散f o u r i e r 变换( d f t , d i s c r e t e f o u r i e rt r a