（通信与信息系统专业论文）多帧图像超分辨率重建算法研究.pdf

liii i i 1 1 1 m i i ii 1 1111 1 1 1 1 1 11 1 1 1 1 1 1111l 2 12 5 5 9 6 u n i v e r s i t yo fs c i e n c ea n dt e c h n o l o g yo fc h i n a adi s s e r t a t i o nf o rm a s t e r sd e gr e e r e s e a r c ho nm ul t i f r a m ei m a g e su p e r _ r e s o l u t i o n r e c o n s t r u c t i o n a l g o r i t h m a u t h o r sn a m e ： f a n gs u o s p e c i a l t y ： c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m s u p e r v i s o r ：p r o f f a n g y uh u f i n i s h e dt i m e ： m a y ，2 012 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除己特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 稳j 持 作者签名： 鱼：盈 签字日期： 2 们2 6 6 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入中国学 位论文全文数据库等有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 玉开口保密( 年) 作者签名：室盘 签字日期：? 0 0 6 6 翩躲牲 签字日期：兰鲤2 ：1 l 一 摘要 摘要 超分辨率重建( s u p e r - r e s o l u t i o nr e c o n s t r u c t i o n ，s r r ) 技术在不改变现有 成像设备的基础上采用信号处理方法从多幅混叠、模糊、含噪的低分辨率图像中 重建出一幅或多幅含更多细节信息的高分辨率图像。s r r 技术从软件的角度提 高图像分辨率，弥补了成像设备硬件的不足，在多个领域有着较好的应用前景。 本文简要介绍超分辨率重建的相关原理，并对已有的重建算法进行回顾，主 要对自适应正则化算法和超分辨率盲重建算法进行研究。针对正则化框架下的代 价函数，对数据保真项和正则项分别进行性能分析。通过稳健估计理论对数据项 的鲁棒性进行分析，采用稳健估计中的h u b e r 函数代替传统的l 2 l 1 范数以提高 算法的鲁棒性。正则化参数起着平衡数据保真项和正则项的作用，对重建结果中 的噪声去除和边缘保持起着至关重要的作用，然而现有算法大多采用人工选取方 法，即从一系列参数值中选取对应最优结果的值，这种方法费时且具有很大主观 性。本文简要介绍已有的正则化参数选取方法，并提出一种迭代自适应参数选取 方法，在每次迭代过程中同时更新高分辨率图像和正则化参数。自适应参数能更 好的权衡数据项和正则项，而且加快算法的收敛速度。仿真实验验证了算法的鲁 棒性以及正则化参数的合理性。 已有的超分辨率重建算法大都忽略成像过程中的模糊信息或者认为其是先 验信息，然而在实际应用场景中完全去除模糊的影响或者已知模糊信息是不现实 的。图像的超分辨率盲重建( b l i n ds u p r e r e s o l u t i o n ，b s r ) 是在未知或只知道 部分模糊信息的情况下重建高分辨率图像。考虑到现实场景中的模糊函数在一定 程度上符合某一种类型的参数模型，而已有的b s r 算法未充分利用模糊函数的 参数模型信息，本文采用参数化形式表示模糊函数。针对参数类型已知的情况， 提出采用误差参数分析曲线结合已提出的自适应正则化算法，进行模糊函数辨识 和高分辨率图像的重建。仿真实验对不同类型模糊函数的参数判断方法进行分 析，验证了误差参数曲线能够为模糊函数的参数辨识提供有效的信息，结合提出 的自适应算法能得到较好的重建结果。 关键词：超分辨率重建鲁棒性自适应正则化超分辨率盲重建模糊参数辨识 摘要 i i 一一一 垒! ! 堕竺! 。 h - h _ _ _ _ _ _ _ _ _ h _ _ - _ - _ _ _ - _ _ - _ _ _ _ _ _ _ _ _ - _ _ _ - _ _ - _ - _ _ - _ _ _ - _ - 一。 a b s t r a c t as i g n a lp r o c e s s i n gt e c h n i q u ec a l l e ds u p e r - r e s o l u t i o nr e c o n s t r u c t i o n ( s r u 王) i s u s e dt or e c o n s t r u c tah i g l l r e s o l u t i o n ( h r ) i m a g e ( o rs e q u e n c e ) w i t hm o r ed e t a i l s f r o ms e v e r a la l i a s e d ，b l u r r e da n dn o i s yl o w - r e s o l u t i o n ( l r ) i m a g e sw i t h o u tc h a n g i n g t h ee x i s t i n gi m a g i n ge q u i p m e n t s s r ri m p r o v e si m a g er e s o l u t i o nt h r o u g hs o f t w a r e a p p r o a c h ，t h e r e b yo v e r c o m i n gt h el i m i t a t i o no fh a r d w a r e i th a s 。b e e nw i d e l yu s e di n m a n yp r a c t i c a lc a s e s i nt h i st h e s i s ，t h ep r i n c i p l eo fs r ri sb r i e f l yi n t r o d u c e da n dt h er e c o n s t r u c t i o n m e t h o d se v e r p r o p o s e d a r er e v i e w e d s y s t e m a t a c i a l l y a d a p t i v er e g u l a r i z a t i o n a l g o r i t h ma n db l i n ds u p e r - r e s o l u t i o nr e c o n s t r u c t i o na l g o r i t h ma r em a i n l yr e s e a r c h e d , ac o s tf u n c t i o nb a s e do nr e g u l a r i z a t i o ni se s t a b l i s h e d ，a n dad e t a i l e dp e r f o r m a n c e a n a l y s i so fd a t af i d e l i t yt e r ma n dr e g u l a r i z a t i o ni sp r e s e n t e d r o b u s ts t a t i s t i c st h e o r y i se m p l o y e dt oa n a l y s et h er o b u s t n e s so fd a t at e r m ，a n dt h eh u b e rn o r mi sa d o p t e df o r d a t a f i d e l i t yt e r mi n s t e a d o f l 1o rl 2n o r mt o r e j e c t o u t l i e r si n f l u e n c e r e g u l a r i z a t i o np a r a m e t e rw h i c hc o n t r o l st h et r a d e o f fb e t w e e nd a t af i d e l i t yt e r ma n d r e g u l a r i z a t i o nt e r mp l a y sac r i t i c a lr o l ei nt h ep e r f o r m a n c eo fn o i s e r e m o v i n ga n d e d g e - p r e s e r v i n g i nm o s to ft h ee x i s t i n gm e t h o d st h ep a r a m e t e ri sc h o s e nm a n u a l l y , p i c k i n gt h eo p t i m a lo n ec o r r e s p o n d i n gt ot h eb e s tr e s u l tf r o mas e q u e n c eo f p a r a m e t e r s ，w h i c hi st i m e - c o n s u m i n ga n ds u b je c t i v e a na d a p t i v em e t h o du p d a t i n g t h er e g u l a r i z a t i o np a r a m e t e rs i m u l t a n e o u s l yw i t ht h er e s t o r e di m a g ei sp r o p o s e d t h e p r e v i o u sr e s t o r e dh ri m a g ei su s e dt oc o m p u t et h ep a r a m e t e ri nt h ec u r r e n ti t e r a t i o n ， a n dc o n s e q u e n t l yt h ea d a p t i v ep a r a m e t e rw o u l df a i r l yb a l a n c et h ew e i g h tb e t t e rt h a n t h ec o n s t a n tp a r a m e t e ra n da c c e r l a t et h ec o n v e r g e n c ep r o g r e s s s i m u l a t i o nr e s u l t so f b o t hs y n t h e t i cd a t aa n dr e a ld a t ac o n f i r mt h er o b u s t n e s so ft h ep r o p o s e da l g o r i t h ma n d t h ee f f e c t i v e n e s so ft h ea d a p t i v ep a r a m e t e r c o n v e n t i o n a ls r r a l g o r i t h m sa s s u m et h eb l u r r i n go c c u r r e dd u r i n gt h ei m a g e f o r m a t i o np r o c e s st ob ee i t h e rn e g l i g i b l eo rc a nb et r e a t e da sp r i o ri n f o r m a t i o n t h i s a s s u m p t i o n ，h o w e v e r , i si m p r a c t i c a la si ti so f t e nd i f f i c u l tt oc o m p l e t e l ye l i m i n a t et h e b l u r r i n g i ns o m ea p p l i c a t i o n so rk n o wt h e b l u r r i n gf u n c t i o ne x p l i c i t l y b l i n d s u p e r - r e s o l u t i o ni sap r o c e s st op e r f o r mh ri m a g er e c o n s t r u c t i o nw i t hl i m i t e do rn o k n o w l e d g eo ft h eb l u r r i n gf u n c t i o n c o n s i d e r i n gt h ef a c tt h a tm o s tr e a ls c e n ei m a g e b l u rs a t i s f i e s ，i ns o m ed e g r e e ，ac e r t a i np a r a m e t r i cs t r u c t u r ei nm o s tp r a c t i c a l i i i a b s t r a c t a p p l i c a t i o n s h o w e v e r , m o s to ft h ee x i s t i n gbs rm e t h o d sf a i l e dt ou t i l i z et h e p o t e n t i a lp a r a m e t r i cb l u ri n f o r m a t i o n 。b a s e do nt h ep a r a m e t r i cb l u rm o d e l ，an e w b s ra l g o r i t h mi s p r o p o s e d ，w h i c hc o m b i n e se r r o r - p a r a m e t e ra n a l y s i sa n dt h e p r o p o s e da d a p t i v er e g u l a r i z a t i o nm e t h o d t h ed e c i s i o no fb l u rp a r a m e t e rb a s e do n e r r o r - p a r a m e t e rc u r v ei sa n a l y s e df o rd i f f e r e n tb l u rm o d e l sa n de x p e r i m e n tr e s u l t s d e m o n s t r a t e dt h a tt h en e wa l g o r i t h mc a np r o v i d eu s e f u lb l u ri n f o r m a t i o nf o r r e c o n s t r u c t i o na n db e t t e rr e c o n s t r u c t i o nr e s u l t s k e yw o r d s ：s u p e r - r e s o l u t i o nr e c o n s t r u c t i o n ，r o b u s t n e s s ，a d a p t i v er e g u l a r i z a t i o n ， b l i n d s u p e r - r e s o l u t i o n ，b l u ri d e n t i f i c a t i o n i v 一一 旦茎 - - 一。 一 目录 第1 章绪论1 1 1 超分辨率重建的研究背景和意义1 1 2 超分辨率重建的发展动态和研究现状2 1 3 论文的研究内容和结构安排3 1 3 1 论文研究内容3 1 3 , 2 论文结构安排4 第2 章超分辨率重建问题概述5 2 1 超分辨率重建的概念5 2 2 超分辨率重建的观测模型一- 6 2 3 超分辨率重建的不适定性7 2 4 超分辨率重建算法概述8 2 4 1 基于重建的算法8 2 4 2 基于学习的算法1 4 2 5 图像重建质量评价1 5 2 6 本章小结1 6 第3 章自适应正则化超分辨率重建算法1 7 3 1 正则化算法框架1 7 3 2 数据保真项和正则项分析18 3 2 1 数据保真项分析18 3 2 2 正则项分析1 9 3 2 3 仿真实验分析2 0 3 3 基于稳健估计的数据保真项2 2 3 3 1 稳健统计的概念2 2 3 3 2 离群值、崩溃点和影响函数2 3 3 3 3m 估计2 4 3 3 4 基于稳健估计的数据项2 7 v 目录 3 4 正则化参数的选取一2 8 3 4 1 参数选取方法概述2 8 3 4 2 迭代自适应参数选取3l 3 5 仿真实验分析3 4 3 6 本章小结40 ； 第4 章基于模糊参数辨识的超分辨率盲重建算法4 l ， 4 1 超分辨率盲重建算法概述4 1 4 2 常用模糊函数参数模型4 4 4 3 结合误差参数分析的模糊参数辨识i 4 5 4 3 1 算法分析。4 5 4 3 2 仿真实验分析4 6 4 4 本章小结5 2 第5 章总结与展望5 3 5 1 工作总结5 3 5 2 未来展望5 3 参考文献5 5 致谢5 9 在读期间发表的学术论文与取得的研究成果。6 1 v i 一 塑! 童堑笙 _ h _ _ _ _ _ 一一 第1 章绪论 1 1 超分辨率重建的研究背景和意义 图像分辨率1 1 被定义为图像视觉显示上可分辨的最小细节，般是指空间分 辨率，即图像的像素间距，以单位英寸内的像素数( p i x e l sp e ri n c h ，p p i ) 来衡 量。作为图像细节分辨能力的一种度量，图像分辨率是衡量图像质量的一个重要 指标。随着电子成像设备的普及，人们总是希望得到更高分辨率的图像。高分辨 率意味着更高的像素密度，因此高分辨率图像不仅能给人们带来更好的视觉感 受，而且能为应用分析提供更多的细节信息，例如高分辨率的医学图像能帮助医 生做出更精确的医疗诊断，高分辨率的视频监控图像能为公安人员提供更多的破 案线索【2 1 。 现有的数字成像系统大多采用电荷耦合器件( c h a r g e c o u p l e dd e v i c e ，c c d ) 和c m o s ( c o m p l e m e n t a r ym e t a lo x i d es e m i c o n d u c t o r ) 传感器来捕捉图像。尽管这 些传感器能满足一般的应用需求，然而现有的分辨率水平却很难满足未来应用的 需求。提高分辨率的方法包括硬件和软件两个方面，其中最直接的方法是硬件上 的提高，可以通过改善传感器制造工艺以减少像素尺寸，然而由此产生的散射噪 声( s h o tn o i s e ) 会严重降低图像质量；还可以通过增加芯片尺寸来提高分辨率， 这种方法往往不被采用是因为该方法会带来电容量的增加，而大的电容量不利于 电荷转换率的提高。硬件的提高不仅价格昂贵，而且存在技术瓶颈。此外，图像 获取过程中的一些因素会引起图像质量的下降，例如图像欠采样引起的频谱混叠 会使图像尤其是边缘附近产生扭曲变形，成像设备与原始景象之问的相对运动、 散焦等引起的光学模糊会造成图像高频细节信息的丢失，自然环境中光照、烟雾 等因素会影响成像质量；这些因素对图像造成的影响无法通过硬件的提高来改 善。因此，在不改变原有成像设备的基础上采用信号处理技术提高分辨率成为研 究的趋势。 超分辨率重建( s u p e r - r e s o l u t i o nr e c o n s t r u c t i o n ，s r r ) f 3 】是通过信号处理方 法从多幅非冗余的低分辨率( l o w r e s o l u t i o n ，l r ) 图像中重建出一幅或多幅高 分辨率( h i g h r e s o l u t i o n ，h r ) 图像，其目标是弥补光学模糊等因素造成的高频 信息丢失以及消除降质因素引起的图像退化。s r r 技术克服了成像系统固有的 分辨率水平限制，因成本低而且不改变现有的成像设备而被广泛应用。其应用领 域主要包括以下几个方面 4 】，1 ) 卫星遥感，在研究区域地理结构、水资源分布等 问题时一般能得到同一区域的多幅图像，利用s r r 技术重建出的h r 图像能为 第1 章绪论 后续的分析处理提供更多信息；2 ) 军事系统，h r 图像能帮助人们通过目标识别、 定位等系统做出更准确的判断：3 ) 视频监控，在安防监控系统中摄像头的分辨 率是有限的，当发生重大案件时可利用监控系统得到的l r 序列进行超分辨率重 建，对人脸、车牌照等感兴趣区域进行放大，为公安人员提供更多的破案线索 4 ) 医学成像，在计算机断层扫描( c o m p u t e dt o m o g r a p h y ，c t ) 与磁共振成像 ( m a g n e t i cr e s o n a n c ei m a g i n g ，m r i ) 应用中，利用s r r 技术对病变目标进行 精确检测能够辅助医生做出正确的医疗诊断。 1 2 超分辨率重建的发展动态和研究现状 自从1 9 8 4 年t s a i 和h u a n g 5 】首次在傅里叶( f o u r i e r ) 变换域从多幅l r 图像 中重建出一幅h r 图像以来，s r r 技术得到了国内外学者的广泛关注。经过2 0 年的发展，目前已形成了很多比较成熟的算法。 基于重建的方法是目前研究最广泛的一类方法。这类方法通常假设一个退化 模型来模拟h r 图像和l r 图像之间的关系，利用已有的先验信息进行h r 图像 的重建，包括配准和重建两个步骤。其中，配准用来建立参考l r 和其他l r 之 间的亚像素位移关系，重建是利用l r 序列图像信息和图像的先验知识( 图像的 平滑性等) 进行约束优化求解。基于重建的方法包括频域方法和空域方法。 频域方法( f r e q u e n c yd o m a i n a p p r o a c h ) 5 - 7 是最早研究从多帧退化的l r 图 像中重建h r 图像的方法，由t s a i 和h u a n g 提出。该方法基于f o u r i e r 变换的平 移性质，利用图像f o u r i e r 变换域的频谱混叠效应从存在亚像素位移的多帧l r 图像中重建出一幅h r 图像，其实质是频域内的图像内插。频域方法虽然理论直 观且易于计算，然而其观察模型仅限于全局平移运动和线性位移不变( l i n e a r s h i f ti n v a r i a n t ，l s i ) 模糊，而且由于频域数据缺乏相关性而很难引入空域先验 信息，因此频域方法不再是研究的主流。 空域方法( s p a t i a ld o m a i na p p r o a c h ) 能引入多种先验约束信息，如随机场 模型、凸集、运动信息等，相比频域方法有更大的灵活性，因此成为近年来的研 究热点。空域方法主要包括：非均匀样本内插( n o n u n i f o r mi n t e r p o l a t i o n ) 8 - 1 0 1 , 凸集投影方法( p r o j e c t i o no n t oc o n v e xs e t s ，p o c s ) 1 1 - 1 2 ，迭代反投影方法 ( i t e r a t i v eb a c k p r o j e c t i o n ，i b p ) 1 3 1 ，正则化方法( r e g u l a f i z a t i o n ) 【1 4 15 1 ，m l p o c s 混合方法 1 6 - 1 7 】。 当放大倍数较大或l r 序列样本数量不足时，基于重建的s r r 算法性能迅 速下降。这是因为重建约束提供的信息越来越少，重建结果因缺少高频信息而过 于平滑。基于学习的方法 1 8 2 6 3 是近年来s r r 新出现的一个热点方向，其基本思 一一 笙! 皇堡笙 - _ - _ _ 一一一 想是利用已有图像信息弥补l r 图像信息的不足，首先利用图像训练集的信息建 立学习模型并获取先验信息，然后通过该模型为l r 序列提供高频信息。这类方 法充分利用了图像本身的信息，在不增加l r 样本数量的情况下仍能取得不错的 重建效果。 b a k e r 等【1 8 】提出引入基于识别的先验信息，f r e e m a n 等【2 0 】提出基于例子的方 法，c h a n g 等【2 1 】把流形学 - 3 中的“邻域嵌入思想用于s r r 。y a n g 等【2 4 】提出基 于稀疏表示的超分辨率重建算法，从l r 图像块中提取特征通过最优化得到测试 图像相对l r 字典的线性稀疏表示，h r 图像的线性关系可从其低维投影中恢复。 针对人脸这一特殊图像，b a k e r 等 2 5 】提出了“幻脸”的思想，通过提取人脸的局 部特征建立特征空间。 1 3 论文的研究内容和结构安排 1 3 1 论文研究内容 本文主要对多帧图像的超分辨率重建算法进行研究，分析了s r r 的相关原 理，并对经典的s r r 算法进行回顾。在此基础上对正则化框架下的算法和超分 辨率盲重建算法进行性能分析及优化，论文的主要研究内容包括如下几点： 1 s r r 的原理、不适定性本质和正则化技术 本文介绍了s r r 的概念和原理，描述了s r r 算法中常用的图像观测模型， 并对s r r 的不适定本质进行数学分析，由此引出正则化技术。 2 自适应正则化算法 本文在正则化框架下建立算法的代价函数，对数据保真项和正则项分别进行 性能分析，结合稳健估计理论寻找更稳健的数据保真项以减小离群值对估计值的 影响，提高算法的鲁棒性。代价函数中的正则化参数起着平衡数据保真项和正则 项的作用，合适的正则化参数能够使重建算法在噪声抑制和边缘保持之间达到平 衡。本文对正则化参数的作用及已有的正则化参数选取方法进行分析，并提出一 种迭代自适应参数选取方法以克服人工选取参数方法的费时和主观等缺点。 3 基于模糊参数辨识的超分辨率盲重建算法 已有的s r r 算法大都忽略成像过程中的模糊信息或者认为其是先验信息， 然而在实际应用中这样处理是不现实的。图像的超分辨率盲重建( b l i n d s u p r e r e s o l u t i o n ，b s r ) 是在未知模糊信息或只知道部分模糊参数的情况下同时 进行模糊辨识和超分辨率图像重建。考虑到现实场景中的模糊函数在一定程度上 符合某一种类型的参数模型，本文采用参数化形式表示模糊函数，通过对模糊函 第1 章绪论 数的参数值进行估计达到模糊辨识的目的。采用误差参数分析曲线结合已提出的 自适应正则化算法进行图像的超分辨率盲重建。 1 3 2 论文结构安排 本文各章节内容安排如下： 第一章绪论。针对本文研究主题多帧图像的超分辨率重建，简要介绍 其研究背景、意义和发展现状，并介绍本文的研究内容和结构安排。 第二章超分辨率重建问题概述。首先介绍s r r 的相关原理，并用数学模型 对成像过程进行描述，详细分析观测模型中各参数。之后讨论s r r 的不适定性 本质以及正则化技术的原理。最后回顾现有的s r r 算法，并给出图像质量的评 价标准。 第三章自适应正则化超分辨率重建算法。对正则化框架下代价函数中的数 据保真项和正则项进行分析，结合稳健估计对算法的鲁棒性进行深入分析。在分 析了已有的正则化参数选取方法的基础上，提出一种新的迭代自适应参数选取方 法，并通过仿真实验验证改进算法的性能。 第四章基于模糊参数辨识的超分辨率盲重建算法。简要介绍已有的超分辨 率盲重建算法，分析了常用模糊函数参数模型，提出采用误差参数曲线结合自适 应正则化算法进行模糊辨识和高分辨率图像重建。 第五章总结和展望。总结本文的研究工作，分析s r r 待解决的问题，对下 一步的研究方向进行展望。 一一一笙! 兰塑坌鲨奎重垄塑垦塑垄 h _ _ - _ _ _ _ _ _ - - - - - _ _ _ _ - - _ - _ _ h - _ _ _ h _ _ _ _ 一 一 第2 章超分辨率重建问题概述 2 。1 超分辨率重建的概念 在图像的采集过程中，光学变形、运动模糊、欠采样效应引起的频谱混叠、 传感器内部噪声以及传输过程中的噪声等都会引起图像质量的下降。图像的超分 辨率重建( s u p e r - r e s 0 1 u t i o nr e c o n s t r u c t i o n ，s r r ) 是运用信号处理技术从混叠、 模糊、含噪的l r 图像序列中重建出一幅或多幅含更多细节信息的h r 图像，其 核心思想是牺牲时间带宽( 同一场景的多幅图像) 以获取空间分辨率的提高【z 7 i 。 s r r 技术在不改变原有成像设备的基础上克服了成像系统内在分辨率水平限制 而且成本较低，因此在很多领域有着较好的应用前景。 每幅l r 图像都是原始景象的下采样和混叠样本。s r r 是通过研究l r 序列 之间的相对运动，融合序列中的非冗余信息而得到h r 图像，同时去除模糊和噪 声的影响。因此，s r r 提高分辨率的前提是获得同一场景且相互之间存在亚像 素位移的l r 图像序列，如图2 1 所示。如果l r 序列之间存在的是整数倍像素 的位移，则每幅l r 图像包含同样的信息，此时没有新的信息可以用于重建h r 图像。然而当l r 序列之间存在亚像素位移时，每幅l r 图像都包含了其他帧l r 图像没有的若干信息，此时可融合每幅l r 图像中的特有信息用于重建h r 图像。 同一场景的多幅图像可通过同一成像设备多次拍摄或者多个置于不同位置的成 像设备一次拍摄获得。亚像素位移可能是由成像设备和原始景象之间的相对运 动、目标的移动以及有控制的运动( 卫星成像系统按预定速度和轨道绕地球移动) 等因素引起的。如果我们能够估计出l r 序列之间的亚像素位移运动信息就能实 现h r 图像的重建。 l r i 图2 1 超分辨率重建前提二亚像素位移 弋日锣 殿霞熙 第2 章超分辨率重建问题概述 与s r r 密切相关的几个概念： ( 1 ) 图像复原( i m a g er e s t o r a t i o n ) ：从退化( 模糊、含噪) 图像中恢复出一 幅更高质量的图像，图像的尺寸保持不变。s r r 和图像复原理论上密切相关， 被看作是二代图像复原问题。 ( 2 ) 图像插值( i m a g ei n t e r p o l a t i o n ) ：单幅图像通过插值的方法( 双线性插值、 三次样条插值等) 增大图像尺寸。插值过程中没有新的信息可以利用进而限制了 图像质量的提高，而且下采样过程中丢失的高频信息无法得到恢复，因此插值不 属于s r r 技术的范畴。 ( 3 ) 超分辨率复原( s u p e r - r e s o l u t i o nr e s t o r a t i o n ) 2 1 ：s r 最早出现在光学系 统中，用于描述推断单幅图像衍射极限以外频谱的算法，即利用点扩散函数和目 标先验知识复原成像系统衍射极限以外的图像信息。 2 2 超分辨率重建的观测模型 建立一个描述原始h r 图像和观测到的l r 图像之间关系的观测模型是分析 s r r 算法的基础。合适的模型既要简洁以保证计算的复杂度在合理范围之内， 又要尽可能的符合现实成像过程。数字成像过程会受到下采样、运动变形、光学 模糊、大气模糊、随机噪声等退化因素的影响。本文使用如图2 2 所示的静态图 像观测模型【3 1 ，该模型描述了连续场景到l r 图像的退化过程( 降质过程) 。 图2 2 观测模型 e r 图像 采用矩阵形式简化表示退化过程，则上图所示过程可用如下数学形式表达： y t = d i - i v k x + n ，1 k p ( 2 1 ) 其中大小为厶m 厶，的h r 图像按字母序表示成向量形式为x = ，恐，x n ， n ：厶m 厶，厶和厶分别表示水平方向和垂直方向的下采样因子。 y 。，l k p 1 表示p 幅大小为1 2 的l r 图像，将第k 幅l r 图像按字母序表 示成向量形式为y 。= y k地，。m 九 = m 2 。 。是大小为,l yy m d 川厶m 厶2 的下采样矩阵，i - i 。是大小为厶川厶2 厶川岛2 的模糊矩阵，e 是大小为厶1 厶厶1 厶的位移矩阵，n 。表示加性噪声。 h r 图像x ：连续场景在满足奈奎斯特条件下采样得到的图像，也就是s r r 箜竺童塑坌鲨奎垩壁塑里塑垄 想要通过已有l r 图像序列重建出的h r 图像。 几何形变( w a r p i n g ) f ：成像过程中的运动信息，描述h r 图像和l r 图像 各像素之间的空间联系，包括全局和局部的平移、旋转等运动。这部分信息是未 知的，需要通过配准算法进行运动估计。配准通常是s r r 的第一步，其准确度 对算法的重建结果有直接影响。图像配准是图像处理中的一个重要研究内容，本 文不对配准算法做研究，只考虑多幅图像之间仅有全局平移。在s r r 算法研究 和对比实验中，把l r 序列的第一帧作为参考帧，采用k e r e n 配准算法进行运动 估计。 模糊( b l u r t i n g ) i t ：成像过程中的模糊主要包括由散焦、衍射、像差等引 起的光学模糊，原始景象和成像设备之间相对运动引起的运动模糊，以及传感器 点扩散函数( p o i n ts p r e a df u n c t i o n ，p s f ) 的影响。在s r r 中，l r 传感器物理 尺寸的有限性是造成模糊的一个重要因素，通常认为l r 传感器p s f 可以用空间 邻域取平均近似表示。本文只讨论l s i 系统中的模糊，且假设l r 序列的模糊信 息是相同的，即h 。= h ，v k 。 下采样( d o w n s a m p l i n g ) d ：对经历了几何形变和模糊的图像进行下采样 得到混叠的l r 图像，这部分信息是已知的。一般假设l r 序列经历的下采样过 程相同，即d 。= d ，v k 。 噪声n ：采用加性噪声来描述成像过程中受到的噪声影响，包括光照强度、 传感器测量误差、采样量化误差、模型误差等。 令w = d 女h e = i j n f ，式( 2 1 ) 可写成如下形式： y 1 y 2 ： y p w l w 2 ： 吣p x + n 1 n 2 ： u p j y = w x + n ( 2 2 ) 其中，w 是大小为p l 2 厶l 厶2 的系统矩阵，当p 厶厶时，系统是过定的；s r r 算法适用于 以上各种情况。由式( 2 2 ) 可知，s r r 也是种特殊的图像复原问题。由于s r r 中涉及到下采样和上采样操作，因此不同于传统的图像复原。 2 3 超分辨率重建的不适定性 在数学物理中，给定描述问题的微分方程包括强制函数、以及初始条件和边 界条件，就可以求得方程的解，确定被研究对象的过程和状态的数学或数值描述， 这类求解问题称为正问题( d i r e c tp r o b l e m ) 。它的反问题( i n v e r s ep r o b l e m ) 是 第2 章超分辨率重建问题概述 依据对研究对象的过程和状态的数值观测，确定它服从什么样的微分方程、产生 该过程和状态的输入强制函数、过去的初始状态以及边界条件【7 1 。s r r 是在给定 l r 图像和成像系统退化模型的情况下求解h r 图像，即给定系统和输出求输入， 这是典型的反问题求解。 反问题的一个重要属性是不适定性。1 9 2 3 年h a d a m a r d 提出了良态问题 ( w e l l p o s e dp r o b l e m ) 的概念，要求满足如下三个条件：1 1 方程的解是存在的； 2 ) 解是唯一的；3 ) 解连续依赖于数据，解不连续依赖观测数据是指观测数据的 微小误差就会引起解的较大变动。不满足上述任何一个条件的问题则是病态的或 不适定的。s r r 从本质上来说是一个不适定的数学反问题，下面从数学分析的 角度探究s r r 的不适定性。 对退化模型y = w x + n 采用最小二乘( l e a s ts q u a r e s ，l s ) 估计求解： 文= a r g m i n y w x ( 2 3 ) 其欧拉拉格朗日方程为w 丁w x = w7 y 。矩阵w 7 1 w 的大小为 厶川厶2 厶m 厶x 2 ，如果，口施( w 丁w ) ( 厶万互) ，j i ( 厶万互) ) 的假设，可得到h r 图像的c f t 和第k 幅l r 图像的d f t 之间的关系如下： 丫t ( q 1 ，q z ) = 丽1 在l i - i 盎 2 - 1 以 等 番+ 啊) ，等( 甓+ 门： ) c 2 固 式( 2 6 ) 的矩阵形式为： y = 西x ( 2 7 ) 其中，y 是大小为p x l 的列向量，第尼个元素表示儿 ，1 1 2 】的d f t 系数：x 是 大小为厶厶x l 的列向量，表示x ( f 。，t 2 ) 的c f t 采样；矩阵m 大小为p z 4 ，表 示原始图像采样和l r 图像d f t 之间的关系。 ；t s a i 和h u a n g 的方法只考虑全局平移运动，而且没有考虑噪声和退化因素的 影响。k i m 等人 6 1 将上述方法推广到l r 图像中含有相同噪声和模糊的情况，并 提出了基于加权最小二乘法的重建算法。之后k i m 和s u 【7 1 考虑l r 序列模糊信 息不同的情况，并提出采用t i k h o n o v 正则化方法求解。频域算法的优点是理论 简单，易于并行运算，硬件复杂度低。然而该算法只能处理全局平移运动模型和