（通信与信息系统专业论文）图像超分辨率重建算法研究.pdf

摘要 摘要 图像超分辨率重建是利用数字信号处理技术从多幅频域混叠、空域模糊并含 有噪声的低分辨率图像中恢复出高频信息以及更多的像素点值，从而得到高分辨 率图像的技术。图像超分辨率重建技术有广泛的应用前景，目前已成为图像恢复 领域的研究热点之一。其中，亚像素配准算法、稳定有效的重建算法等是超分辨 率重建研究的重点和难点。 本文的研究重点是正则化图像超分辨率重建算法，分析并提出了基于调整的 核回归函数作为正则项的超分辨率重建算法。该算法根据图像自身数据主导方向 信息，选取可变且为规则的窗函数，使核函数可以更准确地选择邻域上的数据， 在更好的抑制噪声的同时更多地保持图像的高频信息。计算机仿真结果表明，在 基于l 1 范数和m a p 框架的前提下，基于调整的核回归函数作为正则化约束项 的重建效果较基于拉普拉斯算子和双边滤波器算子等正则化方法有明显的改善， 尤其当观察的低分辨率图像噪声方差较大时，改善效果更加明显。为实现亚像素 级配准，本文还针对仅有刚体变换的图像序列，研究和提出了利用频域和基于矩 形像素相结合的配准算法，减少配准过程中的运算量。 为加快重建算法的收敛速度，本文还对采用l 曲线、变长步长和基于噪声方 差的正则化参数方法以及迭代初值选取问题进行了讨论。理论分析和仿真结果均 表明，在信噪比较高的情况下，l 曲线方法要优于变长步长和基于噪声方差方法； 在取得同样重建效果时，l 曲线方法的收敛速度更快。但是在低信噪比情况下， 基于噪声方差的方法的效果相对较好。 关键词：超分辨率图像配准正则化约束项调整核回归函数 a b s t r a c t a b s t r a c t s u p e r - r e s o l u t i o ni m a g er e c o n s t r u c t i o ni st h eu s eo fd i g i t a ls i g n a lp r o c e s s i n g t e c h n o l o g yf r o man u m b e ro ff r e q u e n c yd o m a i na l i a s i n g ，b l u r r e da n da d d i t i v en o i s e e f f e c tl o w e rr e s o l u t i o ni m a g e st o g e th i g h f r e q u e n c yi n f o r m a t i o na n dm o r ep i x e l v a l u e s i th a saw i d er a n g eo fa p p l i c a t i o n sa n dh a sb e c o m eo n eo ft h eh o ta r e a so f r e s e a r c hi ni m a g er e s t o r a t i o na r e a a m o n gt h e m ，t h es u b - p i x e lr e g i s t r a t i o na l g o r i t h m ， t h er e c o n s t r u c t i o no fas t a b l ea n de f f i c i e n ta l g o r i t h mi st h ef o c u so ft h es t u d ya n d d i f f i c u l t i e si ns u p e r - r e s o l u t i o nr e c o n s t r u c t i o n 。 i nt h i sp a p e r ，t h em a i nr e s e a r c hw o r ki st h er e g u l a r i z a t i o ni m a g er e c o n s t r u c t i o n a l g o r i t h m a n a l y s i sa n dp r o p o s et h es t e e r i n gk e r n e lr e g r e s s i o nm e t h o da sar e g u l a r t e r mi nd e t a i l i tw i l ld e p e n do nt h ed i r e c t i o no ft h e i ro w nd a t ai n f o r m a t i o na n ds e l e c t t h ev a r i a b l ea n dr e g u l a rw i n d o wf u n c t i o nt oc h o o s em o r ea c c u r a t ed a t ai n f o r m a t i o n ， s oi tc a l lg e tb e t t e rn o i s es u p p r e s s i o na n dm a i n t a i n st h ei m a g eo fm o r eh i 曲- f r e q u e n c y i n f o r m a t i o n t h ec o m p u t e rs i m u l a t i o ni l l u s t r a t et h a tb a s e do nt h el 1n o r ma n du n d e r t h em a p f r a m e w o r k ，s t e e r i n gk e r n e lr e g r e s s i o nm e t h o da sar e g u l a rt e r mh a sb e t t e r r e s u l t sw h e ni tc o m p a r e dt ol a p l a c i a no p e r a t o ra n db i l a t e r a lf i l t e r s e s p e c i a l l yw h e n l o w - r e s o l u t i o ni m a g e so b s e r v a t i o nn o i s ev a r i a n c ei sl a r g e r , i th a sm o r eo b v i o u se f f e c t s w eu s et h ec o m b i n a t i o no ff r e q u e n c yd o m a i nr e g i s t r a t i o na n dt h er e g i s t r a t i o nt h a t b a s eo nr e c t a n g u l a rp i x e l sm e t h o dt or e d u c et h ec o m p u t a t i o na n dt oa c h i e v es u b - p i x e l r e g i s t r a t i o n i no r d e rt o s p e e du p t h ec o n v e r g e n c er a t eo fr e c o n s t r u c t i o n a l g o r i t h m ，t h e r e g u l a r i z a t i o np a r a m e t e ro ft h elc u r v e ，t h ev a r i a b l es t e ps i z ea n dm e t h o db a s e do n t h en o i s ev a r i a n c ea sw e l la st h ei n i t i a li t e r a t i o no ft h es e l e c t e di s s u e sw e r ed i s c u s s e d t h e o r e t i c a la n a l y s i sa n ds i m u l a t i o nr e s u l t ss h o wt h a ti nt h ec a s eo fah i g h e rs i g n a lt o n o i s er a t i o ，w h e nw ec h o o s et h elc u r v em e t h o di ss u p e r i o rt ol o n g s t e pm e t h o db a s e d o nt h en o i s ev a r i a n c e ；i nt h er e c o n s t r u c t i o no ft h es a m ee f f e c t s ，lc u r v em e t h o do f f a s t e rc o n v e r g e n c e h o w e v e r , i nl o ws n rc a s e s ，t h en o i s ev a r i a n c eb a s e do nt h e e f f e c t i v e n e s so ft h em e t h o di sr e l a t i v e l yg o o d k e y w o r d s ：s u p e rr e s o l u t i o n ，i m a g er e g i s t r a t i o n ，r e g u l a r i z a t i o nt e r m ，s t e e r i n gk e r n e l r e g r e s s i o n i i 中国科学技术大学学位论文相关声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作 所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任 何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名：显墨乓 1 年6 月多日 第一章绪论 1 1 研究背景和研究意义 第一章绪论 随着科学技术的飞速发展，人们可以获得的信息量越来越大，促进了现代社 会的信息化的不断进步。同时，随着信息化社会的发展，人们对信息量的需求也 在不断增加，这就迫切要求信息处理技术的不断进步，以便为人们提供更加便利 和多样化的服务。 图像空间分辨率是图像质量评价关键性的一项指标，它表示景物信息的详细 程度。然而，目前许多成像系统，如c m o s 和c c d ( c h a r g ec o u p l ed e v i c e ) 照 相机等，在采集图像过程中，受其固有传感器阵列排列密度的限制，如对于0 3 5 微米的c c d 传感器来说 1 】，像素的理想极限尺寸大约是4 0 平方微米，这样图 像的分辨率不可能很高。同时图像高频部分受到欠采样效应影响会造成图像的频 谱交叠，使获取的图像因变形效应而发生降质。另一方面，由于大气扰动、景物 与摄像机之间的相对运动等，也使成像产生模糊，降低了图像的分辨率。如果采 用增加传感器阵列采样密度的办法来提高图像分辨率和消除变形效应，可能会付 出昂贵的代价或者面临很难克服的技术困难。因此从信号处理着手来提高图像分 辨率有着极大的现实意义和应用价值。解决这一问题的一个有效办法就是采用超 分辨率( s u p e rr e s o l u t i o n ) 重建技术 1 。 近年来，超分辨率重建技术已成为信号处理领域的一个研究热点，该技术利 用多个低分辨率图像之间的相对运动信息，将它们融合到单幅图像中，同时去除 图像中的噪声及由于有限检测器尺寸和光学元件所产生的模糊。由于该技术利用 多幅图像序列进行处理，能提取序列图像中的附加空域、时域信息，使得重建图 像的视觉效果超过任何一幅低分辨率图像的重建结果。 超分辨率重建技术在医学影像、遥感图像识别、安防视频监控、案件调查取 证等诸多领域有广泛的应用前景。例如在安防监控系统中，往往需要对录像画面 的目标特征进行识别，如汽车牌照或者案发现场人员的面部细节等，而图像超分 辨率重建技术可以帮助更好的识别判断；在c t 和核磁共振( m 酣) 等医学影像 中，输出的往往是多幅分辨率有限的图像，图像超分辨率重建技术可以帮助医 生进行更准确的诊断；在航天或航空遥感图像的识别判读方面，s r 技术对于国 家安全、资源普查、环境保护和防灾减灾等领域的应用意义则更加重大。 第一章绪论 1 2 本文的研究内容和结构 1 2 1 研究内容 本论文主要研究是针对同一场景的低分辨率序列图像，而且它们之间存在着 信息上的差异，利用c c d 器件的成像特点 8 和对低分辨率图像的几何形变的估 计，得出图像之间的配准参数。之后将多幅图像进行配准，再通过去模糊和噪声 处理，并且在此过程中引入正则化约束项使得代价函数最小。因此图像重建结果 趋于稳定，从而得到单幅高分辨率的清晰图像。 本文分析并提出了基于调整的核回归函数作为正则项的超分辨率重建算法。 该算法根据图像自身数据主导方向信息，选取可变且为规则的窗函数，使核函数 可以更准确地选择邻域上的数据，在更好的抑制噪声的同时更多地保持图像的高 频信息。计算机仿真结果表明，在基于l 1 范数和m a p 框架的前提下，基于调 整的核回归函数作为正则化约束项的重建效果较基于拉普拉斯算子和双边滤波 器算子等正则化方法有明显的改善，尤其当观察的低分辨率图像噪声方差较大 时，改善效果更加明显。为实现亚像素级配准，本文还针对仅有刚体变换的图像 序列，研究和提出了利用频域和基于矩形像素相结合的配准算法，减少配准过程 中的运算量。 为加快重建算法的收敛速度，本文还对采用l 曲线、变长步长和基于噪声方 差的正则化参数方法以及迭代初值选取问题进行了讨论。理论分析和仿真结果均 表明，在信噪比较高的情况下，l 曲线方法要优于变长步长和基于噪声方差方法； 在取得同样重建效果时，l 曲线方法的收敛速度更快。但是在低信噪比情况下， 基于噪声方差的方法的效果相对较好。 1 2 2 论文结构 第一章介绍了图像超分辨率重建的研究背景以及研究意义，并从整体上介 绍本文的研究内容和结构。 第二章详细介绍了c c d 器件成像模型的特性，给出了观测模型，并用数学 方法对整个图像退化过程进行描述；讨论了图像超分辨率重建是一个不适定的反 问题，介绍了用正则化方法来约束求解过程，以其得到稳定解；本章还对现有的 图像超分辨率重建的主要方法进行了详细综述。 第三章由于图像配准是超分辨率重建过程最关键的一步，本章介绍了图像 配准的基本概念、四种常用的变换模型、通常情况下的配准步骤以及三种主要的 配准算法，并对这三种算法的优缺点进行了对比分析。在此基础上，对本文所采 2 第一章绪论 用的结合空域和频域的图像亚像素混合配准算法进行了讨论。 第四章详细介绍了图像超分辨率重建的正则化算法。分析并推导了m a p 算 法，再从正则化约束项的选取考虑，对拉普拉斯算子，双边滤波器算子以及调整 的核回归函数算子在重建过程中的作用进行了讨论，分析了调整的核回归函数算 子在选择可变窗函数时受噪声影响较小，并且选择的窗函数都是规则的椭圆形 状，有利于得到稳定的重建结果。其次针对本文采用的图像退化模型以及基于 l 1 范数和m a p 框架，给出将调整核回归函数作为正则化约束项重建图像的具体 计算方法。 第五章对重建算法中迭代步长的一些选取策略，如基于l 曲线、噪声方差 以及变长步长等进行了讨论，并通过计算机仿真实验对多种重建算法的优缺点进 行了对比分析，得出基于l 曲线方法在仿真效果与变长步长相当情况下，加快的 收敛的速度。 第六章总结全文，并给出了未来的研究方向。 3 第二章圈像超分辨率重建问题研究 第二章图像超分辨率重建问题研究 2 1 图像退化模型 2 1 1 数字成像系统模型 现实世界的可视物体可以看作是密集发光点聚合。在成像系统中，发光点发 出的光线经过成像系统的传输，最终投射到由c c d ( 电荷耦台器件) 或c m o s ( 互补金属氧化物半导体) 构成的传感器单元阵列平面上，传感器单元经过光电 转换后，物体的亮度信息就被转换成电信号，然后经过采样、量化和编码，形成 数字图像。 客观世界的图像往往具有较好的高频边缘细节信息，即有较高的图像分辨 率。由于实际情况的限制，一方面成像系统相对于客观世界的图像，不能提供充 分高的带宽；另一方面，由于现有c c d 或c m o s 器件的工艺限制，传感器单元 数目有限，这样通过成像得到的图像分辨率低于真实图像。 文献f 8 】针对照相机和摄像机捕获图像的特点，构建c c d ( 电荷耦合器件) 器件成像模型。本文则在c c d 感光器件和透镜之间，虚拟了一层连续光照图像 p 。如图2 1 所示，其中s 为一个c c d 感光像素点与其表示的像素尺寸大小的比 值。通过对连续光照图像p 进行不同的采样、加权平均和量化处理，分别获得低 分辨率图像l r 和模糊的高分辨率图像m h r 。 上 透镜系统 有限孔径 连续的光照图像p ；差：警；譬m h r 目：= 等；二二 图2 - 1c c d 成像模型 点扩散函数p s f 可以表示为透镜系统和有限f l 径带来的影响c o , 与传感器接受光 照并加权平均的因子q 的卷积 8 】。 熹。 第二章图像超分辨率重建问题研究 船只( x ) = ( 劬奉q ) ( x ) ( 2 1 ) 通过假设均匀光照并且对应同一个摄像头接受的低分辨率图像，则为定值。可 表示为： 口= ”。2 磐主 下面将通过上图m h r 与l r 的对比可知， 点之间的关系，如下图所示 瞄 四 口 口 口 口 ( 2 2 ) 高分辨率图像与低分辨率图像间像素 口口口口口 口口口口口 口口口口口 口口口口口 口口 口口口 口口口 高分辨率图像 低分辨率图像 图2 2c c d 尺寸大小对成像的影响 低分辨率图像的像素值可以近似表示为多个对应的高分辨率像素点值的加权平 均，这也符合c c d 成像的特点。 2 1 2 低分辨率图像观察模型 低分辨率图像【1 3 】的观察模型如图4 所示 图2 3 低分辨率图像观察模型 5 第二章图像超分辨率重建问题研究 观察模型中的一些主要过程说明如下： 高分辨率图像指有比较高的分辨率，满足奈奎斯特采样准则，即频域不 混跌的图像。图像超分辨率重建的目标就是恢复高分辨率图像。 位移现实图像相对于c c d 传感器产生了相对运动，运动有全局的和局部 的之分。全局运动是指整个图像空间的所有像素具有相同的运动特性，运动参数 可以采用垂直和水平方向的位移来表示( 若存在旋转特性，则位移不是整数) ， 也可以用多参数运动模型来表示；局部运动则相对比较复杂。它是指图像空间内 多个物体具有各自的运动特性和运动参数。在图像超分辨率重建中，全局和局部 的位移参数都是通过图像亚配准过程而得的。 降质产生的原因有很多方面，如常见的光学降质，运动降质，散焦降质 等。光学降质是由成像系统的光学部分所引入的；运动降质是由被拍摄物体在曝 光过程中存在运动，c c d 感光器件接受光照不均而产生的；散焦降质则是在成像 过程中存在焦距误差而造成的。 下采样表明图像下采样后得到的空间分辨率比原始图像的空间分辨率 要低。通常用一个正整数l 来表示下采样间距。l = m m = n n ，m ，n 表示对应高 分辨率图像的像素点个数，m ，n 则为观察到得低分辨率图像的像素点个数。 噪声：由观察模型引入，如采样量化所产生的椒盐噪声，空气扰动、传输过 程所引入的高斯噪声等。 因此低分辨率图像看成是由高分辨率图像经过位移变换、模糊作用、下采样 并受到加性高斯噪声的影响而得到的，则由公式表示为 k = 取仇疋x + 圪 ( 2 3 ) e 、皿分别是对应于观测到的第k 幅低分辨率图像的平移扭曲参数矩阵和下采 样矩阵，片。为相应的模糊函数。圪是观测时叠加的加性噪声。 本文主要研究工作是针对同一个照相机或者摄像头所得到的l r 图像序列的 重建，所以可以假定在整个恢复过程中模糊函数和下采样矩阵是不变的，即q = d ， 鼠= h ，再假设在像素点内接受的光照强度是均匀的，则h 和e 是线性空域不变 的，即胁e = 最半h 。2 3 式可简化为： k = d f 量h x + 圪 ( 2 4 ) 现将h x 用变量z 来代替，则可将式变换为 k = d e z + 圪 ( 2 5 ) 由式2 5 又可以彳导出图2 1 所示的结论，即模糊的高分辨率图像经过位移变换和 下采样后，可以得到低分辨率图像。式中z 为连续光照图像进过采样得到的m h r 图像。最终要重建的超分辨率图像s r 只需再对m h r 图像z 经过去模糊处理即 6 第二章图像超分辨率重建问题研究 可，将图像超分辨率重建分成两个步骤进行。 2 2 超分辨率重建需要解决的问题 2 2 1 超分辨率重建问题的解 本文中讨论的图像超分辨率重建问题是一个不适定的反解问题 1 5 】。可以从 反解和不适定性两方面来说明。 1 反解问题 通过成像系统获得的一系列关于同一场景且存在差异信息的低分辨率图像。 若已知条件为高分辨率图像，则便是一个正问题。相应的反问题就是给定观测得 低分辨率图像序列以及成像系统和退化模型的参数来求解真实场景的估计。 2 不适定问题 所谓不适定问题就是不能同时满足一个或者多个h a d a m a r d 条件。由于成像模 型和图像退化模型的特性，图像超分辨率重建问题往往不能完全满足h a d a m a r d 条件的。下面对h a d a m a r d 条件将进行简单介绍： 1 ) 解的不存在性 如果低分辨率图像观测过程中受到较大噪声影响，就有可能导致在给定的成 像模型的前提下观测的序列图像与任何给定场景都不一致，因此使得系统不可 逆，从观测图像序列中无法准确的估计出真实的原始图像。 2 ) 解的不唯一性 当表示退化模型部分是多对一时，就可能会导致解是不唯一的。即使退化模 型是非奇异的，如果缺乏足够的图像序列，即解的限制不够，也会导致解的不唯 一性。如对一个用l 幅观测图像表示的场景，设每幅观测图像都有n 个像素。则 所有观测的数据提供了l n 个相互独立的限制。假设一幅s r 图像含有m l n 个需 要估计的像素，则该问题明显的没有足够的限制来保证解的唯一性。从定义上来 看，图像超分辨率重建要求恢复成像和观测过程中丢失的数据信息，因此一般情 况下图像超分辨率重建问题的解是不唯一的。 3 ) 解不连续依赖性 由于成像系统和退化模型的特性，反解问题对观测数据的扰动是相当敏感 的。例如，- 一个随着频率增长的光谱渐进衰减到0 的成像系统 1 7 】，虽然该系统 理论上是可逆的，也即是存在解得，但实际上它的解不稳定，任意的在高频部分 的噪声都可以导致计算恢复中较大的伪信号。 综上所述，除了在少数理想情况下，图像超分辨率重建问题都是不适定的反 7 第二章图像超分辨率重建问题研究 解问题。 2 2 2 正则化方法求解不适定的反问题 反问题的不适定性是问题本身所固有的特性，如果没有关于解的附加先验信 息，固有问题的特性是无法克服的。也就是说，缺失的信息无法通过任何数学方 法进行补偿。如果能够要依据所能提供的关于解的附加先验信息，尽可能稳定的 恢复不适定的反解问题的信息。这种求解不适定的反问题方法称为正则化方法。 正则化方法指的是利用附加先验信息来补偿导致不适定问题的信息损失的 方法。附加先验信息一般指从观测数据或退化模型中不能提取的，而必须在此图 像退化之前就已知的信息。通常，我们会选择图像的总能量受限，分段平滑，正 定性等。先验知识的作用是限制或减少适合观测数据的解空间的数量。不适定问 题正则化解【3 6 的理论是l 扫t i k h o n o v 最先提出。 在正则化方法中，先验知识加入的目的是将原来不适定问题转化为适定问 题，进行求解。所以先验知识是否能正确表述原有问题就相当重要，通常我们会 选用数学定理，物理意义等。例如，对于图像应用，图像的灰度值为正数就是一 个很好的约束。 关于正则化方法的具体应用，我们将在第四章详细论述。 2 3 图像超分辨率重建算法概述 由文献【2 9 】可知，现有图像超分辨率图像重建算法可以大致归为四个类型： 频域方法、空域算法、基于感兴趣区域算法和基于学习算法。 2 3 1 频域算法 频率算法 1 】是最早出现的图像超分辨率重建方法，它的主要思想是通过消除 频域中的混叠部分，使得图像的分辨率提高。这种算法【4 2 首先n h u a n g 和t s a i 在1 9 8 4 年提出的。他们假设图像本身是频带受限的且没有噪声影响，低分辨率图 像序列中的运动只为全局运动，并利用离散傅里叶变换和连续傅里叶变换间的平 移和混叠性质，给出一组由一系列欠采样的观测图像重建高分辨率图像的公式。 通过求解方程组来估计高分辨率图像的傅里叶变换的系数。之后根据估计结果重 建高分辨率图像。h u a n g 和t s a i 的方法具有计算简单的，容易理解等优点，但是 也存在明显的不足，因为模型并没有考虑点扩散函数p s f ，运动模糊以及叠加的 噪声的影响。同时由于只能适用于全局平移运动，也限制了它的适用范围。 8 第二章图像超分辨率重建问题研究 针对上述频域算法的缺点，t e k a l p 和o z k a n 于1 9 9 2 提出了改进的方法，此方法 包含了线性移不变的p s f 函数和加性的高斯白噪声的影响。但其缺点是算法适用 的模型较少，序列图像之间存在旋转情况时，效果欠佳。p v a n d e w a l l e 与s s 0 s s t n a n k 2 在2 0 0 6 年提出了针对图像间存在旋转的处理方法，就是采用通过频域 积分的方法，将空域的旋转参数估计转换到频域的平移估计。总之，目前已有的 频域算法仍然还在复杂度与解的优劣性之间进行权衡，尚未见到重大突破。 2 3 2 空域算法 空域的图像超分辨率重建算法是在空域内对低分辨率图像序列的前向模型 进行定义和求解，该类方法不仅能灵活处理全局及局部的运动模型、位移不变和 可变的光学和运动模糊，以及图像序列所组成的非均匀采样以及各种模型边界条 件等，还可以在模型处理中采用高分辨率图像、模糊和运动等的各种先验知识， 使恢复的图像具有好的物理解释，因此该类方法是超分辨率图像恢复研究的重 点。基于空域 1 】【4 0 】的算法，按照其处理超分辨率图像恢复主要问题的方式不同， 又可以细分为非均匀插值方法、迭代后向投影方法、随机重建方法、基于集合理 论的重建方法、混合方法、自适应滤波方法和盲重建算法等。 1 ) 非均匀插值方法【l 】 4 0 】 非均匀插值方法s r 重建最直观的方法。它首先假设一系列的低分辨率图像经 过亚像素配准后，形成了一幅不完全在均匀间隔采样网格上的复合图像。通过对 非均匀间隔采样点进行内插和重采样可得到超分辨率网络上的采样点值，最后通 过去模糊影响得到超分辨率图像。如图2 4 所示，园，方形，三角，星分别代表 配准后的低分辨率图像，由于它们不完全在高分辨率图像的网格上，因此需要有 各种内插值算法，比如双线性插值，三样条函数插值等等。基于内插的超分辨率 方法的优点在于计算量较小，适合于处理实时业务。其缺点也很明显，首先它重 建图像是将配准，插值，去模糊等分开进行，这样就需要所有的l r 图像必须要 有同样的模糊函数和噪声分布。其次它没有利用先验知识，当噪声严重时不能得 到稳定的解，因此其使用的范围比较窄。 9 第二章图像超分辨率重建问题研究 。一 一0 - - 十_ - 0 一 一。一： ：圈：园：团：圈： ： 0 一 一o t - - o 一十一一 - ：图：园：团：囡： 幅粼黼一 拓赫怡镒 。一一一一一一一 一一审一一审一一审 一一9 一一9 一一一 一一一一审一一审 一一9 一审一审一一呤一审 一一套一一辔一冷一谚 一一审一一审一一审一审 一一参一分一辔一分一移一辔 图2 4 非均匀插值 2 ) 迭代后向投影方法 1 】 在超分辨率图像重建的迭代求解中，将假定初始值重建得到的高分辨率图像 再由给定的退化模型转换成低分辨率图像。用退化图像与观测的低分辨率图像的 差和模糊矩阵构成后向投影算子，修正下一次迭代的高分辨率图像估计，这种算 法理解比较直观。由于模糊矩阵是病态的，导致后向投影算子也是病态的，因此 后向迭代投影算法不保证解唯一性，且难通过正则化约束项来最小化代价函数求 解。 3 ) 随机重建方法 2 1 2 3 2 5 2 6 】 随机重建方法是将超分辨率图像恢复问题考虑为一个统计概率问题。它运用 最大后验概率算法，由低分辨率图像序列中重建出高分辨率图像。通过对退化模 型的分析，可知超分辨率重建问题是一个的病态问题，这样就可以通过引入马尔 科夫随机场来进行约束。随机重建方法根据低分辨率图像序列的退化模型和图像 模型对应的正则化约束项构造出代价函数，通过最小化代价函数得到高分辨率图 像。常用的先验知识有：图像能量的有界特征、分段光滑的特性和图像可能包含 局部纹理细节等。在随机重建方法中，可以纳入统计学的研究成果，还可以对运 动模糊进行估计。随机重建方法其优点在于： ( 1 ) 能够处理复杂的退化模型； ( 2 ) 能够有效地引入多种先验正则约束； ( 3 ) 能够极为方便地引入稳健统计学以增强重建算法的鲁棒性； ( 4 ) 将s r 重建转化为适定问题从而保证了解的唯一性及稳定性； ( 5 ) 可以实现运动估计和高分辨率图像的同时求解； 总之，基于图像建模理论的正则s r 重建方法具有最强的灵活性。缺点是收敛 速度慢、运算量较大。 4 ) 基于集合理论的重建方法 1 8 】 1 0 第二章图像超分辨率重建问题研究 在基于集合理论的重建方法中，最突出的就是凸集投影方法( p o c s ) ，该方法 将高分辨率图像的解空间表示为多个先验约束的交集，从中求出高分辨率图像。 p o c s 方法易于实现，可处理复杂的退化模型，比较容易加入先验知识的，能使 重建的图像具有很好的边缘保持特性。但它的不足之处是解的不唯一性，解是否 有效与初值设定有关。此外，该方法的收敛速度较慢，计算量比较大。 5 ) 混合算法 1 9 】 混合算法是一种混合m a p 算法和p o c s 算法的方法。该方法的主要思想就是 在凸约束集上，最小化代价函数重建出高分辨率图像。它可以有效的利用先验知 识约束，并能得到一个较优的解。其缺点同样是收敛速度慢和计算量比较大。 6 ) 自适应滤波 1 】 直接用最优滤波和自适应滤波里的方法，消除退化因素产生的影响，获得高 分辨率图像。该类方法不足的是，最优滤波方法不能包含先验知识，自适应滤波 方法不能包含非线性先验知识。 7 ) 盲重建算法 盲重建算法就是事先不知道图像退化信息，如图像中模糊影响，而重建出高 分辨率的图像。基于神经网络图像恢复【2 2 】【2 4 就是一种典型的盲复原算法。首 先利用同样的照相机拍出低分辨率图像，然后用高分辨率照相机照出同一场景的 清晰图像。这样利用这组图像对网络进行训练，最终由训练的网络做逆处理，恢 复出高清图像。其最主要的思想就是利用2 阶或3 阶的网络来近似代替图像的整个 退化函数，不需要已知很多特定的参数，能够实现很多真实图像的重建。 2 3 3 基于感兴趣区域算法 空域和频率算法都直接在像素特征上实现图像超分辨率重建。这需要假定在 成像过程中光照条件保持不变。但在实际情况中，图像序列的形成，光照条件总 会存在变化，这会影响到频率和空域方法的重建效果，这种光照条件变化的情况 在遥感图像序列中最为突出。此外，空域和频率算法中，图像序列的全部像素同 时参与计算，使得计算量较大。 基于图像边缘的超分辨率图像恢复 3 7 1 考虑了图像序列中光照条件的变化， 用图像序列中某张图像作为参考图像，从其他图像中提取边缘细节并对所提取细 节去模糊，再融合到参考图像中，从而既增加了高分辨率恢复图像中的细节，避 免了像素融合中光照变化的影响，同时也减少了图像恢复的计算量。基于感兴趣 区域( r e g i o no f i n t e r e s 0 1 的超分辨率图像恢复方法，先采用有效性映射将运动信 息不准确的目标抛弃掉，再采用分割映射提取和融合r o i 目标，实现高分辨率图 像重建。基于感兴趣区域的超分辨率图像恢复方法不足的是：要求边缘提取和目 第二章图像超分辨率重建问题研究 标分割的结果较为准确，但在低分辨率图像序列中，边缘提取和分割的有效性受 到限制。 2 3 4 基于学习算法 基于数学模型的超分辨率重建方法的固有缺点在于，随着分辨率提高倍数的 增加，低分辨率图像序列所能提供的冗余信息显得不够充分，此时仅靠增加低分 辨率图像数量是无法再产生新的高频信息的，因此为了能够突破这种性能极限， 可以通过训练学习的方法来获得先验知识。这种基于学习的方法弥补了基于退化 模型方法的不足，并且重建针对性更强，更智能化，因此它适合。 基于学习的超分辨率图像恢复方法，不仅可融入机器学习与模式识别的现有 算法，还能通过选择学习模式有针对性地对目标类别进行恢复，使计算量减少， 也使恢复结果更适合需要。但该类方法需要大量学习样本，学习方法也必须有效， 这在帧数有限的低分辨率序列中难于满足。 2 4 超分辨率重建评价标准 由于图像超分辨率重建算法多种多样，所处理的重建条件也各有不同，如配 准参数的精确度，降质函数是否己知，噪声的影响有多大等等。因此目前还没有 形成用于评价超分辨率图像恢复方法有效性的统一标准，在超分辨率图像恢复算 法研究中，一般采用真实的或由标准测试图像人工合成的低分辨图像序列进行实 验，用以评价新算法及改进算法的有效性。当存在高分辨率原图时，可以计算恢 复图像与真实图像的最小均方根误差( r m s e ，r o o tm e a ns q u a r ee r r o r ) 、相对误 差、信噪比( s n r , s i g n a lt on o i s er a t i o ) 或峰值信噪l p , ( p s n r , p e a ks i g n a lt on o i s e r a t i o ) 等指标值，来进行量化评价。但这些指标对于压缩图像的超分辨率复原不 实用。 下面将具体给出部分图像超分辨率重建评价指标的表达公式： p s n r ：1 0 1 。9 1 0 婴 l i 厂一川2 -。g。舞m n 2 ( 脚，n ) f ( m ，聆) ) 2 1 2 ( 2 6 ) ( 2 7 ) 第二章图像超分辨率重建问题研究 r m s e = 上 m 暇 ( 2 8 ) 上述表达式中，m ，n 为超分辨率图像的尺寸，伪真实的高分辨率图像，为重 建的超分辨率图像。本文则主要采用这两种主观的评价标准来说明图像重建效 果。 1 3 第三章图像亚像素配准 3 1 图像配准概念 第三章图像亚像素配准 为了获得关于某一场景更多的信息，我们可能会在不同的时间，通过不同的 视角或利用不同的传感器获得不同的图像。选定这些图像中的一帧作为参考图 像，确定参考图像与其他图像间对应点的匹配关系的过程即为图像配准。 图像配准是评价两幅或多幅图像的相似性以确定同名点的过程。图像配准算 法就是设法建立两幅图像之间的对应关系，确定相应几何变换参数，对两幅图像 中的一幅进行几何变换的方法，也就是估计低分辨率图像间的运动。在某些超分 辨率应用中，图像间的运动参数是可知的，例如在卫星遥感图像领域，图像序列 间的相对运动就决定于卫星的轨道和速度，但在很多其他应用中，这些运动参数 是事先不可知的，因此运动估计是超分辨率重建算法中非常关键的步骤，而且估 计的准确性比其密集性更重要，如果估计精度达不到亚像素级，将会验证影响重 建图像的质量。本文将利用矩形像素配准模型以及局部频域变换配准方法，针对 图像间只存在刚体变换的位移情况来实现亚像素配准参数的估计。 3 1 1 图像配准变换模型 如果将图像表示为一个二维函数，用分别用( x ，y ) 和l ( x ，y ) 表示待配准图 像和参考图像在点( x ，y ) 处的灰度值，那么图像序列间的配准关系可用以下数学 关系表示： 厶( x ，y ) = h ( i i ( f ( x ，少) ) ) ( 3 1 ) 其中玳表二维的空间扭曲变换函数：h 表示灰度值变换函数。配准的主要目的是 确定最佳的空间变换关系内灰度变换关系h ，使两幅图像在存在畸变的前提下实 现最佳的亚像素匹配。通常情况下灰度变换关系的求解并不是必需的，所以寻找 空间几何变换关尉g ，力便成为配准成败的关键。 图像空间几何坐标变换是建立从一幅图像坐标( x ，y ) 到另一幅图像坐标( x ， y ) 之间的变换关系。在图像配准中常用到的变换模型有刚体变换、仿射变换、投 影变换和非线性变换四种 1 0 】，下面将分别介绍这四种变换模型： 1 刚体变换 刚体变换仅局限于平移、旋转和镜像三种坐标变换关系，适用于配准具有相 1 4 第三章图像亚像素配准 同视角，但拍摄位置不同的来自同一传感器的两幅图像变换公式为 讣瞄劣l i l + 阴 2 ， 式中9 为旋转角度，。为水平和垂直方向的平移量。 2 仿射变换 仿射变换比刚体变换更具有一般性，它适应于平移、旋转、缩放和镜像四种 坐标变换关系，变换公式为： ；t = 芝：乏 ； + 乏 c 3 3 ， 仿射变换具有平行线转换成平行线和有限点映射到有限点的一般特性。 3 投影变换 投影变换模型适用于被拍摄场景是平面的情况。当像机距离被拍摄场景足够 远时，可以将被拍摄场景近似视为一个平面。这时，可用仿射变换模型来近似投 影变换模型。二维平面投影变换是正定的三维矢量线性变换，具体可用下面的非 奇异矩阵描述。 x ： - - y 。i = lm 2 1 z jl 聊。， m22剖?23m32 i 鸭3j 4 非线性变换 非线性变换包括了扭曲的坐标变换关系，它可以把一幅图像映射到另一幅图 像上的任意一种函数形式，如二次、三次函数及样条函数等多项式变换就是典型 的非线性变换。 3 1 2 图像配准的步骤 由于待配准图像的差异和退化模型的不同，因此我们不可能设计出一种方法 来完成所有的配准任务。配准方法不但要考虑图像之间的几何变形，而且还要考 虑其他几种因素，如光照强度改变、噪声干扰、配准准确度要求以及所用的数据 特征等。 大多数图像亚像素配准算法 4 3 】主要分为四个基本步骤( 特征检测、特征匹 配、映射函数设计以及图像变换和重采样) ，如图3 1 所示： 1 5 叶1 j， 1j x y z 第三章图像亚像素配准 图3 - 1 图像配准过程 1 ) 特征检测 如图3 - 1 中最上两幅所示，手动或者自动地检测显著的、独特的特征选取的 特征点，最好还可以体现物理意义，如区域的重心，边缘，轮廓，线段的两端， 有区别的点等等这些特征可以使用控制点如中心、线端终点或特殊的点来表示。 2 ) 特征匹配 在这一步中，建立待配准图像中检测到的特征与参考图像中检测到的特征之 间的关联关系。通过不同的特征描述字、相似性测度以及特征之间的空闻关系来 实现特征匹配。 3 ) 映射函数设计 设计空间变换方程的类型和参数，用来根据参考图像调整要配准的图像。空 间变换方程的参数通过建立的特征关系来计算，以达到配准图像之间，可以放置 在同一个坐标系下，且能正确的表示图像。 4 ) 图像重采样和变换 第三章图像亚像素配准 待配准图像通过空间变换方程来改变像素坐标。在非整数的坐标系中，图像 的像素使用合适的插值算法来计算，如双线性插值，三样条函数插值等，最终实 现图像的亚像素配准。 但是每个配准步骤的执行过程中都存在特定的问题。首先，必须确定对于给 定的图像采用特征的类型。特征应该是独一无二的，且它在频率上覆盖整个图像， 并且易于检测。最好还需要特征具有物理意义。在参考和待配准图像中检测的特 征集合必须具有足够多特征对，即使在当图像不能准确覆盖相同的场景或者其他 无法预料的变化的情况下。检测方法应该能够准确的定位，应该对假定的退化模 型不敏感。在理想的情况下，检测算法应该能够在所有场景的投影下检测出相同 的特征，与特定的图像变形无关。 由于成像条件和传感器光谱敏感性的不同，相应的物理特征可能不同。在特 征匹配阶段，特征描述字和相似性测度的选择必须考虑这些因素。特征描述字应 该对于假定的图像退化模型具有不变性。同时，它们必须存在足够的差异以能够 区别不同的特征，存在足够的稳定性以不受轻微的特征变化和噪声影响。因此， 匹配算法在空间不变性上应该具有鲁棒性和有效性。在其它图像中没有与之对应 匹配部分，这些单独的非特征对的集合应不影响算法的性能。 图像匹配变换方程的模型应该根据采集过程和假定的图像退化先验知识来 选择。如果先验信息很难估计，则选用的模型应该具备足够的灵活性和普遍性， 可以处理所有可能出现的退化：同时还必须考虑特征检测方法的准确度。 最后重采样算法的选择取决于所需的插值准确率和计算复杂度之间的折中。 在大多数情况下，领近插值或者双线性插值已经足够了；但是某些应用需要更加 准确的插值算法，以保证插值的准确度。 3 2 图像配准算法简介 图像配准算法大致可分为以下三类：基于灰度的图像配准方法，基于傅氏变换的 频域图像配准方法和基于图像特征的图像配准方法。 3 2 1 基于灰度的图像配准方法 该类方法直接利用整幅图像的灰度度量两幅图像之间的相似性 1 0 4 1 。然 后，采用搜索方法寻找使相似性度量最大或最小值点，从而确定两幅图像之间的 变换模型参数。下面将主要介绍基于最大互信，自, ( m u t u a li n f o r m a t i o n ) 作为相似性 准则的方法。 互信息是信息论中的一个重要概念，它可作为两个变量之间相似性的度量， 1 7 第三章图像亚像素配准 或一个变量包含