（通信与信息系统专业论文）map框架下图像超分辨率重建正则化算法研究.pdf

u n i v e r s i t yo fs c i e n c ea n dt e c h n o l o g yo fc h i n a adi s s e r t a t i o nf o rm a s t e r sd e gr e e r e s e a r c hf o r i m a g es u p e r - - 。- - 一 一 r e s o i u t i o nr e c o n s t r u c t i o n r e g ui a r i z a t i o na l g o r i t hm b a s e donm a p a u t h o r sn a m e ：d a p e n gx i e s p e c i a l i t y ：c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m s u p e r v i s o r ：p r o f p e i k a n gw a n g f i n i s h e dt i m e ： m a y , 2 0 1l 术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的 成果。除己特另l j ) j t l 以标注和致谢的地方外，论文中不包含任何他人已经发表或 撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作 了明确的说明。 作者签名：之秘 签字日期：三里丛上业 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入中 国学位论文全文数据库等有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内 容相一致。 保密的学位论文在解密后也遵守此规定。 毋公开口保密( 年) 作者签名：互蜀蟑 导师签名：三坠蝗 签字日期：签字日期：皇盟”o ! = 兰p 摘要 摘要 图像超分辨率重建( s u p e r - r e s o l u t i o nr e c o n s t r u c t i o n ，s r r ) ，是指运用信号 处理技术从一系列模糊、混有噪声的多幅低分辨率( l o w r e s o l u t i o n , l r ) 图像， 来创建一幅或多幅细节更加丰富的高分辨率( h i g h r e s o l u t i o n ，h r ) 图像。由于 s r r 技术是在不改变当前成像系统的硬件条件下，克服了成像系统所固有分辨 率的限制，最大程度的降低了使用成本。因此，s r r 技术是一种比较经济有效 的方案，在许多领域中都有着较为广阔的应用前景，近年来成为了国内外图像信 号处理领域的研究热点课题之一。 本文以超分辨率空域算法和图像降质过程的数学观测模型作为研究主线，简 要介绍了基于贝叶斯理论的图像s r r 最大后验概率估计( m a p ) 算法的原理及 推导过程。重点研究了基于m a p 框架下图像s r r 正则化算法的原理，通过对不 同全局代价方程的正则化算法进行仿真实现，结合相关理论，对现有s r r 算法 作进一步的分析，研究得到两种新的改进算法： 一是为了更好的保持重建图像边缘，以图像灰度连续性为先验信息，作为重 建图像的一个约束项，称之为梯度连续正则项，并结合双边滤波正则项( b t v ) ， 提出了一种基于双正则项的目标方程。实验结果证明了该方法能更好地抑制噪声 和保持边缘，且该算法对不同假设类型的噪声模型不敏感，鲁棒性较好，重建图 像的视觉效果和峰值信噪比( p s n r ) 均有一定的提高；并且，无论对假设的单 一噪声模型，还是混合噪声模型作用下的l r 图像序列重建，鲁棒性均较好。 二是提出了一种基于l o r e n t z i a n 范数估计和数据自适应核回归( a k t v ) 正则 项全局代价方程。l o r e n t z i a n 范数的基本思想是在s r r 重建中使异值对重建图像 的影响得到较大程度的减小。实验证明了该重建算法针对不同类型的噪声模型鲁 棒性较好，且重建图像边缘保持能力较强，从而得到较为清晰的单幅h r 图像， 且与其它几个经典方法相比，去噪能力更强，边缘保持较好。 关键词：超分辨率重建最大后验概率正则化项l o r e n t z i a n 范数 梯度连续自适应核回归 一 a b s t r a c t a b s t r a c t i m a g es u p e r - r e s o l u t i o nr e c o n s t r u c t i o n ( s r r ) i sad i g i t a ls i g n a lp r o c e s s i n g t e c h n i q u et or e c o n s t r u c to n eo rs e v e r a lh i i e l l r e s o l u t i o n ( h r ) i m a g e sf r o mas e to f b t u n 讽n o i s yl o w - r e s o l u t i o n ( l r ) i m a g e s s u p e r - r e s o l u t i o nr e c o n s t r u c t i o nt e e l m i q u e ns t i l lu s et h ec u r r e n ti m a g i n gs y s t e mw i t h o u tc h a n g i n gt h eh a r d w a r ec o n d i t i o n s ，t o o v e r c o m et h er e s o l u t i o nl i m i t a t i o n si n h e r e n t i ni m a g i n gs y s t e m sa n di t sc h e a p t h e r e f o r e ，s u p e r - r e s o l u t i o nr e c o n s t r u c t i o ni sap r o m i s i n gt e c h n i q u ew h i c hh a sb e e n w i d e l yu s e di nm a n yf i e l d s r e c e n t l y , s u c has u p e r - r e s o l u t i o nr e c o n s t r u c t i o na p p r o a c h h a sb e e no n eo ft h em o s ta c t i v er e s e a r c ha r e a s i nt h i st h e s i s ，w eb r i e f l yr e s e a r c h e dt h em a pa l g o r i t h mo fs u p e r - r e s o l u t i o n i m a g er e c o n s t r u c t i o nb a s e do nb a y e s i a nt h e o r ya c c o r d i n gt ot h ei m a g er e c o n s t r u c t i o n m o d e la n ds p a c ed o m a i na p p r o a c h w eh a v ei n t r o d u c e dt h ep r m c i # ea n dd e r i v a t i o n p r o c e s so ft h ea l g o r i t h m , a n df o c u s e do ni m a g es u p e r - r e s o l u t i o nr e c o n s t r u c t i o n r e g u l a r i z a t i o na l g o r i t h mb a s e do i lm 乙幢b yf u r t h e ra n a l y z i n gt h ee x i s t i n gs r r a l g o r i t h mb a s e do nd i f f e r e n tg l o b a lc o s tf u n c t i o no ft h er e g u l a r i z a t i o na l g o r i t h ma n d t h er e l a t e dt h e o r y , w eh a v ea c h i e v e dt w on e w i m p r o v e da l g o r i t h m s ： t l l ef i r s tp r o p o s e da p p r o a c hi sb a s e do nd o u b l er e g u l a r i z a t i o nb yt h eb t va n d t h ec o n t i n u i t yo ft h ei m a g eg r a d i e n t , a i m i n gt op r e s e r v et h ee d g ei n f o r m a t i o nb e t t e r , b t 比a u s ew ec a nc o n s i d e rt h ec o n t i n u i t yo ft h eg r a d i e n ta sp r i 嘶i n f o r m a t i o n n e e x p e r i m e n t sv a l i d a t et h a tt h ep r o p o s e dm e t h o di sn o ts e n s i t i v ea n dr o b u s tt ot h e i r d i f f e r e n ta s s u m e dn o i s em o d e l ，a n di tc a nr e m o v en o i s ea n dp r e s e r v ee d g e sb e t t e r i t a l s oh a sc o n s i d e r a b l ee f f e c t i v e n e s si nt e r m so f b o t hv i s u a le v a l u a t i o na n dp s n r s e c o n d l y , w ep r o p o s e da na p p r o a c hi n c l u d i n gan e wg l o b a lc o s tf u n c t i o nb a s e d o nl o r e n t z i a nn o r me s t i m a t o ra n da d a p t i v ek e r n e lr e g r e s s i o nr e g u l a r i z a t i o nt e r m t h e b a s i ci d e ao ft h el o r e n t z i a nn o r mi st or e d u c et h ei n f l u e n c eo fo u t l i e r si nt h ei m a g e d a t a t h ee x p e r i m e n t sd e m o n s t r a t et h a tt h ep r o p o s e dm e t h o di sn o ts e n s i t i v ea n d r o b u s tt ot h e i rd i f f e r e n ta s s u m e dn o i s em o d e l ，a n dt h er e c o n s t r u c t e dh i g h - r e s o l u t i o n i m a g e se d g e sa r em u c hd e a n e r ，a n dt h ed e t a i l sa l em o r ep r o m i n e n to v e ro t h e r t r a d i t i o n a lm e t h o d s k e y w o r d s ：s u p e r - r e s o l u t i o nr e c o n s t r u c t i o n ( s r r ) ，m a x i m u m ap o s t e r i o r i ( m a p ) ， r e g u l a r i z a t i o nt e r m ，l o r e n t z i a nn o r m ，c o n t i n u i t yo fg r a d i e n t ， a d a p t i v ek e m dr e g r e s s i o n i l i 摘要i a b s t r a c t i i i 目录v 第1 章绪论1 1 1 研究的背景和意义1 1 2 超分辨率重建技术的研究现状2 1 3 主要研究内容及论文组织结构3 1 3 1 主要研究内容3 1 3 2 论文组织结构3 第2 章超分辨率重建技术概述5 2 1 超分辨率重建的概念及前提条件5 2 2 数字成像系统及观测模型6 2 3 图像超分辨率重建需要解决的问题7 2 3 1 反解问题7 2 3 2 不适定问题8 2 4 图像超分辨率重建算法概述9 2 4 1 频域方法9 2 4 2 空域方法1 0 2 5 图像超分辨率重建算法评价标准1 4 第3 章图像超分辨率重建m a p 算法1 7 3 1 贝叶斯定理1 7 3 2m a p 算法原理及推导1 8 3 3 图像随机场模型1 9 3 3 1 吉布斯( g i b b s ) 随机场模型1 9 3 3 2 马尔柯夫( m a r k o v ) 随机场模型2 0 3 。3 3 高斯( g a u s s ) 随机场模型2 1 3 3 4g a u s s m a r k o v 随机场模型2 2 3 3 5b u b e r - - m a r k o v 随机场模型2 2 v 目录 3 4m a p 算法全局代价方程的求解2 3 第4 章m a p 框架下的正则化重建算法2 7 4 1 数据保真项分析2 7 4 2 正则化项分析3 0 4 2 1 拉普拉斯( l a p l a c i a n ) 正则项3 1 4 2 2 双边滤波( b t v ) 正则化项3 l 4 3 正则化参数的选取3 2 4 3 1 变长步长法3 3 4 3 2l 曲线法3 3 4 3 3 动态比例调整法3 4 4 4m a p 框架下正则化改进算法3 5 4 4 1 基于双正则项的全局代价方程3 5 方程3 8 4 2 4 5 4 5 4 6 4 7 5 1 5 3 第1 章绪论 1 1 研究的背景和意义 第1 章绪论 在图像处理领域中，衡量图像质量的一项重要指标就是图像空间分辨率，空 间分辨率是决定图像质量的重要因素，h r 图像意味着图像具有较高像素密度， 即分辨率的大小决定着图像能够提供细节信息的详细程度，这些细节往往在应用 中起到至关重要的作用，有利于对图像作进一步处理和分析。 目前，电荷耦合器件( c c d ) 和互补金属氧化物半导体器件( c m o s ) 图像传感 器己广泛应用于数字成像系统，然而在图像采集过程中，受其固有传感器阵列排 列密度的限制，所采集的数字图像空间分辨率往往不可能很高，并且决定图像细 节的高频信息，由于存在欠采样效应，往往会进一步造成图像的频谱交叠，使获 取的图像发生严重降质：另一方面，由于存在着大气扰动、传感器的形状及性能、 景物与摄像机之间的相对运动等因素，会使所采集的数字图像产生光学模糊、运 动模糊等各类模糊现象。此外，在图像采集、传输、存储过程中，以加性或乘性 噪声的方式引入了不同类型的噪声( 如高斯噪声、斑点噪声、椒盐噪声等) 。基 于上述各方面的原因，结果采集到的数字图像空间分辨率就会受到较大的影响， 从而造成了图像不同程度的失真。因此，为便于对图像作进一步的分析，我们就 希望找到某种可以提高数字图像分辨率的有效方法。 改进制造工艺是提高数字图像分辨率的最直接方法。然而若要提高采集设备 传感器的密度，即增加传感器阵列采样密度的方法来提高图像的空间分辨率，价 格相对昂贵，这在一般应用中是难以承受的，同时面临着较大的技术困难，这是 因为目前成像系统所固有图像传感器排列密度己接近极限，基本上不具备提高的 空间。因此我们设想在不改变当前数字成像系统的硬件条件下，从信号处理方面 着手来提高图像分辨率的方法，就有着极大的现实意义和应用价值。 所谓图像超分辨率重建( s r r ) ，是指运用信号处理技术从一系列模糊、混有 噪声的多幅低分辨率图像中，提取该序列之间存在的附加空域和时域信息，去创 建一幅或多幅细节更加丰富的高分辨率图像。由于s r r 技术不改变当前成像系 统的硬件条件，克服了成像系统固有分辨率的限制，最大程度降低了使用成本。 因此，s r r 技术是一种比较经济有效的方案，近年来成为了国内外图像信号处 理领域的研究热点课题之一。 s r r 技术已经广泛应用于军事、遥感、医学、监控、公安等众多领域中去， 同时有着非常重要的使用价值和广阔的应用前景。例如，高分辨率遥感图像可以 第1 章绪论 区分开地球表面上的相似物体：高分辨率医学图像可以帮助医生做出准确的诊 断；高分辨率安防监控图像可以识别录像中的目标特征，如确认案发现场人员的 面部细节或者汽车牌照辨识等。 1 2 超分辨率重建技术的研究现状 上世纪六十年代，h a r r i s 和g o o d m a n 最早提出了仅仅利用单幅图像实现进 行s r r 的概念和方法。1 9 8 4 年，t s a i & h u a n g 首先提出了用频率域方法实现多 帧s r r 。所谓频率域方法，是指其观察模型基于傅里叶变换的平移性质，来完 成在频率域内求解图像内插的问题。这种方法直观简单且计算较为简单，但不能 利用图像空域先验信息，缺乏数据间的相关性，仅局限于全局平移运动，并且对 模型误差较为敏感，从而限制了其使用范围。因此，频率域方法已不在成为研究 的主流。 随着信息技术及优化理论的飞速发展，国内外学者在图像超分辨率领域中取 得了突破性进展，陆续提出了许多可以较好利用图像先验信息的基于空域的方 法，其具有较强包含空域先验约束信息的能力，如凸集、模糊与运动信息、马尔 柯夫随机场等先验约束。s r r 的空域方法主要包括：迭代反向投影法、凸集投 影法( p o c s ) 、m a p 法、混合p o c s m a p 法、正则化方法、小波方法、基于学 习的方法等心1 。其中基于m a p 框架下图像超分辨率正则化方法可以直接加入先 验信息约束、去噪能力强、收敛性好，灵活性强、适用范围广，是当前s r r 算 法研究的热点。s r r 是一种病态反问题求解，然而可以通过添加正则化项来稳 定此类反问题求解，从而使所求的解趋于平滑。正则化项运用待求h r 图像一些 的先验信息来弥补l r 图像序列中丢失的数据，从而可以有效去除所求解中的异 值，同时也提高了解的收敛速度。在图像重建具体实施过程中，正则化项就是最 小化全局代价函数中的一个惩罚因子。常用的正则项有拉普拉斯( l a p l a c i a n ) 正则 项、总变差( t v ) 正则项、双边滤波器( b t v ) 正则项等。其中，b t v 正则项能够 较好去除噪声，保持图像边缘信息，是一种重建效果较好的正则项。 超分辨率图像重建的好坏取决于较多因素，如贴近实际的假设降质模型和精 确的运动估计等，但目前的重建模型和运动估计技术还有待于进一步提高。在正 则化求解过程中，数据保真项是实际图像和估计图像之间的误差。误差越小，说 明重建的图像越接近真实图像。然而以往提出的图像s r r 正则化算法的数据保 真项大多是基于l l 或l 2 范数估计。但l 2 范数仅仅去除高斯分布类噪声效果较 好，而l 1 范数对拉普拉斯分布类噪声有较好的去噪效果，而对高斯类噪声重建 效果一般。因此，这些s r r 算法通常对假设噪声模型以外的异值较为敏感，这 2 的实用性，也是我们研究的课题之一。 1 3 主要研究内容及论文组织结构 1 3 1 主要研究内容 主要研究了由同一场景的多幅l r 图像来创建一幅h r 图像的基于m a p 框架 下图像超分辨率正则化方法，并对其进行分析和改进，使该重建算法针对不同类 型的噪声模型鲁棒性较好，且重建图像边缘保持能力较强，从而得到较为清晰的 单幅h r 图像。主要研究内容如下： 1 图像观测模型：介绍了数字图像的成像过程。s r r 的第一步就是要建立起连 接h r 图像和l r 图像序列之间关系的一种观测模型，它是对图像退化过程 的一种数学建模，其准确性直接影响了s r r 算法的实际效果。 2 阐述了基于贝叶斯理论的图像超分辨率重建m a p 算法的原理及推导过程； 其中m a p 算法中的图像先验概率模型通常需要具备凸函数性质、局部平滑 和边缘保持能力的特点，为此，我们讨论了几种常用的先验概率模型。 3 研究基于m a p 框架下图像超分辨率正则化算法的原理，介绍了几种正则化 参数的选取方法，对不同全局代价方程的正则化算法进行仿真实现，并结合 相关理论，对现有m a p 框架下s r r 正则化算法作进一步的分析与改进。研 究得到两种改进算法：一是提出了一种以图像灰度连续性为先验信息，作为 重建图像的一个附加约束项，即梯度连续正则项，并结合b t v 正则项，构成 了一种基于双正则项的目标方程：二是提出了一种基于l o r e n t z i a n 范数估计 和a k t v 正则项的全局代价方程。实验证明了提出的这两种重建算法针对不 同类型的噪声模型鲁棒性较好，且重建图像边缘保持能力较强，从而可以得 到较为清晰的单幅h r 图像。 1 3 2 论文组织结构 第一章主要介绍了图像s r r 的研究背景、研究意义以及国内外的研究现 状。 第二章首先简要介绍了数字成像系统的特性，并使用数学建模方法对整个 图像退化过程加以描述，并对其进行了分析，给出了图像观测模型；对图像s r r 第1 章绪论 过程中的不适定反问题求解进行了讨论；详细综述了现有的典型图像s r r 算法 的主要思想和具体实现过程：最后介绍了对于重建图像效果的主、客观评价标准。 第三章本章首先介绍了贝叶斯定理，详细讨论了基于此理论的图像s r r 最 大后验概率估计算法的原理及推导过程；最后分析了几种h r 图像的先验概率模 型，并加以对比。 第四章详细介绍了m a p 框架下图像s r r 正则化算法的原理。对全局代价 方程中的数据保真项和正则化项在s r r 过程中所起的作用进行了分析，并讨论 了正则化参数的选取方法：最后对采用不同范数的数据保真项和不同正则化项的 重建效果在定性分析和仿真结果上作出了比较，最后提出了两种较好的改进算 法。 第五章对全文进行总结，然后展望了未来的研究方向。 4 型，重点讨论了现有的各种超分辨率重建算法的基本思想。 2 1 超分辨率重建的概念及前提条件 测模 如前文所述，运用信号处理技术从一系列模糊、混有噪声的多幅l r 图像中， 提取该序列之间存在的附加空域和时域信息，去创建一幅或多幅细节更加丰富的 h r 图像，这种方法就称之为图像超分辨率重建。由于s r r 技术应用范围广泛， 可以在不改变现有成像系统硬件的条件下，达到提高图像分辨率即清晰度的目 的；并且使用成本低，是一种较为经济有效的方案，因此s r r 技术在许多领域 都有着良好的应用前景。 在图像超分辨重建技术中，能够得到某一场景的多幅相互之间具有不同信息 内容的l r 图像序列是利用该序列重建一幅或多幅h r 图像的基本前提条件担1 。 l r 图像序列包含基本相同的信息是指，图像序列之间仅存在像素的整数倍平移， 此时通常不具备s r r 的前提条件。而所谓l r 图像序列包含有不同信息内容， 指的是图像序列中存在着不同的亚像素平移，当且仅当具备这个条件时，才有可 能从此l r 图像序列中获得新的信息，从而达到重建一幅h r 图像的目的。通常 来讲，可以利用不同位置和角度的多个成像系统对同一场景拍摄，也可以使用相 同成像系统对同一场景进行多次拍摄，来获取多幅低分辨图像。在图像拍摄获取 的过程中，场景中物体和摄像机之间的相互运动会产生位移，这时，如果我们能 够估计出亚像素级的运动信息，那么才有可能实现超分辨率图像重建，如图2 1 所示。 豳 图2 1 图像s r r 的基本前提 ：参考l r 图像 第2 章超分辨率重建技术概述 2 2 数字成像系统及观测模型 现实世界的任何可视物体通常可以认为是密集发光点的聚合。在数字成像系 统”中，发光点发射的光线经过成像系统的一系列传输，然后投射到由c c d 或 c m o s 构造成的传感器单元阵列平面上，物体的亮度信息经传感器单元光电转换 后成为电信号，陆续经过采样、量化和编码等一系列变换，便成为了数字图像。 理想的h r 图像通常具有良好的高频边缘细节信息，然而由于各方面实际条件的 限制，如数字成像系统相对于真实世界的图像，不具备提供充分高带宽的能力， 从而降低了成像的分辨率；另外，当前c c d 或c m o s 传感器件的制作工艺水平 决定了传感器单元数目的有限性，因此，通过当前成像系统得到的图像分辨率明 显低于真实图像。 为了便于较深入的研究s r r 算法，通常需要从数学分析的角度来建立起连 接h r 图像和l r 图像序列之间关系的一种观测模型，也可称之为h r 图像的退 化模型或数学降质模型。h r 图像经过一系列降质得到l r 图像的过程如图2 2 所示。 图2 2 图像降质过程 h r 图像：是指连续场景经过连续到离散的采样，且采样中满足奈奎斯特采 样准则，即在频域内没有混叠，这样即可得到的理想h r 图像。 几何形变：是指在图像获取过程中现实图像相对于c c d 传感器或c m o s 传 感器所产生的平移、旋转等相对运动。通常可分为局部运动和全局运动，局部运 动是指图像场景内的多个物体具有不同的运动特性，这就需要用不同的运动参数 来表示；而全局运动则相对简单，它是指整个图像场景的所有物体具有同样的运 动特性，可以采用水平和垂直方向的位移数据来表示，此时若图像具有旋转特性， 则位移不是整数。在图像s r r 中，重建图像的质量与运动信息的准确性有着至 关重要的关系，通过图像亚像素配准即可得到图像全局运动和局部运动的位移参 数。由于本文对图像配准不作研究，所以后面章节的实验中均假设l r 图像序列 已完成配准工作，且参数已知。 模糊：是指在成像过程中所经历的模糊过程。产生模糊的原因主要有被摄场 6 第2 章超分辨率重建技术概述 景与成像系统之间的相对运动、光学系统在成像过程中的失焦、图像传感器点扩 散函数( p o i n ts p r e a df u n c f i o n ，p s f ) 的作用等。例如，对h r 图像空间邻域取平 均值即得到l r 图像，这种操作就相当于点扩散函数的作用。研究s r r 算法理 论时，通常假设模糊信息是已知的，但在实际图像处理中，往往很难得到模糊信 息，这就需要对图像进行模糊辨识。 下采样：把图像看作是一个矩阵，那么对该矩阵中的数据分别在水平和垂直 方向上每间隔几个值就取样一次，这样得到的新矩阵就是原矩阵的下采样，也就 是说，下采样就是抽取原矩阵的子矩阵。在图像获取过程中，原始h r 图像在经 历了形变和模糊操作后，然后经过下采样，便得到频谱混叠的l r 图像。 噪声：是指在数字图像获取过程中，由于成像系统与真实场景之间的相对运 动及空气扰动等原因所产生的噪声，如获取过程中所引入的高斯噪声或图像采样 量化所产生的椒盐噪声等。 可见，在获取图像的过程中，l r 图像可以看成是由f i r 图像经过运动变形、 模糊作用、下采样以及受到成像系统和外界中的各类随机噪声等退化因素的影响 而得到的，整个过程可以用数学建模公式表示为： y k = m - h f k x + n k k = - i ，2 ，p ( 2 1 ) 其中：x 为h r 图像，大小为l l n l l 2 n 2 ；y k 为第k 帧l r 图像，大小为 n lx n 2 ：l l 和l 2 分别为水平和垂直方向的下采样因子：p 为低分辨图像的幅数： f k 、h k 、d l 【分别表示几何运动矩阵、模糊矩阵、下采样矩阵，f k 、h k 大小均为 l l n l i 之n 2 x l l n l l 2 n 2 ：d k 大小为n l n 2 x l l n l l 2 n 2 ；n k 大小为n l n 2 ，表示图像 降质过程中的各类噪声模型。 假设z k 代表图像成像过程中全部的退化矩阵，则可将式2 1 重写为 y k = 麒+ n k k - = - i ，2 ，p ( 2 2 ) 图像s r r 的目的就是使用观测到的p 幅l r 图像，运用各种s r r 算法来重 建出h r 图像x 。 2 3 图像超分辨率重建需要解决的问题 超分辨率图像重建是一个不适定的反解问题【4 1 。下面，我们分别从反解与不 适定两个方面来加以说明。 2 3 1 反解问题 所谓反解问题，指的是在两个问题中，若一个问题的求解需使用另一个问题 1 第2 章超分辨率重建技术概述 的相关知识，则称这两个问题互为反解问题。一般情况下，我们如果可以得到一 个问题的较多先验知识，且对此进行了深入的研究和理解，但另一个问题基本上 没有获得较好的研究。通常称前一问题是正解问题，后一种称之为反解问题。具 体应用到图像s r r 中，则可以表述为：如果在某一场景的h r 图像为已知的条 件下，此时假设成像系统模型的各种参数已知，需要通过成像系统得到该场景的 多幅具有不同信息的l r 图像序列，这种情况就称为正解问题。相反，如果在 l r 图像序列和成像系统的降质模型参数己知的条件下，来估计原始h r 图像， 此时就称之为反解问题。 2 3 2 不适定问题 通常所说的不适定问题指的是该问题不能同时完全满足解的“存在性、唯一 性、稳定性”这三个条件，这种条件称之为h a d a m a r d 条件哺1 ，超分辨率图像重 建问题由于其图像观测模型不能较为准确的代表实际降质过程，往往不能够完全 满足h a d a m a r d 条件，以下对其作具体分析： 1 解的不存在性 由于在l r 图像的获取过程中，成像系统受到了噪声影响，这就会使观 测得到的图像序列与给定的原始场景不一致，进一步导致成像系统是不可逆 的，从而就无法从l r 图像序列中准确的估计出原始h r 图像。 2 解的不唯一性 图像s r r 过程中，如果观测得到的l r 图像序列不能够提供足够多的 信息时，即数学观测模型中的方程个数小于未知变量的个数，此时称之为欠 定方程组，即解的限制条件不够，从而就导致了解的不唯一性；另外在表示 观测模型部分是多对一的情况下，退化模型是奇异的，这样也会导致解的不 唯一性。例如，对于一个原始场景的p 帧l r 图像，其每帧图像均有n 个像 素，一共可以提供p n 个相互独立的约束限制条件。再假设原始h r 图像的 像素点个数为m p n ，那么由于已知的约束限制条件个数p n 小于未知像素 点的个数，则该问题显然没有充足的限制条件来确保解的唯一性。而实际成 像过程中，得到的降质l r 图像序列总会丢失一部分数据信息。因此，在通 常情况下，超分辨率重建问题的解不具有唯一性。 3 解的不连续依赖性 由于图像成像系统和图像降质模型的自身固有特性，此类反解问题的 求解对于图像观测数据的扰动极为敏感，即某一较小的噪声干扰往往会导 致重建图像中具有较大的偏差。尽管理论上来讲，成像系统是可逆的，存 在着待求的解，然而实际上它的解不具有稳定性，任意一高频部分的噪声 第2 章超分辨率重建技术概述 将会导致重建结果产生较大的伪信号，进而导致重建的失败。 通过以上分析，除了极少数的理想情况下，在实际实用中，绝大多数超分 辨率图像重建问题都属于不适定的反问题范畴。不适定性是反问题自身所固有 的属性，这就需要添加一定的解的先验附加信息( 如解的有界性、光滑性等) 来加以克服，此类附加数据信息的主要作用是根据已知的关于解的先验信息来 缩小或限制解的空间范围。这种对丢失的数据信息通过一定解的先验附加信息 来尽可能稳定不适定反解问题的求解方法，称之为正则化方法【6 1 ，我们将在后 续章节里作详细的论述和具体的分析。 2 4 图像超分辨率重建算法概述 随着信息技术的飞速发展，国内外研究学者们陆续提出了许多种超分辨率图 像重建算法，这些算法大致可分为两大类：频域方法和空域方法。 2 4 1 频域方法 上世纪八十年代，t s a i & h u a n g 首先提出了用频率域方法实现多帧图像 s r r 。频域法的观测模型是基于傅立叶变换的平移特性，其本质上是在频率域内 解决图像内插问题。频域法主要基于下列三条基本性质： ( 1 ) 傅立叶变换的平移特性； ( 2 ) 离散傅立叶变换与连续傅立叶变换之间的频谱混叠关系； ( 3 ) 原始场景带宽是有限的。 应用频域方法时，通常只考虑图像存在全局平移运动，现假设x ( w l ，w e ) 为连续场景x ( t l , h ) 的连续傅立叶变换，则通过平移运动产生的第k 幅平移图像可 以表示为： 藏o l ，f 2 ) = 砸l + 挽“t 2 + 夙：)k = l ，2 p( 2 3 ) 那么第k 幅平移图像的连续傅立叶变换可以根据其平移特性表示为： 彪( 幼，a n ) = e x p 2 硝( & 幼+ s k ：c 0 0 x ( 幼，c o o( 2 4 ) 然后再对平移图像x k c t l ，t 2 ) 进行水平和垂直方向的下采样因子为l l 和l 2 的采 样，即得到l r 图像y k ( t l ，t 2 ) 。再依据h r 图像与l r 图像信号频谱间的混叠关 系，假设x ( w l ，w 2 ) 为带限的，可以表示为： i x ( 幼，缈：) l = o ，( i 缈1 i ( 普) ，i 缈z l 之( 普) ) ( 2 5 ) 此时，h r 图像的连续傅立叶变换与平移采样图像的离散傅立叶变换之间的 关系可以用下式表示： 川q t ，q ：】_ 击舷 鲁( 鲁+ 功) ，2 n ( f 1 匹2 + 刀z ) 】 ( 2 6 ) h i - - - 0 n 2 - - - 0 o 第2 章超分辨率重建技术概述 将式2 6 表示为矩阵形式如下： y = 蚪( 2 7 ) 其中：y 为p 1 的列向量，图像y k ( t l ，t 2 ) 的离散傅立叶变换即是y 的第k 个 元素；x 为l l l 2 1 的列向量，表示待求x ( t l ，t 2 ) 的连续傅立叶变换。矽表示y 与 x 之间的关系，矩阵大小为p l i k 。因此，h r 图像的重建问题就转化为先确 定矽矩阵再求反解的问题。 频域方法所依据的理论相对简单，计算复杂度低，且较容易实现并行处理， 拥有较为直观的去变形图像超分辨率机制。然而频域法也存在显而易见的缺点， 主要是其基于的理论前提较为理想化，仅仅局限于全局平移运动及线性空间不变 退化模型，故其不能有效的适用于多数场合，不具有较好的包含空域先验信息能 力。 针对频域方法的上述缺点，1 9 9 2 年，t e k a l p 和o z k a n 盯1 考虑了线性平移不变 的p s f 函数与高斯白噪声的影响，提出了相关的改进算法，但仍然存在适应范 围小的弊端，且当l r 图像存在旋转时，重建效果较差。2 0 0 6 年，p v a n d e w a l l e 与s s u s s t r u n k m l 针对l r 图像序列间存在旋转的情况，利用频域内积分的方法， 将空域内的旋转参数变换到频域内的平移参数，然而效果仍然不够理想。总而言 之，目前频域方法不能取得一定的突破，已不再成为研究的主流。 2 4 2 空域方法 超分辨率图像重建的空域方法是在空域内对前向观测模型进行定义和求解。 空域法不仅能够较为灵活的处理全局或局部运动、运动和光学模糊、各类噪声作 用以及各类模型边界条件等问题，并且可以充分利用模糊、运动、马尔柯夫随机 场等各种先验知识作为重建图像的约束项，从而使重建的图像有着较好的物理意 义。空域方法适用范围广，灵活性强，是当前超分辨率图像重建问题研究的热点。 根据超分辨率图像重建处理问题的思想方式的不同，空域方法又可以进一步 分为迭代反向投影法、非均匀插值方法、凸集投影法( p o c s ) 、最大后验概率 ( m a p ) 方法、混合m a p p o c s 方法、基于学习的方法、小波域方法、正则化 方法等。 ( 1 ) 迭代反向投影法( i b p ) 图像迭代反向投影算法陋儿引的基本思想是：在图像s r r 的迭代求解过程中， 根据假设的数学观测模型，将重建获得的h r 图像的初始值转化为l r 图像，然 后再用该l r 图像与观测的l r 图像之间的差值和模糊矩阵一起构成反向投影算 子，从而对下一次迭代的h r 图像进行修正估计。迭代反向投影算法理解起来较 1 0 的病 下几 降质 过程大致相符时，使用修正因子进行迭代求解，才能重建出期望的h r 图像。 b 反向投影算子中，对误差有着不同的计算方法，这就需要怎么选择最优 方法的问题。 c 迭代所求解的存在性和唯一性。有时迭代反向投影法并不能保证待求解 的存在，这是因为图像降质过程中各类噪声的存在。并且，由于在图像s r r 过 程中，己知的图像数据量远小于未知的数据量，这样就不会出现未知h r 图像与 l r 图像一对一的情况，即有可能出现多对一的映射，这样就不能确保经过误差 最小值修正得到高分辨图像的估计值就是最优的。 d 迭代求解所得估计值的更新方法。通常情况下，即便使用误差确定了反 向投影算子，再把估计的图像反向投影，来进一步更新当前的估计值，仍然需要 进行估计图像降质模型的逆过程，这在实际计算中较为困难。 ( 2 ) 非均匀插值方法 非均匀插值方法晗1 是一种较为直观的s r r 算法，其基本思想是：首先运用 l r 图像序列之间的相对运动信息，经过亚像素配准到同一h r 图像的网格上， 构成了一幅非均匀间隔采样的复合图像，然后再对此类采样点进行内插与重采 样，即得到了一幅增强分辨率的图像，最后对其进行去模糊与去噪处理得到超分 辨率图像，全部步骤如图2 3 所示： ，r、，、厂、 _ _ - 。一 配准瞰网格 去模糊 j e 均匀 1。 运动估计 去嗓 插值 _ _ _ _ - l 图2 3 非均匀插值步骤 图2 4 为非均匀插值过程的图示，其中配准后的l r 图像分别用三角、圆、 方形来表示，由于它们中绝大部分不在h r 图像网格上，这就需要用双线性插值 或三样条插值等算法对其进行内插，从而重建出近似的h r 图像。由此可见，非 均匀插值方法是基于内插的s r r 算法，其主要优点就是计算量相对较小，这在 实时图像处理中有着一定的应用价值。然而非均匀插值方法的缺点也显而易见， 第2 章超分辨率重建技术概述 其一是该方法在图像重建过程中配准、插值、去模糊是分步实施的，这就要求 l r 图像序列要有共同的噪声分布和模糊因子；其二是它只是对当前数据信息的 简单融合，未能使用原始图像的先验知识对内插的图像进行约束，并且当噪声较 大时，该算法最终不能得到稳定的解，故其使用的范围相对较小。 l r 图像 + 序列 ，、 ，j 、口，、口，、口 ， ，、 口 口口 ，、 、， 口口口 配准高分辨率网格 图2 4 配准非均匀插值 ( 3 ) 凸集投影法( p 0 c s ) s t a r k 和o s k o u i n 们首先提出了超分辨率图像重建p o c s 算法，它可以在重建 过程中把原始h r 图像的相关先验知识利用起来，通常这些先验信息代表着原始 图像的某些特有性质，如能量有界性、非负性、局部平滑性及观测数