（信号与信息处理专业论文）超分辨率重建算法研究.pdf

重庆人学硕士学位论文 中文摘要 摘要 图像复原技术应用广泛，近年来图像超分辨率重建技术成为图像复原领域中一 个研究热点，该方法通过对图像序列作信息融合、去除模糊和去噪声等操作，从 低分辨率序列的多幅图像中恢复细节更精细的高分辨率图像，是一种既经济又容 易实现的图像分辨率提高方法。图像超分辨率重建突破了传统的第一代图像复原 技术的限制，并以理论的严格性和应用的广泛性吸引着大批专家、研究学者的不 断参与和探索，国外的许多研究机构也将其列为重要研究方向。 本文从超分辨率重建过程的几个关键环节入手，在分析目前国内外图像超分 辨率重建技术研究现状的基础上，针对降质图像序列的超分辨率重建问题进行研 究，分析了超分辨率重建问题中图像序列的降质过程，重建过程和不适定问题， 并用最4 , - - 乘法，自适应正则化结合分步迭代的方法对图像序列进行重建。第一 次迭代是由单幅低分辨率重建临时图像，降低了运动模糊矩阵的计算复杂性，第 二次迭代则利用相邻图像的高度相关性，大大减少迭代次数，同时节省了迭代所 需的内存空间，发挥了两者的优势；还引入了自适应正则化的方法，使图像重建效 果更好。 实验结果表明，本方法可以有效的重建出高分辨率图像，复原图像的峰值 信噪比和主观视觉效果等方面都有显著的提高。 关键词：超分辨率重建；图像序列；最1 1 , - - 乘法；自适应 a b s t r a c t i m a g er e s t o r a t i o nt e c h n i q u ei sw i d e l yu s e d i m a g es u p e r - r e s o l u t i o nr e c o n s t r u c t i o n o fi m a g ep r o c e s s i n gi nr e c e n ty e a r sh a sb e e nar e s e a r c hh o t s p o ti nt h ef i e l do fi m a g e r e s t o r a t i o n nh a sar e s e a r c h i n g s i g n i f i c a n c ei nt h e o r e t i c a l l ya sw e l la sab r o a d a p p l i c a t i o ni np r a c t i c a l l y s u p e r - r e s o l u t i o nr e s t o r a t i o ni sa ne c o n o m i ci m a g ep r o c e s s i n g m e t h o dt h a tr e s t o r e sh i g h e l r e s o l u t i o ni m a g e sc o n t a i n i n gm o r ed e t a i l sf r o ma ni m a g e s e q u e n c eo fl o w e rr e s o l u t i o n ，t h r o u g hs u c hm e t h o d sa si m a g ef u s i o n ，d e b l u r r i n ga n d d e n o i s i n g i m a g es u p e r - r e s o l u t i o nr e c o n s t r u c t i o nb r e a k st h er e s t r i c t i o n so ft h ef i r s t g e n e r a t i o no f t h et r a d i t i o n a li m a g er e s t o r a t i o nt e c h n o l o g y a n dw i t ht h es t r i c to f t h e o r y a n de x t e n s i v ea p p l i c a t i o n ，i th a sm a d eal a r g en u m b e ro fe x p e r t s ，r e s e a r c h e r s a n d s c h o l a r st op a r t i c i p a t ei na n de x p l o r e l o t so ff o r e i g nr e s e a r c hi n s t i t u t i o n sa l s oh a v e m a d ei tt ob et h e i ri m p o r t a n td i r e c t i o no fs t u d y t h i sp a p e rh a sac o m p r e h e n s i v ea n a l y s i so fc u r r e n td o m e s t i ca n di n t e m a t i o n a l i m a g es u p e r - r e s o l u t i o nr e c o n s t r u c t i o nt e c h n i q u er e s e a r c h a i m i n ga tt h er e s t o r a t i o no f d e g r a d e di m a g es e q u e n c es u p e r - r e s o l u t i o nr e c o n s t r u c t i o n ，i m a g es e q u e n c ed e g r a d e d p r o c e s sa n dr e c o n s t r u c t i o n p r o c e s s o f i l l p o s e dp r o b l e m i n s u p e r - r e s o l u t i o n r e c o n s t r u c t i o na r ea n a l y z e di nt h i sp a p e r u s et h em e t h o do fl e a s t s q u a r em e t h o d ， a d a p t i v er e g u l a r i z a t i o na n dd i s t r i b u t i o ni t e r a t i o nt or e c o n s t r u c ti m a g es e q u e n c e t h e f i r s ti t e r a t i o ni sf r o mt h es i n g l el o w r e s o l u t i o ni m a g et ot h ei n t e r i mi m a g et o a v o i d c o m p u t a t i o n a lc o m p l e x i t yo fs p o r t sf u z z ym a t r i x t h es e c o n di t e r a t i o ng r e a t l yr e d u c e s t h en u m b e ro fi t e r a t i o nw i t hh i g h l yr e l e v a n ti m a g e s a tt h es o m et i m e ，s a v em e m o r y s p a c ew h a tt h ei t e r a t i o nr e q u i r e da n de x e r t st h ea d v a n t a g e so fb o t h a l s ot h e i n t r o d u c t i o no f a d a p t i v er e g u l a r i z a t i o nm e t h o di su s e d ，s ot h a ti m a g er e c o n s t r u c t i o nc a n b eb e t t e r t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sm e t h o di se f f e c t i v e ，a n dt h ep s n r o f t h er e c o n s t r u c t i o ni m a g ea tp e a ka n dt h es u b j e c t i v ev i s i o ne f f e c tw e r es i g n i f i c a n t l y i m p r o v e d k e y w o r d s ：s u p e r - r e s o l u t i o nr e c o n s t r u c t i o n ；i m a g es e q u e n c e ；l e a s ts q u a r em e t h o d ； a d a p t i v e i i 学位论文独创性声明 本，人。枣，哩。所黑 交 的墨l 士 学位论文 丝坌丝至耋垒翌益堑塞是袤不又在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论 文中不包含其他人己经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的任何贡献均己在论文中作了明确的说明并表示了谢意。 学位论文作者签 导师签名： 名：2 丰羽 艚 签字日期：2 0 0 9 , 莎，了f 学位论文使用授权书 本人完全了解重庆大学有关保留、使用学位论文的规定。本人完全同意中 国博士学位论文全文数据库、中国优秀硕士学位论文全文数据库出版章程( 以 下简称“章程，) ，愿意将本人盼硬士学位论文起玢所篁重建箅藏研叠提 交中国学术期刊( 光盘版) 电子杂志社( c n ) 在中国博士学位论文全文数据 库、中国优秀硕士学位论文全文数据库以及重庆大学博硕学位论文全文数 据库中全文发表。中国博士学位论文全文数据库、中国优秀硕士学位论文 全文数据库可以以电子、网络及其他数字媒体形式公开出版，并同意编入c n l ( i 中国知识资源总库，在中国博硕士学位论文评价数据库中使用和在互联 网上传播，同意按“章程”规定享受相关权益和承担相应义务。本人授权重庆大学 可以采用影印、缩印或其他复制手段保存论文，可以公开论文的全部或部分内容。 作者签名：蛔望 导师签名：笙巡 2 0 0 7 年箩月多j 日 备注：审核通过的涉密论文不得签署“授权书”，须填写以下内容： 该论文属于涉密论文，其密级是，涉密期限至 年一月一日。 说明：本声明及授权书! l 逝装订在提交的学位论文最后一页。 重庆大学硕十学位论文 1 绪论 1 绪论 1 1 问题的提出背景及研究意义 自从1 9 7 0 年以来，人们广泛使用图像传感器来获取数字图像，但是在数字 图像的采集与处理过程中，有许多因素会导致图像分辨率的下降，如传感器的 形状和尺寸、光学仪器的性能( 如点扩散函数：p s f ，p o i n ts p r e a df u n c t i o n ) 引起的光学模糊，为节约存储过程而压缩图像或者视频以及采集对象的运动带来 的运动模糊。另外，在成像、传输、存储过程中，会引入不同类型的噪声( 如 高斯、椒盐噪声等) ，且其引入方式也不同( 加性或乘性噪声) ，这些都会直接 影响到图像的分辨率。此外，数字化采集过程也会影响图像的分辨率，欠采样 效应会造成图像的频谱交叠，使获取的图像因变形而发生降质，尤其是经过压 缩的图像，会产生量化噪声和编码效应等。提高图像分辨率最直接的办法就是 提高采集设备传感器的密度，然而高密度的图像传感器的价格相对昂贵，在一 般应用中难以承受；另一方面，成像系统受其固有传感器排列密度的限制，目 前成像分辨率已接近极限【l 】。提高图像分辨率的另一方法是提高芯片尺寸，但 这将导致电容的增加和电荷转移速度的下降。因此，为了满足人们低成本同时 又能显著提高图像分辨率的需求，研究人员引入软件思想，提出了从多个低分 辨率图像或图像序列中重建高分辨率图像的方法，使用信号处理技术从多幅低 分辨率( l o wr e s o l u t i o n ，l r ) 图像来获得一幅高分辨率( h i g hr e s o l u t i o n ，h r ) 图像或者高分辨率图像序列，这样的方法称为超分辨率( s u p e rr e s o l u t i o n ，s r ) 图像重建。超分辨率图像重建【2 巧】的核心思想就是利用拍摄目标的先验信息、单 幅图像的信息以及多幅图像间的补充信息，以时间带宽换取空间分辨率，提取 出多幅低分辨率图像中的高频信息，使重建结果更接近于理想未退化图像，正 因如此，这种新技术的分辨率增强能力是传统的第一代单幅图像复原技术所不 能及的，这种优势也使得图像超分辨率问题成为相关领域的研究热点。“超分辨 率 中的“超”字非常好地描述了其克服低分辨率成像系统中固有的分辨率限 制的这种技术特性，所以本文采用“超分辨率图像重建”来指用于提高分辨率 的信号处理方法。信号处理方法的主要优点是它花费较少，并且现有的低分辨 率成像系统仍然可以被利用。利用超分辨率技术可以： 改善由于图像数字化引起的空间分辨率下降； 改善由于图像模糊引起的空间分辨率下降； 发掘现有图像数据如多角度、多时相、多平台遥感图像、序列图像等的 潜力。 重庆人学硕十学位论文 1 绪论 超分辨率技术在安全监控，军事和医学等领域都有十分重要实用意义： 在数字电视( d t v ，d i g i t a lt e l e v i s i o n ) 高清晰度电视( h d t v ，h i g hd e f i n i t i o n t e l e v i s i o n ) 过度阶段，仅有部分电视节目会以h d t v 的形式播出，不少节目采用的 是d t v 的形式。因此，可以利用超分辨率重建技术将信号转化为与接收机相匹配 的信号，提高电视节目的兼容性。也可以进行合成视频变焦( 把视频显示的某一区 域按某一倍数进行扩大，然后重新播放) 。 公共安全领域，视频信号是由连续的多幅影像序列排列的，若对视频信 号中的某一段进行处理，就可得到更高分辨率的静止图像，此即为视频信号的 帧“冻结 技术。这对于普通摄像机监控系统，能更有效的提高识别能力。例 如，在银行、证券等部门的安全监控系统中，当有异常情况发生后，可对监控 录像进行超分辨率，提高目标图像的分辨率，从而为事件的处理提供重要的线 索，有利于相关人员的辨识。 军事遥感侦察领域，目前，遥感图像数据量存在一个矛盾，即遥感图像 获取的数据量多，而有用的信息却很少。而且，在采集军事与气象遥感图像时， 由于受到成像条件与成像系统分辨率的限制，很难获得清晰度很高的图像，而 利用超分辨率技术，在不改变卫星图像探测系统的前提下，可实现高于系统分 辨率的图像观测，提高现有图像资料的应用价值和对军事目标的识别能力。 医学成像、超声波成像等领域，医学检测中往往需要通过层析成像技术 识别并确定出病体如肿瘤的精确位置及详细情况如阴影的边缘、异物占位的大 小及位置等。由于硬件设备及现有的成像技术的限制，我们还不能够获取满足 高要求的高清晰图像。由于层析成像技术的特殊机理，可以用超分辨率技术来 提高图像质量，对病变目标进行仔细地检测。 可以将超分辨率重建技术用于图像压缩。平时存储或传输低分辨率的图 像信息，当有不同需要时，再利用超分辨率重构技术获得不同分辨率的图像和 视频。 1 2 国内外研究现状 国内外关于图像超分辨率重建的研究工作主要集中在重建算法、运动估计、 超分辨率重建的性能极限、观测模型对重建结果的影响以及研究成果的实际应 用等多个方面。例如，法国s p o t 、美国e a r t h s a t 等公司已采用该技术，利用多 个卫星同时成像，重建高分辨率图像。美国d a y t o n 大学和w r i g h t 实验室在美国 空军的支持下，对红* f c c d 相机进行了机载试验，利用2 0 幅低分辨率的红外图 像，分辨率提高近5 倍，取得了良好效果。超分辨率重建技术覆盖了军用、民用 和商用等诸多领域，已经成为国际上一个非常活跃的研究领域。 2 重庆人学硕士学位论文 1 绪论 对于超分辨率算法的研究早在1 9 6 4 年，h a r r i s 的文章【6 j 奠定了超分辨率得以 存在的数学基础，他将带限信号外推的方法对偶地运用到光学图像的超分辨率 重建之中，取得了比较好的效果。8 0 年代初期，t s a i 和l h u a n g 7 首先提出了基于 序列或多幅图像的s r 重建问题，并给出了基于频域逼近的图像重建方法。随着 i t 技术以及优化理论的发展，人们在s r 的研究上取得了突破性进展。早期的工 作主要集中在频率域进行，但随着更一般的退化模型的考虑，当前的研究工作 几乎都集中在空间域进行。频率域方法实际上是在频域内解决图像内插问题， 其观察模型基于傅里叶变换的移位特性，具有理论简单、运算复杂度低、容易 实现并行处理、具有直观的去变形机制等优点，但这类方法基于的理论前提过于 理想化，不能有效地应用于多数场合，只能局限于全局平移运动和线性空间不 变降质模型，包含空域先验知识的能力有限，所以频域方法目前不再成为研究 的主流。而空间域方法则认为低分辨率图像中的一个像素是由高分辨率图像的 若干离散像元加权混合而成，它将复杂的运动模型与相应的插值、迭代及滤波 重采样放在一起进行处理，涉及到全局和局部运动、光学模糊、帧内运动模糊、 空间可变点扩散函数、非理想采样及其它一些内容，主要包括非均匀间隔样本 内插法、迭代反向投影法、集合论( 如凸集投影：p o c s ，p r o j e c t i o no n t oc o n v e x s e t ) 方法、统计论( 如最大后验概率：m a p ，m a x i m u map o s t e r i o r i ) 方法、 混合m a p p o c s 方法、正则化方法以及自适应滤波方法等【8 】。空域方法的适用 范围较广，具有很强的包含空域先验约束的能力，例如马尔科夫随机场和凸集 等先验约束，这样在s r 重建过程中可以产生带宽外推，但其运算量较大，严重 限制了这些方法的使用。而非均匀样本内插方法、迭代反投影方法等，其结合 先验信息的能力很弱，在改善s r 重建效果方面受到了极大的限制。在空域方法 中，研究较多的是p o c s 方法一，lo j 和m a p 方法【1 1 1 。p o c s 方法的优点是可以方便 地加入先验信息，可以很好地保持高分辨率图像上的边缘和细节，缺点是解不唯 一、解依赖于初始估计、收敛慢、运算量大和收敛稳定性不高等。为了提高p o c s 方法的收敛稳定性，可以采用松弛投影算子，但松弛投影算子不利于保持图像 的边缘和细节。m a p 方法的优点是在解中可以直接加入先验约束，能确保解的 存在和唯一，降噪能力强、收敛稳定性高等；缺点是收敛慢和运算量大。另外， m a p 方法的边缘保持能力不如p o c s 方法，由这类方法获得的高分辨率图像上的 细节容易被平滑掉。此外，还有一些超分辨率重建算法，如基于学习的超分辨率 重建算法算法就是使用一个图像训练集来产生一个学习模型，并运用这个模型 创建图像的高频细节。c a p e l 等1 1 2 在b a y e s i a n 框架中使用了图像学习模型，比传 统的估计获得了更好的效果。f r e e m a n 等 1 3 1 提出了一种从训练集中插值生成高频 细节的新方法。而基于时间的超分辨率重建算法则是要恢复那些丢失的时间上 3 重庆人学硕十学位论文1 绪论 的细节信息，r o b e r s o n 等【1 4 】在时间域进行分辨率的增强，s h e c h t m a n 等【”】同时 在空域和时域进行，通过一定的折中获得了较好的效果，c h o i 等【1 6 】贝0 采用了多 通道正则化重建方法。s e m e n t i l l i 等【l7 j 对超分辨率重建算法重建能力进行了分析， 提出了超分辨率重建算法重建能力的估算表达式，s h a r a m 等【1 8 1 提出了光学成像 系统的极限，探索了在给定信噪比下，传统意义上的分辨率到底能提高多少。 显然，在此方向进行深入的研究将揭示真正的信息瓶颈，帮助使用者在成像系 统、编码机制和重建算法三者之间作出正确的平衡。还有许多人也做了也一些 工作来完善超分辨率的图象重建技术，女0 w e i s s 等【l9 】提出把帧分割成一个个对象 然后再单独重建每一对象，这对压缩的视频极其适合，因为m p e g 4 的比特流中 提供了边界信息。为了更精确计算运动矢量，s e g a l l 等【2 0 】通过对编码器内的帧间 偏移差值进行建模。当前几乎所有算法的计算复杂度太高，很难实时实现， c a l l i c o 等【2 l 】给出了一种实时的方案，由于加入了h r 帧存在反馈环节，大大降低 了算法对内存的需求，非常适合于实时的场合。也有利用贝叶斯原理【2 2 1 ，分析 降采样、运动模糊、几何形变以及加性噪声几种因素的影响，最后通过仿真实 验得到复原的高分辨率图像。分析现在的超分辨率重建方法，可以看到这一领 域还存在着非常多的理论困难，综合概括为以下几点： 超分辨率重建结果依赖于亚像素精度的运动估计结果。虽然目前己经有 很多比较成熟的运动估计方法，但在实际应用中，运动场景复杂多变，同时， 从受到噪声污染的观测图像中估计运动参数本身就不可靠，所以如何进行较准 确的运动估计仍是需要深入讨论的问题。 在观测模型方面，研究者通常建立简单、确定的数学模型来描述超分辨 率重建过程。一方面，虽然目前己经有了一些可行的模型系统，但对实际成像 过程作更准确地描述仍然是一项艰巨的工作。另一方面，在已有的数学模型基 础上，是否能够对模型参数进行较为准确的估计直接影响到重建结果的质量， 这主要包括运动参数的估计以及系统模糊函数的估计。 在重建算法方面，算法应该具有解唯一、数值稳定、计算复杂度低、收 敛快、且能够适应于不同图像等特性。目前提出的很多算法在一定程度上可以 解决相应的实际应用问题，但这些方法都存在不足之处，如频域方法使用而窄， 而空域方法计算量大，所以对于重建方法的研究还需要做大量工作。 基于数学模型的超分辨率重建方法的固有缺点在于，随着分辨率提高倍 数的增加，低分辨率图像序列所能提供的冗余信息显得不够充分，此时仅靠增 加低分辨率图像数量是无法再产生新的高频信息的。 4 重庆大学硕十学位论文 1 绪论 1 3 超分辨率重建的发展趋势 超分辨率重建技术的应用十分广泛，但这一领域又存在着许多需要解决的问 题。未来的研究将主要集中在降质模型、运动估计和重建方法三个方面展开。首 先，超分辨率重建的成功依赖于准确的、符合实际成像系统特性和成像条件的降 质模型。通常采用简单、确定的退化模型进行近似，但这样的近似模型与实际成 像过程差距很大。在成像系统中，观察模型精确地对图像退化进行说明有利于对 图像解空间进行约束，因而进行这方面的研究是十分有意义的。此外，应该对传 感器的几何属性、空间时域积分属性、噪声和读出噪声属性等方面给予关注，发 展和寻求新的退化成像模型，更好地对传感器观察过程进行建模，使其更加精确 和全面，实现对点扩散函数和噪声的精确估计，提高重建的效果。其次，在超分 辨率重建中，需要对视频序列进行亚像素精度的运动估计。由于运动估计只能利 用低分辨率序列上的信息，很难达到比较精确的运动估计，所以选择合适的运动 估计器是实现超分辨率重建的关键。虽然目前己经出现了多种运动估计方法，但 在实际应用中仍然无法获得令人满意的运动估计效果，同时这些运动估计方法的 适用场合非常有限，从而有必要对现有的运动估计算法进行研究，在回顾与分析 现有算法的基础上对其进行扩展。一方面，运动模型及其估计方法应根据场景相 机运动的先验知识来进行选择，另一方面，还应考虑到多种互不相关的运动方式。 值得注意的是，由于运动估计是根据退化图像进行的，而运动估计的效果与超分 辨率重建的结果息息相关，因而在运动估计过程中还应该重点强调算法的稳健性 和结果的可靠性。另外有些方法，把运动估计与重建过程分离开的做法是不合理 的，而实际情况是图像的运动变形、模糊与噪声等降质因素之间具有密切的关系。 因此，将以上因素同时纳为一体进行考虑应该是一种很有前景的方法。此外，还 应增加对运动估计的约束。再次，超分辨率重建是一个病态问题，它存在着多个 解，因此，能否有效地利用己知的信息和约束条件是实现最佳重建的关键，尽管 目前已经提出了很多重建算法，但这些算法仍然存在着较大的缺陷和不足。基于 概率论和基于集合论的算法是两种很有前景的研究方法，而混合用方法能将数学 的严格性、解的唯一性与先验约束描述的方便性有机地结合在一起，也是一种大 有可为的方法。在算法上，进一步提高对解空间进行的约束，提高算法的稳健性 和精确性，减小计算量，加快运算的收敛速度，适用于不同图像的要求是未来研 究的一个重要的任务。 总之，对超分辨率重建技术的进一步深入研究必将导致这一技术拓宽到一些 新的应用领域。 重庆人学硕十学位论文 1 绪论 1 4 本文研究的目的和研究的内容及结构安排 1 4 1 本文研究的目的 从低分辨率图像序列中恢复出一幅或者多幅高分辨率图像，尽可能高的提高 分辨率的增益，达到人眼可以清晰分辨主要目标的目的，在主观和客观上都得到 比较好的重建效果。 1 4 2 本文研究的主要内容 研究图像降质过程的数学模型( 包括：降析、加噪声、运动平移等) ， 超分 辨率重建问题的数学模型，然后本文应用最小二乘法和迭代算法通过自适应正则 化的方法来实现对图像序列进行上采样，再利用所得到的图像序列的相关性，通 过再次迭代的方法完成对图像序列的超分辨率重建。 技术路线：选取多幅高分辨率图象，建立合适的图像降质处理( 把图像下采 样，加噪声) ，从而得到一组低分辨率图像，然后建立重建模型，为了通过最大 化降质图的条件概率密度函数来估计高分辨率图像，首先对每幅图像利用最小 二乘规整的方法从低分辨率图像重建出分辨率较高的临时序列图像，然后利用 改进的递归最速下降迭代方法通过图像之间运动的相关性和邻近图像之间的差 异，从而得到比较满意高分辨率图像。最后通过主观观察和峰值信噪比( p s n r ) 来进行算法的客观评价。 1 4 3 本文的结构安排 本论文主要围绕图像超分辨率重建展开研究。主要内容包括图像的降质过 程，重建过程，提出了一种有效的方法对重建过程中的不适定性问题求解，得 到比较好的重建图像。 本文的组织： 第一章绪论主要介绍论文的研究背景、国内外研究现状、应用前景和本文的 工作。 第二章研究了图像超分辨率重建中的降质过程和重建过程，分析了超分辨率 图像重建问题中的不适定性以及对重建中涉及到的概率框架和先验模型进行了 分析。 第三章研究图像恢复的各种算法，包括传统的插值法：最邻近插值、双线性 插值、和三次样条插值，和超分辨图像重建的各种基本的方法：迭代反向投影 法、凸集投影法、概率的方法和滤波器法。 第四章针对图像了序列的降质过程，提出了应用最小二乘法和分步迭代的方 法，加上自适应参数，改善了超分辨率重建图像的效果。 第五章介绍了超分辨率图像重建效果的评估方法，包括主观方法和客观方 法，以及对仿真实验的结果进行分析与小结。 6 重庆大学硕十学位论文 1 绪论 第六章对全文进行总结，并展望图像超分辨率重建的研究。 7 重庆大学硕七学何论文2 图像超分辨率重建中的模型 2 图像超分辨率重建中的模型 2 1 图像的退化 图像降质的因素很多，如摄像机传感器分辨率限制、光学镜头的散焦、景物 相对运动、图像下采样以及噪声的影响等。考虑到上面的一些降质的因素，模拟降 质过程如下图： 连续场 低分辨率 民 。一、观测信号 理想采样 r 变换m 模糊b 斗 降采样d “k n m ) 个要估计的像素，则该问题明显的没有足够 的限制来保证解的唯一性，一般所知的信息量是不足的，所以超分辨率图像重建 问题的解也是不唯一的。 解对数据的不连续依赖 由于成像系统的特性，反问题对观测数据的扰动是相当敏感的。很小的噪声 干扰，经过逆系统，就可能把误差放大，使重建过程失去意义。所以在大多数的 情况下，超分辨率重建问题都是不适定的，就要通过正则化的方法去解决，使问 题变得适定，优化的重建出需要的超分辨率图像。 综上所述，超分辨率图像重建问题具有不适定性。 重庆人学硕士学位论文 2 图像超分辨率重建中的模型 2 4 超分辨图像重建的概率框架和先验模型 2 4 1 超分辨率图像重建中的概率框架 对贝叶斯图像分析方法的广泛研究，是最近十几年的事情。在图象处理领域 中存在着大量的各种各样的方法，人们需要一种比较合理的理论，它建立在精确 的数学模型的基础上，使人们能够对图像处理算法的性能进行研究，进而设计出 最优的处理算法。这样，概率论的方法就被引入图像处理领域中来，被称为贝叶 斯方法【2 5 1 。与我们常用的贝叶斯理论相同，贝叶斯方法中存在着两种不同类型的 信息：即先验知识和经验数据。经验数据通常都是理想数据的变形，而先验知识 往往也都是不完全的，这就造成了贝叶斯方法的不准确性和随机性。 与其它常用的图像分析方法相比，贝叶斯方法至少具有以下两个特点： 需要原始图像退化机制( 概率) 的完整信息。 减弱了图像分析方法中原有的较为刚性的约束条件。 贝叶斯分析法是一种非线性随机统计方法，其基本思想如下：假设图像是一 个随机场，即可把高分辨率图像和低分辨率图像均看作为随机场。在已知 低分辨率图像的条件下，根据贝叶斯理谢2 2 1 ，可得： 沁a r g x m a x p ( x y ) - a r g x m a x 警 ( 2 1 0 ) xx f 、l ， 其中，x 是对原始图像的估计，p ( x ) 和p ( y ) 分别表示高分辨率图像和退化的低 分辨率图像的先验概率，p ( x y ) 为所求的后验概率；p ( y x ) 为高分辨率图像x 退化为低分辨率图像】，的条件概率。对上式两端取对数，并去掉与x 无关的p ( y ) ， 可得： x = a r g m a x l o g p ( y x ) + l o g p ( x ) ( 2 1 1 ) 从上式看出，要想求出方程的最优解，就要满足后验概率p ( x y ) 最大，必须要先 确定先验概率p ( x ) 和条件概率p ( y x ) 。对不同的先验模型，有不同的先验约束， 所以下面介绍下先验模型。 2 4 2 超分辨率图像重建中先验模型 高斯随机场模型 考虑图像退化模型： y = h x + ，l ( 2 1 2 ) 假定噪声具有高斯分布p ( 疗) ，于是 p ( y h x ) = p ( n ) ( 2 1 3 ) 在给定原始图像条件下，由于随机噪声的影响，我们观测到的图像数据】，可视 1 4 重庆大学硕士学何论文2 图像超分辨率重建中的模型 为一个随机场。可以认为该随机场的均值是h x 。 件下】，的分布应该符合下式： p ( y x ) = p ( y h x ) = p ( n ) 按照标准高斯模型，给定x 条 ( 2 1 4 ) 可以得到条件概率和先验概率： p 眦2 丽1 e x p 一言( y 一删) 7 蚋y 一剃) ) ( 2 朋) 尸x 2 丽1 e x p - 言( x - x ) r 啪x x 2 1 6 其中，q = e n n7 ) = 1 7 2 i 表示噪声的协方差矩阵。级= e x x r ) 是未退化的高 分辨率图像的协方差矩阵。观测图像的条件分布模型和先验分布模型是超分辨率 图像重建算法的基础。根据上节贝叶斯分析方法，可以从观测到的低分辨率图像 重建得到高分辨率图像。 马尔可夫随机场模型 图像超分辨率重建需要重建图像纹理细节的同时，还得考虑到噪声的影响。马 尔可夫随机场【2 6 1 为该问题的解决提供了一种图像统计描述。当观察图像时，从视 觉上我们能够大致区分图像的纹理和噪声，这是因为图像的纹理有某种关联性或 规律性。一个自然的问题是如何利用这种现象来改善图像重建效果。凭高斯分布 很难知道图像像素间的内联信息，而马尔可夫随机场模型则提供了关于图像像素 的一种统计描述。这种模型着眼于考虑每个像素关于它的一组相邻像素间的条件 分布，能够有效的描述图像的局部统计特性。同时不必假设图像是平稳或者是广 义平稳过程，因为这种假设对多数图像并不完全符合。 马尔可夫随机过程的一维描述可定义如下【2 7 2 8 】： 若对于任意的n = l ，2 ，3 和任意的气，厶t ，其中( t o 0 ，v i s ，那么尸( x ) = p ( 五，恐，h ) 0 ，这个条件是说，如果每个 x i 能够单独发生，那么他们就能一起发生，这个条件称为正定性条件； 2 ) p ( j c f k ，而，九) = p ( x , l x j ，v j e l 7 i ) ，这个条件是说一个像素的条件概率 只和它领域内的像素有关系，而与其之外的像素无关，这称为马尔可夫性； 3 ) p ( x , l x j ，v j 仇) 只与邻域配置结构相关，并且在相同邻域配置结构的情 况下具有平移不变性，这称为奇次性； 6 54345 4212 4 63lfl36 4 2l2 4 54345 6 图2 5 邻域图 f i g 2 5n e i g h b o r h o o dg r a p h 1 6 重庆火学硕十学何论文 2 图像超分辨率重建中的模型 定义在格子集合s 上的一个随机场x = x ，) 称为关于邻域系统，7 的马尔可夫 随机场，根据网格中各位置与位置f 的距离，可以将邻域系统表达为等级形式，如 图2 6 表示出了位置f 的一阶到六阶邻域。与位置f 距离相同的各个位置元素属于一 个邻域等级。用，7 表示k 阶邻域系统，它包括了标号等于和小于k 各个邻居位置。 若用二维标号，位置( i ，j ) 的一阶邻域由4 个元素： 7 矗，= ( f l ，) ，o + 1 ，) ，( f ，j 一1 ) ，( f ，j + d )( 2 1 9 ) 而它的二阶邻域，7 ；：，包括( f ，) 周围的8 个位置上的元素。利用马尔可夫随机场理论 一个像素和图像中其它各个像素之间的相关性可通过条件概率和邻域系统来表 示。 在介绍完马尔可夫随机场模型后，这里不得不提到吉布斯随机场模型【2 9 1 ，关 于马尔可夫随机场研究的重要发现是马尔可夫随机场和吉布斯随机场的等价性。 吉布斯随机场模型起源于统计物理的研究，之后，吉布斯模型被发展成一种应 用面宽广的统计模型，被广泛应用于统计物理学、农业、社会经济和信号处理等 领域。由于吉布斯分布有一个简洁的数学表达形式，通过这种模型能够有效的描 述一个质点( 格子点阵中的一个点，对应于图像中的一个像素) 的局部统计特性 和随机场的联合统计特性。该模型只需要少量参数表征，并且允许对数学模型进 行物理解释。证明了马尔可夫场和吉布斯场的等价性，就意味着关于吉布斯随机 场的大量理论结果可以推广到马尔可夫场。 马尔可夫和吉布斯随机场模型对于图像处理有广泛的应用，包括纹理综合、图 像分割和纹理分析等。对于图像超分辨率重建，马尔可夫一吉布斯随机场模型提供 了一个贝叶斯框架，允许对图像进行最大后验估计。 在本章后面的小节，将会介绍吉布斯随机场，和其与马尔可夫随机场的特点 和等价性。 高斯一马尔可夫随机场模型 对马尔可夫场附加一定的限制，可以衍生出很多随机场模型。从实用的角度来 看，高斯一马尔可夫随机场3 0 模型是比较重要的。 对于一阶高斯一马尔可夫随机场模型， r = ( 0 ，1 ) ，( 0 ，- d ，( - 1 ，0 ) ，( 1 ，0 ) )( 2 2 0 ) il工( f 一1 ，)f 尸( x ( f ，川，7 ) = p lx ( i ，j ) x ( i ，- 1 ) x ( i ，j + 1 ) i ( 2 2 1 ) li x ( f + 1 ，) i 对于二阶高斯一马尔可夫随机场模型， r 2 = ( o ，1 ) ，( o ，一1 ) ，( 一1 ，0 ) ，( 1 ，0 ) ，( 1 ，- 1 ) ，( - 1 ，1 ) ，( - 1 ，- 1 ) ，( 1 ，1 ) )( 2 2 2 ) 重庆大学硕士学位论文 2 图像超分辨率重建中的模型 ii x ( i - 1 ，j - 1 ) x ( i l ，j ) x ( i - 1 ，j + 1 ) i p ( x ( i ，j ) lq 2 ) = px ( i ，驯x ( i ，j 1 ) x ( i ，j + 1 ) l( 2 2 3 ) ii x ( f + l ，一1 ) x ( f + 1 ，) x ( i + 1 ，j + 1 ) i 设q 是网格m xm 上的点集，q = ( f ，) ，l f ，j m ) ，若图像的纹理 x ( “) ，u q ，所具有的结构可按如下线性方程表达，其均值为( “) = 研x ( “) 】： x ( “) 一( “) = 卢乙( x ( “) 一x ( ，) + 占( “) ) ( 2 2 4 ) v e q 其中仇是点u 的高斯一马尔可夫随机场的邻域，风为相关系数，占( “) 是零均值 高斯噪声，占( ) 满足： e 占( “) 占( 1 ，) 】= 仃2 凡当v r u 仃2 当，u ( 2 2 5 ) 0 其他 从上回两式司以推出： 州咖，= 吾2 耋嚣 亿2 6 ， 可以得到： e e ( u ) l x ( v ) ，r u ，u 1 ，】= 0( 2 2 7 ) 即：p ( e ( u ) l x ( 1 ，) ，u ，) = p ( 6 ( u ) i z ( v ) ，v 仇)( 2 2 8 ) 由定义2 4 ，表明图像的纹理结构是符合马尔可夫过程的。 由于占( “) = x ( “) 一( “) 一尾( x 似) 一x ( v ) ) 符合高斯分布，就有条件分布 2 击e x p - 刍叫炉v e q u 风( 础n ) 2 ) ( 2 2 9 ) 就可以得到高斯马尔可夫随机场的联合分布的表示2 8 】： 其中，b = p ( x ) = e x p _ 坠铲】 ( 2 3 。) 1 一屈2 一届m p l 2 1 一p 2 m 1 一0 m 1 凡是前面提到的相关系数，矩阵召是一个对称阵，它即是该相随机场噪声的 协方差矩阵，又是随机场协方差矩阵的逆，因此确定了该矩阵的形式，该高斯马 重庆大学硕十学位论文 2 图像超分辨率重建中的模犁 尔可夫随机场就确定了。 吉布斯随机场 吉布斯随机场理论是在研究格子邻域系统的基础上发展起来的。为了描述一 个位置和它邻域中各位置之间的相互作用的各种可能性，需要引入簇的概念。 定义2 5 【2 9 】：对于网格邻域系统( s ，1 7 ) ，c 为s 的一个子集，且满足条件： 1 ) 可以是单个格点； 2 ) 如果( f ，) ( p ，g ) ，( f ，) c ，( p ，g ) c 就意味着( f ，) l l p , q ( p ，g ) 仍，则称 c 为s 的簇。 定义2 6 2 9 1 ：对于网格邻域系统( s ，r 1 ) ，随机场x = 置，i ( f ，) s 】称为g r f ， 当且仅当联合概率分布具有形式p ( x = 工) = 了1e x p ( 一u ( x ) ) ，其中z = e x p ( - u ( x ) ) o x e w 称为分化函数，、王，是随机场所有可能的结构的集合，u ( x ) = v c ( x ) 为能量函数， c e c 当u ( x ) 越小，即需要实现石的能量就越小，就越容易实现，形( x ) 是与簇c c 关 联的簇势能函数。 显然，马尔可夫随机场刻画了随机场的局部马尔可夫性，而吉布斯随机场刻 画了随机场的全局特性。以上就是吉布斯随机场的基本性质，下面对吉布斯随机 场和马尔可夫随机场的等价性。 2 4 3 马尔可夫随机场和吉布斯随机场的等价性 从以上吉布斯随机场的性质可以看出，其与马尔可夫随机场