（电路与系统专业论文）基于最大似然的超分辨率图像复原方法及其应用[电路与系统专业优秀论文].pdf

摘要 摘要 超分辨率图像复原是图像处理的一个重要研究领域，它在航天、医学、军事 等领域有着广阔的应用前景。早期的超分辨率复原方法利用单幅低分辨率图像进 行复原，出于单幅图像信息量有限，复原效果不甚理想。自从t s a i 和h u a n g 最 早提出从多幅具有亚像素级相对平移的低分辨率图像序列中重建超分辨率图像 以来，基于序列图像的复原算法不断被提出。 利用序列图像的超分辨率复原需要准确估计成像系统和过程特性参数，大部 分研究往往假设复原算法所需的参数已知，但实际应用中却并非如此，因此这些 算法并无很好的实际应用效果。本文从超分辨率复原的实际应用考虑出发，利用 数字图像成像线性观测模型，选择图像序列平动量、成像系统点扩散函数、成像 系统空间降采样率和成像噪声特性作为模型参数，描述低分辨率图像成像过程， 实现一种基于最大似然估计的超分辨率复原算法。 本文提出的超分辨率复原方法如下：首先利用改进的奇异值分解法从低分辨 率图像序列中估计出成像系统的点扩散函数，通过高斯金字塔结构下的光流场配 准方法估计图像序列问的亚像素级平动，利用基于图像噪声本地方差统计特性的 方法估计图像噪声的方差等。根据得到的参数及部分先验知识，再运用最速下降 迭代算法解决基于最大似然估计的超分辨率复原问题。最后对迭代的结果进行维 纳滤波，降低噪声的影响，得到最终的复原图像。 我们利用部分数字图像进行了计算机模拟实验，分别利用插值法、反向迭代 投影法和本文方法进行超分辩率复原，结果表明本文方法得到复原图像效果要好 于其他两种方法，尤其在噪声较大的情况下更是如此。在考察复原效果的同时， 我们还对算法速度、计算量等性能进行了比较，发现本文方法优于序列图像的反 向迭代方法。我们还对实际视频图像进行了超分辨率复原实验，取得了初步效果， 证实了本文方法的实际应用性。 关键词：序列图像，超分辨率图像复原，最速下降法，奇异值分解，光流场配准， 图像噪声本地方差 中图分类号：t n 9 1 1 7 3 ；t p 3 9 1 4 a b s t r a c t a b s t r a c t t h es u p e r - r e s o l u t i o ni m a g er e s t o r a t i o ni sa ni m p o r t a n tr e s e a r c ha r e ai nt h ei m a g e p r o c e s s i n gf i e l d i th a saw i d ep r a c t i c a lp r o s p e c ti na e r o s p a c e ，m e d i c a la n dm i l i t a r y a p p l i c a t i o n s d u et ot h es e l f - l i m i t a t i o no ft h ei m a g ei n f o r m a t i o n ，t h ep e r f o r m a n c eo f e a r l ys u p e r - r e s o l u t i o nr e s t o r a t i o nm e t h o d su s i n go n l yo n ef r a m e l o w r e s o l u t i o ni m a g e i sn o tg o o d i n1 9 8 1 ，t s a ia n dh u a n gf i r s ti n t r o d u c e das u p e r - r e s o l u t i o nr e s t o r a t i o n m e t h o dt or e c o n s t r u c tah i g h r e s o l u t i o ni m a g ef r o mas e q u e n c eo fl o w - r e s o l u t i o n i m a g e sw h i c hh a v es u b - p i x e lt r a n s l a t i o n sb e t w e e ne a c ho t h e r f r o mt h e no n ，al o to f s u p e r - r e s o l u t i o na l g o r i t h m sb a s e do nm u l t i f r a m ei m a g e sa r ep r o p o s e d i ti sa s s u m e di nm o s to fm u l t i f r a m eb a s e ds u p e r - r e s o l u t i o nr e s t o r a t i o nm e t h o d s t h a tp a r a m e t e r so ft h ei m a 百n gs y s t e ma n dp r o g r e s sa r ek n o w ni na d v a n c e t h e a p p l i c a t i o np e r f o r m a n c eo ft h e s em e t h o d si s n o th i g he n o u g hb e c a u s eo ft h i s u n r e a s o n a b l ea s s u m p t i o n a f t e rw ea n a l y z e dt h eg e n e r a ll i n e a ro b s e r v a t i o ni m a g i n g m o d e l ，f o l l o w i n gp a r a m e t e r sw e r ec h o s e nt o d e s c r i b et h ei o w r e s o l u t i o ni m a g i n g p r o g r e s sa n dt o r e a l i z eam a x i m u m l i k e l i h o o d ( m l ) b a s e ds u p e r - r e s o l u t i o ni m a g e r e s t o r a t i o nm e t h o df o rt h ea p p l i c a t i o n ：t h es u b p i x e lt r a n s l a t i o n sb e t w e e ni m a g e s ，t h e p o m ts p r e a df u n c t i o n ( p s f ) o f t h ei m a n n gs y s t e m ，t h es p a c ed o w n s a m p l i n gr a t i oo f t h ei m a g i n g s y s t e ma n dt h ei m a n n gn o i s ev a r i a n c e t h ep s fo ft h ei m a g i n gs y s t e mw a sf i r s t l ye s t i m a t e dw i t ht h ei n t e r p o l a t i o nr e s u l t f r o mo n eo ft h el o w r e s o l u t i o n i m a g e s ，u s i n gt h em o d i f i e ds i n g u l a r v a l u e d e c o m p o s i t i o n ( s v d ) m e t h o d t h eo p t i cf l o wm e t h o do nap y r a m i dd o w n s a m p l i n g s t r u c t u r ew a st h e na p p l i e df o rt h er e g i s t r a t i o no ft h en o i s yl o w r e s o l u t i o ni m a g e s w h i c hh a ds u b - p i x e lt r a n s l a t i o n sb e t w e e ne a c ho t h e r t h ev a r i a n c eo ft h ei m a g i n g n o i s ew a se s t i m a t e du s i n gam e t h o db a s e do nt h es t a t i s t i c a le v a l u a t i o no nt h el o c a l v a r i a n c eo ft h ei m a g i n gn o i s e w i t ht h e s ee s t i m a t e dp a r a m e t e r sa n ds o m ep r i o r k n o w l e d g ea n da s s u m p t i o n s ，t h em l e s t i m a t i o nb a s e do nt h es t e e p e s td e s c e n t ( s d ) a l g o r i t h mw a sa p p l i e dt or e c o n s t r u c tt h es u p e 卜r e s o l u t i o ni m a g e t h er e c o n s t r u c t e d r e s u l tw a sf i n a l l yf i l t e r e db ya2 dw i e n e rf i l t e r , c o m p u t e rs i m u l a t i o ne x p e r i m e n t sw e r ed o n ef o rs e v e r a ls t a n d a r dd i 【g i t a li m a g e s r e s p e c t i v e l yu s i n gt h ei n t e r p o l a t i o nm e t h o d ，t h ei t e r a t i v eb a c k p r o j e c t i o n ( r b p ) m e t h o da n do u rp r o p o s e dm e t h o d r e s u l t ss h o wt h a to u rm e t h o dc a ne f f e c t i v e l y i m p r o v et h ei m a g er e s o l u t i o na n dh a v eb e r e rr e s t o r a t i o np e r f o r m a n c et h a nt h eo t h e r t w o ，e s p e c i a l l yu n d e rh i g hi m a g i n gn o i s e s t h es p e e da n dc o m p u t a t i o n a lc o s to fo u r 2 m e t h o da r ea l s ob e t t e rc o m p a r e dw i t ht h ei b pm e t h o d o u rm e t h o dw a sa l s oa p p l i e d o nt h el o w r e s o l u t i o ni m a g es e q u e n c e ss a m p l e db yaw e b c a m e r at or e s t o r ea h i g h r e s o l u t i o ni m a g e s o m ee n c o u r a g i n gr e s u l t sw e r ea l s oo b t a i n e d k e yw o r d s ：i m a g es e q u e n c e ，s u p e r - r e s o l u t i o ni m a g er e s t o r a t i o n ，s t e e p e s td e s c e n t ( s d ) i t e r a t i v em e t h o d ，s i n g u l a rv a l u ed e c o m p o s i t i o n ( s v d ) ，o p t i cf l o wb a s e dr e g i s t r a t i o n ， l o c a lv a r i a n c eo fi m a g i n gn o i s e c l cn u m b e r ：t n 9 11 ，7 3 ；t p 3 9 1 4 3 鹅一章绪论 第一章绪论 1 1 超分辨率图像复原的由来 数字图像获取过程的每一个环节( 透镜，感光片，数字化等等) 都会导致图 像质量下降( 退化) ，如何提高图像成像质量是数字图像处理的重要研究方向。 图像复原，包括对算法的研究和钊对特定问题的图像处理程序的编制，一般是指 去除或减轻在获取数字图像过程中发生的图像质量下降。这些退化包括由光学系 统、运动等造成图像的模糊，咀及源自电路和光度学因素的噪声。图像复原的目 标是对退化图像进行处理，使它趋向于复原成没有退化的理想图像 1 】。因此， 图像复原技术在遥感、视频、医学和公安等领域具有十分重要的应用价值。 在不考虑像差、大气扰动、运动、散焦以及噪声影响等情况下，数字图像质 量主要受成像过程中的光学衍射极限和数字化采样频率这两个因素的限制。一方 面，由于实际的光学成像系统是一个频率有限的滤波器，受到光学衍射的影响， 其传递函数必定是带限的，即在由衍射极限分辨率所决定的某个截止频率以上， 其值全为0 。另一方面，由于实际图像大多包含陡降的边缘，并非严格的带限信 号，数字化过程中必然出现由于欠采样而引起的信号叠混，也导致了图像质量的 损失。 传统的图像复原技术，最多只能将图像的频率恢复到衍射极限相应的截j l 频 率处，也无法解决数字化过程中欠采样造成的频谱叠混。作为图像复原领域的一 个新技术，超分辨率图像复原的特点就在于：能够恢复截止频率之外的信息，减 轻欠采样造成的信号叠混，以使图像获得更多的高频信息，提高图像的细节表现 能力。因此，这一技术近年来己成为图像复原领域的重要课题之。 1 2 超分辨率图像复原方法的发展 以解析延拓和信息叠加理论为基础，超分辨率图像复原的概念和方法最早由 h a r r i s 和g o o d m a n 于2 0 世纪6 0 年代提出 2 ，3 1 。此后有许多人对其进行了研究， 并相继提出了各种复原方法，如长椭球波函数法【4 、线性外推法【5 1 、叠加正弦 模板法【6 】等。以上这些方法虽然具有不错的维仿真效果，但在实际应用中并 无理想的结果。8 0 年代以来特别是8 0 年代末以后，人们在超分辨牢图像复原方 法研究上取得了突破性的进展，提出了许多有实用价值的方法，如能量连续下降 法【7 1 、b a y e s i a n 分析法 8 ，9 ； l j 凸集投影法( p o c s ) 1 0 。以上这些方法主要针 第一章绍论 对光学系统的衍射极限因素，提出算法进行处理，以提高成像质量。 相比于模拟光学系统，图像数字化系统由于发展不久，常遇到空问采样频率 不够的问题。而根据采样定理，在对模拟信号进行数字化的过程中，如果采样频 率低于奈奎斯特( n y q u i s t ) 频率，则信号的频谱将发生叠混。凶此，超分辨率 图像复原方法的重点集中在图像数字化过程中的欠采样问题上，其任务在频域而 言是耍从有叠混的频谱中求得等效于用更高采样频率得到的图像频谱，在空间域 而言是要从空间采样率较低的图像中求得等效于用更高空间采样率得到的数字 图像。 根据算法处理的图像数据源，超分辨率图像的复原方法可以分为基于单幅图 像的超分辨率复原方法和基于多幅( 序列) 图像的超分辨率复原方法。由于单幅 图像数据源本身提供的信息有限，为了获得唯一的解，早期大部分基于单幅图像 的复原方法往往需要利用各种正规化方法来约束解空间，而因为这些正规化方法 大多基于图像局部平滑的假设，得到的图像在分辨率提高上极为有限。之后，囱| 人提出了一些基于图像性质新假设下的方法，但其假设与实际情况并不总是保持 一致，仍然无法取得十分理想的实际应用效果。1 9 9 5 年以后，人工神经网络被 应用于超分辨率图像复原中，通过利用神经网络的学习能力，抽取得到低分辨率 图像和高分辨率图像闻的内在关系，进而恢复出低分辨率图像中丢失的高频信 息。但是此类方法通常计算量较大，神经网络规模难以确定，在采用合理大小的 神经网络情况下，即使图像训练集很大，其泛化效果仍然难以得到保证。 t s a i 和h u a n g 1 1 最早提出了从多帧具有亚像素移动的图像序列中复原超分 辨率图像的概念和方法。对于序列图像或是同一目标的多幅图像，如果图像之间 存在相对运动( 如平移和旋转) ，特别是亚像素级的相对运动，则这些序列图像 含有类似但又不完全相同的信息。通过利用这些不同但相互补充的信息以及目标 的先验信息，从一系列低分辨率图像中恢复出单幅的高分辨率图像。与利用单幅 图像的超分辨率复原方法相比，这类方法除了利用目标的先验信息和单幅图像的 信息之外，还能充分利用不同图像间的补充信息，因此其超分辨率复原能力一般 要高于基于单幅图像的方法。 利用序列图像进行超分辨率复原主要有频域法和空域法两大类方法。t s a i 和h u a n g 最早提出的就是频域方法，其频率域模型针对的成像目标场景是连续 的，并基于以下三条基本性质：1 ) 傅里叶变换的平移特性，2 ) 连续傅罩叶变换 和离散傅里叶变换之间的叠混关系，3 ) 成像目标场景的带宽有限。由于该频率 域模型较为简单，其后各种改进模型和算法不断被提出 1 2 1 5 ，并从中发展出另 一类超分辨率图像复原方法：脱离了原有的频率域模型，而是在空间域中建立一 个通用的线性观测模型，用各种方法进行求解，如基于m a p 的算法 1 2 1 、基于 第幸结论 p o c s 的算法 1 3 、反向迭代投影( i b p ) 法【1 4 】、基于最优化的算法【1 5 等等。 此类方法采用通用的空域线性观测模型，认为低分辨率数字图像中的每一像素都 足由高分辨率图像的若干离散像素加权混合而成，因此可比较全面地表示成像系 统和过程的各利，特性，如全局运动和非全局运动、光学模糊和运动模糊、移变的 点扩散函数( p s f ) 等，比频域方法能够更好地表示实际的成像退化过程，并易 了二引入一些先验知识。 由于采用的模型可以更全面地表现图像实际特性，基于序列图像的空域方法 成为目前超分辨率图像复原研究方面的一个热点，近年来出现了多种算法，如非 迭代的图像数据融合算法 1 6 ，基于先验知识的混合估计算法 1 7 ，基于广义交 叉验证( g c v ) 的重建算法 1 8 和基于d e l a u n a y 三角化的重建算法【1 9 等。但是已 有的这些研究大多着重于在复原估计具体算法的设计和运用上，而算法所需要的 一些成像系统和过程的特性参数往往假设为已知。然而在实际应用场合中，这些 成像系统和过程的实际特性并非全部已知，某些重要特性比如序列图像间的相对 运动形式和运动量、成像系统的点扩散函数、成像噪声的大小等可能无法事先得 到，而需要利用一定的方法从低分辨率图像序列中估计得到，这些参数估计的准 确程度对复原方法的效果有着直接的影响。一定程度上，复原算法所涉及的模型 参数越多，其实际应用难度就越高。因此，虽然有些算法在模拟实验中能取得很 好效果的，却并无实际应用效果非常理想的报道。由此可见，在合理的假设条件 下利用通用线性观测模型描述实际成像过程，选择合理数量的成像系统和过程特 性参数，并利用合适的方法从低分辨率图像序列中准确地估计这些关键参数，是 此类超分辨率复原方法实现实际应用的关键。 1 3 本论文的工作和创新 通过对现有各种超分辨率图像复原方法的分析和初步考察，发现基于通用线 性观测模型的序列图像超分辨率复原空域方法能够更好地表示实际成像系统和 过程的各种特性，相比其他方法而占具有更大的潜在实际应用价值。本论文主要 针对利用序列图像的超分辨率复原空域方法进行研究，在部分成像特性合理假设 基础上，利用通用的线性观测模型描述成像过程，提出相应方法估计成像系统和 过程的几个重要特性参数，实现一个能够实际应用的超分辨率图像复原方法。我 们设计了一个低分辨率数字图像成像的计算机模拟系统，并利用这一系统产生的 低分辨率图像序列作为本文复原方法的数据源，通过将其复原图像及其他方法复 原图像与实际理想图像的效果对比，检验了本文复原方法的性能表现。最后，把 本文的超分辨率图像复原方法应用到视频图像序列的超分辨率复原中，证实了本 第审绪论 文方法的有效性。 本论文的创新之处在于： 1 根据通用线性观测模型，选取特定的参数对成像过程进行合理描述，使 模型既能够接近实际成像过程，又能够利用合适方法从低分辨率图像序 列估计得到这些参数，从而使基于图像序列的超分辨率图像复原方法能 够实现实际应用。 2 针对序列图像超分辨复原算法实际应用的需要，选择了适当方法来估计 有关成像特性参数：利用改进的奇异值分解( s v d ) 方法估计成像系统 的点扩散函数，利用基于光流场的方法估计低分辨率图像序列的相对运 动量，利用基于噪声图像本地方差统计特性的方法估计图像噪声的部分 统计特性。 3 在对成像系统p s f 进行估计时，利用了奇异值分解方法，并对原有的方 法进行了改进。首先，根据噪声对图像影响及其在特征值中的表现特点， 提出了一种自动选取奇异值重组阶数的方法，改变了原有方法直接采用 固定的经验数值的做法，具有更好的应用效果和价值。其次，根掘图像 局部差异性以及噪声整体一致性的特点，提出了对图像进行逐层分块进 行s v d 并重组的方案，减少了原有方法直接对图像整体进行奇异值分 解并重组降噪造成的高频信息损失，取得了更好的降噪效果。改进后的 p s f 奇异值估计法具有更好的估计效果。 4 不仅通过计算机模拟数字图像成像过程对超分辨率复原方法进行了模 拟实验，而且利用该方法对实际视频图像进行了超分辨率复原实验，验 证了该方法的有效性，为超分辨率图像复原方法的实际应用提供了一种 有效的方案。 1 4 本论文的内容组织 本文的内容是这样安排的： 第一章“绪论”，简要介绍了图像超分辨率复原的由来和发展情况、本文的 ：f 作和主要创新点。 第二章“基于最大似然的超分辨率图像复原空域方法”，首先概述了基于序 列图像的超分辨率复原方法的发展，再对数字图像成像的通用线性观测模型进行 了说明，然后介绍了利用序列图像进行超分辨率图像复原空域法的几种代表性方 法，并简单分析了它们各自的优点和缺点。最后分析成像过程的有关特性，选取 合理的参数和先验知识，提出了基于最大似然估计的超分辨率图像复原空域方 7 第一章绪论 法。 第三章“数字图像成像系统和过程的特性估计”，介绍了从低分辨率图像序 列中提取数字图像成像系统和过程各个特性参数的方法和实验：利用改进的奇异 值分解方法估计成像系统模糊特性( 点扩散函数) ，利用光流场方法实现具有亚 像素级平动的低分辨率图像序列配准，利用图像局部方差统计法估计成像噪声特 性。 第四章“计算机模拟成像下的超分辨率复原实验”。为了检验本文提出的超 分辨率图像复原方法的性能，以计算机模拟数字图像成像过程得到的低分辨率图 像序列为数据源，通过相应方法估计各有关参数，再应用本文方法及其他方法分 别进行超分辨率复原，然后将复原图像结果与理想图像源进行对比。本章主要对 该模拟实验的系统和结果进行了介绍。 第五章“超分辨率复原在实际成像系统中的应用实验”，本章主要介绍了本 文提出的超分辨率复原方法在实际视频图像系统中的应用实验情况，说明了该方 法的实际效果。 第六章“总结与展望”，总结了硕士阶段的工作，并对将来的研究方向进行 了展望。 第二章基于晟太似然的趣分辨率图像复原空域方法 第二章基于最大似然的超分辨率图像复原空域方法 从多帧有亚像素( s u b p i x e l ) 移动的图像序列中进行超分辨率图像复原的概 念和方法最早由t s a i 和h u a n g f l l 在重建由地球资源探测卫星( 1 a n d s a ts a t e l l i t e ) 发回的略有差异的图像序列日寸提出的。他们采用无噪声、无退化、全局平移、空 间分辨率和辐射亮度完全相同的欠采样成像模型，并基于以下三条基本性质：1 ) 傅里叶变换的平移特性，2 ) 连续傅里叶变换和离散傅里叶变换之间的叠混关系， 3 ) 成像目标场景的带宽有限，给出了一种超分辨率图像复原的频域方法。由于 这一模型比较简单，各种各样的改进模型和方法不断提出，其中有不少方法脱离 了频域模型，而在空间域中用各种方法进行求解。经过对各类改进模型的考察， 1 9 9 7 年e l a d 和f e u e r 1 7 提出了窄域下的一种通用线性观测模型。这个统一模型 可以更好地表示图像成像降质的实际过程，而且易于引入问题的先验知识，使得 图像超分辨率复原的应用领域大为扩展。2 1 节给出了这个通用的成像线性观测 模型及有关说明。2 2 节介绍了利用序列图像进行超分辨率复原的几种典型空域 方法，并分析了各自的优缺点。23 节给出了本论文所采用的基于最大似然估计 的超分辨率图像复原空域方法。 2 1 序列数字图像成像通用线性观测模型 e l a d 和f e u e r 提出的数字图像成像通用线性观测模型，如图2 1 所示。 图2 1 通用的数字图像序列成像线性观测模型 低分辨率 图像y ， 低分辨率 图像y 。 第一卓筚十鼹人似然的超分肼半图像复娘卒域方法 设待恢复的高分辨率图像x 大小为l l ，记为x er “，将其按列堆叠得到 列向量x r 1 ，经成像观察得到p 幅低分辨率图像，其中第p 帧为y 。e r ” ( 瞅) ，同样按列堆叠形成列向量y 。r ”，p = l ，2 ，p 且p 满足r j p m 2 以保证低分辨率图像序列提供足够的信息。由图21 可见，扭曲矩阵c 。r “。表 示第p 次成像时图像x 的扭曲变化( 比如平移和旋转等) ；模糊矩阵b 。r “。表 示第p 次成像时的图像模糊效应，如果图像模糊效应平移不变，b 。为分块t o e p l i t z 阵；降采样矩阵d r 坩表示第p 次成像时从高分辨率图像x 到低分辨率图像 y 的降采样特性，通常在p 幅低分辨率图像成像中保持不变；表示第p 次成 像时各种噪声的总和，同样按列堆叠写成向量y 。r “形式。因此，第p 次成 像得到的低分辨率图像y 。可以表示为： 羔p = d ，b ，c ，墨+ y ，p = 1 2 ，p ( 2 1 ) 定义 y = y 1 1 2 ： y ， r “，h = d l b l c l d 2 8 2 c 2 d p bp c p h h 2 ： h 。 其中，h ，= d ，b ，c ，r 坩表示第p 次成像时的等效转移矩阵。故图2 ，1 所示 的多幅低分辨率图像序列成像过程可以表示成： y = h x + 一v ( 2 2 ) ( 2 2 ) 式就是通用的数字图像成像线性观测模型，它考虑了数字图像成像过程 的各种实际情况： 1 ) 图像的扭曲：包括由于光学系统造成的几何变形失真、图像序列间全局或 非全局的相对运动等信息，由扭曲矩阵进行表示； 2 ) 图像的模糊：包括由于成像系统点扩散函数造成的光学模糊、图像的运动 模糊等信息，由模糊矩阵进行表示； 3 ) 图像的降采样：由成像系统( 手要是数字化系统) 性能决定的截止频率造 成对成像目标的降采样过程，由降采样矩阵进行表示； 4 ) 图像的噪声：由成像系统和成像过程各类因素引起的成像噪声信息，由噪 声向量进行表示。 由于该模型能够方便地引入实际成像过程的各种信息和先验知识，各种利用 序列图像进行超分辨率复原的空域方法都可以基于这个模型来实现，并可以根据 具体算法实现的要求等因素来挑选合适的参数和特性来近似实际成像过程，以便 取得更好的复原效果。 o 第二章基十最大似然的超分辨率图像复原空域方法 2 2 几种典型的序列图像超分辨率复原空域方法 对于序列图像或是同一目标的多幅图像，如果图像之间存在相对运动( 如平 移和旋转) ，特别是亚像素级的相对运动，则这些序列图像含有类似但又不完全 相同的信息。由于利用了这些不同但相互补充的信息以及目标的先验信息，基于 序列图像的超分辨率复原具有较好的复原效果。迄今已经提出过多种算法，但主 要分为频域法和空域法两类，其中频域法由于计算量较大、受模型限制多等缺点， 难以实际应用，因此目前主要的超分辨率复原方法都是直接在空间域进行处理 的。这里我们介绍几种比较典型的序列图像超分辨率复原空域方法。 2 2 1b a y e s i a n 分析法 这一类方法由s c h u l t z 【1 2 提出，他把图像看成特定随机过程的一个实例，高 分辨率图像和观察得到的低分辨率图像是两个不同的随机过程。根据b a y e s i a n 分析理论，它们之间的关系可以用转移概率描述，利用最大后验概率( m a p ) 原则和图像统计模型的假设可以得到高分辨率图像的估计。为了避免普通高斯模 型( g a u s s i a n ) 对超分辨率图像的平滑性约束，s c h u l t z 采取用了h u b e r - m a r k o v 模型，达到保留图像边缘的目的，再用m a p 原则得到待求超分辨率图像的目标 函数，然后用梯度法求目标函数的最小值获得超分辨率图像估计结果。这种方法 的优点是解具有唯一性，而且保留了图像边缘，但是计算量大，而且图像质量提 高通常比较微小。 2 2 2 凸集投影( p o c s ) 法 利用式( 2 2 ) 的空域观测模型并引入部分先验知识，s t a r k 撮早提出的凸集投 影方法1 1 0 ，1 3 可以简单而有效地求解超分辨率复原问题：待复原的高分辨率图像 解空间与一系列约束集( 典型的是凸集) 相交，可得到一个更小的解空间，这些 约束集代表了高分辨率图像应具有的特性，如非负性、能量有界、局部平滑等。 从给定的高分辨率图像空间的任意一点出发，不断利用迭代投影的方法确定满足 所有约束凸集的下一点，最终可获得超分辨率图像估计结果。 设待复原的图像i x # ) 是h i l b e r t 空间日中的一个元素，厂的每一个已知特性 都会将f 限制在h 的一个闭凸集c f 中，对应个己知特性，就有m 个闭凸集 第二荜基于最大似然的超分辨率图像复原守域方法 c f ，户l ，2 ，m 且厂c o _ a 兀。因此，问题就转化为给定集合g 和投影算子p ， 降1 i = 1 2 ，m ，找到c o 中的一点，其递归关系为： 厂“= 己只一l 鼻厂，k = - 0 1 ( 2 3 ) 因此，p o c s 方法可以总结如下： 1 ) 首先对待复原高分辨率图像作初始估计x 1 ，如某幅低分辨率图像的插值结 果。 2 ) 根据待复原高分辨率图像所要求的特性，定义k 个约束凸集c 。，c 2 ，q 及 相应的投影算子p l ，p 2 ，氏。 3 ) 运用迭代方法x m ”= 只圪一，只x ，所得结果将会收敛到k 个约束凸集的交 集中的一点。 p o c s 方法具有简单有效、易于引入先验知识等优点，但是解通常不唯一， 尤其在引入非线性投影的情况下，解依赖于初始图像估计，算法收敛慢，计算量 大。 2 2 3 迭代反向投影( i b p ) 法 i r a n i 和p e l e g 1 4 提出的迭代反向投影法是超分辨率图像复原空域法中具有 代表性的一种方法。首先估计一个高分辨率图像作为初始解x ( ”，通常采用单幅 低分辨率图像的插值结果。然后根据( 2 1 ) 式，求出对应于初始解的一组模拟低分 辨率图像序列y ( o ) ： y o = i x 。+ v ( 2 4 ) 如果x 与原始高分辨率图像精确相等，而且( 2 4 ) 式模拟的成像过程符合实际情 况，则模拟低分辨率图像序列y o 应与观察得到的实际低分辨率图像序列y 相 同。当两者不同时，将它们之间的误差( y y 。) 反向投影到x 上使其得到修 l f ： x 1 = x 。+ h 铲( y y ) ( 2 5 ) 这里，通常取h ”z h + 。因此，迭代过程的公式为： x 川= x “- i - h 肿( y y “) = x + h + ( y h x 圳一v )( 2 6 ) 1 2 第章摧十最人似然的趟分辨率图像复原卒域方往 当误差满足要求时，迭代结束，i r a n i 和p e l e g 证明了算法是迭代收敛的。 从式( 2 6 1 可以看到，反向迭代投影方法在每次迭代中，不仅要计算低分辨率 图像成像降采样过程，还要计算误差反向投影的升采样过程，增加了不少计算量， 因此迭代速度慢。另一方面，该方法实质上要求超分辨率复原图像( 通过观测模 型) 与观测数据匹配，然而由于超分辨率复原本身是一个病态求逆的问题，因此 这种方法的解通常也不是唯一的，其算法收敛性要求序列图像间的交化是仿射变 换。另外，这种方法也较难引入问题的先验知识。 2 3 基于最大似然( m l ) 的序列图像超分辨率复原方法 初步考察和分析序列图像超分辨率复原的部分空域方法发现，虽然不少研究 着重于复原估计具体算法的设计和改进，但并未出现某种算法复原效果明显好于 其它算法或者某种算法取得十分理想的应用效果的报道。一方面是因为超分辨率 图像复原问题本身的复杂性；另一方面因为这些方法往往都假设其所需要的一些 成像系统和过程的特性参数己知，但在实际应用场合中，这些成像系统和过程的 实际特性并非全部己知，某些重要特性l l 3 n 序列图像间的相对运动形式和运动 量、成像系统的点扩散函数、成像噪声的大小等也无法事先得到，而需要利用一 定的方法从低分辨率图像序列中估计得到，这些参数估计的准确程度对复原方法 的效果有着直接的影响，这一点大大限制了超分辨率图像复原的实际应用。 我们从超分辨率图像复原方法的实际应用需要出发，利用数字图像成像通用 线性观测模型描述低分辨率图像成像过程，选择一些合理、典型的特性作为这个 成像模型的参数，描述低分辨率图像成像过程。基于这样的成像模型，我们利用 最速下降法( s d ) 解决基于最大似然规则的最优化问题，从而实现超分辨图像 复原算法，再对复原算法得到的图像进行维纳滤波，以降低成像噪声的影响，输 出最终复原结果。 2 , 3 1 成像模型特性参数选择 考虑超分辨率图像复原方法的应用要求，我们针对式( 22 ) 的数字图像成像通 用线性观测模型设定以下几个方面的特性参数： 1 ) 图像序列的相对运动：我们假设图像序列间具有全局性的亚像素级相对平 动，其平动信息由扭曲矩阵进行表示。实际应用中，对具有部分非全局运 动的序列图像，如果其感兴趣区域( r o i ) 是全局性运动则仍然符合假设。 第二章基于最大似然的超分辨率罔像复原字域方法 2 ) 图像的模糊：我们假设低分辨率序列图像的模糊是由一个空间不变的点扩 散函数引起的光学模糊，由模糊矩阵进行表示。实际应用中，具有运动模 糊的图片，可先通过适当预处理去除运动模糊的影响。 3 ) 图像的降采样：我们假设数字成像系统的空间降采样率为1 2 ，由降采样 矩阵进行表示。 4 ) 图像的噪声：我们假设成像噪声是一个加性的零均值高斯白嗓声，每次成 像时噪声相对独立，由噪声向量进行表示。事实上，各种不同类型的成像 噪声通过适当处理可满足这一假设。 2 3 2 基于最大似然的超分辨率复原最速下降( s d ) 迭代算法 根据最大似然规则从式( 2 2 ) 中求解基的最佳估计 1 5 为： 塞m 2 a r g m a x p ( y _ i _ x ) 1 = a r g m a x 【羔一h 墨】2w 。【v _ - h x x 、j s p 倭 y ，b ，c ，墨 7w 1 y ；- d p b p c p x 其中，w = e ! ，一v z ，) = o - ；i 为噪声! ，的自相关阵，则： 阱卜二 式( 2 6 ) 求基的偏导并令其为零，得到： 窆 d ，b ，c ， 7w 1 ! ，一d p b ，c ，墨 = o r 塞= 一p ( 2 6 ) ( 2 7 ) ( 28 ) ( 2 9 ) p r = c ：d ：w 1 d ，b ，c ，= h r w 。h 一 r210)p 里= c r ，b r ，d r ，w ；1 y ，= h 7 w “y p = l 4 第，辛毖 馐 大似然的超分辨率陶像复原空域方泔、 利用最速下降迭代法【2 0 俅解该方程，初始值塞。任意，归一化加权的迭代公 式为： 酗2 x t + 兄l - r g t j 1 1 = 墨+ 五h 1 w - 1 ( y h x ) 其中 为迭代的步长，只要它满足s d 迭代算法的收敛性要求 2 1 ，可以保证得 到收敛的结果。 ( 2 ) 算法实现细节 从式( 2 1 1 ) 可以看到，实现超分辨率复原s d 迭代算法关键要得到由成像扭 曲矩阵c ，、模糊矩阵、降采样矩阵d ，组成的成像过程转移矩阵h 和成像噪 声特性矩阵w 。如前所述，这些特性矩阵是由成像模型中的具体特性参数决定 的，下面我们介绍如何通过这些具体特性参数来得到上述特性矩阵，而特性参数 的估计方法则将在下一章另行介绍。 1 ) 扭曲矩阵c 。的实现：从2 ，1 节的说明可以知道，扭曲矩阵表示了源图像 在每次成像时的平移运动，是高分辨率层上的信息。我们通过对低分辨率 序列图像进行配准，可以获得在低分辨率层上亚像素级乎动量，再根据系 统的空间降采样关系，计算出卡h 应的高分辨率层上整像素级的平动量，然 后根据源图像向量形式k 与矩阵形式的转换关系写出扭曲矩阵c 。 2 ) 模糊矩阵耽的实现：我们首先通过低分辨率图像序列估计得到成像系统 空间不变的点扩散函数，j g ( 2 k + i ) x ( 2 k + i ) 的矩阵形式，根据f 1 中给出的 两维卷积的矩阵形式，可以写出模糊矩阵耽。为了提高算法的效率，在 源图像和系统点扩散函数矩阵大小确定的情况下，可事先写出它们两维卷 积的矩阵形式，在得到点扩散函数的估计值后将其数值代入即可。 3 ) 降采样矩阵d 。的实现：根据前面假设，系统的空间降采样特性为l 2 我 们采用了式( 2 1 2 ) 形式的降采样矩阵： d oo ! 三 oo 三1 44 4 4 4 ) 噪声特性矩阵w 的实现：首先我们通过低分辨率图像序列估计出每次成 像噪声的方差特性盯；，根据( 1 ) 中所述，可以得到w p = 盯；i r “锄3 ，然 0 o o o o 一4 o 一4 一4 o 一4 0 o 1 4 o 1 4 1 4 o 一4 0 第二章皓j 最大似然的超分判f 牛【兰| 像复原窄域力知 后由( 2 7 ) 式得到w 。 ( 3 ) 进一步滤波处理 由于低分辨率图像受到噪声污染，s d 算法迭代得到的结果往往还有部分噪 声，我们利用3 x 3 大小的二维维纳滤波器对迭代结果进行滤波，以减轻噪声的影 响。需要说明的是，在低分辨率图像成像噪声较小的情况下，s d 算法迭代得到 的结果质量较好，对某些图像而言再使用维纳滤波可能使造成图像一定程度的平 滑。因此，可以考虑利用低分辨率图像得到的图像信噪比( s n r ) 特性估计，事 先设定一定阈值，选择是否对迭代结果进行滤波处理。在本论文中，我们统一对 迭代后的结果进行了维纳滤波。 综上所述，图2 2 给出了上述超分辨率复原方法的系统示意图，其中特性参 数具体估计方法则将在下一章详细介绍。 ；。i 厂：_ s d 叠代 法实现 ：分辨率 1勰；卜日 p s f 1 ”1 基于 维纳 1 像序列 m l 的 滤波 yj 光流场法估计用 超分辨 降低 序列图像平动厂 二厂 率图像 噪声 复原 本地方差法估计 成像噪声方差 w 图2 2 本文提出的序列图像超分辨率复原方法系统框图 本章主要介绍了基于序列图像的超分辨率复原空域方法。首先对此类方法的 通用数字图像成像的线性观测模型进行了说明，在此基础上分析了几种典型的序 列图像超分辨率复原空域方法基本原理及其优缺点，然后根据该成像模型提出r 本文采用的超分辨率复原方法。该方法从实际应用角度出发，选择合适的成像特 性参数，基于最大似然规则并通过最速下降迭代算法进行复原，最后对估计结果 进行维纳滤波降噪，得到超分辨率图像复原结果。本章对具体算法的实现细节也 进行了介绍。 第三审数字图像成像系统和过程的峰；5 件估计 第三章数字图像成像系统和过程的特性估计 通过对基于序列图像的超分辨率复原方法的分析发现，此类超分辨率复原方 法的关键在于如何利用有限的先验知识和仅有的低分辨率图像序列来准确地获 取复原算法所需的各个参数，这些参数的估计结果精度直接影响了超分辨率复原 算法的效果。在第二章中，我们对数字图像成像系统和过程进行了考察和分析， 并结合超分辨率图像复原算法的实际应用要求，选择部分成像特性参数来描述数 字图像成像的空域模型。本章主要介绍了估计这些特性参数的方法和实验：3 1 节介绍了利用改进的奇异值分解方法估计成像系统点扩散函数的方法和实验， 3 2 节介绍了利用高斯金字塔结构下的光流场方法估计低分辨率图像序列相对