（电路与系统专业论文）基于多帧图像的超分辨率算法研究.pdf

， - 摘要 摘要 ( 众所周知，从一帧低分辨率图象中插值得到一帧商分辨率图象是一个无确定解的问题。 自从1 9 8 1 年，t s a i 和h u a n g 第一次从多帧略有平移的低分辨率图象序列中得到一帧高分 辨率图象以来，基于多帧的算法和应用不断涌现。而基于多帧算法的出现从本质上解决了 原来无唯一解的问题7 7 7 本文从一个通用的基于多帧的数学模型出发，分析了现有最为典型的几种基于多帧的 图象插值方法，f 发现现有的算法在实现的过程中对于存储量有较大的要求，约束了这些算 一 法的实际应用范围。所以我们在本文中提出了一种串行的基于多帧的图象插值方法，并证 ， 明了它的收敛性。陔方法在大多数情况下，能够得到与现有算法相当接近的效果，但是所 需的存储量却比现有算法少的多。 为了得到上述数学模型中的系数，本奠提出了一个等效的高分辨率图象模型，通过该 模型，我们可以根据不同的实际条件，得到不同层次的高分辨率图象。而且可以将系数的 估计误差控制在可以接受的范围内。 最后对基于多帧的各种算法进行了计算机模拟，发现基于多帧的方法无论在主观效果 还是客观效果上都比传统的基于单帧的插值方法要好。知且证实了在低噪声情况下，串行 的基于多帧的图象插值方法和传统的基于多帧的算法在插值效果上非常接近。我们还对基 、 于多帧的算法在实际应用中的可能性进行了初步的实验，取得了初步的效果户 关键字：多帧图像，分辨率，图像超分辨率，图像恢复，串行最速下降法 中图分类号：t n 9 1 1 7 3 a b s t r a c t 一 a b s t r a c t i ti sw e l lk n o w nt h a t i n t e r p o l a t i o nf r o mo n ef r a m e o fi m a g ei sa ni l l p o s e dp r o b l e m t s a ia n d h u a n gi n t e r p o l a t e dah i g h - r e s o l u t i 。ni m a g e f r o mas e q u e n c e 。fi e w r e s 0 1 u t i e “i m a g e st h a ta r eo f s u b - p i x e l sd i s p l a c e m e n t si n 1 9 8 1 s i n c et h a t , i ta p p e a r e dal o to f a l g o r i t h m s ”da p p l i c 鲥o n st h a i s o l v e dt h ea b o v ei l l - p o s e dp r o b l e me s s e n t i a l l y b a s e do i lag e n e r a lm u l t i f r a m em a t h e m a t i c a lm o d e l ，s o m et y p i c a lm u l t i _ f r a m ei n t e r p o l a t i o n a l g o r i t h m sh a v eb e e na n a l y z e di n t h i st h e s i s h o w e v e r ，t h e s ea l g o r i t h m sr e q u i r e dc o n s i d e r a b l e m e m o r y w h i c hi su n a f f o r d a b l e i ns o m e a p p l i c a t i o n i nt h i s t h e s i s ，a s e r i a lm u l t i f r a m e i n t e r p o l a t i o na l g o r i t h mi sa d d r e s s e d a sw e l la st h ep r o o f o f i t sc o n v e r g e n c e t h ee f f e c to f t h es e r i a l m u l t i f r a m ea l g o r i t h mi s a sg o o da s t h a to ft r a d i t i o n a la l g o r i t h m si nm o s tc o n d i t i o nw h i l et h e m e m o r yr e q u i r e m e n to f f o r m e r i sq u i t el e s s i no r d e rt og e tt h ep a r a m e t e r so fa b o v em a t h e m a t i c a lm o d e l ，a ne q u i v a l e n th i g h 。r e s o l u t i o n m o d e li sp r o p o s e d ，t h r o u g hw h i c hd i f f e r e n tr e s o l u t i o ni m p r o v e m e n t sc o u l db ea t t a i n e di nd i f f e r e n t c i r c u m s t a n c e s i na d d i t i o n ，t h r o u g ht h i sm o d e l ，t h e e r r o ro fe s t i m a t e dp a r a m e t e r sc o u l db e r e s t r i c t e di na na c c e p t a b l er a n g e w ef o u n dt h a tb o t hs u b j e c t i v ea n do b j e c t i v ee f f e c to fm u l t i - f r a m ei n t e r p o l a t i o na l g o r i t h m si s m u c hb e t t e rt h a nt h a to fo n e - f r a m eb a s e di n t e r p o l a t i o na l g o r i t h mb yc o m p u t e rs i m u l a t i o n s i m u l a t i o n sa l s op r o v et h a tt h ee f f e c to fs e r i a lm u l t i - f r a m ea l g o r i t h m si s a s g o o da st h a to f t r a d i t i o n a lm u l t i - f r a m eb a s e da l g o r i t h m si nl o wn o i s ec o n d i t i o n w ea l s oi m p l e m e n t e ds o m e m u l t i f l a m eb a s e d a l g o r i t h m s i nap r i m i t n ea p p l i c a t i o n p l a t f o r m a n dg o ts o m ee n c o u r a g i n g r e s u l t s k e y w o r d ：m u l t i f r a m ei m a g e ，r e s o l u t i o n ，i m a g es u p e r - r e s o l u t i o n ，i m a g er e s t o r a t i o n ， s e r i a ls t e e p e s td e s c e n ta l g o r i t h m 2 缝论 第一章：绪论 i 1 数字图像恢复和重建技术的概况 由于在图像获取的过程中，不可避免的会受到各种因素的影响，使得图像质量下降， 所以自从有了成象技术以来，如何降低或抵销各种因素对图像质量的影响，使得成象质量 提高就一直是研究的内容。数字成象技术的发展使得图像后处理技术方兴未艾，其中数字 图像的复原s t o r a t i o n ) 成为研究的焦点。“图像复原，是指去除或减轻在获取数字图像过 程中发生的图像质量下降( 退化) 。这些退化包括由光学系统、运动等等造成图像的模糊， 以及源自电路和光度学因素的噪声”。“图像复原的目标是对退化的图像进行处理，使它趋 向于复原成没有退化的理想图像” 1 】。因此图像复原技术被广泛应用于从天文、航空、航 天到婚纱摄影的各个领域。 图像的超分辨率( s u p e r - r e s o l u t i o n ) 是像复原领域的一个分支。一般的讲是指提高图像 表现细节能力的技术。由于对于分辨率本身没有一个统一的定义 2 】，所以也很难给超分辨 率下一个明确的定义。很多原因都可能造成图像细节的损失，例如：绝大多数图像包含陡 降的边缘，它们并不是严格带限的；由于物理原因造成的欠采样：传感点扩散( p s f ) 造成的 高频损失等等。本文所指的图像分辨率是指在对实际图像进行数字化采样过程中使用的采 样分辨率。采样定理指出，在对模拟信号进行数字化过程中，如果采样频率低于n y q u i s t 频率，则频率迭混是不可避免的。本文的超分辨率，从频域来讲，是指从有迭混的频谱中 求得等效于用更高采样频率得到的图像频谱的过程：从空间域来讲，是指从空间采样周期 较大的数字图像中求得等价于空间采样周期较小的数字图像的过程。它既包括图像象素的 增加，也包括消除迭混和模糊，大大增强图像表现细节的能力。 本文主要研究图像超分辨率的算法及其应用，但是同样的算法框架对图像复原问题照 样适用。 1 2 传统基于单帧图像的超分辨率重建技术及其局限性 在很多场合都需要超分辨率重建技术，有时也称图像放大( “d i g i t a lz o o m i n g 0 或图像插 值( “i n t e r p o l a t i o n ”) 。例如在监控系统中需要观察较小的目标；在医学图像中发现细小的病 灶；以及在数字照相机中弥补光学变焦的不足等。理论上，当采样频率大于n y q u i s t 频率s i n c 函数可以用于连续函数的插值复原，但是由于它的冲击函数收敛的很慢，所以不太适合实 际使用。全局的多项式插值方法也不太适用，原因是定义在全局上的多项式不能体现图像 3 绪论 的局部性质。所以在实际使用中较多采用分段的多项式来做图像插值 3 】【4 】【5 】，例如：最近 点插值法( n e a r e s t - n e i g h b o ri n t e r p o l a t i o n ) ，双线性插值法( b i l i n e a r i n t e r p o l a t i o n ) ，和多种样条 函数插值法( c u b j cs p l i n ei n t e r p o l a t i o n ) 等等- 。但是无论何种方法，都由于有限的数据量而无 法获得雎一的解。换句话讲，有无数种插值方法，它们在有限的观察点上的值等于得到的 低分辨率图像的象素值，但在其他点的值却相去甚远。所以各种各样的正规化( r e g u 】撕z a t i o n ) 方法被提出用来约束解空间 6 】 7 】，大多数的正规化方法都基于图像局部平滑的假设。使用 正规化方法后，可以得到足够多的方程，保证有唯一的解，但是平滑后的图像，因为高频 细节的损失使得主观效果较差。这似乎应验了一句俗语：“巧妇难为无米之炊”。没有足够 多有效的观察数据，就很难重建出好的超分辨率图像。 基于多帧图像插值的方法的出现似乎为这个问题开辟了新的局面，本文就是在这个基 础上研究适用于多帧图像插值的算法和相关应用。 1 3 本文的主要内容： 1 分别在时域和频域上讨论了从多帧低分辨率图像序列中恢复和重建高分辨率图像的 可能性，给出了个较为般的数学模型。 2 比较了几种现有的多帧重建算法，给出了它们各自的优点和局限性。 3 从实际应用出发提出了种新的串行的多帧重建算法，从理论上证明了它的收敛性 和有效性。模拟结果表明，在一般情况下，它可以达到与传统基于多帧的算法相同 的结果，但是所需的存储量较少，更加符台实际应用的需求。 4 提出了一个等效的高分辨率图像模型，通过该模型，可以根据实际需要构造不同的 观察矩阵，并控制观察矩阵的估计误差。 5 在实际系统中对基于多帧的算法进行了初步的应用。 _ _ _ _ _ _ - _ _ - 一一一一一 。 基于多帧低分辨率图像的超分辨率重建算法 第二章：基于多帧低分辨率图像的超分辨率重建算法 从多帧有半象素( s u b p i x e l ) 移动的图像序列中重建超分辨率图像的概念最早由t s a i 和h u a n g 【8 在重建由地球资源探测卫星( l a n d s a ts a t e i l i t e ) 发回的略有差异的图像序列中 提出。他们为多帧低分辨率图像的超分辨率重建问题建立了一个频域的模型，假设条件 是所有采样得到的低分辨率图像都是从同一帧高分辨率图像在全局移动下得到的。他们 的频域模型说明，只要有足够多具有半象素移动的观察图像，则一定能够得到唯一的超 分辨率图像。这个频域模型在下文中将要仔细讨论。从信息论的角度而言，基于多帧的 方法不同于基于单帧的方法的地方在于，前者是从三维时空空间中求得二维信息，而后 者是在二维空间中求解。众所周知，三维时空空间的信息量比二维空间多的多。基于多 帧的重建算法正是利用了这些多余的信息，将三维时空空间中的半象素信息投影到参考 二维空间上，求得重建的高分辨率图像。2 1 节通过n y q u i s t 定理从频域上说明了基于单 帧算法的局限性，同时还说明了基于多帧算法的数学基础。由于频域只能处理全局运动 的情况，所以2 2 节考虑了更般的情况，包括局部运动，镜头的传感点扩散( p s f ) 和信 号噪声，给出了一个时域中的般性模型框架。2 3 节回顾了现有的些基于多帧采样 的超分辨率重建算法。 2 1n y q u i s t 定理和多帧采样的数学基础 首先我们以一维信号为例，在频域上说明n y q u i s t 定理对信号采样和恢复的限制，然 后引出有半像素移动的多次采样的频谱模型。对于任意的输z , i g 续信q - s 似，如果它是带 限的，设它的最高频率为b ，对该信号进行时间域上的采样后，可以用理想低通滤波器从 采样信号中重新恢复出原来的连续信号的充分必要条件是采样频率；必须大于等于2 b ， 其中t 是采样周期，这就是众所周知的n y q u i s t 采样定理，见图2 1 。 一j 堡塑业塑坠塑型型 图2 1 a 时域中无限的连续信号 4 j i 图2 1 b 连续信号的频谱 川t 图2 1 c 离散信号图2 1 d 离散信号的周期频谱 如果输入信号不是带限的，或者采样频率；无法实现大于等于2 占，则必须在采样前 用低通滤波器将输入信号变为带宽为c 的带限信号，且满足采样频率亭大于等于2 c ，否 则频谱迭混是不可避免的。如果采样后的频谱发生迭混，则不可能用理想低通滤波器从采 样信号中重新恢复出原来的连续信号并保持没有失真，见图2 2 。 图2 2 不满足采样定理时频谱发生迭混 为了表达清楚，所有的时域信号用小写字母表示，频域信号用大写字母表示。则以 上采样过程可以用式2 1 描述。 6 一墅型盟竖坠塑缕型 g ( 月) = s ( t ) a ( t n t ) 戥 g ( n ) = s ( n t ) z ( 2 1 a ) ( 2 1 b 、 其中，是采样周期，a ( o 是理想脉冲函数。s 的傅立叶变换和反变换分别为 s ( f ) = j ( t ) e x p ( 一j 2 n f t ) d t s ( f ) = f s ( f ) e x p ( j 2 n f t ) d f ( 2 2 a ) ( 2 2 b ) 其中f 是频率，单位是周每秒。对采样型号g 例进行离散傅立叶变换的结果为 g ( ，) = g ( n ) e x p ( 一j 2 n n f t ) ( 2 3 a ) 考虑到g 。( f ) 是周期为；的周期函数，所以在一个周期内对g 。( f ) 进行反变换，可 以写成： 咖) = 乓g + e x p ( j 2 ；, m f t ) d f ( 2 3 b ) 令= f t 为归一化频率，则( 2 3 a ) ( 2 3 b ) 又可以写成 g ( ，) = g ( 圭) =g ( n ) e x p ( 一j 2 m a f ) ( 2 4 a ) g ( ) = l g ( ，) e x p ( j 2 a n f ) d f ( 24 b ) 将( 21 b ) 代入( 2 2 b ) q a ，并在采样点取值，可得 g ( ) = s ( f ) e x p ( j 2 n n f t ) d f ( 25 ) 设f = f t 为归一化频率，则( 2 4 ) 可以写成 咖) = 亭s ( 手) e x p ( ，2 n n f ) d f ( 2 6 ) 将( 25 ) 中从负无穷大到正无穷大的积分区域分成无数个小的积分区域c 御，则 咖) = 莩；”( ) e 则2 n n f ) d f ( 2 f ) 其中c 例的定义是一 一k 厂 一k ，k z 。令厂= f + k 代入( 2 6 ) 则 咖) = 莓专丘s ( 争刚2 珂) e x 刚2 砌) 矽 = 手丘莩s ( 争e x 刚z 册f ) d f 其中女，”为整数时e x p ( j 2 砌) = 1 连续傅立叶频谱之间的关系为 ( 28 ) 比较( 2 8 ) 和( 24 b ) 可以得到离散傅立叶频谱和 g ( 伊专莩s ( 学) 仁9 ， 其中一 厂s ，k 是整数，r 是采样周期。 如上假设输入信号s 倒是带限的，且最大带宽为b ，s ( f ) = o ，l f p b 。令最大带宽和采 样频率的比例关系为m = 良寺，如果m l ，即采样周期r 满足n y q 山吼采样定理的条 件，此时由输入信号的带限假设s ( 笋) ，o 在区间一；厂s 圭中的值都等于零。 则 g ( ) = 专s ( 手)一：蔓厂 ( ：，。) 此时只要使用一个理想低通滤波器即能将信号完全恢复。 如果m 1 ，即采样周期不满足n y q u i s t 采样定理的情况，则( 2 9 ) 可以写成( 由于频 谱的对称性，只考虑，0 时的情况) 。 刚，= ；薯s c 竽， 亿 ( 2 1 1 ) 式说明，对g 在任意，点的值，所有s ( 芸) ，七：o ，1 ，2 m 一1 都有贡献。 这时在o 厂；范围内频谱就出现了迭混，即使是理想低通滤波器也不可能将其恢复。 所以在实用中需要在采样之前对输入信号进行低通滤波，把输入信号的频谱限制在小于等 于方这种低通滤波被称为抗迭混滤波器。 如果输入信号是带限的且频谱已定，同时采样频率也已经决定，且采样频率不满足 n y q u i s t 采样定理的要求，即( 2 1 1 ) 式的情况，则恢复输入图像频谱是不可能的吗? 如果能 够对同样的输入信号s n ) 分别进行m 次采样，且m 次采样时，输入信号s 保持适当的平 8 一! 型型堂堂盟塑咝 移，则虽然每次采样得到的离散信号的频谱都有迭混，仍然可以完全恢复输入信号s 何频 谱。设m 次采样时的信号分别为5 ，何i = o ，2 乒，且s ，倒满足 j ，( f ) = s ( t a ，) ( 2 1 2 ) 根据傅立叶变换时域平移的性质，m 次输入信号的频谱为 s ，( 厂) = s ( ，) e x p ( 一- j 2 , 巧a ，) m 次采样信号定义为 ( 2 1 3 ) g 肋) = z s , ( t ) a ( t - n r ) = s ( f a ，) 占( 卜 丁) ( 2 1 4 ) 月；o n = 0 则m 次采样信号的频谱为 刚俨专铷( 半) ：事窆s ( 半) e x p - j n r ( f 刚 1 1 0 1 i 面 i = 0 ，1 ，2 m 1 ( 2 - 1 5 ) 对于任意的，如果将s ( 未土) 在厂点的值看成未知数，则( 2 1 5 ) 式中有m 个未知数， 且有i = o ，1 ，2 m 1 ，m 个方程。如果取适当的口，使m 个方程相互独立，则可以唯一的 解出s ( 圭) ，这正是恢复出输入信号所必须的频谱值。 以下通过一个简单的例子来说明问题。设输入信号为s ，信号最高频率b 和采样周 期r 之间的关系为b ：二2 t2 m = 2 两次采样时的输入信号分别为( ) 2 5 ( ) 和 丑( ，) = s ( t 一口) ，则两次采样后的离散信号为 g ，( n ) = s ( t ) a ( t - n r ) 9 2 ( ) = s ( t a ) 8 ( t - n t ) 根据( 2 1 1 ) 式，两次采样后的离散信号的频谱为，见图2 3 g l ( 舻亭s ( 争手s ( 竿) 叫) = 亭s ( 扣p ( - j 挚f c q + 专s ( 竿) e x 卅j 血r ( f 州 由于我们假设m = 2 ，即b = 亭，所以g ，和g j 钐都只有项迭混项，解上述方程 9 塑型墅塑型型型坚墼墼 可以得到s ( 手) 在 0 ，1 】的值，对称延拓后再对它进行傅立叶逆变换 即可以求得原信号。 图2 3 口= 号 i 虱e e 1 ，1 】间虚线( ) 组成的三角形表示频谱s ( 告) 在f _ 1 , 1 区间内的值， o ，2 l - j 虚线( - - - ) l 组成的三角形表示频谱s ( 兰) 在厂 o ，2 区间内的值。 o ，1 间的实线表示g ，钐 在该区域中的模， o ，1 的点划线表示g ，在该区域中的模。即我们希望通过 0 ，1 间的实线 和【o ，1 】的点划线求 0 ，1 间的虚线。 以上的例子表明即使采样频率不满足n y q u i s t 定理，即输入信号的频谱有迭混，然而 通过多次采样有适当位移的输入信号，同样可以解出输入信号的频谱。 在将以上基于多次采样的方法用于两维图像之前，首先给出一个数字图像的成象模 型。数字图像的拍摄过程实质上是二维模拟连续信号的采样量化过程，图2 4 描述了一般 数字图像的成象过程。 “，吃) 。( 口 巫p 竺西讯慢， 图2 4 数字图像的成象模型 其中& ( x l , x 2 , f ) 是实际的连续图像。豇描述了曝光时间段中，图像的空间积分效 应。吃( x ，工2 ) 表示了成象过程中r a 于镜头对焦不准或传感点扩散引起的图像质量退化。 j 0 一王圭丛坌茎塑塑塑坌憋重堡墼 g ( x 。，z 2 ，) 是已经退化后的连续图像，它经过理想采样并和系统中不可避免的噪声 v 。( n 1 ，n 2 ) 叠加后便是我们实际拍摄到的数字图像矾( n l ，2 ) ，其中表示在时刻进行的 图像采样。因此可以将整个采样过程写成 g ( x p x 2 , t 心。 去n ( x l , x 2 , t - - ? 7 砌 ( 2 1 6 ) g k ( ，肛2 ) = g ( _ ，石2 ，七) 占( 一一一心l ，x 2 一n 2 z b c 2 ) + v 女( n l , 2 ) ( 2 1 7 ) 月】2 一 其中+ 是两维卷积，_ ，x 2 分别是两个方向上的空间采样周期。 由于曝光时间一般都比较短，当被摄对象不是高速移动的物体时，时间积分效应都 可以忽略。如果暂时不考虑成象过程中的质量退化效应，则( 2 1 6 ) $ 0 ( 21 7 ) 合并写成 g k ( 月l ，z 2 ) = s 。( x l ，x 2 ，k ) g ( x l n j d b c l ，工2 一n 2 , 5 x 2 ) + v 女( h l ，n 2 ) ( 2 1 8 ) j 参考f 2 9 ) x r j - ( 2 1 8 ) 两边同时进行两维傅立叶变换，我们得到 嘶= 石1 石1 莘秽等，等堋m ) ( 2 同一维的情况，如果采样周期不满足n y q u i s t 采样定理，同样会出现频谱的迭混。在 图像中看到的边缘模糊和细节处的波形条纹就是频谱迭混引起的。这种迭混即使使用理想 低通滤波器也是无法恢复图像原样的。 如果假设原图像j 。( x 1 ，x 2 ，r = 0 ) 是带限的，其最高频率为b = m a x ( b l ，b 2 ) ，b , b 2 分 别是两个方向上的最高频率，且两个方向上的带限采样比分别为b ：2 x 1 a _ ，= 凡i 和 b ：夏i 1 = 马。且多次拍摄的过程中采样得到的图像互有适当的位移( ，屈) ，则我们 可以使用和维信号相同的方法恢复出原图像j 。( 一，x 2f ) 。在此条件下( 2 1 8 ) 和( 2 1 9 ) 可以 写成 s c ( ，x 2 ，k ) = s 。( 工1 一口，z 2 一反，0 ) 加 口 缸 一 砭 缸h x 烈以 一 屯 一 。d _。_ l 也 乳 一墼型咝幽巡堂型 胪击壶蒸等，譬d 口2 ” 由于频谱的对称性，( 2 2 i ) 只考虑当；， 0 的情况。可以发现( 2 2 】) 是包含我们关 心的未知鹕( 惫，惫，o ) 的方j 呈组。对于任意m _ o “2 2 d 包含有r 1 r 2 个未知 数，如果我们一共采样t 次，t = r ，r ：，且这t 次采样是互相独立的，即所有的r j r z 个方 程是互相独立的贝l | 墨( 志，惫，0 ) 在蛤定的j 雯率处的值也是睢咱定的越样我们就可 以从有迭混的频谱中唯一的恢复出原图像。 以上就是基于多帧图像的图像恢复重建算法的数学基础，也是t s a i 和h t m n g 8 ；g - - 次提出这个概念时使用的数学表示方法。由于从理论上讲只要满足多帧恢复的基本条件， 就可以唯一的恢复出原图像的频谱，所以图像超分辨率问题的解是显而易见的。例如对于 采样得到的t 帧n n 的图像，我们使用方程( 2 2 1 ) 在有效的频谱范围内，均匀地求得 s 。( l ， ，o ) 在2 2 n 处的值，然后进行反傅立叶变换，就可以恢复出2 x 2 倍的超 a x x ， 分辨率图像，这样得到的结果和使用2 n 2 分辨率的传感器进行采样得到的结果是一样 的。 虽然基于多帧的方法仍然假设输入信号是带限的，似乎只要提高采样时分辨率，使 得满足n y q u i s t 定理就可以恢复原图。但是实际上采样时的分辨率往往受硬件条件的限制， 不可能无隈制提高，而且基于以上的推导表明，对于输入信号带限的假设是不严格的，输 入信号的最大带宽b 可以趋向无穷，只要我们能够得到无穷多次有效的采样，我们始终可 以恢复出原图。即我们可以利用时间维的信息弥补空间维的不足，这也正是基于多帧方法 2 2 基于多帧采样的超分辨率重建算法框架 t s a i 和h u a n g 的方法虽然从理论上给出了基于多次采样的超分辨率重建的可能性， 但是这种方法有不少局限性。首先这是一种基于频域的算法，为了满足傅立叶变换的平移 性质，多次采样问的平移必须是全局性的位移：其次在这种算法中没有包括采样过程中实 际存在的图像模糊效应( b l u rf u n c t i o n ) ，而且由于整个算法是基于频域的算法，即使考虑图 _ _ _ _ _ _ _ _ _ _ _ _ 一一一一一 基于多帧低分辨率图像的超分辨率重建算法 像模糊效应，也只可能是平移不变的图像模糊效应，不能包含平移变化的图像模糊效应。 所以自从1 9 8 1 年t s a i 和h u a n g 最早提出概念后，各种各样的改进模型和算法就不断出现， 直到1 9 9 7 年e l a d 和f e u e r 9 发现各种改进模型都可以用一个较通用的时域模型包括，这 种模型考虑了以上提出的各种实际情况，使得基于多帧采样的超分辨率重建算法的应用领 域大大扩展。频域模型则往往只被用于说明基于多帧采样的超分辨率重建问题的数学本质。 为了能够表示时域模型，首先定义要恢复的超分辨率图像为n n 的矩阵x ，将x 从 行方向堆叠( g t a c k ) 得到的矢量记为z ，z r 。其次定义第k 次采样观察得到的低分辨 率图像为m m 的矩库m ，同样从行方向堆叠( s t a c k ) 得到的矢量记为k r 。y 。和 j 的关系见图2 5 。 如果定义，=巨1r”2，厅=fi篓shi耋c11月t14 2 n 2 ，j = x ，矿= 巨i r 聊2 x s 训k g j j 型幽型塑塑塑坌坚墼兰鳖 方程个数大于未知数个数时，就可以使用基于各种误差标准的最优化方法求得最优解。通 过f 2 2 3 1 式我们发现图像降采样的过程也可以看成是从n 空间投影到m m 子空间的 问题，基于多帧超分辨率重建的问题实质上是将散落在各个子空间中的信息重新映射回 xn 空间，使映射误差最小的问题。对于( 22 3 ) 1 拘一个显然的解法是使用伪逆，求得爿 的最优解戈。 贾= ( 再7 厅) 一1 日7 f ( 2 2 4 ) 但是对于两维图像的大小而言，直接求矩阵逆的运算量太大，使得这种方法不可能实用。 2 3 现有的各种基于多帧采样的超分辨率重建算法 这节主要介绍些现有的基于多帧的超分辨率重建算法，既有基于( 22 1 ) 模型的算法， 也有基于( 2 2 3 ) 模型的算法。 2 3 1频域中的l s 算法 t s a i 和h u a n g 最早的算法，就是频域中的l s 算法。首先对观察到的低分辨率采样信 号( 月l ，聆2 ) 作肘m 点的 f f t ， 求得g 女( _ ， ) ， 然后对 矗小( 几剧i f = 筹 = 等，俨j o ，】丑- 1 ) 的频虢用l s 算法 解方酢2 l 娜峨( 惫，惫o ) 在处频率肭氲最后i f f t f f 即可求得超分辨的 图像。 k i m 1 0 在t s a i 和l - 1 u a n g 的基础上，在算法中增加了对于观察噪声的先验知识，使用 了加权的l s 算法。并且在假设可加性噪声对于每个象素是互不相关的条件下，使用递归 的迭代算法，避免了直接求矩阵逆，大大减少了运算量。但是在计算每次迭代的过程中， 要不断更新误差的协方差矩阵，当图像规模较大时，这种算法对于所需的存储量和运算量 的要求仍然太大。k i m 在论文中还讨论了霄矩阵的性质，给出了厅矩阵满秩的条件。这 个问题将在第4 章中详细讨论。 2 32 迭代反向投影算法( 1 t e r a t i v eb a c k - p r o j e c t i o n ) i b p 算法 m 1 r a n i 和s p e l e g 1 1 参考了医学图像处理领域中，使用计算机辅助断层扫描( c a t ) 进 j 4 基于多帧低分辨率图像的超分辨率重建算法 行一维重建的算法，提出了迭代反向投影算法( j t e r “v eb a c k p r o j e c t i o n ) l b p 算法。他们使用 了与f 2 2 3 ) 类似的数学模型，并且证明了算法是迭代收敛的。首先估计一个超分辨率图像作 为初始解，然后根据( 2 ，2 3 ) 式，求出对应于初始解的一组模拟低分辨率图像，将模拟的低分 辨率图像组与实际观察到的低分辨率图像组相减，得到差图像组，然后用差图像组更新待 求的超分辨率图像，依次类推不断迭代真到收敛。迭代过程既可以以象素为单位，也可以 以整帧图像为单位。这种算法的优点是使用范围广，运算量小，收敛速度快，是目前为止 最为实用的方法之一。本质上i b p 算法同第三章中讨论的最速下降迭代法是相同的。 2 , 3 3 凸集投影法c e r o j e c to n t o c o n v e xs e 0 p o c s 算法 s t a r k 【1 2 也实用了与( 2 2 3 ) 类似的模型，但是解法有所不同。假设任何一帧超分辨率图 像是包含所有超分辨率图像空间中的一个点，则s t a r k 将求解的过程看成是从空间中任何 一个初始点出发，不断迭代投影到解子空间的过程。p o c s 方法的灵活之处在于它可以将 我们对解子空间的先验知识和约束条件设计成各种凸的子空间g 和相应的投影方法尸，例 如观察得到的多帧低分辨率图像可以构成对解子空间最重要的约束；其他约束包括超分辨 率图像象素的可能取值范围，图像能量的取值范围和局部平滑约束等。投影既可以是线性 的，也可以是非线性的。p o c s 方法的依据在于如果这些约束条件是相容的，则问题的解 必然属于这些凸子空间的交集。投影过程是迭代进行的，设初始值 ，则 f “1 = 己只一l 曼曩 将收敛到交集中的一个可能解。p o c s 方法的最大问题在于，如果在迭代过程中加入非线 性投影，则很难确定算法的收敛效果。即引入非线性投影虽然可能使迭代更加合理，但是 却不能保证局部合理的迭代得到最终合理的结果。如果仅使用线性投影，则得到算法和i b p 非常相似。t e k a l p 和p a t t i 1 3 】 】4 】【1 5 】将p o c s 方法推广到包含时变的模糊效应和传感器噪 声等情况 2 3 4 基于b a y e s i a n 估计的算法 s c h u j t z 1 6 】使用的数学模型与( 2 2 3 ) 有所不同，一帧图像被认为是特定随机过程的一个 实例。高分辨率图像和观察到的低分辨率图像是两个不同的随机过程，它们之间的关系用 转移概率描述。为了避免普通高斯场潜在地对超分辨率图像的平滑性约束，所以作者使用 了h u h e r - m a r k o v 随机场作为先验概率分布来描述分段光滑的图像，达到保存图像边缘的目 基于多帧低分辨率图像的超分辨率重建算法 的。然后使用最大后验概率原则m a p ，得到待求超分辨率图像的目标函数。最后使用梯度 算法求得目标函数的最小值作为超分辨率问题的解。它不同于其他方法之处在于，它的目 标函数不仅要求满足平均平方误差最小原则，而且不牺牲图像在边缘处的不连续性，所以 无论是主观效果还是客观效果都好于其他方法。但是缺点是计算量大，而且图像质量的提 高通常是微小的。 小结：本章从一维信号出发，讨论了从多帧低分辨率图像序列中得到超分辨率图像的 可能性。并且给出了该问题在时域和频域中的数学模型。同时介绍了几种已有的解决该问 题的算法，分析了各种方法的优缺点。 1 6 二壁堇竺堕童坚塞墨鎏二旦翌! 璺翌兰墅量垡茎! ! ! 堕 第三章：一种节省内存的重建算法一串行最速下降迭代法( s s d ) 在第二章中介绍的算法都有一个共同的假设，在迭代之前已经获得所有的低分辨率采 样图像，这意味着系统必须存储这些图像，以下将这些需要存储所有采样图像的算法称为 批处理算法。当图像较大时，对系统存储量的要求就成为不可忽视的问题。特别是对一些 移动式应用，这些算法会大大增加系统的硬件成本。本文提出一种迭代算法，只需要保存 当前采得的图像，因此可以大大节省系统所需的存储量，且保持图像的恢复质量与传统批 处理算法相当。所以它很适合于在线采集图像的实时系统或对硬件规模有要求的移动式应 用。由于这种算法与批处理算法相似，所以在导出它之前，有必要详细讨论批处理算法。31 节讨论了最速下降s d 迭代算法，几乎所有的批处理迭代算法都使用与s d 算法相同的迭 代过程。3 , 2 节给出了串行s d 算法的迭代公式和收敛性证明，并且分析了该算法的性能。 3 3 节是串行s d 算法和其他算法的比较。 3 1 最逐f 降s d 算法 3 1 1 最速下降s d 算法的迭代式 对于方程f = h x + v 一，y 一r 2 ，j r ”，百r “2 ”，其中t 是低分辨 率图象的帧数。假设式中的误差矿为零均值的高斯自噪声，即e ( 矿) = 0 ，且假设它的协 方差矩阵为c = 威q g ( 盯九玎；，口0 ) ，即任意两个随机变量互不相关。则随机变量，的 条件概率可以写成f 1 7 村旧。赢唧阻1f 一耐c 1 歹一厨) 使用最大似然法则，我们得到目标函数 e2 = ( y 一- h x ) 7 c 一1 ( r - h x ) ( 3 1 ) 其中j 是( 2 2 3 ) 式解的估计值。求( 3 】) 式的极小值 篓：o ：百r c 一，磁一百r c 一，歹 厅c 磁= 瓦m c ， ( 3 2 ) 1 7 一- 二监塑塑壁壁二皇堡墅塑堂型 由于厅7 c 一，百是对称非负矩阵所以可以使用各种迭代算法【1 8 如c o 、最速下降法 等迭代法求解方程( 3 2 ) ，最速下降法s d 的迭代式如下 2 。任意 岩。：岩。+ 以( 霄r c 一罗一面7 c 一1 衙) = 豆。+ 以耳7 c 一1 ( 歹一h x 6 ) ( 3 3 ) 护箍碱坷弋弘磁) ( 3 3 ) 式被称为归一化加权的s d 迭代法。在实用中为了计算的简化，般令五2 旯为 一常数，此时( 3 3 ) 式可以写成 量。= j 。+ 庙7 c 一1 ( 歹一磁。) ，任意 这就是加权的s d 迭代法，其中权矩阵是噪声协方差矩阵的逆。 如果c = 仃2 ，即每次采样的噪声方差相同n ( 3 4 ) 式可以写成 譬。= j 。+ 庙7 ( f 一磁。) ，任意 其中 = 九口_ 2 ( 3 4 ) ( 3 ，5 ) 如果每次采样的噪声方差不同，我们可以将c = d i a g ( g ( , o - ；2 ，口孑) 写成 s 2 ：c ，s ：d i a g ( g i l ，盯，仃：) ，并且令u = 靖，矿= s 歹，则 厅r c 一，酉：百7 s s # = 瓦s 7 s h = ( 5 霄) 7 5 霄= u 7 u 百7 c “歹：u 7 f , v n ( 3 、4 1 的迭代式可以写成 j 。= j 。+ 2 u 7 ( 矽一腑。) ，任意 ( 3 6 ) 考察( 3 6 ) 我们发现，当采样噪声是有色噪声时，只要我们对低分辨率采样图象f 和观察矩 阵百做适当的变换，则始终可以将加权的s d 迭代法写成如( 3 5 ) 的形式。以下我们就以( 3 5 ) 为基础推导s d 迭代法的性质 1 8 3 1 2 收敛性分析： 为了分析( 3 5 ) 的收敛性和收敛条件，我们考察每一次迭代的迭代误差。设x + 是方程( 2 2 3 ) 式的正确解。则迭代误差为 e 。= x 一以 e k 。：x 一爻k 。= x 一爻k 一丸5 k ：z 一丘一庙7 ( ，一h x 。) ：x 一戈。一屑7 ( 厨+ 一磁。) ：( ，一庙7 百) ( x 一雪。) = ( i a 勇t 勇) ek = ( 卜腼7 厅) 2 e = ( ，一庙厅) “1 目 可见要使误差趋于零，则必须满足 l ，一盾r 厅i l 1 1 1 2 其中范数肛i f ：= j 盯。，i 口f 。表示矩阵a 的特征值的最大绝对值。 若该条件满足，则当t 斗。o 时，瓦0 ，即可以迭代求得方程的正确解。 ( 3 7 ) ( 38 ) 为了满足 1 ，一盾7 万 ， 1 ，我们考察矩阵厅r y 2 1 “2 和迭代系数旯。设百的非零 奇异值为仃，盯2 ，口，因为百7 厅是对称阵，所以可以写成 肼= 矿 渊矿7 其中矿为单位正交阵y 7 矿= ，s 2 = d i a g ( c r t 2 , 盯2 2 ，盯，2 ) ，所以 ，一析7 厅：w 7 一庙7 霄：v m v 7r 3 9 1 1 9 堡型塑重蔓! 鳖堂熊型燮型 则 ，一砖20 其中肛1 o ，j 卜盾7 砘= i i m i i ：，州1 = i i m i i ： 。，如果万r 厅满秩，即m ：f 1 一a 盯；1 一五盯；i ，要满足忪一屑7 厅n ， l 以盯；j ：= ，鞴，( 1 1 一旯盯邓 1 考察1 1 一无盯刊 1 ，f = j _ r ，e 1 3 0 a 考，所以( 3 8 ) 式成立的条件是 0 五 仃纛 ( 3 1 0 ) ( 3 1 1 ) 即当百7 厅满秩，且迭代系数满足( 3 1 1 ) 式时，( 3 8 ) 收敛条件成立，迭代误差趋于零。 此时，方程( 2 2 3 ) 的解为 文k 。= 爻k + 瘟t t i 一曩爱k 、 文i 一痕t 豆、殳k 七穗t 彳 = ( ，一庙厅) 丘。+ 厨7 ( 歹一甄一，) + 腼 = ( ，一x t 7 7 厅) 2 立一，+ ( ，一z 7 7 百) 盾7 ，+ 盾7 ， ( i - 腼r 西“矗+ 圭( ，一屑嚼) ，腼r 歹 若l 一庙7 厅i | ： 1 ，则当女一o 。时 耍。一( j 一腼7 霄) 屑7 f 由n e n m a n n 定理 1 9