（信号与信息处理专业论文）视频序列的超分辨率重建研究.pdf

| = ；i 京i | j | j i u 人学坝上研究生学位论文 摘要 视频序列超分辨率重建技术是由一序列低分辨率视频图像来估计一幅或多幅较 高分辨率的非变形图像，本课题已成为当前图像处理领域热点问题之一。 本文首先简要介绍了超分辨率重建技术的基本原理，然后根掘视频序列的基本特 点，分别从单帧图像和多帧视频序列这两个方面进行超分辨率重建。在单帧图像超分 辨率重建中，本文提出了一种基于分割思想的超分辨率重建算法；在多帧视频序列重 建中，本文分别基于b a y e s i a n 和凸集投影这两个理论，结合超分辨率图像重建的经 典算法，提出了两种新的视频序列超分辨率重建算法。随后对各种新算法进行仿真实 验，仿真结果表明，新算法在峰值信噪比和重建效果等方面均较传统算法有较大的提 高和明显的改善。接着，论文对插值技术在超分辨率重建中的应用做了简单的分析和 总结。最后，论文总结了本人的工作，归纳了当前图像超分辨率重建的方法，并展望 了未柬的发展方向。 关键词：图像重建；超分辨率；视频序列； 凸集投影；b a y e s i a n 南京l | | l ；l u 人学坝1 研究生学位论文 a b s t r a c t v i d e o s e q u e n c es u p e 卜r e s o i u t i o n r e c o n s t r u c t i o n ( v s s r ) i sat e c h n i q u ef o l e s t i l n a t i n gan o n - a l i a s c dh i g h r e s o l u t i o ni m a g e ( o rs e q u e n c e ) f r o ma na l i a s e d v i d e o s e q l l e n c e n o w t h i st e c h n i q u eh a sb e c o m ea l li m p o r t a n ts u b j e c t i nt h el i e l do fi m a g e p r o c e s s i n g a tt h eb e g i n n i n go ft h ep a p e r ，t h ef u n d a m e n t a lp r i n c i p l eo ft h es u p e r l r c s o l u t i o ni s i n t r o d u c e d ，a n dt h e n ，a c c o r d i n gt ot h ec h a r a c t e r i s t i c so ft h ev i d e os e q u e n c e w ea n a l y s et h e p r o b l e mi n t ot h et w op a r t s ：s i n g l e f l a m ea n d m u l t i f r a m e s i nt h ea s p e c to l 、s i n g l e l r a m e a n e wa l g o r i t h mf o rs u p e r - r e s o l u t i o ni m a g er e c o n s t r u c t i o nb a s e do l l t h es c g m c n t a t i o ni s p r o p o s e dt or e s o l v ec o n t r a d i c t i o n so f t h ee f f e c ta n dt h ec o m p l e x i t yo ft h ec u r r e n ta l g m 。i t h m i nt h ea s p e c to fm u l t i f l a m e s t w on e wa l g o r i t h m sa l e p r e s e n t e db a s e do nt h ep r i n c i p l eo f t h eb a y e s i a na n dp o c s ( p r o j e c to n t oc o n v e xs e t s ) e x p e r i m e n t a lr e s u l t sd e l n o n s t x a t et h a t t h e s en e wa l g o r i t h m sn o to n l yo u t p e r f o r mt h a nt h et r a d i t i o n a la l g o r i t h m so i lt h ea s p e c t so l p s n r ( p e a ks i g n a l - t o n o i s er a t i o ) ，b u ta l s oh a v et h eb e t t e rr e c o n s t r u c t i o nv i s i o ne f f e c t t h e n m a n yc l a s s i ci n t e r p o l a t i o nm e t h o d s a r ei n t r o d u c e da n dc o m p a r e d a tl a s t ，t i l ei m a g e s u p e r - r e s o l u t i o nt e c h n i q u ei ss u m m a r i z e d a n di t sf u t u r ei sf o r e c a s t e d k e y w o r d s ：i m a g er e c o n s t r u c t i o n ；s u p e r - r e s o l u t i o n ；v i d e os e q u e n c e ； p o c s ；b a y e s i a n 南京邮电大学 硕士学位论文摘要 学科、专业：工学信号与信息处理 研究方向： 图像处理与多媒体通信 作 者：2 0 0 3 级研究生周亮指导教师塞霾昌 题目：视频序列的超分辨率重建研究 英文题目：t h er e s e a r c ho i lv i d e os e q u e n c es u p e r - r e s o l u t i o n r e c o n s t r u c t i o n 主题词： 图像重建超分辨率视频序列凸集投影 b a y e s i a n k e y w o r d s ：i m a g er e c o n s t r u c t i o n s u p e r - r e s o l u t i o n v i d e os e q u e n c ep o c s b a y e s i a n 南京邮电大学学位论文独创性声明 y 8 5 t o l 0 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名 粗嘲妞卜 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：挝弦导师签名 o + _ 一 牡吼蝉 南京i i i i i i j , 人学坝j 究生学位论文第一章序论 1 1 课题背景【1 7 l 第一章序论 视频序列的超分辨率重建( v s 辄) 是指融合来自相同动态场景的多个低分辨率 视频序列的信息，去重建一个高时空分辨率的视频序列。可想而知，视频的超分辨率 主要包括b 寸f b j 超分辨率和空间超分辨率。视频中某些事件发生变化比较快，这样就需 要用所谓高速( 高帧率) 的摄像机来采样，如果使用普通帧率的摄像机，那么在时间上 就会有一些细节信息的丢失。视频的时问超分辨率就是要恢复这些丢失的时问上的细 节信息，而视频空唰超分辨率就是通常人们提到的图像超分辨率重建。 摄像机在时间和空阳j 上的分辨率能力是有限的。空间分辨率取决于摄像机光学传 感器的空间密度及其本身引入的模糊误差，这些因素限制了图像中被观察到的物体或 特征的最小空问尺寸：时问分辨率取决于摄像机的帧率和曝光时i 训，这就限制了视频 序列中能被观察到的动态事件的最大变化速度。比摄像机帧率发生更快的动态事件在 记录下来的视频序列中是不可见或者不正确的，如在网球比赛的视频中是不可能观察 到高速运动的网球的全部运动和状态的。有两类非常典型的由高速运动引起的可视化 效果；运动模糊，它是摄像机的曝光时间引起的，如高速运动的网球所带有的尾逃； 运动混淆，它是由于帧率限制的时间采样引起的，如一个小球以正弦波形向6 h 运动， 摄像机的帧率如果与小球正弦运动周期可比或相等，记录下的视频上就将观察到小球 以很长的周期正弦运动或直线运动，这类似于一维信号的欠采样。这两种视频效果都 不能依靠视频的慢速播放而消除，甚至使用复杂的时间插值算法来增加帧率也收效甚 微，这是因为包含在单帧视频序列中的信息是不足以恢复高速动念事件中丢失的信 息。多帧视频序列提供了附加的动态时空场景采样，这样就可融合这些信息去弥补丢 失的信息，产生一个高时空分辨率的视频序列。 1 2 超分辨率重建的含义 许多成像系统，如红外成像仪和c c d 照相机等，在采集快速视场图像的过程中， 受其固有的传感器阵列排列密度的限制，图像的分辨率不可能很高；同时欠采样效应 又会造成图像的频谱交叠，使获取的图像因变形效应而发生降质( 理论依据是奈奎斯 南京i | | | ：i 乜大学坝l j 研究生学位论文 第一帝序论 特采样定理) 。虽然成像系统的光学元件能够有效地限制传感器阵列上图像的频带宽 度，使获取的图像有可能避免变形效应的发生，但这要求光学元件与传感器阵列进行 有效组合，这在实际应用场合中是很难做到的。如果采用增加传感器阵列密度的办法 来提高图像分辨率和消除变形效应，则费用可能很昂贵或者很难实现。 解决这一问题的一个有效办法就是超分辨率重建技术。这种方法的目的就是由一 些低分辨率变形图像( 或视频序列) 来估计一幅较高分辨率的非变形图像，同时还能够 消除加性噪声以及由有限检测器尺寸和光学元件产生的模糊。 大多数超分辨率重建方法是从经典的单帧图像重建技术发展丽来的。单帧图像重 建技术经过几十年的研究，逐步形成了一套统一的理论框架。虽然单帧图像重建技术 的研究还远未成熟，但这类方法的固有局限性严重阻碍了图像重建效果的大幅度提 高。在传统的单帧图像重建问题中，因为只有一幅输入图像上的信息可以利用，图像 重建和分辨率增强效果受到极大的限制，而在超分辨率重建方法中，呵以利用图像序 列中的附加空域时域信息，这样就能够重建超过任何一幅低分辨率图像带宽的超分辨 率图像。 超分辨率重建有许多应用场合：( i ) 根据视频信号来打印超分辨率静态图像，其 目的是扩大图像和增加细节；( 2 ) 把普通视频信号转化成高清晰度电视标准或产生 合成视频变焦( 合成视频变焦就是把视频显示的一个区域按某一倍数进行放大，然后 重新播放) ：( ：；) 在采集军事与气象遥感图像时，由于受到成像条件与成像系统分 辨率的限制，不可能获得清晰度很高的图像，由多幅低分辨率图像来重建高分辨率图 像具有十分重要的意义；( 4 ) 在医学成像系统中( 如凹、核磁共振成像仪和超声波 仪器等) ，可以用超分辨率重建技术来提高分辨率质量。 i 3 本文的工作 本文在分析视频序列图像的特点以及前人研究的成果的基础上，分别从 | j r y e s i a n 理论、p o d s 技术等角度对视频序列进行超分辨率重建，提出了一系列新算 法，获得了良好的重建效果，p s n r 等指标均较传统算法有了一定的改进。 本文结构安排如下：第二章分别从对图像超分辨率重建技术的介绍、视频序列成 像模型的建立以及关键技术等几个方面，对视频序列超分辨率重建技术进行简介；第 三章在经典单帧图像s l 算法基础上，充分利用小波方法的简单性和神经网络的精确 南京| | | | ：l 也人学坝j 研究生学位论文 第一带序 仑 性，提出了一种基于分割思想的新s r 算法：第四章重点介绍了b u y e s i “n 理沦在视频 序列重建中的应用，在分析了一些经典算法的基础上，综合利用了c c i ) f c y c c c 1 l 。ll ci ) e c e n t ) 和s a ( s u c c e s s iv ea p p r o x i m d l j0 1 3 ) 技术，提出了一种新的重 建算法；第五章着重分折了凸集投影理论( p ( ) c 5 ) 在视频序列重建中的应用，根掘视 频序列的特点，合理构造了凸集及建立了相应的投影法则，提出了一种基于运动估计 的新方法：第六章分析了简单介绍并总结了超分辨率重建中的插值技术，文章最后对 整个研究工作进行了总结和展望。 南京| 1 1 | ：i u 人学i ! i 。j ：i f 究生学位论文第二章幽像超分辨半重建( s rj 技术简介 第二章图像超分辨率重建( s r ) 技术简介 2 1 图像s r 技术介绍 2 1 1 理论基础刚习 对于一个线性空l q 不变成像系统，其成像过程司用f 式加以描述： g ( x ) = 自( x ) + 厂( x ) ( 2 1 ) 这里g ( x ) 表示像；，( 石) 表示物；h ( x ) 为点扩散函数；4 表示卷积运算a 对( 2 1 ) 式 取傅立叶变换，有： g ( u ) = h ( u ) f ( u ) ( 2 2 ) 这里的g ( z ，) ，f ( “) 和h ( “) 分别表示g ( x ) ，厂( z ) 和 ( * ) 的傅立叶变换。从( 2 2 ) 式表面上可以看到，由于在截止频率之外月( “) = 0 ，因此要想重建出截止频率之外的 信息，无论在理论上还是在实际中都是不可能的。以上结论等价于把成像系统看作为 一个傅立叶滤波器，对f ( i t ) 进行了限制。但实际上存在很多方法对f ( t t ) 进行估计， 而这些方法并不具备傅立叶滤波器的性质，采用这些方法可成功的实现截止频率之外 信息的重建。为什么可以实现超分辨率信息的重建呢? 这主要基于以下几个方面的理 论： ( 1 ) 信息叠加理论。对于非相干成像，实际的图像应具备以下约束条件和性质： 非负性和有界性。即图像的最小光强应大于0 ，且图像具有一定的大小，可用下式表 示： j 厂! x ? 0 ，x x f 2 3 ) l 厂( x ) = 0 x 茌x 。 其中x 表示图像的大小。式( 2 3 ) 也可以用下式表示： ，( x ) r e c t ( x x 1 ( 2 4 ) 其中r e c t 是矩形门函数。r ( x ) 的傅立叶诺可以分成两个部分，即截止频率以上部分 和以下部分，分别用c ( h ) 和e ( “) 表示，对( 2 4 ) 式取傅立叶变换可得： f ( z f ) = 阢( “) + ( “) 4 s i n cx x ) ( 2 5 ) 从( 2 5 ) 式可以看出，由于s i n c 函数是无限的，则截i e 频率以上的信息通过卷积叠 南京邮i u 人学颤j ? 研究生学位论义第二章图像超分辨率晕建( s rj 技术简介 加到截止频率以下的频率成分中。显然，如果我们找到一种方法将这些信息分离获取 出来，就可以实现图像的超分辨率重建。 ( 2 ) 解析延拓理论。如果一个函数，( x ) 是空域有界的，则其谱函数f ( u ) 是一 个解析函数。解析函数一个重要的性质是，若其在某一有限区问上为已知，就会处处 己知。这就意味着，如果两个解析函数在任一给定的区问上完全一致，则它们必须在 整体上完全一致，即为同一函数。这一点还可用另外一种方式表达：对于在某给定区 间上定义的曲线，不可能有一个以上的解析函数在此区间上与此曲线精确拟合。根据 给定解析函数在某个区间上的取值对函数的整体进行重建叫做解析延拓。 对于一幅图像，由于其空域有界，因此其谱函数必然解析。若暂不考虑噪声干扰， 可以确定从零到衍射极限这一区间上的谱函数。从公式( 2 2 ) 可以看出，在截止频 率以下的f ( u 1 可通过该式计算获得。根据解析延拓理论，截止频率以上的信息可采 用截止频率以下的f ( u 1 进行重建，从而实现图像的超分辨率重建。 ( 3 ) 非线性操作。考虑到噪声对成像过程的影响，一般成像过程有下式表示： g ( x ) = 厂( x ) 4 向( x ) + 门( x ) ( 2 6 ) 其中 ( * ) 表示噪声。由于噪声的影响，由此解得的图像估计f ( 工) 一般会破坏( 2 6 ) 式的非负性。同时由于h f 1 的低通作用，会破坏估计图像有界性。因此在图像重建 计算中，必须施加以下的约束条件：图像的空问截断和非负的数字截断。由此带来一 系列的非线性操作，而信号的非线性操作具有附加高频成分的性质。因此，通过对约 束操作引入的高频分量的逐步调整，即可以实现图像的超分辨率重建。 2 1 2 发展现状介绍“帕 当前超分辨率重建技术的发展主要集中在以下四个方面： ( 1 ) 序列和多幅图像的超分辨率重建 对于序列图像或同一物体的多幅图像，如果图像之间存在着相互运动( 如平移和 旋转) ，则这些序列图像含有类似但不完全相同的信息。基于序列或多幅图像的超分 辨率重建就是利用这些不同但互补的信息以及物体的先验信息，从一系列低分辨率的 图像恢复出高分辨率的单幅图像。该思想与前述的单幅图像超分辨率重建相比，其优 点在于除了利用物体的先验信息和单幅图像的信息之外，还可以充分利用图像之问的 南京l | | | ：l 乜人学f i ! ； | ：卅究生学位论文 第二章图像超分新牢重建( s i 技术简介 补充信息。在此领域m k n g 和n - k b o s e 等学者分别从频域和空域，提出了超分辨 率重建算法，引起业内广泛关注。 ( 2 ) 压缩视频的超分辨率重建 传统的超分辨率算法都是基于图像序列，实际中最常见的图像序列是视频文件， 视频压缩技术的使用使得压缩视频的洲重建方法不同于和传统的淋重建。不同之处在 于：视频压缩方法将图像表现为一序列的运动矢量和变换系数。以往压缩视频的超分 辨率重建是将视频先进行解码，恢复成普通的序列图像后再进行重建的。近年来，不 完全解码并充分利用比特流中的信息成为压缩视频超分辨率重建研究的一个方向。 s e g a jl ，k l ls a g g e l o s ，m o l i n a 和m a t e o s 研究了在从压缩视频中产生超分辨率的 过程中利用解码信息( 包括变换运动矢量、量化表、编码模式及量化调整因子等) 的可 能性。算法所使用的是经典超分辨率算法中的b e y sj a n 算法的最大化后验概率理论框 架。由于使用的是压缩视频，图像概率密度函数需要考虑加入和压缩过程中产生的量 化噪声、块效应、振铃效应等有关的补偿项；由于运动矢量的分布也依赖于压缩技术 本身，同时比特流中的运动矢量也提供了一个高分辨率图像的附加信息，因此在密度 函数中这部分的影响也有所体现。 解决压缩视频的超分辨率问题，除了基于m a i ( 最大后验概率) 算法的理论框架， 还有- 种方法是基于p o c s ( 凸集投影) 的算法，它需要确保重建包含量化闽值信息的 数据的一致性，在变换域使用量化信息作为建立凸集的基础。在利用图像数据的一致 性实现空域分辨率增强的同时，建立d c 变换域的凸集及对应的投影算子，从而使用 p o c s 算法来实现d c t 域超分辨率算法。这样就可以完成压缩视频的超分辨率重建。 ( ： 空间与狄度级分辨率增强 前面讨论的超分辨率都是增强空间分辨率，与之类似的狄度级( 位深度) 增强则并 没有获得广泛关注。狄度级也就是像素的i ! 】jl 数所表示的层次，由于成像设备和环境 的影响，在量化中可能限制了灰度级的范围，导致图像的一些细节丢失。狄度级增加 的思想方法与空间分辨率增强一样，都是充分利用多帧图像之问的冗余信息。( j u nl u r k 提出了基于经典| 】0 c s 算法的图像位深度增强算法，从而同时提高图像空i u j s u 灰度级分 辨率。由于通常的量化都是四舍五入的，因此可以根据退化后的像素值知道它在量化 范围内接近观测的像素灰度。基于此可以定义一个凸集，同时结合其它如数据一致性 凸集等，限制解空间，并计算对应的投影算子，通过迭代得到灰度级别和空问分辨率 同时提高的图像质量。实验证明，灰度级分辨率增强的算法可以很明显的扩大图像的 南京| j | ：i u 人学倒 i + 矾究生学位论文第二章幽像超分辨率重建( s rj 技术简介 灰度比特深度，提高图像在狄度级别上的分辨率。 f 1 ) 空矧与时间分辨率增强 s h e c h t m i i l l 提出了一个通过合成同一动态场景的多个视频序列信息获取亚像素空 间和亚帧( s u bif l t l n o ) 时间位移来重建高空时分辨率( h j g hs p ；t c e l j m er c lu ti o n ) 序列的方法，可以同时在时涮和空1 1 日j 上实现超分辨率。时间超分辨率是指恢复发生的 比固定的帧速( i r e t m o f a t e ) 还快的高速动态事件，那样的动念事件即使是用i 曼镜 头”播放时，在序列的任何一帧中也是看不见的或者、蜕不能正确观测到的。空问和时 间域在本质上是有非常大的区别的，但是相互间又是关联的，这样就可以在时间和空 问上做视觉交换从而产生一个新的视频应用方向，包括通过提高时间分辨率来处理空 间人工效应( 如运动模糊等) ，联合不同时空分辨率的序列( 如盯s c 、j ) a l 。制序列等) 来产生商质量的视频序列。 2 视频序列成像模型建立 视频序列生成的大致过程为：首先假设客观存在的原始图像f 是一个高分辨率图 像，然后经过低分辨率摄像和成像设备得到数字化图像序列g ，再对获得的图像序列 依据l i u 或m i ，e ( ；制定的标准将其压缩，生成压缩视频。，成像过程见图2 i 。从图中 可以看出成像过程基本上可以分成两个部分：( 1 ) 序列图像获得部分；( 2 ) 压缩视频 生成部分。下面对成像的这两个部分，分别建立数学模型。 一一r 。! ：，j ；1 2 l 。bj ，t * d 目- l 一。! 获得压缩视频 图2 1 压缩视频的成像过程 首先考虑原始高分辨率图像f 与低分辨率图像序列g 之间的关系。为方便起见， 将运动扭曲，模糊，非零孔径时间，降采样这四个方面对图像质量的影响统称为降质 函数，记为h ，一般情况下降质函数是线性移变( 【。s v ) 函数，v 是独立高斯白噪声。两 南京邮i u 人学f * ! j ：研究生学位论义 第一章| 整i 像超分辨率重建( s l ) 技术简介 g ( ，k ) = ，( 几m ( 亿t ；1 卅“，( ，膏) ( 2 7 ) 其中( i ，k ) 表示第k 帧图像的离散空间位置，s ( ，i 如) ；，1 ( 啊，) 表示原始高分辨率图像 日 1 n jt 的空i 刈坐标h ；( r i , 1 7 2 ) 。 然后低分辨率图像g 经过运动补偿和8 8 块d c7 1 1 变换，产生一系列i ) c l 、变换系数 d ( m ) ，卅= ( ”朋：) 表示d c7 i 、域中的空间坐标。我们用量( ，女) 表示帧间预测，定义 譬( 7 ，k ) - - - z ，( 亿，) ( ，t ；l ，k ) ，则可得： a ( m ，女) = d c r g ( ，) 一鸯( ，女) + v ( f ，女) ( 2 8 ) 其中d ( 7 1 表示8 x 8 块d c t 变换。记g ，0 和v 依次表示g ，叠和v 经过d c l 、变 换后的表达式，则( 2 8 ) 式可写为： ( ，( m ，) = g ( m 、t ) 一a ( m ， ) + p 7 ( ”l k ) ( 2 q ) 利用g 的定义式，则g 也可写成为： 咖肿p n 啪似，i ) ， 2 ，( n ，o h , 。，( ”，；一，女) h 。，( ”1 ：m k ) 表示h ( n ，t ；i ，k ) 经过8 x 8 d c 一1 变换后的表达式。 然后将所得到的变换系数进行量化，得到量化的d c t 变换系数c ( 扎k ) ，量化的过 程是一个非线性过程，我们用q 表示，则此过程可以表示为： 和名裂瓣a ( m 川州叫 = 9 g ( ”z ，女) 一， ) + ( ”z ， ) 在m p e g 标准压缩中，量化过程是通过量化步长将d c t 系数转换成与之最接近 的整数来实现的，而量化步长是由d c t 系数的空问位置，比特率以及宏块模型决定 的，量化后的d c ，r 系数e ( m ，k 1 和相对应的量化步长均可以在解码端获得。现在问题 转化成如何从解码端的已知量去近似计算出d ( m k 1 的大小，从而估计出高分辨率图 南京邮i u 人学坝l 删f 究生学位论文 第二章幽像超分辨率重矬( s rj 技术简介 2 3 视频序列图像重建中( v s s r ) 的关键技术【体1 5 】 2 3 1 运动估计和运动补偿 对于一段场景变换不大的图像序列来说，这一组图像具有相似但不完全相同的信 息，其主要变化在于图像中运动物体产生了空间位移。因此，利用运动估计器估计出 运动矢量和位移矢量，就可以利用运动补偿的方法估计内插的像素值，从而较准确地 实现超分辨率的重建。 从上节可知，通过运动矢量场，高分辨率视频的任何一帧都可能由可用的低分辨 率视频重建，也就是晚，低分辨率视频序列中的半像素运动提供了附加的信息，使提 高空间分辨率成为可能。因此，对于超分辨率重建来说，除了可以利用先验知识和单 幅图像的信息外，还可以利用视频序列时间域的信息。 所以，选择合适的运动估计器是实现超分辨率重建的关键。但是，位移的准确估 计是建立在高分辨率视频的基础上，对于超分辨率重建问题来说，可以利用的视频帧 往往具有较低的分辨率，因此，这使超分辨率重建中的运动估计问题变得复杂了。如 果选用常规的运动估计器就会造成较大的估计偏差，所以，选择鲁棒性好的运动估计 器是超分辨重建问题研究的一个重点。 2 3 2 基于空间的超分辨率重建模糊和噪声的去除 由于技术的限制和成本的考虑，在很多情况下得到的图像存在着不同程度的降 质。其主要表现为模糊和噪声。造成模糊的因素多种多样，例如，传感器的形状和尺 寸，光学仪器的性能，照相机的缝隙时间等。其中，由于照相机的缝隙时问所造成的 运动模糊最难处理，这是因为超分辨率重建需要通过运动估计来有效地利用多帧图像 的综合信息，当所用的低分辨率图像 存在运动模糊时，运动估计将会变得更加困难。此外，在成像、传输、存储等不 同过程中，会引入不同类型的噪声，如椒盐噪声，高斯噪声等，而且噪声的引入方式 也会不同，或为加性噪声，或为乘性噪声，所有这些都会直接影响到运动估计的准确 性，从而影响超分辨率重建的最终结果。 对于这方面研究的文献很多。t s a i 和i l u a n g 首先提出了超分辨率重建的思想，并 从频域的角度分析了超分辨率重建的条件：可利用的低分辨率图像必须存在频率的交 南京l | l | 5 i b 人学倾i + ! j f 究生学位论文 第二章幽像超分辨牢重娃( h rj 技术耥介 叠，但h t i 只是对低分辨率图像进行单纯的内插，没有考虑其降质的情况。k j i n 等人 对t m i 的成果进行了改进，将【模糊和噪声引入算法中，将超分辨率重建看作为一 个最小均方问题。s t zl j + - k 采用的是p o c s 的方法，考虑了由传感器形状所引起的模糊。 j e k a jp 等人采用的也是p o c s 方法，与s t a r k 不同的是他们考虑了出传感器大小所引起 的模糊，并同时考虑传感器的噪声。以上两种方法均假设低分辨率图像序列中的运动 是平移运动，而且缝隙时间均忽略不计( 即不考虑运动模糊) 。ir l ni 等人的方法假 定低分辨率视频中的运动为平移和旋转，而后又将运动方式推广为更普遍的运动形 式，但是他们始终没有考虑噪声和模糊的情况。眦sl s u 等人研究的对象与前面几种 略微不同，它研究的一组图像来源于多个低分辨率照相机，其中图像日j 的运动形式被 限制为平移运动，他们将图像内插为图像的尺寸，然后用块匹配估计每一个像素 位置的向量；此后，k o m a sl s u 又将这种算法推广到不同尺寸传感器的情况。 从上面的讨论中可以看到，尽管关于超分辨率重建的研究很多，但是大部分算法 只考虑了运动估计、模糊、降噪中的一种或几种，即使有些算法同时考虑了上述三点， 也只是对每项中的一个侧面进行讨论，没有进行全面的研究。尤其是模糊中的运动模 糊，由于它会直接影响到运动估计的效果，所以，这方面的研究少之又少。 2 3 3 基于压缩的超分辨率重建一量化噪声 在实际生活中，所遇到的大多数视频是以压缩码的形式存在的，例如，”l | j 2 6 3 ，d v 等。因此，基于压缩的超分辨率重建技术在最近两三年内成为研究的热点。 通常人们会有一种直观的想法：如果将压缩视频先解压，再利用基于空问的超分辨率 重建技术就可以实现压缩视频的超分辨率重建。但是，实验证明，这种思路并不能获 得很好的结果，其主要原因是空间的超分辨率重建方法只考虑了成像过程对于视频的 影响，没有考虑压缩过程对于视频的影响。只有充分的考虑到所有的因素，才能够寻 求到最佳的重建方案。因此基于压缩域的超分辨率重建的研究具有极其重要的意义。 基于压缩的超分辨率重建的研究主要集中在最近的两三年里。c u n l + u r k 在重建算 法中同时考虑了成像过程的加性噪声和压缩过程的量化噪声，它采用了两种思路将这 两种噪声统一起来。第一种方法将加性噪声进行【) c t ，然后同量化噪声一起在压缩域 建立模型；第二种方法对量化噪声进行i d c t ，然后同加性噪声一起在空间域建立模型。 这两种思路的最大缺陷在于没有利用运动估计进行运动补偿。另一类关于压缩域重建 的研究侧重于运动估计和量化噪声的结合，例如，将量化噪声作为p o c s 的基础。这种 南京l | j | 5 1 u 人学坝j ：l p i - 究生学位论文第二章幽像超分辨率重建( s rj 技术摘介 思路的不足之处在于没有考虑成像过程的降质问题。此外，还有一些研究者在进行超 分辨率重建的过程中同时考虑了压缩编码所固有的块效应和振铃效应，提出用正则法 将这些效应的影响降为最低。 压缩视频的超分辨率重建相对于非压缩视频的超分辨重建来说出现了一些新的 问题：第一、压缩过程引入的量化噪声在空问域是空间可变的，这使噪声过程变得极 为复杂；第二、在压缩域中，研究的对象不再是观测的数据，而是运动矢量和量化后 的变换系数。总的说来，基于压缩域的超分辨率重建需要完整地考虑成像过程，压缩 过程，运动估计以及块效应、振铃效应等多个方面的影响。其中，成像过程与空间域 相同，压缩过程主要考虑的因素是量化误差，以及如何充分利用码流中的信息。在压 缩域中，运动估计与空间域略有不同，量化误差会引起半像素运动信息的不准确性， 它的存在会使运动估计变得更加困难，因此，压缩视频中的运动估计器需要有更强的 鲁棒性。此外，块效应和振铃效应虽然与超分辨率重建技术本身没有直接的联系，但 是考虑到最终要求的是一组高分辨率的图像，而块效应和振铃效应会直接影响到视频 的视觉效果。 南京l | 】| ：l b 人学坝j j | j f 究生学位论文第三章甲帧蚓像s r 技术 第三章单帧图像s r 技术 3 1 单帧图像s r 技术概况【1 6 - 2 2 单帧图像超分辨率重建问题，其本质就是要使放大的图像呈现更多的场景细节。 2 0 世纪9 0 年代以前，常用的超分辨率图像重建算法是用帧内插值，如：双线性插值、 三次样条插值等方法，但是重建效果不理想。9 0 年代以后，许多基于新的假设的图 像插值算法被提出来。如：能量连续降减法、方向性插值方法、多卷积核和非线性滤 波法、正交变换域法以及b a y e s i a n 分析法等，但是由于这些方法所基于的假发与实 际的情况有一定的差距，所以这些算法只是停留在理论上，未能得到广泛运用。 最近几年，神经网络、小波分析等方法应用于图像超分辨率领域，大大提高了重 建算法的实际应用程度。a h m e d 等采用了一个径向基函数网络，为每一个输入模板 建立一个隐单元；p l a z i a c 采用一个固定大小的反向传递网络：c a n d i n c i a 等采用白组 织网络对图像进行分类插值。虽然神经网络方法的重建效果较好，但计算量均较大， 并且神经网络的训练过程较长，实时性较差。s c h u t i t z d 等提出一种基于隐马尔可夫树 模型的图像超分辨率重建算法，提出一种新的先验能量函数，并把图像超分辨率重建 问题转化为一个有约束的优化问题，但此方法的缺陷是图像模糊，边缘不清晰；l i x 等提出了一种基于l s ( l e a s ts q u a r e ) 方法的边缘内插算法以及赵书斌等提出的基于小 波的l s 方法，利用低分辨率图像和高分辨率图像之问所具有的相似性，并根据相关 性自适应插值。此类算法的优点是简单易行，计算量较小，但纹理区边缘变换不具有 自相似性，所以具有很大局限性。 3 2 经典算法介绍 3 2 1 小波重建方法 已知2 d 信号司以按照f 式进行小波分解： f ( x ，y ) = ，矿( x ，y ) f ，j j 。( 曩1 ) + j ：。j 譬。( x ，y ) d x d y 南京邮l u 人学坝i ： ! i f 究生学位论文第三章单帧幽像s r 挫术 其中： “。= f p ( x ，y 一月o j 叫o “m , ，( x ，y ) d x d y 2 ) 缈= f j 厂( w 炒揣( x ，y ) d x d y ( ：j ：” 而 妒协：。，妒盎，j 朋，”= 为一组小波基函数，j o 为某一整数，b 肌，h 。 其中i 。i 。，l l i l 和i i i t 分别代表小波分解的低频以及竖直、水平和对角方向的高频。 式( ： 1 ) 右边第一项相当于低分辨率图像。如果知道了3 个通道的小波系数，那么 就可以重建出一幅具有高分辨率韵图像。 利用如上信息，小波方法可以描述如下： ( 1 ) 图像在小波变换下具有一定的相似性，具体表现在小波系数之1 1 日j 。具体证 明可参考文献 2 ： ，此处略。 ( 2 ) 由于小波系数具有一定的相似性，在误差范围之内，总能找到一定的预测 模型。具体证明可参考文献 2 3 ，此处略。 ( ： ) 对图像进行2 次小波变换。第一次不进行亚采样，可得到： 个高频通道小 波系数矩阵；第二次进行亚采样，可以得到低频通道小波系数矩阵和3 个高频通道小 波系数矩阵：然后对低频部分做不采样的小波变换，可得到： 个高频通道的小波矩阵。 ( 1 ) 对小波系数进行预测，并进行相关性校f ，即可以得到： 个通道的小波矩 阵i ，l l l 和。i i 。 ( 5 ) 对lj j ，l 和h 部分做小波逆变换，即可获得一幅高分辨率图像。 从上述小波方法的介绍可以看出，小波方法理论简单明了，操作简单，不失为 一种重建的好方法，但此方法并没有在理论上说明小波系数相关性的满足条件以及误 差范围，从后续的实验中可以发现纹理区边缘变换小波系数不具有( 或较小) 自相似 性，所以此方法具有很大局限性。 3 2 2 神经网络恢复残差法 首先给出几个相关定义和定理，具体证明参考文献 2 4 ，此处略。 定义l ( 正向映射 ) ：正向映射1 1 ：卜 g 为高分辨率图像经过低通滤波器和降采样获 得低分辨率图像的过程。l i 表示滤波算子和抽取算子共同作用的结果。 南京l | | | j i u 人学坝i 础究生学位论文 第三章单帧幽像s r 技术 定义2 ( 逆向映射( ；) ：逆向映射( ；：g - 1 1 为低分辨率图像通过某种方法恢复高分辨率 图像的过程。 定理l ：如果g 是r 通过某一种低通滤波器和i j 点降采样获得的低分辨率图像集，在 已知i 和g 的情况下，当r a n k ( f ) = g a g ，k = l x l ，m = n x n ( n 为原始图像大小) ，则可 以从【和g 得到正向映射h 在最小均方误差意义上的线性估计h 。 定理2 ：如果g 是r 通过某一种低通滤波器和l 点降采样获得的低分辨率图像集，在 已知l 和g 的情况下，当r a n k ( g ) - m ，则可从r 和g 得到逆向映射( ：在最小均方误差 意义上的线性估计g 。 定义： ( 误差矩阵) ：对于任意一个从低分辨率图像估计高分辨率图像的方法x ，它从 g 得到l 的估计为f = x ( g ) ，那么定义该算法在图像集【和g 上的误差矩阵i 为 尸( x ，厂，g ) = ( f f ) ( 一f ) ( ：j 4 ) 定理： ；对于高分辨率图像集f 和低分辨率图像集g ，任意图像插值算法z ，当 r a n k ( f - f ) = k m 时有： 尸( ，厂，g ) p ( z ，f ，g ) ( ： 5 ) 整个神经网络恢复残差方法的框图如下： 低 率图像什计 幽像估计 图3i运_ = j 神经网络进行高分辨率图像重建 首先，原始低分辨率图像经过插值过程生成一个插值后的图像，然后对插值后图像进 行降采样后与原始低分辨率图像相减，对得到的残差图像运用神经网络恢复残差，再 结合插值得到的图像最终可以获得一幅高分辨率图像的估计。整个算法实现中并没有 对插值算法做特殊规定，而在神经网络选择部分大部分文献中使用的是反向传递网 络。 南京| i | i u 人学坝j j 研究生学位论文 第= 章单帧幽像s r 技术 3 3 一种重建新算法 为了综合利用了小波方法的简单性和神经网络的精确性，本节主要工作如下：( 1 ) 提出了一种基于纹理的的图像分割方法，将图像大致分成纹理多和纹理少区域；( 2 ) 对纹理少的区域，提出了改进型的小波多尺度插值算法；( 3 ) 对纹理多的区域，提出 了基于固定训练集的神经网络图像超分辨率重建算法。 3 3 1 新算法原理 1 基于纹理的图像分割 所谓纹理分割，就是找到不同纹理区域之间的边界的过程。许多人在此领域提出 了众多算法，基本上可以分成三类：基于边界分割、基于区域分割以及综合边界和区 域的分割| 2 引。但是无论用哪一种方法，计算量均较大。由于本文所涉及的图像分割， 只是需要用一种简单方法对图像进行较精确的分割。基于以上思考，这星将纹理简单 分成0 。，4 5 。，9 0 。和1 3 5 9 四个方向，即：水平，垂直和按对角线倾斜4 个方向。至于其 他方向的纹理基元，可以分解为这几个方向的纹理基元。所以乘积型小波对偶滤波器 符合以上条件，并且选用h a r r 小波基。选择i a r r 小波滤波器的原因如下：( 1 ) 在超 分辨率图像重建中用到小波插值，可以减少工程实现的复杂度；( 2 ) 小波滤波器的构 造简单，运算量低，符合简单适用的要求；( 3 ) l i a r l 小波基与其他小波基小波相比， 滤波器更短，更容易刻画小的纹理单元：( 4 ) 互补滤波器既可以减少运算量又可以减 少原始图像信号的损失。 关于边界的选取，我们每次选中： x 3 的像素窟口为基本单元；如果其中最大一 个像素分解系数值大于规定的阈值，则整个3 j 的基本单元均为此值，即认为是纹 理多区域；反之，基本单元不变。所以基于此方法所得到的分割图像均为块状。阈值 的选取可以根据对分割的要求进行调节，阂值选取越大则纹理多区域就越小，越小则 纹理多区域就越大。此种方法虽然不能准确的找到区域的边界，但是其操作简单，复 杂度低，可以较准确的分割图像。 整个分解过程如图3 2 所示，( a ) 图为图像分割流程图，其中高通和低通滤波器 为互补滤波器；( 1 ，) 为边界的选取过程，假设选定阈值为3 ，即：分解系数大于等于： 的像素为高频信号，纹理较多：反之为低频信号，纹理较少。 南京l | 1 | i l b 人学坝上研究生学位论文 第三章单帧幽像s i 拙术 理，嗡滤一一域 l 低掣警滤一纹理少区域 ( a ) 图像分割流程图 圜1 i 2 一蘼 ( b ) 边界选取示例 图3 2 基于纹理的图像分割 2 改进型小波多尺度插值方法 运用小波多尺度插值方法对纹理少的区域进行图像重建，主要包括两方面的内 容：( i ) 低分辨率与高分辨率图像间小波系数的关系：( 2 ) 如何预测小波系数，使得 预测误差小并且操作简单。本部分将从这两个方面进行阐述。 ( 1 ) 尺度自相关定理 丸表示一个正交尺度函数，它满足： 唬( ，一”) k 。是多分辨率逼近空白j ，】的一组 规范正交基，该尺度函数可由共轭镜像滤波器所刻画。吮，啊，分别为硪和的共 轭，破，”为纯的傅立叶变换。 定理：令破，( ，) = 钒( _ ，) ，卜】= 【一”1 。如果k 4 ( 脚) i =