（通信与信息系统专业论文）视频图像超分辨率重建算法改进.pdf

摘要 摘要 超分辨率图像重建( s u p e r r e s o l u t i o nr e c o n s t r u c t i o n ，s r r ) 是指从一系 列模糊的低分辨率观测图像中构造出一幅或多幅清晰的高分辨率图像的技术。 s r r 采用低成本的基于c c d 传感器的图像获取装置，通过信号和图像处理技术 来提高图像分辨率，有着广泛的应用前景，目前已成为图像重建领域的研究热 点之一。其中，高精度的运动配准算法、盲重建、稳定有效的快速算法等一直 是超分辨率重建研究课题中的重点和难点。 本文详细介绍视频成像的基本模型和超分辨率重建原理，对目前现有的几 种主要算法的原理和特点进行了深入分析和讨论。现有的视频超分辨率算法大 多假定噪声服从高斯分布，采用2 阶范数作为代价函数求取最优解。但2 阶范 数存在着对高频信息敏感，不利于边缘保持等缺点。本文研究和分析了基于姒p 的重建算法以及图像噪声对重建质量的影响机理，在此基础上提出了一种采用 l 阶范数作为代价函数的超分辨率重建方法，该方法适用于原始低分辨率图像 的噪声方差较大或者不服从高斯分布的场合，在理论上证明了该方法具有较好 的鲁棒性，并且有利于边缘保持。该方法可同时对高分辨率图像和运动矢量进 行迭代估计。为了满足视频重建的需求，得到更快的收敛速度，本文还对迭代 算法中的迭代参数和迭代步长的选取策略以及迭代初值的设定做了详细讨论。 计算机仿真实验结果表明，当原始低分辨率图像的噪声方差较大，或者噪声不 服从高斯分布的情况下，本文所提出算法的重建图像质量优于现有的基于2 阶 范数的方法，并且新方法在重建图像的边缘保持上也有相对较好的效果。 关键词：视频处理，超分辨率，运动矢量，规整 摘要 a b s t r a c t s u p e r r e s o l u t i o ni m a g e r e c o l l s t r i l c t i o n( s s r ) 陀f e 璐t 0 ar e s o l 嘶o n e n h a n c e m e n tt e c h n o l o g y 也a tc o n s t m c tan w n b e ro fc l e a ro rt l i g h - r e s o l u t i o ni m a g p s e 血s 肋mt i l el o w - r e s o l u t i o ni m a g c s w i t l lm e 谢d e s p r e a du s eo fc c ds e n s o r 锄dt h ed e m a i l df o rl o w c o s ti m a g ew 女mm 曲r e s o i u t i o n ，s u p e f r e s o l u t i o n 姗n s t m t i o n t e c l 1 0 l o g yh 懿b c 尬o m eah o tf i e l d i nt 1 1 ei m a g er e s t o r a t i 伽r e a r c h 砌c hc a nb el l s e di nl o 、- c o s ti m a g ea c q u i s i t i o ns y s t e mt oa c i l i e v et l l ep l l r p 0 s eo f e 觚t i v ei d e n t i f i c a t i o nt h r o u 曲t h eu s eo fs i 印a la i l di m 唱ep r o c e s s i n gt e c h n o l o 盯s o i ti sw i d e l yu s e d s i n c el9 8 4w h e n1 1 1 es u p e r - r e s o l u t i o nc o n c e p th 嬲b e e nr a i s c d ， s c h o l a r sc o n d u c t e da ni n - d e p t hr e s e a r c h ，l l i 曲一p r e c i s i o nm o v e m e n tr e g i s 妇t i o n a l g o r i t h m ， m eb l i n d s u p e r r e s o l u t i o na l g o r i t l l m s ，嘲b i l i t ) r a n de 丘托t i v e r e c o n s t r u c t i o n a l g o r i t h m ， t h er e c 彻s t n l c t i o no ft h es u p e r r e s o l u t i o nr e a l - t i m e p 1 0 c e s s i n ga l g o r i t h m sh r v eb e e nk e yr e s e a r c ht o p i c sa n dd i f f i c u l t i e s o fs i l p e r r l e s o l u t i o nr e c o n s t m c t i o n i nm i sp a p e r ，w ed i s c u s st h eb 髂i cm o d e lo fv i d e oi m a g i n gf o rr e c o n s 仃u c t i o no f 畦屺s u p e r - r e s o l u t i o n ，吼do n “sb a s i sw e 豫i s e dal - n o 吼b 褐e da 1 9 0 r i m m sf o r 也e v i 出幻i m a g er e c o n s t r u c t i o n ，t l l ea l g o r i m m sa l t e m a t i v e l y e s t i m a t eh i 曲- r c s o l u t i o n i m a g e sa n dm o t i o nv e c t o ra tm es 锄et i m e ，觚da d o p t1 n o r mi n s t e a do f 也e c u r r e n t 、) l r i d c s p r e a du s eo f2 n o 咖c o u p l e dw 油r 0 b e r so p e r a t o r 缸i m p r o v e m e n t 1 e e x p e r i n l e m a lr e s u l t ss h o wm a tw h e nm eo r i g i n a li m a g ei s a f l e c 钯db ys a na n d 拼) e rn o i s e ，t h ee f f e c to fr e c o l l s t r u c t i o nl l s i n go u ra l g o r i t h mi ss u p e r i o rt 02 - n o 册 m e 凼o d ，a n dm ew a y i i lr e b u i l d i n gt h ei m a g eh 嬲r e l a t i v e l y9 0 0 dr e s u l t so ne d g e m a 遮试n a n c e a tt ! h es 锄et i m e ，w ed i s c u s sm ei t e r a t i v es t e p 如dt l l en 咖b e ro f i t e 瑚瞳i v e s ，a 1 1 da 1 1 a j y s i sm es e to fi i l i t i a lv a l u ef o r r e a l - t i i l l ev i d e op r o c e s s i n g r e q l l i r c m e n t s k e yw o r d s ： v i d e op r o c e s s i n g ，s u p e r - r e s o l u t i o n ，m o t i o nv e c t o r r e g u l a r i 2 嫩i o n i i 中国科学技术大学学位论文原创性和授权使用声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作 所取得的成果。除已特别加以标注和致谢的地方外，论文中不包含任 何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究 所做的贡献均已在论文中作了明确的说明。 本人授权中国科学技术大学拥有学位论文的部分使用权，即：学 校有权按有关规定向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅，可以将学位论文编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 保密的学位论文在解密后也遵守此规定。 作者签名：塑艮 z 矿矿g 年月佃日 第一章绪论 第一章绪论 现代社会，随着通信技术及信号处理技术的不断发展，人们可以获得的信 息量越来越大，促进了信息社会的发展。同时，随着信息化社会的不断发展， 人们对信息量的需求也在不断增加，这又迫切要求信息处理技术的不断进步， 以便为人们提供更加快捷，便利和多样化的服务。 在图像应用领域，人们通常期望得到高分辨率( 简称h r ) 的图像。高分辨 率意味着图像中的像素密度高，能够提供更多的图像细节，而这些细节在许多 实际应用中是不可或缺的。例如，高分辨率的医疗图像可以帮助医生做出正确 的诊断：使用高分辨率卫星图像使我们更容易从相似物中区别相似的对象；如 果能够提供高分辨的图像，计算机视觉中的模式识别的性能就会大大提高。上 世纪七十年代以来，电荷耦合器件( c c d ) 、c m o s 图像传感器已被广泛用来捕获 数字图像。尽管这些对于目前大多数的图像应用来说是能够满足要求的，但是 随着社会的不断进步人们需求的不断提高，当前的分辨率水平和消费价格并不 能满足未来更高的需求。例如，人们希望获得一个便宜的高分辨率数码相机 便携式摄像机；科学家通常需要一个接近3 5 毫米模拟胶片的高分辨率水平，这 样在放大一个图像的时候就不会有明显的块效应。因此，我们需要寻找一种可 以增强当前分辨率水平的信号处理方法。 增加空间分辨率最直接的解决方法就是通过传感器制造技术减少像素尺寸 ( 即增加单位面积的像素数量) 。然而，随着像素尺寸的减少，光通量也会随之 减少，随之而产生的散粒噪声将使得图像质量严重恶化。在不受散粒噪声严重 影响的情况下减少像素的尺寸有一个极限。对于o 3 5 微米的c m 0 s 处理器来说， 像素的理想极限尺寸大约是4 0 平方微米。当前的图像传感器技术大多能达到这 个水平。 另一个增加空间分辨率的方法是增加芯片的尺寸，从而增加图像的容量。 因为很难提高大容量的偶合转换率，因此这种方法一般目前难以进入实用化。 在许多需要高分辨率图像的商业应用领域，高精度光学和图像传感器的高价格 也是一个必须考虑的重要因素。因此，有必要采用一种新的方法来增加空间分 辨率，从而克服传感器和光学制造技术的限制。 第一章绪论 一种值得深入研究和探讨的方法就是通过信号处理技术来提高图像的分辨 率，我们可以通过对多幅可观察到的低分辨率( 简称l r ) 图像计算得到高分辨 率图像。这种分辨率增强技术正成为目前最热的研究领域之一，在文献 1 卜 5 中称之为超分辨率( 简称s r ) 图像重建或者简单地叫做分辨率增强。本文以下 用“超分辨率图像重建”这个术语来指分辨率增强的信号处理方法。信号处理 方法最大的好处就是它的成本低，同时它能让现存的低分辨率图像系统继续使 用。在许多实际应用中，特别是在医疗图像、卫星图像和视频等领域，在同一 场景的多帧低分辨率图像很容易得到的情况下，s r 图像重建被证明是非常有意 义的。例如可以使用便宜的l r 数码相机便携式摄像机来获得高质量的数字图 像以便打印或画面定格显示，或通过对摄像机或者摄像头获取的低分辨率视频 进行信号处理，得到高分辨率视频，这也是本文所研究的问题；此外，在科学 研究、医学影像、遥感图像辨识、安防视频监控、案件调查取证等应用中，往 往需要对感兴趣的局部图像进行放大，例如，目前在安防监控系统中，数字摄 像机已经普遍取代了闭路电视，有时会需要对场景中的目标如汽车牌照或者案 发现场人员的脸部进行放大。在诸如c t 和核磁共振( m r i ) 等医疗应用中，可 以获取的是多幅分辨率质量有限的图像，这时用s r 技术进行重建就是非常必要 的；此外，对于遥感卫星图片，当对一个区域可以获取多幅图像时，也可以使 用s r 技术进行处理。此外一种重要的应用是把一般的普通电视信号转换为高清 电视信号，并且不失真地在h d t v 上播放。 视频超分辨率重建是指融合来自相同动态场景的多个低分辨率视频序列的 信息，去重构一个高分辨率的视频序列。视频超分辨率包括时间超分辨率和空 间超分辨率。视频中某些事件发生变化比较快，这样就需要用所谓高速( 高帧率) 的摄像机来采样，如果使用普通帧率的摄像机，那么在时间上就会有一些细节 信息的丢失。视频的时间超分辨率重建就是要恢复这些丢失的时间上的细节信 息。而视频空间超分辨率重建就是通常人们提到的图像超分辨率复原，这也是 本文研究的内容。 摄像机在时间和空间上的分辨率能力总是有限的。摄象机的空间分辨率取 决于其光学传感器的空间密度及其本身引入的模糊误差，这些因素限制了图像 中被观察到的物体或特征的最小空间尺寸，从而影响了我们对被观察物体细节 信息的获取：时间分辨率取决于摄像机的帧率和曝光时间，这就限制了视频序列 中能被观察到的动态事件的最大变化速度。比摄像机帧率发生更快的动态事件 第一章绪论 在记录下来的视频序列中是不可见或者不正确的，如在网球比赛的视频中是不 可能观察到高速运动的网球的全部运动和状态的。有两类非常典型的由高速运 动引起的可视化效果：( 1 ) 运动模糊，它是摄像机的曝光时间引起的，如高速运 动的网球所带有的尾迹；( 2 ) 运动混淆，它是由于帧率限制的时间采样引起的， 如一个小球以正弦波形向前运动，摄像机的帧率如果与小球正弦运动周期可比 或相等，记录下的视频上就将观察到小球以很长的周期正弦运动或直线运动，这 类似于一维信号的欠采样。这两种视频效果都不能依靠视频的慢速播放而消除， 甚至使用复杂的时间插值算法来增加帧率也收效甚微，这是因为包含在单个视 频序列中的信息是不足以恢复高速动态事件中丢失的信息。多个视频序列提供 了附加的动态时空场景采样，这样就可融合这些信息去弥补丢失的信息，产生一 个高时空分辨率的视频序列。 第二章视频成像模型 第二章视频成像模型 2 1 视频图像中的噪声及估计 视频信号在捕捉、记录、传输和处理的过程中都不可避免地受到噪声的影 响。在模拟视频捕捉设备中，噪声主要来自于视频信号的提取过程或者是胶片 上颗粒；当视频信号在传输过程中，信道噪声将是主要的噪声来源；视频信号 的记录设备中最常出现的是白噪声和冲击噪声，通常幅度很小。数字视频捕获 系统中同样存在着噪声，基于c c d 器件的数字摄像机中的噪声主要是由于c c d 的灵敏度较低和较长的曝光时间 3 7 。 视频图像中产生噪声的原因多种多样，但就最终我们所观察到的噪声来说， 它可以分为两类。 一类是空域噪声，它是一种空间分布的随机误差噪声，可以定义为两个像 素点对于相同的亮度和彩色信息给出的不同的像素值表示，最终的像素值与真 实的像素值之间的误差就是噪声。人眼的视觉特性研究表明，人眼对于平坦区 域的像素值的起伏波动非常敏感，而对于细节、纹理等快变区域的像素值的起 伏波动不敏感，因此存在于图像平坦区域的空域噪声将严重的影响视频图像的 视觉质量。 另一类是时域噪声，它是一种时间分布的随机误差噪声，可以定义为同一 个位置的像素点对于相同的亮度和彩色信息在不同的时间点上给出不同的像素 值表示，最终的像素值与真实值之间的误差就是噪声。人眼的视觉特性研究表 明，人眼具有视觉暂留效应，对于一个平坦区域如果在前后两帧亮度保持不变， 视觉内容也保持不变，而当像素值出现波动时，人眼同样会相当敏感。因此， 空域噪声和时域噪声的存在都严重影响了视频图像的视觉质量，为了提高视频 图像的质量必须对它们加以抑制。 噪声信号可以表示为图像信号上的一个加性或者乘性的随机信号，它可以 是与图像信号本身相关的，也可以是不相关的，例如量化噪声和c c d 中的噪声通 常是一种加性的与图像信号本身不相关的随机信号。图像中的噪声也可以具有 不同的频谱特性，它可以是自的也可以是有色的。但是，为了进一步简化问题， 图像中的噪声通常被建模为零均值的，平稳的，独立同分布的加性噪声。这是 第二章视频成像模型 对大多数场合下实际情况的一个较为合理的假定和近似，我们可以将其表示为： ，( f ，以) = s ( f ，甩) + ( f ，刀) ( 1 1 ) 其中，s ( i ，j ，n ) 表示原始的图像信号，n ( i ，j ，n ) 表示噪声信号，i ( i ，j ，n ) 为实际观察到的带有噪声的图像信号。n 是视频信号的时间变量，对于数字视频， n 为帧序号；i 和j 代表像素的位置坐标，对于数字视频，i 和j 则表示像素在水平 和垂直方向上的位置序号，对于数字视频信号，观测到的图像信号i ( i ，j ，n ) 具 有固定的动态范围，即o 一2 5 5 。 现有的噪声方差的估计算法主要可以分为两类，一种是基于平滑的方法， 一种是基于块的方法。 基于平滑的方法认为噪声是一种高频分量，因此首先使用低通滤波器对图 像进行平滑滤波，并将原始图像减去滤波后的图像，而后把它看成噪声图像进 行噪声方差参数的估计。这种方法的问题在于，图像中的噪声的确是高频信号， 但是图像中的细节和纹理等信息也是一种高频分量，这两种类型的信号的频谱 是混杂在一起，不能通过简单的低通滤波的方法予以分离，因此，根据原始图 像与低通滤波后图像的之间的差值进行噪声估计会产生较大误差，尤其是在高 质量的图像和高噪声的图像的情况下，表现更为明显。 基于块的方法首先将图像分块，并计算每个块的方差，然后选择一组方差 较小的块，用这些块的方差进行一些统计计算，例如用统计平均作为最终的噪 声方差的一个估计。它的基本思想是，一幅图像或者子图像的方差应该等于图 像或者子图像本身的方差和噪声方差的和，方差最小的块的方差，可以认为是 由于噪声的方差引起的。这种方法存在着两个问题：第一是选择方差最小的一 组块的时候，组的成员数目不容易确定，即难于确定选择标准：第二个问题是， 将方差最小的块的噪声认为是图像噪声，这一假设前提本身也存在局限性，通 常这种假设会在高质量的图像情况下造成噪声方差的过估计，在信噪比较低的 图像的情况下造成欠估计。因此，这种方法过分依赖于输入图像的质量或噪声 水平，对噪声方差的估计值差异较大。 从计算复杂度来看，基于块的方法要远远低于基于平滑的方法，但是基于 块的方法的效果常常依赖于输入图像和噪声水平。还有一些使用门限的算法可 以在高噪声水平的情况下获得好的结果，但是算法计算复杂度较高，并且门限 的调节算法相对复杂。 第二章视频成像模型 近来，a i s h ya m e r 和e r i cd u b o i s 在文献 3 7 中提出了一种全新的基于块的 噪声估计算法，它首先使用八个方向的高通算子计算每个块的平滑度，以此作 为平滑块的选取准则，随后采用自适应平均的方法对所有块的方差进行选取和 平均。该方法不仅在性能上超越了已有的各种噪声估计算法，而且算法克服了 传统噪声估计算法的不足，在高质量和高噪声的情况下都给出了准确的估计。 但是这种算法工作的前提是图像中必须含有尽可能多的平滑块，当平滑块的数 量很少的时候，该算法很难获得好的效果。 2 2 实际视频图像中噪声的建模 传统的图像处理领域中，常使用零均值且独立同分布的高斯白噪声和低密度 的椒盐噪声的联合模型来模拟实际图像中的噪声，这是一个合理的假设，它同 样适合于视频图像处理领域的空域噪声。 时域噪声表现为视频图像的闪烁，它并没有空域噪声那么复杂，在绝大多数 的模拟和数字视频设备中，时域噪声的幅度都要小于空域噪声，通常用零均值 且独立同分布的高斯白噪声来模拟实际视频图像中的时域噪声。 2 3 视频压缩技术 视频图像信息的数据量较大，如果对其直接进行传输、存储和处理，会给 通信信道、存储设备、以及计算机的处理器带来极大的压力。因此一般应对图 像数据进行信源压缩编码( 以下若不加说明，压缩编码就是指信源编码) 。 视频数据压缩技术的理论基础是信息论。在信息论中，通过减少冗余而进 行的数据压缩处理称为信源编码。视频序列含有三类冗余：统计冗余、心理视 觉冗余和编码冗余。由于各种空间模式发生的概率不同，因此存在统计冗余， 而心理冗余起源于人眼对某些空间频率的感觉迟钝，编码冗余表现为符号编码 平均码长和信源熵之间的偏差。研究视频信号中冗余消除方法，实现信息传输、 存储和处理的有效性和可靠性是视频编码的关键问题 视频信源压缩编码是在信息论中率失真理论的指导下，消除上述的三类冗 余，其目的就是为了减少数据量。连续视频帧之间的信息相似形较高，在同一 视频帧中相邻像素点的值也非常接近，视频压缩编码又分为帧内压缩编码和帧 间压缩编码，以消除视频信息的时间冗余与空间冗余，从而实现数据压缩的目 6 第二章视频成像模型 的。 视频编码器主要通过变换编码，量化编码和熵编码来实现。变换编码将空 域信号变换到另一正交矢量空间，使其相关性下降，数据冗余度减小；量化编 码将经过变换编码后产生的一批变换系数进行量化，使编码器的输出达到一定 的位率：熵编码采用游程编码和霍夫曼编码等方法对变换和量化后得到的系数 和运动信息进一步压缩。其中，变换编码和量化编码是有损编码，熵编码是无 损编码。目前：大多数视频编码都采用基于预测的混合视频编码框架，如下图 所示： 鼽哆篱测残差艏幽崔蚓 化后的耕恒型舢酣 广一1 l 二jl - o 二= i。乙二f - j 运动补偿预测 哆圜 ； 圈一国 卜一一? 乙一运动矢量数据一j 图2 一l 基于预测的混合视频编码框架 2 4 视频压缩重建图像中的块效应噪声 目前很多视频压缩标准都采用基于块的d c t 编码和运动补偿技术。这两种 技术可以非常有效地消除视频数据的时空冗余性，从而获得更高的压缩码率和 更高的编码效率。但它们同时会在重建图像中产生块效应噪声，块效应噪声是 一种对图像效果影响很大的噪声。对于视频编码而言，产生的块效应噪声主要 有以下两个来源： 一种是由于对图像进行分块，并对各个分块相互独立地进行d c t 变换和量 化操作会导致在分块的边界处产生不连续的像素值跳变，这是因为d c t 变换和 量化通常在分块边界上产生高于分块中心区域的量化误差。 另一种是由于基于块的运动补偿造成的。对于静图像压缩编码，由于没有 第二章视频成像模型 帧间预测和运动补偿，因此主要的块效应噪声发生在分块的边界处。而对于视 频压缩编码，由于运动估计出的运动矢量可以是任意值，因此，随后的补偿会 将参考帧中的块效应噪声扩散到各个块的内部。这是视频图像中的块效应噪声 与静图像中块效应噪声的不同之处。 为了克服块效应嗓声，人们提出了很多估计和抑制算法。这些算法可以大 致分为4 类，第一类是在图像空域d c t 分块的边界上进行噪声的估计和抑制； 第二类算法是在图像的变换域上进行噪声的估计和抑制，它仍然是利用分块边 界上的不连续性会导致它在df ，i - ，d c t ，d w t 等变换域拥有一些特殊的性质来进 行噪声的估计和抑制；第三类算法是以图像d c t 变换系数的概率分布模型作为 先验知识，进行量化和反量化的矫正，或者使用马尔可夫随机场模型来估计和 进行块效应抑制；第四类主要是将p o c s ( p r o j e c t i o no n t oc o n v e xs e t s ) 的数 学理论引入图像处理，并应用于块效应估计和抑制中。 以上这些算法都存在一些问题：第一和第二类算法只考虑了d c ，r 分块的边 界上的块效应，对于分块内部的块效应抑制效果较差。第三类算法的依据是d c t 变换系数近似服从l a p l a c i a n 分布，它的问题在于确定分布的参数本身就是件 不容易的事情，不仅运算量大，而且通过量化反量化的矫正来抑制块效应在效 果上并不比后处理算法有优势。第四类算法的主要问题在于运算复杂度极高， 而视频应用本身就是大数据量的处理，因此目前该类算法在视频领域的应用还 不成熟。 2 5 视频图像处理面临的问题 传统的图像处理与视频图像处理有着很多相同点，首先它们处理的对象都 是自然图像，自然图像本身的特性对于两个领域都是相同的，例如，空间相关 性，人眼对图像的视觉特性；其次，他们有很多相同的处理目标和应用背景， 例如，噪声抑制，对比度增强以及本文提到的超分辨率重建；此外，他们的处 理手段也有很多相似的地方。 但是，它们也有很多不同点，首先视频图像序列具有时间相关性，这使得 视频图像处理多了一个可以利用的特性；其次，视频图像处理也有一些它们特 有的问题，例如视频压缩的块效应噪声抑制就与静图像压缩的噪声抑制很不相 同；还有一个重要的不同之处是，视频图像的数据量很大，例如一个图像尺寸 8 第二章视频成像模型 为3 5 2 木2 8 8 ，每秒3 0 帧，色彩采样格式为y u v 4 2 0 的视频图像序列，每秒的数 据量达到3 m b i t s ，因此视频图像处理算法的效率是需要考虑的一个很重要的 方面。这些不同点导致了传统的图像处理算法在处理视频图像时遭遇困难。 噪声估计问题：对噪声抑制之前，一个很重要的步骤是对噪声进行估计， 现有流行的噪声抑制算法往往都依赖于对噪声的先验知识，这一先验知识将直 接决定滤波效果，通常这些噪声滤波器都用噪声的一些参数统计特性作为滤波 器的工作参数，例如，双向滤波器使用噪声的方差作为亮度高斯核的方差参数。 因此，对于噪声估计的准确程度，很大程度上决定了滤波算法的性能。传统图 像处理领域已有一些成熟的噪声估计算法，但是它们都是针对单幅图像进行噪 声统计量的估计，可以利用的资源只有图像的空间相关性信息，而视频图像的 优势在于它还具有时间相关性，因此，视频图像的噪声估计如果可以很好的利 用时间相关性，将会取得更加好的估计效果。 噪声抑制问题：传统的图像处理仅仅需要处理单幅图像中的空域噪声，而 视频图像中除了有空域噪声以外，还有时域噪声，如果不加处理，仍然会很大 程度地影响视频图像的视觉质量。因此，首先视频图像处理需要同时抑制空域 噪声和时域噪声，其次，任何一个成功的噪声抑制算法都应该尽可能地保持图 像的边界和细节信息，最后，视频图像的噪声抑制算法往往应用于实时环境， 因此算法必须高效快速。 块效应噪声抑制问题：静止图像编码算法产生的块效应是指，基于块的变 换编码后的系数量化后会在分块的边界处具有较大的误差，因此产生了像素的 不连续变化。其表现为分块边界处像素值发生跳变。而视频编码算法产生的块 效应不仅来自于上述原因，另外一个更重要的来源是，基于块的运动估计和补 偿，由于运动向量可以是任意值，因此最终的结果是运动补偿将参考块的块效 应噪声引入当前块的内部，而不仅仅存在于边界。因此，视频图像处理中对于 块效应的抑制策略也不同于传统的图像处理。 曝光矫正问题：自然场景具有很广的动态范围，而现有的视频捕捉设各和 显示设备仅具有有限的动态范围来表示自然场景。因此，经常会发生曝光不足 和曝光过度，有时甚至两者同时存在于一幅图像中。传统的图像处理往往是对 这些图像进行后期的处理，有时仍然需要人工参与，例如人工调整处理算法的 工作参数等等。而视频应用背景下，如视频会话，视频会议等应用，往往要求 实时地对视频图像进行曝光的矫正。数码相机拥有硬件的曝光补偿系统，它可 第二章视频成像模型 以通过调整光圈大小，快门速度来控制成像的过程，而实际生活中人们最常用 的摄像头都不具有可调的光圈和快门，因此针对消费类视频捕捉设备的视频图 像的曝光矫正算法也是目前研究的热点之一。 1 0 第三章超分辨率图像重建 第三章超分辨率图像重建 3 1 超分辨图像重建的数学描述 现实世界的物体可以被看作是一个个密集的发光点，发出的光线经过成像 光学系统的传输，根据投影几何原理，最后光线投射到图像传感器平面上，图 像传感器单元经过光电转换过程，物体的亮度信息就被转换成电信号，然后经 过数字化采样，就实现了数字图像成像。 客观世界的图像往往具有较好的细节信息，即具有较好的图像分辨率。由 于实际情况的限制，一方面成像系统相对于客观世界的图像，并没有如此高的 带宽：另一方面由于现有工艺限制，图像传感器单元相对数目有限，这样通过 成像得到的图像的分辨率要低于真实图像。在超分辨率技术中，这些分辨率较 低的图像称为低分辨率图像。 低分辨率图像的观察模型见图2 一l ： _ 田一r - 卜怔丑，圃咱钿n - ，- 勺曲t n p 霍圈 j n t 如1 n i ； 回 圜一卜回一椭小怔丑吨- 圃锄钒岫q 弧咖山，圜 n l “i n i ) 回 - 厂计讪问一f 习咖，f 吲：舢o - 。“帕巾露阁一位移卜- f p 如n ) 一， 降晰l 岛“n ) 下采样 一：( i n i ) - ( d y ， p n 个要估计的象素，则该问题明显的没有足够的限制来保证解的唯 一性。进一步由于从定义上来说，超分辨率要求恢复在成像过程中丢失的信息， 因此一般而言超分辨率重建问题的解都是不唯一的。 3 ) 解对数据的不连续依赖 由于成像系统的特性，反问题对观测数据的扰动是相当敏感的。例如，考 虑一个随着频率增长光谱相应渐进衰减到0 的成像系统，虽然该系统在理论上是 可逆的，而事实上它的逆是不稳定的，任意一个在足够高频的小噪声可以导致 计算恢复中的大的伪信号。在实际应用中这种恢复常常因为噪声的放大而失效。 综上所述，除了极少数理想情况外，超分辨率重建都是不适定的。因此对 关于图像和视频的先验知识的合理应用是至关重要的。这一点将在后续的章节 进一步详细说明。 3 3 超分辨图像重建算法综述 早期传统的超分辨率重建技术是指对单帧图像进行复原处理，可看成图像 退化的逆过程，由于它仅利用单帧图像的信息，所以是一个病态求逆问题，在 实际应用中并没有获得理想的结果。 对于图像序列或多幅图像，图像之间不可避免的存在着相互的运动，因此 这些图像含有彼此类似但又不完全相同的信息，基于序列或多帧图像的超分辨 率重建技术就是利用这些不同但相互补充的信息以及物体的先验信息，用一系 列低分辨率的图像复原出高分辨率的单帧图像。较之于单幅图像的提高分辨率 方法，序列图像的超分辨率重建除了利用物体的先验信息和单帧图像的信息外， 还充分利用了不同图像间的补充信息。因此，对序列图像的超分辨率重建效果 要优于对单幅图像的恢复。一般说来，序列图像的超分辨率重建又可分为频域 和空域两种方法，以下分别介绍。 1 4 第三章超分辨率图像重建 3 3 1 频率域方法 频率域方法是图像超分辨率重建中的一类重要方法，目前研究较多的是消 混叠重建方法。消混叠重建方法是通过解混叠而改善影像的空间分辨率，进而 实现超分辨率重建。频域的超分辨率重建算法最早由t s a i 和h u a n g 在1 9 8 4 年 提出 1 。他们在原始场景信号带宽有限的假设下，利用离散傅立叶变换和连续 傅立叶变换之间的平移和混叠性质，给出了一个由一系列欠采样观测图像复原 高分辨率图像的公式。多幅观测图像经混频而得到的离散傅立叶变换系数与未 知场景的连续傅立叶变换系数以方程的形式联系起来，方程组的解就是原始图 像的频率域系数，再利用求解的频率域系数进行傅立叶反变换就可以实现原始 图像的精确复原。t s a i 和h u a n g 的方法具有计算简单的优点，但不足之处在于 模型没有考虑光学系统的点扩散函数，运动模糊和观测噪声的影响。由于模型 建立在整体平移的基础上，缺少灵活性，从而限制了在大多数实际情况下频率 域方法的适用性。 t e k a l p ，o z k a n 和s e z a n 2 针对t s a i 和h u a n g 的方法的缺点，于1 9 9 2 年提 出了一种改进方法，对以前的算法进行了扩展该方法中包括了线性平移不变的 点扩散函数和观测噪声。n h a t 3 于2 0 0 0 年在t s a i 和h u a n g 的算法基础上提出 了另一种估计帧间整体平移参数的算法，该算法最主要的贡献在于计算整体平 移时与t s a i 和h u a n g 的方法相比有很大的进步，对提高效率方面有很大的帮助。 e 1 a d 等 4 提出了一种基于数据驱动的稳健计算方法，该方法具有较少的计算 复杂度，便于硬件的实现，但缺点是所得到的解不一定是最优解。近来还出现 了用递归最小二乘法以及基于多通道采样定理的方法，但总的来说，这些方法 都是在t s a i 和h u a n g 方法上的改进，都是算法复杂度和解的优劣性之间的权衡， 并没有在理论上取得重大的突破。 3 3 2 空间域方法 空间域方法是图像超分辨率重建应用中另一类主要的方法，它将复杂的运 动模型与相应的插值、迭代及滤波重采样放在一起进行处理，作为影像重建的全 部内容，其线性空间域观测模型涉及到全局和局部运动、光学模糊、帧内运动模 糊、空间可变点扩散函数、非理想采样及其它一些内容。空间域图像超分辨率 重建方法主要包括非均匀间隔样本内插( i n t e r p 0 1 a t i o no fn o n u n i f o r m l y s p a c e ds a m p l e s ) 、代数滤波后向投影( a 1 9 e b r a i cf i l t e r e db a c k p r o j e c t i o n ) 、 第三章超分辨率图像重建 概率论方法( p r o b a b i l i t i cm e t h o d s ) 以及集合论方法( s e tt h e o r e t i cm e t h o d s ) 、 混合m a p p o c s 方法以及自适应滤波方法等。这几种方法的主要思想和特点简介 如下。 ( 1 ) 非均匀插值法 9 1 0 低分辨率观测图像序列经过配准后，形成一幅由非均匀间隔采样网格点上 采样值形成的复合图像，对这些非均匀间隔采样点进行内插和重采样可得到超 分辨率采样网格上的采样值，以此作为输出超分辨率图像。k e r e n ，p e l e g a n d b r a d a 1 1 提出了种包括整体平移和旋转的超分辨率重建模型，其特点是在超 分辨率重建阶段分为两步，第一步是内插，第二步采用类似于模拟一修正的方法。 这一方法的缺点是其内插过程过于简单，对消除观测值之间的频谱混叠没有任 何效果。a i z a w a ，k o m a t s ua n ds a i t o 1 2 提出了另一种基于内插的方法，他们 研究了通过立体相机获取超分辨率图像的方法。尽管这一问题表面上不同于由 低分辨率图像序列重建高分辨率图像的范畴，但事实上相当子单一相机在具有 景物和相机相对运动情况下所获取的两张图像，类似于立体像对。虽然这种方 法看起来很有吸引力，但是这种方法过于简单，它忽略了l r 图像的采样值并不 是理想采样而是一种空间平均这一事实，导致重建图像并不包含全部频率成分： 而这些频率成分对给定的低分辨率观测图像是可以重建出来的。此外，该方法 还没有考虑光学模糊和运动模糊，模型也不能够利用任何先验信息。 ( 2 ) 迭代反投影法 迭代反投影方法 7 ( i t e r a t i v eb a c k p r o j e c t i o na p p r o c h ) 是首先用输出 图像的一个初始估计作为当前结果，并把这个当前结果投影到低分辨率观测图 像上以获得低分辨率模拟图像。低分辨率模拟图像与实际观测图像的差值称为 模拟误差，根据模拟误差不断更新当前估计。迭代反投影法通过观测方程使超 分辨率重建图像与观测数据匹配，但这种方法的重建结果不唯一，而且把先验 约束引入到这种方法中也不是一件容易的事情。 ( 3 ) 凸集投影法( p r o j e c t i o no n t oc o n v e xs e t s ) 凸集投影法 8 的基本思想就是根据解的先验信息来缩小解的范围。这是 另一类可以将解的先验信息包含到重建过程中的超分辨率图像重建方法。在低 分辨图像的9 运动估计参数己知的前提下，凸集投影法可以同时解决插值和复原 的问题而得到高分辨图像的估计。超分辨率图像解空间与一组凸形约束集合相 交叉，理想图像估计作为一个点被包含在这些凸集合的交集内，这样通过这些 第三章超分辨率图像重建 约束集合就可以得到简化的解空间。而这组凸形约束集合代表了期望的高分辨 率图像的一些特性，如正定、能量有界、数据可靠、平滑等。s t a r k 错误! 未找 到引用源。采用p o c s 的方法进行重建，他考虑了由传感器形状所引起的模糊。 t e k a l p 等人采用的也是p o c s 方法，与s t a r k 不同的是他们考虑了由传感器大小所 引起的模糊，并同时考虑传感器的噪声。以上两种方法均假设低分辨率图像序 列中的运动是平移运动，而且缝隙时间均忽略不计( 即不考虑运动模糊) 。 凸集投影法的优点是可以应用于任何成像摸型，容易把把先验信息考虑进 去，可以很好的保持高分辨率图像上的边缘和细节；缺点是解不具有唯一性， 解依赖于初始估计，收敛速度慢，计算量大和收敛稳定性不高等。为了提高凸 集投影算法的收敛稳定性，可以采用松弛投影算子。但松弛投影算子不利于保 持图像的边缘和细节。 ( 4 ) 代数滤波反向投影法 f r i d e n 和a u n a n 1 3 在1 9 8 7 年对超分辨率重建问题提出了一种代数层析滤 波后向投影方法。当时的研究并不是由一个图像序列重建超分辨率图像，而是 一个与超分辨率重建相关的、由线性成像阵列对一固定景物进行多次一维扫描 的重建问题。由于在一维扫描系统中p s f 代表线积分，而在多幅图像的超分辨率 重建中的p s f 则代表面积分，因此f r i d e n 和a u 舢a n 研究的问题和超分辨率重建仅 仅在成像系统的p s f 方面不同。在f r i d e n 和a u 舳a n 的重建公式中虽然假定线阵传 感器的分辨率高于光学系统的有限分辨率，成像系统也能够提供给定景物区域 的重叠扫描，但并没有考虑观测值噪声，这就引起一系列问题，因为逆滤波器 的幅值响应随着频率响应的增加而增加，从而对高频噪声非常敏感。尽管该方 法存在上述缺点，但将层析成像领域中的重建技术应用于图像超分辨率重建领 域仍具有明显的意义。 ( 5 ) 基于概率论的方法 1 4 1 5 基于概率论的方法是图像超分辨率重建问题中的一种重要方法。因为超分 辨率重建问题是一个病态问题，欲使病态问题转化为可解的良态问题，必须施 加一定的先验附加条件和限制。因此所有能够考虑到先验条件的方法都能够很 好地适应这类应用。最近几年，包含着以先验概率密度函数为先验限制条件的 b a y e s i a n 方法，由于其较好的重建结果己经得到了越来越多人的重视，成为处 理病态问题中最有前景的方法之一，b a y e s i a n 方法实际上就是最大后验概率估 计( 姒p ) 方法。 第三章超分辨率图像重建 s c h u l t za n ds t e v e n s o n 1 4 1 5 ，最早在1 9 9 2 年将最大后验概率估计方 法应用于以h u b e r _ m a r k o v 随机场作为先验知识的图像内插，以改善图像的清晰 度。1 9 9 5 年，他们将早期的研究结果推广到图像超分辨率重建的研究，提出了 一种基于运动补偿亚采样矩阵的观测值模型，该模型较好地解释了发生在成像 期问景物和相机之间的相对运动。但在他们早期的研究中却没有将由运动产生 的模糊考虑在内。1 9 9 7 年，s c h u l t z ，s t e v e n s o na n dm e n g 认识到精确的运动估 计信息对超分辨率重建的重要性，所以对亚像素级精度运动估计方法，特别是 对具有8 个参数的块运动估计投影模型亦即基于光流的运动估计进行了深入的 研究，提出检测和排除不精确运动估计向量的方法，得到了较精确的运动估计 参数，同时极小化不正确运动向量产生的噪声，使得超分辨率图像重建的效果 得到了极大改善。 注意到运动估计本身就是一个病态问题，s c h u l t za n ds t e v e n s o n 还提出 了正则化运动估计方法，即以h u b e r m a r k o v 随机场为先验光滑性限制条件的 b a y e s i a n 方法。这种方法将b a y e s i a n 运动估计量用于块运动估计，获得的超 分辨率图像视觉效果非常令人满意。而且在s c h u l t za n ds t e v e n s o n 的研究中， 运动估计参数仅仅是通过两幅图像计算出来的，因此可以预计如果用多张图像 估计运动参数将会提高精度和可靠性。h a r d i e ，b a r n a r ca n da 硼s t r o n g ，也提 出了一种本质上和s c h u l t za n ds t e v e n s o n 相同的m a p 方法，不同的是他们考 虑了整体和非整体运动模型。后来h a r d i e 对这一工作进行了推广，考虑了一种 运动估计和超分辨率重建同时进行计算的问题，并给出了最大后验估计的公式。 尽管这一公式的收敛速度比较慢，但因为其运动估计参数不再像其它大多数超 分辨率重建算法那样直接用低分辨率观测数据估计，因此得到了较好的重建效 果。 目前图像超分辨率重建算法中最常见的就是基于m a p 的方法，姒p 方法是 最灵活、最有前景的算法之一。这主要是得益于该算法的以下优点： 其一，m a p 框架模型能够充分考虑先验知识，这对求解超分辨率病态问题， 提高超分辨率处理效果是非常有益的； 其二，以m a p 作为先验知识的模型可以提供十分方便、直观和符合实际的成 像模型； 最后，在m a p 这样的框架内