（光学工程专业论文）基于map的压缩视频超分辨率重建算法研究.pdf

摘要 摘要 超分辨率重建算法就是由低分辨率序列来估计高分辨率图像。由于视频压缩 技术的广泛应用，压缩视频的超分辨率重建己经成为当前研究的热点。 本文首先介绍了超分辨率重建技术的含义、应用和目前的发展状况，并对迭 代反投影法( i b p ) 、凸集投影法( p o c s ) 和最大后验概率法( m a p ) 进行了分析。 其次以m p e g - 2 为例详细论述了视频压缩标准，以及二次取样、运动补偿预测、 d c t 变换和量化等关键的压缩编码技术。然后本文建立了包含压缩过程的成像模 型，给出了量化噪声和运动向量的统计分布模型，研究了基于m a p 的压缩视频的 超分辨率重建算法，并进行了仿真实验。文章的最后指出了视频超分辨率重建技 术有待进一步研究的几个可能方向。 关键词：超分辨率最大后验概率法压缩视频运动图像专家组 a b s 的c t a b s t r a c t s u p e r - r e s o l u t i o nr e c o n s t m c t i o ni s t oe s t i m a t eah i g h r e s o l u t i o ni m a g ef 椭a l o w r e s o l u t i o ni m a g e q u e n c e b e c m l o ft h ec x t e n s i v ea p p l i c a t i o no fl l 砖v i d e o c o m p r e s st e c m q u e s ，t l l es u p e f r c s o l u t i o nr e c o n s 咖c t i o no fc o m p r e s s e d 、，i d e oh 嬲 b e c o m e a g r e a t f o c l l s t l l i sp a p e rf i r s t l yp r e s e n t st l l em 锄i n g s ，a p p l i c a l i o 璐卸dr e c e n td e v e l o p m t so f s u p e r _ r e s o l l n i o nf e c o n s 仃u c t i o i l a i l da i l a l y z e st l l ea l g o r i t l l i n ss u c h 丛m p p o c s 雏d m 膻s c c o n d l yw ed i s 沁雠c o m p r c 豁堍s t a n d a r d s 、】i ，i t l lm ee ) 【a m p l eo f e g - 2 ， 锄dt h ek e yt e 蛳q 嘲，州c hi i l c i u d e 铂h c s u b s 锄p l e ，t l l em 舐c o m i 肌s a t i o n p r e d i c t i o i l t h ed i s c r e i 【ec o s i 仃a 璐f o ，a n d 地删z a t i o ni nd e t a i l n 髓w e s t l l d yt h ea l g o r i t h mo f 咖p r e s dv i d c o 鲫硝：r 哪s o l u 吐o ni e c o 删栅t i o nb a s o do nm a p 锄de x e c u t e1 h es i n 柚a t i o nb yb l l i l d i l l gt h e 啪p 他s s e d 、，i d m o d e l 姐ds i 】r v e y i n gt h e m o d e l so fq u a 蚯z a t i o nn o i 强dm 娟弛a l l y ，t h ep o s s i b l ed i f c c t i o f 觚：l 】r e 麟煳r c h e so nv i d e os u 】p c h e s o l u t i o nr e c o 璐删o ni sp r l 叩o d k e y w o r d s ： s u p e r - r 船o l u t i 蛐 m a p c o m p r 嘲e dv 柚m p e g 独创性( 或创新性) 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果：也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名：2 垒塑日期：型! 墨：6 导师签名：辛峰瞧础小 第一章绪论 1 1 1 超分辨率的含义 第一章绪论 1 1 超分辨率的含义和应用 在对图像系统性能的评估中，图像分辨率是一个重要的比较尺度。 图像的分辨率描述了成像系统对图像细节的分辨能力，是图像质量和图像中目标 细微程度的重要指标，它表示了景物信息详细程度。分辨率越高，细节越精细， 图像提供的信息就越丰富。 像素( 像元) 【l 】是组成图像的最基本单元。它是一个小的方形的颜色块。一个 图像通常由许多像素组成，这些像素被排成横行或纵行，每个像素都是方形的。 单位面积内的像素越多，分辨率就越高。图像的分辨率越高，意味着每单位面积 内所包含的像素越多，图像就有越多的细节，颜色过渡就越平滑。 影像分辨率( i m a g er e l l i c i o n ) 简单来说就是成像系统对影像细节进行分辨 的能力，它是对影像的细节分辨能力进行度量的一项指标，表征了影像中目标景 物的细微程度与影像信息的详细程度。我们根据对“影像细节”的不同诠释方式 将其归结为不同的分辨率度量准则，如对影像光谱细节的分辨能力称为光谱分辨 率( s p e c 妇lr c s o l 谢o n ) ；在影像成像过程中对光辐射度的最小可分辨差异称为辐 射分辨率( 恐l d i o m e 试cr e s 0 l m i o n ) ；把对同一目标的序列影像成像的时间间隔称 为时间分辨率( t e m 岬lr e s o l u t i o n ) ；而把影像目标的空间细节在影像中可分辨的 最小尺寸称为影像的空间分辨率( s p a t i a lr e s o l u t i o n ) 。本文研究的是空间分辨率。 在图像的产生、传输和记录过程中，不可避免地会带来某些失真和不同程度 的变质，使得图像的质量下降，尤其是经过压缩的图像。虽然增加传感器阵列密 度可以提高图像分辨率和消除变形效应，但是往往价格上会很昂贵，或者由于技 术上的限制而很难实现。同时1 2 】1 3 j 可以利用提高芯片尺寸来提高图像的分辨率，但 这将导致电容增加和电荷转移速度下降。解决这个问题的一个有效方法就是图像 的超分辨率重建技术。对于这些降质的图像，进行一定的处理，使其重构出真实 的景物，这就是图像重建。它是指去除或减轻在获取数字图像过程中发生的图像 质量下降( 退化) 。这些退化包括由光学系统、运动等造成图像的模糊，以及源 自电路和光度学因素的噪声。它的目标是对退化的图像进行处理，使它趋向于复 原成没有退化的理想图像。它包括：提高图像的分辨率、去除图像噪声和去模糊1 4 1 等。 图像超分辨率( s u p e r r e s o l u t i o n ，s r ) 重建是数字图像处理领域的一个分支。 2 基于m a p 的压缩视频超分辨率重建算法研究 它是根据图像序列和成像模型去除由成像系统造成的模糊( 散焦模糊、运动模糊 和非理想采样等) ，以使图像获得更多的细节和信息，其目的就是通过一组低分 辨率( k l w r e s o l u t i o n ，l r ) 变形、降质的图像( 或图像序列) 来估计出一幅( 或 一序列) 较高分辨率( h i g l l r e s o l u t i o n ，h r ) 的非变形图像，同时还能消除附加噪 声以及由光学元件产生的模糊【5 】1 6 】l 刀。 超分辨率重建技术的基本思想最早是在6 0 年代【即【9 】被提出，尽管有许多人相 继提出了各种复原方法，如椭圆球波函数法、线性外推法和叠加正弦模版法l lo 】等， 但由于传统的单帧图像复原问题只是对单帧输入图像进行处理，图像复原和分辨 率的增强效果都受到极大限制，从而在实践中没有得到广泛的应用。超分辨率重 建的核心思想是用时间带宽换取空间分辨率，以实现时间分辨率向空间分辨率的 转换。但是由于单帧或序列图像中亚像素信息的提取是以其本身存在场景的额外 信息为前提，因此只有在多帧图像中存在非冗余信息的情况下，才能进行图像的 超分辨率重建。所以超分辨率重建技术就是利用多帧图像序列进行处理，从中提 取出低分辨率序列图像中的附加的空域和时域信息，从而使得重建图像的质量超 过任何一帧低分辨率图像。 1 1 2 超分辨率的应用 超分辨率图像重建技术成本低，现有的图像系统可以继续使用，是一种比较 经济的方案，因此在数字化和多媒体技术迅速发展的今天，它在安全、军事、遥 感、医学和视频等领域都具有十分重要的应用价值和广阔的应用前景。超分辨率 图像重建技术研究有着十分重要的意义l ”】，主要表现在： a 可以改善由于图像离散化而引起的空间分辨率的下降； b 可以改善由于图像退化而引起的空间分辨率的下降； c 可以弥补原有图像空间分辨率的不足； d 可以突破图像获取手段的空间分辨率极限； e 发掘现有图像数据( 如多角度、多时相、多平台遥感图像和序列图像等) 的潜 力。 概括来讲，超分辨率重建技术的典型应用主要有【i 2 j 以下几个方面： ( 1 ) 安全领域中的监控系统，当有异常情况发生后可对拍摄的视频图像的某 一段进行重建处理，以获取较高分辨率的视频图像，从而有效的提高识别能力， 为事件的处理提供重要线索。 ( 2 ) 在采集军事与气象遥感图像时由于受到成像条件与成像系统分辨率的限 制不可能获得清晰度很高的图像，则由多幅低分辨率图像来重建高分辨率图像具 有十分重要的意义。遥感图像数据量存在一个矛盾，遥感图像数据获取的数据量 第一章绪论 多，有用的信息少。且由于成像设备的硬件技术原因，我们往往得不到想要的高 分辨率图像。因此若能利用低分辨率相机进行成像，再对这些重复图像数据进行 超分辨率重建，生成较高分辨率的图像，这样既可以降低风险和成本，又可以提 高现有图像资料的应用价值和军事目标的识别能力。 ( 3 ) 医学检测中( 如c t 核磁共振成像仪和超声波仪等) 往往需要通过层析成 像技术识别并确定出病体的精确位置及详细情况：如阴影的边缘、病体占位的大 小及位置等。由于硬件设备及现有的成像技术的限制，我们还不能够获取满足更 高要求的高清晰图像。但是我们可以根据层析成像技术的特殊机理，采用超分辨 率技术来提高图像的分辨率质量。 “) 视频超分辨率重建技术可以把普通视频信号转化成高清晰度电视标准或 产生合成视频变焦( 合成视频变焦就是把视频显示的一个区域按某一倍数进行放 大然后重新播放) ( 5 ) 根据视频信号来打印超分辨率静态图像，用来扩大图像和增加细节。因 为人类的视觉系统在相同的视觉效果时，对一幅静止的图像比对一序列帧有更高 的分辨率要求。n t s c 视频产生最多4 8 0 垂直线，然而要想在现代打印机上以适当 的分辨率打印，需要两倍多的垂直线。 1 2 超分辨率重建技术 图像的超分辨率重建过程是一个病态的求逆过程，如何求解则成为超分辨率 重建的关键问题。 公式( 1 1 ) 给出了最一般的退化模型【1 2 j 【1 3 j 【h 堋，它将原始高分辨率图像和低分 辨率图像联系起来， 岛= 4 日c ( 4 ) 五+ 啊 ( 1 - 1 ) 其中蜀表示第，帧的低分辨率图像，石表示与蜀对应的第z 帧的高分辨率图像，爿是 一个实现下采样操作的矩阵，日是一个过滤矩阵。五表示第t 帧的高分辨率图像， c ( 珥) 表示第七帧五和第，帧彳之间的映射，研表示两帧之间的位移，运动向量。 珥是附加噪声。 大体来说，超分辨率重建过程包括三个步骤 1 6 】：第一建立一个高分辨率图像 到低分辨率图像的降质模型；第二对低分辨率图像进行运动补偿；第三根据图像 降质模型推导出超分辨率重建的迭代算法。在这三步中任何一步的不同思路都有 可能导致不同重建方法的产生，常用的有迭代反投影法、凸集投影法和最大后验 基于m a p 的压缩视频超分辨率重建算法研究 概率法等。目前的超分辨率的重建技术主要分为两大类，一类是频率域方法，一 类是空间域方法。 1 2 1 频率域方法 o 帧图像 运图 忑 忖 傅 高 立 分 叶 辨 逆 壅 变 的 - _ 一1 一 换 像 动像 l 帧图像 _ 估配 - - - -计准 p - 1 帧图像 图1 1 频域超分辨率重建过程框图 频率域方法是最早进行研究的方法，它的重建过程如图1 1 所示，就是在频域 内解决图像内插问题，其观察模型是基于傅里叶变换的移位特性。但是它很难将 采样空间中变化的运动模型局部等价到其f o l l r i e r 变换域上，所以这类方法只能局 限于全局平移运动和线性空间不变的降质模型，并且包含的空域先验知识能力有 限f 9 】，不适用于非全局性相对运动的情况。因此它具有难以增加一般性的先验约束， 及不包含一般的噪声模型等特点【1 7 】。主要的方法包括解混叠重建方法、递归最小 二乘法和基于多通道采样定理的方法等。 其中解混叠重建方法【1 8 】是通过解混叠而改善影像的空问分辨率来实现超分辨 率重建，最早的研究工作是由1 妇i 和h 啪g l 聊在1 9 8 4 年进行的。在原始场景信号带 宽有限的假设下，利用离散傅立叶变换和连续傅立叶变换之间的平移、混叠性质， 给出一个由一系列欠采样图像数据重建高分辨率图像的公式。多幅观察图像经混 频而得到的离散傅立叶变换系数与未知场景的连续傅立叶变换系数以方程的形式 联系起来，方程组的解就是原始图像的频率域系数，在利用求解的频率域系数进 行傅立叶逆变换就可以实现原始图像的重建。该方法要求对图像间位移参数的估 计达到子像素精度，而且每一帧观察图像都必须只对方程组中的一个不相关的方 程做出贡献。1 砜和h u a i l z 的方法具有理论直观、计算简单的优点，但不足之处在 于模型没有考虑光学系统的点扩散函数p s f 、运动模糊和观测噪声的影响。由于模 型建立在整体平移的基础上，缺少灵活性，从而限制了该方法在实际中的应用。 后来还出现了用递归最小二乘方法【2 i 】对1 铡和h l i a r i g 公式中的混叠矩阵进行 求解的方法，及基于多通道采样定理的方法 2 0 l f 2 2 】。但总的来说，这些方法都只是 对1 b a i 和h u a j l g 方法的改进，都存在着与1 a i 和h 啪g 方法中整体平移假设相似 的缺点，通过频率域解混叠方法进行超分辨率重建的理论目前仍然没有取得实质 意义上的重大突破。 第一章绪论 在整体平移运动的前提下，使用频率域方法进行超分辨率复原是可行的。但是 对于更一般的运动及退化模型，很显然频率域方法是不充分的。 1 2 2 空间域方法 早期的研究工作主要集中在频域进行，但随着更一般的运动和退化模型的考 虑，如公式( 1 - 1 ) 所示，当前的研究工作都集中在空间域，空域法成为当今超分辨 率重建的主要方法。空域法重建过程如图1 2 所示，它将复杂的运动模型与相应的 插值、迭代及滤波重采样放在一起进行处理，具有很强的空域先验约束的能力 它主要包括迭代反投影方法( m p ) 、集合论方法( s e t t h e or 】e t i cm e m o d s ) 、概率论 方法( p r o b a b i l i t ym e t l l o d s ) 和混合的m a p ，p o c s 方法。 高 分 辨 室 的 o 帧图像 非 计“样 像 1 帧图像 p 1 帧图像 图1 2 空域超分辨率重建过程框图 迭代反投影法( i b p ) 是先用观测图像的一个初始估计作为当前估计，并把这 个当前投影结果投影到低分辨率观测图像上以获得低分辨率的模拟图像，低分辨 率模拟图像与实际观测图像的差值称为模拟误差，根据模拟误差不断更新当前估 计。迭代反投影法通过观测方程使超分辨率重建与观测数据匹配，它具有计算量 小、收敛速度快和自动降噪等优点，但是难以引入先验知识，且解不具有唯一性。 凸集投影法( p o c s ) 是集合论中重要的方法，它是应用约束条件将先验知识 整合到计算中。超分辨率图像解空间与一组凸形约束集合相交叉，而这组凸形约 束集合代表了期望的超分辨率图像的一些特性，如正定、能量有界、数据可靠、 平滑等，通过这些约束集合就可以得到简化的解空间。p o c s 是一个迭代过程，在 给定超分辨率图像空间中任意一个点的前提下，可以定位一个能满足所有凸形约 束集合条件的收敛解。其缺点是解不唯一，并且依赖于初始值的推测，收敛速度 慢，稳定性不好，计算量大等。 t e k a l p 、o z l ( a i l 和s e z a l l l 2 3 】1 2 4 】提出了一种基于p o c s 的超分辨率重建理论框架， 他们同时考虑了频率混叠、探测器模糊、运动模糊以及加性噪声，并获得了较好 效果。随着人们对该算法的进一步研究，一些更为理想的算法改进被提出。s t e m 、 k e m p n e r 、s h u k l l i l 等人【2 5 锻据一定的判据对图像进行选择，这样可以去除一些严 6 基于m a p 的压缩视频超分辨率重建算法研究 重模糊的图像，然后再用凸集投影的方法进行图像重建，从而得到比把所有图像 都用来重建更为理想的结果，并且减少了计算量。“、s 锄i n o 、k 撕1 2 叫提出一种 新的适合低分辨率图像序列的运动估计算法，图像重建的算法采用凸集投影 ( p o c s ) 方法，结果表明这种运动估计跟凸集投影重建算法结合起来可以很好地 提高图像的清晰度。 超分辨率重建可以被看作成一个统计估计问题。这个统计估计问题其实就是 一个病态( i 1 1 p o s e d ) 问题，欲使病态问题转化为可解的良态( w e l l p o s e d ) 问题， 必须施加一定的先验附加条件和限制。在最近几年，本质上包含着以先验概率密 度函数为先验限制条件的b a y e s i 姐方法，由于其较好的重建结果已经赢得了越来 越多人的重视，成为处理病态问题最有前景的方法之一。超分辨率重建最常用的 就是b a y e s i a l l 框架下的m a p 方法。 最大后验概率估计法( m a p ) 是将超分辨率图像视为一个复杂最优化问题的 m a p 解。m a p 的含义就是在已知低分辨率序列的前提下，使出现高分辨率图像的 后验概率达到最大。虽然m a p 方法收敛速度慢、运算量大、边缘保持能力不如凸 集投影法，且获得的高分辨率图像的细节很容易被平滑掉【2 刀，但是在实际中却得 到了广泛的应用。这是因为最大后验概率估计法可以在解中直接加入先验约束， 适用于线性和非线性成像模型，并能确保解的存在和唯一，并且降噪能力强、收 敛稳定性高，可同时实现运动估计和增强。 s c h i l l t z 和s t e 煳n 闭在1 9 9 2 年将极大后验概率估计方法应用于以 h 1 l b e r - m a r k o v 随机场作为先验知识的影像内插，以改善影像的清晰度。1 9 9 5 年他 们又将早期的研究结果推广到了影像超分辨率重建的研究，提出了一种基于运动 补偿亚采样矩阵的观测值模型。1 9 9 7 ，1 9 9 8 年s c h i l i t z ，s t e v e i l s o n 孤dm c l l g 冽认识 到精确的运动估计信息对超分辨率重建的重要性，所以对子像素级精度( s u b p i x e l a 删y ) 运动估计( m o t i o ne s t i m a t i o n ) 方法，特别是对具有8 个参数的块运动 估计投影模型及基于光流( o p t i c a lf l o w ) 的运动估计进行了深入研究，并提出了 检测和排除不精确运动估计向量的方法，使得运动估计参数具有较高的精度，同 时还能减小不正确运动向量产生的噪声，使得超分辨率影像重建的效果得到了较 大的改善。 1 2 - 3 其它方法 基于学习的超分辨率重建算法是新兴的一种超分辨率重建算法，它是通过学 习低分辨率图像和高分辨率图像之间的关系以及指定类别的识别，然后利用这种 关系和识别到的先验知识来对图像进行超分辨率重建，从而获得了比传统使用标 准平滑先验知识更好的重建结果【3 0 】1 3 l l 。 第一章绪论 7 基于小波变换的超分辨率算法是在近几年小波变换理论迅速发展的基础上发 震起来的，小波变换3 2 1 在时域或是在频域都具有良好的局部化性质，是一种优于 傅立叶变换的新理论。由于它对高频成分采用逐渐精细的时域或空域采样步长， 从而可以聚焦到图像的任何细节，因此将小波变换应用于超分辨率重建算法中， 可以获得具有较好的图像边缘保持效果。 1 2 4 视频的超分辨率重建 近些年来许多增加图像空间分辨率的方法被提出，这些方法多是融合子像素 替换得到的多个低分辨率图像的信息1 3 l 】。然而这些方法通常是假设静态场景，而没 有关注在动态场景中有限的时间分辨率。随着视频应用需求的发展，视频分辨率增 强逐渐被人们所关注。 视频的超分辨率重建柳是指融合来自相同动态场景的一个低分辨率视频序列 的信息，去重建一个高时空分辨率的视频序列，它包括时间超分辨率和空间超分 辨率，本文讨论的是空间超分辨率重建。 视频区别于静态图像的最重要的特征，就是它具有时空联合分布特性。通常视 频摄像机采集帧率是5 0 h z 6 0 h z ，电影被录制和播放是在2 4 h z ，2 5 h z 或3 0 h z ， 而p c 的显示器的图像刷新频率是在6 0 h z 1 2 0 h z 之间。这样，如果普通广播电视 视频要在p c 显示器上显示的话，必须在时问上进行插值处理。一个好的运动补偿 插值算法能够沿着运动轨迹将运动物体插值到当时正确的位置上，从而获得高质 量的视频效果。空间维和时间维是非常不同的，但又是相关的，这导致了视频在空 间和时间上的折中。时间分辨率的大幅度提高，通常是以空间分辨率的降低为代价 的，反之亦然。而这在传统的基于图像的空闻超分辨率应用中是不存在的。所以应 该考虑一个统一的框架，融合来自时空未对准而获得的动态场景的多个视频序列 信息，来增加视频的时空分辨率，这将提高动态事件的可视化能力，尤其是高速动 态事件的表示能力。 空间分辨率由摄像机光学传感器的空间密度及其本身引入的模糊误差所决 定，这些因素限制了图像中被观察到的物体或特征的最小空间尺寸。由于包含在 单帧视频序列中的信息不足以恢复高分辨率事件中丢失的信息，多帧视频序列提 供了附加的动态时空场景采样，这样就可融合这些信息去弥补丢失的信息，以时 间分辨率换取空间分辨率，来产生一个高空问分辨率的视频序列。 而在实际的生活中，大多数视频图像都是以压缩的形式存在的，如m p e g ，h 2 6 x 等。因此压缩视频的超分辨率重建是一个新的研究课题。传统的超分辨率算法都 是基于图像序列，而实际中视频压缩技术的使用使得压缩视频的超分辨率重建方 法不同于传统的超分辨率重建方法。不同之处在于视频压缩技术将图像表现为一 基于m a p 的压缩视频超分辨率重建算法研究 序列的运动向量和变换系数。以往压缩视频的超分辨率重建是将视频先进行解码， 恢复成普通的序列图像后再进行重建的。近年来，不完全解码并充分利用比特流 中的信息已经成为压缩视频超分辨率重建研究的一个热点方向。这就要求在研究 超分辨率重建算法时，不仅要掌握传统的超分辨率重建算法，还要熟悉视频压缩 技术和视频压缩标准。 很多压缩视频超分辨率重建算法被提出。c h e n 和s c h u l 乜i ”j 提出先解压m p e g 视频，然后使用非压缩视频算法的方法，同时还考虑了重建帧的选择，该方法虽 然简单易行，但由于解压缩过程丢弃了在视频压缩中引入的量化误差的信息，因 此重建效果不理想；p g 畸等阴】提出一种在图像序列重建模型中增加m p e g 量级化， 再使用p o c s 的方法，虽然此方法在一定程度上弥补了由于图像量化压缩而造成 的信息损失，但它却完全忽略了非压缩过程的信息损失：s e g a l l 等瞰烤虑到量化误 差会引起半像素运动信息的不准确性，首先对这一不准确性建立零均值的加性相 关高斯模型，然后利用正则法进行重建，并在正则函数中引入了平滑约束来去除 量化带来的各种效应；而p a r k 等哪l 贝u 考虑低比特率下的空域量化噪声估计，并且 量化噪声的协方差矩阵和高分辨率图像同时估计；后来s e g a l l 等1 1 2 】基于b a y c s i 锄 理论和压缩过程，提出了一种新算法；p a e k 等【3 7 】提出对相关性很强的的图像来说， 相邻块会有相似的频率特征，如果在块中不存在重建图像中检测到的高频分量， 那么就可以认为高频分量是由于块效应造成的，他在此基础上建立了合适的凸集， 并设计出相应的投影算子；p a m 和a l t i 】曲a s a l 【f 3 8 】提出了一个明确地合并压缩过程 的解决方案，加入了m p e g 部分，用量化信息作为作用于压缩域的基于p o c s 算 法的基础，但却将量化误差之外的所有误差都忽略了，这在中高码率下不是一个 好的方法，并且也没有考虑成像过程的降质问题；r ob e ：r t s o n 和s t e v 吼s o n 【3 研将量化 噪声建模d c t 域，然后再转换回空间域；为了合理利用量化信息，g 岫t i l 出和 a l t u n b a s a l 【4 0 i 提出两种方法计算空间量化和加性噪声的联合统计分布，一种方法是 将加性噪声进行d c t ，然后同量化噪声一起在压缩域建模，另一种方法是对量化 噪声进行d c t ，然后同加性噪声一起在空间域建模，这两种方法的最大缺陷是没 有利用运动估计进行运动补偿，后来他们在d c t 域直接利用量化信息，d c t 系数 由它们的统计分布所决定，并充分利用信源的统计特性和附加的约束，如块效应 的消除以及边缘增强等；t o m f 4 l j 通过改进运动补偿方法，迸一步提高算法的性能， 后来又把它推广应用到彩色视频序列的重建上。 综上我们可以发现，若想得到好的理想的重建效果，就要充分考虑视频压缩 过程对超分辨率重建的影响。 第一章绪论 9 1 3 本文的内容和工作 本文在前人研究成果的基础上，研究了利用m a p 算法来对实际的压缩视频进 行超分辨率重建。并在重建过程中充分考虑了视频压缩过程和视频压缩标准的影 响，在融合视频压缩标准( 目前主流的m p e g 标准) 的基础上，充分利用压缩比 特流中的有效信息对视频图像进行超分辨率重建。 本文内容安排如下： 第一章介绍了图像超分辨率重建的含义，意义和视频超分辨率重建技术的典 型应用，分别从超分辨率的发展状况、成像模型和重建技术对超分辨率重建算法 进行了讨论。 第二章以m p e g 2 标准为例，论述了视频压缩的具体过程，并分析了压缩过 程对重建过程的影响。 第四章在压缩视频标准的基础上，着重研究了最大后验概率法( m a p ) 在压 缩视频重建中的应用。 第五章给出实验过程和实验结果，并进行了分析。 第六章对研究工作的总结和展望。 第二章视频压缩技术 2 1 1 视频压缩的必要性 第二章视频压缩技术 2 1 视频压缩的基本思想 近年来，随着多媒体技术的迅速发展，大量的音视频数据被使用。一般来说， 视频数据信息量大，传输要求的网络带宽高，这使得它的传输和存储都存在着很 大的问题。因此应该将视频数据先进行压缩编码，然后在使用时再对其解压缩， 这样不仅节省其存储空间，而且又节省其传输的带宽。 在对视频数据进行压缩时，有三个基本要求，一是压缩比，二是压缩的视频 数据质量，三是压缩与解压缩的速度。 2 1 2 视频压缩的可行性 视频数据中存在着大量的冗余，即是图像的各像素之间具有高度的相关性。 利用这些相关性，一部分像素值可以由另一部分像素值推导出来。压缩的目的就 是去除视频数据中的这些相关性。 视频数据主要有以下几种形式的冗余： ( 1 ) 空间冗余：图像在水平方向或垂直方向的相邻像素之间的像素亮度值和色 度值变化一般很小，存在着极强的空间相关性，常称为帧内相关性； ( 2 ) 时间冗余：图像在相邻场或相邻帧对应的像素之问的像素亮度值和色度值 往往变化不大，存在着极强的时间相关性，称为帧间相关性： ( 3 ) 视觉冗余：人眼具有视觉非均匀特性，对视觉不敏感的信息，一些重要性 较低的信息，可以适当的舍弃。 由上可知，利用像素之间的相关性，找到相应的参考像素或参考帧作为预测， 从而实现视频的压缩编码。 2 2 1m p e g 标准发展历程 2 2 m p e g 标准 虽然现今有许多不同的压缩算法，但是被广泛认可和使用的是由i s 0 组织制订 的m p e g 标准和由i t u t 组织制订的h 2 6 x 标准1 4 3 j 【“。 1 2 基于m a p 的压缩视频超分辨率重建算法研究 m p e g 是运动图像专家组( m o v i n g p i c m l e se x p e n sg r o u p ) 的英文缩写，他们 于1 9 8 8 年开始专门制订音视频标准，已经推出了m p e g - 1 ，m p e g - 2 ，m p e g _ 4 和m p e g 7 四个版本。 m p e g 1 标型4 5 】是用于传输速率高达1 5 m b p s 速率的数字存储媒体的运动图 像及其伴音编码( c o d i n go fm o v i n gp i c t i l r e sa j l da s s o c i a 自e da u d i o 蠡) rd i g i t a l 咖r a g e m e d i aa t u p t o a b o m l 5 m b i 体) 标准，标准号为i s o i e c l l l 7 2 ，主要用于v c d 之 类的视频家电设备和视频点播。 m p e g - 2 标准嗍m 是通用的活动图像及其伴音的编码标准，其标准号为 i s 伽e c l 3 8 1 8 。作为一个通用的编码标准，它应用范围更广，包括标准数字电视、 高清晰度电视和m p e g i 的工作范围。 m p e g 4 标准【档】是多媒体应用的音频视觉对象编码标准，其标准号为 i s o ，m c l 4 4 9 6 。它通过描述场景结构信息，来建立一个多媒体场景，并将它与编 码的对象一起传输，适用于多媒体应用中的人机交互的要求。m p e g - 4 的视频编码 分为合成视频编码和自然视频编码。主要应用于视频电话( v i d e op h e ) 、视频电 子邮件( d e oe m a i l ) 和电子新闻( e l e c 加1 1 i cn e w s ) 等。 m p e g 一7 标准是多媒体的内容描述接口标准，其标准号为i s 0 艇c 1 5 9 3 8 ，它 将对各种不同类型的多媒体信息进行标准化的描述，并将该描述与所描述的内容 相联系，以实现快速有效的搜索。它即可应用于存储，也可应用于流式应用，还 可以在实时或非实时环境下应用，如数字图书馆、多媒体名录服务、广播媒体选 择等。 2 2 2m p e g - 2 标准 虽然m p e g 标准已经发展到m p e g 7 ，但是在现实生活中，人们最常用以及 接触最多的是以m p e g 2 标准进行编码的压缩视频文件，所以本文以m p e g - 2 标 准为例，进行压缩视频超分辨率重建算法的研究。 m p e g 一2 ( i s o n e c l 3 8 1 8 ) 标准主要分为三个部分：系统部分、视频部分和音 频部分，而与压缩视频超分辨率重建密切相关的是系统部分和视频部分。 2 2 2 1 系统部分 对一个m p e g 格式的压缩视频文件，首先需要分析的是视频文件的系统部分。 m p e g 的系统部分用来将一个或更多的音频、视频或其它的基本数据流合成单个或 多个数据流，以适应存储和传送，并且可以在一个很宽的恢复和接受条件下进行 同步译码。它将经过数据压缩后的各种信号通过节目复用器形成原始数据流( e s ) ， e s 经过打包后被组合形成有包头的p e s 分组。数据流主要有程序流( p r o g r 锄 第二章视频压缩技术 s 仃e 锄，p s ) 和传送流( t r 柚s p o r ts t r c 帅，t s ) ，如图2 1 所示。程序流是将一个或 多个具有相同时间基点的数据流p e s 分组合为单个流。那些原始数据流可以是一个 程序对应的一些独立的非多路复用的数据流，也可以来自不同的程序流，每个程 序流对应一个原始流，并具有相同的时间基点。程序流是针对错误较少的环境， 适用于一些涉及软件处理系统信息的应用。传送流将有多个独立时间基点的多道 程序合成一个单独的数据流，其中属于同一道程序的各个原始数据流的p e s 分组具 有相同的时间基点。传送流是针对那些很容易发生错误的环境而设计的，比如容 易丢失或有噪声的存储和传送媒体中。 图2 1 删t r h 2 2 2 o l i s 0 忸记1 3 8 l g 1 简化总体框图 m p e g 文件经过解复用后，可以得到p e s 流。p e s 包的开头首先是长度为3 个字 节( 共2 4 比特) 的起始码前缀，它由2 3 个“o ”和1 个“l ”组成，即码组“0 0 0 0 0 0 0 0 o o o o o o o oo o o oo o o o o o o oo 0 0 1 ”，它表示一个p e s 包的开始。在码前缀之后为1 个 字节的包识别码，表明这个包的种类，音频、视频或者数据等，以及包的序号。 例如l l o o x x x x 是序号为x x ) 。【的m p e g 音频包，l l l l x x x x 是序号为) d d x 的视频包。对 于压缩视频的超分辨率重建，我们要获得压缩视频中的图像序列，就要根据系统 部分的编码语法，从m p e g 文件中提取出需要的视频流，如图2 2 所示。 1 4 基于m a p 的压缩视频超分辨率重建算法研究 厂母 j l 通道特殊i ll 广 l 解码器一叫骄潍船伴竺# | l 亩 程序流 2 2 2 2 视频部分 图2 2 程序流原型解码器 由于我们在超分辨率重建过程中要利用不完全解码的压缩视频比特流中的信 息，因此超分辨率重建工作主要在视频这部分完成。 m p e g 2 视频比特流被分为序列层( s e q u e n c e ) 、图像组层( g o p ：g r o u po f p i c t i m ) 、图像层( p i c t u r e ) 、条层( s l i c e ) 、宏块层( m 姗b l o d 【) 和块层( b 1 0 c k ) 。 如图2 3 所示。 i k 一 运动图像序列一 图2 _ 3m p e g - 2 数据体系结构( 分层的结构) 第二章视频压缩技术 序列层是指构成某路节目的图像序列，序列起始码后的序列层头部包括图像 的水平和垂直尺寸、宽高比、帧速率、码率、缓存器尺寸和帧内帧间量化矩阵系 数等信息。 序列层下是图像组层，一个图像组由相互间有预测和生成关系的一组i 、p 和b 图像构成，并包含时间码，在编码比特流中，第一个编码帧总是i 帧。 图像组层下是图像层，它的头部包含时间参考码、图像编码类型、前向和后 向搜索范围等。 图像层下的是条层，一个条包括一定数量的宏块，其顺序与扫描顺序一致。 条层下的是宏块层，宏块包含一部分亮度分量和空间相关的色度分量。 m p e g 2 共定义了4 ：2 ：o 、4 ：2 ：2 和4 ：4 ：4 这三种宏块结构，它们分别代表构成一个宏块 的亮度像块和色度像块的数量关系。 一个4 ：2 ：o 宏块由6 个块组成，包括4 个亮度y 块，1 个c b 色度块和1 个雠度块。 块顺序由图2 4 描述。 田 y 图2 4 口口 c bc t 4 ：2 ：o 宏块结构 田 y 日日 图2 54 ：2 ：2 宏块结构 一个4 ：2 ：2 宏块由8 个块组成，包括4 个亮度y 块，2 个c b 色度块和2 个c r 色度块。 块顺序由图2 5 描述。 田田田 yc bc r 图2 64 ：4 ：4 宏块结构 一个4 ：4 ：4 宏块由1 2 个块组成，包括4 个亮度y 块，4 个c b 色度块和4 个c r 色度块。 块顺序由图2 6 描述。 对于4 ：2 ：2 和4 ：4 ：4 结构来讲( 在宏块的垂直方向有两个块) ，色度块与亮度块同 等对待，然而在4 ：2 ：0 格式中，色差块将一直按帧结构进行组织，以满足d c t 编码 目的。 宏块层下是块层，块层是m p e g 2 码流的最底层，是d c t 变换的基本单元一 1 6 基于m a p 的压缩视频超分辨率重建算法研究 个块是由8 8 个抽样值构成，同一个块内的抽样值必须全部是y 信号样本值，或全 部是c b 信号样本值，或全部是c r 信号样本值。 m p e g 一2 解码器的输出是一系列的帧或场。帧由三个样本矩阵构成，包括一个 亮度样本矩阵和两个色度样本矩阵，样本矩阵元素的值为整数。场由构成帧的三 个样本矩阵中相间的行构成，即帧样本矩阵的第一行、第三行、第五行，依此类 推，构成一个场，称为顶场；第二行、第四行、第六行，依此类推，构成另一个 场，称为底场。 编 2 3 视频压缩关键技术 图2 7 简单的解码模型 的像素 对于视频压缩，许多可行的方法被提出，大多数的算法可以分为以下几个步骤： ( 1 ) 正向离散余弦变换( f d c t ) ； ( 2 ) 量化( q u a n t i z a c i o n ) ； ( 3 ) z 字形编码( z i 弘a gs c a l l ) ； ( 4 ) 使用差分脉冲编码调制( d p c m ) 对直流系数( d c ) 进行编码； ( 5 ) 使用行程长度编码( r l e ) 对交流系数( a c ) 进行编码； ( 6 ) 熵编码( e n 仃o p yc o d i l l g ) 。 2 3 1 二次取样和内插法 视频编码技术在编码之前，均大量地进行了二次取样和量化。二次取样的基 本概念是想减少输入视频的水平维数和垂直维数，并在进行编码处理之前先对像 素进行编号。值得注意的是：在有些应用场合，在时间方向上也对视频进行二次 第二章视频压缩技术 取样，以便在编码之前降低帧频。在接收机端，已解码图像是通过内插法来加以 显示的。这一方法可以认为是一种最简单的压缩技术，这种压缩技术利用了人眼 特有的生理特性，因而消除了视频数据中的含有的主观冗余度，即人眼对亮度信 号的变化比对色度信号的变化更灵敏。所以m p e g 编码方案首先将画面分成y 1 矢量信号( 一个亮度分量和二个色度分量) ，然后相对于亮度分量，对色度分量 进行二次取样，对于m p e g 2 标准来说，y ：u ：v 的比率为4 ：2 ：o 、4 ：2 ：2 和4 ：4 ：4 ，见 2 2 2 2 节。 2 3 2 运动补偿预测 运动补偿( m o t i o nc 彻聊m s a l j ) 是对视频文件压缩时所采用的一种帧间编 码方法，用于去除帧间相关性。它可以使对p 帧和b 帧图像的压缩倍数较i 帧提 高三倍。运动补偿以宏块为单位，包括预测和差补两种算法。运动补偿概念是以 对视频4 ：2 ：0 、4 ：2 ：2 和4 ：4 ：4 的帧间运动估计为基础的，也就是说，若视频镜头中 所有物体均在空间上有一位移，那么用有限的运动参数( 如对于像素的平移运动， 可用运动向量来描述) 来对帧间运动加以描述。 帧间运动补偿压缩编码可分为三步： ( 1 ) 在相邻帧中估计运动物体的位移值，称为运动估计( m 0 t i o ne i o n ， 匝) ： ( 2 ) 利用所得到的运动估计值进行帧间预测编码，即运动补偿( m 0 t i o n c o m p e n s a t i o n m c ) ； ( 3 ) 预测信息如运动矢量、预测误差的熵编码。 当编码器对图像序列的第n 帧进行处理时，利用运动估计，可以得到第n 帧 的预测值。在编码时只对第n 帧和其预测值的差值进行熵编码，这样编码传输 所需的比特数就比原始图像传输所需要的比特数少的多，从而达到压缩的目的。 运动补偿预测帧间误差图像 图2 8 预测编码 1 8 基于m a p 的压缩视频超分辨率重建算法研究 在预测编码中最关键的是运动估计，运动估计的结果会影响压缩编码的效率， 其精确度则会影响编码的视频质量。运动估计最常用的是块匹配法。 块匹配法是将图像分割成互不重叠的子块，在m p e g 标准中为1 6 1 6 的宏块。 宏块内所有的像素的位移量都相同，即是将一个宏块看成一个运动物体，并仅做 平移运动。假设在图像序列中，第n 帧图像和第n 1 帧图像，对于n 帧图像的一 个宏块，在n 1 帧中搜索寻找与其最相似的宏块，称为匹配块，则可认为该匹配 块在n 1 帧中的位置就是n 帧宏块位移前的位置。 也就是说，一个来自前编码帧的运动补偿预测像素，就能给出一个有效像素 的最佳预测。通常，预测误差和运动向量均传送至解码端。由于一些运动向量