（信号与信息处理专业论文）基于dct的视频编码后处理技术的研究.pdf

大连理工大学硕士学位论文 摘要 随着现代通信技术与计算机技术的飞速发展，人们对各种图像信息的需求日益增 长。由于图像信息具有信息量巨大的特点，在带宽受限的情况下要实时传输图像信息必 需采用图像压缩技术，而b d c t 是目前大多数国际图像视频压缩编码标准中采用的压缩 技术。在基于b d c t 压缩技术的图像通信中，当采用低比特率进行编码时，解码图像不 可避免的会出现方块效应。引起图像失真的主要原因是传输误差和量化误差。本论文以 提高接收端图像质量为目的，研究了对失真图像进行恢复的后处理技术。本论文的主要 研究工作如下： 首先，分析了基于b d c t 的图像压缩技术因量化失真而产生方块效应的原因，比较 了环路滤波和后续滤波之间的不同；给出了h 2 6 3 + 编码模型下的图像后处理技术，并对 h 2 6 3 + 的去块效应滤波方法进行了讨论和仿真实现。 其次，介绍和验证了几种基于图像增强的后处理算法，并对在d c t 域对压缩图像 去除块效应的方法进行了改进。该方法充分利用了人眼视觉系统特性，建立了块效应模 型并给出一个有效检测边缘的方法，对于平滑块，对影响块效应的系数进行修正并用线 性函数块代替阶跃函数块去消除块效应，最后对处理后的平滑块和纹理块在d c t 域中 进行后滤波。该方法在不同的量化步长下，对各种图像，都能得到较好的去除块效应的 效果。 最后，介绍验证了一种基于p o c s 理论的后处理算法。该算法通过检测块效应引起 的高频分量，在d c t 域介绍了一种新的平滑约束集( s c s ) 及其算子，另外利用相邻块 d c t 系数之间的相关性改进了量化约束集( q c s ) 。 本论文通过大量的仿真实验，分析比较了各种去块效应技术和本文改进方法的性 能，在视频编码后处理技术上进行了有意义的尝试。 关键词：图像增强；块效应；后处理；人眼视觉系统；图像恢复 大连理工大学硕士学位论文 s t u d yo fv i d e oe n c o d ep o s t - p r o c e s s i n gt e c h n i q u e sb a s e do nd c t a b s t r a c t a l o n g 谢n lt h ef a s td e v e l o p m e n to fm o d e mc o m m u n i c a t i o na n dc o m p u t e rt e c h n i q u e s t h er e q u i r e m e n t sf o ri m a g ei n f o r m a t i o na r ei n c r e a s i n gq u i c k l y b e c a u s eo fh u g ei m a g e i n f o r m a t i o n ，i tm u s tb ec o m p r e s s e db e f o r eb e i n gt r a n s m i t t e di nr e a l t i m ec o m m u n i c a t i o n t h r o u g ht h eb a n d - l i m i t e dc h a n n e l 1 1 1 eb d c ti s af u n d a m e n t a lc o m p o n e n to fm a n y i n t e r n a t i o n a li m a g ea n dv i d e oc o m p r e s s i o ns t a n d a r d s h o w e v e r ，t h ec o m p r e s s i o nm e t h o d b a s e do nb d c to f t e nc a n s eb l o c k i n ga r t i f a c t sd u et ol o wb i tr a t e s t h et w om a i nc a u s e st h a t i m a g e sa r ed i s t o r t e da r et r a n s m i s s i o ne t l o ra n dq u a n t i z a t i o ne i r o r s e v e r a lp o s t - p r o c e s s i n g t e c h n i q u e sa r ed i s c u s s e dt oi m p r o v et h eq u a l i t yo f d e c o d e di m a g ei nt h i sp a p e r f i r s t l y ，t h er e a s o nc a u s i n gb l o c k i n ga r t i f a c t si nb d c tc o m p r e s s e di m a g ei sa n a l y z e d ， a n dt h ed i f f e r e n c eb e t w e e nl o o p - f i l t e r i n ga n dp o s t - f i l t e r i n gi sc o m p a r e d ；t h ep o s t - p r o c e s s i n g t e c h n i q u e so fh 2 6 3 + a r ep r e s e n t e d t h e nt h ed e b l o c k i n gf i l t e ro fh 2 6 3 + i ss t u d i e da n d s i m u l a t e d s e c o n d l y ，s e v e r a ld e b l o c k i n ga l g o r i t h m sb a s e do ni m a g ee n h a n c e m e n ta r er e a l i z e da n d a ni m p r o v e dm e t h o di nd c td o m a i ni sp r o p o s e d 而ec h a r a c t e r i s t i co fh u m a nv i s u a ls y s t e m ( h v s ) i ss u f f i c i e n t l yu t i l i z e di nt h ea l g o r i t h m n l em o d e lo f b l o c k i n ga r t i f a c t si sb u i l ta n da n e f f e c t i v ee d g ed e t e c t i o nm e t h o di si n t r o d u c e d f o rs m o o t hr e g i o n , t h ep a r a m e t e rt h a ta f f e c t s b l o c k i n ga r t i f a c t si sm o d i f i e da n dt h es t e p f u n c t i o nb l o c ki sr e p l a c e dw i t hl i n e a r - f u n c t i o n b l o c k i nt h ee n d ，t h ed c td o m m np o s t - f i l t e r i n gm e t h o di s 印p l i e dt ot h eu p d a t e db l o c ka n d t e x t u r er e g i o n n l ep r o p o s e dm e t h o ds h o w sg o o dp e r f o r m a n c ei nr e d u c i n gb l o c k i n ga r t i f a c t s a td i f f e r e n tq u a n t i z a t i o ns t e p sf o rv a r i o u sk i n d so f i m a g e s f i n a l l y ，ap o s t - p r o c e s s i n gt e c h n i q u eb a s e do np o c si si n t r o d u c e da n dv a l i d a t e d b y d e t e c t i n gt h eu n d e s i r e dh i g h - f r e q u e n c yc o m p o n e n t s ，m a i n l yc a u s e db yb l o c k i n ga r t i f a c t s ，a n e w s c sa n di t so p e r a t o ri si n t r o d u c e d ；i na d d i t i o n , ai m p r o v e dq c si sp r e s e n t e du s i n gt h e c o r r e l a t i o no f d c tc o e f f i c i e n t sb e t w e e na d j a c e n tb l o c k s i nt h i sp a p e r , v a r i o u st y p e so fp o s t - p r o c e s s i n gt e c h n i q u e si n c l u d i n gt h ei m p r o v e d a l g o r i t h ma r ed i s c u s s e da n dc o m p a r e dt h r o u g hl o t so fe x p e r i m e n t s a n dm e a n i n g f u lr e s e a r c h a n dt r i a lo np o s t p r o c e s s i n gt e c h n i q u eo f v i d e oc o d i n gh a sb e e nc a r r i e do u t k e yw o r d s ：i m a g ee n h a n c e m e n t ；b l o c k i n ga r t i f a c t s ；p o s t - p r o c e s s i n g ；h v s ；i m a g e r e s t o r a t i o n 独创性说明 作者郑重声明：本硕士学位论文是我个人在导师指导下进行的研究工 作及取得研究成果。尽我所知，除了文中特别加以标注和致谢的地方外， 论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得大连理 工大学或者其他单位的学位或证书所使用过的材料。与我一同工作的同志 对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。 作者签名： 2 0 d i z 幻 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“大连理工大学硕士、博士学位论文版权使用 规定”，同意大连理工大学保留并向国家有关部门或机构送交学位论文的复印件和电子 版，允许论文被查阅和借阅。本人授权大连理工大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，也可采用影印、缩印或扫描等复制手段保存和汇编学位论 文。 作者签名：叠l 查煎 导师签名 主望生年兰月翌日 大连理工大学硕士学位论文 引言 图像信息作为最直观、最生动和最常见的信息形式，已经极大地影响了人们的工作 与生活。据专家统计，当今人们有7 0 的信息来源于人类视觉获得的图像信息。特别是 在人类社会进入信息化时代的今天，计算机和数字通信网络的目益普及，图像的通信传 输成为信息传输的重要手段。目前图像通信的应用有电视广播、可视电话、会议电视、 远程教育、远程医疗、w e b 视频等等。 图像信息的数据量巨大，在带宽受限的信道中要实时传输图像信息，必需对图像信 息进行压缩。目前国际图像视频压缩标准中采用的压缩技术主要有两大类：一是基于离 散余弦变换( d c t ) 的压缩技术；另外一种是基于小波变换( w t ) 的压缩技术。由于d c t 具有能够获得高压缩率，计算复杂度低，易于硬件实现等优点而被大多数国际图像、视 频压缩标准所采用。例如j p e g 、h 2 6 1 1 2 3 、h 2 6 3 1 3 1 、h 2 6 4 1 4 1 、m p e g 1 1 5 1 、m p e g 2 1 6 1 、 m p e g 一4 1 7 1 都是基于d c t 的图像视频压缩标准。d c t 由于在编码过程中对整幅图像先进 行分块处理，然后对图像块进行离散余弦变换和量化，忽略了空间褶邻块之间的联系， 所以在粗糙量化时，相邻取样落在不同的量化区间时就会产生方块效应。方块效应在比 特率越低时越明显。由于方块效应的存在，严重影响了接收端恢复图像的主观质量，也 限制了压缩率的进一步提高。 因此，对块效应进行消除是非常必要的一个研究课题，怎么提高去块效应后图像主 观质量和客观质量，并同时保持图像的边缘信息，是消除块效应亟待解决的问题，也是 本文研究和探讨的中心所在。 基于d c t 的视频编码后处理技术的研究 1 绪论 1 1 后处理技术发展现状 1 1 1 数字图像通信系统模型与图像失真 图像通信系统 8 1 所传输的主要是人们的视觉系统能够感知的图像信息，包括自然景 物、文字符号、动画图形等等。图1 1 是数字图像通信系统框图。 j j ； i 前处理 ： 信信 源道调 编编 制 码码 信信 后 解遵潭 o 处 调解解 理 码码 ：一j 图1 1 数字图像通信系统框图 f 毽1 1s y s t a mb l o c kd i a g r a mo f ad i g i t a li m a g ec o m m u n i c a t i o n 上图中左端为发送端，右边为接收端。在发送端，输入的是数字图像信号或模拟图 像数字化以后的信号。信源编码的功能是尽可能去除图像信息中的冗余信息，压缩图像 信号的频带或降低码率，以达至有效地传输或存储的目的。经过压缩后的图像信号抗干 扰性能较差。为了增强其抗干扰的能力，要通过信道编码，如适当增加一些保护码( 纠 错码) 等方法。经过信道编码以后的图像信号为了能适宜在特定的信道中传输，需要经 过调制。接收端的解调、信道解码、信源解码是发送端相应部分的逆过程。 在基于d c t 压缩的图像通信系统中，引起接收端图像失真的原因主要有两个唧；一 是量化误差，另一是传输误差。对数字图像进行信源编码时，众多国际图像压缩标准采 用了基于块离散余弦变换( b d c t ) 的压缩技术作为核心的压缩算法。因为b d c t 是以 8 8 块为单元进行单独量化和编码，没有考虑像素在相邻块中的相关性，所以在低比特 率编码时由于粗糙量化使得相邻块的d c t 系数取样落在不同的量化区间时就会在块边 界上产生方块效应，且比特率越低时，方块效应越严重。这种由量化引起的图像失真叫量 化失真。 大连理工大学硕士学位论文 基于b d c t 压缩算法的国际图像压缩标准中都是以宏块为单位进行编码传输的，在 有噪信道中传输时，单个比特误码可能导致单个或连续多个宏块丢失的现象。传输中的 误码分为随机误码和突发误码两大类。随机误码是物理信道、环境干扰等多种因素引起 的。随机误码会导致比特插入、丢失和改变。突发误码是网络上由于拥塞、相关物理设 备突发短时故障或者系统短时不正常引起一串比特或包丢失而造成的。这种在传输中因 误码而导致接收端图像产生的失真叫传输失真。 人们采用多种技术提高接收端的图像质量，其中典型的是前处理( 在编码端进行处 理) 和后处理两种( 在解码端进行处理) 。后处理技术是直接在解码端利用已经收到的图 像信息来对丢失的图像信息进行恢复，因此后处理技术是在不改变原有的压缩算法基础 上在解码端对失真图像进行恢复，它们与现有的国际图像压缩标准完全兼容，成为了国 内外众多学者的研究热点。 1 1 2 后处理技术 后处理( p o s t p r o c e s s i n g ) 是指在接收端对解码后的失真图像进行处理，其本质属于 图像恢复问题。其主要任务是对失真图像进行处理，使得恢复图像能够让人眼视觉所接 受。所有的后处理技术都是通过已经正确接收到的图像信息或图像的先验知识，尤其是 时间和空间上平滑的性质来恢复丢失信息。后处理主要是消除解码端图像的块效应。块 效应后处理技术可以分为图像增强和图像恢复两种。 在图像增强方面主要有空间域滤波和变换域滤波。最早r e e v e s 等【l o 埂出用空域上 滤波器对块边界的像素进行滤波，这种简单的空间移不变滤波器没有考虑图像的局部特 征会使滤波后的图像过度模糊。为了减少因滤波而带来的模糊，文献【1 1 】，【1 2 提出把 图像分成平缓区、纹理区和边缘区。因为人类视觉对低频区域的方块效应比高频区域的 方块效应更加敏感，所以边缘和纹理区域通常不进行滤波处理。在d c t 域中处理块效 应也是近年来的研究热点【1 3 1 8 1 。z e n g 1 3 1 提出一种在d c t 域减少块效应的方法。他对一 些图像块的d c t 系数应用零掩盖( z e r o m a s k i n g ) 技术去除方块效应，这种方法简单，但 是会导致高频信息丢失严重，且会产生新的方块效应。l i u 1 4 】提出一种在d c t 域去除块 效应的算法，该算法利用h v s 特性对块效应进行盲测量，把图像块边界分成3 类，对 每类边界分别应用不同的方法去除块效应。这种算法恢复的图像主观质量不太理想，且 算法的复杂度偏高。l u o ”】应用相邻块之间d c t 系数的相关性提出一种在平滑区采用二 维d c t 系数加权滤波，边缘区用空间滤波器的快速去块效应算法取得了很好的主观质 量效果。但该算法没有对是否存在块效应进行判断，且在判断是否为平滑区域时采用的 是经验值。 基于d c t 的视频编码后处理技术的研究 属于图像恢复类去方块效应最有影响力的是基于凸集投影 1 9 2 2 ( p o c s ) 理论，算法 利用凸集投影理论，把原始图像的每一种先验知识都定义成闭凸集，把解码图像往这些 闭凸集的交集上投影，通过反复迭代使得恢复图像尽可能的接近原始图像。p a e k 2 1 l 定义 了一个d c t 域的平滑约束闭凸集和量化约束闭凸集，然后采用p o c s 去块效应方法获 得了良好的主观图像质量和高峰值信噪比。该算法的不足之处在于需要经过多次迭代才 能收敛，所以其计算复杂度太高，不太适合实时图像处理。 基于马尔可夫随机场的最大后验估计去除块效应的代表文献有【2 3 】和 2 4 】。 s t e v e n s o n 2 3 1 基于统计学原理提出应用最大后验概率去块效应算法。他们把图像建模成马 尔可夫随机场，然后应用最大后验概率的方法对图像进行恢复以去除方块效应，但该算 法不能很好地保护图像的边缘信息。 1 2 后处理技术中的难点及本文的研究内容 要消除图像通信中产生的图像失真从数学角度来看是一个反问题。对于后处理技术 而言，由于只能用已经获得的图像信息或先验知识来恢复丢失的信息，所以几乎不可能 做到对丢失信息的完全恢复。从应用的角度来看，我们的任务是使得恢复后的图像能够 尽可能满足人类视觉对图像质量的要求。 对于块效应消除而言，本质上是一个滤波的过程。然而，滤波过程必然会导致原始 图像的一些边缘或细节信息变模糊。因而，块效应消除的难点就是在去除块效应的同时 要尽可能保护图像的边缘信息。其次，对于实时性要求很高的通信场合，还要考虑算法 的复杂度。 针对图像通信中的块效应后处理技术的难点，本文的研究方向与内容如下： ( 1 ) 研究国际视频编码标准中的环路滤波后处理算法。虽然采用环路滤波和后续滤 波都可以一定程度上使图像平滑和消除块效应，但是两者有着不同的意义，并且方法和 效果略有不同。 ( 2 ) 基于人类视觉特性的块效应消除算法研究。根据人类视觉系统对块效应存在掩 盖的特性，通过对图像块进行分类。然后从像素域和变换域出发寻找简单、有效的去块 效应方法。使得既能去除块效应，叉能保护图像原有的边缘信息。 ( 3 ) 研究凸集投影在图像恢复中的应用。寻找一种有效的凸集投影差错掩盖算法， 使得既能获得良好的恢复图像又要保证算法具有较低的复杂度，以满足视频序列的实 时处理。 大连理工大学硕士学位论文 1 3 本章小结与章节安排 本论文的主要研究目标是研究基于d c t 压缩图像通信中的块效应消除后处理技术， 以提高图像通信终端的图像质量。本章介绍了后处理技术的研究背景，发展现状以及研 究难点，并且阐明了本文的研究方向和内容。 本文共六大部分，具体的内容安排如下： 第一部分：绪论。对本文研究的课题进行了一个总结性的介绍，包括问题提出的背 景和解决问题的必要性。 第二部分：视频压缩编码国际标准。现有国际视频压缩编码标准分析，主要是目前 国际上两大组织制定的国际标准h 2 6 x 和m p e g 系列。 第三部分：环路滤波后处理算法的研究。给出了h 2 6 3 + 编码模型下的图像后处理技 术，并对h 2 6 3 + 的去方块效应滤波方法进行了讨论和仿真实现；并比较了环路滤波器和 后续滤波器的差别。 第四部分：基于图像增强的去块效应算法的研究。主要验证了几种基于图像增强的 去块效应的算法，并在此基础上改进了一种在d c t 域自适应消除块效应的方法。该方 法充分利用了人类视觉的掩盖特性和活动特性，建立了块效应模型并给出一个有效检测 边缘的方法，对于平滑块，对影响块效应的系数进行修正并用线性函数块代替阶跃函数 块去消除块效应，最后对处理后的平滑块和纹理块在d c t 域中进行后滤波。实验结果 表明该方法能够有效地减少块效应，同时又能有效保护图像的边缘信息。 第五部分：探讨基于图像恢复的去块效应算法。在本部分中首先介绍凸集投影的相 关原理，并对基于向凸集投影0 , o c s ) 理论的图像恢复方法进行了研究。在此基础上重 点研究了一种计算量较小的去块效应算法，并对该算法进行了模拟仿真，给出了实验结 果及其分析。 第六部分：总结和展望。 基于d c t 的视频编码后处理技术的研究 2 视频压缩编码国际标准 2 1 引言 近年来，计算机和通信技术的长足进步带动了为存储和传输诸如图像和视频序列等 可视信息的数字技术的发展。这种以几何级数增长的可视数据要进行存储和传输，就带 来了对数据压缩技术的巨大需求。但是因为网络和用户的不同，对视频质量要求也不尽 相同，所以需要根据实际情况采用恰当的编码控制。目前几种通用的国际压缩标准，例 如h 2 6 x 系列和m p e g 系列就是在这个背景下产生的。下面简要介绍这几种不同的压 缩编码标准。 2 2h 2 6 x 标准 2 2 1h 2 6 1 标准 h 2 6 1 是国际电信联盟( i t u - t ) 针对在综合业务数字网( i s d ni n t e g r a t e ds e r v i c e s d i 百t a ln e t w o r k ) 上展开双向声像业务( 可视电话、视频会议等) 而制定的。它的速率为 6 4 k b p s 的整数倍，其倍数取值为1 3 0 。 h 2 6 1 只能处理c i f 和q c i f 两种图像格式。每帧图像又被细分为图像层、宏块组 层、宏块层和块层进行处理。同时其又采用两种编码模式：帧内编码模式和帧间编码模 式。在帧内编码模式下，把图像分为8 8 大小的数据块进行d c t 变换，然后对变换系 数进行z i g z a g 扫描重排，量化，最终对量化后的d c 系数进行预测编码- i - a c 系数游 程编码+ a c 系数霍夫曼( h u f f m a n ) 实现压缩编码；帧间模式则采用1 6 1 6 的宏块和整象 素精度进行运动估计，然后将运动估计后的残差图像进行d c t 变换编码，最后采用与 帧内编码相同的方式编码输出。 h 2 6 1 是最早的视频压缩标准，它详细制定了编码的各个部分，包括运动补偿的帧 间预测、d c t 变换、熵编码，以及与固定信道相匹配的码率控制算法部分。 2 2 2h 2 6 3 标准 h 2 6 3 是i t u t 为低于“k b p s 的窄带通信而制定的视频压缩编码标准，它来源于 h 2 6 1 的改进。两者都采用了混合压缩编码算法，经过v l c 变长编码形成传输码流。为 了适应低速率的传输要求，其改进了输入的图像格式、块组结构、运动矢量数据、运动 估计的方式、d c t 系数编码、误码的检测和纠正措施和增加了四种可选的模式。图像格 式由h 2 6 1 的两种增加到五种：s u b 、。 采用半qcifq c i f c i f4 c i f1 6 c i fh2 6 3 像素精度运动估计，取值范围是( 1 6 o + 1 5 5 ) 。运动矢量采用差分的方式编码输出。d c t 大连理工大学硕士学位论文 系数的编码方式由h 2 6 1 的二维变长编码改为三维变长编码v l c ( l a s t ，r u n ， l e v e l ) ，其中l a s t 表示是否是最后一个非0 系数，r u n 表示连0 个数，l e v e l 表 示非0 系数值。h 2 6 1 建议中采用b c h 码作为误差纠错码，而后者却没有误差检测机制， 它对误码的处理是通过外部方式来实现的。h 2 6 3 提供的四个可选模式包括非限制运动 矢量模式、高级预测模式、p b 帧模式、基于语法的算术编码模式。p b 帧模式规定一个 p b 帧包含作为一个单元进行编码的两帧图像。p b 帧模式可以在码率增加不多的情况下 大幅度的提高输入帧率。 经过改进后得到的h 2 6 3 标准相比h 2 6 1 来说性能得到大幅度的提高，不但压缩效 率提高了约5 0 以外，而且恢复的图像质量更好。 2 2 3h 2 6 3 + 年dh 2 6 3 + + 标准 i t u - t 在h 2 6 3 发布之后又修订发布了h 2 6 3 的标准版本2 ，这就是h 2 6 3 + 标准。 它在保证原h 2 6 3 核心句法和语义不变的基础之上，又增加了一些选项来提高压缩效率 和改善某方面的功能。h 2 6 3 + 在原有的输入图像源格式种类的基础之上又增加了自定义 图像尺寸，从而大大地拓宽了标准的使用范围。 为了提高压缩效率，h 2 6 3 采用了先进的帧内预测模式；增强的p b 帧模式来改进 h 2 6 3 的不足，提高了帧间预测的效果；去块效应滤波器不但提高了压缩效率，而且重 建图像的主观质量也得到了提高。为适应网络传输，h 2 6 3 + 增加了时间分级、信噪比和 空间分级，对在噪声信道和存在大量包丢失的网络中传送视频信号很有意义：另外，片 结构模式、参考帧选择模式增强了视频传输的抗误码能力。 为了增强码流在恶劣信道上的抗误码性能和提高编码效率，i t u t 又在2 0 0 0 年推 出了h 2 6 3 + + 版本。主要新增了三种可选模式：增强参考帧选择模式，它能够提供增强 的编码效率和信道错误再生能力( 特别是在包丢失的情形下) ，需要设计多缓冲区用于存 储多参考帧图像；数据分片模式，它能够提供增强型的抗误码能力( 特别是在传输过程 中本地数据被破坏的情况下) ，通过分离视频码流中d c t 的系数头和运动矢量数据，采 用可逆编码方式保护运动矢量；扩展的追加增强信息模式，在h 2 6 3 + 的码流中增加补充 信息，保证增强型的反向兼容性，附加信息包括：指示采用的定点i d c t 、图像信息和 信息类型、任意的二进制数据、文本、重复的图像头、交替的场指示、稀疏的参考帧识 别。 基于d c r 的视频编码后处理技术的研究 2 3m p e g 系列标准 2 3 1m p e g 一1 标准 m p e g 的任务是开发运动图像及其声音的数字编码标准。m p e g 1 标准于1 9 9 3 年8 月公布，用于1 , 5 m b p s 数据传输率的数字存储媒体运动图像及其伴音的编码。其主要应 用于c d r o m 、数字录音带、计算机硬盘等。传输信道可以是i s d n 和l a n 等。 m p e g - 1 标准完成的基本任务就是质量适当的图像( 包括伴音) 数据必须成为计算机 数据的种，和已有的数据( 如文字、绘图等数据) 在计算机内兼容，并且这些数据必须 在现有的计算机网络和广播电视等通信网络中兼容传输。m p e g 1 标准有3 个组成部分： m p e g 视频、m p e g 音频、m p e g 系统。所以m p e g 需要解决的问题是视频压缩、音 频压缩及多种压缩数据流的复合和同步问题。m p e g 1 标准压缩首先对色差信号进行亚 采样，减少数据量，采用运动补偿技术，减少帧间冗余度，利用二维d c t 变换去除空 间相关性，对d c t 分量进行量化，舍去不重要的信息，将量化后d c t 分量按照频率重 新排序和进行变字长编码，最后对每个数据块的直流分量( d c ) 进行预测差分编码。 2 3 2m p f g - 2 标准 m p e g 组织于1 9 9 4 年推出m p e g 2 压缩标准，以实现视音频服务与应用互操作的 可能性。聍e g 一2 标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系 统层的详细规定，编码码率从每秒3 m b p s - 1 0 0 m b p s ，特别适用于广播级数字电视的编码 和传送，被认定为s d t v 和h d t v 的编码标准。 m p e g - 2 标准分为八个部分，统称为i s o i e c l 3 1 8 国际标准。第一部分；系统，描 述多个视频，音频和数据基本码流合成传输码漉和节目码流的方式：第二部分：视频， 描述视频编码方法；第三部分：音频，描述与m p e g 1 音频标准反向兼容的音频编码方 法；第四部分；符合测试，描述测试一个编码码流是否符合m p e g 2 标准的第一、二、 三部分的软件实现方法；第五部分：数字存储器体命令与控制，描述交互式多媒体网络 中服务器与用户间的会话信令集：第六部分；非向后兼容的音频，规定不与m p e g 1 音 频反向兼容的多通道音频编码；第七部分：1 0 比特视频，现已停止；第八部分：实时接 口，规定了传送码流的实时接口 m p e g 一2 采用了m p e g - 1 的基本框架，同时做了一些改进。扩大了输入输出图像色 差格式，输入输出图像的格式范围更加广泛。采用码流结构的可分级性使得编码数据可 以分道传输，例如可以让更加重要的信息通过高质量的信道传输，因而编码数据有很强 的传送误差复原能力，输出码率可以是恒定的也可以是变化的，以适应同步和异步传输。 大连理工大学硕士学位论文 2 3 3m p e g - 4 标准 m p e g - 4 于1 9 9 8 年1 1 月公布，其主要针对数字电视、交互式绘图应用、交互式多媒 体存储等整合和压缩技术而制定的国际标准。其在一个框架内集合了众多的多媒体应 用，目标就是为多媒体通信及应用环境提供标准的算法和工具，建立一种可用于多媒体 传输、存储和检索等应用领域的统一数据格式。 m p e g - 4 主要有如下几个主要的特点： ( 1 ) 基于内容的交互性；提供了诸如索引、超级连接、上下载、删除等基于内容的 多媒体数据访问工具。用户可以利用这些工具有选择性地从多媒体数据库中提取自己所 需要的与对象有关的内容；提供了内容的操作和位流编辑功能；提供了高效的自然或合 成的多媒体数据编码方法，可以把自然场景或对象组合起来成为合成的多媒体数据。 ( 2 ) 访问的通用性：m p e g 4 提供了易出错环境的鲁棒性，保证其在许多无线和有 线网络以及存储介质中的应用。还支持基于内容的可分级性，即把内容、质量、复杂性 分成许多小块来满足不同用户的不同需求。支持具有不同带宽，不同存储容量的传输信 道和接收端。 ( 3 ) 高效的压缩性：由于采用了基于对象的新编码方法，使得m p e g - 4 具有更好的 编码压缩效果。同已有的其它压缩标准相比，在相同的比特率下，它具有更高的视觉听 觉质量，这就使得在低带宽的信道上传送视频、音频成为可能。同时m p e g - 4 还能对同 时发生的数据流进行编码。一个场景的多视角或多声道数据流可以高效、同步地合成为 最终数据流。 2 3 4m p e g - 7 和m p e g - 2 1 标准 m p e g 一7 于1 9 9 8 年1 0 月提出，于2 0 0 1 年最终完成。准确的说，m p e g 一7 并不 是一种压缩编码方法，而是一个多媒体内容描述接口。继m p e g - - 4 之后，要解决的矛 盾就是对日渐庞大的图像、声音信息的管理和迅速搜索。m p e g 7 就是针对这个矛盾的 解决方案。m p e g - - 7 力求能够快速且有效地搜索出用户所需的不同类型的多媒体影像 资料，比如在影像资料中搜索有长城的片段。 m p e g 2 1 由m p e g 7 发展而来，其被称为“多媒体框架”( m u l t i m e d i a f r a m e w o r k ) 。 它的功能主要是提供一种多媒体信息整合和协调的方案。 2 4 视频编码误差的衡量标准 视频编码误差的衡量标准主要分成两大类：客观衡量标准和主观衡量标准。 基于d c t 的视频编码后处理技术的研究 2 4 1 视频编码误差的客观衡量标准 均方误差( m s e ) 是视频编码客观误差衡量的常用标准，它的定义为： m s e = o 2 = 吉( 所，以，后) 一( 所以后) ) 2 ( 2 1 ) o im , n 其中帆，分别表示两个视频序列，m ，, 表示空间上的坐标，k 表示时间上的坐标， 表示每个序列中的总像素数。代替m s e ，以分贝( d b ) 为单位的峰值信噪比( p e a k s i g n a l t o - n o i s er a t i o ，p s n r ) 更经常用于视频编码中的质量检测。p s n r 定义为： ，2 p s n r = l o l 0 9 1 0 盐等 ( 2 2 ) 盯 其中，y 。是视频信号的最大强度值，对于通常的色彩8 比特视频，缈一- 2 5 5 。由 上可见，对于固定的y 一，p s n r 完全由m s e 决定，实际中p s n r 比m s e 更常用。通 常认为：和编码前的原始序列相比，对于亮度分量，一个高于4 0 d b 的p s n r 一般以为 这一个极好的图像( 即与原始图像很接近) ，3 0 - 4 0 d b 通常意味着一个好的图像( 即失真可 以觉察，但是可以接受) ，2 0 3 0 d b 之间的图像质量是相当差的，而p s n r 低于2 0 的时 候是不可以接受的。 2 4 2 视频编码误差的主观衡量标准 p s n r 能够部分反映视频编码的误差以及重建图像的质量，但p s n r 与图像间的感 觉失真的相关性不是很好，也就是说p s n r 并不能很好的反映图像或者视频的主观质量。 如图2 1 所示，( a ) 是具有块效应的重建图像，其p s n r = 3 2 0 8 ，( b ) 是经过均值滤波 后得到的重建图像，其p s n r = 3 1 1 5 。虽然图像( a ) 的p s n r 比( b ) 的p s n r 大，但对于 大多数人来说，图像( b ) 的质量要比图像( a ) 的质量好。因此，在衡量视频编码误差时， 应充分考虑人眼视觉系统的特性。 ( a ) 具有块效应的重建图像( b ) 均值滤波后得到的重建幽像 图2 1p s n r 与主观质量的关系 f i g 2 1r e l a t i o n s h i po f p s n r a n ds u b j e c t i v eq u a l i t y 1 0 大连理工大学硕士学位论文 2 ，5 本章小结 本章首先介绍了几种主流的压缩编码标准，主要包括h 2 6 x 系列和m p e g 系列。接 着介绍了视频编码误差的客观和主观衡量的标准，其中包括常见的客观衡量标准p s n r ， 同时举例说明了客观质量并不能很好的反映图像的主观质量。 基于d c t 的视频编码后处理技术的研究 3 环路滤波器在块效应消除中的应用 3 1 块效应概述 块离散余弦变换( b d c t ) 是当今国际上大多数图像、视频压缩算法中的核心部分， 如j p e g u l 、h 1 2 6 1 2 、h 2 6 3 1 3 1 、h 2 6 4 1 4 1 、m p e g 1 t 5 1 、m p e g _ 2 1 6 、m p e g - 4 7 】等。对于一 个8 x 8 的二维图像( x ，y 1 的正向二维d c t 定义为： f ( “，v ) = i 1c ( ) c ( v ) 萎7 荟7 厂( x ，) ，) 。s ! ! ! ! ! ；芸! 坚c o s ( j ! ! ：- ；詈! 兰三 ( 3 1 ) r j o 怛o j vi v 二维频谱f ( u ，v 1 的逆二维逆d c t 定义为： 厂( x ，) ，) = 丢主：壹c ( “) c ( v ) fu , v ) c o s ! i ! ! ! ：；l 坚c o s ( 2 y - + i - i 1 _ ) v z 一：(32)u 叶- 0v = o 1 u- u 上两式中的。( ) 或。( 。) ： 夕0 互 u , v = 0 。 【1 甜，v 0 在目前常用的正交变换中，d c t 变换的性能接近最佳，仅次于理论上可以完全去除 相关性的k l 变换。由于d c t 变换以后的d c t 系数主要集中在低频区，越是高频区域 系数值越小，结合人眼的视觉特性，通过设置不同的量化电平，可以将许多值较小的高 频分量量化为0 ，从而获得压缩效果。图3 1 是基于d c t 变换压缩编解码的基本框图。 图像 t a 幽像 输出 4 亘h 三怔- 图3 1d c t 变换压缩编解码框图 f i g 3 1f r a m ed i a g r a mo f c o d i n ga n dd e c o d i n gb a s e d o t ld c t b d c t 是把输入图像划分成的小块( 例如8 x 8 ) 为单元进行单独量化和编码， 没有考虑像素在相邻块中的相关性，所以在低比特率编码时由于粗糙量化使得相邻块的 大连理工大学硕士学位论文 d c t 系数取样落在不同的量化区间。量化以后的d c t 系数传输到解码端时经过反量化 和逆d c t 变换就会在恢复图像的块边界上产生图像块不连续的现象，即方块效应。这 样就降低了图像的视觉质量，也限制了压缩率的进一步提高。图3 2 显示了不同量化步 长下f o r e m a n 视频序列的第l 帧图像。当量化步长为6 时，方块效应很难觉察到，但当 量化步长为1 5 时存在严重的方块效应。因此消除块效应是提高视频编码质量的一个重 要方面。 ( a ) q = 6 ( b ) q 一1 5 图3 2f o r e m a n 视频序列第一帧图像在不同的量化步长下的方块效应 f i g 3 2b l o c k i n ga r t i f a c t si nt h ef i r s tf r a m eo f f o r e m a ns e q u e n c ea td i f f e r e n tq u a n t i z a t i o ns t e p 3 2 环路滤波器和后续滤波器 滤波是最为传统的消除块效应的方法，它可以分为两类【2 5 】：后续滤波和环路滤波。 后续滤波独立于编解码核心部分，它位于解码器的输出端口处，只对图像的显示结果产 生影响；而环路滤波参与编解码过程，重构帧滤波后作为参考帧运用于运动估计中。同 时环路滤波必须被标准化，而且编码器和解码器具有完全一致对应的滤波器；而后续滤 波器则不同，它无须标准化，能在解码器端自行灵活设置。国际视频压缩标准所采用的 基本编码框架和原理是相同的，图3 3 显示了带有环路滤波的编码标准的编码过程，当 然在解码端，对应的环路滤波器处于对应的位置。 与后续滤波相比，环路滤波具有以下优势： ( 1 ) 在编码过程中就进行了消除块效应的处理，以保证解码端接收的编码图像有较 高的质量。 基于d c t 的视频编码后处理技术的研究 ( 2 ) 对于解码器来说，在后续滤波方式中重构帧作为参考帧存储在缓冲区中，通常 需要另外开辟一个缓冲区存放滤波后的显示帧，而采用环路滤波器滤波后的重构帧同时 用作显示帧和参考帧，无需额外的缓存空间，这适合于存储空间有限的设备。 ( 3 ) 环路滤波器将滤波后的图像作为参考帧，能在运动估计中提高更好的预测性能， 有利于图像质量的提高，同时由于预测性能的提高，降低了运算的复杂度。 视频输入 图3 3 带有环路滤波的视频压缩编码框架 f i g 3 3f r a m e w o r ko f v i d e oc o d i n gw i t hl o o p - f i l t e r i n g 输电码流 许多视频压缩编码国际标准就是利用了环路滤波的优势，采用了环路滤波消除块效 应的方法。下面以h 2 6 3 + 为例介绍相应的环路滤波方法。 3 3h 2 6 3 + 去块效应滤波器 h 2 6 3 + 采用的是基于块的离散余弦变换和带运动补偿的预测编码相结合的混合编 码方法1 2 6 1 。在这种编码方法中，块是最基本的编码单元，当压缩比较大( 较大量化步