（信号与信息处理专业论文）基于标量量化分割的视频多描述编码研究.pdf

南京邮电学院 硕士学位论文摘要 学科、专业： 工学信号与信息处理 研究方向： 图像处理与多媒体通信 作 者：三塑生级研究生 蔡曼 指导教师壅建堑 题目：基于标量量化分割的视频多描述编码研究 英文题目：t h er e s e a r c ho fv i d e om u l t i p l ed e s c r i p t i o nc o d i n g b a s e do ns c a l a rq u a n t i z a t i o nd i v i s i o n 主题词：视频编码多描述编码多描述标量量化h 。2 6 3 k e y w o r d s ：v i d e oc o d i n g m u l t i p l ed e s c r i p t i o nc o d i n g ( m d c ) m u l t i p l ed e s c r i p t i o ns c a l a rq u a n t i z a t i o n ( m d s q ) h 2 6 3 南京邮电学院硕士研究生学位论文 基于标量量化分割的视频多描述编码研究 摘要 多描述编码技术是一种比较新的技术，它将单个信源信号编码成两个或两个以上的独 立的比特流。这些比特流能够分别独立解码，收到多个比特流可以得到更好的视频质量。 在i n t e m e t 上传输视频有许多困难，其根本原因在于i n t e m e t 的无连接包转发机制l ： 要是为突发性的数据传输而设计的，多描述编码属于差错复原技术，能提高编码的鲁棒 性，所以可以保证视频流的高效稳定传输。 v a i s h a m p a y a n 提出了基于标量量化的多描述编码算法( m u l t i p l ed e s c r i p t i o ns c a l a r q u a n t i z a t i o n ，m d s q ) ，本文在h 2 6 3 平台上实现了该算法。根据视频编码的实际情况，通 过归纳得到了两张索引匹配表。并由此将d c t 系数分割为两路，实现了在编码端的分割。 在接收端，通过增加反映射模块，实现每一路都能单独解码，两路都收到能联合解码。最后 通过实验证明该方案是可行的，并能取得比较好的图像效果。 关键词：视频编码，多描述编码多描述标量薰化，h 2 6 3 第2 页共7 0 更 南京邮电学院硕士研究生学位论文基于标量量化分割豹视频多描述编码研究 a b s t r a c t m u l t i p l ed e s c r i p t i o nc o d i n g ( m d c ) i san e wt e c h n o l o g y ，w h i c hd i v i d e s t h e s o u r c es i g n a li n t ot w oo rm o r et h a nt w oi n d e p e n d e n tb i t s t r e a m s t h e s e b i t - s t r e a m sc a nb ed e c o d e di n d e p e n d e n t ，a n dt h em o r eb i t - s t r e a m sy o ur e c e i v e d ， t h eb e t t e rv i d e oq u a l i t yy o uc a no b t a i n w h e nt r a n s m i t t i n gv i d e oo ni n t e r n e t ，w ew i l lm e e tm a n yd i f f i c u lt i e sb e c a u s e t h eh o pm e c h a n i s mo fi n t e r n e ti sd e s i g n e df o rh u r s t yd a t a 。m d c5 e l o n g st o e r r o r r e s i l i e n c e i tc a ne n h a n c et h er o b u s to fc o d i n g ，s oe n s u r et h eg o o d t r a n s m i t t i n go fv i d e os t r e a m v a i s h a m p a y a np r o p o s e dt h ea p p r o a c hb a s e do nm u l t i p l ed e s c r i p t i o ns c a l a ： q u a n t iz a t i o n ( m d s q ) i nt h i sp a p e r ，t h ea u t h o ri m p l e m e n t e dt h ea p p r o a c h0 i t h e p l a t f o r mo fh 2 6 3 a c c o r d i n gt ot h es i t u a t i o no fv i d e oc o d i n g ，t h ea u t h o rg e it w o t a b l e so fi n d e xm a t c h i n gb yi n d u c i n g a n db yt h i sw a y ，d c tc o e f f i c i e n t sc a nb e d i v i d e di n t ot w op a t h w a y s ，s ot h ed i v i s i o na tt h ec o d i n g e n dh a db e e nf i n is h e d a t t h ed e c o d i n g - e n d ，t h ea u t h o ra d d e dt h er e v e r s em o d u l e e a c hb i t s t r e a m sc a nb e d e c o d e di n d e p e n d e n t u n i o n d e c o d i n gw h e nb o t hb i t - s t r e a m sw e r ef e t e i v e d | h e r e s u l to ft h ee x p e r i m e n ts h o w st h a tt h es c h e m ei sl e a s i b l e ，a n dc a no b t a i ng o o d s u b j e c t i v ea n do b j e c t i r eq u a l i t yo ft h ev i d e o e e y w o r d s ：v i d e oc o d i n g ，m u l t i p l ed e s c r i p t i o nc o d i n g ( d c ) ，m u l t i p i ed e s c r i p t i o n s c a l a rq u a n t i z a t i o n ( m d s q ) ，h 2 6 3 第3 页共7 0 页 南京邮电学院硕士研究生学位论文基于标t 量化分割的视频多描述编码研究 第一章引言 随着多媒体技术与计算机网络的发展，网上视频点播、可视会议、网上可视电了商 务、网上政务等层出不穷的视频业务如雨后春笋般地发展起来。同时对于视频编码技 术的研究一直在继续，视频编码的目标已由过去的面向存储转为面向网络传输，低速率 编码、容错性编码、多描述编码、可扩展编码等为视频编码的热点课题。 1 1 视频传输面临的主要问题 图像与视频信号在网络中的商质量传输变搏越来越重要。传统编码方法 要采用分 层编码技术来压缩图像，基本层码流中的误码可能导致恢复图像的质量严重恶化1 雨如 果基本层数据帧丢失，接收方则很难重构图像。为此，可采用纠错机制来保证部分数据， 特别是基本层数据的正确传输，但这种方法或不便实现或代价太商：a r q 协议利用重传来 保证数据的无误传输，但由此造成的延时可能是实时传输中难以接受的。 而视频多描述编码则不存在这个问题，多描述编码技术可以利用正确接收到的任何 一个描述重构出有用的原始信号，随着接收到的描述数量的增加，解码出的图像质量也 逐步提高。采用视频多描述编码算法，还可以利用其他描述中末受损害的帧来修复本描 述中受损的帧。这样，即便是两个描述都遭受了分组丢失，只要这两个描述遭受的分组 丢失不是同时发生，它们仍然可以维持有用的视频质量。正是由于多描述编码技术具有 较强的抗差错能力它在视频通信中有着广泛的应用前景，多描述编码的研究对予视频 通信有着重要的意义。 1 2 论文所做的主要工作 本文研究了多描述编码的相关问题。参考了v a i s h a p a y a n 提出的基于标量星化的视频 多描述编码算法m d s q ( m u l t i p l ed e s c r i p t i o ns c a l a rq u a n t i z a t i o n ) 1 1 1 ，提出并实现了 对正常量化后的d c t 系数进行多描述标量量化的算法。最后通过实验来验证了该算法对 视频图像序列的可行性。 第6 页菇7 0 页 南京邮电学院硕士研究生学位论文 基于标量量化分割的视频多描述编码研究 1 3 论文安排 引言中简要介绍了当前视频通信中面临的常见问题，说明了多描述编码的产书背景 及研究多描述编码的必要性。 多描述编码属于差错复原技术的范畴，因此在第二章中首先介绍了视频差错复原技 术，然后重点介绍了多描述编码的模型及它和分级编码的区别。多描述编码的应用很，。 泛，如音频的多描述编码、静止图像的多描述编码、视频的多描述编码等，在不同的廊 用领域提出了很多不同的算法思想。本文主要研究的是视频多描述编码，因此在第苷 中还介绍了常用的视频多描述编码算法思想。多描述编码与多路径技术结合才能体现出 它的优越性，最后简单介绍了多路径传输技术及多描述视频流的传输框架。 第三章中首先详细介绍了h 2 6 3 编解码器原理，因为这是该算法的实现平台。 第四章中实现了多描述标量量化算法在h 2 6 3 中的应用。 第五章通过实验来验证该算法的使用价值和适用的场景。 第六章对全文做了总结，指出今后工作的方向。 第7 页菇7 0 页 南京邮电学院硬士研究生学位论文 基于标量量化分誊j 的视频多描述编码研究 第二章多描述编码介绍 为了解决传统视频编码算法在遭受误码或丢包后引起的严重的视频质量下降问题， 多描述编码( m u r i p l e d e s c r i p t i o n c o d i n g ，m d c ) 在近年来越来越受到研究人员的关注。 多描述编码将单个信源信号编码成两个( 或两个以上) 独立的比特流，这些独立的比耗 流被称为描述，而且这些描述具有同等的重要性。接收端收到其中一个描述可以恢复出 粗糙但可以接受的重建视频图像，收到多个描述可以提高重建视频图像质量。 2 1 多描述编码的历史渊源 2 ： 多描述编码起源于多用户信息论的发展，最早由美国贝尔实验室在2 0 世纪7 0q ：代 的时候应用于电话网的语音传输中。当时为了提供无中断的语音服务，人们使用了备足 链路。但是只有在线路情况恶劣的情况下，这些链路才发挥作用，因此大多数时候，这 些链路是不发挥作用的。显然这种方法占用了资源，提高了费用。于是人们就开始设想 是否有这样一种办法，既不使用备用链路又能提高传输可靠性。当时提出的方法就是将 信号源拆分成两股信号，通过不同的链路传输。正常接受情况下，接收端混合这两股信 号，以达到原有的语音效果。若其中一条链路发生问题，接收端仍能通过另一条链路恢 复出语音信号，只是这时的语音质量要差一些。这可以看作是多描述编码的萌芽。此后 多描述编码引起了人们的关注，有关多描述编码的研究也开展起来。 2 2 什么是多描述编码 3 ： 多描述编码可以理解成这样一个问题：在发端，一个信息源有多种描述形式，这些 描述构成一个集合，接收端从集合的子集中尽可能的精确恢复出信息源。这与多用户信 息论中的多址接入问题十分相似。实际上常把多描述编码抽象成多用户信息论的问题 很多多描述编码的理论结果直接来源于多用户信息论，或是用其中的方法、结论加1 二特 定的条件推导得到。多描述编码的模型见图2 1 ： 第8 页菸7 0 页 南京邮电学院硕士研究生学位论文 基于标t 量化分刹的视频多描述躺码研究 图2 1 多描述编码模型 信源通过多描述编码器锝到s ，、s ，s ，多个描述，各描述通过独立的信道传送到解 码端，解码器最少接收0 个描述，晟多接收n 个描述，总共有2 “种接收情况。显然接收 到的描述数目不同，解码器能恢复的信源程度也不同，当所有描述都收到时，能最大限 度地恢复信源，收到的描述少，恢复的效果要差一些。有关收到描述与信源失真之间的 关系一直是多描述编码的难点，在理论上它等价于多用户的信息率失真问题， u 在应用 中不完全由理论指导实践，还要考虑算法复杂度、算法效率等实际问题。 下面以两个描述为例来阐述模型的数学原理。 厂叫解码器1 卜i 燕口瓶 兰竺竺兰! ，广：垂i ： _ 坠+ e ：垂垂量三三卜l ；i 磊i ? 号 1 编码器卜f 苇雷斗r 一! 竺! r 葛椰z 解 一s 2 一 l 一 码后的信号 l _ 叫解码器3 卜+ 图2 2 两描述编码的框图 足、r 2 表示信道1 、2 的速率，d 1 、d o 、d ：分别表示解码器1 、2 、3 带来的失真。 第9 页菇7 0 页 南京部电学院硕士研究生学位论文 基于标量量化分割的视频多描述编码研究 若信源是无记忆的高斯信源，其均方差为盯2 ，那么( r ，r ：，d o ，d ，d ：) 满 足如下条件： d r 盯2 2 - 2 r , ，i = l ，2 d o 盯2 2 。8 “：+ ，d ( 尺。，r 2 ，q ，d 2 ) 如果d l + d 2 盯2 + d o ，贝，d = l ，否贝1 1 2 i 1 而i d 而荔df 面i i 2 丽覃。一( ( 1 一1 ) ( 1 2 ) 一d i d 2 一“”。+ 也) 2 这只是最简单的高斯无记忆信源时的情况实际的信源情况比这要复杂得多。 2 3 多描述编码较其他编码方式的优越性： 多描述编码属于差错复原技术的范畴。多描述编码有两个丰要属性：( 1 ) 可以独寸： 地对每个描述进行解码并重构出可用的原始信号：( 2 ) 多个描述之间存在互补信息，随 着正确地接收到的描述数量的增加，解码出的图像质量也逐步提高。 值得注意的是，第一个属性不同于常规的可分级( 或可分层) 编码，常规的方法编 码出的基本层是至关重要的，如果失去基本层，剩下的其他层的比特流将毫无用处。然 而，多描述编码技术可以利用正确接收到的任何一个描述重构出有用的原始信号，随着 接收到的描述数量的增加，解码出的图像质量也逐步提高。采用多描述视频编码算法， 还可以利用其他描述中未受损害的帧来修复本描述中受损的帧。这样，即便是两个描述 都遭受了分组丢失，只要这两个描述遭受的分组丢失不是同时发生，它们仍然可以维始 有用的视频质量。多描述编码优越性还包括：多描述编码系统可以获得较高的压缩效牢 同常规的单描述压缩原理相比，它压缩所得的总比特率只比后者略高。 采用多描述编码技术，在任意时间点上只要接收到至少一个描述，就可以有效地再 生出原始图像。因此，可以把多描述视频编码技术和多路径技术结合起来，不同的网络 路径传送不同的描述。由于不同路径的分组丢失现象是不相关的，因此，多路径传输系 统和多描述编码技术相结合，可大大提商多描述编码差错复原的效率。 第1 0 页韭7 0 贞 南京邮电学院硕士研究生学位论文基于标量量化分割的税额多描述编码研究 2 4 常用的多描述编码方法 到目前为止，已提出了不少多描述编码算法。在实际应用中主要是从编码效率、编 码质量、编码复杂度、丢包复原能力、主观效果等方面考察算法的优劣。 2 4 1 基于量化的多描述编码 多描述量化的基本思想是对一个信源使用多个不同的量化过程，产牛不同的量化结 果。下面以两个描述的标量量l 乞( m u l f i p l ed e s c r i p t i o ns c a l a r q u a n t i z a t i o n ，m d s q ) 为例，阐 述m d s q 基本原理和方法。 图23 两描述轫；曩熏化 在图2 3 中，x 是信源产生的抽样，经过编码器得到索引，口) 是个匹配器，将索引t 配为索引对( j ，j ) 。珈，9 1 是边解码器，分别收到i 和j ，解码产生x l 和x ：。曲是啤 央解码器，收到( f ，j ) 后解码产生a 纵观整个m d s q 方案，其中最难实现的地方是如何由索引f 匹配索引对( f ，) 。阿且 从，到( f ) 必须是可逆的，这样才能保证在解码端能准确恢复出信源抽样。 v a i s h a m p a y a n 研究了此类问题，通过严格的数学分析，最终得到了比较简单直观的方汪 ( 适用于对称信道) 【l 】。 多描述矢量量化是多描述标量量化的扩展。目前比较常用的是多描述格型矢量量化 第1 1 页共7 0 页 南京邮电学院硕士研究生学位论文 基于标量量化分割的视频多描述编码研究 ( m u l t i p l ed e s c r i p t i o nl a t t i c ev e c t o rq u a n f i z a d o n ，m d l v q ) 【4 。 2 4 2 基于变换的多描述编码 在压缩编码申，变换的作用是去相关。但在基于变换的多描述编鹤 5 】中，债源被编 码成多个描述，若要从其他描述中恢复出丢失的描述就需要这些描述之间有一定的相关 性因此这里的变换是为了使各个描述之间具有相关性。 谢焉( 2 0 ) _ ) - 1 瑚j l x 2 y tx 在上式中，0 是正实数，x 。、x ：是相互独立的高斯随机变量，方差分别为o i 2 、d ；。 j 。、x ：k - 经过变换之后得到了变量y 。、y 。断y y ： _ - 0 2 口? + ( 2 p ) 。0 - ；，只要 护4 ( 4 盯) 。o r ；。则变量只、y z 相关，将变量y ，、y 2 称为x 的两个描述。当只收到其中的 一个描述时，可按下面的公式预测出x 。 如= 赢鼍 y ， x 箍 = 赤 姜2 口? y ： 变换矩阵t 控制着变量的相关程度，也控制着变量之间的冗余度。t 要求是a _ 逆的， 通常t 要通过多次试验才可求得较佳值。 2 4 3 基于运动矢量的多描述编码 基于运动矢量的多描述编码 6 】中运动矢量信息包含在不同的描述之中，丰要的问题 是当某个描述丢失时，如何从已收到的描述中恢复出丢失的运动矢量。常用的是类似f 图的梅花形抽样： 第1 2 贞共7 0 页 南京邮电学院硕士研究生掌位论丈 基于标量量化分割的视频多描述编码研究 o o ；。 1 o o - o：o 。 l 。，口i o 图2 1 4 梅花形抽样 将空心圆和实心圆所代表的运动矢量放在两个描述中。当只收到一个描述时，如下圈序 示： 图2 5 实际抽样 实心圆所在的宏块的运动矢量丢失，如何恢复出运动矢量? 根据最近原则每个宏 块分割成若干部分，每个部分的运动矢量由离它最近的空心圆所在的宏块的运动矢量决 定。 当相邻的宏块相关性比较强时这种方法能够取得比较好的效果，似若相邻宏块的 运动矢量相差较多，这种方法会使得预测图像质量下降，并会产生明显的入工雕凿的痕 迹。 为了克服这些不足，提出了改进算法o b m c ( o v e d a p p e db l o c km o t i o nc o m p e n s a t i o n ) 6 ，该算法中使用了具有重叠区域的加权窗口。因此，块中的每个像素都是前一帧图像中 多个像素的加权和，这些像素由本宏块和相邻宏块的运动矢量来决定。两个描述都收到 时使用中央预测器，只收到一个描述时使用边预测器。 第1 3 页共7 0 页 南京龆电学院硕士研究生学位论文 基于标量量化分軎哇的税额拳描述编码研究 2 4 4 基于运动补偿的多描述编码 基于运动补偿的多描述编码算法通常采用高阶预测来增强描述之间的相关性然后 将编码得到的数据打上奇帧或是偶帧的标记，平均分配到不同的描述中。m d p c ( m u h i p l e d e s c r i p t i o np r e d i c t i v ec o d i n g ) 、m d m c ( m u l t i p l ed e s c r i p t i o nm o t i o nc o m p e n s a t i o n ) 都是阜 于运动补偿的多描述编码算法 7 。 2 4 ，5 基于空间亚采样的多描述编码 通过空间贬采样来得到多幅子图像，然后对这多幅予图像进行独立的预测编码，是最 简单直接的多描述视频编码方案。然而，直接亚采样的方案无法有效取出图像相邻像豢 之间的相关性并且亚采样之后的运动补偿效率也大为下降。但这并不意味着态图像空 间领域不存在高效的多描述编码实现方案。基于棋盘分割插值的多描述编码，借助些 成熟的图像修复技术，将输入图像按照棋盘模式分割并插值成两路相同分辨率的近似图 像。并对这两路近似图像进行独立的运动预测、补偿和编码【8 】。 2 5 视频多描述编码面临的普遍问题 无论是采用何种方式的视频多描述编码，面临的普遍问题在于发乍丢包时，编码端 和解码端的参考帧将会不一致。解决该问题的方法通常是在编码端模拟出解码端可能遇 到的各种情况，如下图所示： 第1 4 页菇7 0 页 南京邮电学院硕士研究生学位论文 基于标量量化分割的视频多描述编码研究 图2 6 编码端模拟解码端可能遇到的所有情况 我们在编码端模拟了解码端的情况，x 表示输入的原始数据，只表示当两个描述都 收到时恢复出的数据，置、置表示只收到一个描述时恢复出来的数据。e 。表示两个描述 都收到时当前帧与重建的当前帧的预测误差，i 、只，表示只收到一个描述时当前帧与 重建的当前帧的预测误差，虽然都是当前帧的重建帧，但是e 。与、：之间存在着 差异，用g ( i = l 、2 ) 表示它们之间存在的差异称之为不匹配信息。往往根据实际需要 对g 采用不同的处理方式，通常有两种处理方式：让g ，所包含的全部信息成为描述中的 内容或者只提取出g ，中的某些重要信息成为描述中的内容。 视频多描述编码带来的另一个问题是冗余。从上图可看出，冗余主要来自g 。当两 个描述都收到时，这部分信息是不发挥作用的。控制冗余的方法也很多，比如编码g 中 的重要信息、调整量化步长等。 第1 5 贞共7 0 页 南京邮电学院硕士研究生学位论文 基于标量量化分割的视额多描述编码研究 2 6 多描述视频传输系统 多描述视频编码技术与多路径技术结合可以在丢包网络中提供可靠的视频通信 1 】。 下图给出了一种将多描述视频编码技术与多路径技术结合提供可靠视频传输的系统。 o d g i n a l v i d e o v k j e oe n c o d e r a n dt r a n s m i t t e r p a 廿、# 1 一r 惭1 、厂一 - 唧一刊2 嚣 l 一j p a 廿1 # 3 r e l a y 3 。 p a c e tn e t w o r k a n dr e i “i n f r a s b u c t u r e 一+ | _ 事一 v i d e or e c e i v e r a n dd e c o d e r 图27 多描述视频传输系统 该系统包括两子系统：多描述视频编解码子系统、多路径传输予系统。多描述视频编解 码子系统主要解决差错传播的问题多路径传输子系统主要是将数据包通过不同的路径 传输。其中，多描述编解码子系统具备以下特点只要有一个流正确接收，就可以解码 同时结合其他已被部分破坏的流中正确的信息恢复出破坏的流。多路径传输子系统提高 了正确接收流的概率。设计该系统时要考虑两个主要问题：( 1 ) 编码端应将视频编码成几 个描述，( 2 ) 传输时应采用几条路径。照然，描述越多，解码端解码的可能性就越大，似 是同时还要考虑到编码效率的闯题，在实际应用中通常采用两描述。至于采用几条路径 传输才恰当，这个问题比较复杂。随着传输路径增多，通信中断率不断下降，传输质量 更加稳定，但是同时网络也变得更加复杂。 2 7 小结： 相对其他的差错复原技术而言，多描述编码技术是比较晚才出现的技术。对于多描述 第1 6 页菸7 0 页 = i | - 一 童一 蓼篱一；| | 南京邮电学院硕士研究生学位论文基于标量量化分割豹视频多描述编码研究 编码技术的研究并不充分，但是它所显示出来的优越性，特别是在错误率较高的环境中 ( 例如i n t e m e t ) 表现出来的良好性能，表明它具有很强的研究价值。 第1 7 页菇7 0 页 南京邮电学院硕士研究生学位论立基于标量量他分割的视频多描述煽离研究 第三章算法实现平台一h 2 6 3 编解码器 3 1 视频压缩简介 3 1 1 视频压缩技术介绍 视频编码主要通过减少图像的冗余度来减少图像的数据量，视频图像数据的冗余t 要存在空问冗余和时间冗余。此外还存在着信息熵冗余、视觉冗余、结构冗余、知识：，【= 余、纹理统计冗余等。 经典的编码方法以s h a n n o n 的信息理论为基础，利用图像信号的统计相关 生，消除 兀余度。常用的方法有预测法、变换法、混合编码等。带有运动估计的混合编码方法居 当前实用视频编码的主流方法，在h 2 6 x 和y p e g - x 等系列国际标准无一例外地被采用， 除了上述经典的混合编码方法外还有猷下几种常见的编码方法：矢量最化编码、 小波压缩编码、分形编码和模型基编码。 3 1 2 视频压缩标准介绍 视频压缩缩码标准的制定工作主要是由国际电信联盟( i t u t ) 和国际标准化组织 ( i $ o i e c ) 完成的。 ( 1 ) h 2 5 l 标准 9 1 9 9 3 年，i t u t 公布了第一个视频编码标准h2 6 1 ，这是第个投入广泛实际应用的数 字视频编娼标准，它使数字视频信号能够以p x 6 4 k b p s ( p = l - “3 0 ) 的速率在电信网络 中传输。更为重要的是，它奠定了混合编码框架的雏形，这个框架以运动补偿、图像分 块变换、标量量化和熵编码等技术为丰要特征，至今依然是实现限失真数字视频编码的 最为重要的一种方法。 ( 2 ) i 2 5 3 、i t 2 6 3 + 、h 2 6 3 + + 标准 1 0 1 1 t 2 1 9 9 6 年i t u t 推出了针对甚低比特率的视频压缩标准h 2 6 3 建议。h2 6 3 最初是聿 1 9 9 6 年 t u t 推出了针对甚低比特率的税频压缩标准h 2 6 3 建议。h2 6 3 最初是聿 第1 8 页共7 0 瓦 南京邮电学院硕士研究生学位论文 基于标量量化分割的视频多描述编码研究 对低于6 4 k b i t s 范围的甚低比特率应用设计的，但实验结果表明，在任意速率范围内， h 2 6 3 都取得了良好的压缩效果。 2 6 3 采用了诸如可变尺寸块运动补偿、重叠块运动 补偿、无限制运动矢量和运动矢量预测等一系列新的视频编码技术，为混合编码框架的 进一步发展奠定了基础。1 9 9 8 年i t u t 推出的h 2 6 3 + 是h 2 6 3 视频编码标准的第二：版，它 提供了1 2 个新的可选择模式，进一步提高了压缩编码性能。2 0 0 0 年i i 、u - t 又推出了 h 2 6 3 + + ，对h 2 6 3 又做了一些新的扩展增加了一些新的可选技术，从而更加适应于番 种网络环境，并增强差错恢复能力。 ( 3 ) h 2 6 4 标准 1 3 2 0 0 3 年3 月，i t u t 和m p e g 成立的联合视频组( j v t ) 公布了h 2 6 4 a v c ，也称为 m p e g 一4v i s u a lp a r t1 0 。h 2 6 4 的视频编码层采取的编码框架仍然是传统的混合编码框 架，h 2 6 4 提供了多种新技术来提高编码效率。这些新技术包括：多种新的帧内预测方 法、可变尺寸块的运动补偿技术、多参考帧的运动补偿技术、4 4 整数变换技术、新的 环路滤波技术。 ( 4 ) m p e g 一1 m p e g 一2 1 4 1 5 1 j m p e g 运动图像专家小组的活动始于1 9 8 8 年，1 9 9 0 年提出和建立了m p e g 标准草案。 1 9 9 2 作为i s o i e cl l1 7 2 号建议正式通过成为m p e g l 国际标准。m p e g 一1 视频是面向比 特率大约为1 5 m b i t s 的视频信号的压缩。1 9 9 3 年正式通过了关于m p e g 一2 标准的建议。 这个建议包括四个部分：系统( t s o i e c1 1 1 7 2 - 1 ) 、视频( i s o i e c1 1 1 7 2 2 ) 、音频( i s o 1 日 1 1 1 7 2 3 ) 和一致测试描述( i s o i e c1 1 1 7 2 4 ) 。 ( 2 ) m p e g 一4 标准 1 6 1 9 9 6 年2 月在德国m u n i c h 举行的m p e g 第3 3 次会议上正式定义了第一个m p e g - 4 的 视频验证模型v m ( v e r i f i c a t i o n m o d e l ) 。1 9 9 8 年1 1 月公布的国际标准草案f d i s ( f i n a l d r a f ti n t e r n a t i o n a ls t a n d a r d ) ，后来成为正式标准i s o i e c1 4 4 9 6 的第一版。m p e g 一4 标准第二版是对第一版的扩充，增加了物体伸缩编码，提高了编码效率、鲁棒性和灵涌 性。这个国际标准包含有纹理和视频编码、任意形状的视频对象编码和视频流的纠错编 码等比较成熟的技术。 除了上述国际标准之外，中国也在制定具有自主知识产权的膏视频编码标准。2 0 0 3 年1 1 月底，中国国家信息产业部“数字音视频编解码标准组”正式发布a v s ( a u d i 0v i d e o 第1 9 页麸7 0 页 南京邮电学院硕士研究生学位论文 基于标量量化分割的税额多描述编码研究 c o d i n gs t a n d a r dw o r k i n gg r o u po fc h i n a ) 标准草案。 由于h 2 6 3 标准脱胎于h 2 6 1 标准，所以在介绍h 2 6 3 标准之前有必要简单介绍 下h 2 6 1 标准。 3 2h 2 6 1 简介 1 9 9 3 年，i t u t 公布了第一个视频编码标准h 2 6 1 ，它主要是会议电视和可视电话黪 像压缩技术标准，目标速率是p 6 4 k b p s ( p 1 3 0 ) 。支持c i f 和q c i f 两种标准的 图像格式。h 2 6 1 奠定了混合编码框架的雏形，这个框架以运动补偿、图像分块变换、 标量量化和熵编码等技术为主要特征，至今依然是实现限失真数字视频编码的最为再要 的一种方法。 3 2 1h 2 6 l 建议框架 h2 6 1 建议采用了降低图像时间冗余度的帧间预测编码和降低图像空间兀余度的 d c t 变换编码相结合的混合编码。如图3 1 ，其中主要的部分是d c t 变换、量化私预测。 h 2 6 1 的编码器首先对当前图像进行整像素运动估计。经过帧内帧间判断，若为帧问方 式，则在参考图像中选出最佳匹配宏块，并与当前宏块相减计算运动残差，以减少图像 在时间域上的相关性。经过匹配处理之后的表示预测误差的宏块以8 8 块为单位分别作 d c t 和系数量化，以减少图像在空间域的相关性。若为帧内方式，则直接对原始图像数 据进行d c t 和系数量化。量化后的二维系数按频率上升的方向经过z i g z a g 扫描后变成- 维系数，并送入编码器作变字长的编码。量化后的二维系数同时进行反黉= 化和反d c l l 若为帧间类型则加上参考数据，环路滤波后得到重建图像。运动估计中的参考图像就是 前一帧的重建图像。 第2 0 页共7 0 页 南京邮屯学院硕士研究生学位论文 基于标量量化分割的视频多描述编码研究 匿3 ，lh 2 6 1 编码框图 3 2 2h 2 6 1 的码流结构 t ( 传不传指示) q z ( 量化器指示) p ( 帧虎帧间指示) q ( 变换系数的量化值) t ：d c t 变换 q ：晕化 f ：环路滤波 v ( 运动矢最) h 2 6 1 的视频码流复用采用四层分层结构，从顶层到底层分别是： 图像层( p i c t u r el a y e r ) 块组层( g r o u po fb l o c k sl a y e r ) 宏块层( m a c r o b l o c kl a y e r ) 块层( b 1 0 c kl a y e r ) 。 句法流程框图如图3 2 。p s t u f 是任意长的填充比特流。在这四层中每一层都有相应 的头和和相应的数据。各层都是非常相似，这里以图像层为例说明。 第2 1 页韭7 0 页 南京邮电学院硕士研究生学位论文 基于标量量化分割的视频多描述编码研究 图像层是最上面的一层，每幅图的数据由图像头和其后的块组数据组成。图像分成 若干个块组，每个块组包含三十三( 分成三行，每行十一个) 个宏块，而每个宏块又包 含4 个亮度块和2 个色度块。 图像层数据结构如图3 3 所示( 方框下的数据为相应字段的比特数) 。其中时问参考 t r 实际上是指图像在原始图像序列中的序号。第一帧图像序号为0 ，每隔一帧序号增：f f | 1 ，序号以3 2 为模。在解码端用这个时间参考可简单地算出当前编码图像与刚解码的图 像间有多少幅图像被跳过。 p i e t u r ed a t ap i c t t i r ed a t a 、 p i c t l i f eh e a d e rg o bd a t ag o bd a t a g o bh e a d e rm 【bd a t am bd a t a m bh e a d e r b l o c kd a t ab l o c kd a t a 。 t c o e fe o b 图3 2h 2 6 1 码流结构 图像层 块组层 宏块层 块层 3 3h 2 6 3 建议 图3 3 图像层的数据结构 第2 2 页共7 0 页 南京邮电学院硕士研究生学位论文基于标量量化分割的税额多描述编码研究 h 2 6 3 建议规定了低比特率视听业务中活动图像的压缩编码表示。由于它的算法在 低比特率视频应用上的优越性能，使它在带宽较窄的通信系统中得到广泛的应用。 h 2 6 3 建议中信源编码的算法是基于h 2 6 t 建议上的。它们采用了一种混合的信源压缔 编码算法方案。即通过利用顿间预测( i n t e r - p i c t u r ep r e d i c t i o n ) 去除时间上的冗余度，利 用变换编码减少预测余量信号空间上l 拘冗余度。解码器具有运动补偿能力。最后采用游 长编码形成传输码流。视频编码译码器的框图见图3 4 。 图3 4 视频编码泽码器的方框图 3 3 1h 2 6 3 编码算法 第2 3 页托7 0 亘 南京邮电学院硕士研究生学位论文基于标量量化分割的视频多描述编玛研究 图3 5h 2 6 3 编码框图 t ( 传不传指示) q z ( 壁化器指示) p ( 帧内帧间指示) q ( 变换系数的量化值) t ：d c t 变换 q ：量化 动矢量) h 2 6 3 编码器如图3 5 ，它的基本结构取自1 4 2 6 1 ，其中主要部分仍然是运动估计、 d c t 、量化。首先，编码器进行整像素运动估计并判断帧内帧间模式。若为帧间，则进 行半像素精度运动估计，对重建图像进行运动补偿，经匹配处理的预测误差宏块以块勾 单位作d c t 和量化：若为帧内方式，则对原始数据进行d c t 和量化。晟后编码器将景化 后的d c t 系数作v l c 。 3 3 2h 2 6 3 解码算法 图1 4 为解码器的框图。被压缩的数据送入缓冲器，然后作可变长度解码，解码器 余下的部份相似于编码器的后端，仅有的区别是不再需要运动估计。运动矢量和其它附 第2 4 页菸7 0 页 南京邮电学院硕士研究生学位论文 基于标量量化分割的视频多描述编码研究 带的信息是直接从可变长解码器的输出得到的。 在编码嚣的输出端有缓冲器，这是因为编码过程产生的比特率不是恒定的，它取决 于运动序列中各点的图像统计特征。对于每一个编码图像，比特的数目也允许变更。f | l 是在传输网络中的数据的比特率又经常必须是恒定的，所以在视频编码器的输出端必须 有数据缓冲器来提供平滑的作用。相反，在解码器要以非恒定的速率来处理接收到的信 息，所以也要包含一个解码器的缓冲器。 编码后 的比特 流 3 4h 2 6 3 码流结构 3 4 1 视频码流结构 图3 6 解码器的框图 视频码流为四层的结构，如图3 7 ，从顶层到底层依次为 第2 5 页托7 0 页 南京邮电学院硕士研究生学位论文 基干标量量化分割的视频多描述编码研究 豳3 7 a 硝濂结掏+ 3 4 2 图像层( p i c t u r e ) 每帧图像的数据包含一个图像头，并紧跟着块组数据，最后是一个e o s 码和填充位。 图3 8 说明了这个结构。p s b l 只有在被c p m 说明后才出现。c p m 、t r b $ 1 d b q u a n t r 确 在p t y p e 指示为p b f r a m e 才出现。p s p a r e 和p e i 的组合不可以出现。e s t u f 只有在e o s 出现才可以出现。不要传送丢失帧的图像头。 第2 6 页典7 0 页 南京邮电学院硕士研究生学位论文基于标重量化分割的视频多描述编码研究 图3 8h 2 6 3 图像层结构 帧起始码( p s c ) ( 2 2b i t s ) 图像编码起始标志 时域指示( t r ) ( 8 b i t s ) 总图像帧计数 类型信息( p t e ) ( 1 3b i t s ) 类型信息字段包含整个图像的相关信息 量化器信息( p q u a n t ) ( 5b i t s ) 代表了所使用量化器q u a n t 的值 连续多点显示( c p m ) f lb i t ) 代表是否使用了连续多点显示模式 图像子比特流指示( p s b i ) ( 2b i t s 卜表示c p m 模式中子比特流二二进制符 号 b 帧的时域指示( t r b ) f 3b i t s ) 相邻p b 或毋帧的非传送图像计数 b 帧的量化器信息( d b q u a n t ) ( 2b i t s ) p b 一帧中p 帧量化器和与b 一 帧量化器的比例 额外插入信息标识( f e d ( 1b i t ) 指示后面额外的插入数据是否出现 插入信息( p s p a r e ) ( 0 8 1 1 6 b i t s ) 一一备用字段 填充( e s t u f ) ( v a r i a b l el e n g t h ) 编码器将它插在e o s 之前以确保e o s 是字节对齐的 序列结束( e o s ) ( 2 2 b i t s ) 编码器可以决定是否在编码是插入e o s ， e o s 必须是字节对齐的，这可以通过插入e s t u f 来实现 填充( p s t u f ) ( v a r i a b l el e n g t h ) p s u t f 为全0 的玛长小于8 的比特 流，编码器插入p s t u f 是为了保证下一个p s c 是字节对齐的。 3 4 3 块组层( g r o u po fb l o c k sl a y e r ) 块组( g o b ) 包括一个块组头和宏块数据，结构如图3 9 所示。每个块组包 括一行或几行宏块。对于第一个块组( 标号为o ) ，不传输它的块组头，其他块 组头可以为空，这取决于编码策略。解码器能通过外部要求编码器仅传输非空的 块组头，如h 2 4 5 建议。当g b s c 出现时，g s t u f 可以出现，但对于g n ，g f i d 第2 7 页共为页 南京邮电学院硕士研究生学位论文 基于标量量化分割的视频多描述编码研究 和g q u a n t 而言则必须出现。g s b l 只有在帧头中的c p m 模式打开时才出现。 图3 9 h 2 6 3g o b 层结构 填充( g s t u f ) 编码器可将它插在g b s c 之前以确保g b s c 是字节对 齐的，解码器应设计成丢弃g s t u f 。 块组起始码( g b s c ) ( 1 7 b i t s ) 一一可以是字节对齐的，通过插入g s t u f 来实现。 组数( g n ) ( 5b i t s ) 宏块的组数的二进制表示。 块组子比特流指示( g s b i ) ( 2b i t s ) 一一用二进制形式表示的子比特流编 号，仅用于c p m 模式。 块组帧m ( g f i d ) ( 2b i t