（信号与信息处理专业论文）可分级视频编码中时域空域算法研究.pdf

南京邮i 【1 人学顺l j 学位论文摘要 摘要 随着网络和视频编码技术的发展，数字视频信号的应用范围j 造来越广，同一内容的视 频信，自、 备面对不同带宽的信道、不同容量的存储设备及不同分辨率和功耗的显示终端。传 统的视频编码技术无法适应差异如此广泛的应用场景，于是可分级视频编码技术 ( s c a l a b l ev i d e oc o d i n g ，s v c ) 应运而生，目的就是同时满足各种应用的需求。可分级 视频编码在对信号一次编码的基础上，根据网络带宽及用户终端处理能力的不同，从部分 码流中能解码出不同空间分辨率、不同信噪比或不同帧频的视频图像。具有可分级性的视 频流可以在任意点截断来适应各种不同的网络环境和用户的需求。 本文首先介绍了各种传统的可分级视频编码技术，然后研究了基于h 2 6 4 a v c 扩展的 可分级视频编码技术并作了简单性能分析。接着结合s v c 时域分级技术的特点，对宏块的 编码模式选择算法进行了优化；着重研究了s v c 空域分级时的编码性能，统计分析了空间 增强层和空问基本层宏块之间的相关性，并在分析的基础上提出了空间增强层宏块模式自 适应选择算法；针对粗粒度信噪比可分级( c o a r s eg r a i ns n r ，c g s ) 这种基本层和增强层 分辨率相同的情况，本文在空间增强层宏块模式自适应选择算法的基础上，提出了粗粒度 信噪比可分级增强层宏块运动矢量自适应选择算法，构成了c g s 增强层宏块模式自适应选 择算法。最后对本文的算法进行计算机仿真实验，并对实验结果进行比较分析。 实验结果表明，本文时域和空域优化算法能在信噪比和比特率损失很小的情况下明显 提高编码速度，减少编码时间，以便满足实时应用的需要。 关键词：可分级视频编码时域分级空域分级模式决定 南京邮l 【! 人学硕l ：学位论义 a b s tr a c t a b s t r a c t a l o n gw i t ht h ed e v e l o p m e n t si nn e t w o r k a n dv i d e oc o d i n gt e c h n o l o g y , t h ea p p l i c a t i o na r e a s o fd i g i t a lv i d e os i g n a l sb e c o m em o r ea n dm o r ew i d e l y t h ev i d e oo ft h es a m ei n f o r m a t i o nw i l l b ef a c e dw i t ht h ec h a n n e l sw i t hd i f f e r e n tb a n d w i d t h ，t h es t o r a g ew i t hd i f f e r e n tc a p a c i t ya n dt h e d i s p l a yt e r m i n a lw i t hd i f f e r e n tr e s o l u t i o n ，b u tt h et r a d i t i o n a lv i d e oc o d i n gt e c h n o l o g yu n a b l et o m e e tt h ed e m a n d so fv a r i o u sa p p l i c a t i o n s ，s os c a l a b l ev i d e oc o d i n g ( s v c ) c o m ei n t ob e i n g s c a l a b l ev i d e oc o d i n gs c h e m e sa r ei n t e n d e dt oe n c o d et h es i g n a lo n c ea th i g h e s tr e s o l u t i o n ，b u t e n a b l ed e c o d i n gf r o mp a r t i a ls t r e a m sd e p e n d i n go nt h es p e c i f i cr a t ea n dr e s o l u t i o nr e q u i r e db ya c e r t a i na p p l i c a t i o n t h em a i nw o r ko ft h i sp a p e ri st h eo p t i m i z a t i o no nm bm o d ed e c i s i o na l g o r i t h mo fs v c f i r s t l y ，w ep r e s e n ta no v e r v i e wo fs c a l a b l ev i d e oc o d i n ga n dm a k eas i m p l ea n a l y s i so f p e r f o r m a n c e s e c o n d l y ，o p t i m i z et h em bm o d ed e c i s i o na l g o r i t h mc o m b i n ew i t ht h et e c h n i q u e c h a r a c t e r i s t i c so fs v ct e m p o r a ls c a l a b i l i t y t h e n ，f o c u so nt h ep e r f o r m a n c eo fs v cs p a t i a l s c a l a b i l i t ya n dp r o p o s et h ea d a p t i v em bm o d ed e c i s i o na l g o r i t h mo fe n h a n c e m e n tl a y e ro nt h e b a s i so ft h ea n a l y s i so ft h em bc o r r e l a t i o n sb e t w e e nt h eb a s el a y e ra n de n h a n c e m e n tl a y e r a f t e r t h a t p r o p o s et h ec o a r s eg r a i ns n r ( c g s ) a d a p t i v em vs e l e c t i o na l g o r i t h mo fe n h a n c e m e n t l a y e r , a n dw en a m ei tc g sa d a p t i v em b m o d ed e c i s i o na l g o r i t h mo fe n h a n c e m e n tl a y e rc o m b i n e w i t ht h ep r o p o s e ds p a t i a la l g o r i t h m a tl a s t ，t h ep r o p o s e da l g o r i t h m sa r es i m u l a t e da n da n a l y z e d e x p e r i m e n t sr e s u l t ss h o wt h a tt h ep r o p o s e da l g o r i t h m si nt h i sp a p e rr e d u c et h ec o d i n gt i m e s i g n i f i c a n t l yw i t hn e g l i g i b l ec o d i n gl o s sa n db i t r a t ei n c r e a s e s ，e a s yt om e e tt h ed e m a n d so f r e a l t i m ea p p l i c a t i o n s k e yw o r d s ：s c a l a b l ev i d e oc o d i n g t e m p o r a ls c a l a b i l i t y s p a t i a ls c a l a b i l i t y m o d ed e c i s i o n 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：逍至=日期：坦 。查：堡研究生签名：辽b 印、日期：迎 。占如 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：五鱼蔓导师签名：逝日期：塑：! 矿 南京帅l u 人学烦i j 学位论文 前高 1 厶j 一 日! j吾 随着无线s e i l p 多媒体通信技术的发展及各种视频应用的普及，人们对图像编码的要求 越来越高，不仅要求编码技术具有较高的压缩效果，而且要求它能根据传输条件和应用场 合的不同而提供不同质量的图像信号。因此，适应无线和i p 等误码多发环境的可分级视频 编码技术得到越来越广泛的关注。可分级的视频流具有如下几个主要特征：1 ) 能够动念 地适应网络带宽的变化；2 ) 具有健壮的抵抗网络传输差错的能力；3 ) 能够同时满足具有 不同处理能力的用户终端的需求。具有可分级性的视频流可以在任意点截断来适应各种不 同的网络环境和用户的需求。 可分级视频编码就是在对信号一次编码的基础上，根据网络带宽及用户终端处理能力 的不同，从部分码流中能解码出不同空间分辨率、不同信噪比或不同帧频的视频图像。相 应地可分级视频编码大致可分为空域可分级、信噪比可分级和时域可分级三种方式，它为 满足不同需求提供了一个简单而灵活的方案，是目前国际上的一个研究热点。 本文主要是在研究基于h 2 6 4 的各种分级技术的基础上，对s v c 的宏块模式决定算法进 行了改进，提高了编码速度，以便满足实时应用的需要。 本文的安排如下：第一章简要介绍了视频编码的基本原理和方法以及编码标准；第二 章介绍了各种可分级视频编码技术并对其编码性能作了简单分析：第三章研究了时域等级 b 分级技术特点，对基本层及各增强层之间的相关性进行分析，并结合其特点对时域s v c 的宏块模式决定算法进行了改进；第四章研究了空域s v c 技术的性能，对空域增强层和基 本层宏块之间的相关性进行了分析并提出了增强层宏块模式自适应选择算法，然后针对粗 粒度可分级这种基本层和增强层图像分辨率一样的特殊情况，在空间增强层宏块模式自适 应选择的基础上，提出了c g s 增强层运动矢量自适应选择算法，构成了c g s 增强层宏块 模式自适应选择算法；第五章给出仿真实验结果和分析；第六章是全文的总结以及展望。 南京i l l l l i u 人学硕i j 学位论文第一章绪论 第一章绪论 当今时代被称为信息时代，随着信息技术和计算机互联网的飞速发展，多媒体信息已 成为人类获取信息的最主要载体，同时也成为电子信息领域技术研究和开发的热点。在多 媒体信息中，视频信息赋予人们最生动、最直观的形象，成为人类所获取的最重要信息， 同时视频数据冗余度最大，经压缩处理后的视频质量高低是决定多媒体服务质量的关键因 素。因此，数字视频技术是多媒体应用的核心技术，对视频编码的研究已成为信息技术领 域的热门话题。 1 1 视频编码基础 1 1 1 视频编码的基本原理和方法 虽然表征图像和视频信息需要大量的数据，但这些数据往往有高度的相关性，这些相 关性会引起信息的冗余，因此可以通过去除冗余信息来实现对图像和视频数据的压缩。一 般从两个方面去除冗余：一是利用图像和视频信号的统计特性，即图像在相邻像素问、相 邻行问及相邻帧问均存在较强的相关性，因此可以依据信息论中信息编码的原理，降低冗 余度；二是利用人眼的视觉特性来实现图像视频压缩。人类的视觉系统对于图像的注意是 非均匀和非线性的，人们对高频信号成分的视感度低，在一定程度上压缩高频信号并无太 大影响，对色度信号的视感度低于亮度信号，故可对色度信号频带在行及帧方向进行压缩。 通过充分利用图像本身固有的统计特征和人眼的视觉特征，从空间域、频率域、时f b j 域三个途径来减少图像信息的冗余度，可实现图像视频压缩并获得满意的主观质量。 现有的视频编码标准，基本采用基于块的混合编码方式。其关键技术主要包括变换编 码、预测编码、量化编码和熵编码等1 。 变换编码 将空域图像信号映射变换到另一个正交矢量空间即变换域，将图像像素值转变成一组 非相关系数，然后对这些系数进行量化和编码。如f o u r i e r 变换、离散余弦变换( d c t ) 、 k l 变换、子带编码以及近几年发展起来的小波编码均属于变换编码。就数据压缩而言， 所选择的变换方法最好能与图像信号的特征匹配，还应综合考虑失真要求、实现的复杂度 以及编码比特率等诸多方面。d c t 由于其性能接近k a r h u n e n l e o v e 变换( k l t ) 且具有快 2 堕室坚! ! ! ! 兰丝! ：兰垡堕兰! ! ；笙二主堕堡 速算法而得至0 广泛使用，基于块的变换编码对静止图像和视频帧是一种非常有效的压缩编 码方法，在静止图像和视频编码的许多国际标准中常采用基于1 6 1 6 、8 8 、4 4 的d c t 变换编码。 预测编码 实际上是基于图像数据的空阳j 和时间冗余特性，用相邻的已知像素( 或图像块) 来预 测当自u 像素( 或图像块) 的值，然后再对预测误差进行量化和编码。预测编码可以在一幅 图像内进行( 帧内预测编码) ，也可以在多幅图像之间进行( 帧间预测编码) ，帧问预测又 分为自，j 向、后向和双向预测。目前应用最多的线性预测编码方法是差值脉冲编码调制d p c m ， 其优点是算法简单，且易于硬件实现。 量化编码 量化是一种信息有损的压缩方法，分为标量量化和矢量量化。标量量化是对变换后的 数据逐个进行量化，而矢量量化是将数据成组地进行量化。矢量量化是根据s h a n n o n 的率 失真理论而提出来的，其性能要优于标量量化，可以获得较高的压缩比，其解码方法比较 简单，只要根据接收到的序号，从与编码端一致的码本中找到该序号对应的码字，实现对 原数据的近似重现，但编码端的计算量大。 熵编码 熵编码是通过无损压缩来消除冗余信息，以达到对数据的压缩。常用的熵编码有霍夫 曼编码、游程编码和算术编码。 1 ) 霍夫曼编码( h u f f m a nc o d i n g ) ：霍夫曼编码是一种最佳的无损压缩编码方法，其 理论依据是变长v l c 编码。在变长编码中，编码器按照输入信息符号出现的统计概率，给 输出码字分配不同的字长。对于出现概率大的信息符号编短码字，对于出现概率小的信息 符号编长码字，它的平均码字长度比其它任何一种有效编码方法都短。 2 ) 游程编码( r u n - - l e n g t hc o d i n g ) ：像素的联合出现概率是表征给定图像的结构相关 性的重要指标。由此，可通过统计相同狄度像素段长度( 称为一个游程) ，结合该狄度值 即可表征该像素段，这就是游程编码。由于其充分利用段像素本身相关性，从而减少了所 需比特数，达到压缩编码目的。 3 ) 算术编码( a r i t h m e t i cc o d i n g ) ：算术编码的基本原理是任何一个数据序列都可表示 成0 和l 之间的一个间隔，该间隔的位置与输入数据的概率分布有关。算术编码与h u f f m a n 编码在统计模型之间的区别是算术编码使用了条件概率。对于无法进行概率统计的信源编 码，算术编码方法优于霍夫曼编码。 南京i | i l j u 人学硕i ：学位论文第一审绪论 1 1 2 视频编码的新技术 视频编码经典技术是基于像素或像素块的，没有考虑人眼通常是图像视频的最终接收 者这一事实，忽略了视频信号中运动信息对人眼视觉感知的影响，造成某些信噪比高的图 像其主观质晕却较差。为了能获取更为高效的编码方法和更加高质量的编码效果，人们一 直往不断地进行理论和实践上的探索【2j 。 小波编码 小波编码是近年来随着小波变换而提出的一种在图像和视频压缩领域具有很好发展 前景的编码技术。小波变换具有良好的时频局部化性质，它把每个信号表示为由一个或有 限个性质良好的信号( 即小波) 经过平移与伸缩得到的信号的叠加，伸缩因子的改变决定 了信号的不同分辨率。作为一种多分辨率分析方法，小波变换特别适合按照人眼视觉特性 设计的图像视频编码方案，也非常有利于图像视频信号的分层传输。 基于区域和对象视频编码 为了与人眼视觉特性相符合，人们采用了由轮廓、纹理定义的“区域 来表征视频信 息，这些区域对应的是对象或对象的一部分，在这些区域里通常具有相似的视觉特征或者 属于同一视觉对象，是图像和视频信号的高级表示形式。这种基于非像素的方法来表征视 频信息的编码技术使冗余数据大大减少，具有较高的压缩比，且为实现“交互性功能提 供了可能。其具体编码方法有形状编码、纹理编码、基于对象分析综合编码等。 可分级视频编码 可分级视频编码是指将视频编码成一个基本层和多个增强层。基本层提供了一个较低 的但可接受的视频质量，每个附加的增强层逐步地提高质量，用户可根据需要进行解码。 可分级视频编码既可以解决传输网络或终端的异构问题，也可以通过对基本层和增强层进 行不同的纠错编码等措施实现抗误码传输。一般可分为空域可分级、时域可分级、信噪比 可分级等。可分级视频编码是本文研究的重点，后面章节有详细的介绍。 多描述编码 多描述编码是将视频编码成具有同等重要性的多个子码流，这些子码流称为描述，每 个描述都可以提供一定质量的重构图像。当多个描述通过不同的物理或逻辑信道传输时， 虽然干扰的影响会造成一些描述的丢失，但总能有其它一些描述被准确的接收，可以保证 一定的传输质量。接收到的描述越多，重建图像质量越好，当收到全部描述时，就可以得 到最佳的重建质量。因此，多描述编码非常适合在无线网络及i p 等误码多发环境下传输。 4 南京邮i u 人学顺i ：学位沦文第一章绪论 1 2 视频编码标准 视频编码技术的飞速发展和广泛应用，标志就是几个关于视频编码的国际标准的制 定，即圈际电信联盟电信标准化部f - j ( i t u t ) 关于电视电话会议电视的视频编码标准 h 2 6 l 、h 2 6 3 、h 2 6 3 + + + 、h 2 6 4 ，以及国际标准化组织( i s o ) 和国际电工委员会( i e c ) 中的运动图像专家组( m p e g ) 制定的关于活动图像的编码标准m p e g 1 、m p e g 2 和 m p e g 4 等。这些标准融合了各种性能优良的编码技术，代表了图像视频压缩编码技术的 发展水平，大大推动了视频通信的发展。 1 2 1i t u t 的h 2 6 x 系列标准 h 2 6 l 【3 】是i t u t 针对可视电话、会议电视和窄带i s d n 等实时编解码和低时延应用提 出的一种编码标准，适用于p 6 4 k b p s 的视听业务，其中p 是一个取值范围为1 3 0 的整数， 对应的比特率为6 4 - - 一1 9 2 0 k b i t s 。h 2 6 1 要求输入图像的格式为c i f 或q c i f ，将c i f 和q c i f 格式的数据结构划分为图像层( p ) 、块组层( g o b ) 、宏块层( m b ) 和块层( b ) 四个层 次。主要采用两种视频压缩编码模式：帧内编码和帧问编码。帧内编码采用基于块的d c t 变换编码，而在帧间编码时采用了基于1 6 1 6 的宏块和整像素精度的运动估计。这些算 法有效地压缩了视频序列在时间和空间上的冗余度。 1 9 9 5 年，i t u t 总结了当时国际上视频图像编码的新进展，针对低比特率视频应用制 定了h 2 6 3 4 】标准，该标准仍采用类似与h 2 6 1 的混合编码器，但在许多方面作了改进。( 1 ) 更加丰富的图像格式：h 2 6 3 编码器除了支持h 2 6 1 中的图像格式c i f 和q c i f 外，还增加 了另外三种图像格式s u b q c i f 、4 c i f 和1 6 c i f ，从而使h 2 6 3 具有更广的应用范围。( 2 ) 半像素精度的运动估计：在h 2 6 1 中，运动估计的精度为整像素间隔，运动矢量范围为( 1 6 ， + 1 5 ) 。而在h 2 6 3 中采用半像素精度运动估计，取值范围为( 1 6 0 ，+ 1 5 5 ) 。在采用无限 制运动矢量这一高级预测模式下，取值范围为( 3 1 5 ，+ 3 1 5 ) 。而且运动矢量是以差分预 测的方式编码传输。( 3 ) 基于块的运动估计：在h 2 6 1 中只对1 6 1 6 像素的宏块进行运动 估计，一个宏块对应一个运动向量。而h 2 6 3 不仅可以用1 6 x1 6 像素的宏块为单位进行运 动估计，还可以根据需要对8x8 像素的子块进行运动估计，每个宏块可使用4 个运动矢 量。( 4 ) 更加有效的运动矢量编码：h 2 6 1 中对运动矢量采用一维前值预测与v l c 相结合 的方式编码，而h 2 6 3 中则采用更为复杂的二维预测与v l c 相结合的方式编码。对运动矢 量编码是对当自订宏块的运动矢量和预测运动矢量的差值编码，预测运动矢量采用编码宏块 南京| l | i ：l u 人学硕t j 学位论文第一章绪论 周围三个宏块运动矢量的中值，按照水平和垂直分量分别进行。( 5 ) 三维v l c 编码：h 2 6 1 中变长编码由二维v c l ( r u n ，l e v e l ) 加上块结束标志柬实现的，其中r u n 为编码系 数前的连续0 个数，l e v e l 为编码系数的非0 值。而h 2 6 3 用三维v c l ( l a s t ，r u n ， l e v e l ) 编码表示，其中l a s t 为o 或l ，用来指示是否为本块中最后一个要编码的非零 系数。( 6 ) 四个高级选项：h 2 6 3 提供了四个高级可选模式，非限制运动矢量模式，允许 运动矢量范围指向图像帧之外；基于句法的算术编码，显著降低了码率，但复杂度比霍夫 曼编码高；高级预测模式，可采用重叠块运动补偿方式，以减少方块效应；p b 帧模式，可 在比特率提高不大的情况下较大提高图像速率。 为了进步改进压缩性能，使多媒体通信在更多的传输网络信道、更复杂的通信环境 和更广阔的范围中得到应用，i t u t 于1 9 9 8 年推出了h 2 6 3 的第二个版本h 2 6 3 + i 引，它增 加了1 2 个新的高级模式。2 0 0 0 年i t u t 又推出了h 2 6 3 的第三个版本h 2 6 3 + + 【刚，增加了 3 个高级模式。这些高级模式有的不能同时使用，有的需要结合起来使用，比较复杂，但 在扩大实际应用范围，进一步降低比特率，改善图像主观质量和增强抗误码能力等方面有 重大改进。 1 2 2i s o i e c 的m p e g x 系列标准【7 】 1 9 9 2 年圈际标准化组织( i s o ) 通过了m p e g 1 图像编码压缩标准，主要是针对1 5 m b s 速率的数字存储媒体运动图像及其伴音编码制定的。其对视频图像的编码过程类似于 h 2 6 1 标准，但有重要改进，可在时间域正、负方向进行运动补偿的帧间内插，具有更高 的图像压缩倍数。因此，m p e g 1 与h 2 6 1 相比有更高的图像压缩编码效率，在码率相同 时，有更好的图像质量。此外，m p e g 1 还提供录像机的正放、图像冻结、快进、快退和 慢放功能以及随机存储功能。 m p e g 组织1 9 9 5 年推出的m p e g 2 标准是在m p e g 1 标准基础上的进一步扩展和改 进，主要是针对数字视频广播、高清晰度电视和数字视盘等制定的运动图像及其伴音的编 码标准，其码率为4 m b i t s 1 0 0 m b i t s 。m p e g 2 按不同的压缩比分成五个档次，并按视频 清晰度分为四个级别，共有2 0 种组合，其中最常用的有1 1 种。码流分为三层，即基本流、 分组基本码流、复用后的传送码流和节目码流。基本流自上而下分为六层，分别为图像序 列( p s ) 、图像组( g o p ) 、图像( p ) 、片( s l i c e ) 、宏块( m b ) 和块( b ) 。m p e g 2 是一 个非常成功的标准，在通过电缆、卫星、地面微波信道上传输的数字电视和高清晰数字电 视方面有着广泛的应用，具有d v d 一样的视频质量。 1 9 9 9 年i s o i e c 制定的m p e g 4 标准是适应于极低码率的音视频编码国际标准，支持 6 南京邮i u 人学f i j j ! f j 学位论文第一荦绪论 7 个新的功能，可初略地划分为三类：基于内容的交互性、高压缩率和灵活多样的存取模 式。相对于m p e g 的前两个标准，m p e g 一4 已不再是一个单纯的视频音频编解码标准，它 将内容与交互性作为核心。在m p e g 4 的信息描述中，首次使用了对象( o b j e c t ) 的概念， 这种描述方法更符合人的心理特性，从而不仅能获得比现有以像素为基础的标准更优越的 压缩性能，也为应用提供了各种新的功能。m p e g 4 更多定义的是一种格式和框架，而不 是具体的算法，从而为多媒体数据压缩提供了一个更为广阔的平台。 1 2 3h 2 6 4 标准 为了适应各种业务增长对于视频编码更高的要求，i t u t 的视频编码专家组( v c e g ) 和i s o i e c 的活动图像专家组( m p e g ) 联合成立了“联合视频组”j v t ( j o i n tv i d e ot e a m ) ， 于2 0 0 3 年共同推出了视频编码的新标准一一h 2 6 4 t8 】标准，也是m p e g 4 的p a r t l 0 ，由于 其具有比以往标准更出色的性能，被人们称为新一代视频编码标准。 制定h 2 6 4 标准的主要目标有两个：一是得到高的视频压缩比；二是具有良好的网络 亲和性，即可适用于各种网络传输。因此，h 2 6 4 的功能分为两层：视频编码层( v l c ) 和网络提取层( n a l ) 。这样，高效率编码任务和网络友好性任务就由v l c 和n a l 分别 来完成。h 2 6 4 的编码结构如图1 1 所示。 视频编码层( v c l ) 控 制 宏块 数 据 1r 数据分割 上t 、 片分割 r 网络提取层( n a l ) h 3 2 0h 3 2 4h 3 2 3 i ph 3 2 4 m其它 图1 1h 2 6 4 的编码结构 h 2 6 4 标准规定了四个档次，分别是基本档次( b a s e l i n ep r o f i l e ) 、主要档次( m a i n p r o f i l e ) 、扩展档次( e x t e n d e dp r o f i l e ) 和高档次( h i g hp r o f i l e ) 。每个档次支持一组特定的 编码功能，并支持一类特定的应用。级别( l e v e l ) 定义了编解码器的性能，通过每个档次 设置不同的参数，如采样率、图像尺寸、编解码比特率以及内存要求等，得到对应的编解 码器性能不同的级【9 1 。 7 南泉| | f i ；l 【1 人学f ! l j 学位论义第一币绪论 h 2 6 4 的视频编码框架也采用了和以前编码标准类似的基于块的混合编码方案，通过 复杂的帧i 、日j 预测来减少运动图像时域上的相关信息，通过对预测残差进行d c t 变换来减 少运动图像空间上的相关信息。相比以前的视频编码标准，h 2 6 4 标准在技术上的改进主 要体现在以下三个方面： 预测技术的改进有：帧内多模式预测、多模式高精度帧间预测、多参考帧运动补偿、 1 4 及1 8 精度运动矢量预测、运动矢量可指出图像边界、权值预测技术( w p ) 、改进的 s k i p 和d i r e c t 参考模式及环路滤波等。 编码效率的改进有：4 4 整数变换、基于内容的自适应算术编码( c a b a c ) 和基于 内容的自适应变长编码( c a v l c ) 。 灵活网络传输和容错方面：参数集合( p s s ) 、灵活宏块顺序( f m o ) 、任意片顺序( a s o ) 、 可冗余片( r s ) 、数据分割( d p ) 技术、s p s i 帧技术。 1 3 论文主要工作 基于h 2 6 4 的s v c 技术相对之前的各种分级技术，编码效率有较大提高，相应地编码 复杂度也非常高。因此，需要对其进行优化，在编码效率基本不变的情况下，尽可能地减 少计算复杂度，提高编码速度，以便满足实时应用的需要。本文主要基于s v c 技术的特点， 对时域和空域s v c 技术进行了优化。 本文主要工作如下： 1 ) 学习了h 2 6 4 标准及其关键技术，了解了基于h 2 6 4 的各种可分级视频编码技术并 对各种技术的编码性能进行了简单分析。 2 ) 研究了时域s v c 技术特点，对基本层及各增强层之间的宏块相关性进行分析，并 结合技术特点对时域s v c 的宏块模式决定算法进行了改进。 3 ) 深入研究了空域分级时空问增强层和基本层宏块之间的相关性，根据这些相关性 提出了增强层宏块模式自适应选择算法。 4 ) 针对粗粒度可分级( c g s ) 这种基本层和增强层图像分辨率一样的特殊空域分级情 况，在空问增强层宏块模式自适应选择的基础上，提出了c g s 增强层运动矢量自适应选择 算法，构成了c g s 增强层宏块模式自适应选择算法。 南京| | l | j l u 人学顺l ：学位论文第二二章町分级视频编码( s v c ) 技术 第二章可分级视频编码( s v c ) 技术 网络中多媒体数据的传输取决于以下三个因素：用户需求、信道特征与终端处理能力 j o l 。由于视频传输对实时性有严格要求，而用户终端和用户对服务质量具有异构的特点， 为了在时变、带宽受限的无线网络中高效地传输视频，人们经研究发现可分级视频编码方 法是一种在无线、因特网等网络环境中进行视频传输的有效编码解决方案。可分级视频编 码对视频数据只压缩一次，但允许用户以多个帧率、空间分辨率或视频质量进行解码，从 而仅用一个可调整的码流就可以满足不同用户的个性化需求。其基本编码思想就是将视频 信息编码成多个不同性质的码流，其中包括一个基本层和多个增强层，基本层提供的是视 频信号的基本信息，可以独立解码恢复出基本质量的视频信号，而增强层提供的是视频信 号细节信息，它不能单独解码，需要与基本层结合起来增强视频的重建效果，改善空间分 辨率、质量、帧率等。继h 2 6 4 a v c 成功制定后，j v t 立即开展在其之上的s v c 技术的 制定工作，目的是在h 2 6 4 a v c 的基础上提供完整的空域、时域、s n r 和复杂度可伸缩性 工具，并准备将其纳入h 2 6 4 a v c 标准的扩展中。 2 1传统s v c 技术 早在m p e g 2 和h 2 6 3 中都包括了可分级视频编码技术，主要用于支持多层视频的 应用【l l j 。可分级视频编码主要分为空间可分级性、时间可分级性、质量可分级性和精细可 分级性( f g s ) ，以及这几种可分级形式的组合一- i n 合可分级性。 空间可分级性 空问可分级是指对视频中的每帧图像产生多个不同空间分辨率的视频流。解码基本层 码流信息得到的是低分辨率或小尺寸的图像描述，观看到的是较差质量或较小的图像视频 内容，如同时解码增强层的码流得到的是高分辨率或大尺寸的图像，观看到的是较好质量 或较大的图像视频内容。逐渐解码更多增强层的码流，图像空间分辨率逐渐增加，一直到 原始图像的分辨率。 空间可分级视频的编码过程如下：首先，对原始视频图像进行空间多分辨率分解。其 中最低分辨率的图像直接通过d c t 变换、量化和熵编码得到基本层码流输出到发送缓存， 另一方面，同时解码基本层码流得到解码图像，并对解码图像插值得到次低分辨率图像。 9 南京邮 u 人学顺 j 学1 吐论义第_ 二章町分级视频编码( s v c ) 技术 其次，将下采样得到的次低分辨率图像与解码插值得到的次低分辨率图像相减得到次低分 辨率的差分图像，这便是第一个增强层要编码的差分图像，差分图像经过d c t 变换、量 化和熵编码得到第一个增强层的码流输出到发送缓存。其它增强层的编码方法与第一个增 强层的编码方法类似。所以，空间可分级编码主要涉及到图像的下采样、基本层编码、图 像上采样、增强层编码等睇j 。 图2 1 空间可分级编码框图 时间可分级性 时白j 可分级编码是通过提高帧频来改善视频质量的一种编码方法。时l 自j 可分级的编码 过程是首先把视频帧分割成层，基本层根据本身的数据编码以提供基本的时间分辨率，增 强层通过基本层进行时间预测编码，然后通过对这些层次的解码和时间多路复合来产生原 始视频的全时i h j 分辨率。即基本层帧频较低，主观感觉视频流畅度较低，随着选用的增强 层的增多，帧频越来越高，以致达到与原始视频序列相同的帧率。 图2 - 2 时间可分级编码框图 质量可分级性 质量可分级编码又称为信噪比可分级编码，其编码思想与空间可分级编码类似。其编 码过程是对原始图像d c t 变换后进行一次很粗的量化形成基本层码流存储到发送缓存， 另一方面，反量化后系数与原始图像d c t 变换系数形成频率域的差分信号，再进行一次 1 0 堕窒业! 坚叁堂堡! ：兰丝笙苎笙= 三主堕坌堡塑堡塑堕! ! 鉴! 垫查 量化和熵编码生成增强层码流。如有多个增强层则重复上述过程。在解码端，每引入一层 增强层，都会使得重建图像的信噪比提高，视频质量得到改善，因此被称为质量可分级或 信噪比可分级。 图2 3 质量可分级编码框图 精细可分级性 m p e g 2 中的分级技术只能提供几个等级的分级视频，分级步长是整个增强层的码流， 这相对于网络带宽的变化来说太粗糙了，因此为了适应带宽变化范围大的网络以及对视频 编码的新要求，m p e g 4 提出了精细可分级( f i n eg r a i ns n r ，f g s ) 视频编码。f g s 是将 视频编码成一个可以单独解码的基本层码流和一个可以在任何地点截断的增强层码流，其 中基本层码流适应最低的网络带宽，而增强层码流用来满足网络带宽变化的动态范围。 m p e g 4 中的精细可分级编码主要有以下一些特性：基本层采用基于分块运动补偿和 d c t 变换的编码方式达到网络传输的最低要求；增强层使用位平面编码技术对d c t 残差 进行编码来满足网络带宽的变化范围；每一帧图像的增强层码流可以在任何地点截断而不 影u 向解码的继续；收到并解码的比特数越多，解码器重建的视频质量越高。 f g s 编码方案的一个局限性在于基本层和增强层都以基本层图像作为参考帧图像进行 运动补偿，如果基本层解码重建图像质量较差，和原始图像的差别较大，则预测后形成的 d c t 残差较大，使得增强层的码流变长，编码效率较低。因此提出了渐进式的精细可分级 编码( p r o g r e s s i v ef g s ，p f g s ) ，把用于运动估计的参考帧由原来低质量的重建帧改为前 一层高质量的图像，使得在p f g s 中运动补偿更为有效【2 】。 2 2 基于h 2 6 4 的s v c 技术f 1 2 】【洲1 i 4 1 h 2 6 4 的可分级扩展是对原始视频的分层描述，即在一个兼容于h 2 6 4 标准的基本层 上建立多个增强层，通过层间的信息复用来提高编码效率。制定中的基于h 2 6 4 的视频可 分级编码技术提供了完整的时间、空间和信噪比( s n r ) 可分级性。 南京邮i 【1 人学颂i ：学位论文 第二章可分级视频编码( s v c ) 技术 2 2 1空间s v c 技术及性能分析 s v c 中的空间可分级性是通过分层方法来实现的，其基本概念与传统空间可分级编码 相同，但在其上加入了一些层间预测机制以提高压缩效率。每个具有不同分辨率的空间分 级单独编码成一个视频层。由于不同层中对应位置的帧是对同一时刻场景的不同分辨率表 示，其纹理信息和运动信息具有很强的相关性，故可通过层间预测进一步去除运动信息和 纹理信息冗余。当使用层问预测时，运动信息和纹理信息需按比例进行缩放【1 5 1 。 层问纹理预测 当增强层宏块使用帧内预测模式进行编码时，除h 2 6 4 a v c 中定义的帧内预测模式 外，s v c 新定义了一种i n t r a b l 宏块模式。使用此模式要求基本层相应位置的8 8 子块 也为帧内编码。使用此模式的宏块可使用其低级空域层中相应帧的重建宏块纹理来对当自订 宏块的纹理进行预测。在预测之前，先使用去方块滤波器对底层重建宏块内部边界以及宏 块周围边界进行滤波，再将滤波后的宏块在每个方向进行4 像素的边界扩展，最后按底层 分辨率与高层分辨率之比进行插值。对亮度信号插值使用6 抽头f i r 滤波器，对色度信号 插值只使用简单的双线性滤波器。 层间帧间运动信息预测 当宏块使用帧间预测模式进行编码时，除h 2 6 4 a v c 中定义的帧间预测模式外，s v c 新定义了两种宏块模式以使用低层运动信息来预测当前运动信息：b a s el a y e rm o d e 和q p e l ，统称为模式。r e f i n e m e n tm o d e b l s k i p 使用b a s el a y e rm o d e 模式时，宏块直接使用低层运动信息( 包括运动向量、参 考帧序号和宏块分割模式) 作为当前运动信息，不再编码任何其它的运动相关信息。当低 层分辨率为当日订分辨率的1 2 时，当日订层1 6 1 6 的宏块仅对应低层8 8 的子宏块，故运 动向量和分割模式需要进行缩放。此时，当低层对应宏块使用s k i p 、1 6 x1 6 、1 6 x 8 、8 x 1 6 或8 8 模式时，当前层宏块均使用1 6 1 6 分割模式；当低层宏块使用8 x 4 、4 8 或 4 4 时，当自订宏块分别使用1 6 x 8 、8 x1 6 和8 8 模式，且其每个子宏块的参考帧序号使 用低层对应子宏块的参考帧序号。如果低层宏块使用帧内编码模式，则当前层宏块使用上 述的i n t r a b l 模式进行帧内编码。 仅当低层分辨率低于当前层分辨率时，才可使用q p e l _ r e f i n e m e n t _ m o d e 模式， 此模式类似于b a s el a y e rm o d e 模式，直接使用低层的参考帧序号和分割模式，仅对 每个分割运动向量的两个分量各另编码一个1 4 像素精度的修正值( 1 ，o ，1 ) ，将修正量 加入低层运动向量后得到当前层运动向量。 1 2 塑璺! ! ! ! ! ! ! ! ：兰婴! ：堂丝笙苎 笙三主! ! 坌堡丝婴塑塑! ! 竖! 垫查 层问运动补偿残差信息预测 由于层问运动信息的高度相关性，不同层的运动补偿预测残差之间也有着相关性，因 此使用低层运动补偿残差来对当6 仃层运动补偿残差进行预测可进一步去除层问相关性。但 对不同宏块，由于当前层与低层使用的运动信息可能不同，残差信息的块相关性也不相同。 通常当低层运动信息与当前层运动信息相同或近似时，残差信息相关性强，此时使用残差 预测将提高编码效率；相反，当低层与当日订层运动信息相差较大时，使用残差预测反而会 降低编码效率。 s v c 中剥使用帧i 日j 编码模式的宏块定义了一个新的语法元素r e s i d u a l _ p r e d i c t i o n _ f l a g 以表示当自订帧问模式的宏块是否使用其低层重建残差值进行预测。此模式可与上面定义的 层问运动信启、预测模式混合使用，即同时使用低层运动信息和预测残差进行预测。当低层 与当自订层具有不同分辨率时，需要先对低层重建残差进行插值：当分辨率比例为2 时，使 用双线性插值【1 ，i 2 ，否则，使用h 2 6 4 a v c 中定义的1 4 插值方式。 扩展的空间可分级性 s v c 最初只支持2 倍关系的空间可分级性，即相邻空间层之间的长和宽都是2 倍关系， 随着标准制定过程的深入，s v c 进一步引入了扩展的空间可分级，即允许相邻空问层之间 的关系更为一般化。在扩展的空j 自j 可分级中，空间分辨率较低的一层所表示的图像可以是 其空间增强层所表示的图像中裁剪出来的区域，而且，与该区域的关系也可以不是2 倍关 系。处理扩展的空间可分级有3 个关键问题：需要传送裁剪区域在原始图像中的坐标；需 要传送空间相邻层之i h j 的缩放关系并确定相应的上采样滤波器；需要确定层间预测时各种 信息的对应关系。 编码效率比较 f o r e m a nc i f 3 8 3 7 33 6 z 筮3 5 ， 3 4 3 3 + 不用层问预测 + 使用层问预测 1 6 42 2 82 9 23 5 64 2 0 比特率( k b i t s ) 图2 4 空域s v c 编码效率