（通信与信息系统专业论文）基于h264avc空域分级视频编码器的实现.pdf

上海大学硕士学位论文 摘要 随着移动通信的快速发展，移动多媒体成为移动通信发展的新热点，第三代 移动通信( 3 g ) 标准的制订使得通过无线信道传输视频信息成为可能。与以往的 压缩标准相比，新的多媒体信息压缩传输标准i - i 2 6 4 a v c 提供了一个更高的压缩 效率，码率上满足了传输要求。然而无线信道的不可靠传输会将随机误码引入比 特流中，多径传播也会导致突发误码。而且，在无线应用中无线链路的可用带宽 是有限的，并且会因为网络流量而在一个较宽的范围内变化。在这种情况下，编 码器不再知道信道的容量，不再使视频质量在一定比特率下达到最优。传统的视 频编码是对于给定比特率的视频进行编码，但对于无线应用传统的视频编码要有 所改变，可分级的视频编码能解决此类问题。 从m p e g 一1 到m p e g 一4a v c ( h 2 6 4 ) ，视频编码技术得到了广泛的应用。由于 课题要求应用领域为h d t v ( 高清晰度电视) m s d t v ( 移动标准清晰度电视) ，本 文基于最新国际视频编码标准h 2 6 4 a v c ，以实现空域分级编码为目标，参考 h 2 6 4 a v c 测试模型j m 基本算法，在保证基本层编码方式不变的前提下，增加 了增强层空域分级编码功能，为先进的h 2 6 4 a v c 视频编码标准应用于卫星电视 传输或移动数字电视等做了基础。本文主要从两个方面进行了阐述： 第一、空域分级编码器的整体系统设计。 第二、空域分级编码中主要功能模块的原理和实现。 关键词：h 2 6 4 a v c ，视频，编码器，分级编码，空域分级，增强层 上海大学硕士学位论文 a b s t r a c t a l o n gw i t ht h ed e v e l o p m e n to fm o b i l ec o m m t m i c a t i o n ，t h em o b i l em u l t i m e d i a h a sb e c o m et h en e wh o t s p o to f t h er e s e a r c h 3 gs t a n d a r dm a k e si tp o s s i b l et ot r a n s m i t v i d e oi n f o r m a t i o nw i t hw i r e l e s sc h a n n e l c o m p a r e dt ot h ef o r m e rv i d e os t a n d a r d s ， h 2 6 4 a v cp r o v i d e sab e t t e rc o m p r e s sr a t h o w e v e r , r a n d o me r r o rw i l lo c c u rb e c a u s e o ft h ef a l l i b i l i t yo fw i r e l e s sc h a n n e l t h eb a n d w i d t ho fw i r e l e s sc o m m u n i c a t i o ni s l i m i t e d ，a n di tc h a n g e si nar a n g e i ns u c ha ne n v i r o n m e n t ，t h ee n c o d e rc a n tk n o wt h e c h a n n e l sc a p a c i t ya n dc a n tm a k et h ev i d e oq u a l i t yb e s tu n d e rac e r t a i nb i tr a t t h e c o n v e n t i o n a lv i d e oc o d i n ge n c o d e st h ev i d e ow i t hac e r t a i nb i tr a t s oi ts h o u l db e c h a n g e di n w i r e l e s sa p p l i c a t i o n ，a n dt h es c a l a b l ev i d e oc o d i n gc a nr e s o l v et h e p r o b l e m f r o mm p e g 一1t om p e g 一4a v c ( h 2 6 4 ) ，t h ev i d e oc o d i n gt e c h n o l o g i e sh a v e b e e nw i d e l yu s e d t h i sp a p e r st a s ki st oa p p l yt h eh 2 6 4 a v cv i d e oc o d i n gs t a n d a r d i nh d t va n dm s d t v r e f e r e n c i n gt oh 2 6 4 a v ct e s tm o d e lj m ，as p a t i a ls c a l a b l e v i d e oe n c o d e rh a sb e e nd e s i g n e dh e r e t h eb a s e m e n tl a y e ri ss i m i l a rw i mt h e h 2 6 4 a v c ，a n dt h ee n h a n c e m e n tl a y e ri sa d d e dt or e a l i z et h es p a t i a ls c a l a b i l i t y t h i s p a p e ri n t r o d u c e st h er e s e a r c hf r o mt w os i d e s ： f i r s t l y , t h ed e s i g no f t h ee n c o d e r sf r a m ei si n t e r p r e t e d s e c o n d l y , i n t r o d u c e st h ep r i n c i p l ea n dr e a l i z a t i o no f t h em a i nf u n c t i o nm o d u l e s k e y w o r d s ：h 2 6 4 a v c ，v i d e o ，e n c o d e r , s c a l a b l ec o d i n g ，s p a t i a ls c a l a b i l i t y , e n h a n c e d l a y e r 原创性声明 本人声明：所呈交的论文是在导师指导下进行的研究工作。除了 文中特别加以标注和致谢的地方外，论文中不包含其他人已发表或撰 写过的研究成果。参与同一工作的其他同志对本研究所作的任何贡献 均已在论文中作了明确的说明并表示谢意。 签名：塑盟垒日期：型里 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学 校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学校可 以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 签名：避导师签名：垒# 硌：一塑 ! 上海大学硕士学位论文 第一章绪论 2 0 世纪9 0 年代，多媒体技术随着人类进入信息时代而得到了迅猛发展。大 信息量的视频数据被广泛使用，如常见的v c d 、d v d 等都是将大量的视频数据经 过处理后供用户使用的。视频相关技术在一些行业领域也得到了很好的应用，如 保安监控系统中对现场进行音、视频的录制，卫星电视、交互式电视、视频点播 ( v o d ) 以及个人无线视频通信系统等的出现，为人们提供了功能更为强大的多媒 体通信平台，同时也对视频编码各方面的性能提出更高的要求。 现有的窄带通信网如p s t n 网或移动通信网等，虽然可以提供有改进的语音 和数据服务，但在支持宽带多媒体业务等方面存在很大的局限性，不能很好地支 持较大容量的多媒体业务，尤其是高质量的图像、视频业务，更不能向不同的用 户动态提供具有不同服务质量与内容的个性化服务。 不同的通信业务对传输网络的要求差异很大，视频业务要求实时传输，对时 延十分敏感，但由于人类眼睛的生理特点，可以容忍一定程度的误码。这些和通 常的数据文件传输有很大的不同。 1 1 数字视频编码概述m 近年来，一系列国际视频压缩编码标准的制定极大地促进了视频压缩编码技 术和多媒体通信技术的发展。视频压缩编码标准的制定工作主要是由国际标准化 组织( i s o ) 和国际电信联盟( i t u ) 完成的。由i t u 组织制定的标准主要是针对 实时视频通讯的应用，如视频会议等，它们以h 2 6 x 命名；而由i s o 和i e c ( 国 际电工委员会) 的共同委员会中的m p e g 组织制定的标准主要针对视频数据的存 储、广播和视频流的网络传输等应用，它们以m p e g x 命名。1 9 9 8 年，i t u t v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 提出研究新一代编码标准( h 2 6 l ) ，其目的 就是与已存在的视频编码标准相比能够成倍提高编码效率并应用到更广阔的领 域。1 9 9 9 年8 月b e r l i n 会议，推出了第一个校验模型t m l i ( t e s tm o d e l l o n g t e r m ) 。2 0 0 1 年1 2 月，v c e g 和i s o 组成了一个联合视频组( j v t j o i n tv i d e o t e a m ) ，联合开发新一代视频编码标准，以i t u - th 2 6 l 为基础，进一步提高编 码效率和图象质量，将其命名为j v t ，被m p e g 收入为m p e g 一4 标准的第1 0 部分， 即m p e g 一4a v c ( a d v a n c e dv i d e oc o d i n g ) 。2 0 0 3 年3 月通过了最终视频编码标 上海大学硕士学位论文 准草案，正式定为h 2 6 4 a v c ，被确认为是当前最先进的视频压缩编码方法。但 是在最终视频编码草案中没有写入对分级编码的支持，将使其在无线通信等环境 中的应用造成较大影响 1 6 3 5 3 8 ，这也是本文研究空域分级编码的目的。 早在2 0 世纪8 0 年代初，为致力于将广播质量的模拟电视视频信号所使用的 数字格式标准化，国际无线电咨询委员会c c i r ( i n t e r n a t i o n a lr a d i o c o n s u l t a ti v ec o m m it t e e ) 就制定了彩色电视图像数字化标准，称为c c i r6 0 1 标 准，现改为i t u rb t 6 0 1 标准。该标准指定了像素幅型比( p a r ) 为4 ：3 和1 6 ：9 的数字视频格式，对于p a r 为4 ：3 的格式，分别定义了5 2 5 6 0 和6 2 5 5 0 两种数 字视频格式，分别应用于n t s c 和p a l s e c a m 制式。实验表明人眼对彩色图像细 节的分辨能力比对黑白低得多，因此为了便于对彩色视频序列进行压缩编码，以 及解决彩色电视与黑白电视的兼容问题，国际上通常把红、绿、蓝( r g b ) 彩色 空间转化到一个亮度信号和两个色差信号的y u v 空间进行处理。所以在对视频实 际进行压缩编码时，通常处理的都是y u v 空间的数据。从r g b 空间到y u v 空间的 变换关系如下： y = o 2 9 9 r + 0 5 8 7 g + 0 11 4 b ： u = b y ： v = r y ： 从y u v 空间到r g b 空间的变换关系如下： b = u + y ： r = v + y ： g = ( y 一0 2 9 9 r 一0 1 1 4 b ) 0 5 8 7 ： i t u rb t 6 0 1 建议还定义了4 种采样格式，分别为4 ：2 ：2 ，4 ：i ：i ，4 ：2 ：0 和 4 ：4 ：4 。 ( 1 ) 4 ：4 ：4 这种采样格式不是子采样格式，它是指在每条扫描线上每4 个连 续的采样点取4 个亮度y 样本、4 个红色差c r 样本和4 个蓝色差c b 样本，这就 相当于每个像素用3 个样本表示。 ( 2 ) 4 ：2 ：2 这种子采样格式是指在每条扫描线上每4 个连续的采样点取4 个 亮度y 样本、2 个红色差c r 样本和2 个蓝色差c b 样本，平均每个像素用2 个样 本表示。 上海大学硕士学位论文 ( 3 ) 4 ：1 ：1 这种子采样格式是指在每条扫描线上每4 个连续的采样点取4 个 亮度y 样本、1 个红色差c r 样本和1 个蓝色差c b 样本，平均每个像素用1 5 个 样本表示。 ( 4 ) 4 ：2 ：0 这种子采样格式是指在水平和垂直方向上每2 个连续的采样点上 取- 2 个亮度y 样本、1 个红色差c r 样本和1 个蓝色差c b 样本，平均每个像素用 1 5 个样本表示。 除了b t 6 0 1 格式，i t u t 还定义了c i f ( 3 5 2 2 8 8 ，可压缩到1 2 8 3 8 4 k b p s ， 具有较好质量) 和q c i f ( 1 7 6 1 4 4 ，可压缩到6 4 1 2 8 k b p s ，具有较好质量) ，同时， i s o m p e g 也规定了两种s i f 格式：3 5 2 2 4 0 ，帧率3 0 h z ；3 5 2 2 8 8 ，帧率2 5 h z 。 另外还定义了一种2 ：1 隔行扫描格式s i f i 。c i f ，q c i f ，s i f 格式均为4 ：2 ：0 采 样信号。 本论文以后介绍视频压缩编码标准和实验时所采用的测试序列都是y u v 空间 的序列，即处理一帧图像的一个亮度信号数据y 和两个色度信号数据u 、v 。y u v 信号都是使用4 ：2 ：0 的采样格式，即亮度信号为全分辨率( f u l lr e s o l u t i o n ) ， 色度信号为1 4 分辨率( 1 1 4r e s o l u t i o n ) 。对于c i f 格式( 3 5 2 x2 8 8 ) 的视频 序列，y u v 信号的格式如图卜1 所示： y ( 3 5 2 x2 8 8 b i t )u ( 1 7 6 1 4 4 b i t ) iv ( 1 7 6 1 4 4 b i t ) 第一帧 第二帧 图i - iy u v 信号的格式 视频质量采用峰值信噪比( p s n r ) 衡量，其定义如下： p s n r = l o l o g , o 鲁 ( 1 - 1 ) 其中y 一2 为视频信号的最大强度值的平方，如c i f 格式其亮度信号最大强度 值的平方为2 5 5 x 2 5 5 3 5 2 2 8 8 = 6 5 9 1 9 7 4 4 0 0 。盯：为原始序列y ，与处理后序 列y ：两序列之间的均方误差。p s n r 单位为分贝。 图卜2 是m p e g 视频编码器的一个总体框图，其中的关键模块包括：d c t 变 换与量化、运动估计与补偿、v l c 熵编码、编码速率控制等。这是自m p e g l 视 上海大学硕上学位论文 频编码标准以来，几乎所有国际视频编码标准所采用的一种编码框架，只是在各 个模块采用了不同的技术，或者是添加或修改了一些附加的编码工具来提高编码 的质量。 图卜2m p e g 视频编码器的原理框图 11 1 m p e g - 1 “与m p e g - 2 m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p ) 是1 9 8 8 年成立的一个专家组。这 个专家组于1 9 9 3 年制订并公布了一个国际标准，名称是“动态图像和伴音的编 码”，用于速率在1 5 m b i t s s 以下的数字媒体。也适用于远程通信以及局域网视 频点播等领域。该标准通常简称m p e g 一1 标准。 由于m p e g l 标准的位速率仅为1 5 m b i t s ，因此m p e g 组织还制订了m p e g - 2 、 m p e g 一4 和m p e g 一7 压缩标准。 m p e g 一1 标准详细说明了电视图像和声音的压缩、解压缩方法，以及播放m p e g 数据时所需的图像与声音的同步问题。采用m p e g 算法可以把数字电视图像信号 压缩到0 5 l b i t 像素。对图像分辨率为3 5 2 2 4 0 ，传输速率为3 0 帧s 的数 上海大学硕士学位论文 字图像，可以从数据率7 1 m b i t s 压缩到1 2 m b i t s ，经解压还原的彩色电视图 像的质量与v h s ( v i d e oh o m es y s t e m ) 质量相当。 1 m p e g 一1 标准的目标 ( i ) 在图像质量方面，普遍高于电视电话的图像质量，可以被大家接受的 是v h s 录像机的图像质量和光盘c d - r o m 的放映质量，这些图像质量在通常的计 算机屏幕上也是基本上被大家认为满意的。 ( 2 ) 在存储媒体方面，结合目前情况，应该可以存储在以下几种媒体：光 盘；数字录音带d a t ；可写磁盘( w r i t a b l eo p t i c a ld i s k s ) 等。 ( 3 ) 在传输码率方面，应该符合目前计算机网络的传输速率，即l 1 5 m b i t s 。 ( 4 ) 在通信网络方面，认为应能适应多种网络，如i s d n 、l a n 等。 ( 5 ) 应能满足不对称和对称的应用，所谓不对称应用就是编码1 次后，解 码可用无数次，如电视娱乐片、电子图像出版物等，只需要用解码器放映即可。 所谓对称应用，就是需要同时进行编码和解码，如双向通信用的电视电话等。 2 m p e g 标准的组成 m p e g 标准由5 个部分组成：有关同步和多路复合技术的系统( s y s t e m ) 标 准i s o i e c l l l 7 2 1 ；关于电视图像压缩技术的视频( v i d e o ) 标准 i s o i e c l l l 7 2 2 ；关于声音( a u d i o ) 压缩编码技术的i s o i e c l l l 7 2 3 ：说明如 何测试比特数据流和解码器是否满足前3 个部分所规定要求的一致性测试 ( c o n f o r m a n c et e s t i n g ) 标准i s o i e c l l l 7 2 4 ；最后是软件仿真( s o f t w a r e s i m u l a t i o n ) 报告i s o i e c l l l 7 2 5 。 3 图像的y c r c b 采样 图1 - 3 说明了h 2 6 1 、h 2 6 3 和m p e g - 1 系统中采样格式为4 ：2 ：0 的y c r c b 的样本位置。其中亮度y 样本的位置就是像素点所在的位置，在水平方向和垂直 方向上相邻的4 个像素点的中间位置采样一个c b 和c r 样本。虽然m p e g 一2 和h 2 6 4 使用的也是4 ：2 ：0 的采样格式，但是它们的含义与其他标准有所不同，在水平 方向上没有半个像素的偏移。 t 海大学硕士学位论文 o o o o y 样本位置 oc b 和c r 样本位置 图卜34 ：2 ：0 的y c r c b 的样本位置 m p e g 一2 标准于1 9 9 4 年1 1 月公布，其全称为“运动图像及其伴音的编码”， 主要针对高清晰度电视( h d t v ) 所需要的视频及伴音信号，传输速率为l o m b i t s ， 与m p e g 一1 兼容。 一、m p e g 一2 系统 1 系统的定义 图卜4m p e g 一2 系统框图 m p e g 一2 系统是将视频、音频及其它数据基本流组合成一个或多个适宜于存 储或传输的数据流的编码标准。m p e g 一2 符合i t u rb t 6 0 1 标准所定义的帧序： 1 1 8 2 8 3 p 4 8 5 8 6 p t b 8 8 9 i i o 。如图卜4 所示，数字视频数据和符合a e s e b u 标准的 数字音频数据分别通过图像编码和声音编码之后，生成视频基本流( e s ) 和音频 e s 。再分别通过各自的数据包形成器，将相应的e s 打包成打包基本流( p e s ) 。 最后，节目复用器和传输复用器分别将视频p e s 和音频p e s 组合成相应的节目流 ( p s ) 包和传输流( t s ) 。不允许直接传输p e s ，只允许传输p s 和t s 。由系统的 定义，可知m p e g 一2 系统的任务。 2 系统的任务 j 二海大学硕士学位论文 m p e g 一2 的标准由以下8 个文件组成的： ( 1 ) 1 8 0 i e c l 3 8 1 8 1 系统( 定义了复用与同步的标准) ； ( 2 ) i s 0 i e c l 3 8 1 8 2 视频( 描述各种码率数字视频编解码方法) ； ( 3 ) i s o i e c l 3 8 1 8 3 音频( 具有后向兼容的多通道数字音频编码系统) ； ( 4 ) i s o i e c l 3 8 1 8 4 一致性测试( 检验编码数据流的测试是否符合 m p e g 一2 系统、视频和音频的规定) ； ( 5 ) i s 0 i e c l 3 8 1 8 5 软件( 描述了用c 语言实现的m p e g 一2 系统、视频和 音频的编解码软件) ； ( 6 ) 数字存储媒体命令与控制( 提供异构网络连接协议和客户机一服务器 协议，以便交互控制服务器到用户的视音频数据流和建立异构网络上 的视音频会话等) ： ( 7 ) i s 0 i e c l 3 8 1 8 7 高级音频编码( 非后向兼容的立体声和多通道环绕 声编码方法) ； ( 8 ) i s 0 i e c l 3 8 1 8 8 系统编码实时接口( 定义了传输流t s 与系统解码器 之间的实时接口标准) 。 m p e g - 2 系统是其关键部分。m p e g 以开放系统互联( o s i o p e ns y s t e m i n t e r c o n n e c t i o n ) 为目标，争取全球标准化。在详细规定视音频编码算法的基础 上，为传输和交换编码数据流( 比特流、码流、流) 创造统一条件，以有利于接 收端重建，按照既定的参数给数据流以一定程度的“包装”。因此，m p e g 一2 系统 应完成的任务有： 规定以包方式传输数据的协议； 为收发两端数据流同步创造条件； 确定将多个数据流合并和分离( 即复用和解复用) 的原则； 提供一种进行加密数据传输的可能性。 3 系统的要点 根据数字通信信息量可以逐段传输的机理，将已编码数据流在时间上以一定 重复周期结构分割成不能再细分的最小信息单元，这个最小信息单元就定义为数 据包，几个小数据包( d a t ap a c k e t ) 又可以打包成大数据包( d a t ap a c k ) 。用 数据包传输的优点是：网络中信息可占用不同的连接线路和简单暂存；通过数据 上海大学硕士学位论文 包交织将多个数据流组合( 复用) 成一个新的数据流；便于解码器按照相应顺序 对数据包进行灵活地整理。从而，数据包为数据流同步和复用奠定了基础。因此， m p e g 一2 系统规范不仅采用了p s 、t s 和p e s 三种数据包，而且也涉及p s 和t s 两 种可以互相转换的数据流。显然，以数据包形式存储和传送数据流是m p e g 一2 系 统的要点。 二、m p e g 一2 的编码 编码是m p e g 一2 标准的核心内容之一，其涉及到m p e g 一2 视频流层结构、m p e g 一2 帧间编码结构、m p e g 一2 的类与级、m p e g 一2 运动估值等技术。 1 m p e g 一2 视频流层结构 为了便于误码处理、随机搜索及编辑，m p e g 一2 用句法定义了1 个层次性结 构，用于表示视频编码数据。m p e g 一2 将视频流分为图像序列层( v s l v i d e o s e q u e n c el a y e r ) 、图像组层( g o p l g r o u po f p ic t u r e sl a y e r ) 、图像层 ( p l - p i c t u r el a y e r ) 、宏块条层( s l s l i c el a y e r ) 、宏块层( m l m a c r o b l o c k l a y e r ) 、块层( b l b l o c kl a y e r ) 共6 个部分，每层都有确定的功能与其对应。 1 ) 图像序列层( v s l ) v s l 是由数据头及一系列图像组( g o p ) 组成的视频数据包，具体是指整个 要处理的连续图像。用于定义整个视频序列结构，可采用逐行或隔行两种扫描方 式。其中，数据头给出了有关图像水平大小、垂直大小、宽高比、帧速率、码率、 视频缓存校验器的大小、量化矩阵、层号( l a y e r i d ) 、分级法( s e a l a b l em o d e ) 等，为解码提供了重要依据。 2 ) 图像组层( g o p l ) g o p l 是图像序列层中若干图像组的1 组图像，由数据头和若干幅图像组成， 用于支持解码过程中的随机存取功能。图像分组是从有利于随机存取及编辑出发 的，不是m p e g 一2 结构组成的必要条件，可在分组与否之间灵活选择。其中，数 据头给出了图像编码类型、码表选择、图像组头部开始码、视频磁带记录时间及 控制码、涉及b 帧处理的c l o s e dg o p 、b r o k e nl i n k 。为了给编辑数据流提供接 入点，第1 个总是i 帧。 3 ) 图像层( p l ) p l 由数据头和l 帧图像数据组成，是图像组层若干帧图像中的1 帧，包含 上海大学硕士学位论文 了1 帧图像的全部编码信息。m p e g 一2 图像扫描可有逐行或隔行两种方式：当为 逐行时，图像为逐帧压缩；当为隔行时，图像为逐场或逐帧压缩，即在运动多的 场景采用逐场压缩，在运动少的场景采用逐帧压缩。因为，从整个帧中去除的空 间冗余度比从个别场中去除得多。 数据头提供的基本部分有头起始码、图像编号的时间基准、图像( i ，b ，p ) 帧类型、视频缓存检验器延迟时间等，扩展部分有图像编码扩展、图像显示扩展、 图像空间分级扩展、图像时间分级扩展等。其中，基本部分由m p e g 一1 及m p e g 一2 共用，扩展部分由m p e g 一2 专用。 一幅视频图像是由亮度取样值和色度取样值组成的，而亮度与色度样值比例 的大小是由取样频率之比决定的。在m p e g 一2 中，亮度与色度之间的比例格式有 4 ：2 ：0 ( 或4 ：0 ：2 ) 、4 ：2 ：2 、4 ：4 ：4 三种。 4 ) 宏块条层( s l ) s l 由附加数据和一系列宏块组成，其最小长度= 1 个宏块，当长度= 图像宽度 时，就成了m p e g 一2 层面中最大宏块条长度。为了隐匿误差，提高图像质量，将 图像数据分成由若干个宏块或宏块条组成的几个s l i c e 。一旦某宏块条发生误差， 解码器可跳过此宏块条至下一宏块条的位置，使下一宏块条不受有误差而无法纠 正的宏块条的影响，一个s l i c e 中的宏块条越多，隐匿误差性能就越好。为此， 附加数据部分定义了宏块条在整个图像中的位置、默认的全局量化参数、变量优 先切换点( p b p - p r i o r i t yb r e a kp o i n t ) 。其中，p b p 用于指明数据流在何处分 开，解码器要在两个数据流的恰当点处切换，以保证读取完整、正确的解码信息， 确保解码完整无误。在离散余弦反变换( i d c t - i n v e r s ed i s c r e t ec o s i n e t r a n s f o r m ) 时，s l 可提供重新同步功能。 5 ) 宏块层( m l ) m l 是宏块条层中一系列宏块中的1 块，由附加数据、亮度块和色度块共同 组成。其中，亮度为1 6 x 1 6 像素块，称为宏块，由4 个8 8 像素块构成。色度 块由多少个8 8 像素块构成，取决于亮度与色度之间取样频率的比例格式。 m p e g 一2 有4 ：2 ：0 、4 ：2 ：2 、4 ：4 ：4 三种宏块结构。宏块层m l 包含p 帧及b 帧的运 动矢量( m v m o t i o nv e c t o r s ) 。附加数据包含的信息有：表明宏块在宏块条层中位 置的宏块地址、说明宏块编码方法及内容的宏块类型、宏块量化参数、区别运动 上海大学硕士学位论文 矢量类型及大小、表明以场离散余弦变换( d c t d i s c r e t ec o s i n et r a n s f o r m ) 还是以帧d c t 进行编码的d c t 类型。 6 ) 块层( b l ) b l 是只包含1 种类型像素的8 8 像素块，即是单一的8 8 亮度( y ) 像素 块，或是单一的8 8 红色( c r ) 像素块，或是单一的8 x 8 蓝色( c b ) 像素块。 它是提供d c t 系数的最小单元，即其功能是传送直流分量系数和交流分量系数。 若需要对宏块进行d c t ，也要先将宏块分成像素块后再进行。 2 m p e g 一2 视频编码方式 为了提高压缩比及图像质量，m p e g 一2 视频编码采用运动补偿预测( 时间预 测+ 内插) 消除时间冗余和不随时间变化的图像细节；采用二维d c t ( 图像像素+ 量化传输系数) 分解相邻像素，消除观众不可见、不重要的图像细节；采用熵值 编码( 已量化参数+ 编码参数的熵) ，使b i t 数减少到理论上的最小值。 1 1 2 h 2 6 1 4 3 与h 2 6 3 h 2 6 1 标准首次尝试综合数字压缩技术和网络技术实现数字图像实时传输， 其核心技术是混合编码算法，h 2 6 1 进行帧内编码时，主要是利用d c t 变换减小 空间冗余度；进行帧间编码时，通过运动估计减小时间冗余度；在传输中，采用 可变长编码( v l c ) 技术；在解码恢复中，应用运动补偿。编码对每帧图像进行 四个层次( 块、宏块、块组、帧) 处理，最小处理单元为8 8 像素块( b l o c k ) ， 然后按4 ：1 ：1 的比例对亮度和色度块进行抽样，组成一个宏块( m a c r o b l o c k ) ， 一定数量的宏块构成块组( g r o u po fb l o c k ) ，若干组构成一帧图像。每一个层 次都有说明该层次信息的头( h e a d e r ) ，编码后的数据和头信息逐层复用就构成 了h 2 6 1 的视频序列码流。 h 2 6 1 支持2 种图像格式：q c i f ( 1 7 6 x1 4 4 像素) 、c i f ( 3 5 2 2 8 8 像素) 。 h 2 6 3 是i t u 于1 9 9 5 年制定的一种码率低于6 4 k b i t s 的甚低码率视频压缩 标准，修订版本有1 9 9 8 年的h 2 6 3 + 和2 0 0 0 年的h 2 6 3 + + 。为了进一步改善图像 质量，提高压缩比，h 2 6 3 和h 2 6 1 相比增加了以下一些新技术： ( 1 ) 1 2 像素精度的运动估计； ( 2 ) 不受限制的运动矢量； e 海大学硕士学位论文 ( 3 ) 先进预测模式； ( 4 ) p b 帧模式； ( 5 ) 基于语法的算术编码。 目前h 2 6 3 已被多个多媒体终端标准所采纳，包括支持p s t n 与无线网的 h 3 2 4 ，支持n - i s d n 的h 3 2 0 ，支持b - i s d n 的h 3 1 0 等。 1 13m p e g 一4 t p e g 一4 专家组成立于1 9 9 3 年，该标准的目标是支持多媒体应用( 主要侧重 与对多媒体信息内容的访问) ，可根据应用的不同要求现场配置解码器，于1 9 9 9 年发布。m p e g 一4 技术包含两个主要部分：视昕对象的编码工具集和描述编码工 具、编码对象的句法语言。 m p e g 一4 的功能不仅需要访问整个图像序列，而且需要访问整个对象。与图 像相同的是，一个对象也被规定为一个访问单元；与图像不同的是希望它具有语 义上的意义。m p e g - 4 通过用运动、纹理和形状对物体独立地编码，使与视频对 象进行基于内容的交互成为可能。在解码器中，不同的对象综合成一个场景并加 以显示。为了实现这个功能，需要开发较高级的句法结构。一个场景是由几个视 频对象( v o ) 组成。一个v o 可由几个视频对象层( v o l ) 组成。v o l 的一个时间瞬间 称为一个视频对象平面( v o p ) 。一个v o p 是一个矩形视频或它的一个部分，可由 其纹理变化和其形状完全描述。视频编码器把运动、纹理和形状编码工具用于 v o p ，使用的i ，p 和b 模式类似于m p e g 一2 的编码模式。为编辑和随机访问，相 继的v o p 可组成一个视频对象平面组( g v o p ) 。除了以上m p e g 一4 的基于对象的性 质引起视频编码的明显改变之外，还引入以下工具提高其编码效率： ( 1 ) 与m p e g - 1 2 相比改进了的d c 系数预测方法：选择当前块的左边块或 者上边块作为预测器来预测当前d c 系数值。 ( 2 ) 新的a c 系数预测方法：用左边块和上边块预测当前块的第一列a c 系 数或第一行a c 系数。 ( 3 ) 交替水平扫描方法。 ( 4 ) 与1 t 2 6 3 类似的三维d c t 系数的v l c 编码方法。 l n - 大学硕士学位论文 ( 3 ) 先进预测模式： ( 4 ) p b 帧模式； ( 5 ) 基于语法的算术编码。 目前h 2 6 3 已被多个多媒体终端标准所采纳，包括支持p s t n 与无线网的 h 3 2 4 ，支持n - i s d n 的i t 3 2 0 ，支持b - i s d n 的h 3 1 0 等。 船e g4 专家组成立于19 9 3 年，该标准的目标是支持多媒体应用( 主要侧重 与对多媒体信息内容的访问) ，可根据应用的不同要求现场配置解码器，于1 9 9 9 年发布。m p e g 一4 技术包含两个主要部分：视听对象的编码工具集和描述编码工 具、编码对象的句法语言。 m p e g4 的功能不仅需要访问整个图像序列，而且需要访问整个对象。与图 像相同的是，一个对象也被规定为一个访问单元；与图像不同的是希望它具有语 义上的意义。m p e g - 4 通过用运动、纹理和形状对物体独立地编码，使与视频对 象进行基于内容的交互成为可能。在解码器中，不同的对象综合成一个场最并加 以显示。为了实现这个功能，需要开发较高级的句法结构。一个场景是由几个视 频对象( v 组成。一个v 0 可由几个视频对象层( v o l ) 组成。v o l 的一个时间瞬间 称为一个视频对象平面( v o p ) 。一个v o p 是一个矩形视频或它的一个部分，可由 其纹理变化和其形状完余描述。视频编码器把运动、纹理和形状编码工具用于 v o p ，使用的i ，p 和b 模式类似于m p e g2 的编码模式。为编辑和随机访问，相 继的v o p 可组成一个视频对象平面组( g v o p ) 。除了以上m p e g4 的基于对象的性 质引起视频编码的明显改变之外，还引入以下工具提高其编码教率： ( 1 ) 与m p e g 一1 2 相比改进了的d c 系数预测方法：选择当前块的左边块或 者上边块作为预测器来预测当前d c 系数值。 ( 2 ) 新的a c 系数预测方法：用左边块和上边块预测当前块的第一列a c 系 数或第一行a c 系数。 ( 3 ) 交替水平扫描方法。 ( 4 ) 与h 2 6 3 类似的三维d c t 系数的v l c 编码方法。 ( 4 ) 与t 1 2 6 3 类似的三维d c t 系数的v l c 编码方法。 上海大学硕士学位论文 ( 5 ) 与h 2 6 3 类似的可选8 8 块运动向量。 ( 6 ) 无限制运动向量，与h 2 6 3 相比，可以使用更宽的运动向量范围( _ + 2 0 4 8 像素) 。 ( 7 ) 全局运动补偿。 ( 8 ) 精确到1 4 像素的运动补偿。 为了更好的适用于无线通信等带宽随时间变化的应用场合，m p e g 一4 标准不 仅支持包括空域、时域、信噪比、数据分割等分级编码技术，还引入了分级步长 更精确的精细分级编码( f g s ) 技术。最新的视频编码标准h 2 6 4 a v c 虽然压缩 效率与m p e g 一4 相比有相当大的提高，但目前还没有把对分级编码的支持写入标 准，这也是本文研究的目的所在。 1 2 本文内容安排与研究成果 本论文基于国际视频编码标准h 2 6 4 a v c ，以实现空域分级编码为目标，参 考h 2 6 4 a v c 测试模型j m 7 2 基本算法，在保证基本层编码方式不变的前提下， 增加了增强层空域分级编码功能，为先进的h 2 6 4 a v c 视频编码标准应用于卫星 电视传输或移动数字电视等做了基础。论文共分四章，主要内容安排如下： 第一章绪论。主要总结了国际视频编码标准发展的概况和h 2 6 4 a v c 相对于 其它视频标准的优势，并由此说明了本课题研究的必要性。 第二章分级编码方法概述。本章主要介绍了目前各种视频分级编码技术的原 理，包括空域分级编码、时域分级编码、信噪比分级编码、数据分割以及精细粒 度可分级编码，为后来章节空域分级编码器的设计提供理论依据。 第三章基于h 2 6 4 a v c 的空域分级编码。本章首先简要介绍了h 2 6 4 a v c 视 频编码标准的主要技术，然后重点阐述了空域分级编码器的整体框架设计以及主 要算法的实现并给出了实验测试结果。 第四章结束语与展望。对研究生期间所做工作的总结，并对下一步要做的作 了展望。 上海大学硕士学位论文 第二章分级编码技术 随着移动通信的快速发展，移动多媒体成为移动通信发展的新热点，第三代 移动通信( 3 g ) 标准的制订使得通过无线信道传输视频信息成为可能。与以往的 压缩标准相比，新的多媒体信息压缩传输标准t t 2 6 4 a v c 提供了一个更高的压缩 效率，速率上满足了要求。然而无线信道的不可靠传输会将随机误码引入比特流 中，多径传播也会导致突发误码。而且，在无线应用中无线链路的可用带宽是有 限的，并且会因为网络流量而在一个较宽的范围内变化。在这种情况下，编码器 不再知道信道的容量，不再使视频质量在一定比特率下达到最优。因此，适合无 线传输的视频编码是在一段给定的比特率范围内而不是原来的一个给定的比特 率。传统的视频编码是对于给定比特率的视频进行编码，但对于无线应用要有所 改变。可分级的视频编码能解决此类问题 2 9 。 分级编码的目的有两个：一是在不同的业务之间提供互操作性 ( i n t e r o p e r a b i l i t y ) ，以灵活的方式支持具有不同显示功能的各种电视接收机。 对那些无能力或无要求再现视频全部清晰度的接收机，可只对分层数据流的子集 进行解码，显示1 个较低的空间或时间清晰度的低质量视频图像。这是通过在信 噪比型( s n rp r o f i l e ) 子集中采用分级编码实现的，即随着接收条件变差，使 图像质量适度降低，以防出现数字广播固有的“峭壁效应”。二是对h d t v 信源进 行分级编码，使其能灵活地支持多种清晰度，实现h d t v 与s d t v 产品的兼容，避 免很耗费地将两个单独的数据流专门、分别地传输给h d t v 和s d t v 接收机。即要 避免采用同播( s i m u c a s t ) 方式，因为该方式是将每个视频节目以不同的空间分 辨率、帧速率、码率等参数编码，传送给相应用户，带来了不必要的经济负担。 这可由本文所研究的空间分级编码来实现。 分级编码的基本思想是先形成一个低分辨率的基本层图像，以低码率传输， 在此基础上每附加一层代表图像细节的信息，就使图像的分辨率提高一个档次。 分级编码在实现高分辨率电视和现行电视的兼容，实现图像的分级传输，在传输 条件恶化时可保证不破坏或中断图像，以不同传输速率显示不同质量的图像等方 面均发挥着重要作用。主要的分级编码方法有空间域可分级( s p a t i a l 上海大学硕士学位论文 s c a l a b l e ) 、时间域可分级( t e m p o r a ls c a l a b l e ) 、信噪比可分级( s n rs c a l a b l e ) 、 数据分割( d a t ap a r t i t i o n i n g ) 以及m p e g 一4 采用的f g s ( f i n eg r a n u l a r i t y s c a l a b l e ) 。 2 1空域分级编码” 空域分级可应用于视频流的选择、视频数据库浏览以及h d t v 和s d t v 分级传 输等领域即需要至少两个空间分辨率层次的视频系统中。空域分级包括从一个视 频源产生两个或多个不同空间分辨率的视频层。由于本文设计的空域分级编码器 是针对h d t v m s d t v 的应用