（计算机应用技术专业论文）基于H264标准的码率控制研究.pdf

基于h 2 6 4 标准的码牢控制研究 摘要 h 2 6 4 a v c 是国际电信联合会( i t u t ) 和国际标准化组织( i s o i e c ) 共同研究 并发布的下一代视频压缩标准。该标准为了使视频压缩编码在比特率受限条件下， 得到最优化的压缩效率，其宏块编码采用了率失真优化策略和码率控制技术。同 时，h 2 6 4 标准中只规定了视频码流的语法和解码的方法，没有对码率控制给出明 确的定义，这就为码率控制的研究提供了广阔的空间。本文对h 2 6 4 a v c 所采用 的主要编码技术中的码率控制算法进行了研究。 首先介绍了视频编码标准的发展，h 2 6 4 标准的系统组成、帧问预测、帧内预 测、整数变换及量化、熵编码、率失真优化等关键技术。 其次，介绍了码率控制的原理及信源模型，分析了视频编码中的经典码率控 制算法，并对j v t g o l 2 的码率控制算法进行了深入研究。 最后，通过对h 2 6 4 码率控制原理的分析，提出了一种改进的h 2 6 4 码率控制 算法。该算法利用m a d 和p s n r 计算图像复杂度，并将这种方法应用在基本单元 层的码率控制中，使基本单元目标比特分配更精确；考虑到h 2 6 4 码率控制算法中 m a d 线性预测模型计算复杂度高的缺点，利用图像的空间和时间相关性，采用一 种加权预测模型的基本单元m a d 预测方法，省略参数更新过程以减少计算量。实 验结果表明，改进的码率控制算法很好的解决了m a d 不能准确反映图像编码复杂 度的事实。而加权模型能够很好的降低编码复杂度，并能达到更好的编码效果。 关键词：视频编码；h 2 6 4 ；码率控制；p s n r ；m a d i i 高校教师硕上研究生学位论文 a b s t r a c t i t u ta n di s o i e cj o i nt oe s t a b l i s ha n dr e l e a s ean e wg e n e r a t i o ni n t e r n a t i o n a l v i d e oc o d i n gs t a n d a r d ：h 2 6 4 a v c i tu s e st h er a t ed i s t o r t i o nm o d e lt oc o n t r o lt h eb i t r a t e ，a n dt oa c h i e v et h eb e s te f f i c i e n c yo fc o m p r e s s i o nu n d e rt h es i t u a t i o nw h e nt h e b i tr a t ei sr e s t r i c t e d h 2 6 4s t a n d a r do n l yp r e s c r i b e sv i d e oc o d i n gb i ts t r e a ms y n t a x a n dt h em e t h o do fd e c o d i n gb u th a sn od e f i n i t i o na b o u tr a t ec o n t r 0 1 i tp r o v i d e sm o r e w i d e rs p a c ef o rs e a r c h i n g i nt h i s t h e s i s ，t h e r a t ec o n t r o la l g o r i t h mi sb e e n i n v e s t i g a t e d f i r s t l y ，w ei n t r o d u c et h ed e v e l o p m e n to ft h ev i d e oc o d i n gs t a n d a r d ，a n dd i s c u s s t h ek e yt e c h n i q u eo fh 2 6 4 ，i n c l u d i n g s y s t e mc o m p o s i t i o n ，i n t e r - p r e d i c t i o n ， i n t r a p r e d i c t i o n ，i n t e g e rt r a n s f o r m ，e n t r o p yc o d i n g ，r a t ed i s t o r t i o no p t i m i z a t i o na n ds o o n s e c o n d l y ，t h em e c h a n i s mo ft h er a t ec o n t r o la n di n f o r m a t i o nc o d i n gm o d e li s d e s c r i b e d t h ec l a s s i c a lr a t ec o n t r o l a l g o r i t h m i nt h ev i d e oc o d i n gs t a n d a r di s a n a l y z e d ，a n dw i t had e e pr e s e a r c ho nt h er a t ec o n t r o la l g o r i t h mi nj v t - g 0 12 f i n a l l y ，t h r o u g ha n a l y s i so ft h er a t ec o n t r o li nh 2 6 4 ，a ni m p r o v e dr a t ec o n t r o l m e t h o di sp u tf o r w a r d i nt h i sm e t h o d ，a ni m p r o v e df r a m ec o m p l e x i t ym e a s u r et h a t u s e sac o m b i n a t i o no fm a d - - b a s e dm e a s u r ea n dp s n r - b a s e dm e a s u r ei sa p p l i e di nt h e b a s i cu n i t l a y e rr a t e c o n t r 0 1 s ot h a tm o r ea c c u r a t et a r g e tb i t sa l l o c a t i o ni s a c h i e v e d w i t ht h ec o m p u t a t i o n a lc o m p l e x i t yo ft h el i n e a rm o d e lf o rm a d p r e d i c t i o n t a k e ni n t oc o n s i d e r a t i o na n du s i n gt h es p a c ea n dt e m p o r a lc o r r e l a t i o na m o n gt h e s e q u e n c e s ，a na l g o r i t h mn a m e dt h ew e i g h t e dm o d e li sp r e s e n t e dt op r e d i c tt h em a d s o ft h eb a s i cu n i t ，w h i c ha v o i d st h ep r o c e s so fu p d a t i n gt h ep a r a m e t e r sa n dr e d u c e st h e c o m p u t a t i o n a lc o m p l e x i t y r e s e a r c hr e s u l t ss h o wt h a t t h e s ei m p r o v e m e n t sc a n c o m m e n d a b l ys o l v et h ep r o b l e mt h a tm a dc a nn o ta c c u r a t e l yr e f l e c tp i c t u r e c o m p l e x i t y t h ep r e c i s i o no ft h ew e i g h e dm o d e ld e p r e s s e sc o d i n gc o m p l e x i t y c o m m e n d a b l y ，a n dh a sag o o dc o d i n ge f f i c i e n c y k e yw o r d s ： v i d e oc o d i n g ；h 2 6 4 ；r a t ec o n t r o l ；p s n r ；m a d i i i 高校教师硕士研究生学位论文 附表索引 表1 1 视频标准的发展4 表2 1 块模式的组合方案1 5 表2 2 多种尺寸的测试结果一1 5 表5 1 编码器参数配置一4 4 表5 2 视频序列参数配置4 5 表5 3 目标码率为3 2 k b i t s 和6 4 k b i t s 4 9 表5 4 目标码率为5 1 2 k b i t s 和1 0 2 4 k b i t s 5 0 v i l 基于h 2 6 4 标准的码率控制研究 插图索引 图1 1 码率控制原理5 图2 1h 2 6 4 编码器结构框架图9 图2 2h 2 6 4 a v c 的分层结构图1 0 图2 31 6 1 6 预测模式1 3 图2 44 x 4 亮度预测模式13 图2 5 多种块模式定义1 4 图2 6 多参考帧编码示意图1 7 图3 1 典型的r d 曲线2 l 图4 1 码率控制流程图3 6 图5 1g l a s g o w 的p s n r 曲线比较( 目标码率3 2 k b p s ) 4 6 图5 2t r e v o r 的p s n r 曲线比较( 目标码率6 4 k b p s ) 一4 6 图5 3f o o t b a l l 的p s n r 曲线比较( 目标码率5 1 2 k b p s ) 4 7 图5 4g l a s g o w 的b u f f e r f u l l n e s s 曲线比较( 目标码率3 2 k b p s ) 4 7 图5 5t r e v o r 的b u f f e r f u l l n e s s 曲线比较( 目标码率6 4 k b p s ) 4 8 图5 6f o o t b a l l 的b u f f e r f u l l n e s s 曲线比较( 目标码率5 1 2 k b p s ) 4 8 v i 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的 研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均 已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。 作者签名：专河云曳谤叉 日期：2 。勺g 年，月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 1 保密口，在一年解密后适用本授权书。 2 不保密商。 ( 请在以上相应方框内打”、”) 作者签名：糟影淑日期：二。f 年月日 导师签名。帅日期：锄。8 年月日 高校教师硕十研究生学位论文 1 1 视频编码基本原理 第1 章绪论 图像通信是近年来取得长足发展的现代通信技术，相应产品的需求也迅速增 长，主流应用包括视频通信、安全监控与工业自动化，如d v d 、高清晰度电视 h d t v ( h i g hd i g i t a lt e l e v i s i o n ) 、卫星电视、高清( h d ) 机顶盒、因特网视频流、 数码相机与高清( h d ) 摄像机。数字视频的主要挑战在于未压缩的视频需要存储 或传输大量数据。视频图像压缩的进步则是通信发展中的重要组成部分。视频图 像数据有很强的相关性，也就是说存在大量的冗余信息。在信息论中，通过减小 冗余而进行的数据压缩处理称为视频编码。视频序列中含有三类冗余：统计冗余、 心理视觉冗余和编码冗余。其中统计冗余表现为图像信号在时域和空域的高相关 性，而心理视觉冗余则起源于人眼对某些空间频率的感觉迟钝，编码冗余表现为 符号编码平均码长和信源熵之间的偏差。冗余程度越高，可压缩程度也就越高。 研究视频信号中冗余消除方法、实现信息传输、存储和处理的有效性和可靠性是 视频编码的主要关心问题1 1 1 。 心理视觉技术主要是针对人类视觉系统极限。有研究表明：人视觉系统h v s ( h u m a nv i s u a ls y s t e m ) 的频率响应随着空间频率的增长而降低，而且这种关系 在色差通道上表现尤为明显。这就是说，在明暗变化慢的区域上的微小变化比明 暗变化快的区域上更明显，同样，亮度变化比同等色度变化更明显。显然，没有 必要表征那些不能被感知的信息，或者说，一定程度的压缩损失是人的视觉系统 是感知不出来的。h v s 对色差信号的这种不敏感特性常被用作降低原始编码数据 量的重要手段。在色差格式4 ：2 ：2 中，色差信号c b 、c r 分别在水平方向上做 了2 ：1 的降采样( d o w ns a m p l i n g ) ，与原始数据相比，数据量降低了3 3 ；在 色差格式4 ：2 - 0 中，色差信号c b 、c r 分别在水平和垂直方向上做了2 ：1 的降 采样，相应的数据量降低了5 0 。这两种降采样方式分别可以获得1 6 6 7 和2 倍 的压缩比。 按照压缩后的数据是否能够完全还原成原始数据划分，信源编码可以分为无 损编码和有损编码。无损编码可以精确地恢复原始数据。无损编码的常用方法有 h u f f m a n 编码、游程编码r l c ( r u nl e n g t hc o d i n g ) 等。但无损编码的压缩比通 常比较低，约在2 ：l 左右，这远远不能达到视频应用对压缩比的要求。例如在 d v d 上存储两个小时c c i r 一6 0 1 电影，需要将码率降低到5 m b p s 左右，这就是说， 编码的压缩比至少要达到3 3 ：1 ；在综合业务数字网i s d n ( i n t e g r a t e ds e r v i c e s 摹于h 2 6 4 标准的码牢控制研究 d i g i t a ln e t w o r k ) 上以7 6 8 k b p s 速率传输未经压缩的同样的电影大约需要l8 天时 间，为能够实时传输，压缩比必须达到2 1 4 ：1 。这么高的压缩比开始被认为是很 难达到，但随着基于主观视觉评价方法的引入和有损压缩编码的进展，分形、小 波和混合m c - d p c m t ( d i f f e r e n t i a lp u l s ec o d i n gm o d u l a t i o n t r a n s f o r m ) 等编码 方案已经成功地解决了这个问题。 不同于无损编码，有损编码采用折衷的方法，以损失保真度换取压缩比的增 加。有损压缩和无损压缩的一个主要区别是前者采用了量化器，而后者没有。量 化是一种多对一的映射，因此，引入量化器不可避免地存在失真。目前， m c d p c m t 是一种主流的有损编码方案，现在所有的视频编码标准都是采用这 种方式，它在使用r l c 、h u f f m a n 编码或算术编码消除编码冗余外，还使用 m c d p c m 消除视频信号的时域冗余，使用变换消除空域冗余。 d p c m 的基本原理是基于图像相邻像素之间具有较强的相关性。每个像素可 以根据以前已知的像素值预测。因此，在编码中传输的不是像素取样值本身，而 是取样值的预测值和实际值之间的偏差。d p c m 可以提供一个中等程度的压缩： 不过它的实现相对简单，已被各种视频编码标准采纳用来消除视频信号的时域相 关性。 变换编码，已有三十多年的研究历史，已被证明是一种高效的图像压缩方法， 是迄今为止所有有损编码国际标准的基础，它可以有效地消除图像数据之间的空 间相关性。基本的变换编码是把图像分割成块，逐块进行二维正交变换、量化， 最后对量化后的系数进行编码。常见的变换有，d f t ( d i s c r e t ef o u r i e rt r a n s f o r m ) 、 d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 、h a d a m a r d 和h a r r 变换。其中d c t 在相邻像 素间的相关系数逼近l 时有类似于k l t ( k a r h u n e n l o e v et r a n s f o r m ) 的特性。除 了h 2 6 4 外，其它所有视频编码标准都是采用离散余弦变换d c t ( d i s c r e t ec o s i n e t r a n s f o r m ) 。d c t 能够很容易地提供2 5 ：1 的压缩比而视觉效果没有明显降低。 其他编码方式如分形编码能够提供较高的压缩比，但处理复杂度高，而视频 处理有严格的延时要求，实际应用并不广泛。近来，随着小波技术的进展，它已 在许多应用中崭露头角。 1 2 视频编码标准概述 国际上音视频编解码标准主要有两大系列：国际标准化组织( i s o ) 运动图 像专家组m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 制定的应用于多媒体业务的 m p e g x 系列标准，数字电视采用的是m p e g 系列标准；国际电信联盟( i t u t ) 针对多媒体通信制定的h 2 6 x 系列视频编码标准。1 9 8 4 年c c i t t 第1 5 研究组成 立了一个专家组，专门研究电视电话的编码问题，经过5 年以上的研究和努力， 在1 9 9 0 年1 2 月完成和批准了c c i t t 推荐书h 2 6 1 【，被称为视频压缩编码的一 2 高校教师硕十研究生学位论文 个里程碑。从此，i t u t 、i s o 等公布的基于波形的一系列视频编码标准的编码方 法都是基于h 2 6 l 中的混合编码方法。 1 9 9 8 年，i t u t 推出h 2 6 3 标准【2 1 ，用于低于6 4 k b p s 的低码率视频传输， 如p s t n 信道中可视会议、多媒体通信等。1 9 9 9 年和2 0 0 0 年又分别公布了h 2 6 3 + 、 h 2 6 3 + + 等标准。 1 9 9 9 年1 2 月份，i s o i e c 通过了“视听对象的编码标准”m p e g 4 ，它除 了定义视频压缩编码标准外，还强调了多媒体通信的交互性和灵活性。 这些视频压缩标准在当前多媒体通信领域内得到了广泛的应用，如h 2 6 1 在 i s d n 视频会议，h 2 6 3 在可视电话、视频会议，m p e g 1 在v c d ，m p e g 2 在 d v d 中的应用等。其中m p e g 2 是当前公认最成功的视频压缩标准，虽已历时十 余年，但仍在d v d 、数字卫星广播、数字机顶盒等领域得到广泛应用。m p e g 4 是一个在编码效率和编码质量上都较为优秀的视频编码标准，但是由于专利费的 问题，没有得到业界的广泛支持。 1 9 9 8 年i t u t 的视频编码专家组开始了一个新的视频编码标准h 2 6 4 的 草案征集工作，h 2 6 4 希望能够提供更高的编码效率，适应更多的网络媒体应用。 1 9 9 9 年1 0 月形成了第一个标准草案，2 0 0 1 年1 2 月v c e g 和m p e g 组织合作成 立了一个名为j v t ( j o i n tv i d e ot e a m ) 的国际组织继续h 2 6 4 的制定工作。2 0 0 3 年3 月，i t u t 和i s o i e c 正式公布了h 2 6 4 视频压缩标准，i t u t 组织将这个 标准称为h 2 6 4 ，i s o 组织称其为m p e g 4p a i r t l 0a d v a n c e dv i d e oc o d i n g ( a v c ) 。 由于h 2 6 4 采用了1 4 象素精度运动估计、帧内预测、多预测参考帧、基于上下 文的自适应二进制算术编码( c a b a c ) 等技术，不仅显著提高了压缩比，而且具 有良好的网络亲和性，加强了对i p 网、移动网的误码和丢包的处理，使得其编码 效率得到了大大提高。 相对于国外如火如荼的标准制度工作，国内在此方面还很落后。为了摆脱我 国多媒体产品开发和生产企业受制于国外编码标准的现状，推动我国数字电视、 激光视盘、芯片产业的发展，我国“数字视音频编解码技术标准化工作组”于2 0 0 2 年6 月2 1 日正式宣布成立。工作组成员来自国内数十家科研单位和家电领域的重 要企业。该组织在信息产业部科技司的领导下，负责我国数字视音频多媒体的压 缩、解压缩、处理和表示等编解码技术标准( a v s ) 的制定工作，其工作成果将 由信息产业部科技司作为行业标准发布。国际标准的推出时间及主要应用如表 1 1 3 1 所示。 基于i t 2 6 4 标准的码率控制研究 1 3 码率控制概述 到目前为止，视频编码标准通常采用去除时空域相关性的帧内帧间预测、离 散余弦变换量化和熵编码技术，以达到较高的编码效率。对视频通信而言，由于 通信信道带宽有限，需对视频编码码率进行控制，来保证编码码流的顺利传输和 信道带宽的充分利用。针对不同的应用场合，学者们提出了多种码率控制( r a t e c o n t r 0 1 ) 策略。 码率控制算法1 4 j 就是动态调整编码器参数，得到目标比特数。它为视频序列 中的图像组g o p ( g r o u po fp i c t u r e s ) 、图像或者子图像分配一定的比特。现有 的码率控制算法主要是通过调整离散余弦变换的量化参数q p ( q u a n t i z a t i o n p a r a m e t e r ) ”】大小输出目标码率。实际上，量化参数q p 反映了空间细节压缩情 况，如量化参数q p 小，大部分的细节都会被保留；量化参数q p 增大，一些细 节丢失，码率降低，但图像失真加强和质量下降。也就是说，量化参数q p 和比 特率成反比的关系，而且随着视频源复杂度的提高，这种反比关系会更明显。 码率控制有两种模式：可变比特控制v b r ( v a r i a b l eb i tr a t e ) 6 1 和固定比特 控制c b r ( c o n s t a n t sb i tr a t e ) l7 】【8 】。可变比特控制v b r 模式是一种开环处理， 输入为视频源和一个量化参数q p 值。由于实际视频序列中的图像复杂度是不断 变化的，细节多少、运动快慢等等，比特率也相应变化，不稳定。固定比特控制 c b r 模式是一种闭环处理，输入为视频源和目标比特。它根据对源复杂度估计、 解码缓冲的大小及网络带宽估计动态调整量化参数q p ，得到符合要求的码率。 图1 1 件一种简单的控制原理图。在这个模型中，编码器缓冲区是用来避免 输出码率的波动。通过检测缓冲区的充盈情况，码率控制器通过调整量化参数来 4 高校教师硕： ：研究生学位论文 控制输出码率，同时要保证缓冲区不发生上溢和下溢。它们不仅从比特流中移除 了真正冗余的信息，同时也消除了某些不太重要的细节信息，其量化参数q p 的 大小直接决定了保留多少空间细节纹理信息：在量化参数q p 很小时，会保留几 乎所有的空间细节信息，输出码率也较高；而随着量化参数q p 逐渐增大，所保 留空间细节信息逐渐减少，输出码率也会随之降低，同时也会导致重建图像失真 度增加，图像质量下降。换言之，在量化处理过程中使用q p 来控制比特率。量 化参数越大，编码同一帧所产生的比特数就越少，但解码后的图象质量就越差。 因此，码率控制的最大挑战就是在目标比特率和输出图像质量上找到一种最优的 平衡。 传输系数 - - - - - - + 图1 1 码军控制原理 码率控制中的性能指标有码率、缓冲延时、缓冲区状态等。在视频编码过程 中，决定输出码率比特数的直接因素为d c t 变换后系数的量化参数q p 。因此码 率控制的基本方法就是根据信道速率和缓冲区状态来调整量化参数q p 。 因此码率控制一般分为两步【9 】，一步是根据输出信道的比特数和缓冲区状态， 为当前帧或宏块分配一定的比特数，一般称为目标比特数；第二步是根据率失真 模型，结合目标比特数，计算出量化参数，然后用该量化参数进行编码。 1 4 本文的主要工作 码率控制通常采用在系统中加入反馈控制装置，使系统整个特性发生变化， 从而满足给定的各项性能指标。在整个视频编码的过程中，有几个环节是码率控 制的主要环节，主要包括：变换、量化和缓冲区调整、分层编码( 即可分级编码、 精细编码) 、网络状况反馈调节编码等过程，在这几个方面进行研究。另外结合传 统的码率控制策略如后向控制、前向控制、联合前后向控制等方法。 本文主要针对h 2 6 4 编码标准，对视频编码器中的各个编码环节及缓冲区的 相应调整来研究码率控制，提高编码效率。本文对h 2 6 4 视频编码标准和码率控 制算法进行了深入的研究。主要研究工作有： l 、对h 2 6 4 编码器的结构和关键技术进行了详细的分析研究； 2 、论述了码率控制的原理和编码模型，重点分析了率失真优化技术在h 2 6 4 5 基于h 2 6 4 标准的码牢控制研究 中的应用； 3 、分析了h 2 6 4 的码率控制策略； 4 、在h 2 6 4 编码标准模型的基础上提出了一种改进的h 2 6 4 码率控制算法， 并通过仿真证明算法的可行性。 1 5 论文结构 本文的研究主要以基于h 2 6 4 的视频通信的应用为背景，在现在测试模型中 所采用的码率控制算法j v t g 0 1 2 的基础上对h 2 6 4 的码率控制算法进行研究和 改进。 本文结构安排如下： 第一章，绪论，介绍视频编码的基本原理和编码标准的概述，并简单介绍一 下码率控制原理。 第二章，首先阐述了视频压缩的原理，并详细地介绍了h 2 6 4 的编码框架以 及新的特性及其关键技术。 第三章，本章分析了码率控制技术的背景和基本原理，重点分析了率失真理 论，在此基础上对视频编码国际标准中的经典的码率控制算法进行了详细介绍。 第四章，首先对h 2 6 4 码率控制算法的一些基本概念进行了介绍，然后描述 了h 2 6 4 码率控制算法中j v t g 0 1 2 提案所提出的算法的具体策略，分析了其优 越性。 第五章，提出了平均绝对差值m a d ( m e a na b s o l u t ed i f f e r e n c e ) 和峰值信噪 比p s n r ( p e a ks i g n a ln o i s er a t i o n ) 联合估计当前基本单元的复杂度；在复杂度 估计中，针对二次r q 模型复杂度高的缺点，提出了一种加权预测模型的基本单 元m a d 预测方法，省略参数更新过程以减少计算量。 结论，对该技术的总结与展望。 6 高校教师硕士研究生学位论文 第2 章视频编码标准h 2 6 4 2 1h 2 6 4 的产生背景及意义 1 9 9 9 年i t u t 以h 2 6 3 为基础，开始研究新一代的低码率视频压缩标准 h 2 6 l 。为了响应i s o i e c 的m p e g 对先进视频编码技术的需求，i s o i e c 与i t u t 在2 0 0 1 年成立联合视频工作组，在h 2 6 l 的基础上开发新的标准，即联合视频 组j v t ( j o i n tv i d e ot e a m ) 标准。在i s o i e c 中，该标准的正式名称为m p e g 4 a v c 似d v a n c e dv i d e oc o d i n g ) 标准，作为m p e g 4 标准的第十部分；在i t u t 中 的正式名称为h 2 6 4 标准。 这个国际标准已于2 0 0 3 年3 月被i t u t 所通过并在国际上正式颁布。应该 说，h 2 6 4 的颁布是视频压缩编码学科发展中的一件大事，它的优异的压缩性能 也将在数字电视广播、视频实时通信、网络视频流媒体传递以及多媒体短信等各 个方面发挥重要作用。 数字电视的优越性已是公认的，但它的广泛应用还有赖于高效的压缩技术。 例如利用m p e g 2 压缩的一路高清晰度电视( h d t v ) ，约需2 0 m b s 的带宽，有 人作过初步试验，如利用h 2 6 4 进行一路h d t v 的压缩，大概只需5 m b s 的带宽。 众所周知，美国已公布在2 0 10 年( 我国约在2 0 15 年) 停止模拟电视广播，全部 采用数字电视广播，如果那时h d t v 要获得迅猛发展，必须要降低成本。以传输 费用而言，采用h 2 6 4 ，可使传输费用降为原来的1 4 ，这是一个十分诱人的前景。 据了解，这次2 0 0 8 年在我国北京举行的奥运会，也将是一个“科技奥运”，h d t v 必然将呈现在人们的眼前一个高质量的压缩性能优异的h 2 6 4 视频编码技术和设 备的市场前景是可以想象的。现在有很多省市( 如北京、上海等) 已在有线电视 信道上开通了数字电视，采用压缩性能优异的h 2 6 4 显得更为迫切。 视频通信是h 2 6 4 又一个重要应用，上世纪9 0 年代初以来，会议电视在我国 获得了迅速发展，主要是利用它召开行政会议，其优点是节约大量旅途出差时间， 节约出差费用，还争取了时间及时作出了重大决策，短短几年，全国从中央到省， 到地市甚至县，建立了几千个会议电视室，在国民经济的发展中发挥了重要作用， 其不足之处为：( 1 ) 不方便：必须到电信局专门的电视会议室才能参加会议，这 对一些领导同志更是十分不便；( 2 ) 价格昂贵：当时采用h 2 6 1 作为视频压缩编 码标准，压缩比不高，而且图像质量也不够好，设备价格昂贵，传输费用也昂贵； 可视电话是视频通信的另一个重要应用，人们一直把它作为实现古人的“千里眼、 顺风耳”理想的通信工具，可是直到今天，尚未很好地广泛地被应用，其中一个重 7 基于h 2 6 4 标准的码率控制研究 要原因是视频质量不理想，这与视频压缩技术有密切关系。特别是，由于互联网 在9 0 年代的迅猛发展，人们希望利用i p 技术传输视频，现在人们已可看到，在 网络流量不大时，人们看到的可视电话质量尚能接受( 尽管也不是很好) ，由于 i p 数据流的突发性，当流量大时，网络会发生拥塞，这时经常发生丢包、误码， 看到图像中带有不少方块，这样的视频质量是无法让人们接受的，于是对视频编 码的要求，不仅仅要高压缩比，而且应在恶劣的传输条件下具有抗阻塞、抗误码 的鲁棒性。h 2 6 4 不仅具有优异的压缩性能，而且具有良好的网络亲和性，这对 实时的视频通信是十分重要的。现在已有基于d s p 的采用h 2 6 4 编码的可视电话 出现在市场上，进一步说明了在视频通信中h 2 6 4 的重要应用价值。 h 2 6 4 还有一个重要应用，即网络的流媒体。众所周知，应用流媒体技术的 电视点播( v o d ) 最近有了迅速发展，韩国的宽带上网的应用中v o d 占据了第 二位。我国宽带上网用户今年已达l0 0 0 万户以上，而且还在继续发展，v o d 的 迅速发展也是可以期待的。 多媒体短信息也是h 2 6 4 的重要应用之一，我国的短信市场正方兴未艾，相 信多媒体短信也将有巨大发展。 m p e g 4 中的重点是灵活性，h 2 6 4 着重在压缩的高效率和传输的高可靠性， 因而其应用面十分广泛，具体说来，h 2 6 4 支持三个不同档次i io 】： 1 、基本档次：利用i 片和p 片支持帧内和帧间编码，支持利用基于上下文的 自适应的变长编码进行的熵编码( c a v l c ) 。主要用于可视电话、会议电视、无 线通信等实时视频通信。 2 、主要档次：支持隔行视频，采用b 片的帧内编码和采用加权预测的帧内 编码，支持利用基于上下文的自适应的算术编码( c a b a c ) 。主要用于消费电子 应用，如数字电视广播，数字视频存储等。 3 、扩展档次：支持码流之间有效的切换( s p 和s i 片) 、改进误码性能( 数 据分割) ，但是不支持隔行视频和c a b a c ，主要应用于流媒体中，如视频点播。 2 2h 2 6 4 的编码框架 h 2 6 4 a v c 并不明确地规定一个编解码器如何实现，而是规定编码视频比特 流的句法和该比特流的解码方法。各个厂商的编码器和解码器在此框架下应能够 互通，在实现上具有较大灵活性，而且有利于相互竞争。 和以往的视频编码标准一样，h 2 6 4 在编码框架上还是沿用以往的m c d c t 结构，即运动补偿加变换编码的混合编码( h y b r i dc o d i n g ) 结于。其基本算法通过 帧间预侧和运动补偿来消除视频序列中的时域冗余，经过变换编码消除空域冗余。 h 2 6 4 a v c 编码器框架结构如图2 1 所示【1 0 j ，输入的图像帧或者是场都是以宏块 为单位进行处理的。每个宏块都以i n t e r 和i n t r a 两种方式进行编码。 8 高校教师硕十研究生学位论文 图2 1h 2 6 4 编码器结构框架图 h 2 6 4 编码器在编码过程中，原始数据进入编码器后，如果采用帧内编码， 则选择相应的帧内预测模式进行帧内预测，随后对实际值和预测值之间的差值进 行变换、量化和熵编码，同时编码后的码流经过反量化和反变换之后重建预侧残 差图像，再与预侧值相加得出重构帧，得出的结果经过去方块滤波器平滑后送入 帧存储器；当采用帧间编码时，输入的图像块首先在参考帧中进行运动估计，得 到运动矢量。运动估计后的残差图像经整数变换、量化和熵编码后与运动矢量一 起送入信道传输。同时另一路码流以相同的方式重建后经去方块滤波后送入帧存 储器作为下一帧编码的参考图像。 h 2 6 4 为了在相同的编码框架下实现更高的视频压缩编码性能和更广泛的适 用性，它在每一个功能模块中都引入了新的技术，使各功能模块的实现细节都发 生了重要的改变，下面就这些关键技术进行详细的论述。 2 3h 2 6 4 的主要特征 h 2 6 4 与现有的视频编码标准不同的是它引入了全新的概念把编码标准 分为两个不同的部分：视频编码层v c l ( v i d e oc o d i n gl a y e r ) 和网络适配层 n a l ( n e t w o r ka d a p t a t i o nl a y e r ) 。视频编码层用来有效地描述视频数据；网络适 配层则根据网络特性，负责用适当的方法对编码的数据打包。也就是说，新的 h 2 6 4 标准是一个信源编码和信道编码的混合体。 h 2 6 4 定义的基本信源编码框架表面上看起来与现有的视频编码标准( 如 9 基于h 2 6 4 标准的码率控制研究 h 2 6 3 和m p e g 4 ) 类似，包括基于运动估计运动补偿的预测编码、基于离散余弦 变换d c t ( d i s c r e t ec o s i n et r a n s f o r m ，简称d c t 变换) 的变换编码、可调整数量 化步长的标量量化、z i g z a g 扫描、游程编码和熵编码。但是h 2 6 4 在这个基本编 码框架的许多特定细节有别于所有其它的编码标准。一方面，h 2 6 4 把h 2 6 3 中 的一些已经证明行之有效的可选模式作为h 2 6 4 中的基本模式固定下来，例如先 进的帧内编码模式和基于语法的算术编码模式等；另一方面，h 2 6 4 又加入了一 些新的研究成果，在系统结构、编码方法、变换、运动估计和运动补偿等方面都 提出了许多新的概念，例如可选的1 4 ( 1 8 ) 像素的运动估计、多模式的运动矢量 估计、可交换帧、整数变换、多帧参考等，从而使得h 2 6 4 在压缩率上具有更好 的性能，编码性能也有显著提高。较好地实现了预定的两个主要目标：一是相对 于h 2 6 3 和m p e g 一4 ，视频压缩比提高一倍，或节约5 0 的码率；二是对网络特 别是i p 和无线网络具有较好的抗误码能力。由于其高效的压缩性能和网络友好 性，而成为当前多媒体通信中的研究的热点【1 1 1 1 1 2 儿13 1 。 2 3 1h 2 6 4 a v c 的分层结构 为了保证视频流在不同传输环境中能有效地传输，单纯的高压缩率是不够的， 必须提供有效的方法，使视频流能够与传输协议无缝连接，才能应用到各种网络。 在以前的标准中，m p e g 标准包含系统层，同时制定了h 3 2 0 或h 3 2 4 等独立的 标准来满足视频编码的网络适应性。然而，对于不同的通信系统来说，只有将网 络适应性与视频编码紧密结合起来，才可能获得最佳的传输性能。因此在制定新 一代国际视频编码标准h 2 6 4 a v c 时就考虑了网络友好性，提出了网络抽象层 n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 的概念。可根据实现的功能不同，将编码器分成 两层：视频编码层v c l ( v i d e oc o d i n gl a y e r ) 与网络抽象层n a l ( n e t w o r k a b s t r a c t i o nl a y e r ) ，如图2 2 所示： 图2 2h 2 6 4 a v c 的分层结构图 1 0 高校教师硕十研究生学位论文 n a l 层作为v c l 层与传输层的接口，主要负责v c l 数据的打包、序列和图 像的设置参数( p a r a m e t e rs e t s ) 传输、i d r ( i n s t a n t a n e o u sd e c o d i n gr e f r e s h ) 等，使压 缩后的数据能在不同网络传输【1 4 儿15 1 。n a l 层将视频编码数据抽象成n a l 单元， 根据不同的传输方式，进行n a l 单元封装，h 2 6 4 编码器分层结构图中的h 3 2 4 m 表示用于移动的h 3 2 4 系统。 根据传输网络中数据交换方法的不同，有两种类型的n a l 单元： 针对电路交换网，如h 3 2 0 ，m p e g 2 等，提出字节流格式n a l 单元。n a l 层将视频编码数据封装成字节流格式的单元，每一个单元包含3 个( 或4 个) 字节 的起始前缀，值为0 x 0 0 0 0 0 1 。 针对分组交换网，如r t p i p 或t c p i p 系统等，提出包传输n a l 单元。n a l 层将编码数据直接进行协议封装，而不必进行起始码填充。 根据打包的数据类型不同，又可以将n a l 单元分为v c l n a l 单元和非 v c l n a l 单元。v c l n a l 单元包含视频残差编码数据，对其解码后能够重建图 像。非v c l n a l 单元包含附加信息，如参数集和辅助增强信息( s e i ：s u p p l e m e n t a l e n h a n c e m e n ti n f o r m a t i o n ) 等。 其中参数集包含高层的语法元素，这些信息对解码而言非常重要。v c l n a l 单元解码必须参考参数集里的语法元素，主要有序列参数集和图像参数集。这些 参数如果在传输中出错或丢失，将直接影响其它n a l 单元的解码。 通常这些参数集在v c l n a l 单元前传递，也可通过重复传输来提高其鲁棒 性，防止数据丢失。在一些应用中，参数集可以和v c l n a l 单元在同一信道传 输。在一些特殊环境下，可以采用比视频信道更可靠的传输机制来优先传递参数 集。v c l 层编码集中了近些年来视频编码方面的先进技术，并将它们很好结合起 来，与以前的标准相比，在同等视觉质量的情况下可节省5 0 左右的码率。 2 3 2 视频编码层v c l ( v i d e oc o d i n gl a y e r ) 与以前的标准一样，h 2 6 4 a v c 的v c l 仍然遵循基于块的混合编码框架。 首先将输入图像分割成宏块，利用空间或时间预测去除冗余信息，然