（通信与信息系统专业论文）视频编码中质量、复杂度和码率控制.pdf

摘要 摘要 数字视频是多媒体的重要标志，也是多媒体信号中最具有表现力的成分。但数字视频内 在的高带宽特性限制了多媒体业务的发展。为有效利用传输带宽和存储空间，必须对视频数 据进行压缩。i s o i e c 和删- t 分别制定了m p e g - x 和h 2 6 x 系列标准以便于对数字视频的 处理、传输和存储。除最新的h 2 6 4 外，这些标准都是基于联合m c d p c m d c t 的视频压 缩框架，即采用运动补偿预测和离散余弦变换分别消除视频信号的时域和空域冗余。 视频编码是在码率、质量、处理复杂度、容错性能和交互性等约束条件下的多维优化过 程。本文主要从实时视频应用角度，对混合m c d p c m d c t 视频编码中的处理复杂度、码 率控制和差错控审4 这三方面问题展开了深入的研究。 众所周知，视频处理是多媒体计算中运算开销最大的部分，它的计算复杂度远大于其它 媒体( 文本、语音、音频、图形和静态图象) 。对于实时视频应用环境，视频编码以往大多由 专用设备完成。但随着通用处理器和数字信号处理器r o s a ) 主频的提高、面向视频处理的指 令集出现，使得更为经济、灵活的软件编码成为可能。本文系统分析了m c d p c m d c t 视 频编码原理，从算法和实现这两方面探讨了降低视频编码复杂度的方法，首先重组了编码器 结构；接着对编码过程中的关键模块进行优化。特别地，针对移动视频通信应用，本文提出 了一种低复杂度的高性能运动估值算法；然后将与处理器硬件结构相关的方法引入了优化过 程，提高了数据的处理并行性和访问效率；最后使用查找表或汇编优化对关键模块进行加速。 其次，在码率控制方面，码率一失真( r - d ) 分析和码率控制在视频编码和视频通信系统 中起着至关蘑要的作用。在传统r - d 模型中，码率r 和失真d 都看成量化步长的函数，而 且失真评价函数一般在象素域或空域中进行。本文在压缩域或d c t 域建立了一种失真函数 模型，它能够对编码复杂度提供更加精确和可靠的预测。在此基础上，针对t m 5 模型中存 在的缺陷，本文提出了一种改进的c b r 码率控制算法，它解决了t m 5 中缓冲区不一致性问 题，并增强了算法对场景切换的适应性。对于v b r 码率控制，作者还提出了一种面向实时 视频编码应用的单通道v b r 码率控制算法，它避免了多通道v b r 算法的多次编码或预分 析的开销，减小了量化步长波动，可提供稳定的视频质量。 最后，在视频通信系统中，由于传输信道中噪声或网络中拥塞影响，传输差错和数据包 丢失是不可避免的。与普通的数据传输不同，视频通信受严格的延时限制，不能通过重传机 制保证无差错的传输。预测和可变长编码的使用也使得码流对误码或数据包丢失更加敏感。 本文在分析m c - d p c m d c q 压缩视频特点的基础上研究了各种误码检测方法，并详细讨论 了编码端的误码容错、传输层差错控制、解码端的失真屏蔽以及编码器和解码器交互的差错 控制方法。 关键词：视频编码、运动估值、d c t 、运动补偿、码率控制、c b r 、v b r 、误码控制 孽爱怍考、导邴问麓 囊金交公布 浙江大学博士学位论文 a b s t r a c t m u l t i m e d i ai sc h a r a c t e r i z e d b y i t sv i d e o e a p a b i l i t y s i n c ev i d e oi st h em o s te f f i e i e n t p r e s e n t a t i o nm e t h o da m o n g v a r i o u sd i g i t a lm e d i a s i g n a l s b u td i g i t a lv i d e oh a s a ni n h e r e n t l y h i g h b a n d w i d t h w h i c hl i m i t st h ev i d e oa p p l i c a t i o ni nm u l t i m e d i as e r v i c e s t ou l a x i m i z et h eu s eo f c h a n n e la n ds t o r a g e v i d e os i g n a ln e e dt ob ee f f i c i e n t l yc o m p r e s s e d 1 1 1 ei n c r e a s i n gd e m a n do f v i d e oi n t e r o p e r a b i l i t yi g n i t e di t u ta n di s o ，ct o d e v e l o p l o t so fs t a n d a r d sf o rv i d e o p r o c e s s i n g ，t r a n s m i t t i n g a n d s t o r i n g e x c e p th 2 6 4 ，a l m o s t a l lo ft h es t a n d a r d su s e m c d p c m d c tt e c h n o l o g i e s m o t i o ne o m p e n s a t i o na n dd c t ( d i s c r e t ec o s i n et r a n s f o r m ) a r e u s e dt od e c o r r e l a t es p a t i o - t e m p o r a le o r r e l m i o no f v i d e os i g n a la n d q u a n t i z a t i o ni su s e dt oe x p l o i t p e r c e p t u a lr e d u n d a n c yo f n a t u r ev i d e o v i d e oc o d i n gc a ne s s e n t i a l l yb ev i e wa sam u l t i - d i m e n s i o n a lo p t i m i z a t i o np r o b l e m ；t h ek e y d i m e n s i o n sc o n c e m e di nt h i sp r o b l e ma r er a t e q u a l i t y , c o d i n gc o m p u t a t i o n a lc o m p l e x i t y , e r r o r r e s i l i e n c ea n dm e m o r ys i z e i no r d e rt op r o v i d ei n s i g h t si n t oc o l u u l o nv i d e os y s t e md e s i g n p r o b l e m s ，s e v e r a li s s u e sf o rr e a l - t i m ev i d e oc o d i n gh a v e b e e na d d r e s s e di nt h i sd i s s e r t a t i o n ，w h i c h a r ev i d e oc o d i n gc o m p u t a t i o n a lc o m p l e x i t yr e d u c t i o n ，r a t ec o n t r o le l t o rc o n t r o la n de l t o r r e s i l i e n c e i ti sw e l lk n o w nt h a tv i d e o p r o c e s s i n g i st h em o s tc o m p u t a t i o n a l l yi n t e n s i v e p a r ti n m u l t i m e d i ac o m p u t a t i o n r e a l - t i m ev i d e oc o d i n gp r e v i o u s l yr e s o r t e dt od e d i c a t e dh a r d w a r eo r p r o f e s s i o n a le q u i p m e n t s w i t ht h ed e v e l o p m e n to fg e n e r a l - p u r p o s ep r o c e s s o r sa n dh i g he f f i c i e n t a l g o r i t h m s ，i ti sp o s s i b l et 0i m p l e m e n t as o r w a r e - b a s e dr e a l - t i m ev i d e oe n c o d e r , a n di t sl o wc o s t a n de a s yu p g r a d a b i l i t ya t a a e td e v e l o p e r s i n t e r e s t st om i g r a t ev i d e oe n c o d i n gf r o md e d i c a t e d h a r d w a r et om o r ef l e x i b l es o f t w a r e i nt h i sp a p e r , w ef a s tr e a r r a n g et h ee n c o d e rs t r u c t u r et o s u p p o r tc o m p l e x i t ys e a l a b i l i t y ；t h e nal o to fh i g hp e r f o r m a n c ea l g o r i t h m sa r eu s e do nt h ek e y t i m e - c o n s u m i n gm o d u l e s i nc o d i n gp r o c e s s ；n e x t , i np r o g r a m m i n g l e v e l , p r o c e s s o r sc h a r a c t e r sa r e c o n s i d e r e dt o i m p r o v e d a t aa c c e s s e f f i c i e n c y a n d p r o c e s s i n gp a r a l l e l i s m ；f i n a l l y , o t h e r p r o g r a m m i n gm e t h o d s s u c ha sl o o k u pt a b l e , e x p l i c i t l ya s s e m b l eo nk e ym o d u l e s , a r eu s e dt o s p e e du pc o d i n gp r o c e s s s e c o n d l y , r a t e - d i s t o r t i o n ( r d ) a n a l y s i sa n dr a t ec o n t r o lp l a ya ni m p o r t a n tr o l ei nv i d e o c o d i n ga n dc o n l m n n i c a t i o ns y s t e m s , w h i c ha r et op r e v e n tb u f f e rm a l f u n c t i o na n dp r o v i d et h e h i g h e s tp o s s i b l ev i d e oq u a l i t yu n d e r t h ec o n s t r a i n t so f r a t ea n dd e l a y i nc o n v e n t i o n a lr - d a n a l y s i s ， t h eb i t r a t era n dd i s t o r t i o nda r ec o n s i d e r e d 雒f u n c t i o no fq t m m i z a t i o np a r a n l e t e rq w h i c ha r e u s u a l l yd e v e l o p e di np i x e l - d o m a i no rs p a a a ld o m a i n t h e s es o u i # m o d e l se i t h e rh a v eh i g h c o m p n t a t i o n a lc o m p l e x i t yo rs u b j e c t t or e l a t i v e l yl a r g ee s t i m a t i o ne v a l u a t i o na n dc o n t r o le l l o r i n t h i sd i s s e r t a t i o n ai u da n a l y s i si nd c td o m a i no rc o m p r e s s e dd o m a i ni sd e v e l o p e d ，w h i c hc a n p r o v i d em o r e a r a z u r a t ep r e d i c t i o nf o r t a r g e tb i ta l l o c a t i o n b a s e d 0 1 1d c td o m a i nr - d a n a l y s i s w e p r o v i d ean e w c o n s t a n tb i t r a t e ( c b r lr a t ec o n t r o la l g o d t h m , w h i c hc 2 t nc u r e 弧衢a l g o r i t h m t w o l i m i t a t i o n s b u f f e rc o n f o 脚g ea n ds c e n ec u tp r o b l e m f o rv a r i a b l eb i w a t ef v b r ) r a t ec o n t r o l ，w e i i i 浙江大学博士学位论文 p r o p o s e das i n g l e - p a s sv b r r a t ec o n t r o la l g o r i t h mf o rr e a l - t i m ev i d e o c o d i n ga p p l i c a t i o n i t d o e s n tr e q u i r e p r e a n a l y s i sa n dm u l t i - p a s sc o d i n g ，a n d c a na c h i e v eac o n s t a n tv i d e o q u a l i 批 t h i r d l v i nv i d e oc o m m u n i c a t i o ns y s t e r n , t r a n s m i s s i o ne i r o r sa n dp a c k e tl o s s e sa r ei n e v i t a b l e d u et oc h a n n e l sn o i s ea n dn e t w o r kc o n g e s t i o n i nc o n t r a s tw i t hd a t ac o m m u n i c a t i o n s ，w h i c ha r e n o tu s u a l l ys n b j e c tt os t r i c td e l a yc o n s t r a i n t sa n dc a nt h e r e f o r eb eh a n d l e du s i n gn e t w o r kp r o t o c o l s t h a tu s e sr e t r a n s m i s s i o nt oe n s u ee r r o r - f r e ed e l i v e r y , r e a l - t i m ev i d e oi sd e l a ys e l l s i t i v ea n dc a n n o t e a s i l ym a k eu s eo f r e t r a n s m i s s i o n n ee x t e n s i v eu s eo f p r e d i c t i o na n dv a r i a b l e - l e n g t hc o d i n gi n v i d e oc o d i n gr e n d e r sc o m p r e s s e db i t s t r e a m se s p e c i a l l yv u l n e r a b l et ot r a n s m i s s i o ne r r o r sa n dd a t a l o s s e s b a s e do i ld e t a i l e da l i a l y s e so fm c - d p c m d c tm e c h a n i s m , s e v e r a le r r o rd e t e c t i o n ， r e s i l i e n c e ，c o n c e a l m e n tm e t h o d s a l ed i s c u s s e di nt h i sp a p e r k e y w o r d s ：v i d e oc o d i n g , m o t i o ne s t i m a t i o n ，o c t , m o t i o nc o m p e n s a t i o n ，r a t ec o n t r o l ，c b r , v b r , e r r o rc o n t r o l 第一章绪论 第一章绪论 本章简要回顾数字视颜编码发展历史、背景和原理，深入分析视频通信系统的三个基本 问题，系统总结前人对这些问题研究的已有成果，最后给出全文结构4 4 f 。 1 1 引言 2 1 世纪是一个数字信息时代，数字信息化几乎波及到世界的每个角落，改变了人类的 生活和工作方式。信息技术的发展，使人们的学习和交流打破了过去的时空界限，为人类能 力提高和发挥带来了新的空间。以多媒体和网络为依托的信息技术已成为拓展人类能力的创 造性工具。信息化的一个主要特征就是多媒体技术的广泛应用，随着多媒体业务的不断拓展， 多媒体技术已成为工业界和学术界的一个研究热点。 多媒体内容丰富，包括文字、声音、图象、图形和视频等数据，信息容量大，表达能力 强，它代替单一的语音通信模式已是不可阻挡的趋势。多媒体信息本身作为数字信号，具有 易于远距离传输和存储的特点，而且没有积累失真，数字化信息可被高品质地还原。但多媒 体信息的庞大数据量对通信系统中有限的带宽和存储空间提出了严峻的挑战。对于数字电 视，若不采取任何压缩措施，总的数据码率为2 1 6 m b p s ( 每采样点8 比特量化) ；对于d v d ， 输入视频格式为d l ，帧率为3 0 f p s ，色差格式为4 ：2 ：2 ，则视频数据码率为7 2 0 4 8 0 1 6 x 3 0 = 1 6 5 9 m b p s ，d v d 容量为4 7 g b ，仅能存储4 7 x 8 1 6 5 9 = 2 2 6 4 秒长度的节目；宽带 音频在采样率为4 4 1 k h z ，双声道，1 6 比特， 羊本时的码率为1 4 1 2 m b p s g i b s o n ，1 9 9 8 。音 频和其它媒体无论在数据量上，还是在处理的难度上都要比视频小得多；现有的通信和存储 设备也一般不足以承受几十甚至上百兆的码率。因此，如何压缩视频数据量成为多媒体技术 发展的关键问题，它是降低传输和存储成本，缓解网络带宽和存储空间限制的一个重要手段。 本文将对视频压缩或编码中若干问题展开讨论。 1 2 视频编码原理及标准 作为一个专门的研究领域，数字视频压缩技术发展到今天已经有3 0 余年的历史。但它 真正走向成功应用的标志是2 0 世纪3 0 年代末的h 2 6 1 国际视频编码标准 1 t u ，1 9 9 3 1 的提出。 随着视频编码和处理算法研究的进展，针对不同应用需求，i s o i e c 和r r u t 又相继发布了 m p e g - 1 t s o , 1 9 9 1 1 、m p e g - 2 i s o , 1 9 9 5 】、f l 2 6 3 i s o , 1 9 9 6 、m p e g - 4 i s o ，1 9 9 8 】和 h 2 6 4 ( m p e g - 4 p a r tl o ) f u ，2 0 0 2 等标准。近年来，视频编码应用得到了蓬勃发展，这主要 受益于压缩算法的深入研究、处理器能力的太幅度提高、基于主观感觉的失真衡量方法的引 入、各种视频编码标准的建立以及网络、计算机、通信技术的不断进步等【g i b s o n ，1 9 9 8 。本 节将简要介绍视频编码原理和主要视频编码标准。 浙江大学博士学位论文 1 2 1 视频编码基本原理 在信息论中，通过减小冗余而进行的数据压缩处理称为信源编码。视频序列中含有三类 冗余：统计冗余、心理视觉冗余和编码冗余。其中统计冗余表现为图象信号在时域和空域的 高相关陛，而心理视觉冗余则起源于人眼对某些空间频率的感觉迟钝，编码冗余表现为符号 编码_ 甲均码长和信源熵之间的偏差。冗余程度越高，可压缩程度也就越高。研究视频信号中 冗余消除方法、实现信息传输、存储和处理的有效性和可靠性是视频编码的主要关心问题 t e l ( a l p ，1 9 9 6 。 按照压缩后的数据是否能够完全还原成原始数据划分，信源编码可以分为无损编码和有 损编码。无损压缩可以精确地恢复原始数据。s h a n n o n 第一定理指出了无损编码中平均码长 和信源之间的关系，同时也给出了编码平均码长的极限【周，1 9 9 3 b 1 。无损压缩的常用方法 有h u f f m a n 编码、游程编码r l c ( r u n - l e n g t hc o d i i 囝等。但无损编码的压缩比通常比较低， 约在2 ：l 左右 g i b s o n , 1 9 9 8 ，这远远不能达到视频应用对压缩比的要求。例如在d v d 上存 储两个小时c c i r - 6 0 1 电影，需要将码率降低到5 m b p s 左右，这就是说，编码的压缩比至少 要达到3 3 ：1 ；在i s d n 上以7 6 8 k b p s 速率传输未经压缩的同样的电影大约需要1 8 天时间， 为能够实时传输，压缩比必须达到2 1 4 ：1 。这么高的压缩比开始被认为是很难达到，但随着 基于主观视觉评价方法的引入和有损压缩编码的进展，分形、小波和混合 m c - d p c m t ( d i f f e r e n t i a lp u l s ec o d i n gm o d u l a t i o n , r r r a n s f o r m ) 的等编码方案已经成功地解决 了这个问题 a i - m u a l l a , 2 0 0 2 。 在心理视觉方面的研究表明：人视觉系统h v s ( h u m a n v i s u a ls y s t e m ) 的频率响应随着空 间频率的增长而降低，而且这种关系在色差通道上表现尤为明显 t e k a l p ，1 9 9 6 。这就是说， 在明暗变化慢的区域上的微小变化比明暗变化快的区域上更明显，同样，亮度变化比同等色 度变化更明显。h v s 对色差信号的这种不敏感特性常被用为作降低原始编码数据量的重要 手段。在色差格式4 ：2 ：2 中，色差信号c b 、c r 分别在水平方向上作了2 ：1 的降采样 ( d o w n s a m p l i n g ) ，和原始数据相比，数据量降低了3 3 ；在色差格式4 ：2 ：0 中，色差信号 c b 、c r 在水平和垂直方向上都作了2 ：1 的降采样，相应的数据量降低了5 0 。这两种降采 样方式分别可以获得1 6 6 7 和2 倍的压缩比。 不同于无损编码，有损编码采用折衷的方法，以损失保真度换取压缩比的增加。有损压 缩和无损压缩的一个主要区别是前者采用了量化器，而后者没有。量化是一种多对一的映射， 因此，引入量化器不可避免地存在失真。目前，m c - d p c m t 是一种主流的有损编码方案， 现在所有的视频编码标准都是采用这种方式 i s o ，1 9 9 1 ；i i 3 , 1 9 9 3 ；i s o ，1 9 9 5 ；删，1 9 9 6 ； i s o , 1 9 9 8 ；i t u 2 0 0 2 ，它在使用r l c 、h u f f m a n 编码或算术编码消除编码冗余外，还编码 使用m c - d p c m 消除视频信号的时域冗余，使用变换消除空域冗余。 d p c m 的基本原理是基于图象相邻象素之间具有较强的相关性。每个象素可以根据以 前已知的象素值预测。因此，在编码中传输的不是象素取样值本身，而是取样值的预测值和 实际值之间的偏差。d p c m 可以提供一个中等程度的压缩 r e k a l p , 1 9 9 6 ；不过它的实现相对 简单，已被各种视频编码标准采纳用来消除视频信号的时域相关性 i s o ，1 9 9 1 ；i t u ，1 9 9 3 ； i s o ，1 9 9 5 ；u ，1 9 9 6 ；i s o , 1 9 9 8 ；i t u ，2 0 0 2 。 变换编码，已有三十多年的研究历史，已被证明是一种高效的图象压缩方法，是迄今为 止所有有损编码国际标准的基础，它可以有效地消除图象数据之间的空间相关性。基本的变 换编码是把图象分割成块，逐块进行二维正交变换、量化，最后对量化后的系数进行编码。 常见的变换有，d f t ( d i s c r e t e f o u r i e r t r a n s f o r m ) 、d c t 、h a d a m a r d 和h a r r 变换。其中d c t 在相邻象素问的相关系数逼近l 时有类似于k l t ( k a r h u n e n - l o v e vt r a n s f o r m ) 的特性章， 1 9 9 9 。除了h 2 6 4 外，其它所有视频编码标准都是采用d c t i s o , 1 9 9 1 ；i t u ，1 9 9 3 ；i s o ，1 9 9 5 ； 1 1 1 j ，1 9 9 6 ；i s o 1 9 9 8 ；1 1 1 j ，2 0 0 2 。d c t 能够很容易地提供2 5 ：1 的压缩比而视觉效果没有明 显降低f r e k a l p ，1 9 9 6 1 。 其它编码方式如分形编码能够提供较高的压缩比，据称分形编码对源信息有1 0 0 0 ：1 的 压缩比 g i b s o n , 1 9 9 8 ，但处理复杂度高，而视频处理有严格延时要求，实际应用并不广泛。 近来，随着小波技术的进展，它已在许多应用中崭露头角，其基本原理可参见专门著作( o n c h u l1 9 9 2 ) 。由于篇幅关系，本文将不对它们一一赘述。 1 2 2 主要视频压缩标准 二十五年前，图像和视频编码成为一个广泛研究的课题。现在它的应用遍及各行各业， 已经从纯学术研究转变为高度的商业行为。不断增长的商业需求进一步推动着标准的形成， 各种国际视频编码标准的推出，使不同来源的图象和视频可以在不同的硬件平台上处理，在 不同的存储设备上存储，不同通信网络上传输。交互性开拓了视频设备的广阔市场，同时提 供给用户大量的服务。视频编码标准化工作始于上个世纪八十年代初期。最先由 c c i t t ( i n t e r n a t i o n a lt e l e g r a p ha n dt e l e p h o n ec o n s u l t a t i v ec o m m i t t e e ) 发起，c c i t t 现在的名 称为 1 1 1 j - t ( i n t e r n a t i o n a lt e l e c o m m u n i e 撕o nu n i o n t e l e c o m m u n i c a t i o ns t a n d a r d i z a t i o n s e c t o r ) 。随后参加这项工作的是c c i r ( 现为i t u - t 0 、i s o ( i n t e r n a t i o n a lo r g a n i z a t i o nf o r s t a n d a r d i z a t i o n ) 和i e c ( i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ) 。从第一个视频编码标准 | l 1 2 0 发布后，针对不同应用需求，i t u t 和i s o i e c 又相继推出了h 2 6 1 、m p e g - 1 、m p e g - 2 、 1 4 2 6 3 、m p e g - 4 和h 2 6 4 。m 卜t 的h 2 6 x 系列标准主要面向低码率的实时视频通信，如视 频会议和视频电话；i s o i e c 的m p e g - x 系列标准主要是面向视频存储、视频广播和流媒体 ( s t r e a m i n gm e d i a ) 等应用。下面将简要介绍几个主要视频编码国际标准： l ，h 1 2 0 i t u ，1 9 8 9 a 第一个视频编码国际标准h 1 2 0 是由c c i t t s g ( s t u d y g r o u p ) x v 率先在1 9 8 0 - 1 9 8 4 期 间完成。h 1 2 0 的第一版在1 9 8 4 年发布，1 9 8 8 年完成了h 1 2 0 的第二版。这个标准主要针 对码率为1 5 4 4 m b p s 和2 0 4 8 m b p s 的视频会议。标准分为三部分：第一部分是为2 m b p s 下 6 2 5 线5 0 h z 的地区使用；第二部分是国际通用( 支持1 5 m b p s 下5 2 5 线6 0 h z 和6 2 5 线 5 0 h z ) ：第一部分和第二部分都使用帧内d p c m 和条件填充( c o n d i t i o n a lr e p l e n i s h m e n t ) 技术， 而第三部分则使用帧内预测、背景预测和运动补偿油6 0 nc o m p e n s a t i o n ) 帧间预测。h 1 2 0 各部分使用不同技术是h 1 2 0 没有获得商业成功的一个重要原因。 2 h 2 6 1 i t u ，1 9 9 3 c c i t f s gx v 于1 9 9 4 年底开始筹划h 2 6 1 视频压缩标准，直到1 9 9 1 年，h 2 6 1 才正 式被批准为国际标准，它是第一个获得广泛应用的视频编码标准。主要用于i s d n ( i n t e g r a t e d 3 浙江大学博士学位论文 s e r v i c e s d i 西t a l n e t w o r k ) 上以p 6 4 k b p s ，p = l ，3 0 的速率开展视频会议和视频电话业务。 h 2 6 1 的全称为“v i d e o c o d e c f o r a u d i o v i s u a ls e r v i c e sa t p x 6 4 k b i t s ”，主要应用于视频会议和 视频电话等应用中。它采用运动补偿( m o t i o n c o m p e n s a t i o n ) 消除视频信号的时域冗余及采用 离散余弦变换消除视频信号的空间冗余。它有两种编码方式：帧间编码和帧内编码。若帧间 预测效率降低，后一种方式将被激活，输入信号直接进行d c t 变换。 3 m p e g - 1 【i s o ，1 9 9 1 】 1 9 9 8 年，l s o s c ( s u b - c o m m i a e e ) 2 成立了m p e g ( m o v i n g p i c t u r e e x p e r t s g r o u p ) 。现为 i s o i e c 的联合技术委员会j t c ( j o i n tt e c h n i c a lc o m m i t t e e ) 的s c 2 9 下第1 1 工作组( w g l1 1 。 官方名称为i s o i e cj t c l s c 2 9 w g l l 该组织主要致力于为数字存储媒体的开发1 5 m b p s 下 视频编码标准。i s o i e c1 1 1 7 2 ( h 但e g - 1 ) 标准于1 9 9 1 年起草，1 9 9 2 年正式成为国际标准。 m p e g 一1 和h 2 6 1 非常相似，不同之处是加入了一些薪技术，如双向预测和半像素运动补偿 m c ( m o t i o nc o m p e n s a t i o n ) 。它能够满足特定的存储需求，如随机访问、快进、快退等。它 主要应用于存储应用。但它的设计具有通用性，它被设计成一个工具集，用户可根据应用选 择工具。另外标准仅定义了解码器和码流语法，这给开发商很大的灵活度优化自己的编码器。 设计的通用性和开发的灵活性使得m p e g 1 获得了成功。它应用广泛，从c d - r o m 上的交 互系统到通信网络上的视频传输。 4 m p e g - 2 1 1 s o ，1 9 9 5 i s o i e cj t c l s c 2 9 w g il 于1 9 9 1 年开始研究新的标准，旨在覆盖m p e g - 1 之外的应 用。新标准着力于提高视频质量，提供不亚于n t s c p a l 直到l o m b p s 左右的c c i r 6 0 1 质 量。这次活动被看作m p e g - 1 工作的延续，因而习惯上称作m p e g - 2 。1 9 9 2 年i t u - t s g1 5 也加入了该次标准化工作，研究a t m ( a s y n c h r o n o u s t r a n s f e r m o d e ) 网络上的视频编码。1 9 9 3 年，原先拟定开发h d t v 的m p e g - 3 的工作也被纳入了m p e g - 2 。1 9 9 4 年公布了i s o i f 1 3 8 1 8 ( m p e g - 2 ) 草案，一年后成为国际标准。和m p e g - 1 一样，m p e g - 2 仍然是本着通用 和灵活原则进行设计的。事实上，m p e g - 2 是m p e g - 1 的一个超集，它后向兼容m p e g - 1 。 在m p e g 1 基础上，加入了一些额外的功能，如支持隔行视频和码流分级。对大多数应用 来说，没有必要实现m p e g - 2 的所有语法，为此，m p e g - 2 引入了类( p r o f i l e ) 的概念定义功 能，引入了级( 1 e v e l ) 概念限制码流参数。m p e g - 2 比m p e g - 1 有着更为广泛的应用，如有线 电视、a t m 视频服务、卫星和地面电视广播。 5 h ，2 6 3 i t u ，1 9 9 6 1 随着对p s t n ( p u b l i c s w i t c h e d t e l e p h o n en e t w o r k ) 和移动网络上数字视频通信需求的不断 增长，i t u - t s g1 5 发起了h 2 6 3 标准化工作。它的主要目标是为低于6 4 k b p s 的低码率应 用开发视频编码标准。h 2 6 3 在1 9 9 5 年完成，1 9 9 6 年成为国际标准。尽管和h 2 6 1 的结构 相似，但它在性能上有了显著提高。试验表明；在相同的主观质量下，h 2 6 3 编码速率仅为 h 2 6 1 的一半 g i r o a , 1 9 9 7 。h 2 6 3 性能提高归功于优化的编码技术和高级可选编码模式。和 h 2 6 1 相比，h 2 6 3 增加了更多的图象格式、半象素运动补偿、3 - d s 1 讯i 】n - l e v e l ) 而 不是2 - d ( r u n l e v e l ) 游程编码、优化的v l c 表、可选的重复头信息以提高误码恢复能力、 运动矢量编码的高级2 - d 中值预测、更优的宏块编址和量化编码、可选的无限制运动矢量、 可选的数学编码、可选的重叠运动补偿和四运动矢量，宏块的高级预测模式和可选的双向预 4 第一章绪论 测。 h 2 6 3 标准的第2 版h 2 6 3 + 是由i t u - t s g l 6 q 1 5 高级编码专家组v c e g ( 先前从属于 1 t u - t s g l 5 ) 于1 9 9 8 年完成。h 2 6 3 + 是在h ，2 6 3 基础上增加了1 2 个司选功能。这些新功能 支持用户定义的图象大小和时钟频率，提高了压缩效率，允许分级编码增强了在无线和分组 网络上的误码恢复能力，且具有后向兼容能力。 6 m p e g - 4 i s o ，1 9 9 8 】 m p e g - 4 是i s o 1 e cj t c l s c 2 9 w g l 1m p e g 工作组自1 9 9 3 年开始的一项标准化活动。 它的目标是面向更低码率，获得比现有技术更高的压缩效率。在1 9 9 4 年意识到不能获得比 现有h 2 6 3 和h 2 6 3 + 更多提高后，m p e g 工作组决定扩大m p e g - 4 的研究目标，并更加深 入地研究音视频领域的发展趋势。特别是通信、计算机和电栅电影娱乐3 个独立传统行业 的融合。这份研究推断m p e g - 4 提供的服务必须面向未来的应用，并不受现有标准制约。8 个新功能可以归为3 类：基于内容的交互( 基于内容多媒体数据访问功能，基于内容处理和 流编辑、混合自然和人工视频编码、改进的随机访问) 、压缩( 更高压缩效率、并存多数据流 编码1 和有效访问( 差错环境中鲁棒性和基于内容分级) 。m p e g - 4 第一版于1 9 9 8 年1 0 月完 成，第2 版在1 9 9 9 年1 2 月发布。m p e g - 4 的正式名称为i s o i e c1 4 4 9 6 ( 音视频对象通用编 码) 。这个名称表明了m p e g - 4 的两个重要特征：( 1 ) 它是一个通用标准，适用于很大码率 范围内( 如从5 k b p s 到1 0 m b p s ) ，不同图象格式( 隔行或逐行) 、图象分辨率( s q c t f 到超出 t v 的大小) 、帧率( 静态图象和高帧率) 、通信网络( 有线或无线) 、输入素材( 人工或合成) 等等。( 2 ) 它使用基于对象的表示方式，场景都按对象方式表示、编码、处理。这是区别于 已有基于块编码标准的重要特征。除传统的基于块的m c - d p c m i ) c t 技术外，m p e g - 4 采 纳了最新的第2 代编码中基于对象的编码技术和基于模型的编码技术。 7 h 2 6 4 i s o ，2 0 0 2 h 2 6 4 是i t u t 在1 9 9 9 年开始开发种新的极低码率视频编码标准，旨在代替先前的 h 2 6 3 标准。2 0 0 1 年，i s om p e g 也加入了开发队列，组成了j v t ( j o m t v i d e ot e a m ) 进行联 合开发。它最初的名称为h 2 6 l ，经过工业界和学术界3 年多的努力，2 0 0 3 年5 月正式批 准为国际标准。h 2 6 4 是近年来最为高效的一个视频压缩标准，它的压缩效率比m p e g - 4 和 h 2 6 3 + 提高了近5 0 。在整个框架上，h 2 6 4 和先前的标准没有太大差别，都包含预测、变 换、量化和熵编码这几个功能单元。但在每个功能单元的细节上，h 2 6 4 做了很大的变动。 h 2 6 4 在运动估值时可采用不同大小的块，更高精度的亚象素搜索、多参考帧选择。变换时 使用4 4 整数变换而不是传统的8 x 8 0 c r ；在熵编码时使用统一变长码1 _ n l c ( u n i v e r s a l v a r i a b l el e n g t he o d e s ) 或基于内容自适应的二进制算术编码c a b a c ( c o n t e x t - b a s e da d