（电路与系统专业论文）小波变换在视频数据传输中的应用[电路与系统专业优秀论文].pdf

摘要 随着互联网的日益广泛应用和无线视频传输的需要，图像的压缩编码成为当 前一个紧迫的研究课题。在传统对视频数据的压缩过程中，通常采用( 像m j p e g 、 m p e g 、h 2 6 3 等) 基于分块d c t 变换的标准，分块d c t 变换是靠丢弃高频 系数来提高压缩比的，在低码率编码时会导致图像的边缘轮廓模糊，而且在提高 编码压缩比时会出现块效应，这些缺点使这几种标准在提高压缩比时，性能不尽 人意。 小波变换算法具有描述非平稳信号的本领：显著的去相关性和能量集中性的 作用；在空间和信噪比方面有很好的可伸缩特性等性能，它的本质是多分辨率的 分析信号，非常吻合视觉系统对频率感知的对数特性，而得到了广泛研究。 基于小波的编码方法不但拥有传统编码方法的一些优点，能够很好的消除图 像数据中的统计冗余，而且小波变换后的图像数据能够保持原图像在各种分辨率 下的精细的结构，为进一步去除图像中其他形式的冗余信息提供了便利。t 【三因为 这些原因，小波图像编码在静止图象编码己取得了很大的成功，但在小波视频编 码上只有少数成功的尝试，这是由于视频压缩的应用背景与图像压缩的应用背景 有很大的不同，即视频压缩的算法要对压缩算法的复杂度和压缩效率作综合考 虑，满足实时性的处理要求。 本文根据小波变换的特性，结合了提升小波变换和高效的零树编码方法，并 充分利用视频序列相邻帧间相关性大的特点，提出二个相关实验方案。 1 利用视频序列相邻帧问相关性大，提出基于三维离散小波变换和分层树集合 分裂编码算法，对视频序列进行从空间域和时间域的小波变换，对变换后的帧组 系数所分成七棵时空方向树结构编码。 2 以复合编码器来替代原h 2 6 3 协议中的基于d c t 变换的编解码器，对图像中 的i 帧整帧采用小波变换编码，对p 帧采用原先的d c t 预测编码编码。 根据以上的算法对标准测试图像用v i s u a lc + + 语言进行了编程测试，给出了 测试效果图，以说明本文算法的在一定运用范围的可行性。 关键词图像编码：视频压缩；小波变换；提升算法；零树编码 a b s t r a c t a l o n gw i t ht h ew i d e l yu s eo fi n t e r a c ta n d t h ee n o r m o u sd e m a n do f w i r e l e s sv i d e o d e l i v e r y ，i m a g ec o m p r e s s i n gc o d i n gh a sb e c o m ean e c e s s i t o u sr e s e a r c hs u b j e c t w h e n c o m p r e s s i n gv i d e od a t a t h et m d i t i o n a ld i s c r e t ec o s i n et r a n s f o r f f lf d c t ) b a s e d c o m p r e s s i o na l g o r i t h m sf s u c ha sm j p e g 、m p e ga n dh 2 6 3 ) a r eo f t e na d o p t e d d c t i m p r o v e st h ec o m p r e s s i o nr a t i ob yd i s c a r d i n gt h eh i g h f r e q u e n c yc o e f f i c i e n t s ，t h u s w i l lb l u rt h ee d g eo ft h ei m a g ei nt h ec a s eo fl o wb i tr a t e sc o d i n g a n dw i l ls u f f e r m u c hf r o mb l o c k i n ga r t i f a c t sw h e ni n c r e a s i n gc o m p r e s s i o nr a t i o t h ew a v e l e tb a s e dc o d i n ga l g o r i t h mn o to n l yo w n ss o m ea d v a n t a g e so ft r a d i t i o n a l t e c h n o l o g y ，s u c ha se l i m i n a t i n gt h es t a t i s t i c a lr e d u n d a n c y ，b u ta l s oc a l lp r e s e r v et h e f i n es t r u c t u r eo fv a r i o u sr e s o l u t i o n so ft h eo r i g i h a li m a g e s ，m a k i n gi tp o s s i b l et o e l i n f i n a t i n go t h e rr e d u n d a n c y t h ew a v e l e tb a s e ds c h e m e sa d o p td i f i e r e n ts p a c ez o n e s a n df r e q u e n c y s v i p so fd i f f e r e n tb r e a d t hw h e nd e c o m p o s i n gi m a g e s i t s m u l t i f r e q u e n c y n a t u r ea c c o r d sw i t ht h el o g a r i t h mf e a t u r eo ff r e q u e n c y c o m p r e h e n s i o no ft h eh u m a ne y e s b e c a u s eo ft h em a s o n sm e n t i o n e da b o v e ，w a v e l e t b a s e dc o d i n gi sap r o m i s i n ga l g o r i t h mi ni m a g e v i d e oc o m p r e s s i o n t h es t i l li m a g e s c o d i n gb a s e dw a v e l e th a v eg r e a ta c c o m p l i s h m e n t ，b u tl i t t l e s u c c e s so nv i d e oc o m p r e s s i o nw i t hw a v e l e t o nt h eo t h e rh a n d ，t h er e q u i r e m e n to f v i d e oc o m p r e s s i o ni sm u c hm o r ed i f i e r e n tf r o mt h es t i l li m a g ec 0 d i n g ，t h em o v i n g i m a g ec o d i n gh a v er e a l - t i m er e q u i r e m e n t ，t h u s ，t h ea l g o r i t h mo fv i d e oc o d i n gm u s t c o n s i d e r a t eh o wt og e tt h et r a d e o f f b e t w e e nc o m p l e x i t ya n dc o d i n ge 伍c i e n c y t h i sp a r ) e ru s e sw a v e l e ta n a l y s i sa sm a t h e m a t i ct o o lw a n tt of i n d so n en e w m e t h o do fi m a g ec o m p r e s s i n g t h j sp a p e rh a sf o u n dan e wm e t h o do fi m a g e c o m p r e s s i n gw i 也t h et 0 0 1o fw a v e l e ta n a l y s i s t h ec o d e ca d o p t st h ei n t e g e rw a v e l e t t r a n s f o r m1 e f t - s c h e m ea n de f f e c t i v ez e r o - t r e ec o d i n ga l g o r i t h m m a k h a gu s eo f 也e c h a r a c t e r i s t i co fv i d e os e q u e n c e s w h i c hi st h en e i g h b o r i n gf r a m e sa r ec l o s e l yr e l a t e d a n dr e d u c e st h eb i tr a t e st h r o u g hi n t e r - f r a m ec o m p r e s s i o n t a k et w os c h e m e sa s f e l l o w ： 1 t h es c h e m eb a s e don3 d d w t ( t h r e ed i m e n s i o n sd i s p e r s a lw a v e l e t st r a n s f o r i l l l a n ds p i h t ( s e tp a r t i t i o n i n gi nh i e r a r c h i c a lt r e e s ) f o rv i d e oi m a g es e q u e n c e c o m p r e s s i o nc o d i n g w ea p p l y3 d d w tw a v e l e tf o re a c hg o f ( g r o u po ff r a m e s ) o n s p a t i a l t e m p o r a lt h r e ed i m e n s i o n sr e s p e c t i v e l y , a n dc o n s t r u c ts e v e nh i e r a r c h i c a lt r e e s f o rs p a t i a l t e m p o r a ls u bb a n d so nt h eo r i e n t a t i o n s 2 p r e s e n t e db i - o r t h o g o n a lw a v e l e tt r a n s f o i i 1b a s e d v i d e oc o d i n gs c h e m eu n d e rt h e f r a m ew o r ko fh 2 6 3 b yi m p r o v i n gt h eif r a m ep s n rf p e a ks i g n a la n dn o i s er a t i o ) i n h 2 6 3w i t hw a v e l e tt r a n s f o r m a t i o n t h i sp a p e rs i m u l a t e dt h ea r i t h m e t i cw i t hc o m p u t e rl a n g u a g ev i s u a lc + + a n dg i v e n s o m ee f f e c t i v e n e s si m a g et e s t i f i e dt h ev a l i d i t yo f t h i sa r i t h m e t i c k e yw o r d s ：v i d e oc o d i n g ，w a v e l e tt r a n s f o r m ，l e f ts c h e m e ，z e r o - t r e ec o d i n g ， - 4 绪论 研究视频图像压缩的研究意义 随着计算机和通信技术的发展人们对于各种视频和多媒体信息的需求量不 断增长一些新型的宽带业务，例如：可视图文、可视电话、电视会议和视频点播 等相继出现。它们在满足人们需要的同时，也对视频编码技术提出了更高的要求。 同时由于现代信息社会对通信业务要求的不断增长，图像通信与通信网容量的矛 盾同益突出，特别是具有庞大数据量的数字图像通信，更是难以传输与存储。这 样就对我们获取和利用图像信息造成了很大的困难，成为了图像通信发展中的 “瓶颈”问题。因此图像压缩问题成为了越来越多的科研工作者的研究热点。 本文研究视频图像压缩的内容 在视频通信、视频会议等应用中，编码方法的选择不但要考虑到压缩比和 信噪比，还要考虑到算法的复杂性。太复杂的编码算法可能会产生较高的压缩比， 但也会带来较大的计算丌销，在软件实现时会影响通信的实时性。 目前在众多视频编码算法中影响最大并被广泛应用的算法是m p e g 和 h 2 6 x 。但是m p e g1 、m p e g 2 和h 2 6 x 以及m j p e g 等标准都是基于传统的 分块d c t 变换，基于d c t 的编码算法存在的缺陷是由于在运算前先将图像分 块，经过分块d c t 变换后通过丢弃高频系数来提高压缩比。在低码率编码时， 会导致图像的边缘轮廓模糊，而且在提高编码压缩比时会出现块效应，这些缺点 使这几种标准在提高压缩比时性能不尽人意。 与分块d c t 编码方法相比，小波变换应用于图像压缩是对整幅图像进行的， 避免了方块效应的出现。小波编码方法则对图像分解采用不同宽度的空间区域和 频带，它的本质是多分辨率的信号分析，非常吻合视觉系统对频率感知的对数特 性，有利于进一步提高压缩比，而且相对m p e g 标准来说，小波编码算法比较 简单，容易实现。在图像的分解阶段应用小波变换主要是使用一组合适的小波基 将图像进行多层次分解，将高、低频信息分解丌来，然后采用一定的编码算法对 这些系数进行处理。但是，当前普遍存在的问题是运算速度和视觉效果的矛盾。 算法过于复杂的视觉效果较好，但是运算速度较慢。 本文主要研究小波编码在视频压缩中的应用设计，结合传统h 2 6 3 编码实现， 力求能实时实现的小波视频编解码器方案，将该小波编、解码器方案应用于视 频系统中。实验对比说明方案在兼顾压缩比高、图像处理速度快和图像质量好等 条件下，以满足于不同视频系统的应用要求。 本文内容安排 第一章说明本论文的研究背景和内容，第二章简单介绍视频图像压缩编码传 统方法和目前较为先进的技术，第三章简要介绍视频图像压缩国际标准的一些技 术要点，第四章是介绍小波变换的一些基本概念，第五章是小波在图像编码中的 应用和编码方法，第六章是对比传统的h 2 6 3 编码方法，用三维小波编码和调整 传统h 2 6 3 中i 帧编码结构两种方法来和传统h 2 6 3 进行一些对比，提出较不同 场合适用的方法。最后总结出分别采用d c t ( 离散余弦变换) 和d w t ( 离散小 波变换) 在视频图像压缩编码中优异点。 第二章视频图像压缩编码技术概述 2 1 图像压缩的理论基础 图像压缩编码的目的是用尽量少的比特数来表征图像，同时保证复原图像的 质量，使它符合预定应用场合的需要。压缩数据量、提高时效性是图像压缩编码 的首要目的。通常把图像压缩编码简称为图像编码。图像编码是一种信源编码， 其信源是各种类型的图像信息。图像的编码系统如图2 1 所示： 辫2 - - l 隔橡箱鄹羲缝 尽管表示图像需要大量的数据，但是图像数据之间是高度相关的。一幅图像 内部以及视频序列中相邻图像之间有大量的冗余信息。一般来说，这些冗余信息 表现为以下几种形式： 空间冗余 有些图像的某些区域是均匀着色的或是高度相关的，称之为空间冗余 时问冗余 在视频序列中，在场景变化不大的情况下，一般相邻帧之间的差别极小，即视频 序列中的图像是高度相关的，这称为时间冗余 信息熵冗余 也称为编码冗余，由信息论的有关原理可知，为表示图像数据的一个像素点只需 按其信息熵的大小分配相应的比特数即可。然而对于实际图像数据的每个像素很 难得到它的信息熵。因此在数字化一幅图像时，对每个像素是用相同的比特数来 表示，这样必然存在冗余。信息熵冗余、时问冗余和空间冗余统称为统计冗余。 因为它们都决定于图像数据的统计特性。 结构冗余 在有些图像的部分区域内存在非常强的纹理结构，或是图像的各个部分之间存在 有某种关系，例如自相似性等。这些都是结构冗余。 知识冗余 在有些图像中包含的信息与某些先验的基础知识有关，例如在一般的人脸图像中 头、眼、鼻和嘴的相互位置等信息就是一些常识，这种冗余称为知识冗余。 视觉冗余 在多数情况下重建图像的最终接受者是人的眼睛，为了达到高的压缩比，可以利 用人类视觉系统的特点，人类的视觉系统对图像的注意是非均匀和非线性的，对 人眼视觉的生理研究直是计算机视觉和图像处理研究的一个思想源泉。 上述各种形式的冗余是编码压缩图像数据的出发点。图像编码方法就是要尽 可能的消除这些冗余信息，以降低表示图像所需的数据量。 2 2 图像编码方法 图像编码的方法有很多，可以以多种方式对其进行分类，一种分类方法是将 编码方法分为无损和有损编码，前一种技术能够精确的重建原始图像，而后一种 技术则会引入失真，只是它尽量使失真不明显。另一种分类方法是基于编码的应 用范围，例如，利用适当的方式综合空间各像素值的方法被称为空间法，利用一 组变换系数的方法称为变换法，既利用空间域，又利用变换域的方法则称为混合 法。还有一类分类方法是将编码方法分为固定或自适应方法，前者使用的参数是 固定的，后者使用的参数可随图像中局部数据自适应调整。 2 2 1 传统的图像编码技术 2 2 1 1 空间和时间子抽样编码 在电视电话等某些应用中，全分辨率不是必需的。这时可以使用空间和时间 子抽样来降低数据速率。在编码器中从每几个像素中选择一个像素，或从每一帧 中选择一帧，然后加以传输。在解码器中可以根据接收的像素或帧内插丢失的像 素或帧，再生出分辨率较低的原始视频序列。如果像素是由色度和亮度分量表示 的，则可以以较高的比率对色度分量进行子抽样，量化。更粗略一些这种方法后 面将详细介绍 空间和时蒯子抽样编码技术非常简单，但十分有效，例如，如果对每三个像 素抽取一个，每三帧抽取一帧就可以达到9 ：1 的压缩率。 2 2 1 2 脉冲编码调制p cm 模拟量经过模数( a d ) 变换，得到二进制码的过程，就是著名的脉冲编码 调制p c m 编码过程。脉冲编码调制是对输入的连续视频信号以赖奎斯特 ( n y q u i s t ) 速率采样，然后均匀量化。量化器通常有n 个电平，其中n 是2 的 乘方畔“) ，每个采样由一个具有b 个比特的固定长度二进制码表示。使用p c m 对像素编码所需的比特数取决于被编码图像的类型，通常单色广播或会议电视用 8 比特就够了，而医学图像可能需要1 0 比特或更多，对彩色图像每个彩色分量 需要8 比特因而表示一个彩色像素共要使用2 4 比特。 p c m 编码的效率并不高，原因在于： 1 ) p c m 忽视了像素之间的空间和时间相关 2 ) 它对所有量化幅度电平进行同样处理，即均匀量化 3 ) 它没有利用人眼的特性 2 2 1 3 预测编码 预测编码是一种较为实用且被广泛采用的一种压缩编码方法。其原理是从相 邻像素问有强的相关性特点考虑的，比如当前像素的灰度或颜色信号数值上总是 与其相邻的像素比较相近，除非处于边界状态。因此当前像素的灰度或颜色信号 的数值，可用前面已经出现的像素的值进行预测，得到一个预测值将其与实际值 求差，对这个差值信号进行编码、传送这种编码方法称为预测编码方法。 预测编码方法分为线性预测和非线性预测方法，其中，线性编码方法也称差 值脉冲编码调制法，简称d p c m ( d i f i e r e n t i o np u l s ec o d em o d u l a t i o n ) 。帧内 预测编码般采用像素预测形式的d p c m ，其优点是算法简单，易于硬件实现， 缺点是对信道噪声和误码很敏感，会产生误码扩散，使图像质量大大下降。同时， 帧内d p c m 编码压缩比很低，因此现在已经很少使用，一般要同其它编码方法 结合使用。 2 2 1 4 变换编码 与预测编码技术相比，消除图像数据空间相关性的一种更有效的方法是进行 信号变换，使图像数据在变换域上能有最大限度的不相关。尽管图像变换本身并 不带来数据压缩，但由于变换后系数之间相关性明显降低，图像的大部分能量只 集中到少量变换系数上，采用适当的量化和熵编码可以有效的压缩图像的数据 量，而且图像经过变换后系数的空间分布和频率特性可能与人眼的视觉特性匹 配，因此可以利用人类视觉系统的生理和心理特点来得到较好的编码系统。 变换编码通常是将空问域相关的点像素通过正交变换映射到另一个频域上， 使变换后的系数之间的相关性降低，在变换后的频域上应满足：1 ) 所有的系数 相互独立；2 ) 能量集中于少量系数上：3 ) 这些系数集中于一个很小的区域范围 内，依靠保留少数重要的系数就能很好的恢复出原图像，人眼几乎察觉不出那些 损失的系数。 就数据压缩而言，所选择的变换方法最好能与图像信号的特征匹配，此外， 还应从失真要求实现的复杂度，以及编码比特率等多方面来综合考虑。一般采用 正交变换。其中k a r h u n e n l o e v e 变换( k l 变换) 是一种最佳变换，其变换后 的系数是互不相关的。但就变换的成本和实时性来说，k l 变换通常被认为是最 困难的一种变换。而d c t 变换则被认为是性能最接近k l 变换的准最佳变换，经 常采用的变换方法是离散余弦变换d c t 。 2 2 2 新型图像编码技术 8 0 年代后期相，有关学科的迅速发展和新兴学科的不断出现，为图像编码 的发展注入了新的活力，对图像信息需求的剧增也促进了图像压缩编码技术的进 步。许多学者结合模式识别、计算机图形学、计算机视觉、小波理论和分形几何 等理论，开始探索图像压缩编码的新途径。 第二代图像编码方法是针对传统的编码方法没有考虑人眼对轮廓边缘的特 殊敏感性和方向感知特性而提出的，而第一代编码技术以信息论和数字信号处理 技术为理论基础出发点，通过消除图像数据的线性相关等统计冗余信息，其编码 压缩图像数据的能力已经接近极限，压缩比难以提高。例如，对静止图像而言这 类方法的编码压缩比般为1 0 2 0 倍左右。 第- 4 4 图像编码技术要求充分利用人类视觉系统的生理和心理特性以及信 源的各种性质以期获得高压缩比。1 2 这类方法一般要对图像进行预处理，将图 像数据根据视觉敏感性分割。按处理方法不同，它们可以分为两种典型的编码技 术，一种是基于分裂合并的方法 引，先将图像分为纹理和边缘轮廓，然后各自 采用不同的方法编码；另一种是基于各向异性滤波器的方法f 4 1 ，先对图像进行 方向性滤波，得到不同方向的图像信息，再根据人眼的方向敏感性对各个通道采 用特定的方法单独编码。 f 面简要介绍几种新型的图像编码技术： 2 2 2 1 分形编码 分形理论是研究不规则图形和混沌运动的- - f l 新科学，它描述了自然界物体 的自相似性这种自相似性，可以是确定的，也可以是统计意义上的。 图像数据的自相似性可以理解为，它的所有部分都可以用在图像中的其他部 分通过w 运算近似求得，而w 运算仅仅是比例、旋转、镜像和移位。数学上 的描述即是一种迭代运算： x = w o ( )( 式2 - 1 ) 即对于给定的信号x ，如能找到迭代运算算子w ，而w 能重建x ，那么， 只传输w 便可在接受端恢复x ，从而达到压缩的目的。 分形图像编码的关键在于寻找图象的迭代函数系统( i f s ，i t e r a t e df u n c t i o n s y s t e m ) 码，也就是迭代运算算子w ，目前已经有专利算法，对某些图像可 以达到3 0 7 0 倍的压缩比 5 1 0 然而分形图像编码的理论基础决定了它只有对具 备明显白相似性或统计自相似性的图像( 例如：海岸线、云彩、大树等) 才有较 高的编码效率，一般图像都不具有这一特性，因此编码效率不高，而且分形编码 实质上是通过消除图像的几何冗余度来压缩数据的，根本没有考虑人眼视觉特性 的作用。 2 2 2 2 模型编码 基于模型的图像编码技术是近几年爿发展起来的很有前途的低比特率编码 方法。其编码器并不压缩实际的量化数据，而是采用一个表示景物( 一般是人， 人脸等) 的模型，传送的信息是告诉接收方如何改变模型以匹配输入景物。基于 模型的解码器也有一个与对应编码器相同的模型，解码器利用收到的数据调整其 模型，然后生成显示的图像【6j 。 基于模型的图像编码方法利用先验模型来抽取图像中的主要信息，并以模型 参数的方式表示它们，因而可以获得很高的压缩比。然而在模型编码研究中还存 在着很多问题。例如：模型法需要很多先验知识，不适合于一般的应用；对不同 应用所建模型是不一样的；没有解决如何利用人眼视觉特性的问题等。 2 2 2 3 小波编码 1 9 8 9 年s g m a l l a t 首先将小波变换用于多分辨率图像的描述口】，这个多分 辨率的图像描述称为图像的小波分解。小波的图像分解方案实际上是子带分解方 法的一个特例。在空问域里，小波分解将信号分解为不同层次，每一层次的分辨 率不同。由于小波分解方法本身具有正交性，分解后不同层次数据之间的相关性 完全由数据本身的相关性所决定。小波变换的本质是多分辨率或多尺度的信号分 析，非常适合视觉系统对频率感知的对数特性。因此，从本质上说小波变换非常 适合于图像信号的处理。 小波图像编码方法正具有这种特性，一方面，它拥有传统编码方法的一些优 点，它能够很好的消除图像数据中的统计冗余；另一方面，小波变换多分辨率的 变换特性提供了利用人眼视觉特性的很好机制，而且小波变换后的图像数据能够 保持原图像在各种分辨率下的精细的结构，为进步去除图像中其他形式的冗余 信息提供了便利。正因为这些优势，小波图像编码在较高压缩比的图像编码领域 被非常看好。本文将在后面章节里详细介绍小波编码方法。 本章先对视频图像数据冗余进行了述说，接着对图像编码方法进行分类讨 论，几种新型图像编码方法的一个共同特点，就是从去处图像冗余信息的角度， 这些方法分别侧重于图像数据的视觉冗余、结构冗余和知识冗余，而忽略了图像 数据的统计冗余信息。传统的变换图像编码的方法在去除图像统计冗余信息方面 的性能是很好的，如果以此为基础，引入消除其他形式冗余的机制，可以得到一 种性能优于目前各种编码方法的新型图像编码技术。 第三章视频压缩编码的国际标准 3 。1 视频编码标准的发展过程 数字技术广泛应用于通信、计算机、广播电视等领域，带来了会议电视、可 视电话及数字电视、媒体存储等一系列应用，促使了许多视频编码标准的产生。 i t u t 与i s o i e c 是制定视频编码标准的两大组织，i t u t ( i n t e r n a t i o n a l t e l e c o m m u n i c a t i o n su n i o n ，国际电信同盟) 的标准主要有h 2 6 1 、h 2 6 3 、h 2 6 4 ， 应用于实时视频通信领域，如会议电视；m p e g ( m o v i n gp i c t u r ee x p e r t sg r o u p 即运动图像专家小组) 系列标准是由i s o i e c 制定的，主要应用于视频存储 ( d v d ) 、广播电视、因特网或无线网上的流媒体等。 两个组织也共同制定了一些标准，h 2 6 2 标准等同于m p e g - 2 的视频编码标 准，而最新的h 2 6 4 标准则被纳入m p e g 4 的第1 0 部分。 具体发布时间见图3 1 视频编码标准的发展所示： 图3 1 视频编码的发展史 3 2 i t u t 发布标准 3 2 1h 2 6 1 视频编码标准简介 h 2 6 1 是i t u t 为在综合业务数字网( i s d n ) 上开展双向声像业务( 可视电话、 视频会议1 而制定的，是第一个出台关于视频压缩编码的国际标准，于1 9 8 8 年提 出标准草案，1 9 9 0 年1 2 月通过 v i d e o c o d e c f o r a u d i o v i s u a ls e r v i c e sa tp + 6 4 k b i t s ) ) ，其中传输速率为6 4 k b s 的整数倍。 8 1 h 2 6 1 标准是电视图像压缩编码四十年研究的结晶，推动了数字视频通信技 术迅速的走向实用化。随后，i s o $ 0 定的j p e g ，m p e g 一1 和m p e g 2 ，都是以h 2 6 1 编码结构为核心基础的。 h 2 6 1 只能对c i f ( 3 5 2 2 8 8 ) 和q c i f ( 1 7 6 1 4 4 ) 两种图像格式进行处理， 每帧图像分成图像、宏块组( g o b ) 、宏块( m b ) 、块( b l o c k ) 来处理。采用有运动补 偿( 运动估值器计算运动矢量) 和利用图像在时问域的相关性的帧间预测。运动 补偿是基于1 6 x 1 6 的宏块( m a c r o b l o c k ) 进行 h 2 6 1 是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包 括运动补偿的帧间预测、d c t 变换、量化、熵编码，以及与固定速率的信道相 适配的速率控制等部分。 h 2 6 1 可以提供很高的压缩比，然而它不太适用于有大量运动的图像，而最 适用于有静态背景的谈话图像。 3 2 2 h 2 6 3 视频编码标准简介 h 2 6 3 是i t u t 为带宽低于6 4 k b s 的窄带通信信道制定的视频编码标准，随后 出现的第二版f h 2 6 3 + ) 及h 2 6 3 + + 中增加了许多选项，使其具有更广泛的适用性。 l 2 6 3 是i t u t 提出的作为h 3 2 4 ( 低比特率多媒体通讯的终端) 终端使用的视频编 解码建议，其标准输入图像格式可以是s - q c i f 、q c i f 、c i f 、4 c i f 或者1 6 c i f 的彩色4 ：2 ：0 亚取样图像。它是基于运动补偿的d p c m 的混合编码，在运动 搜索的基础上进行运动补偿，然后运用d c t 变换和”之”字形扫描游程编码，从 而得到输出码流。 h 2 6 3 在h 2 6 1 建议的基础上，将运动矢量的搜索增加为半象素点搜索；同 时又增加了无限制运动矢量，基于语法的算术编码，高级预测技术和p b 帧编码 四个高级选项；从而达到了进一步降低码速率和提高编码质量的目的。 h 2 6 3 采用运动视频编码中常见的编码方法，将编码过程分为帧内编码和帧 间编码两个部分。帧内用改进的d c t 变换并量化，在帧间采用1 2 象素运动矢 量预测补偿技术，使运动补偿更加精确，量化后适用改进的变长编码表( v l c ) 对 量化数据进行熵编码，得到最终的编码系数。 h 2 6 3 的编码速度快苴设计编码延时不超过1 5 0 m s ；码率低，在5 1 2k 乃至 3 8 4 k 带宽下仍可得到相当满意的图像效果，十分适用于需要双向编解码并传输 的场合( 如：可视电话) 和网络条件不是很好的场合( 如：远程监控) 。嗍后面将会详细 介绍该标准。 3 2 3h 2 6 4 视频编码标准简介 h 2 6 4 是i t u t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动图 像编码专家组) 的联合视频组( j v t ：j o i n t v i d e ot e a m ) 开发的一个新的数字视 频编码标准，它既是i t u t 的h 2 6 4 ，又是i s o i e c 的m p e g 一4 的第1 0 部分。 h 2 6 4 和以f j 仃的标准一样，也是d p c m 加变换编码的混合编码模式。它的基本系 统是开放的，使用无需版权。 1 0 l h 2 6 4 的主要优点如下： ( 1 ) 采用“回归基本”的简洁设计，不用众多的选项，在相同的重建图像质量 下，h 2 6 4 比h 2 6 3 + 和m p e g 4 ( s p ) 减小5 0 码率。 ( 2 ) 应用目标范围较宽，以满足不同速率、不同解析度以及不同传输( 存储) 场合的需求。对信道时延的适应性较强，既可工作于低时延模式以满足实时业务， 如会议电视等；又可工作于无时延限制的场合，如视频存储等。 ( 3 1 加强了对各种信道的适应能力，提高网络适应性，采用“网络友好”的结 构和语法，加强对误码和丢包的处理，提高解码器的差错恢复能力，能够很好地 适应i p 和无线网络的应用。 ( 4 ) 在编解码器中采用复杂度可分级设计，在图像质量和编码处理之间可 分级，以适应不同复杂度的应用。 在技术上，相对于先期的视频压缩标准，h 2 6 4 标准中有多个闪光之处， 包括统一的v l c 符号编码，高精度、多模式的位移估计，4 4 整数变换，空域 内的帧内预测，1 4 象素精度的运动估计，多参考帧与多种大小块的帧间预测技 术等。从总体上说，h 2 6 4 性能的改进是以增加复杂性为代价而获得的，其代价 是计算复杂度的大大增加，据估计，编码的计算复杂度大约相当于h 2 6 3 的3 倍， 解码复杂度大约相当于h 2 6 3 的2 倍。 3 3m p e g 标准简介 m p e g 的数据流包含3 种成分：图像流，伴音流和系统流。图像流仅仅包含 画面信息，伴音流包含声音信息，系统流实现图像和伴音的同步。所有播放m p e g 图像和伴音数据所需的时钟信息都包含在系统流中。 m p e g 图像压缩编码用复杂的数学和心理学技术达到它的压缩结果。m p e g 伴音压缩编码利用了人耳灵敏度的研究结果，图像编码利用人眼对亮度，颜色， 运动的灵敏度的一些有利结果。m p e g 的特点是它是一种有损的，非平衡编码。 有损意味着为达到低比特率，一些图像和伴音信息将丢失，通常这些信息是人眼 和人耳最不敏感的信息。因此即使以l xc d r o m 的速率压缩也能达到v h s 的 图像质量和高保真立体声的效果。m p e g 采用非平衡编码意味着压缩一幅图像比 解压缩慢的多。【1 1 j 【1 2 】 1 3 1 3 3 im p e g i 标准 m p e g 一1 于1 9 9 1 年引入用于加速c d r o m 中图像的传输。它的目的是把 2 2 1 m b i v 秒的n t s c 图像压缩到1 2 m b i t 秒，压缩率为2 0 0 ：1 。这是图像压缩的工 业认可标准。m p e g 一1 将视频序列分为三种类型的画面：( 1 ) 帧内图( i p i c t u r e ) ； ( 2 ) 预测图( p p i c t u r e ) ；( 3 ) 插补图( b p i c t u r e ) ， 也称为双向预测图。 i 帧压缩可以得到6 ：1 的压缩比而不产生任何可觉察的模糊现象。i 帧压缩的 同时使用p 帧压缩，可以达到更高的压缩比而无可觉察的模糊现象。b 帧压缩可 以达到2 0 0 ：l 的压缩比，其文件尺寸一般为i 帧压缩尺寸的1 5 ，不到p 帧压 缩尺寸的一半。i 帧压缩去掉图像的空间冗余度，p 帧和b 帧去掉时间冗余度。 它们之间的关系如图3 2 所示： 每个画面组( g o p ) 的第一帧是i 帧( i n t r af r a m e ) ，用类似h 2 6 1 压缩图 像的方法一样作d c t 量化和编码，每隔一定数量的帧就会出现一帧i 图，这为 媒介的随机访问提供了画面切入点。p 帧的编码类似于h 2 6 1 对图像的每一个 1 6x 1 6 的宏块，从前面的i 或p 帧寻找最佳匹配块得到匹配运动矢量，对经过 运动补偿的预测差值数据作d c t 量化和编码。 值得注意的是，运动估计可以在原始的图像序列上进行，而无须借助于帧存 储中被编码的图像，这是因为m p e g 一1 的应用场合是存储媒介，不要求实时的， 编码可以事先对运动矢量计算一次并记录下来。对b 帧图的编码比较复杂既用 到前面的i 帧或p 帧图，又要用到其后的i 帧图或p 帧图b 帧图，本身从不用 于预测，对每一个宏块都要计算前后两个运动矢量，根据前后两个最佳匹配块选 择补偿方式：( 1 ) 从前面的i 帧图或p 帧图补偿；( 2 ) 从后面的i 帧图或p 帧 图补偿；( 3 ) 从前后两个方向补偿。由于双向预测被编码的信息是低分辨率子 图和附加校f 信息，同时由于视频信号的时域冗余度很高，需要传送的附加运动 校正信息非常少，所以双向运动补偿可以大幅度的压缩数据，正因为如此 m p e g 一1 标准的性能优于h 2 6 1 。 3 3 2m p e g 2 标准 m p e g 2 用于宽带传输的图像，图像质量达到电视广播甚至h d t v 的标准。 和m p e g 一1 相比，m p e g 2 支持更广的分辨率和比特率变化范围，将成为数字图 像盘( d v d ) 和数字广播电视的压缩方式。m p e g 一2 视频信号压缩编码是完全 的引用了m p e g 一1 基于d c t 的有运动补偿的帧间双向预测的基本结构，并对此 有以下扩展： ( 1 ) 输入输出图像彩色分量之比可以是4 ：2 ：0 ，4 ：2 ：2 ，4 ：4 ：4 。 ( 2 ) 输入输出图像格式不限定。 ( 3 ) 可以直接对隔行扫描视频信号进行处理。 ( 4 ) 在空间分辨率、时间分辨率、信噪比方面的可分级性，以适合于不同 用选的解码图像要求，并可给出传输上不同等级的优先级。 ( 5 ) 码流结构的可分级性，比如：头部信息、位移矢量等部分可以给予较 高的优先级，而对于d c t 系数高频分量的部分则给予较低的优先级。 输。 ( 6 ) 输出码流速率可以是恒定的，也可以是变化的，以适应同步和异步传 3 3 3m p e g 4 标准 m p e g 4 标准，1 9 9 9 年完成第三版，是一个新的视频和音频编码的国际标 准。最大特点是基于对象的编码方式以及对合成对象的编码能力。支持固定和可 变速率视频编码( 低速小于6 4 k b p s ，中速6 4 i ( 一3 s 4 k b p s ，高速3 8 4 ( - 4 m b p s ) ， 主要应用于视像电话( v i d e op h o n e ) ，视像电子邮件( v i d e oe m a i l ) 和电子新闻 f e l e c t r o n i cn e w s ) 等，目的在于提供适合用于交互多媒体环境下应用的核心技术， 解决视频信号的有效存储和传输问题。 与m p e g 1 和m p e g 2 相比，m p e g ，4 的特点是其更适于交互a v 对象 ( a u d i o v i s u a lo b j e c t s ) 服务以及远程监控。m p e g - 4 是第一个使你由被动变为 主动( 不再只是观看，允许你加入其中，即有交互性) 的动态图象标准；它的另一 个特点是其综合性，从根源上说，m p e g 4 试图将自然物体与人造物体相溶合( 视 觉效果意义上的) 。 可见m p e g 4 压缩技术原本是一种适用在低带宽下进行信息交换的音视频 处理技术，它的特点是可以动态的侦测图像各个区域变化，用基于对象的而调整 压缩方法可以获得比m p e g i 更大的压缩比，压缩码流更低。 m p e g 4 压缩标准的技术亮点： 1 ) d m i f ( t h e d e l i v e r ym u l t i m e d i ai n t e g r a t i o nf r a m e w o r k ) 即多媒体传送整体框架，它主要解决交互网络中、广播环境下以及磁盘应用 中多媒体应用的操作问题。通过传输多路合成比特信息来建立客户端和服务器端 的交互和传输。通过d m i f ，m p e g 4 可以建立起具有特殊品质服务( q l m l t yo f s e r v e q o s ) 的信道和面向每个基本流的带宽。 2 1 数据平面 m p e g 4 中的数据平面可以分为两部分：传输关系部分和媒体关系部分。为 了使基本流和a v 对象在同一场景中出现，m p e g 4 引用了对象描述( o d o b j e c t d e s c r i b e ) 和流图桌面( s m t - s t r e a mm a pt a b l e t o p ) 的概念。o d 传输与特殊a v 对象相关的基本流的信息流图。桌面把每一个流与一个c a t ( c h a n n e l a s s o s i a t i o n t a g ) 相连，c a t 可实现该流的l r 瓯, 0 传输。 3 ) 缓冲区管理和实时识别 m p e g 4 定义了一个系统解码模式( s d m ) ，该解码模式描述了一种理想的 处理比特流句法语义的解码装置，它要求特殊的缓冲区和实时模式。通过有效地 管理，可以更好地利用有限的缓冲区空间。 4 1 音频编码 m p e g 4 的优越之处在于一它不仅支持自然声音，而且支持合成声音。m p e g 4 的音频部分将音频的合成编码和自然声音的编码相结合，并支持音频的对象特 征。 5 ) 视频编码 与音频编码类似，m p e g 4 也支持对自