视频压缩编码

1、视频压缩编码数据压缩编码已经有很长的历史。压缩编码的理论基础是信息论。从信息的 角度来看，压缩就是去除数据中的冗余。即保留不确定的信息，去除确定的信息 (即可推知的信息)，用一种更接近信息本质的描述来代替原有冗余的描述。视频压缩的目标是在尽可能保证视觉效果的前提下减少视频数据率。视频压 缩比一般指压缩后的数据量与压缩前的数据量之比。由于视频是连续的静态图 像，因此其压缩编码算法与静态图像的压缩编码算法有某些共同之处，但是运动 的视频还有其自身的特性，因此在压缩时还应考虑其运动特性才能达到高压缩的 目标。在视频压缩中常需用到以下的一些基本概念：一、有损和无损压缩：在视频压缩中有损(Lossy)和

2、无损(Lossless)的 概念与静态图像中基本类似。无损压缩也即压缩前和解压缩后的数据完全一致。 多数的无损压缩都采用RLE行程编码算法。有损压缩意味着解压缩后的数据与压 缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音 频信息，而且丢失的信息不可恢复。几乎所有高压缩的算法都采用有损压缩，这 样才能达到低数据率的目标。丢失的数据率与压缩比有关，压缩比越大，丢失的 数据越多，解压缩后的效果一般越差。此外，某些有损压缩算法采用多次重复压 缩的方式，这样还会引起额外的数据丢失。二、帧内和帧间压缩：帧内(Intraframe)压缩也称为空间压缩(Spatial compress

3、ion)。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗 余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法，由于帧内 压缩时各个帧之间没有相互关系，所以压缩后的视频数据仍可以以帧为单位进行 编辑。帧内压缩一般达不到很高的压缩。采用帧间(Interframe)压缩是基于许多视频或动画的连续前后两帧具有很 大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之 间具有冗余信息，根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压 缩量，减小压缩比。帧间压缩也称为时间压缩(Temporal compression)，它通 过比较时间轴上不同帧之间的数据进行压缩

4、。帧间压缩一般是无损的。帧差值 (Frame differencing)算法是一种典型的时间压缩法，它通过比较本帧与相邻 帧之间的差异，仅记录本帧与其相邻帧的差值，这样可以大大减少数据量。三、对称和不对称编码：对称性(symmetric)是压缩编码的一个关键特征。 对称意味着压缩和解压缩占用相同的计算处理能力和时间，对称算法适合于实时 压缩和传送视频，如视频会议应用就以采用对称的压缩编码算法为好。而在电子 出版和其它多媒体应用中，一般是把视频预先压缩处理好，而后再播放，因此可 以采用不对称(asymmetric)编码。不对称或非对称意味着压缩时需要花费大量 的处理能力和时间，而解压缩时则能较好

5、地实时回放，也即以不同的速度进行压 缩和解压缩。一般地说，压缩一段视频的时间比回放(解压缩)该视频的时间要 多得多。例如，压缩一段三分钟的视频片断可能需要10多分钟的时间，而该片 断实时回放时间只有三分钟。视频压缩编码标准主要由ITU-T和ISO/IEC开发。前者已经发布了视频会议 标准H.261、H.262、H.263，并且准备进行远期编码标准H.263L的开发，以 期望获得更大的编码效率ISO/IEC的标准系列是大家熟悉的MPEG家族。包括：MPEG-1(19881992)，可以提供最高达1.5Mbps的数字视频，只支持逐行扫描。MPEG-1是ISO开发的第一个视频压缩算法。主要应用是数字

6、媒体上动态图 像与音频的存储与检索，如速率为1.15Mbps、采用SIF分辨率(352*240 *29.97 或者352*288 *25)的VCD。MPEG-1与H.261相似，不过编码器一般需要更高 的性能，以便支持电影内容的较高运动性而不是典型的可视电话功能。与H.261相比，MPEG1允许采用B帧。另外它还采用自适应感知量化，也 就是说，对每个频段采用单独的量化比例因子(或等步长)，以便优化人们的视 觉感受。MPEG-1仅支持逐行视频，因此新标准MPEG-2已经开始做出努力，同 时支持分辨率及比特率更高的逐行与隔行视频。MPEG-2(19901994)，支持的带宽范围从 2Mbps 到超

7、过 20Mbps，MPEG-2 后向兼容MPEG-1，但增加了对隔行扫描的支持，并有更大的伸缩性和灵活性。MPEG-2专门针对数字电视而开发，很快成为了迄今最成功的视频压缩标准。 MPEG-2既能够满足标准逐行视频的需求(其中视频序列由一系列按一定时间间 隔采集的帧构成)，又能够满足电视领域常用的隔行视频的需求。隔行视频交替 采集及显示图像中两组交替的像素(每组称为一个场)。这种方式尤其适合电视 显示器的物理特性。MPEG-2支持标准的电视分辨率，其中包括：针对美国和日 本采用的NTSC制式隔行720*480分辨率，每秒60场，以及欧洲和其他国家 采用的PAL制式的720*576分辨率，每秒5

8、0场。MPEG-2建立在MPEG-1基础之上，并具备扩展功能，能支持隔行视频及更 宽的运动补偿范围。由于高分辨率视频是非常重要的应用，因此MPEG-2支持的 搜索范围远远大于MPEG-1。与之前的标准相比，它显著提高了运动估计的性能 要求，并充分利用更宽搜索范围与更高分辨率优势的编码器需要比H.261和MPEG-1高得多的处理能力oMPEG2中的隔行编码工具包含优化运动补偿的能力， 同时支持基于场和基于帧的预测，而且同时支持基于场和基于帧的DCT/IDCT。 MPEG-2在30:1左右的压缩比时运行良好。MPEG-2在4-8Mbps时达到的质量 适合消费类视频应用，因此它很快在许多应用中得到普

9、及，如：数字卫星电视、 数字有线电视、DVD以及后来的高清电视等。另外，MPEG-2增加了分级视频编码工具，以支持多层视频编码，即：时域 分级、空域分级、SNR分级以及数据分割。尽管MPEG-2中针对分级视频应用定 义了相关类别(profile)，不过支持单层编码的主类(Main Profile)是当今大 众市场中得到广泛应用的唯一 MPEG-2类。MPEG-2解码最初对于通用处理器及 DSP具有很高的处理要求。优化的固定功能MPEG-2解码器开发已问世，由于使 用量较高，成本已逐渐降低。MPEG-2证明低成本芯片解决方案的供应是视频编 解码标准成功和普及的关键。一MPEG-4(1994199

10、8)，支持逐行扫描和隔行扫描，是基于视频对象的编码 标准，通过对象识别提供了空间的可伸缩性。MPEG-4由ISO提出，以延续MPEG-2的成功。一些早期的目标包括：提高 容错能力以支持无线网、对低比特率应用进行更好的支持、实现各种新工具以支 持图形对象及视频之间的融合。大部分图形功能并未在产品中受到重视，相关实 施主要集中在改善低比特率压缩及提高容错性上。MPEG-4简化类(SP)以H.263为基础，为改善压缩增加了新的工具，包括: *无限制的运动矢量：支持对象部分超出帧边界时的预测。*可变块大小运动补偿：可以在16*16或8*8粒度下进行运动补偿。*上下文自适应帧内DCT DC/AC预测：可

11、以通过当前块的左右相邻块预测DC/AC DCT 系数。*扩展量化AC系数的动态范围，支持高清视频：从H.263的-127:127到 -2047, 2047。增加了容错功能，以支持丢包情况下的恢复，包括：*片断重同步（Slice Resynchronization）:在图像内建立片断（slice），以便 在出现错误后更快速的进行重新同步。与MPEG-2数据包大小不同，MPEG-4数 据包大小与用于描述MB的比特数量脱离了联系。因此，不管每个MB的信息量 多少，都可以在位流中按相同间隔进行重新同步。*数据分割：这种模式允许利用唯一的运动边界标记将视频数据包中的数据分割 成运动部分和DCT数据部分。

12、这样就可以实现对运动矢量数据更严格的检查。如果出现错误，我们可以更清楚地了解错误之处，从而避免在发现错误情况下抛 弃所有运动数据。*可逆VLC： VLC编码表允许后向及前向解码。在遇到错误时，可以在下一个 slice进行同步，或者开始编码并且返回到出现错误之处。*新预测（NEWPRED）：主要用于在实时应用中实现快速错误恢复，这些应用中的 解码器在出现丢包情况下采用逆向通道向解码器请求补充信息。MPEG-4高级简化类（ASP）以简化类为基础，增加了与MPEG-2类似的B 帧及隔行工具（用于Level 4及以上级别）。另外它还增加了四分之一像素运动 补偿及用于全局运动补偿的选项。MPEG-4高级

13、简化类比简化类的处理性能要求 更高，而且复杂性与编码效率都高于MPEG-2。MPEG-4最初用于因特网数据流， 例如，已经被Apple的QuickTime播放器采用。MPEG-4简化类目前在移动数 据流中得到广泛应用。MPEG-4 ASP是已经流行的专有DivX编解码器的基石。（4）MPEG-7（1998-2000）是一种多媒体内容描述的标准，定义了描述、描 述语和描述方案，便于处理多媒体内容。MPEG-7可独立于MPEG的其他标准使用，MPEG-7的描述符与所描述内容的压 缩编码或存储方式无关，任何经压缩或未经压缩的多媒体信息都可以使用 MPEG-7标准来描述。数字电视视频压缩技术原理摘要：

14、视频压缩通过减少和去除冗余视频数据的方式，达到有效发送和存储数字 视频文件的目的。在压缩过程中，需要应用压缩算法对源视频进行压缩以创建压 缩文件，以便进行传输和存储。要想播放压缩文件，则需要应用相反的解压缩算 法对视频进行还原，还原后的视频内容与原始的源视频内容几乎完全相同。压缩、 发送、解压缩和显示文件所需的时间称为延时。在相同处理能力下，压缩算法越 高级，延时就越长。传统的压缩编码是建立在香农（Shannon）信息论基础上的，它以经典的集合论为基础，用统计概率模型来描述信源，但它未考虑信息接受 者的主观特性及事件本身的具体含义、重要程度和引起的后果。因此，压 缩编码的发展历程实际上是以香农

15、信息论为出发点，一个不断完善的过程。从不同角度考虑，数据压缩编码具有不同的分类方式。按信源的统计特性可分为预测编码、变换编码、矢量量化编码、子带 一小波编码、神经网络编码方法等。数眼的视觉特性可能基于方向滤波的图像编码、基于图像轮廓一纹理 的编码方法等。按图像传递的景物特性可分为分形编码、基于内容的编码方法等。视频压缩技术是计算机处理视频的前提。视频信号数字化后数据带宽 很高，通常在20MB/秒以上，因此计算机很难对之进行保存和处理。采用压 缩技术以后通常数据带宽右以降到1-10MB/秒，这样就可以将视频信号保存 在计算机中并作相应的处理。常用的算法是由 ISO制订的，即JPEG和MPEG 算

16、法。JPEG是静态图像压缩标准，适用于连续色调彩色或灰度图像，它包 括两部分：一是基于DPCM （空间线性预测）技术的无失真编码，一是基于 DCT（离散余弦变换）和哈夫曼编码的有失真算法，前者压缩比很小，主要应 用的是后一种算法。在非线性编辑中最常用的是MJPEG算法，即MotionJPEG。它是将视频信号50帧/秒（PAL制式）变为25帧/秒，然后按照25帧/ 秒的速度使用JPEG算法对每一帧压缩。通常压缩倍数在3.5-5倍时可以达 到Betacam的图像质量。MPEG算法是适用于动态视频的压缩算法，它除了 对单幅图像进行编码外还利用图像序列中的相关原则，将冗余去掉，这样 可以大大提高视频的

17、压缩比。前MPEG-I用于VCD节目中，MPEG-II用于VOD、 DVD节目中。数据压缩的理论基础是信息论，从信息论的角度来看，压缩就是去掉数据中 的冗余，即保留不确定的信息，去掉确定的信息（可推知的），也就是用一种更 接近信息本质的描述来代替原有冗余的描述。数字图像和视频数据中存在着大量 的数据冗余和主观视觉冗余，因此，图像和视频数据压缩不仅是必要的，而且也 是可能的。视频数据压缩方法根据不同的依据可产生不同的分类。最常见的是根据质量 有无损失可分为有失真压缩编码和无失真压缩编码。按照压缩冗余信息的机理不 同，目前的图像压缩编码方法大致可以分为三类:一是，着眼于图像信源的统计 特征的压缩方

18、式，主要采用统计编码法、预测编码法、变换编码法、矢量量化编 码法、神经网络编码法等；二是，着眼于人眼视觉特性的压缩方式，主要采用基 于方向滤波的图像编码法，基于图像轮廓-纹理的编码法；三是，着眼于图像传 递的景物（内容）特征的压缩方式，主要采用基于模型的（分形）编码法。视频编解码器（编码器/解码器）是指两个协同运行的压缩-解压算法。使用 不同标准的视频编解码器通常彼此之间互不兼容；也就是说，使用一种标准进行 压缩的视频内容无法使用另外一种标准进行解压缩。例如，MPEG-4Part2解码器 就不能与H.264编码器协同运行。这是因为一种算法无法正确地对另外一个算法 的输出信号进行解码，然而我们可

19、以在同一软件或硬件中使用多种不同的算法， 以支持对多种格式的文件进行压缩。由于不同的视频压缩标准会使用不同的方法来减少数据量，因此压缩结果在 比特率、质量和延时方面也各不相同。此外，由于编码器的设计者可能会选择使用某个标准所定义的不同工具集， 因此，即使是使用相同压缩标准的编码器之间，其压缩结果也可能会存在差异。 不过，只要编码器的输出信号符合标准的格式以及解码器的要求，就可以采用不 同的实施方式。这是非常有利的，因为不同的实施方式可实现不同的目标，满足 不同的预算要求。对用于管理光介质存储的非实时专业软件编码器来说，应该能 够比用于视频会议的集成在手持设备中的实时硬件编码器提供质量更高的编码

20、 视频。因此，即使是某个指定的标准也无法保证提供指定的比特率或质量。而且， 如果不事先确定实施方式，一个标准就无法与其它标准进行正确的性能对比，甚 至也无法与同一标准的其它实施方式进行正确的性能对比。与编码器不同，解码器必须实施某个标准的所有必需部分，才能对符合标准 的比特流进行解码。这是因为标准中明确规定了解压缩算法应如何对压缩视频的 每个比特进行还原。压缩技术与电视有很大的关系，交织技术是最简单的压缩形式，它使带宽以 2:1的比例降低。人的视觉系统总要用一定时间才能识别图像元素，如果在一定 的刷新频率下，每帧图像的停留时间长于人眼观察所需要的时间，那么在下一帧 图像的显示过程中，第一幅图像

21、仍然会残留在人的视觉印象中。这种视觉残留可 以消除画面的闪烁现象，将连续的画面呈现在人们眼前。电影的帧速率为24帧 /秒，但在显示每一帧画面的中间有一次中断，所以实际的刷新率是48帧/秒。 因此对电影而言画面更新率是24而刷新速率是48。电视则采用隔行扫描以获得 同样的效果。电视没有采用电影的24帧而是采用了 25帧与30帧是为了和电网 频率同步降低对电源的要求。用色差信号代替GBR信号是另一种压缩形式，利用了人眼对色彩细节不敏感 的特性OYUV（亦称YCrCb）是被欧洲电视系统所采用的一种颜色编码方法（PAL）。 YUV主要用于优化彩色视频信号的传输，使其向后兼容老式黑白电视。与RGB视 频

22、信号传输相比，它最大的优点在于只需占用极少的带宽（RGB要求三个独立的 视频信号同时传输）。其中Y”表示明亮度（Luminance或Luma），也就是灰阶 值；而U”和“V”表示的则是色度（Chrominance或Chroma），作用是描述影 像色彩及饱和度，用于指定像素的颜色。“亮度”是通过RGB输入信号来创建的， 方法是将RGB信号的特定部分叠加到一起。“色度”则定义了颜色的两个方面一 色调与饱和度，分别用Cr和CB来表示。其中，3反映了 GB输入信号红色部分 与RGB信号亮度值之间的差异。而CB反映的是RGB输入信号蓝色部分与RGB信 号亮度值之同的差异。PAL、NTSC、SECAM都是

23、压缩的形式，称为复合视频系统（CVBS?），他们在保 留了黑白电视的频道结构的同时增加了色彩信号。信号的细节取决于应用的视频 标准或者“制式” -NTSC （美国全国电视标准委员会，National Television Standards Committee）、PAL （逐行倒相，Phase Alternate Line）以及 SECAM （顺序传送与存储彩色电视系统，法国采用的一种电视制式，SEquentialCouleur Avec Memoire）。NTSC和PAL彩色视频信号是这样构成的一首先有一个 基本的黑白视频信号，然后在每个水平同步脉冲之后，加入一个颜色脉冲和一个 亮度信号。因

24、为彩色信号是由多种数据“叠加”起来的，故称之为“复合视频”。 S-Video则是一种信号质量更高的视频接口，它取消了信号叠加的方法，可有效 避免一些无谓的质量损失。它的功能是将RGB三原色和亮度进行分离处理。一般说来，在帧内以及帧与帧之间，众多的视频序列均包含很大的统计冗余 度和主观冗余度。视频源码的最终目标是：通过挖掘统计冗余度和主观冗余度， 来降低存储和传送视频信息所需的比特率；并采用嫡编码技术，以便编制出“最 小信息组”一个实用的编码方案，是在编码特性（具有足够质量的高压缩）与实施 复杂性之间的一种折衷。对于MPEG压缩算法的开发来讲，涉及到这些标准的寿 命周期应考虑到现代超大规模集成电

25、路技术的能力，这一点是最重要的。根据应 用的要求，我们也许会想到视频数据的“无损失”编码和“有损失”编码“无损 失”编码的目的在于：在保持原图像质量（即解码后的图像质量等同于编码前的 图像质量）情况下，来减少需要存储和传送的图像或视频数据。与此相反，“有损 失”编码技术（该技术跟MPEGl和MPEG2视频标准未来的应用有关）的目的是， 去符合给定的存储和传送比特串。重要的一些应用包括；利用限定的带宽或很窄 的带宽，通过通信频道采传送视频信息；有效地存储视频信息。在这些应用中， 高的视频压缩是以降低视频质量的办法来实施的，即跟编码以前的原始图像相 比，解码后的图像“客观”质量有所降低（也就是取原

26、始图像和再现图像之间的 均方差，作为评定客观图像质量的标准）频道的目标比特率越低；那么视频所必 须进行的压缩率就越大，通常可察觉的编码人工产物也越多。有损失编码技术的 最终目的是：在指定的目标比特串条件下，获取最佳的图像标准。这里应服从“客 观”或“主观”上的最佳标准。这里应该指出，图像的降级程度（指客观降低以 及可察觉到的人工产物的数量）取决于压缩技术的复杂性一一对于结构简单的画 面和视频活动少的图像来讲，就是采用简单的压缩技术，也许能获得根本不带可 察觉人工产物的良好的再现图像。目前监控中主要采用 MJPEG、MPEG1/2、MPEG4(SP/ASP)、H.264/AVC 等 几种视频编码

27、技术。对于最终用户来言他最为关心的主要有：清晰度也 储量(带宽)、稳定性还有价格。采用不同的压缩技术，将很大程度影响以 上几大要素。MJPEGMJPEG(Motion JPEG)压缩技术，主要是基于静态视频压缩发展起来 的技术，它的主要特点是基本不考虑视频流密同帧之间的变化，只单独 对某一帧进行压缩。MJPEG压缩技术可以获取清晰度很高的视频图像，可以动态调整帧率、 分辨率。但由于没有考虑到帧间变化，造成大量冗余信息被重复存储，因 此单帧视频的占用空间较大，目前流行的MJPEG技术最好的也只能做到3K字节/帧，通常要820K !MPEG-1/2MPEG-1(19881992)，可以提供最高达1

28、.5Mbps的数字视频，只支持逐行 扫描。MPEG-1标准主要针对SIF标准分辨率(NTSC制为352X240 ； PAL制为 352X288)的图像进行压缩.压缩位率主要目标为1.5Mb/s.较MJPEG技术， MPEG1在实时压缩、每帧数据量、处理速度上有显著的提高。但MPEG1也有较多不利地方：存储容量还是过大、清晰度不够高和网络传输困难。MPEG-2(19901994)，支持的带宽范围从2Mbps到超过20Mbps，MPEG-2后 向兼容MPEG-1，但增加了对隔行扫描的支持，并有更大的伸缩性和灵活性； MPEG-2在MPEG-1基础上进行了扩充和提升，和 MPEG-1向下兼容，主要针

29、 对存储媒体、数字电视、高清晰等应用领域，分辨率为：低 (352x288)，中 (720 x480)，次高(1440 x1080)，高(1920 x1080)。MPEG-2 视频相对 MPEG-1 提升了分辨率，满足了用户高清晰的要求，但由于压缩性能没有多少提高， 使得存储容量还是太大，也不适和网络传输。MPEG-4MPEG-4(19941998)，支持逐行扫描和隔行扫描，是基于视频对象的编码 标准，通过对象识别提供了空间的可伸缩性；MPEG-4视频压缩算法相对于 MPEG-1/2在低比特率压缩上有着显著提高，在 CIF (352*288 )或者更高清 晰度(768*576 )情况下的视频压缩

30、，无论从清晰度还是从存储量上都比 MPEG1具有更大的优势，也更适合网络传输。另外MPEG-4可以方便地动态调整帧率、比特率，以降低存储量。MPEG-4由于系统设计过于复杂，使得MPEG-4难以完全实现并且兼容， 很难在视频会议、可视电话等领域实现，这一点有点偏离原来地初衷。另 外对于中国企业来说还要面临高昂的专利费问题，目前规定：-每台解码设备需要交给MPEG-LA 0.25美元。-编码/解码设备还需要按时间交费（4美分/天二1.2美元/月二14.4 美元/年）。H.264/AVC视频压缩国际标准主要有由ITU-T制定的H.261、H.262、H.263、H.264 和由 MPEG 制定的

31、MPEG-1、MPEG-2、MPEG-4，其中 H.262/MPEG-2 和 H.264/MPEG-4 AVC 由 ITU-T 与 MPEG 联合制定。一264就是一种视频编码技术，与微软的WMV9都属于同一种技术也就是压缩动态图像数据的“编解码器”程序。一般来说，如果动态图像数据未经压缩就使用的话，数据量非常大， 容易造成通信线路故障及数据存储容量紧张。因此，在发送动态图像时、 或者把影像内容保存在DVD上时、以及使用存储介质容量较小的数码相机 或担机手机拍摄映像时，就必须使用编解码器。虽然编解码器有许多种类， 但DVD-Video与微波数字电视等使用的主要是 MPEG2，数码相机等摄像时主 要使用MPEG4。既然作为压缩视频编码技术，H