电视机课程设计.doc

课程设计说明书 第I页摘 要视频压缩的目标是在尽可能保证视觉效果的前提下减少视频数据率。因此编码是要消除数据中冗余部分。视频压缩比一般指压缩后的数据量与压缩前的数据量之比。由于视频是连续的静态图像，因此其压缩编码算法与静态图像的压缩编码算法有某些共同之处，但是运动的视频还有其自身的特性，因此在压缩时还应考虑其运动特性才能达到高压缩的目标。数字视频压缩编码是数字电视广播系统中非常重要的环节，主要解决电视信号数字化后所带来的海量数据量如何能够有效地存储和传输的问题。近20年来，视频/音频压缩编码技术一直处于快速发展之中，新技术和新标准不断涌现，现代视频/音频压缩编码技术已经比较成熟，可以在保持较好图像质量前提下，达到较高的压缩比。数字视频压缩机理主要来源于数字视频数据中存在大量的数据冗余而且人眼的视觉系统特性也会带来较大的冗余，所以本设计将以冗余信息为依据，对视频图像进行压缩编码。关键词：数字视频，编码，解码目 录1 绪 论11.1 数字电视的发展11.2 数字电视的特点及组成22 数字视频压缩编码32.1 视频压缩编码的基本概念32.2视频压缩编码的标准42.3视频压缩编码的方法52.3.1 预测编码52.2.2 正交变换编码62.2.3 变字长编码73 信号源编码器与解码器93.1 编码器设计93.1.1 MPEG-2编码简述93.1.2 I、B、P帧编码103.1.3 MPEG-2编码器工作原理113.2 解码器设计133.2.1 视频基本码流结构133.2.2 MPEG-2解码14总 结16致 谢17参考文献18课程设计说明书 第18页1 绪论1.1 数字电视的发展数字电视系统(Digatle Television)就是电视信号的拍摄、编辑、发射、传输、接收、处理显示等全过程都使用数字技术的电视系统，数字电是未来家庭的数字多媒体处理和显示终端。数字电视是一个大家庭，按照清晰度分为：高清晰度数字电视HDTV(HighDefinitionrrv)增强清晰度数字电视EDTV、标准清晰度数字电视SDTV和普通清晰度数字电视PDTV。HDT是目前数字电视的最高级别，不同清晰度级别的数字电视之间具有向下兼容性，高端产品可以兼容低端产品。数字电视的图像格式主要有两种：高清晰度电视和标准清晰度电视，其名称均包含着相应的技术要求。它是是现代文明的一个重要标志。在与人们工作生活密切相关的电脑、手机和电视三大信息平台中，电脑和手机已实现了数字化和网络化，为人们带来了多姿多彩的资讯和娱乐服务，也为相关企业带来了巨额利润。数字电视将带来数字生活方式的又一场惊天动地的革命。其中高清晰度电视的含义主要包括：（1）图像取样格式不低于19201080i(隔行)或1280720P(逐行)，图像水平清晰度大于700线，重放效果相当于16nun电影胶片图像质量水平。（2）图像幅型比为16：9，彩色显像管荫罩节距应小于06ram(以81cm彩色显像管为例)。（3）图像、伴音信号传输方式为数字方式，并采用国际通用的数字电视信号压缩、编码、调制、解调方式。（4）声音信号为独立多声道环绕立体声。（5）具有符合高清晰度显示的扫描格式或行扫描频率达28KHz以上。（6）具备足够的视频信号带宽，要求达到30MHz以上。标准清晰度电视的含义主要包括：（1）图像取样格式为720576i，图像水平清晰度大于500线，重放效果相当于DVD激光视盘机的质量水平。（2）图像幅型比为4：3(即传统CRT型彩色电视幅型比)。（3）图像、伴音信号编码传输方式为数字方式，并采用国际通用的数字电视信号压缩、编码、调制、解调方式。（4）声音信号为独立多声道环绕立体声，目前暂以双声道为主。目前，我国各个省、市、自治区试播数字电视节目只在个别有线电视网内试播。试播的电视节目，大多为标清晰度电视节目，其清晰度、图像质量、伴音质量与DVD激光视盘机相同。因此，只在有试播任务的有线电视网内才能收看数字电视节目。1.2 数字电视的特点及组成数字电视系统由三部分组成：数字前端系统、双向传输网络和用户终端系统。其数字前端系统通常划分为信源处理、信息处理和传输处理三部分，完成节目的数字化、加扰、授权和认证等功能；双向传输网络主要通过卫星、Cable、地面发射、MMDS等方式将节目传送到用户家中，回传可采用HFC回传通道、PSTN和其它网络；用户终端系统采用机顶盒（STB）收看数字电视节目或实现交互式功能，如收看付费电视、实现Internet浏览、远程教育等。因为传统模拟电视传送的图像信号和声音信号是连续变化的电压和电流，图像的亮暗变化、声音的大小都是以连续变化的电压、电流大小来表征，而数字电视传送的是不连续的“0”“1”脉冲信号，传输时首先要把连续变化的模拟信号经取样、量化、压缩编码后，变为不连续的二进制脉冲信号，其中包含着图像亮暗和声音大小的信息。所以数字电视具有非常明显的优点：数字电视信号的噪波、失真与信号连续处理的次数无关，不会产生噪波、失真的累积。同时，数字电视信号很容易实现检错与纠错，抗干扰能力强，图像、伴音信号传输质量很高。标准清晰度的数字电视(SDTV)，图像的清晰程度即达到DVD水平，伴音也达到环绕立体声效果。数字电视信号很容易实现存储、控制与处理，存储时间与信号特性无关，并可实现数字特技效果。例如冻结、放大、缩小、快放、慢放等特技处理。数字电视信号可以合理利用频谱资源。在一个8MHz的模拟电视频道内，可以传送一套频谱达27MHz的高清晰度电视节目或传送46套频谱为6MHz的标准清晰度电视节目。也就是说，在现行750MHz的有线电视网络中，传送模拟电视最多只能容纳7080套节目，而用于传送数字电视，节目容量可以超过500套，大大提高了用户对电视节目多样化、高质量的需求。数字电视信号很容易实现信号的加密、解密，便于实现电视节目的条件接收。例如：付费电视、专用数据业务传送等。数字电视系统具有可扩展性、可分级性和可操作性，便于实现各种交互式多媒体应用，能够为用户提供多元化资讯和数字增值服务。例如：视频点播(VOD)、股市行情实时查询及交易、互联网接人、网页浏览、电子邮件、网上购物等。数字电视系统可以传输多声道环绕立体声伴音信号，提高了声音信号的立体感、空间环绕感，使收听者有身临其境的视听效果。数字电视系统的音频信号信噪比高、失真小、动态范围大、频响宽，是高质量的电视伴音。2 数字视频压缩编码2.1 视频压缩编码的基本概念视频压缩的目标是在尽可能保证视觉效果的前提下减少视频数据率。由于视频是连续的静态图像，因此其压缩编码算法与静态图像的压缩编码算法有某些共同之处，但是运动的视频还有其自身的特性，因此在压缩时还应考虑其运动特性才能达到高压缩的目标。在视频压缩中常需用到以下的一些基本概念：（1）有损和无损压缩:在视频压缩中有损（Lossy ）和无损（Lossless）的概念与静态图像中基本类似。无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。有损压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息,而且丢失的信息不可恢复。几乎所有高压缩的算法都采用有损压缩,这样才能达到低数据率的目标。丢失的数据率与压缩比有关,压缩比越小，丢失的数据越多,解压缩后的效果一般越差。此外,某些有损压缩算法采用多次重复压缩的方式,这样还会引起额外的数据丢失。（2）帧内和帧间压缩:帧内（Intraframe）压缩也称为空间压缩（Spatial compression）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法，由于帧内压缩时各个帧之间没有相互关系，所以压缩后的视频数据仍可以以帧为单位进行编辑。帧内压缩一般达不到很高的压缩。采用帧间（Interframe）压缩是基于许多视频或动画的连续前后两帧具有很大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息,根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压缩量，减小压缩比。帧间压缩也称为时间压缩（Temporal compression），它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。帧差值（Frame differencing）算法是一种典型的时间压缩法，它通过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样可以大大减少数据量。（3）对称和不对称编码:对称性（symmetric）是压缩编码的一个关键特征。对称意味着压缩和解压缩占用相同的计算处理能力和时间，对称算法适合于实时压缩和传送视频，如视频会议应用就以采用对称的压缩编码算法为好。而在电子出版和其它多媒体应用中，一般是把视频预先压缩处理好，尔后再播放,因此可以采用不对称（asymmetric）编码。不对称或非对称意味着压缩时需要花费大量的处理能力和时间，而解压缩时则能较好地实时回放，也即以不同的速度进行压缩和解压缩。一般地说,压缩一段视频的时间比回放（解压缩）该视频的时间要多得多。例如，压缩一段三分钟的视频片断可能需要10多分钟的时间，而该片断实时回放时间只有三分钟。2.2视频压缩编码的标准视频编码标准主要由ITU-T和ISO/IEC开发。前者已经发布了视频会议标准H.261、 H.262、 H.263，并且准备进行远期编码标准H.263L的开发，以期望获得更大的编码效率。ISO/IEC的标准系列包括： MPEG-1(19881992)，可以提供最高达1.5Mbps的数字视频，只支持逐行扫描。MPEG-2(19901994)，支持的带宽范围从2Mbps到超过20Mbps，MPEG-2后向兼容MPEG-1，但增加了对隔行扫描的支持，并有更大的伸缩性和灵活性。MPEG-4(19941998)，支持逐行扫描和隔行扫描，是基于视频对象的编码标准，通过对象识别提供了空间的可伸缩性。 MPEG-7(19962000)，是多媒体内容描述接口，与前述标准集中在音频/视频内容的编码和表示不同，它集中在对多媒体内容的描述。 除了上述通用标准外，还存在很多专用格式，比较流行的有：C-Cube的M-JPEG、Intel的IVI(tm)(Indeo Video Interactive)、Apple的QuickTime(tm)、Microsoft的 Media Player(tm)和RealNetworks的RealPlayer(tm)。2.3视频压缩编码的方法2.3.1 预测编码预测编码是通过消去统计相关冗余来实现数据压缩的重要手段之一，它建立在现代统计学和控制论的理论基础上。由于电视图像信号无论在空间域或时间域都存在很大的相关性，而且这些相关性使信源的条件熵大为降低。如何消去这些 冗余，使各像素之间得统计独立性是预测编码的首要任务。通过预测编码，配合后边的量化器与熵编码器，可以有效地消除冗余，达到压缩数码率的目的。 预测编码的基本方法是先利用某种数学模式对以前已知的相关数据进行运算，得出一个与当前实际传送值相接近的预测 值，进而把实际要传送的数值减去预测值，得到一个误差值，将这个误差值编码后传送出去，故预测编码也称差值编码或编码。预测编码的关键是如何选用一种数学模式，使运算出的预测值尽可能与当前实际值相接近。但无论怎样，要做到预测值与当前值总是相等是不可能的。尽管如此，预测值越接近将要发出的实际值，其差值越小，而且小差值出现的概率也越高，通过熵编码后整个传送系统的效率也越高，即压缩效果越好。 如下图1所示为预测编码系统框图。解码编码接受编码编码传输+量化器预测器反量化+预测器反量化+ 图1 预测编码系统框图假设输入样值为Xn(即代表tn时刻的样值),预测值为nx（即代表tn时刻之前根据相关样值x1、x2xn-16所预测的样值），令en为xn与nx的差值信号，即en=xnnx又令en为en量化之后的输出信号。若量化误差为x,则有en=xn+x收信端输出的信号样值为xn，得到xn=en+nx=en+x+nx=nx+x+nx=xn+x式中，x为量化器产生的量化误差，若不考虑量化器的影响，则有xn=xn即表示收信端信号与发信端信号完全相同，为信息保持型编码解码器。应当指出，发信端收信端所用的预测器组成形式是完全相同的，而且所有参与预测的相关样值都是以前发出的并被保留在发、收两端预测寄存器中的样值，它们也是完全相同的，因而产生的预测值x也完全相同。所谓当前值，对发信端而言是指已经输入和即将发出的样值；对收信端而言则是指将要收到的未来值。在满足信息保持的条件下，两者应完全相同。2.2.2 正交变换编码变换编码是指先对信号进行某种函数变换，从一种信号（空间）变换到另一种（空间），然后再对信号进行编码。如将时域信号变换到频域，因为声音、图像大部分信号都是低频信号，在频域中信号的能量较集中，再进行采样、编码，那么可以肯定能够压缩数据。变换编码系统中压缩数据有变换、变换域采样和量化三个步骤。变换本身并不进行数据压缩，它只把信号映射到另一个域，使信号在变换域里容易进行压缩，变换后的样值更独立和有序。这样，量化操作通过比特分配可以有效地压缩数据。在变换编码系统中，用于量化一组变换样值的比特总数是固定的，它总是小于对所有变换样值用固定长度均匀量化进行编码所需的总数，所以量化使数据得到压缩，是变换编码中不可缺少的一步。在对量化后的变换样值进行比特分配时，要考虑使整个量化失真最小。变换编码是一种间接编码方法。它是将原始信号经过数学上的正交变换后，得到一系列的变换系数，再对这些系数进行量化、编码、传输。目前常用的正交变换有：傅立叶 (Fouries)变换、沃尔什(Walsh)变换、哈尔(Haar)变换、斜(Slant)变换、余弦变换、正弦变换、K-L(Karhunen-Loeve)变换等。如下图2所示为变换编码系统框图。 存储器变换器量化器编码器图像数据压缩编码后数据图2 变换编码系统框图其中常用的是离散余弦变换（DCT）,二维离散余弦变换的正反变换核相同，即(u=1,2,M-1; v=1,2,N-1)对应离散余弦变换为： (u=1,2,M-1; v=1,2,N-1)离散余弦逆变换为：(x=1,2,M-1; y=1,2,N-1)二维离散余弦变换的变换核是可分离的，因而可通过两次一维变换实现一个二维变换。2.2.3 变字长编码变字长编码（VLC）是将输入的待编码的符号映射成一系列可变字长的码字，并且根据符号发送概率的不同而分配以不同的码长的码字，对于出项概率大的符号给以短码，对于概率小的符号给你长码，通过大量的编码后，平均码长小于按其他方法编码得到的平均码长，可以使总码率降低，达到去除数据的统计冗余，压缩码率的目的。VLC编码的方法有很多，如哈夫曼编码，游程编码，算术编码等。其中哈夫曼编码是在数字电视压缩编码中常用的一种高效，简单的方法，下面以Huffman为例介绍。哈夫曼编码是常用的无损编码方法，广泛应用于图像压缩技术。JPEG标准中的基准模式采用的就是哈夫曼编码。哈夫曼编码是不定长编码，即代表各元素的码字长度不等。该编码是基于不同符号的概率分布，对出现次数较多的符号（码值）赋予较短的代码（码字），对出现次数较少的符号赋予较长的代码。在这里举个例子说明如何生成哈夫曼。假设对由1、2、3、4、5、6、7、8八个数字组成的原信息进行哈夫曼编码。首先应对信息中各数字出现的次数进行统计，得出各数字出现的相对概率。假设各数字出现的次数及概率如表1所示。表1 数字该量表 则根据表一生成的哈夫曼树如图3所示。图3 哈夫曼树结构图具体过程是这样的，先将所有数字排成一行构成8个最底层节点。首先将这些节点中最小两个概率值相加：0.05+0.1=0.15,得到新的节点，这时拥有的概率值为0.2, 0.1, 0.1, 0.15, 0.15, 0.15, 0.15。再将两个最小的概率值相加得到新的节点. . 直到得到根节点概率为1.0为止。相加时，对于概率值相等的多个节点，可以任意选取。除根节点外，设节点左边分支为0，右边分支为1（也可以反过来），对于各值（码值）的代码（码字）就是从根节点出发到底层节点所经历的分支序列。如4的代码（码字）为00，6的代码为111. .通常4和6等称为码值，00和111等称为码字。进行压缩编码时，只要将码值用码字代替即可。如果概率统计十分不准确，则压缩效率会很低。甚至起不到压缩效果。将所有码值和码字的关系整理成一张表，为了整字节输出码字，表中还含有各码字的长度。这种表就称为哈夫曼表。本例哈夫曼表如表2所示。表2 哈夫曼表码值码字长度码字42001301023011331015311063111741000841001可见Huffman 编码构造出的码不唯一；Huffman 编码字长参差不齐；Huffman编码在信源编码概率分布不均匀时效率高；效率比较均匀时，效率低，不用Huffman编码；对出现频率较高的码分配短码字；对出现频率较低的码分配长码字。3 信号源编码器与解码器3.1 编码器设计3.1.1 MPEG-2编码简述MPEG是运动图像专家组(Moving Picture Experts Group)的简称，其实质上的名称为国际标准化组织（ISO）和国际电工委员会（IEC）联合技术委员会（JTC）1的第29 分委员会的第11工作组，即ISO/IEC JTC1/SC29/WG11，成立于1988年。其任务是制定世界通用的视音频编码标准。因为，广播电视数字化所产生的海量数据对存储容量、传输带宽、处理能力及频谱资源利用率提出了不切合实际的要求，使数字化难以实现。为此，该专家组基于帧内图像相邻像素间及相邻行间的空间相关性和相邻帧间运动图像的时间相关性，采用压缩编码技术，将那些对人眼视觉图像和人耳听觉声音不太重要的东西及冗余成分抛弃，从而缩减了存储、传输和处理的数据量，提高了频谱资源利用率，制定了一系列MPEG标准,使数字化正在变为现实。其中，MPEG-2是一组用于视音频压缩编码及其数据流格式的国际标准。它定义了编解码技术及数据流的传输协议；制定了MPEG-2解码器之间的共同标准（MPEG-2编码器之间尚无共同标准）。MPEG-2视讯原始的主要目标是希望在位元率介于4到9Mbit/s间时，能对一般标准电视解析度的交错式视讯（Interlaced Video）提供一种新的编码压缩方法以得到更好的画质。然而，MPEG-2的最终目标并未仅只于此，它也可以支援如HDTV等更高画面解析度的视讯应用，以及各种画面解析度下的交错式视讯。如同其它MPEG标准，MPEG-2的视讯标准仅仅定义了资料的语义及语法，并未规定资料编码及解码的实作方法，因此这之间还有不少编解码技术空间可以发挥。一个简单的MPEG-2 Non-scalable视讯编解码器（Codec），MPEG-2视讯编码器（Encoder）包含Inter Frame/Field离散馀弦变换（Discrete Cosine Transform，DCT）编码器、Frame/Field动态估计及补偿器（Motion Estimator and Compensator）、以及可变长度编码器（Variable Length Encoder，VLE）。离散馀弦变换编码器主要是利用空间上的冗馀（Spatial Redundancies），而动态估计及补偿器则是利用时间上的冗馀（Temporal Redundancies）来压缩资料；最后资料经过可变长度编码器编码后送至MPEG-2的系统多工器（System Multiplexer，SysMux），再由Transport或Program Stream将资料送出。MPEG-2采用亮度色度的色彩表示格式，Y表示亮度值（Luminance），Cr及Cb表示色度值（Chrominance），并且从降低色度取样来减少讯号量。MPEG-2中定义了4：2：0、4：2：2及4：4：4采样格式。4：2：0表示四个Y取一个Cr一个Cb；4：2：2表示四个Y取两个Cr两个Cb；而4：4：4表示四个Y取四个Cr四个Cb，即不做任何的采度取样减少。减少色度采样可以在尽量降低对视觉的影响下达到较大的资料缩减效果。 3.1.2 I、B、P帧编码MPEG-2定义了三种画面压缩模式，I画面、P画面、B画面。I画面（Intra Coded Pictures）：当大区块仅使用本身的画面资料进行空间的冗馀去除，并没有参考其他画面的资料，我们称为Intra模式大区块（Intra Mode Macro-block）。在I画面中，所有的大区块皆为Intra模式大区块。I画面可以做为视讯资料流中的索引点，也是提供随机存取能力的主要来源。I画面通常在视讯序列或画面群组的第一张，解码时I画面可独立解码，并做为P及B画面的参考影像的来源。由于不须参考其他画面，因此无法得到消除时间上冗馀的好处，因此压缩率较差。 P画面（Predictive Coded Pictures）：在编码及解码时，会使用参考画面（Reference Picture），这些参考画面可为该画面前面最近的I画面或P画面。编码时，在P画面中的大区块，若能在参考画面上找到相对应的大区块，则用动态补偿方式做预测编码（Predictive Coding）；若找不到，则以Intra模式做编码。由于加入消除时间上冗馀的技术，因此其编码效率较高。 B画面（Bi-directionally Predicted Pictures）：在解码及编码时，会使用到前面及后面两个方向参考画面的资料。如同 P 画面一样，编码时，在B画面中的大区块，若能在参考画面上找到相对应的大区块，则用动态补偿方式做双向预测编码（Bi-directionally Predictive Coding）；若找不到，则以Intra模式做编码。B画面拥有最高的编码效率，然画质最差，故本身不再做为其他预测编码用。 如下图4所示为I、B、P帧编码预测示意图。图4 I、B、P帧编码预测示意图3.1.3 MPEG-2编码器工作原理编码是MPEG-2标准的核心内容之一，其涉及到MPEG-2视频流层结构、MPEG-2帧间编码结构、MPEG-2的类与级、MPEG-2运动估值等技术。如下图5所示为MPEG-2压缩编码原理框图。帧重排DCT运动补偿IDCTIQQ+自适应量化器编码统计处理视频缓存器运动估计运动矢量信号入P帧存储器VLC编码I(P)帧存储器 图5 MPEG-2 压缩编码原理框图为了提高压缩比及图像质量，MPEG-2视频编码采用运动补偿预测（时间预测+内插）消除时间冗余和不随时间变化的图像细节；采用二维DCT（图像像素+量化传输系数）分解相邻像素，消除观众不可见、不重要的图像细节；采用熵值编码（已量化参数+编码参数的熵），使bit数减少到理论上的最小值。MPEG-2：有逐行扫描方式，可以采用基于帧的图像预测；有隔行扫描方式，也可以采用基于场的图像预测。因此，MPEG-2编码器要对每个图像先判断是帧模式压缩还是场模式压缩。在隔行扫描方式下：运动少的场景时，采用基于帧的图像预测，因为基于帧的图像两相邻行间几乎没有位移，帧内相邻行间相关性强于场内相关性，从整个帧中去除的空间冗余度比从个别场中去除得多；剧烈运动的场景时，采用基于场的图像预测，因为基于帧的相邻两行间存在1场延迟时间，相邻行像素间位移较大，帧内相邻行间相关性会有较大下降，基于场的图像两相邻行间相关性强于帧内相邻行间相关性，在1帧内，场间运动有很多高频分量，从场间去除的高频分量比从整个帧中去除的多。由上述可见，选择基于帧的图像预测还是基于场的图像预测的关键是行间相关性。所以，在进行DCT之前，要作帧DCT编码或场DCT编码的选择，对1616 的原图像或亮度进行运动补偿后所获得的差值作帧内相邻行间和场内相邻行间相关系数的计算。若帧内相邻行间相关系数大于场内相邻行间相关系数，就选择帧DCT编码，反之选场DCT编码。3.2 解码器设计3.2.1 视频基本码流结构在数字电视系统中，模拟视音频信号按照MPEG-2的标准，经过抽样、量化及压缩编码形成基本码流ES，基本码流ES是不分段的连续码流。把基本码流分割成段，并加上相应的头文件打包形成的打包基本码流PES，PES包和包之间可以是不连续的。如下图6所示为视频基本码流结构。图6 视频基本码流结构在传输时将PES包再分段打成有固定长度188B的传送码流TS或可变长度的节目流包（PS包）。PES只是PS转换为TS或TS转换为PS的中间步骤或桥梁，时MPEG-2数据流互换的逻辑结构。TS和PS这两种码流分别适应于不同的场合应用，节目流PS适合在相对出错较少的环境下使用，其长度是变化的，而传送流TS能够把多个节目在基于一个或多个时间标识的基础上构成一个流，传送流适合于出错较多的场合下使用。用数据包传输的优点是：网络中信息可占用不同的连接线路和简单暂存。通过数据包交织把多个数据流复用成一个新的数据流。便于解码器按照相应顺序对数据包进行灵活的整理，从而，为数据流同步和复用奠定了基础。MPEG-2的结构可分为压缩层和系统层，其中ES属于压缩层，PES和TS/PS属于系统层。在PES层，主要是在PES包头信息中加入PTS(显示时间标签)和DTS（解码时间标签）用于视频、音频同步。而在TS流中，TS包头加入了PCR(节目时钟参考)，用于解码器的系统时钟恢复。在节目流PS包头中加入SCR,它的作用与PCR域相似。 ES是编码视频数据流或音频数据流，每个ES都由若干个存取单元（AU）组成，每个视频AU或音频AU都是由头部和编码数据两部分组成，1个AU相当于编码的1幅视频图像或1个音频帧，也可以说，每个AU实际上是编码数据流的显示单元，即相当于解码的1幅视频图像或1个音频帧的取样。3.2.2 MPEG-2解码MPEG-2解码是从编码的比特流中重建图像帧。MPEG-2解码方框图如下图7所示。接受缓冲解复用器帧重排I(P)帧存储器P帧存储IQIDCT量化表+MV图7 MPEG-2 解码框图由图7可知，接收到的码流经过TS流解复用和视频PES包解复用后输出视频基本流ES和运动矢量MV。ES经过反量化IQ和反DCT后输出重建的宏块差值MB。输入的PES stream先经过PES层的同步和视频层的同步，然后进入前解析过程，将PES stream头信息放于PES stream buffer中，将视频、音频码流置于基本流Buffer中.再经解析过程，对从缓存器中读出的码流进行解析，分开用户数据(user data)、头信息，并将编码数据送到IDCT单元等. 解码电路框图中没有复杂的运动估计电路，它直接用码流中传输来的运动矢量(MV)进行运动补偿，从帧存储器中的读出匹配宏块MB，在加法器中与宏块差值MB相加，还原出相应的P、B图像块。在帧重排内得到一组GOP解码图像后，重排成编码时输入显示图像的原始序列。由于编解码器中都有帧重排，结果使显示图像比原始图像产生一定的延时，相对于声音编解码会导致画面滞后于