第二章第五节

1、4.层一层一 和层二音频数据压缩编码器和和层二音频数据压缩编码器和解码器的组成解码器的组成 MPEG音频压缩定义了3个明显的层次，它们的基本模型是相同的。层一是最基础的，层二和层三都是在层一的基础上有所提高，每个后继的层次都有更高的压缩比，但需要更复杂的编码器和解码器。 P101 5.层三音频数据压缩编码器和解码器的组成 P102九、音频信号和视频信号的同步九、音频信号和视频信号的同步 1.为什么由同步问题？ 在MPEG标准中，音视频信号采用了不同的压缩方法，两者的数据量相差甚大，两者数据的传输速率也各不相同，一般要传送14个或15个视频数据封包采传送1个音频数据封包。 也就是说，在传输过程中

2、，音频数据被分散串行在音视频数据码流中。 在重放声音和图像时，二者应音像统一，同时出声出画，即二者必须有严格的同步关系，也就是说，要将由前后串行的音频数据按照规定的时序调整到与图像（视频）对应的位置上。 因此，在进行音视频编码时，应加入同步信息。2.同步信息同步信息 （1）系统时钟基准（SCR）。这一时钟是一个实时时钟，其数值代表声像的实际播放时间，以它作为参照基准，可以指示出各数据（捆包和封包）的传送时间。 MPEG标准规定的“系统时钟”一般运行在90khz频率上。 在编码时，系统时钟基准(SCR)被置于数据码流的系统层内；在解码时，这一时钟信息用来校正（同步）MPEG解码器中的系统时钟计数

3、器，以保证声像的严格同步。 （2）显示时间标志（PTS）。在音视频系统中，音视频数据常分作许多播放单元，如图像分为若干帧，声音分成若干段落等。 在数据编码时，每个播放单元前面，均需插入一个显示时标（PTS），或者加入一个解码时标（DTS），它们的出现，表示前一个播放单元已经结束，下一个声像播放单元将要开始。 在播放时相互对应的同一图像单元和声音单元时实现相互同步。 如果将每一帧图像和与其同步出现的声音都用一个PTS（显示时间标志）或者DTS（解码时间标志）标志出来，就相当于将这帧图像及同时出现的伴音都编上了时间序号。 尽管重放图像数据和声音数据的总量各不相同，所用存储器容量也不相同，处理的先后

4、顺序也有差别，但是PTS或 DTS是同一时刻的，它表明声像数据是同时从存储缓冲器里读出来的，并同时播送出去，因而可实现声像的同步播放。第五节、第五节、MPEG-2、 MPEG-4、 MPEG-7简述简述MPEG-2标准的特点标准的特点 MPEG-1是一个开放式的，统一的标准，在商业上它已经取得了很大的成功，已经被广泛用于VCD等家用音视频设备中。 但是MPEG-1图像质量不高，分辨率仅与录像机相当，已经不能满足音视频技术的发展。 MPEG-2是一种针对数字电视(DTV)，高清晰度电视（HDTV）、图像通信等各个领域中关于声音、图像的一种压缩方案和系统层详细规定的标准。这一标准被国际上公认为HD

5、TV信源压缩码的标准，随后，DVD,VCD,DTV等设备和系统均采用MPEG-2标准。MPEG-2的特点的特点 与MPEG-1相比，MPEG-2标准有如下几个显著的特点： （1）图像质量高。当MPEG-2的数据速率为35Mbit/s时，图像质量能达到广播电视的要求，其清晰度与DVD差不多（可达500线）甚至可以超过LD的质量，当数据速率为815Mbit/s时，图像质量符合CCIR 601标准，能满足电视演播室的要求。MPEG-2的特点的特点 （2）兼容MPEG-1。MPEG-2是MPEG-1标准的进一步发展，它能兼容MPEG-1，如在DVD机中，MPEG-2能向下兼容，使VCD光盘也能播放。

6、另外，它可以支持多种分辨率，最低250线，最高可达1920线，视频显示格式有16：9和4：3二种，这二种格式还可以相互转换。MPEG-2的特点的特点 （3）具有可变压缩比的编码技术。MPEG-2标准拥有可变速率模式。对动作变化快的可以分配较多的数据，而对变化较小的分配较少的数据，即不同画面进行不同程度的压缩。在系统与数据方面，MPEG-2更加详细完善，避免了VCD在播放快速场景时因信息丢失而出现马赛克现象。一般而言，MPEG-2在压缩比伟30：1时就可以提供广播级的图像质量。MPEG-2的特点的特点 （4）系统复用打包技术。MPEG-2系统的基本工作 方式为数据码流复用打包，其系统复用分成二种

7、码流，即节目码流PS和传输码流TS ,节目码流沿用MPEG-1的规定方式，由有共同时基的一个或者多个节目的基本码流包组成。节目码流数据包是不变长的。它应用于相对无误码的环境这种，适合支持节目的软件处理，如CD-ROM、DVD之类的多媒体中。MPEG-2的特点的特点 （5）码流结构分层嵌套。这一特点和MPEG-1相似，但其信息编码的精度高，课达半个像素精度。MPEG-2的特点的特点 （6）场、帧视频采用自适应处理。MPEG-2采用自适应场、帧处理技术，通过对物体运动特性和图像细节的丰富程度作出判断来选择场处理和帧处理。 因而MPEG-2的图像运动补偿方式有别于MPEG-1，它具备场预测、帧预测、

8、16*8运动补偿和PD预测四种方式，其中帧预测类似于MPEG-1。 自适应场、帧处理，即在图像场景变化不大、运动较少时，采用帧处理，以获得较大程度的数据压缩；在图像场景变化较大，多细节运动区域，采用场处理，使图像质量高。MPEG-2的特点的特点 （7）音频数据速率高。对MPEG-1而言，仅使用layer（层）语法，其单声道的速率32192kbit/s，立体声速率为64384kbit/s . 对MPEG-2而言，主体码流与MPEG-1相同，扩展码流的速率为528kbit/s，加上主体码流的后的综合速率可达到912kbit/s。MPEG-2能够提供广播图像及CD级音质，其音频编码可提供左中右、二个

9、环境及一个加重低音声道。2、MPEG-2标准标准 MPEG-2标准目前分为9个部分，统称为ISO/IEC13818国际标准。各部分的内容描述如下： 第一部分ISO/IEC13818-1，System：系统，描述多个视频，音频和数据基本码流合成传输码流和节目码流的方式。 第二部分ISO/IEC13818-2，Video：视频，描述视频编码方法。 2、MPEG-2标准标准 第三部分ISO/IEC13818-3，Audio：音频，描述与MPEG-1音频标准反向兼容的音频编码方法。 第四部分ISO/IEC13818-4，Compliance：符合测试，描述测试一个编码码流是否符合MPEG-2码流的方法

10、。 2、MPEG-2标准标准 第五部分ISO/IEC13818-5，Software：软件，描述了MPEG-2标准的第一、二、三部分的软件实现方法。 第六部分ISO/IEC13818-6，DSM-CC：数字存储媒体-命令与控制，描述交互式多媒体网络中服务器与用户间的会话信令集。 2、MPEG-2标准标准 第七部分ISO/IEC13818-7先进的音频编码，是多声道算法的标准； 第八部分ISO/IEC13818-9，系统解码器实时接口扩展标准；（ ISO/IEC13818-8部分暂停开发） 第九部分ISO/IEC13818-10，一致性扩展测试。MPEG-2系统部分系统部分 MPEG-2系统部分

11、是描述如何将一个或者多个图像数据与一个或者多个音频数据及其它数据的基本码流组合成单一或者多个码流，使其便于存储与传输。系统规定了复用编码流为二种方式，即节目码流和传输码流。其传输系统的基本结构如下所示，图像数据经视频压缩编码器后，成为基本码流，送入打包器打包，是数据按序分组，被组合成一个又一个包基本码流，简称基本码流PES，其中数据包额度长度可以改变；同样音频信号也是经过压缩编码、打包处理，形成音频的基本码流PES。MPEG-2系统部分系统部分 图像PES和音频PES分别送往相应的复用器，复用器是整个系统的关键设备之一，它接收从前端编码器来的视频、音频数据流，按照一定的复用规范将其交织复用成符

12、合MPEG-2系统层规范的单一的系统码流。MPEG-2系统部分系统部分 节目码流ps的复用是直接将不同类型的pes包（例如图像、声音）轮流发送，但是时间基准是共同的。节目码流包的长度是可变的（相对较长），每个包的起始均有包开始码，其中含有解码时的各种信息。Ps适合相对无误码的环境中。MPEG-2系统部分系统部分 传输码流TS是由带一个或者多个独立时基的一个或者多个节目组合而成的码流，适合于由误码的环境中，如由噪声的媒体中存储或者传输。传输码长的包长是固定的，为188B。高清晰度电视即采用等包长的复用方式。采用固定包长有利用信道容量的动态分配和接收机解复用设备的简化。 P106 表2-5-1 M

13、PEG-2标准中的图像规范2.图像部分图像部分 MPEG-2的图像针对不同的应用规范分成五个档次，每个档次又分成四个等级，即20个图像级别，以适应卫星广播业务、有线电视、电缆数字声分配、数字语音广播、地面数字电视广播、电子电影等各个领域。2.图像部分图像部分 它横向分成5个档次 （1）简单档，数据压缩比最低，所以比特率也低，图像无B帧，相当于MPEG-1的规定，适合低延时系统，不需要重排帧序。 (2)主档，主档应用最广，其相应的四个级别均有开发利用。例如其主级别DVD等系统采用。 （3）信噪比可分档，其所提供的工具与上述主级相同，只是加入了一个增强信号，用于提高图像的信噪比。2.图像部分图像部

14、分 （4）空间可分档，即空间分辨率可调档，它与信噪比分档相似，但在基层上加了一个分辨率增强层，可适合高清晰电视（HDTV）与标准清晰电视兼容的需求。 （5）高档，具有空间分级特性，并增加了4：2：2图像采样结构层，允许HDTV接收机解码两个采样结构层，显示HDTV图像，而SDTV接收机可用基层结构显示普通形象度图像，此档次的压缩比最高。MPEG-2图像纵向分配图像纵向分配 即每个档分四个等级。等级越低图像质量越低，分辨率也低，等级越高图像的质量也越高，分辨率也高。 （1)低级(Low Level，LL) LL级对应的输入信源格式类似与H.261中的CIF格式，图像像素速率为35224830或3

15、5228825，相应编码的最大输出码率为4Mbit/s。MPEG-2图像纵向分配图像纵向分配 (2)主级(Main Level，ML) ML图像格式完全符合CCIR601标准，即图像像素速率72048030或72057625，最大允许输出码率为15Mbit/s，或者20Mbit/s。MPEG-2图像纵向分配图像纵向分配 (3)高级H-1440(High-1440 Level) H-1440属于高清晰度发展道路上的准高清晰度级，图像像素速率为144096030或14401152 25 ,最大允许输出码率为60Mbit/s，或者80Mbit/s。MPEG-2图像纵向分配图像纵向分配 (4)高级H-

16、1920(High Level，HL1920) HL对应高清晰度电视的信源格式，即图像像素速率为1920108030或1920115225，最大输出码率为80Mbit/s或者100Mbit/s。3、MPEG-2中采用的码率压缩中采用的码率压缩技术技术 （1）运动补偿预测编码法。 MPEG-2利用此法去掉电视图像信号中的时间冗余信息。（I/P/B帧） （2）离散余弦（DCT）法。去掉经过上述运动补偿预测的图像差值信号中的空间冗余信息。 （3）可变字长编码技术法。对运动方向和DCR变换系数进行编码，以达到充分利用通带宽度的目的 MPEG-2图像规范允许将隔行扫描的一帧看做一幅图像，也可将两场信息当

17、作两幅图像进行编码。 前者常用于含有丰富细节的图像和有限运动的图像，后者则用于快速运动的场合（图像画面）三、三、 MPEG-2中的高中低档图像中的高中低档图像格式格式 1.主档低级P108 2.主档主级 3.主档高级 高清电视已采用这一主档高级图像格式，DVD视盘机也在向这一格式发展。四、四、 MPEG-2视频码流分层视频码流分层结构及编、解码器的组成结构及编、解码器的组成 1. MPEG-2 视频码流的分层结构P110 2. MPEG-2PES包数据结构 3. MPEG-2TS包数据结构 4. MPEG-2视频编、解码器组成框图P962. MPEG-2PES包数据结构包数据结构 视频信号或音

18、频信号经编码器编码后，形成基本数据流ES，ES经过打包器将连续传输的数据流按一定长度分段，切割成一个个单元包，并加入必要的数据和信息，即成为打包基本码流PES。 PES包是非定长的，音频PES包不超过64KB，而视频则一帧一个PES包。为了实现解码的同步，每个PES包之手均插入相应的时间标记及相关的标识符。3. MPEG-2TS包数据结构包数据结构 PES包数据流进入传输复用器后，被分割成一个个固定长度为188R的数据流，成为传输包TS,由传输包组成的数据流成为传输流TS，TS流是个传输系统间的主要信息模式。五、五、 MPEG-2的音频部分的音频部分 MPEG-2中采用了MUSICAM技术，这

19、是MPEG-1标准的扩展。 MUSICAM的含义为自适应掩蔽模型的通用子带综合编码和复用。它基于两种机理对音频数据进行压缩： 一是音频数据中存在相关性而又冗余度； 二是人耳对声音有掩蔽效应及最小可闻阈值特性。MPEG-2中中MUSICAM的重要性有以的重要性有以下两点：下两点： 1.可满足低数据速率到高速率（从32-1066kbit/s）的各种音频质量的需求。通常将MPEG-2的音频帧分成两部分来实现: 一部分是兼容MPEG-2的主比特流； 另一部分是一个扩展的比特流。 2.最多可编码6个音频通道。其中包括一个可选的低频增强声道，另外，它支持多声道环绕声的需要。MPEG-1与与MPEG-2对比

20、对比 P113，分层对比 P114 MPEG-1与MPEG-2性能参数的对比七、七、MPEG-4 MPEG-4于1993年开始研制，就视频会议、可视电话等应用制定超低比特率的编码标准。1999年被正式规定为国际标准，与此同时，第二版本亦告完成并于2000年成为正式国际标准。与与MPEG其他标准相比其他标准相比 MPEG-1是为了用于大容量的存储与系统检索； MPEG-2在MPEG-1基础上做了修改，它支持更高的图像分辨率、更多种类的格式及与高清晰电视（HDTV）等相关的数字编码，其应用领域更为广泛。 两者的压缩比一般在20-30倍之间。 MPEG-4的压缩比可超过100倍 MPEG-4标准提出

21、了一种基于音视频对象（AVO）或称基于音视频内容的压缩编码方法，并在对象与对象间或者对象与使用者间进行互动（交互），由此构成一个高功能的多媒体互动应用平台，将基于信息内容的索引与编码结合起来，以便有效的操作和控制对象，从而突破了MPEG-2中基于图像帧的压缩方法。1. MPEG-4的特点的特点 （1）有效编码 （2）强大的交互性能和目标的快速搜索 （3）图像信息的高压缩率 （4）很宽的数据速率 （5）良好的抗错误能力及灵活的分级能力 （6）较强的通用性和开发性（1）有效编码）有效编码 MPEG-4一改传统的基于图像帧和象素的编码方式，而转向基于对象和图像内容的现代方式压缩编码。 这一编码方法是

22、根据人眼感兴趣的图像形状、运动和纹理（如人物、运动的物体）等的特征，将图像序列中每一帧的场景等看成是由不同的对象面（VOP）所组成，然后在对这些对象面进行编码。（2）强大的交互性能和目标的）强大的交互性能和目标的快速搜索快速搜索 在MPEG-4中，视频信号可以为任意形状，在编码时，可自由决定其在何时、何处进行显示； 在解码时，用户可自由交互这些信息，以改变景物的组合（支持无需解码就可以进行基于音视频内容的操作与比特流编码） 能将自然图像与合成数据（如文本、图形等）有效结合，并支持其交互操作。 提供有效的随机存取方式，即在有效地时间间隔内，可按帧或按任意形状的对象，对某一音视频序列进行随即存取，

23、如此可实现对某一目标进行快速搜索。（3）图像信息的高压缩率）图像信息的高压缩率 MPEG-4是从基于图像内容（对象）的现代方式进行编码，这样就可将多付图像中不变的场景（如背景、饰物、桌椅）等当成静止图像处理，而活动的对象（任意形状）则专门作为对象单独编码，这样就大大减少了被处理的信息内容，而使信息数据的压缩率大为提高。 提供了一个包含各种工具和算法的工具箱，给出了跟中任意形状可视对象的高效表达式，可用于各种图像视频信号的高效压缩及各类可视对象的高效随即访问。（4）很宽的数据速率）很宽的数据速率 MPEG-1为128kbit/s MPEG-2已将单声道降为64kbit/s MPEG-4中，音频速

24、率有3种，分别为2-4kbit/s和4-16kbit/s，6-24kbit/s，16-64kbit/s 视频信号：4.5-64kbit/s，64-10Mbit/s（5）良好的抗错误能力及灵活）良好的抗错误能力及灵活的分级能力的分级能力 MPEG-4标准率先考虑了传输信道的特向，它提供了一种对抗残留错误的坚韧性；当视音频信号通过不同带宽的信道、不同处理能力的接收机时，或者有不同用户请求时，它有实现空间和时间分级的能力，也就是说，它的分级分档性能比MPEG-2更加自由灵活。（6）较强的通用性和开发性）较强的通用性和开发性 MPEG-4是通用标准，其通用性集中体现在它所支持的应用、数据速率、分辨率、

25、质量与服务上； MPEG-4编码系统是开放的，可随时加入新的编码算法模块，日H.264已成为其第10部分。 它支持多种多媒体的应用，可根据不同要求，现场配置解码器。 应用的领域很广，比如电视机顶盒和数码照相机等2.基于音视频内容为对象的压缩基于音视频内容为对象的压缩编码概念编码概念 MPEG-4中采用了视频对象的所谓内容基的概念，记载以视频信息压缩编码之前，现将画面中的各个主要内容或对象区分开来。 将动静不同的音视频对象一一分开的好处是可以针对不同对象的特征采取不同的压缩编码技术，以达到最佳的压缩效果。 MPEG-4将音视频画面的场景用一些媒体对象组成，并以分层（对象层）方式组织起来，其基本媒

26、体有： 1）静态图像；2）视频对象；3）语言对象； 除此之外， MPEG-4还定义了如下对象的编码表示方法，如文本、图形和合成声音。 MPEG-4将音视频图像分割成不同对象、区别对待的压缩编码法，大大提高了音视频数据的压缩比，并且使其具有很强的交互功能。 可将120min的电影压缩至300MB容量，也可将一部DVD影片压缩至两张CD-ROM光盘上。 MPEG-4的交互功能，使其广泛应用于网上购物、远程医疗、教学、监控、可视电话等诸多网上视频领域。3. MPEG-4标准的主要部分标准的主要部分 1）系统标准 2）电视图像标准 3）声音标准 4）一致性测试标准 5）参考软件 6）传输多媒体集成框架

27、MPEG-4标准化方式标准化方式 1）代表语音、视觉或语音视觉内容的基本单元，称为“媒体对象”。 这些媒体对象可以使自然源，也可以是合成源（信息），其声音可被传声器所记录或扬声器所播放；其图像可被照相机所记录。这些信息可由计算机产生。 2）描述媒体对象的组合，可创建、构成语音视频屏幕的组合媒体对象。 3）复合和同步与媒体对象相关的信息（数据），提供了适于特殊媒体对象特性的网络传输数据流。 4）在接收端能产生语音视频影像的交互。4.MPEG-4视频编解码简介视频编解码简介 MPEG-4算法的核心是支持音视频对象（AVO）或内容的编码与解码功能，也即在场景中采用分割法、提取音视频图像中单独的物理对象（音频对象AO或视