MPEG压缩技术

1、第五章第五章 MPEG压缩技术压缩技术 MPEG(Moving Picture Expert Group) MPEG(Moving Picture Expert Group)是在是在19881988年由国际标年由国际标准化组织准化组织(International Organization for Standardization(International Organization for Standardization，ISO)ISO)和国际电工委员会和国际电工委员会(International Electrotechnical(International Electrotechnical C

2、ommissionCommission，IEC)IEC)联合成立的专家组，负责开发电视图像数据和联合成立的专家组，负责开发电视图像数据和声音数据的编码、解码和它们的同步等标准。这个专家组开发的声音数据的编码、解码和它们的同步等标准。这个专家组开发的标准称为标准称为MPEGMPEG标准，到目前为止，已经开发和正在开发的标准，到目前为止，已经开发和正在开发的MPEGMPEG标标准有准有: :MPEG-1MPEG-1：数字电视标准，：数字电视标准，19921992年正式发布。年正式发布。MPEG-2MPEG-2：数字电视标准。：数字电视标准。MPEG-3MPEG-3：已于：已于19921992年年7

3、 7月合并到高清晰度电视月合并到高清晰度电视(High-(High-Definition TVDefinition TV，HDTV)HDTV)工作组。工作组。MPEG-4MPEG-4：多媒体应用标准：多媒体应用标准(1999(1999年发布年发布) )。MPEG-7MPEG-7：多媒体内容描述接口标准：多媒体内容描述接口标准( (正在研究正在研究) )。 主要应用范围主要应用范围 光盘存储光盘存储 数字视频的传播数字视频的传播 交换式数字视频交换式数字视频 HDTV 网络多媒体网络多媒体MPEG-1MPEG-1和和-2-2典型的编码参数典型的编码参数MPEG-1MPEG-1MPEG-2 (MP

4、EG-2 (基本型基本型) )标准化时标准化时间间19921992年年19941994年年(DIS)(DIS)主要应用主要应用CD-ROMCD-ROM上的数字电视，上的数字电视，VCDVCD数字数字TVTV，DVDDVD空间分辨空间分辨率率CIFCIF格式格式(1/4 TV)(1/4 TV)，288 288 360360像素像素 TVTV，576 576 720 720像像素素时间分辨时间分辨率率25 - 30 25 - 30 帧帧/ /秒秒 50-60 50-60 场场/ /秒秒 位速率位速率1.5 Mbit/s1.5 Mbit/s15 Mbit/s15 Mbit/s质量质量相当于相当于VH

5、S VHS 相当于相当于NTSC/PALNTSC/PAL电电视视压缩率压缩率20 30 20 30 30 40 30 40 5.1 MPEG-1数字电视标准数字电视标准 MPEG-1 MPEG-1处理的是标准图像交换格式处理的是标准图像交换格式(Standard Interchange (Standard Interchange formatformat，SIF)SIF)或者称为源输入格式或者称为源输入格式(Source Input Format(Source Input Format，SIF)SIF)的电视，即的电视，即NTSCNTSC制为制为352352像素像素 240240行行/ /帧帧

6、 3030帧帧/ /秒，秒，PALPAL制为制为352352像像素素 288288行行/ /帧帧 2525帧帧/ /秒，压缩的输出速率定义在秒，压缩的输出速率定义在1.5 Mbit/s1.5 Mbit/s以下。以下。这个标准主要是针对当时具有这种数据传输率的这个标准主要是针对当时具有这种数据传输率的CD-ROMCD-ROM和网络而和网络而开发的，用于在开发的，用于在CD-ROMCD-ROM上存储数字影视和在网络上传输数字影视。上存储数字影视和在网络上传输数字影视。 MPEG-1MPEG-1的标准号为的标准号为ISO/IEC 11172ISO/IEC 11172，标准名称为标准名称为“信息技信息

7、技术术用于数据速率高达大约用于数据速率高达大约1.5 Mbit/s1.5 Mbit/s的数字存储媒体的电视的数字存储媒体的电视图像和伴音编码图像和伴音编码”Information technology Information technology Coding of Coding of moving pictures and associated audio for digital storage moving pictures and associated audio for digital storage media at up to about 1.5 Mbit/smedia at up

8、 to about 1.5 Mbit/s) )。它已于。它已于19911991年底被年底被ISO/IECISO/IEC采纳，由五个部分组成：采纳，由五个部分组成： MPEG-1 MPEG-1系统，写成系统，写成MPEG-1 SystemsMPEG-1 Systems，规定电视图像数据、声，规定电视图像数据、声音数据及其他相关数据的同步，标准名是音数据及其他相关数据的同步，标准名是ISO/IEC 11172-1ISO/IEC 11172-1：1993 Information technology 1993 Information technology Coding of moving pictu

9、res Coding of moving pictures and associated audio for digital storage media at up to and associated audio for digital storage media at up to about 1.5 Mbitabout 1.5 Mbit/s /s Part 1Part 1：SystemsSystems。 MPEG-1 MPEG-1电视图像，写成电视图像，写成MPEG-1 Video, MPEG-1 Video, 规定电视数据的编码规定电视数据的编码和解码，标准名是和解码，标准名是ISO/IE

10、C 11172-2ISO/IEC 11172-2：1993 Information 1993 Information technology technology Coding of moving pictures and associated Coding of moving pictures and associated audio for digital storage media at up to about 1.5 audio for digital storage media at up to about 1.5 MbitMbit/s /s Part 2Part 2：VideoVid

11、eo。 MPEG-1声音，写成声音，写成MPEG-1 Audio, 规定声音数据的编码和解规定声音数据的编码和解码，标准名是码，标准名是ISO/IEC 11172-3：1993 Information technology Coding of moving pictures and associated audio for digital storage media at up to about 1.5 Mbit/s Part 3：Audio。 MPEG-1 MPEG-1一致性测试，写成一致性测试，写成MPEG-1 Conformance testingMPEG-1 Conformance t

12、esting，标，标准名是准名是ISO/IEC 11172-4ISO/IEC 11172-4：1995 Information technology 1995 Information technology Coding of moving pictures and associated audio for Coding of moving pictures and associated audio for digital storage media at up to about 1.5 Mbitdigital storage media at up to about 1.5 Mbit/s /s

13、 Part Part 4 4：Conformance testingConformance testing。这个标准详细说明如何测试比特数据。这个标准详细说明如何测试比特数据流流( (bitstreamsbitstreams) )和解码器是否满足和解码器是否满足MPEG-1MPEG-1前前3 3个部分个部分(Part1(Part1，2 2和和3)3)中所规定的要求。这些测试可由厂商和用户实施。中所规定的要求。这些测试可由厂商和用户实施。 MPEG-1软件模拟，写成软件模拟，写成MPEG-1 Software simulation，标准，标准名是名是ISO/IEC TR 11172-5 Info

14、rmation technology Coding of moving pictures and associated audio for digital storage media up to about 1.5 Mbit/s Part 5：Software simulation。实际上，这部。实际上，这部分的内容不是一个标准，而是一个技术报告，给出了用软件执行分的内容不是一个标准，而是一个技术报告，给出了用软件执行MPEG-1标准前标准前3个部分的结果。个部分的结果。 MPEG-1译码器的方框图5.2 MPEG-2数字电视标准数字电视标准 MPEG-2标准从1990年开始研究，1994发布

15、DIS。它是一个直接与数字电视广播有关的高质量图像和声音编码标准。MPEG-2可以说是MPEG-1的扩充，因为它们的基本编码算法都相同。但MPEG-2增加了许多MPEG-1所没有的功能，例如增加了隔行扫描电视的编码，提供了位速率的可变性能(scalability)功能。MPEG-2要达到的最基本目标是：位速率为49 Mbit/s，最高达15 Mbit/s。 MPEG-2的标准号为ISO/IEC 13818，标准名称为“信息技术�电视图像和伴音信息的通用编码(Information technology Generic coding of moving pictures and a

16、ssociated audio information )”。MPEG-2包含9个部分： MPEG-2系统，写成MPEG-2 Systems，规定电视图像数据、声音数据及其他相关数据的同步，标准名是ISO/IEC 13818-1：1996 Information technology Generic coding of moving pictures and associated audio information ：Systems。 这个标准主要是用来定义电视图像数据、声音数据和其他数据的组合，把这些数据组合成一个或者多个适合于存储或者传输的基本数据流。数据流有两种形式，一种称为程序数据流(

17、Program Stream，PS)，另一种称为传输数据流(Transport Stream，TS)。程序数据流是组合一个或者多个规格化的即包化基本数据流(Packetised Elementary Streams，PES)而生成的一种数据流，用在出现错误相对比较少的环境下，适合使用软件处理的应用；传输数据流也是组合一个或者多个PES而生成的一种数据流，它用在出现错误相对比较多的环境下，例如在有损失或者有噪声的传输系统中。 MPEG-2的系统模型 MPEG-2 MPEG-2电视图像，写成电视图像，写成MPEG-2 VideoMPEG-2 Video，规定电视数据的编码和，规定电视数据的编码和解

18、码，标准名是解码，标准名是ISO/IEC 13818-2ISO/IEC 13818-2：1996 Information 1996 Information technology technology Generic coding of moving pictures and Generic coding of moving pictures and associated audio information associated audio information ：VideoVideo。为了适应各种应用，这个标准定义了电视图像的各种规格，称为配为了适应各种应用，这个标准定义了电视图像的各种规格

19、，称为配置置(profile) (profile) 。表中的。表中的“X”X”符号表示符号表示MPEG-2MPEG-2支持的配置。支持的配置。有些人认为使用有些人认为使用4:2:04:2:0子采样格式的图像质量还不够好，因此在子采样格式的图像质量还不够好，因此在19961996年的标准中增加了年的标准中增加了4:2:24:2:2子采样格式的图像。多视角配置子采样格式的图像。多视角配置( (MultiviewMultiview Profile Profile，MVP)MVP)是附加的配置。是附加的配置。 MPEG-2 MPEG-2声音，写成声音，写成MPEG-2 AudioMPEG-2 Audi

20、o，规定声音数据的编码和解码，规定声音数据的编码和解码，是是MPEG-1 AudioMPEG-1 Audio的扩充，支持多个声道，标准名是的扩充，支持多个声道，标准名是ISO/IEC 13818-ISO/IEC 13818-3 3：1998 Information technology 1998 Information technology Generic coding of moving Generic coding of moving pictures and associated audio information pictures and associated audio inform

21、ation Part 3 Part 3：AudioAudio。配置 等级Simple(简化型) Main(基本型) SNR scalable(信噪比可变型) Spatial scalable(空间分辨率可变型) High(高级型) Multiview(多视角型)4:2:2High level (高级)X X High-1440 level(高级1440)X X X Main level (基本级)X X X X XXLow level (低级)X X MPEG-2MPEG-2电视图像配置电视图像配置 MPEG-2 MPEG-2一致性测试，写成一致性测试，写成MPEG-2 Conformance

22、 testingMPEG-2 Conformance testing，标准，标准名是名是ISO/IEC DIS 13818-4 Information technology ISO/IEC DIS 13818-4 Information technology Generic Generic coding of moving pictures and associated audio coding of moving pictures and associated audio information information Part 4 Part 4：Conformance testingCon

23、formance testing。 MPEG-2 MPEG-2软件模拟，写成软件模拟，写成MPEG-2 Software simulationMPEG-2 Software simulation，标准名，标准名是是ISO/IEC TR 13818-5ISO/IEC TR 13818-5：1997 Information technology 1997 Information technology Generic coding of moving pictures and associated audio Generic coding of moving pictures and associa

24、ted audio information information Part 5 Part 5：Software simulationSoftware simulation。 MPEG-2 MPEG-2数字存储媒体命令和控制扩展协议，写成数字存储媒体命令和控制扩展协议，写成MPEG-2 MPEG-2 Extensions for DSM-CCExtensions for DSM-CC，标准名是，标准名是ISO/IEC DIS 13818-6 ISO/IEC DIS 13818-6 Information technology Information technology Generic cod

25、ing of moving Generic coding of moving pictures and associated audio information pictures and associated audio information Part 6 Part 6：Extensions for DSM-CCExtensions for DSM-CC。MPEG-2MPEG-2先进声音编码，写成先进声音编码，写成MPEG-2 AACMPEG-2 AAC，是多声道声音编码算法，是多声道声音编码算法标准。这个标准除后向兼容标准。这个标准除后向兼容MPEG-1 AudioMPEG-1 Audio

26、标准之外，还有非后向兼标准之外，还有非后向兼容的声音标准。标准名是容的声音标准。标准名是ISO/IEC 13818-7ISO/IEC 13818-7：1997 Information 1997 Information technology technology Generic coding of moving pictures and Generic coding of moving pictures and associated audio information associated audio information Part 7 Part 7：Advanced Audio Advanc

27、ed Audio Coding (AAC)Coding (AAC)。 MPEG-2系统解码器实时接口扩展标准，标准名是系统解码器实时接口扩展标准，标准名是ISO/IEC 13818-9：1996 Information technology Generic coding of moving pictures and associated audio information Part 9：Extension for real time interface for systems decoders。 MPEG-2 DSM-CC MPEG-2 DSM-CC一致性扩展测试，标准名是一致性扩展测试，标准

28、名是ISO/IEC DIS 13818-ISO/IEC DIS 13818-10 Information technology 10 Information technology Generic coding of moving Generic coding of moving pictures and associated audio information pictures and associated audio information Part 10 Part 10：Conformance extensions for Digital Storage Media Command Con

29、formance extensions for Digital Storage Media Command and Control (DSM-CC)and Control (DSM-CC)。5.3 MPEG-4 多媒体应用标准多媒体应用标准 MPEG-4从1994年开始工作，它是为视听(audio-visual)数据的编码和交互播放开发算法和工具，是一个数据速率很低的多媒体通信标准。MPEG-4的目标是要在异构网络环境下能够高度可靠地工作，并且具有很强的交互功能。 为了达到这个目标，MPEG-4引入了对象基表达(object-based representation)的概念，用来表达视听对象(

30、a audio/v visual o objects，AVO)；MPEG-4扩充了编码的数据类型，由自然数据对象扩展到计算机生成的合成数据对象，采用合成对象/自然对象混合编码(S Synthetic/N Natural H Hybrid C Coding，SNHC)算法；在实现交互功能和重用对象中引入了组合、合成和编排等重要概念。MPEG-4系统构造如图5-01所示，接收端的构造部件如图5-02所示。图5-01 MPEG-4系统示意图 图5-02 MPEG-4接收端的主要部件 MPEG-4中制定了一个称为传输多媒体集成框架(Delivery Multimedia Integration Fra

31、mework，DMIF)的会话协议，它用来管理多媒体数据流。该协议在原则上与文件传输协议FTP(File Transfer Protocol)类似，其差别是：FTP返回的是数据，而DMIF返回的是指向到何处获取数据流的指针。DMIF覆盖了三种主要技术：广播技术，交互网络技术和光盘技术，如图8-03所示。 图8-03 DMIF覆盖的三种主要技术 MPEG-4 MPEG-4将应用在移动通信和公用电话交换网将应用在移动通信和公用电话交换网(public (public switched telephone networkswitched telephone network，PSTN)PSTN)上，并

32、支持可视电话上，并支持可视电话(videophone)(videophone)、电视邮件、电视邮件(video mail)(video mail)、电子报纸、电子报纸(electronic (electronic newspapers)newspapers)和其他低数据传输速率场合下的应用。和其他低数据传输速率场合下的应用。 MPEG-4MPEG-4的标准名是的标准名是Very-low bitrateVery-low bitrate audio-visual coding audio-visual coding ( (甚低速率视听编码甚低速率视听编码) )。截止到。截止到19981998年年9

33、 9月，已作为国际标准草案月，已作为国际标准草案(Draft International Standard(Draft International Standard，DIS)DIS)的的MPEG-4MPEG-4文件有文件有6 6个部分，个部分，它们是：它们是： MPEG-4 MPEG-4系统标准，标准名是系统标准，标准名是ISO/IEC DIS 14496-1 Very-low ISO/IEC DIS 14496-1 Very-low bitratebitrate audio-visual coding audio-visual coding Part 1: Systems Part 1: S

34、ystems。 MPEG-4 MPEG-4电视图像标准，标准名是电视图像标准，标准名是ISO/IEC DIS 14496-2 Very ISO/IEC DIS 14496-2 Very low bitratelow bitrate audio-visual coding audio-visual coding Part 2: Video Part 2: Video。 MPEG-4声音标准，标准名是声音标准，标准名是ISO/IEC DIS 14496-3 Very low bitrate audio-visual coding Part 3: Audio。 MPEG-4 MPEG-4一致性测试标

35、准，标准名是一致性测试标准，标准名是ISO/IEC DIS 14496-4 Very-ISO/IEC DIS 14496-4 Very-low bitratelow bitrate audio-visual coding audio-visual coding Part 4: Conformance Part 4: Conformance TestingTesting。 MPEG-4 MPEG-4参考软件，标准名是参考软件，标准名是ISO/IEC DIS 14496-5 Very-low ISO/IEC DIS 14496-5 Very-low bitratebitrate audio-vis

36、ual coding audio-visual coding Part 5: Reference software Part 5: Reference software MPEG-4 MPEG-4传输多媒体集成框架，标准名是传输多媒体集成框架，标准名是ISO/IEC DIS 14496-6 ISO/IEC DIS 14496-6 Very-low bitrateVery-low bitrate audio-visual coding audio-visual coding Part 6: Delivery Part 6: Delivery Multimedia Integration Fram

37、ework (DMIF)Multimedia Integration Framework (DMIF)。5.4 MPEG-7多媒体应用标准多媒体应用标准 MPEG-7的工作于1996年启动，名称叫做多媒体内容描述接口(Multimedia Content Description Interface) ，目的是制定一套描述符标准，用来描述各种类型的多媒体信息及它们之间的关系，以便更快更有效地检索信息。这些媒体材料可包括静态图像、图形、3D模型、声音、话音、电视以及在多媒体演示中它们之间的组合关系。在某些情况下，数据类型还可包括面部特性和个人特性的表达。 与其他的MPEG标准一样，MPEG-7是为

38、满足特定需求而制定的视听信息标准。MPEG-7标准也是建筑在其他的标准之上的，例如，PCM, MPEG-1, MPEG-2和MPEG-4等等。在MPEG-7中，例如MPEG-4中使用的形状描述符、MPEG-1和MPEG-2中使用的移动矢量(motion vector)等都可能在MPEG-7中用到。 下图表示了MPEG-7的处理链(processing chain)，这是高度抽象的方框图。在这个处理链中包含有三个方框：特征抽取(feature extraction)、标准描述(standard description)和检索工具(search engine)。特征的自动分析和抽取对MPEG-7是

39、至关重要的，抽象程度越高，自动抽取也越困难，而且不是都能够自动抽取的，因此开发自动的和交互式半自动抽取的算法和工具都是很有用的。尽管如此，特征抽取和检索工具都不包含在MPEG-7标准中，而是留给大家去竞争，以便得到最好的算法和工具。 MPEG-7的应用领域包括：数字图书馆(Digital library)，例如图像目录、音乐词典等；多媒体目录服务(multimedia directory services)，例如黄页(yellow pages)；广播媒体的选择，例如无线电频道，TV频道等；多媒体编辑，例如个人电子新闻服务，多媒体创作等等。潜在应用的应用领域包括：教育、娱乐、新闻、旅游、医疗、购

40、物等等 5.5 MPEG视频视频 MPEG-1和和MPEG-2 Video标准有许多共同之处，基本概念类标准有许多共同之处，基本概念类似，数据压缩编码方法基本相同，都采用以图像块作为基本单元似，数据压缩编码方法基本相同，都采用以图像块作为基本单元进行变换、量化和运动补偿等技术来获得高压缩比。进行变换、量化和运动补偿等技术来获得高压缩比。MPEG-4 Video部分采用内容基编码技术，它除与部分采用内容基编码技术，它除与MPEG-1和和-2 Video向后向后兼容外，还引入了电视图像对象兼容外，还引入了电视图像对象(VO)的概念，在某些应用场合下，的概念，在某些应用场合下，对场景中的图像分别进行

41、编码可以获得很高的压缩比而服务质量对场景中的图像分别进行编码可以获得很高的压缩比而服务质量也能满足要求。下面将简要介绍这些标准中压缩电视图像数据的也能满足要求。下面将简要介绍这些标准中压缩电视图像数据的基本方法。基本方法。5.5.1 5.5.1 数据压缩算法数据压缩算法1 1 简介简介 电视图像数据压缩利用的各种特性和采用的方法归纳在表电视图像数据压缩利用的各种特性和采用的方法归纳在表5-15-1中。从表中可以看到，电视图像本身在时间上和空间上都含有许中。从表中可以看到，电视图像本身在时间上和空间上都含有许多冗余信息，图像自身的构造也有冗余性。此外，正如前面所介多冗余信息，图像自身的构造也有冗

42、余性。此外，正如前面所介绍的，利用人的视觉特性也可对图像进行压缩，这叫做视觉冗余。绍的，利用人的视觉特性也可对图像进行压缩，这叫做视觉冗余。表表5-1 5-1 电视图像压缩利用的各种冗余信息电视图像压缩利用的各种冗余信息种类种类内容内容目前主要方法目前主要方法统计统计空间冗余空间冗余像素间的相关性像素间的相关性变换编码，预变换编码，预测编码测编码特性特性时间冗余时间冗余时间方向上的相关时间方向上的相关性性帧间预测，运帧间预测，运动补偿动补偿图像构造冗余图像构造冗余图像本身的构造图像本身的构造轮廓编码，区轮廓编码，区域分割域分割知识冗余知识冗余收发两端对人物的收发两端对人物的共有认识共有认识基于

43、知识的编基于知识的编码码视觉冗余视觉冗余人的视觉特性人的视觉特性非线性量化，非线性量化，位分配位分配其他其他不确定性因素不确定性因素 MPEG-Video MPEG-Video图像压缩技术基本方法和方法可以归纳成两个要点：图像压缩技术基本方法和方法可以归纳成两个要点： 在空间方向上，图像数据压缩采用在空间方向上，图像数据压缩采用JPEG(Joint Photographic JPEG(Joint Photographic Experts Group)Experts Group)压缩算法来去掉冗余信息。压缩算法来去掉冗余信息。 在时间方向上，图在时间方向上，图像数据压缩采用像数据压缩采用运动补偿

44、运动补偿(motion compensation)(motion compensation)算法来去掉冗余算法来去掉冗余信息。信息。 为了在保证图像质量基本不降低而又能够获得高的压缩比，为了在保证图像质量基本不降低而又能够获得高的压缩比，MPEGMPEG专家组定义了三种图像：帧内图像专家组定义了三种图像：帧内图像I(intra)I(intra)，预测图像，预测图像P(predicted )P(predicted )和双向预测图像和双向预测图像B(bidirectionallyB(bidirectionally interpolated )interpolated )，典型的排列如图，典型的排列

45、如图5-045-04所示。这三种图像将采用三所示。这三种图像将采用三种不同的算法进行压缩。种不同的算法进行压缩。图5-04 MPEG专家组定义的三种图像 2 2 帧内图像帧内图像I I的压缩编码算法的压缩编码算法 帧内图像帧内图像I I不参照任何过去的或者将来的其他图像帧，不参照任何过去的或者将来的其他图像帧，压缩编码采用类似压缩编码采用类似JPEGJPEG压缩算法，它的框图如图压缩算法，它的框图如图5-055-05所示。所示。如果电视图像是用如果电视图像是用RGBRGB空间表示的，则首先把它转换成空间表示的，则首先把它转换成YCrCbYCrCb空间表示的图像。每个图像平面分成空间表示的图像。

46、每个图像平面分成8 88 8的图块，的图块，对每个图块进行离散余弦变换对每个图块进行离散余弦变换DCT(discrete Cosine DCT(discrete Cosine Transform)Transform)。DCTDCT变换后经过量化的交流分量系数按照变换后经过量化的交流分量系数按照Zig-zagZig-zag的形状排序，然后再使用无损压缩技术进行编码。的形状排序，然后再使用无损压缩技术进行编码。DCTDCT变换后经过量化的直流分量系数用差分脉冲编码变换后经过量化的直流分量系数用差分脉冲编码DPCM(Differential Pulse Code Modulation)DPCM(Di

47、fferential Pulse Code Modulation)，交流分，交流分量系数用行程长度编码量系数用行程长度编码RLE(run-length encoding)RLE(run-length encoding)，然后，然后再用霍夫曼再用霍夫曼(Huffman)(Huffman)编码或者用算术编码。它的编码框编码或者用算术编码。它的编码框图如图图如图5-055-05所示。所示。图5-05 帧内图像I的压缩编码算法框图 3 3 预测图像预测图像P P的压缩编码算法的压缩编码算法 预测图像的编码也是以图像宏块预测图像的编码也是以图像宏块(macroblock(macroblock) )为基本

48、编码单为基本编码单元，一个宏块定义为元，一个宏块定义为I IJ J像素的图像块，一般取像素的图像块，一般取16161616。预测图预测图像像P P使用两种类型的参数来表示使用两种类型的参数来表示：一种参数是当前要编码的图：一种参数是当前要编码的图像宏块与参考图像的宏块之间的差值，另一种参数是宏块的运动像宏块与参考图像的宏块之间的差值，另一种参数是宏块的运动矢量。运动矢量的概念可用图矢量。运动矢量的概念可用图5-065-06表示。表示。图图5-06 5-06 运动矢量的概念运动矢量的概念 求解差值的方法如图求解差值的方法如图5-075-07所示。假设编码图像宏块所示。假设编码图像宏块M MPIP

49、I是参考图是参考图像宏块像宏块M MRJRJ的最佳匹配块，它们的差值就是这两个宏块中相应像素值的最佳匹配块，它们的差值就是这两个宏块中相应像素值之差。对所求得的差值进行彩色空间转换，并作之差。对所求得的差值进行彩色空间转换，并作4:1:14:1:1的子采样得的子采样得到到Y Y，CrCr和和CbCb分量值，然后仿照分量值，然后仿照JPEGJPEG压缩算法对差值进行编码，计压缩算法对差值进行编码，计算出的运动矢量也要进行霍夫曼编码。算出的运动矢量也要进行霍夫曼编码。图图5-07 预测图像预测图像P的压缩编码算法框图的压缩编码算法框图 求解运动矢量的方法定义在图5-08中。在求两个宏块差值之前，需

50、要找出编码图像中的预测图像编码宏块MPI相对于参考图像中的参考宏块MRJ所移动的距离和方向，这就是运动矢量(motion vector)。 图5-08 运动矢量的算法框图 horizontal要使预测图像更精确，就要求找到与参考宏块MRJ最佳匹配的预测图像编码宏块MPI。所谓最佳匹配是指这两个宏块之间的差值最小。方法一、以绝对值AE(absolute difference)最小作为匹配判据， ， 方法二、以均方误差MSE(m mean-s square e error)最小作为匹配判据，方法三、以平均绝对帧差MAD(m mean of the a absolute f frame d diff

51、erence)最小作为匹配判据， 其中，其中，d dx x和和d dy y分别是参考宏块分别是参考宏块M MRJRJ的运动矢量的运动矢量d(dd(dx x, d, dy y) )在在X X和和Y Y方向上的矢量。方向上的矢量。 从以上分析可知，对预测图像的编码实际上就是寻找最佳匹从以上分析可知，对预测图像的编码实际上就是寻找最佳匹配图像宏块，找到最佳宏块之后就找到了最佳运动矢量配图像宏块，找到最佳宏块之后就找到了最佳运动矢量d(dd(dx x,d,dy y) )。 为减少搜索次数，现在已开发出许多简化算法用来寻找最佳宏为减少搜索次数，现在已开发出许多简化算法用来寻找最佳宏块，下面介绍其中的三种

52、。块，下面介绍其中的三种。1. 二维对数搜索法二维对数搜索法(2D-logarithmic search) 这种方法采用的匹配判据是这种方法采用的匹配判据是MSE为最小。它的搜索策略是当沿为最小。它的搜索策略是当沿着最小失真方向搜索。二维对数搜索方法如图着最小失真方向搜索。二维对数搜索方法如图5-09所示。在搜索时，所示。在搜索时，每移动一次就检查每移动一次就检查5个搜索点。如果最小失真在中央或在边界，就个搜索点。如果最小失真在中央或在边界，就减少搜索点之间的距离。在这个例子中，步骤减少搜索点之间的距离。在这个例子中，步骤1，2，5得到的得到的近似移动矢量近似移动矢量d为为(i，j-2)、(i

53、，j-4)、(i+2，j-4)、(i+2，j-5)和和(i+2，j-6)，最后得到的移动矢量为，最后得到的移动矢量为d(i+2，j-6)。图5-09 二维对数搜索法2. 三步搜索法三步搜索法(three-step search) 这种搜索法与二维对数搜索法很接近。不过在开始搜索时，搜这种搜索法与二维对数搜索法很接近。不过在开始搜索时，搜索点离索点离(i，j)这个中心点很远，第一步就测试这个中心点很远，第一步就测试8个搜索点，如图个搜索点，如图5-10所示。在这个例子中，点所示。在这个例子中，点(i+3，j-3)作为第一个近似的移动矢量作为第一个近似的移动矢量d1；第二步，搜索点偏离第二步，搜索

54、点偏离(i+3，j-3)较近，找到的点假定为较近，找到的点假定为(i+3，j-5)；第；第三步给出了最后的移动矢量为三步给出了最后的移动矢量为d(i+2，j-6)。本例采用。本例采用MAD作为匹配作为匹配判据。判据。图图5-10 三步搜索法三步搜索法 3. 对偶搜索法对偶搜索法(conjugate search) 该法使用该法使用MAD作为匹配判据，示于图作为匹配判据，示于图5-11。在第一次搜索时，。在第一次搜索时，通过计算点通过计算点(i-1，j)、(i，j)和和(i+1，j)处的处的MAD值来决定值来决定i方向上的最方向上的最小失真。如果计算结果表明点小失真。如果计算结果表明点(i+1，

55、j)处的处的MAD为最小，就计算点为最小，就计算点(i+2，j)处的处的MAD，并从，并从(i，j)，(i+1，j)和和(i+2，j)的的MAD中找出最中找出最小值。按这种方法一直进行下去，直到在小值。按这种方法一直进行下去，直到在i方向上找到最小方向上找到最小MAD值值及其对应的点。及其对应的点。 在这个例子中，假定在在这个例子中，假定在i方向上找到的点为方向上找到的点为(i+2，j)。在。在i方向上找方向上找到最小到最小MAD值对应的点之后，就沿值对应的点之后，就沿j方向去找最小方向去找最小MAD值对应的点，值对应的点，方法与方法与i方向的搜索方法相同。最后得到的移动矢量为方向的搜索方法相

56、同。最后得到的移动矢量为d(i+2，j-6)。图5-11 对偶搜索法 在整个MPEG图像压缩过程中，寻找最佳匹配宏块要占据相当多的计算时间，匹配得越好，重构的图像质量越高。4 双向预测图像双向预测图像B的压缩编码算法的压缩编码算法 双向预测图像双向预测图像B的压缩编码框图如图的压缩编码框图如图5-12所示。具体计算所示。具体计算方法与预测图像方法与预测图像P的算法类似。的算法类似。 图图5-12 双向预测图像双向预测图像B的压缩编码算法框图的压缩编码算法框图 5 电视图像的结构电视图像的结构 MPEG编码器算法允许选择编码器算法允许选择I图像的频率和位置。图像的频率和位置。I图图像的频率是指每

57、秒钟出现像的频率是指每秒钟出现I图像的次数，位置是指时间方图像的次数，位置是指时间方向上帧所在的位置。一般情况下，向上帧所在的位置。一般情况下，I图像的频率为图像的频率为2。MPEG编码器也允许在一对编码器也允许在一对I图像或者图像或者P图像之间选择图像之间选择B图图像的数目。像的数目。I图像、图像、P图像和图像和B图像数目的选择依据主要是图像数目的选择依据主要是根据节目的内容。例如，对于快速运动的图像，根据节目的内容。例如，对于快速运动的图像，I图像的图像的频率可以选择高一些，频率可以选择高一些，B图像的数目可以选择少一点；对图像的数目可以选择少一点；对于慢速运动的图像于慢速运动的图像I图像

58、的频率可以低一点，而图像的频率可以低一点，而B图像的数图像的数目可以选择多一点。此外，在实际应用中还要考虑媒体的目可以选择多一点。此外，在实际应用中还要考虑媒体的速率。速率。 一个典型的一个典型的I、P、B图像安排如图图像安排如图513所示。编码所示。编码参数为：帧内图像参数为：帧内图像I的距离为的距离为N=15，预测图像，预测图像(P)的距离为的距离为M=3。 图图513 MPEG电视帧编排电视帧编排 I、P和B图像压缩后的大小如表10-02所示，单位为比特。从表中可以看到，I帧图像的数据量最大，而B帧图像的数据量最小。 MPEG三种图像的压缩后的典型值三种图像的压缩后的典型值(比特比特)

59、图像类型IPB平均数据/帧MPEG-1 CIF 格式(1.15 Mb/s)150 00050 00020 00038 000MPEG-2 601 格式(4.00 Mb/s)400 000200 00080 000130 0005.4 MPEG-4电视图像编码电视图像编码 MPEG VideoMPEG Video专家组建立了一个用来开发图像和电视图像编码专家组建立了一个用来开发图像和电视图像编码技术的模型，叫做技术的模型，叫做“试验模型试验模型(Test Model)”(Test Model)”或者叫做或者叫做“验证模验证模型型( (VMVMVerification Model)”Verific

60、ation Model)”。这个模型描述了一个核心的编。这个模型描述了一个核心的编码算法平台，包括编码器、解码器以及位流码算法平台，包括编码器、解码器以及位流( (bitstreambitstream) )的语法和的语法和语义。本节就电视图像的编码和解码的基本方法作一个简单介绍，语义。本节就电视图像的编码和解码的基本方法作一个简单介绍，其他内容请看本章所附的参考文献和站点。其他内容请看本章所附的参考文献和站点。1 1、 电视图像对象区的概念电视图像对象区的概念 MPEG-4 VideoMPEG-4 Video编码算法支持由编码算法支持由MPEG-1MPEG-1和和MPEG-2MPEG-2提供的所有功提