MPEG标准.ppt

4、运动图像压缩编码标准MPEG MPEG简介 MPEG-1标准介绍 MPEG-2标准介绍 MPEG-4标准介绍 MPEG-7标准介绍 MPEG-21标准介绍 4.1 MPEG简介 nMPEG(Moving Picture Expert Group)是在 1988年由国际标准化组织(International Organization for Standardization，ISO)和 国际电工委员会(International Electrotechnical Commission，IEC)联合成 立的专家组。 n开发电视图像数据和声音数据的编码、解码和 它们的同步等标准。 n他们开发的标准称为MPEG标准。 nMPEG标准是一个面向运动图象压缩的标准 系列，到目前为止，已经开发和正在开发的 有： nMPEG-1：数字电视标准，1992年正式发布。 nMPEG-2：数字电视标准，1994年成为国际标准草 案。 nMPEG-3：已于1992年7月合并到高清晰度电视 (High-Definition TV，HDTV)工作组。 nMPEG-4：多媒体应用标准(1999年发布)。 nMPEG-7：多媒体内容描述接口标准(正在研究)。 nMPEG-21:有关多媒体框架的概念（正在研究）。 4.2 MPEG-1标准 n 名称：用于大约高达1.5Mbps速率的数字存储 媒体的运动图象及其伴音编码，简称MPEG-1 ，作为ISO/IEC 11172号建议于1992年通过。 n支持的图像标准分辨率：NTSC制为352240； PAL制为352 288，每秒30帧画面, CD音质。 n使用MPEG-1的压缩算法, 可将一部120分钟长 的电影压缩到1.2GB左右。因此, 它被广泛地应 用于VCD制作。 4.2 MPEG-1标准 n MPEG-1的最终目标是解决数字视频和数 字音频等多样压缩数据流的复合和同步 问题。 n标准的制定过程竞争激烈，仅MPEG视频 竞争方案就有17个公司或学术机构提出 建议，其中14个建议接受分析和测量。 nMPEG-1包括MPEG视频、MPEG音频和 MPEG系统三个部分。 MPEG-1分为5个部分 nMPEG系统(11172-1)，定义音频、视频及有关数 据的同步； nMPEG视频(11172-2)，定义视频数据的编码和重 建图象所需的解码过程； nMPEG音频(11172-3)，定义音频数据的编码和解 码； n一致性测试(11172-4)； n软件模拟(11172-5)，一个技术报告，给出了用 软件执行MPEG-1标准前3个部分的结果。 没有规定编码器和解码器的体系结构或实现方法， 但提出了功能和性能要求。 MPEG视频压缩应具有的特点 n随机存取：能在被压缩的视频位流中间进行 存取，并且能在限定的时间内对视频的任一 帧进行解码。 n快速正向/逆向搜索：对压缩数据流可进行扫 描和利用合适的存取点来显示所选择的图像 。 n逆向重播 MPEG视频压缩应具有的特点 n视听同步：视频信号应准确地与相关的音频相 同步。若音频和视频信号分别由两个稍有差别 的时钟产生，则应提供一个机制使这两个信号 能持久地重新同步。 n容错性：希望有一个合适的信道编码方案能适 用于多种应用，并且对残存的未被校正的误差 有强的鲁棒性。 MPEG视频压缩应具有的特点 n编解码延迟 n其他：可编辑性、灵活性、允许各种光 栅尺寸和帧速率、编码方案实时完成、 解码器尽可能用少量的芯片实现，控制 成本 MPEG-1编解码器原型 MPEG-1编解码器原型: n多路复合而成的码流假设以介质特定格式存储在 DSM或网络上, 标准不规定介质特定格式。 n系统解码器从输入多路复合流中抽取定时信息,并 对输入流进行分流处理, 输出两个基本流分别给 视频和音频解码器。 n视频和音频解码器分别解码输出视频和声音信号 。 n系统、视频、音频和介质4个解码器之间用定 时信息进行同步。 n多路复合流构造为2层: 系统层和压缩层。系 统解码输入的是系统层; 而视频、音频解码器 输入的是压缩层。 n系统解码器执行两类操作: n一类是作用在整个多路复合流上的操作,称为复合流操 作; n另一类是作用在单个基本流上的操作,称为特定流操作 。 n系统层分为两个子层: n一个子层称为包(pack),是复合流操作对象; n另一个子层称为组(packet),它用于特定流操作。 MPEG-1视频的分层结构 nMPEG-1视频图像数据流是一个分层的结构。其 目的是把位流中逻辑上独立的实体分开，防止 语意模糊，并减轻解码过程的负担。 n对分层的要求是支持灵活性、通用性和有效性 。 n共分六层：图像序列层（随机存取单元） 图像组层（视频编码） 图像层（基本编码单元） 宏块片层（重同步单元） 宏块层（运动补偿单元） 块层（DCT单元） MPEG视频数据流的结构 运动图象序列 图片组 图片 图片切片 宏块 块 8象素 8象素 MPEG-1数据体系结构 n运动序列 表头图片组结束标志 n图片组 一系列图像 n图象信号分3个部分: 一个亮度信号Y和两个色度信号U、V Y：U：V4：2：2。 亮度信号Y由偶数个行和偶数个列组成， 色度信号U、V分 别取Y信号在水平、垂直方向的1/2。如图所示， 黑点代表 色度U、V位置，亮度Y位置用白圈表示。 色度和亮度 的位置关系 n块: 一个块由一个88的亮度信息或色度信息组成。 n宏块：一个宏块由一个1616的亮度信息和两个88 色度信息构成。 n图象切片 由一个或多个连续的宏块构成。 Y UV 8X88X8 12 34 56 宏块的组成 MPEG-1视频编码技术 n主要问题:一方面帧内编码无法达到很高 的压缩比，另一方面用单一的静止帧内编 码方法能最好地满足随机存取的要求。 n解决方法：对这两个方面做了折衷考虑。 即采用运动补偿技术减少时间上的冗余 采用DCT技术减少空间上的冗余 （涉及到两个方面帧间压缩和帧内压缩） n在MPEG中将图象分为3种类型： nI图象 利用图象自身的相关性压缩，提供压缩 数据流中的随机存取的点。 nP图象 用最近的前一个I图象(或P图象)预测编 码得到图像(前向预测) 。 nB图象 B图象在预测时, 既可使用了前一个图 象（I或P）作参照, 也可使用下一个图象做参 照或同时使用前后两个图象作为参照图象(双 向预测)。 I=Intra Picture, P=Predicted Picture, B=Bidirectional Picture n四种预测技术 n帧内编码 n前向预测 n后向预测 n双向预测 图像帧间预测 1 I 2 B 3 B 4 B 5 P 6 B 7 B 8 B 1 I 前向预测 双向预测 1秒 参照帧间有2个B图象 每0.5秒1帧I图象 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 I B B P B B P B B P B B P B B I B B P B B P B B P B B P B B 典型的图象类型的显示次序 运动序列流的组成 I图象的频率和位置可以选择 传输顺序 nMPEG编码器需对上述图象重新排序, 以便解码 器高效工作, 因为参照图象必须先于B图象恢复 之前恢复。上述17帧图象重排后图象组次序 为： 4213756 IPBBPBB 运动补偿技术 n运动补偿技术主要用于消除P图象和B图象在 时间上的冗余性提高压缩效率。 n在MPEG方案中,运动补偿技术工作在宏块一 级。 nB图象宏块有4种类型 帧内宏块，简称I块； 前向预测宏块， 简称F块； 后向预测宏块， 简称B块； 平均宏块，简称A块。 n对于P图象，其宏块只有I块和F块两种。 n无论B图象和P图象，I块处理技术都与I图象中 采用技术一致即DCT技术。 n对于F块、B块和A块，MPEG都采用基于块的运 动补偿技术。 nF块预测时其参照为前一个I图象或P图象 nB块预测时其参照为后一个I图象或P图象 n对于A块预测其参照为前后两个I图象或P图象 基于块的运动补偿技术 n基于块的运动补偿技术，就是在其参照帧中寻 找符合一定条件的，且与当前被预测块匹配最 佳的块。 n找到匹配块后，有两种处理方法： n一是在恢复被预测块时，用匹配块代替； n二是对预测的误差采用DCT技术编码，在恢 复被预测块时，用匹配块加上预测误差。 预测图像P的压缩编码算法 双向预测图象B的压缩编码算法 MPEG-1视频系统 简化的视频编码框图 基本的视频解码器框图 MPEG-1音频压缩算法 nMPEG-1音频压缩算法：第一个高保真音频数据 压缩标准 n音频信号采样率：32KHz、44.1KHz或48KHz。 n压缩后的比特流可以按4种模式之一支持单声道 、双声道或联合立体声 n提供给单音频通道的单声道模式； n提供给两个独立的单音频通道的双-单声道模式； n提供给立体声通道的立体声模式； n联合立体声模式,利用立体声通道之间的关联或通道之 间相位差的无关性,或者对两者同时利用。 nMPEG-1音频标准提供3个独立的压缩层次,用户 可在复杂性和压缩质量之间权衡选择。 n层1最简单，编码速率384Kbps，主要用于DCC； n层2的复杂度中等，编码速率192Kbps左右，主要应用 于数字广播、CD-ROM以及CD-I和VCD； n层3最为复杂，使用的比特率为64Kbps，尤其适用于 ISDN上的音频传输。 MP3音乐是利用 MPEG Audio Layer 3 的技术 4.3 MPEG-2标准 n MPEG-2标准从1990年开始研究，1994发布。 n标准编号：ISO/IEC 13818。 n标准名称:运动图像及其伴音信息的通用编码 (Generic coding of moving pictures and associated audio information )。 n整个标准包括10个部分，是一个直接与数字电 视广播有关的高质量图像和声音编码标准。 nMPEG-2可以说是MPEG-1的扩充，它们的基本编 码算法都相同。但MPEG-2增加了许多MPEG-1所 没有的功能。 nMPEG-2利用网络提供的3100Mbps的数据传输 率，支持具有更高分辨率图象的压缩和更高的图 象质量。 nMPEG-2可支持交迭图象序列（每帧图像由两个 场组成），支持可调节性编码，多种运动估计方 式，提供一个较广的范围改变压缩比 n可以适应不同画面质量、存储容量和带宽的要求 ，为此不同的功能档次（profile），每个档次又 分为不同的等级（level）。 5个档次 简单型（Simple） 基本型（Main） 信噪比可调型（SNR Scalable） 空间可调型（Spatial Scalable） 增强型（High） 4个等级 低级（Low） 35228830, 它面向VCR并与 MPEG-1兼容； 基本级（Main） 72046030或72057625， 它面向视频广播信号； 高1440级（High-1440） 1440108030或 1440115225，它面向HDTV； 高级（High） 1920108030或 1920115225，它面向HDTV。 11种规范(为了向下兼容，满足各种需求） 高级的基本型 MPHL 高级的增强型 HPHL 高-1440级的基本型 MPH1440 高-1440级的空间可调型 SSPH1440 高-1440级的的增强型 HPH1440 基本级的简单型 SPML 基本级基本型 MPML 基本级的信噪比可调型 SNPML 基本级的增强型 HPML 低级的基本型 MPLL 低级的信噪比可调型 SNPLL MPEG-2音频 n基本特性之一是向后与MPEG-1音频兼容。 相同的编码器，层1、2、3的结构也相同 n做了扩充： n增加了采样频率，16k、22.05k、24k n扩展了输出速率范围,8-640kbps n增加了声道数，5.1和7.1通道环绕立体声 n支持线性PCM和Dolby AC-3编码 n定义了不兼容的MPEG-2 AAC，非常灵活的声 音感知编码 MPEG-2编码方法 nMPEG-2的编码方法和MPEG-1主要区别：隔行 扫描制式。 DCT变换可在帧内，也可在场内。 用户可自行选择, 亦可自适应选择。 n对细节多、运动部分少的图象在帧内进行DCT, 而细节少、运动分量多的图象在场内进行DCT 。 nMPEG-2采用可调型和非可调型两种编码结构 。还可以使用一个基本层加上多个增强型的多 层编码结构,这由用户按质量和压缩比要求选 择使用. MPEG-2亮度宏块结构 每个亮度块被逐行放在一起每个亮度块被隔行放在一起 空间可调型MPEG-2编码器原理框图 nMPEG编解码过程是一种非镜像对称算 法 nMPEG-1和MPEG-2只规定了解码方案 n数字广播、DVD、收费电视、VOD、交 互电视等都采用了MPEG-2 nMPEG-2可以将一部120分钟长的电影压 缩到48GB(DVD质量)，其音频编码 可提供左中右及两个环绕声道、一个加 重低音声道和多达7个伴音声道。 4.4 MPEG-4标准 nMPEG-4 标准名称为“甚低速率视听编码”（very- low bitrate audio-visual coding） n1998年11月公布第一版，1999年12月公布了第 二版，共分为6个部分。 n目标是低速率下（64kbps）的视频、音频编码 ， 更加注重多媒体系统的交互性和灵活性。 nMPEG-4引入了视听对象(Audio-Visual Objects， AVO), 使得更多的交互操作成为可能。 nAVO可以是孤立的人，也可是这个人的语音或 一段背景音乐等。 nAVO具有高效编码、高效存储、高效传播以 及可互操作的特性。 nMPEG-4对AVO的操作主要有： 采用AVO来表示听觉、视觉或者视听组合内容； 组合已有AVO来生成复合的AVO ，并生成视听场景 ； 对AVO的数据灵活地多路合成与同步，以便选择合适 的网络来传输这些AVO数据； 允许接收端用户在视听场景中对AV对象进行交互操作 等。 nMPEG-4标准主要构成部分 1)传输多媒体集成框架(DMIF)。 一个会话协议，用来管理多媒体数据流 主要解决交互网络中、广播环境下以及光盘应用 中多媒体应用的操作问题。 2)场景描述。 描述场景中声音、视频对象间的关系，体现在两 个层次：BIFS描述场景中对象的空间时间安排， 观察者可以有与这些对象交互的可能性；在较低 的层次上,对象描述子（OD）定义每个对象的基本 流的关系，并提供访问基本流需要的URL地址、译 码器的特性、知识产权等信息。 3)音频编码。 MPEG-4将音频的合成编码和自然声音的编码相 结合，支持音频的对象特征。支持MIDI和TTS。 4)视频编码。 MPEG-4支持对自然和合成的视觉对象的编码。 合成的视觉对象包括2D、3D动画和人面部表情 动画等。 5)缓冲区管理和实时解码。 MPEG-4定义了一个系统解码模式(SDM)，该解 码模式要求特殊的缓冲区和实时模式。通过有效 地管理，可以更好地利用有限的缓冲区空间。 n对每个视频对象的形状、运动和纹理信息编码 ，形成单独的视频对象。 n如果只包括标准的矩形图像，则无需形状编码 。 n使用了视频对象区（Video Object Plane,VOP） 的概念。某一时刻某一画面中的VO构成一个 VOP。 nVOP编码的压缩算法是在MPEG-1和MPEG-2的 基础上开发的。 n定义了帧内VOP编码、帧间预测VOP编码、双 向预测VOP编码 MPEG-4视频编码技术 MPEG-4视频编码器的算法方框图 MPEG-4终端的构成(接收端) MPEG-4扩充了编码的数据类型，由自然数据对象扩展到计算机生成 的合成数据对象，采用合成对象/自然对象混合编码算法；在实现 交互功能和重用对象中引入了组合、合成和编排等重要概念。 MPEG-4的应用 n与MPEG-1和2相比，MPEG-4更适于交互视听 服务以及远程监控。其设计目标使它具有更广 的适应性和可扩展性：MPEG-4传输速率可在 4.8-64kbps之间，分辨率为176144，可以利用 很窄的带宽通过帧重建技术压缩和传输数据， 以最少的数据量获得最佳的图像质量。 n应用领域：数字电视、动态图像、互联网、实 时多媒体监控、移动多媒体通信、 Internet/Intranet上的视频流与可视游戏、DVD 上的交互多媒体等方面。 nMPEG-4能以很低的速率基本实现DVD的质量 ： nASF(Advanced Streaming Format)可以将120分钟的 电影压缩为300MB左右的视频流； nDIVX编码技术可以将120分钟的电影压缩600MB左 右，还可以将一部DVD影片压缩到2张CD-ROM上 。 nMPEG-4属于一种高比率有损压缩算法，其图 像质量始终无法和DVD的MPEG-2相比，毕竟 DVD的存储容量较大。 n有一种分析：DIVX技术对DVD形成挑战。 MPEG-4应用实例Sprite合成 n背景全景图+视频对象(VO)=合成图象 摄像机镜头连 续拍摄到的背 景组成的Sprite 前景视 频对象 只需传送一次 4.5 MPEG-7 n多媒体内容描述接口（Multimedia Content Description Interface）满足特定需求 n目的：制定一套描述符标准，用来描述各种 类型的多媒体信息及它们之间的关