多媒体技术基础与应用(第3版)鄂大伟cha.ppt

多媒体技术基础与应用 第十章 运动图 像压缩标 准MPEG 10.1 从MPEG1到MPEG7：MPEG标标准简简述 10.2 MPEG的编码编码 与实现过实现过 程 10.3 基于对对象编码编码 技术术的MPEG-4 10.4 基于内容的信息存取与MPEG-7 10.5 H.261与H.263 多媒体技术基础与应用 10.1从MPEG1到MPEG7：MPEG标准简述 10.1.1 视频压缩视频压缩 技术历术历 史概述 视频视频 能够压缩够压缩 的根本原因在于视频视频 数据具有较较高的冗余度。 压缩压缩 就是指冗余的消除，主要基于两种技术术：统计统计 学和心理 视觉视觉 。消除统计统计 冗余的基本依据是视频视频 数字化过过程在时间时间 和 空间间上采用了规则规则 的采样过样过 程。视频视频 画面数字化为规则为规则 的像 素阵阵列，其密集程度适于表征每点最高的空间频间频 率，而绝绝大 多数画面帧帧包含非常少甚至不含这这种最高频频率的细节细节 。 多媒体技术基础与应用 10.1.2 MPEG-1 MPEG-1标标准 1992年公布，其任务务是在一种可接受的质质量下 ，把视频视频 和伴音信号压缩压缩 到速率大约为约为 1.5Mb/s或更高的单单 一的MPEG数据流。它可对对SIF（标标准交换换格式）分辨率 (NTSC制式为为352240；PAL制式为为352288)的图图像进进行压压 缩缩，每秒播放30帧帧，具有CD音质质，图图像质质量基本与VHS家用 录录像机相当。 10.1.3 MPEG-2 它是一个直接与数字电视电视 广播有关的高质质量图图像和声音编码编码 标标准。MPEG2所能提供的传输传输 率在310Mbit/s之间间，在 NTSC制式下的分辨率可达720486，可提供广播级级的图图像质质 量和CD级级的音质质。MPEG-2主要针对针对 高清晰度电视电视 (HDTV) 所需要的视频视频 及伴音信号，与MPEG-1兼容。 多媒体技术基础与应用 10.1.4 MPEG-4 MPEG-4旨在为视为视 音频频数据的通信、存取与管理提供一个灵活 的框架与一套开放的编码编码 工具。这这些工具将支持大量的应应用 功能(新的和传统传统 的)。 10.1.5 MPEG-7 MPEG-7既不同于基于波形压缩压缩 的表示方式如MPEG-1和 MPEG-2,又不同于基于对对象的表示方式如MPEG-4，而是将对对 各种不同类类型的多媒体信息进进行标标准化描述，并将该该描述与 所描述的内容相联联系，以实现实现 快速有效的搜索。MPEG-7的功 能与其他MPEG标标准互为补为补 充。 多媒体技术基础与应用 10.2 MPEG的编码 与实现过 程 MPEG的数据分为为MPEG视频视频 、MPEG音频频和同步信号三个 部分，视频视频 流包含画面信息，音频频流包含伴音信息，所有播 放MPEG图图像和伴音数据所需的时钟时钟 信息都包含在同步信号 流中。 图10-1 MPEG的组 成 多媒体技术基础与应用 10.2.1 MPEG编码编码 的基本思想 MPEG数字视频编码视频编码 技术实质术实质 上是一种统计统计 方法。在时间时间 和 空间间方向上，视频视频 序列通常包含统计统计 冗余度。MPEG压缩压缩 技 术术所依赖赖的基本统计统计 特性为帧为帧 内与帧间帧间 的相关性，这这里包含 这样这样 一个设设想：即在各连续帧连续帧 之间间存在简单简单 的相关性平移运动动。 图10-2 连续视频 画面之间通常存在着较大的相关性 多媒体技术基础与应用 10.2.2 MPEG的流结结构 MPEG为为更好地表示编码编码 数据，规规定了一个分层层的结结 构，自上到下分别别是 ： MPEG流（MPEG stream） 图图像组组（GOP，Group of Pictures） 图图像（Image） 宏块块（Macro block） 块块（Block） 多媒体技术基础与应用 图10-3 MPEG流的分层结构 多媒体技术基础与应用 MPEG流（MPEG stream）包含音频频流和视频视频 流。视视 频频流是由图图像组组（GOP）构成的图图像序列，有表示开 始的图图像序列头头和表示结结束的图图像终终止码码。 图图像组组（GOP）是为为方便随机存取而加的，其结结构和 长长度均可变变。图图像组组是随机存取视频单视频单 位。一个GOP 由一串IBP帧组帧组 成，起始为为I帧帧。GOP的长长度是一个I帧帧 到下一个I 帧帧的间间隔。 图图像(Image)是独立的显显示单单位，也是基本编码单编码单 位。 宏块块（Macro block）是进进行运动补偿动补偿 的基本单单位。 由一个16 16像素的亮度信息和两个8 8像素的色度信息 组组成的块块称为为宏块块。 块块（Block）是由8 8像素组组成的基本单单位，是进进行 DCT运算的单单位，块块可分为为亮度块块或色度块块(图图10-4)。 多媒体技术基础与应用 图10-4 块可分为亮度块或色度块 图10-5 宏块是进行运动补偿 的基本单位 多媒体技术基础与应用 10.2.3 信号的采样样 在进进行视频编码视频编码 前， R、G、B信号需变换为变换为 亮度信号Y和色 差信号Cb、Cr的形式（图图10-6）。色差定义义了颜颜色的两个方 面色调调与饱饱和度，分别别用Cr和Cb来表示。 图10-6 在编码前，RGB信号分解成Y，Cr和Cb信号分量 多媒体技术基础与应用 10.2.4 MPEG图图像的类类型 MPEG由三种类类型的图图像组组成（如下图图）： I图图（帧帧内图图Intra Picture）是对对整幅图图像采用JPEG编码编码 的 图图像，它是一个独立的帧帧，其信息由自身画面决定，不需要 参照其他画面而产产生，它是P图图和B图图的参考图图。 P图图（前向预测帧预测帧 Predicted Picture）,它参照前一幅I或P图图 像做运动补偿编码动补偿编码 。 B图图像(双向预测预测 Bidirectional Prediction)，它参照前一幅和 后一幅I或P图图像做双向运动补偿编码动补偿编码 。 多媒体技术基础与应用 10.2.5 MPEG的帧帧序列 一个典型的MPEG帧帧序列 图10-8 一个典型的MPEG帧序列 多媒体技术基础与应用 一个MPEG在解码码播放时时的实际帧实际帧 序列 图10-9 MPEG在解码播放时的实际帧 序列 多媒体技术基础与应用 10.2.6 运动预测动预测 与补偿补偿 运动补偿动补偿 算法是当前视频图视频图 像压缩压缩 技术术中使用最普遍的方法 之一。运动补偿动补偿 工作于宏块块一级级，主要是消除预测图预测图 与插补补 图图在时间时间 上的冗余，以提高压缩压缩 比。运动补偿动补偿 是一种预测预测 ， 它不是对对每个像素预测预测 ，而是以16 16的图图像宏块为单块为单 位的 预测预测 。 图10-10 运动补偿 的例子 多媒体技术基础与应用 10.2.7 运动补偿编码动补偿编码 器的结结构 运动补偿预测编码动补偿预测编码 器的结结构如下图图所示。图图中应应用了延迟迟 时间时间 可变变的预测预测 存储储器。该该存储储器有一个帧帧的容量，一帧帧前 的图图像被存储储起来。可以通过过以宏块为单块为单 位，检测检测 出画面中 的运动动部分。 图10-11 运动补偿预测编码 器的结构示例 多媒体技术基础与应用 10.3 基于对象编码 技术的MPEG-4 10.3.1 传统传统 MPEG编码编码 技术术的局限 在传统传统 的视频压缩视频压缩 中，以一连连串的影像(image)为压缩对为压缩对 象 ，也就是对对于一整张张画面(帧帧frame)做数据压缩压缩 。如此会将整 张张画面不重要的部分（如单调单调 的背景）也一起压缩进压缩进 去而占 有一定程度的数据量。另外，将图图像固定地分成相同大小的 块块，在高压缩压缩 比的情况下会出现严现严 重的块块效应应，即马赛马赛 克效 应应。 未能考虑虑信息获获取者的主观观意义义与人类视觉类视觉 系统统（HVS， Human Visual System）主观观特性，未能考虑虑事件本身的特 性如具体含义义、重要性以及后果等等，不能对图对图 像内容进进行 访问访问 、编辑编辑 和回放等工作； 缺乏一套有系统统与有效率的标标准。 多媒体技术基础与应用 10.3.2 何谓对谓对 象编码编码 基于对对象编码编码 ，是指依赖赖于对视频场对视频场 景中任意形状对对象检测检测 的编码编码 机制。MPEG-4是目前基于对对象编码编码 机制，是对对运动动 图图像和伴音编码编码 的算法。 图10-12 基于对象编码技术的场景示例 多媒体技术基础与应用 10.3.3 MPEG-4核心编码编码 技术术-AV对对象 AV对对象是MPEG-4为为支持基于内容编码编码 而提出的重要概念。 对对象是指在一个场场景中能够访问够访问 和操纵纵的实实体，对对象的划分 可根据其独特的纹纹理、运动动、形状、模型和高层语义为层语义为 依据 。 MPEG-4对对AV对对象的操作主要有： 1采用AV对对象来表示听觉觉、视觉视觉 或者视视听组组合内容。 2允许组许组 合已有的AV对对象来生成复合的AV对对象，并由此生 成AV场场景。 3允许对许对 AV对对象的数据灵活地多路合成与同步，以便选择选择 合适的网络络来传输这传输这 些AV对对象数据。 4允许许接收端的用户户在AV场场景中对对AV对对象进进行交互操作。 5MPEG-4支持AV对对象知识产权识产权 与保护护。 多媒体技术基础与应用 10.3.4 基于场场景的对对象分割与编码编码 技术术 MPEG-4实现实现 基于内容交互的首要任务务就是把视频视频 /图图像分割 成不同对对象或者把运动对动对 象从背景中分离出来，然后针对针对 不 同对对象采用相应编码应编码 方法，以实现实现 高效压缩压缩 。 MPEG-4的编码编码 理念是：在编码时编码时 将一幅景物分成若干在时时 间间和空间间上相互联联系的视频视频 音频对频对 象，分别编码别编码 后，再经经 过过复用传输传输 到接收端，然后再对对不同的对对象分别别解码码，从而 组组合成所需要的视频视频 和音频频,其过过程如图图所示。 多媒体技术基础与应用 10.3.5视频对视频对 象平面-VOP 我们们根据人眼感兴兴趣的一些特性如形 状、运动动、纹纹理等，将 图图像序列中每一帧帧中的场场景，看成是由不同视频对视频对 象平面 VOP (Video Object Plane)所组组成，而同一对对象连续连续 的VOP 称为视频对为视频对 象VO。 VOP是视频场视频场 景的语语法对对象，除轮轮廓信息外，主要由亮度和, 色度分量（Y,U,V）组组成。VOP可以是任意形状，可由半自动动 分割来检测检测 。 图10-14 为实现 基于内容交互，人物由简单到复杂的轮廓物征提取 多媒体技术基础与应用 视频对视频对 象平面（VOP，Video Object Plane）是视频对视频对 象（ VO）在某一时时刻的采样样，VOP是MPEG-4视频编码视频编码 的核心概 念。 图10-15 VOP视频编码技术 多媒体技术基础与应用 10.3.6 运动动估计计与运动补偿动补偿 技术术 MPEG-4采用运动预测动预测 和运动补偿动补偿 技术术来去除图图像信息中的 时间时间 冗余成分，而这这些运动动信息的编码编码 技术术可视为现视为现 有标标准 向任意形状的VOP的延伸。VOP的编码编码 有3种模式，即帧帧内 (Intra-frame) 编码编码 模式(I-VOP)，帧间帧间 (Inter-frame)预测编预测编 码码模式(P-VOP)，帧间帧间 双向 (Bidirectionally)预测编码预测编码 模式 (B-VOP) 。 图10-16 MPEG-4的运动预测 和运动补偿 技术 多媒体技术基础与应用 10.4基于内容的信息存取与MPEG-7 10.4.1 MPEG-7概述 MPEG-7 的产产生是为为了解决上述问题问题 ，其重点在于影音内容 的描述和定义义，以有弹弹性、具延伸性、多层层次及明确的数据 结结构和语语法来定义义影音数据的内容，经经由 MPEG-7 的定义义格 式，使用者可以有效率地搜寻寻、过滤过滤 和定义义想要的影音数据 。 10.4.2 MPEG-7:基于信息内容的搜索引擎 MPEG-7是属于信息方面的检检索和搜寻寻，而所谓谓信息，则则可 以是影像或音乐乐；换换句话说话说 ，MPEG-7在本质质上来说说就是我 们们常常在网上使用的搜索引擎，只不过过它提供的是多媒体的 信息查询查询 服务务。 多媒体技术基础与应用 10.4.3 MPEG-7中的主要概念 数据(Data) 是用MPEG-7描述的视视听资资料，不考虑虑它 们们的存储储、编码编码 、显显示、传输传输 、媒介或技术术。 特征(Feature) 指数据的特性。特征本身不能比较较，而 要用有意义义的特征表示(描述子)和它的实实例(描述值值)。 描述子(Descriptor，D) 是特征的表示。它定义义特征表 示的句法和语义语义 ，可以赋赋予描述值值。 描述值值(Descriptor Value) 是描述子的实实例。 描述模式(Description Scheme，DS) 说说明其成员员之 间间的关系结结构和语义语义 。 多媒体技术基础与应用 描述(Description) 一个描述由一个描述模式(结结构)和 一组组描述值组值组 成。 编码编码 的描述(Coded Description) 是对对已完成编码编码 的 描述，满满足诸诸如压缩压缩 效率、差错错恢复和随机存取的相 关要求。 描述定义语义语 言(Description Definition Language， DDL) 是一种允许产许产 生新的描述模式和描述子的语语言 ，允许扩许扩 展和修改现现有的描述机制。 多媒体技术基础与应