Chapter3流媒体编解码技术

1、Chapter 3流媒体编解码技术3.1 MPEG 简介MPEG：Moving Pictures Experts Group运动图像专家组担任制定适用于数字存储媒介、电视广播和通讯等运用场所的视频和音频数据的紧缩编码规范MEPG-1，MEPG-2，MEPG-4，MEPG-7 和 MEPG-213.2 MPEG-1 和 MPEG-2 规范MPEG-1 规范全称：Coding of Moving Pictures and Associated Audio for Digital Storage Media at up to about 1.5Mbp/sMPEG-1 规范包括五个部分：系统层；图像层

2、；声音层；一致性测试层；软件仿真技术报告。第一部分阐明了如何根据第二部分视频以及第三部分音频的规定，对音频和视频进展复合编码。第四部分阐明了检验解码器或编码器的输出比特流符合前三部分规定的过程。第五部分是一个用完好的C言语实现的编码和解码器。MPEG-2 规范全称：Generic Coding of Moving Pictures and Associated Audio Information3.2.1 MPEG-1/-2 规范中的三种编码类型图像I 帧采用帧内DCT离散余弦变换编码只利用单帧图像内的空间相关性由于I帧不依赖其它帧，所以是随机存取的插入点，同时是解码的基准帧。I帧图像可作为B

3、帧和P帧图像的预测参考帧。I帧图像是周期性出如今图像序列中的，出现频率可由编码器选择。 P 帧根据前面最接近的I帧或P帧进展前向预测采用带运动补偿的帧间预测编码方式同时利用空间和时间上的相关性B 帧双向预测内插帧既用已传输的在视频序列中处于该帧前的“过去帧I帧或P帧作预测参考帧。进展前向运动补偿预测；又用后面的“未来帧I帧或P帧作预测参考帧，进展后向运动补偿预测B帧不能用来作为其他帧进展运动补偿预测的参考帧采用B帧进展双向运动补偿预测是MPEG算法的一个重要特点。适宜处理景物中由于物体运动对被遮挡区的预测困难。如对双向预测的结果进展平均，可降低噪声，因此使序列图像的编码效率提高 3.2.2 视

4、频码流的分层构造视频数据经过紧缩编码后构成视频根本码流ESMPEG 用句法规定了一个分层构造对分层要求：支持通用性、灵敏性和有效性MPEG 视频根本码流的分层构造MPEG视频根本码流的分层构造：3.2.2 视频码流的分层构造GOP层图像组层在两个参考帧之间插入几个B帧？B帧数目的添加会降低B帧和参考帧之间以及参考帧与参考帧之间的相关性；B帧数目的添加要求增大参考帧中运动估计的搜索范围；B帧数目的添加会添加接纳的延迟时间和要求添加接纳机内缓存器的容量。3.2.2 视频码流的分层构造图像层包括不同编码类型的图像，即I、B、P帧1. MPEG-1中，逐行扫描帧格式；亮度和色度的采样格式是 4:2:0

5、2. MPEG-2中，逐行或隔行场格式扫描；亮度和色度的采样格式是 4:2:0 或 4:2:2 或 4:4:43.2.2 视频码流的分层构造宏块条层包括假设干个延续宏块，其顺序和行扫描顺序一致从一个宏块行16行宽的任何一个宏块开场MPEG-2 MPML 中，一个宏块条必需在同一宏块行中起始和终了，且一个宏块条至少包括一个宏块比特流重新同步的根本单元3.2.2 视频码流的分层构造宏块层运动补偿预测的根本单元。MPEG 算法在 P 帧和 B 帧中以宏块为单位自顺应地选择适宜的运动补偿预测方式在 I 帧中全部宏块都采用帧内编码方式。P 帧中的宏块采用前向运动补偿预测方式；当预测效果不佳时，切换到帧内

6、编码方式。B 帧中的宏块采用何种方式取决于哪一种方式下对该宏块进展编码时所需的比特数最少。3.2.2 视频码流的分层构造像块层MPEG 算法中最小的编码单位88 个像素亮度信号Y、色差信号 Cb 或 Cr 三种图像信息中的一种信息DCT 的根本单元3.2.3 MPEG-1/-2 视频编码关键技术MPEG-1/-2 视频紧缩的原理：利用序列图像中的空间相关性和时间相关性。空间相关性：一个像素与其周围的某些像素在亮度和色度上存在的关系时间相关性：一个视频序列中前后帧图像间存在的关系采用带运动补偿的帧间预测编码和帧内 DCT 编码相结合的方案帧内编码与帧间编码流程的区别：能否经过预测环的处置3.2.

7、3 MPEG-1/-2 视频编码关键技术Contd1. 离散余弦变换DCT2. 量化器3. “之字形扫描与游程编码4. 熵编码5. 运动估计6. 运动补偿3.2.4 MPEG-2 和 MPEG-1 的区别1. MPEG-2 定义了“Profile和“Level的概念规定了6个语法子集Profile：Simple Profile, Main Profile, 4:2:2 Profile, SNR Scalable Profile, Spatial Profile, High Profile按编码图像的分辨率分成4个 Levels：High Level, High-1440 Level, Main

8、 Level, Low LevelProfile 规定了可以运用哪些语法要素，以及如何运用这些语法元素；Level 规定了这些语法元素的取值范围3.2.4 MPEG-2 和 MPEG-1 的区别Contd2. MPEG-2 有“按帧编码和“按场编码两种方式MPEG-1 只支持逐行扫描；MPEG-2 支持逐行扫描和隔行扫描，针对隔行扫描的常规电视图像专门设置了“按帧编码和“按场编码两种方式。MPEG-1 中，宏块被逐行地分割成像块；MPEG-2 中，逐行扫描图像采用逐行分割方式；隔行扫描的帧图像采用逐行分割与隔行分割两种方式。3.2.4 MPEG-2 和 MPEG-1 的区别Contd3. MP

9、EG-2 添加了可分级性1空间可分级性2时间可分级性3信噪比可分级性3.3 MPEG-4 视频编码规范为了支持众多的多媒体运用，MPEG-4 视频规范将支持8种新的功能，这8种新功能可归为3类：1. 基于内容的交互性1基于内容的多媒体数据存取工具MPEG-4经过运用各种存取工具，例如索引、超链接、查询、阅读、下载、上载、删除，提供基于音/视频内容的数据存取。2基于内容的码流支配和编辑 MPEG-4的基于内容的编码表示，允许对景物种的视频对象进展灵敏的解码、表示与支配。 3自然数据与合成数据的混合编码MPEG-4支持一种有效的组合方法，用于自然或对象与合成的景物或对象的组合如文本和图形的覆盖，并

10、具有对自然和合成音/视频数据进展编码和处置的才干，MPEG-4还支持解码器可控制的方法，该方法可将合成数据和原始音/视频组合在一同且便于交互。 4加强的时间域随机存取MPEG-4提供一种有效的存取方法，能在有限的时间间隔内，以较高的分辨率，随机地从某个音/视频序列中存取其中的一部分如视频帧或任不测形的图像内容。 2. 高紧缩比针对需求对视听信息进展有效存储或传送及同步的运用，将加强如Internet上的信息阅读、虚拟现实等一些已有的运用。1改良的编码效率2对多个并发数据流的编码对一景物的多视角进展有效的编码。 3. 灵敏多样的存取 3.4 MPEG-7 规范ISO/IEC 15938 正式称号

11、：多媒体内容描画接口Multimedia Content Description Interface是一种多媒体内容描画的规范，而非信息紧缩编码规范定义了描画符、描画言语和描画方案，以便于处置多媒体内容主要目的是对多媒体信息内容进展各种规范化的描画和有效的检索3.4 MPEG-7 规范运用1. “拉运用1视频数据库的存储和检索2专业媒体制造方面的图片和视频提交3商业音乐运用卡拉OK和音乐销售4声音效果库5历史言语数据库6经过听觉事件进展电影场景检索7商标库的注册和检索3.4 MPEG-7 规范运用2. “推运用1用户代理驱动的媒体选择和过滤2个性化电视效力3智能多媒体表现4个性化阅读、过滤和搜

12、索5特殊的信息存取3.4 MPEG-7 规范运用3. 特殊的专业运用和控制运用1远程购物2医学运用3遥感运用4教育运用5监测运用6基于视觉的控制3.4.2 MPEG-7 与 MPEG 系列其他规范的关系运用背景：MPEG-1用于多媒体和 VHS 质量的广播电视；MPEG-2用于常规数字电视和高明晰度电视；MPEG-4用于无线窄带可视通讯以及可视电视；从一个角度来看，MPEG-1、 MPEG-2和MPEG-4均涉及到视听信息的编码表示，在某种意义上，编码可看作是一种描画，因此MPEG-7与MPEG的其他规范有共同点另一方面，MPEG-7与其他规范相对独立，其目的是为信息时代的人们提供多媒体效力，

13、实现的关键在于建立多媒体数据库和相应的搜索引擎之间的接口共同遵照的原那么：只规定最后的数据格式，而不论采用何种方法获得这些数据格式3.5 MPEG-21 规范ISO/IEC 21000正式称号：多媒体框架Multimedia Framework。其制定任务于2000年6月开场。创建一个开放的多媒体传输和消费的框架，经过将不同的协议、规范和技术结合在一同，运用户可以经过现有的各种网络和设备透明地运用网络上的多媒体资源。MPEG-21 中的用户可以是任何个人、团体、组织、公司、政府和其它主体，在 MPEG-21 中，用户在数字项的运用上拥有本人的权益，包括用户出版/发行内容的维护、用户的运用权和用

14、户隐私权等。3.5 MPEG-21 规范Contd包括7个根本要素：数字项声明Digital Item Declaration，数字项识别和描画，内容处置和运用，知识产权管理和维护，终端和网络，内容表示，事件报告。数字项是 MPEG-21 框架中的根本单元，它由资源、原数据metadata和构造共同组成，是一个带有规范化的构造化数字对象。要素中的资源包括采用 MPEG-1、MPEG-2、MPEG-4 规范的多媒体信息。经过数字项的定义，MPEG-21 集成了 MPEG 系列的其它规范，因此 MPEG-21 是建立在其它规范的根底之上的。3.5 MPEG-21 规范Contd支持以下功能：内容创

15、建，内容消费，内容分配，内容的消费和运用，内容的分组，知识产权管理和维护，内容识别和描画，用户权限，终端和网络资源提取，内容表示和事件报告等。从商业内容和与内容相关效力的前景等角度开发同已有的其它 MPEG 系列规范等进展适当结合，从而运用户对视频、音频的处置更加方便和有效，最终为多媒体信息的用户在全球范围内提供透明而有效的视频通讯运用环境。MPEG-21 的出台可以将现有的规范一致同来，消费者将可以自在运用音视频内容而不被不兼容的格式、编解码器、媒体数据类型及诸如此类的东西所干扰。3.6 H.261 规范正式称号：P64Kb/sP=130视听业务的视频编解码器P1或2时，仅支持 QCIF 的

16、输入图像格式，用于帧频低的可视；P6时，支持 CIF 的输入图像格式的会议电视利用 CIF 格式，可使各国运用的不同制式的电视信号变换为通用中间格式，然后输入给编码器，从而使编码器本身思索信号是来自哪种制式的。中心：采用带有运动补偿的预测编码以及基于 DCT 的变换编码相结合的混合编码方法3.6 H.261 规范Contd3.6.1 视频编码器原理3.6.2 视频数据复用格式3.6.3 紧缩编码方式根本判决准那么：哪一种方式给出较小的编码比特，就采用这种方式。运动估计以1616像素的宏块为单位进展，搜索范围为15。采用全搜索的块匹配算法计算运动矢量。运用二维空域滤波器对88预测块内的像素进展操

17、作，可以改良预测过程。3.6.4 量化编码32个线性量化器一个用于帧内 DCT 变化的直流分量；其他31个用于交流分量。除帧内 DCT 的直流分量，一个宏块内运用同一个量化器。帧内直流分量是一个量化步长为8的线性量化器，其他31个量化器的量化步长为2，4，62。量化器的选择由编码控制器决议。DCT 变换后的88系数块中的各个系数按“之字型扫描，便于量化后编码。3.7 H.263 规范是ITU-T为低码率会议电视/可视系统制定的视频编码规范支持的输入图像格式：Sub-QCIF12896、QCIF、CIF、4CIF 或者 16CIF 的彩色 4:2:0 亚取样图像88 DCT变换宏块运用一样的量化

18、步长一个宏块运用一个运动矢量；或宏块的每个子块各运用一个运动矢量 块运动补偿才干，改善帧间预测采用半像素精度的运动补偿3.7 H.263 规范 Contd与H.261相比，添加的紧缩编码方式：1无限制的运动矢量方式2基于句法的算术编码方式3先进的预测方式4PB-帧方式3.8 H.263+ 和 H.263+ 规范H.263+ 允许更大范围的图像输入格式，自定义了图像的尺寸，从而拓宽了规范运用的范围，使之可以处置基于视窗的计算机图像、更高帧频的图像序列及宽屏图像。为提高紧缩效率：采用先进的帧内编码方式；加强的PB-帧方式改良了 H.263 的缺乏，加强了帧间预测的效果；去块效应滤波器不仅提高了紧缩

19、效率，且提供重建图像的客观质量。为顺应网络传输：添加了时间分级、信噪比和空间分级，对在噪声信道和存在大量包丧失的网络中传送视频信号很有意义。另外，片构造方式、参考帧选择方式加强了视频传输的抗误码才干。3.8 H.263+ 和 H.263+ 规范ContdH.263+ 在 H.263+ 根底上添加了3个选项，主要是为了加强码流在恶劣信道上的抗误码性能，同时也为了提高编码效率。 选项U：加强型参考帧选择；可以提供加强的编码效率和信道错误再生才干特别是在包丧失的情形下，需求设计多缓冲区用于存储多参考帧图像。选项V：数据分片；可以提供加强型的抗误码才干特别是在传输过程中本地数据被破坏的情况下，经过分流

20、视频码流中DCT的系数头和运动矢量数据，采用可逆编码方式维护运动矢量。选项W：在 H.263+ 的码流中添加补充信息，保证加强型的反向兼容性。3.9 H.264 规范概述由ITU-T的视频编码专家组VCEG与ISO/IEC的MPEG组成的结合视频任务组JVT共同制定的新一代视频紧缩编码规范。设计方案包含：视频编码层VCL和网络笼统层NAL。3.9 H.264 规范特点编码效率高对信道时延的顺应性较强在编/解码器中采用复杂度可分级设计，支持不同网络资源下的分级编码传输容错才干强网络的顺应性强3.9.1 H.264 的主要特性高编码效率1. 运动补偿预测1不同大小和外形的宏块分割2高精度的亚像素运

21、动预测3多参考帧的运动补偿4自顺应去方块效应滤波器5运动补偿预测的其他特性3.9.1 H.264 的主要特性高编码效率Contd2. 44 整数变换3. 基于空域预测的帧内编码4. 量化5. 基于上下文的熵编码3.9.1 H.264 的主要特性强容错才干和网络顺应性1. 参数集构造2. NAL 单元语法构造3. 灵敏的像条大小4. 灵敏的宏块排序FMO5. 恣意像条排序6. 冗余图像7. 数据分割3.9.2 H.264 的网络笼统层规范了视频数据的格式，包括单个字节的包头信息、多个字节的视频数据与组帧、逻辑信道信令、定时终了信号等。包头中包含存储标志和类型标志；存储标志用于指示当前数据不属于被参考的帧；类型标志用于指示图像数据的类型。3.9.2 H.264 的网络笼统层Contd支持的网络类型：任何运用 RTP/IP 协议的实时有线和无线 Internet 效力作为 MP4 文件存储和多媒体信息文件效力MPEG-2 系统其他网络3.9.3 H.264 的视频编码层1. 图像、帧和场2. YCbCr 颜色空间和4:2:0采样3. 宏块划分4. 像条和像条组5. 宏块的编/解码过程6. 自顺应帧/场编码操作3.9.3 H.264 的视频编码层Contd7