视频压缩标准.ppt

第4章视频压缩标准 4 1JPEG标准4 2H 261标准4 3MPEG标准简介4 4MPEG 2视频4 5MPEG 2系统4 6MPEG 4 4 1JPEG标准 4 1 1JPEG标准简介 JPEG JointPhotographicExpertsGroup 是联合照片 静止 图像专家组的英文缩写 JPEG标准包括两种基本压缩方法 1 有损压缩方法 它是以DCT变换为基础的压缩方法 其压缩比较高 是JPEG标准的基础 2 无损压缩方法 又称预测压缩方法 是以二维DPCM为基础的压缩方式 解码后能完全精确地恢复原图像采样值 其压缩比低于有损压缩方法 JPEG标准还包括多种工作模式 1 顺序模式 2 累进模式 3 分级模式 4 1 2JPEG压缩编码算法基于DCT的JPEG编解码原理框图如图4 1所示 图4 1JPEG编解码原理框图 1 DCT变换 输入端把原始图像分成8 8像素块 Block 之后送入DCT变换器 目的是去除图像数据的空间冗余 2 量化 利用人眼的视觉特性设计量化表 3 之字形扫描 在编码之前 需要把二维的变换系数矩阵转换为一维序列 4 可变长熵编码 为了消除码字中的统计冗余 采用可变长熵编码 具体的编码方法如下 1 首先对系数序列分组 把每个非零系数和它前面相邻的全部零系数分在一组内 将每一组用两个符号表示为 符号1 符号2 相应的交流系数 ACCoefficient 组表示成 Run Size Amplitude 3 对每个符号组进行编码 4 1 3编码举例 4 2H 261标准 H 261标准主要应用在综合业务数字网ISDN上传输电视电话会议等低码率的多媒体领域 1990年12月国际电报电话咨询委员会 CCITT 通过了H 261建议书 即 采用p 64kbit s的声像业务的图像编解码 其中p 1 2 32 4 2 1图像格式 H 261与H 263的图像格式如表4 13所示 其中 CIF CommonIntermediateFormat 为通用中间格式 QCIF QuarterCIF 为1 4通用中间格式 SQCIF为扩展的通用中间格式 4CIF为4倍的通用中间格式 16CIF为16倍的通用中间格式 4 2 2H 261编码器 在H 261算法中 不仅使用了JPEG算法中的帧内压缩 还使用了帧间预测和运动补偿技术 下面简单介绍H 261编码算法 H 261编码器框图如图4 3所示 图4 3H 261编码器框图 4 3MPEG标准简介 MPEG MovingPictureExpertsGroup 是ISO和IEC两个国际组织的联合技术委员会 JTCI 领导下的运动图像专家组的英文缩写 4 3 1MPEG 1 MPEG专家组于1992年制定了MPEG 1标准 标准的文件编号为ISO IEC11172 MPEG 1主要包括三个部分 第一部分系统 ISO IEC11172 1 是关于数字视频 数字音频和辅助数据等多路压缩数据流复用和同步的规定 第二部分视频 ISO IEC11172 2 是关于位速率约为1 5Mbit s的视频信号的压缩编码的规定 第三部分音频 ISO IEC11172 3 是关于每通道位速率为64kbit s 128kbit s和192kbit s的数字音频信号的压缩编码的规定 MPEG 1标准的目标主要包括以下几方面 1 在图像和声音的质量上必须高于可视电话和会议电视的声像质量 至少应达到VHS家用录像机的声像质量 2 压缩后的数码率应能存储在光盘 数字录音带DAT或可写磁光盘等媒体中 3 压缩后的码率应与目前的计算机网络传输码率相适配 为1 2 1 5Mbit s 4 在通信网络上能适应多种通信网络的传输 4 3 2MPEG 2 MPEG 2是由ISO IEC的MPEG专家组与ITU T 国际电信联盟电信标准化部门 的ATV的图像编码专家组共同开发的 所以MPEG 2标准也是ITU T的建议 1 MPEG 2的组成 MPEG 2分为许多个部分 其中主要有三个部分 第一部分系统 ISO IEC13818 1 是关于多路音频 视频和数据的复用和同步的规定 第二部分视频 ISO IEC13818 2 主要涉及各种比特率的数字视频压缩编解码的规定 第三部分音频 ISO IEC13818 3 扩充了MPEG 1的音频标准 使之成为多通道音频编码系统 可达到的环绕声5 1声道 2 兼容性 MPEG 2以空间和时间可分级方法提供空间和时间不同分辨率视频格式之间的兼容 3 MPEG 1与MPEG 2的区别 在许多情况下 MPEG 2表示成MPEG 1的一个超集 4 MPEG 2的应用 MPEG 2已广泛应用于DVD SDTV和HDTV中 4 4MPEG 2视频 4 4 1MPEG 2的型和级 MPEG 2标准支持不同性能和不同复杂性的解码器 覆盖广泛的应用范围 充分考虑了各种应用的不同要求 有较强的通用性 MPEG 2还规定了不同的压缩处理方法 称为型 Profile 1 级 Level 级表示MPEG 2编码器输入端的信源图像格式 1 低级 LowLevel LL LL级对应的输入信源格式是CIF格式 约是601标准中的信源格式的1 4 即352 248 30或352 288 25 相应编码的最大输出码率为4Mbit s 2 主级 MainLevel ML ML对应于ITU R601建议的信源格式 即720 480 29 97或720 576 25 最大允许输出码率为15Mbit s 其高型的码率是20Mbit s 3 高H 1440级 High 1440Level H 1440属于高清晰度发展道路上的准高清晰度级 没有得到实际应用 4 高级 HighLevel HL HL对应高清晰度电视的信源格式 即1920 1080 30或1920 1152 25 最大输出码率为80Mbit s 其高型的码率是100Mbit s 2 型 Profile 1 简单型 SimplePro 2 主型 MainPro 3 信杂比可分级型SNR SNRScalable 4 空间可分级型 SpatialScalablePro 5 高型 HighPro 6 4 2 2型 4 2 2Profile 7 多视点型 MulitiviewPro 4 4 2视频结构 1 视频序列 视频序列也称图像序列 它是随机选取节目的一个基本单元 2 图像组 图像组是将一个图像序列中连续的几个图像组成一个小组 简称为GOP 3 图像 图像是一个独立的显示单元 也是图像编码的基本单元 可分为I P和B三种编码图像 4 像条 像条是发生误码且不可纠正时 数据重新获得同步 从而能正常解码的基本单元 5 宏块 宏块是运动预测的基本单元 运动估计以宏块为单位 借此得到最佳匹配宏块的运动矢量 运动预测只对亮度阵列进行 对应的色差阵列其运动估计使用和亮度阵列相同的运动矢量 6 块 像块 块或称像块 是DCT变换的基本单元 4 4 3图像压缩编码 MPEG算法达到了很高的压缩比 但仍保持了很好的图像质量 单靠帧内编码是不可能达到的 在MPEG压缩编码中 主要通过DCT变换和运动预测技术来压缩空间冗余和时间冗余 在MPEG 2压缩编码算法中 不仅包括了JPEG算法中的DCT 自适应量化和熵编码等一系列帧内编码方法 更重要的是利用了帧间运动补偿技术 1 I P和B编码图像 1 帧内编码图像 IntraPicture 2 前向预测编码图像 PredicatedPicture 3 双向预测编码图像 BidrectionalPicture 2 编码原理 1 帧重排 2 当输入的第一帧作为I帧图像进入图4 8所示的编码器中时 开关K1 K2和K4在上方 K3在左方 3 当P4作为P帧进入编码器时 开关K1 K2和K4切换到下方 K3还在左方 图4 8MPEG 2压缩编码原理框图 4 当B2作为B帧进入编码器时 开关K1在下方 K2在上方 K3在右方 K4在中间 3 图像组 GroupofPictures GOP 在图4 9所示的图像序列中 每12帧中包含1个I帧 3个P帧和8个B帧 称为一个图像组 GOP 图4 9图像序列原始顺序 4 4 4视频基本码流结构 经过编码器编码后 6个视频层次构成的编码视频码流称为视频基本码流 ES 图4 11所示为简化的基本码流结构图 图4 11视频基本码流结构 1 在视频序列层中 一个编码的视频序列由一个序列信头开始 后面跟随一个图像组头 然后是由许多图像 I P和B 组成的一系列GOP 视频序列结束于一个序列终止码 2 在图像组层中 GOP头中给出了时间码和紧跟在I幀后面的B图像的预测特性等信息 3 在图像层中 图像头中给出了时间参考信息 图像编码类型和VBV 视频缓存校验器 延时等信息 4 在像条层中 像条头中给出了像条垂直位置 量化因子码等信息 5 在宏块层中 其中的宏块类型码中给出了宏块属性 运动矢量 6 最后一层是块层 给出了其DCT系数 4 4 5MPEG 2的可分级编码分级 Scalability 编码使原本一体的码流呈现一种分级结构 使其中的部分码流可单独解码 从而可得到不同的分辨率和所需的码率 可分级编解码的意义在于其码流的独立分层及可分层叠加 从而使该码流适应不同环境的传输信道和不同用户需求的能力大大增加 MPEG 2中的可分级编解码主要包括以下几种 空间分级 SpatialScalability 时间分级 TemporalScalability SNR分级 SNRScalability 和数据划分 DataPartitioning 等 1 空间可分级 2 SNR可分级 SNRScalability 1 底层编码 底层的编码在帧内 帧间判决 自适应量化和缓存调整方面和不分级编码类似 2 增强层编码 在增强层编码中 首先对底层输出的量化后的DCT系数进行反量化 然后用未量化的DCT系数和反量化后的DCT系数相减求差值 得到修正系数 3 时间可分级 TemporalScalability 4 混合可分级性 混合可分级性 HybridScalability 是空间 SNR和时间可分级的混合 产生两个以上的视频层 以支持更多需求的应用 下面介绍混合可分级在数字电视领域中的应用 1 空间和SNR混合可分级的应用 2 空间和时间混合可分级的应用 3 时间和SNR可分级的应用 5 数据划分 在信道和发射功率受到限制时 往往希望能够在比较差的条件下收到质量略差些的图像 而不致于根本没有图像 4 4 6MPEG 2解码 MPEG 2解码是MPEG 2编码处理的逆过程 从编码比特流中重建图像帧 MPEG 2解码框图如图4 17所示 图4 17MPEG 2解码框图 4 5MPEG 2系统 4 5 1系统复用 复用器是整个系统的关键设备之一 它接收从前端编码器来的视频 音频数据流 按照一定的复用规范将其交织复用成符合MPEG 2系统层规范的单一的系统码流 1 单路节目的视 音频数据流的系统复用单路节目的视 音频数据流的系统复用框图如图4 18所示 图4 18简化的MPEG 2系统复用框图 按照ISO IEC13818 2和ISO IEC13818 3标准对视频和音频信号进行压缩编码后的码流称为基本数据流 ElementaryStream ES 4 5 2PES和TS流分析 1 打包基本码流 PaketizedElementaryStream PES 3 节目流 ProgramStream PS 4 传送流 TransportStream TS TS包的结构如图4 20所示 图4 20TS包的结构图 4 5 3多路节目双层复用系统如果在一个电视频道内复用几路TS流 也即在一个常规频道内传输多套数字电视节目 则称为多路节目的双层复用 多路节目的双层复用系统框图如图4 21所示 第一层复用称为节目复用 ProgramMultiplex 第二层复用称为传输复用 TransportMultiplex 其中 节目复用有共同的时间基准 传输复用时彼此可以有独立的时间基准 图4 21多路节目的双层复用系统框图 4 5 4节目专用信息 PSI PSI信息主要由以下几种类型的表构成 1 节目关联表 ProgramAssociationTable PAT 2 节目映射表 ProgramMapTable PMT 3 条件接收表 ConditionalAccessTable CAT 4 网络信息表 NetworkInformationTable NIT 5 传送流描述表 TransportStreamDescriptionTable TSDT 6 专用段 Private section 7 描述符 Descripter 4 5 5码率控制 1 CBR编码复用方式 CBR编码复用方式如图4 23所示 图4 23CBR编码复用方式框图 通常码率控制的方法有以下几种 1 控制缓存器充盈度的方法 这是一种利用调节量化系数来控制缓冲器充盈度的方法 由于是从总比特数出发 其控制能力较弱 在图像的复杂度变化较大时会引起图像质量较大的起伏 2 预分配法 一般来说 一个图像序列中各图像的内容比较接近 复杂度相当 因而对同一类型的图像其编码比特数应当相差不大 3 TestModel5 TM5 码率控制 MPEG 2给出了TM5码率控制策略 主要分为以下三个步骤 第一步为比特分配 以图像组为单元对其中的每一个图像按其类型分配比特数 第二步为码率控制 第三步为自适应量化调整 2 VBR编码复用方式 在VBR编码中 量化系数是固定的 这样可以使各路图像质量相当 1 帧平移统计复用 MPEG编码的码流具有明显的伪周期性 以GOP为周期存在较大的尖峰 在每个GOP中按P帧的间隔出现较小的峰值 2 基于率失真理论的联合码率控制 联合码率控制在保证信道中传输恒定速率比特流的前提下 允许各业务信源以变速率码流编码 以适应不断变化的信源需求 4 6MPEG 4 4 6 1MPEG 4概述 1 MPEG 4的特点 MPEG 4标准的主要特征是采用了基于对象 Object Based 编码等的第二代编码技术 MPEG 4可以对不同来源的视 音频对象进行合成 基于对象的分级功能是MPEG 4提供的又一个新功能 同时兼容于MEPG 2标准中的图像分级功能 MPEG 4的编码具有鲁棒性和纠错功能 从而保证在易出错的通信环境下实现安全的低码率编码和传输 这包含三个方面 再同步 Resynchronization 数据恢复 DataRecovery 和错误隐藏 ErrorConcealment 2 MPEG 4的主要应用 MPEG 4标准的目标是多媒体的多领域应用 它为不同应用定义了编解码器和码流的不同类 Profile 和级 Level 从而支持各种码率 5kbit s到4Mbit s 格式 逐行和隔行 和分辨率 QCIF到HDTV 3 MPEG 4的主要内容 MPEG 4的第一版主要包括系统 视频 音频和多媒体传送集成框架 DMIF 等部分 随着技术的发展 MPEG 4的内容也不断充实和改进 4 6 2MPEG 4系统 系统部分主要包括以下内容 1 系统解码器模型 这是每一个系统都应该有的特殊模型 2 场景描述 ScenceDescription 它是用来说明根据AV对象的时间和空间属性如何有效地将它们组织起来的 4 基本码流同步层 SL 它是将基本码流数据打包成AU单元 访问单元 的语法 打包中附加了时间和同步信息 接收时从SL中提取时间信息能够使解码同步 并将基本流数据合成 5 基本码流的多路合成系统中有两层复用 传输复用 TransMux 和MPEG 4复用 FlexMux 4 6 3M