MPEG运动补偿算法.ppt

MTI XIDIAN 国际视频压缩标准简介 多媒体技术 第七讲 2 主要内容 视频压缩标准发展历史H 26X系列压缩标准简介MPEG系列压缩标准简介 3 视频压缩标准发展历史 ITU ISO IEC H 261 H 262 H 263H 263 H 264 MPEG1 MPEG2 MPEG4 Part2 MPEG7 MPEG21 MPEG4 Part10 4 视频压缩标准对比 5 视频压缩标准对比 续 6 视频压缩标准对比 续 7 视频压缩标准对比 续 8 视频压缩标准对比 续 9 视频压缩标准对比 续 10 MPEG 1视频压缩标准 MPEG 1标准号为ISO IEC11172 它由五部分组成 MPEG 1系统 MPEG 1Systems 规定视频数据 声音数据及其他相关数据的同步合成技术MPEG 1视频编码标准 MPEG 1Video MPEG 1音频编码标准 MPEG 1Audio MPEG 1一致性测试 详细说明如何测试比特数据流和解码器是否满足MPEG 1前3个部分 Part1 2和3 中所规定的要求 MPEG 1软件模拟 一个技术报告 给出了软件执行MPEG1前3个部分的运行结果 11 MPEG 1视频压缩标准 输入 输出指标 MPEG视频编码器 352 288 25 8 1 5 352 240 30 8 1 5 30Mb s 1 15Mb s 26 1 12 MPEG1视频压缩算法 运动补偿帧间预测 temporal DCT spatial 13 Frame1 14 Frame2 15 ResidualFrame 16 象素运动轨迹 17 Block basedMotionEstimationandCompensation 18 Block basedMotionEstimationandCompensation 19 16 16BlockSize 20 8 8BlockSize 21 4 4BlockSize 22 Sub pixelMotionEstimationandCompensation 子像素运动估值与补偿 23 Sub pixelMotionEstimationandCompensation 24 MPEG1视频编码器框架 25 MPEG1视频编码器框架 分块 26 MPEG1视频压缩算法 运动图像序列 图片组 GOP I B B P B B P 图片 条 Slice 宏块MacroBlock 16 16 块 Block 8 8 分割 27 MPEG1视频压缩算法 GOP的组成 一个内帧是一个随机访问点 B图像不能作为其它图像的参考帧 I 内帧P 单向预测帧B 双向预测帧 28 MPEG1视频压缩算法 为了在图像质量和数据速率之间作出调整 MPEG编码器允许 1 选择内帧I的频率和位置 2 选择I和P之间双向预测帧B的数目 29 MPEG1视频压缩算法 运动补偿技术在宏块一级工作 宏块分为四类 帧内宏块 简称I块前向预测宏块 简称F块后向预测宏块 简称B块平均宏块 简称A块I图像只包含I块 P图像只包含I块和F块 B图像可以包含4种类型的宏块 30 MPEG1视频压缩算法 I图像帧的压缩算法 在空间方向上 内帧 MPEG 1压缩采用JPEG压缩算法来去掉冗余信息 31 MPEG1视频压缩算法 P图像帧的压缩算法 对于P宏块 MPEG 1采用运动补偿帧间预测算法来去掉时间轴上的冗余信息 32 MPEG1视频压缩算法 运动矢量的概念 33 MPEG1视频压缩算法 基于块的运动矢量估值算法 块匹配法 34 MPEG1视频编码算法 块匹配法 BlockMatchingAlgorithm 需要解决两个关键问题 1 匹配准则 2 搜索算法 35 MPEG1视频编码算法 BMA中常用的匹配准则 绝对值 均方误差 平均绝对帧差 36 MPEG1视频编码算法 BMA常用搜索算法 二维对数搜索法 37 MPEG1视频编码算法 BMA常用搜索算法 三步搜索法 38 MPEG1视频编码算法 BMA常用搜索算法 对偶搜索法 39 MPEG1视频编码算法 B图像帧的压缩算法 40 41 MPEG 1音频压缩标准 输入 输出指标 MPEG音频编码器 32kHz 44 1kHz 48kHz 16位PCM 32kb s 384kb s 42 MPEG 1音频压缩算法 听觉系统的感知特性 听阈 频率曲线 43 MPEG 1音频压缩算法 听觉系统的感知特性 一个强纯音会掩蔽在其附近同时发声的弱纯音 这种特性称为频域掩蔽 也称同时掩蔽 44 MPEG 1音频压缩算法 听觉系统的感知特性 一个强纯音会掩蔽在其附近同时发声的弱纯音 这种特性称为频域掩蔽 也称同时掩蔽 在时间上相邻的声音之间也有掩蔽现象 称为时域掩蔽 时域掩蔽又分为超前掩蔽和滞后掩蔽 45 MPEG 1音频压缩算法 感知子带压缩算法 算法以心理声学模型为基础 主要利用了听觉阈值和听觉掩蔽特性 46 MPEG 1音频压缩算法 感知子带压缩算法 1 将音频信号用滤波器组分成32个子带 2 用FFT将子带变换到频率域3 根据心理声学模型估计各个子带的感知阈值4 根据对感知阈值的估计对各个子带进行比特分配和量化 MP3采用了与MP1 MP2不同的滤波器和心理声学模型 47 MPEG 1音频压缩算法 MPEG 1Audio层1和层2编码器和解码器的结构 48 MPEG 1音频压缩算法 MPEG 1Audio层3编码器和解码器的结构 49 H 261概述 H 261也称P 64 这是ITU T 前身为CCITT 最早制定的关于视频编码的国际标准 考虑到ISDN的传输码率以64kbps为单位 因此以p 64kbps p 1 30 作为为H 261的标准码率 H 261标准主要用于电视电话和电视会议 它支持QCIF p 1 2 CIF p 2 两种图像输入格式 50 H 261解决的问题 第一是编码算法问题 确立了一种合理的 保证图像质量且为各国图像编码专家所公认的统一的算法 算法必须能够实时操作 解码延时要短 第二是与PCM标准兼容的问题 编解码器以64 1920kb s的工作速率去覆盖N ISDN或PCM一次群的通道 第三 解决电视制式不同的问题 为了使同一标准既能用于PAL 625 和NTSC 525 两种电视制式系统 源编码基于中间格式CIF格式 所以输入输必须经转换到CIF或QCIF格式再进行源编码 51 视频编码图像格式一览表 52 H 261的信源编码框架 53 H 261的信源编码算法 一 将预测误差或输入图像划分成为8 8的象素块 进一步 将4个亮度像块和两个在空间位置上与之重叠的色差像块符合成一个16 16的宏块 MB 二 对于帧序列中的第一副图像或景物变换后的第一副图像 采用帧内变换编码 利用8 8的DCT实现 各DCT系数经过线性量化 变长编码后进入缓冲器 根据缓冲器的上溢和下溢 来反馈调节量化器的量化步长 以控制视频编码位流使之与信倒速率相匹配 54 H 261的信源编码算法 帧间预测采用混合方法 利用运动补偿预测 当预测误差超过某个门限后 对误差做DCT 视觉加权量化及熵编码 运动矢量信息编码后也送到缓冲器中 DCT去除空间冗余度 而使用有运动补偿的帧间预测来去除时间上的冗余 这是一个典型的帧内 帧间自适应预测加DCT变换的混合算法 55 H 261的图像复用编码 H 261源编码后进行图像复用编码 实际上是把比特流分成图像 Picture 像块组 GOB Groupofblocks 宏块 MB Macroblock 和像块 Block 并附加相应的信息 按照CIF格式 每帧CIF图像包含12个GOB 每个GOB包含33个MB 每个MB包含4个亮度数据块和各1个Cb Cr色度块 每个B包含8 8象素 56 H 261的图像复用编码 H 261数据流结构 57 H 261视频压缩算法 利用二维DCT减少图像的空间域的冗余度 利用运动补偿预测减少图像的时间域冗余度 利用视觉加权量化减少图像 灰度域 的冗余度 利用熵编码来减少图像的 频率域 的冗余度 58 H 261与MPEG 1的对比 59 MPEG 2通用视频压缩标准 MPEG 2的标准号为ISO IEC13818 它主要由以下几部分组成 MPEG 2系统 MPEG 1Systems MPEG 2视频编码标准 MPEG 2Video MPEG 2音频编码标准 MPEG 2Audio MPEG 2高级音频编码标准 MPEG 2AAC 与MPEG 1一样 MPEG 2只规定了码流结构和解码器算法规则 而把实际编码器模型向设计者开放 以提供更多的选择性和自由度 60 MPEG 2Video MPEG 2Video与MPEG 1的基本编码算法相同 只是增加了如下功能 1 能够在很宽的范围内对不同分辨率和不同输出比特率的图像信号有效的进行压缩 2 处理隔行扫描的视频信号的能力 3 多样化的取样模式 4 2 0 4 2 2 4 4 4 4 可伸缩 Scalable 的视频编码模式 编码时可以在图像质量和数据速率之间作出调整 解码时只对码流的一部分进行解码和对码流的全部进行解码能够分别获得不同质量的重建图像 61 可伸缩性编码模式 1 信噪比伸缩性 Signal to NoiseScalability 2 空间分辨率伸缩性 SpatialScalability 3 时间分辨率伸缩性 TemporalScalability 62 MPEG 2Video 为了适应不同应用的需要 MPEG 2引入了配置 profiles 和等级 levels 的概念 每种配置定义一套新的算法 而每一个等级指定一套参数范围 如图像大小 帧速率和位速率 63 MPEG 2Video MPEG 2的配置 64 MPEG 2Video MPEG 2的等级 65 MPEG 2Video MPEG 2的配置与等级的组合 66 MPEG 2Audio MPEG 2标准委员会定义了两种声音数据压缩格式 1 MPEG 2Audio 或者称为MPEG 2多通道 Multichannel 声音 它与MPEG 1Audio是兼容的 所以又称为MPEG 2BC BackwardCompatible 2 另一种称为MPEG 2AAC AdvancedAudioCoding 因为它与MPEG 1声音格式不兼容 因此通常称为非后向兼容MPEG 2NBC Non Backward Compatible 标准 67 MPEG 2BCAudio 1 增加了16kHz 22 05kHz和24kHz采样频率 2 扩展了编码器的输出速率范围 由32 384kb s扩展到8 640kb s 3 增加了声道数 支持5 1声道和7 1声道的环绕声 4 MPEG 2还支持LinearPCM 线性PCM 和DolbyAC 3 AudioCodeNumber3 编码 MPEG 2BCAudio和MPEG 1Audio标准都使用相同种类的编译码器 层 1 2和 3的结构也相同 MPEG 2声音标准与MPEG 1标准相比 MPEG 2做了如下扩充 68 MPEG 2AAC AAC支持的采用频率可从8kHz到96kHz AAC编码器的音源可以是单声道的 立体声的和多声道的声音 AAC标准可支持48个主声道 16个低频音效加强通道LFE lowfrequencyeffects 16个配音声道 overdubchannel 或者叫做多语言声道 multilingualchannel 和16个数据流 MPEG 2AAC在压缩比为11 1 即每个声道的数据率为 44 1 16 11 64kb s 而5个声道的总数据率为320kb s的情况下 很难区分还原后的声音与原始声音之间的差别 与MPEG的层2相比 MPEG 2AAC的压缩率可提高1倍 而且质量更高 与MPEG的层3相比 在质量相同的条件下数据率是它的70 69 H 262标准 ITU T于1990年成立了 ATM视频编码专家组 负责制定适用于B ISDN信道ATM编码传输标准 该专家组于1993年11月与ISO的MPEG专家组联合提出了H 262建议草案 MPEG 2 用于数字存储介质和数字视频通信中图像信息的编码表示和解码规定 该标准向下兼容 能够在很宽的范围内对不同分辨率和不同输出比特的图像信号有效的进行压缩 70 H 263 H 263 H 264 这些标准的编解码框架与H 261和MPEG 1类似 也是基于混合编码的方案 只是做了如下改进以大幅度降低码率 1 先进的帧内编码技术2 灵活的运动补偿技术 1 匹配块尺寸可变 16 16 16 8 8 16 8 8 8 4