h.264演示文稿.ppt.ppt

h 264视频编码标准 提纲 1视频压缩编码技术2编码基本原理3h 26x视频编码标准4h 264 avc 1 1 视频压缩编码技术 根据采用的信源模型分 基于波形的编码把预测编码 变换编码组合起来的基于块的混合编码方法itu t发布的第一个数字视频标准h 261 h 263 h 264 及mpeg 1 mpeg 2 mpeg4基于内容的编码先把视频帧分成对应于不同物体的区域 然后分别对其进行编码 mpeg 4 2 2 编码基本原理 1 预测编码 取像素预测值与实际值之差 同一幅图像的邻近像素之间有着相关性 发生突变的概率很小 且同帧图像中邻近行之间对应位置的像素之间也有较强相关性 帧内预测编码帧间预测编码2 变换编码dct变换3 熵编码变长编码 哈夫曼编码 算术编码 3 3 h 26x视频编码标准 1 h 2612 h 263 4 3 1 h 261 h 261是itu t为在综合业务数字网 isdn 上开展双向声像业务 可视电话 视频会议 而制定的 速率为64kb s的整数倍 h 261只对cif 公共中间层 和qcif两种图像格式进行处理 发送方先把彩电制式转换成cif格式 经h 261编码后 再由cif格式转换到接收方彩电制式 cif 352x288 progressive 4 2 0 qcif 176x144 progressive 4 2 0每帧图像分成图像层 宏块组 gob 层 宏块 mb 层 块 block 层来处理 5 详细制定了视频编码的各个部分 运动补偿的帧间预测 dct变换 量化 熵编码 以及与固定速率的信道相适配的速率控制等 6 3 2 h 263 h 263是最早用于低码率视频编码的itu t标准 h 263是itu t为低于64kb s的窄带通信信道制定的视频编码标准 它是在h 261基础上发展起来的 其标准输入图像格式可以是s qcif qcif cif 4cif或者16cif的彩色4 2 0亚取样图像 h 263与h 261相比采用了半象素的运动补偿 并增加了4种有效的压缩编码模式 7 4 h 264 avc 简介编解码名词解释编码格式编码基本原理应用 8 4 1简介 h 264是itu t的视频编码专家组 vceg 和iso iec的活动图像编码专家组 mpeg 的联合视频组 jvt jointvideoteam 开发的一个新的数字视频编码标准 它既是itu t的h 264 又是iso iec的mpeg 4的第10部分 9 h 264用大运算量来换取高压缩率 高画质超高压缩率 其压缩率为mpeg 2的2倍以上 mpeg 4的1 5至2倍 h 264才标准化 运算顺序还有改善的空间 10 4 2编解码 规定了一个编了码的视频比特流的句法 和该比特流的解码方法 编解码器和基于以前标准的编解码器主要不同在于功能细节 视频内容的变化 有时空间细节很多 有时大面积平坦 采用自适应技术 信道在环境恶劣下多变 要求采取相应自适应方法来对抗 11 4 2 1编码器 功能块组成并没有什么区别 12 采用变换与预测的混合编码方法 输入的帧或场fn以宏块为单位处理按帧内或帧间预测方法处理如果采用帧内预测编码 其预测值由当前片中已编码的参考图象经运动补偿 mc 后得出 13 1 预测值pred和当前块相减后 产生一个残差块dn 经块变换 量化后产生一组量化后的变换系数x 再经熵编码 与解码所需的一些边信息一起组成一个压缩后的码流 经nal供传输和使用 2 实现重建图像功能 使残差图像经反量化 反变换后得到的dn 与预测p相加 得到ufn 再经环路滤波器去除编码解码环节中产生的噪声 滤波后输出fn 即为重建图像 可用作参考图像 14 4 2 2解码器 15 帧间预测解码步骤由编码器nal输出的压缩后比特流 经熵解码得到量化后的一组变换系数x 再经反量化 反变换得到残差dn f n 1经mc后得到pred 与编码器中的相同 dn 与pred相加产生ufu 再经滤波得到重建图像 16 4 3名词解释 片一个视频图像可编码成一个或多个片 每片包含整数个宏块 mb 设片的目的是为了限制误码的扩散与传输 故相互间应保持独立 片组 是一个编码图像若干个mb的一个子集 可包含一个或若干个片 一个片组中 每片的mb按光栅扫描次序进行编码 还有一种片组 叫灵活的宏块排序 fmo 是指将一幅图像中的宏块分成几个组 分别独立编码 通过设置宏块次序映射表 mbamap 来任意地指配宏块到不同的片组 17 档次和级 基本档次利用i片和p片支持帧内和帧间编码 支持利用基于上下文的自适应的变长编码进行的熵编码 cavlc 主要用于可视电话 会议电视 无线通信等实时视频通信 主要档次支持隔行视频 采用b片的帧间编码和采用加权预测的帧内编码 支持利用基于上下文的自适应的算术编码 cabac 主要用于数字广播电视与数字视频存储 扩展档次支持码流之间有效的切换 sp和si片 改进误码性能 数据分割 但不支持隔行视频和cabac 主要应用于流媒体中 18 19 扩展档次 基本档次 主要档次 冗余片方法前边提到了当使用无反馈的系统时 就不能使用参考帧选择的方法来进行错误恢复 应该在编码时增加冗余的片来增强抗误码性能 20 数据分割dp组成片的编码数据存放在3个独立的dp中 分割a 片头和片中每个宏块头的数据分割b 帧内和si片宏块的编码残差数据分割c 帧间宏块的编码残差数据 21 4 4编码格式 视频编码层 vcl 负责高效的视频内容表示vcl数据即编码处理后的输出 它表示被压缩编码后的视频数据序列网络提取层 nal 在vcl数据传输或存储之前 这些编码的vcl数据先被映射或封装进nal单元中 22 23 4 4 1网络提取层 nal nal以nalu为单元来支持编码数据在基于分组交换技术网络中的传输 网络层和传输层的rtp封装只针对基于nal单元本地nal接口 分组网络中 每个nal单元以独立的分组传输 在解码之前重新排序 电路交换环境中 传输之前须在每个nal单元之前加上起始前缀码 使解码器能够找出nal单元的起始位置 24 nal头 nalu类型 用 bit代表nalu中32种不同类型特征 用于重构过程中标记一个nal单元的重要性 如为 时表示此nalu没有用于预测 高于 表示用于无漂移重构 且值越高 丢失此nalu的影响越大 bit 用于适应不同种类的网络环境 默认为 当网络识别到单元中存在比特错误时置为 bit 25 rbsp序列sps 序列参数集 针对一连续视频序列的参数 sei 序列增强信息 pps 图像参数集 对应一个序列中某幅或几幅图像图像定界符 视频图像的边界 poc 图像序列号 标识图像的播放顺序 26 4 5特征 帧内预测帧间预测整数变换熵编码sp si片 27 28 4 5 1帧内预测 帧内预测编码就是用周围邻近的象素值来预测当前的象素值 然后对预测误差进行编码 对i帧的编码是利用空间相关性而非时间相关性而实现的 预测块 是基于已编码重建块和当前块形成的 编码模式对于亮度分量 块的大小可以在16 16和4 4之间选择 16 16块有4种预测模式 4 4块有9种预测模式 对于色度分量 预测是对整个8 8块进行的 有4种预测模式 类似于16 16亮度块预测模式 29 i pcm编码模式 编码器直接传输图像像素值 而不经过预测和变换 允许编码器精确地表示像素值提供表示不规则图像内容的准确值 而不引起重大的数据量增加 严格限制宏块解码比特数 但不损害编码效率参考预测块左上方或上方的已编码块的邻近像素点 被引入空间域 30 4 4亮度预测模式 31 九种模式 32 33 帧内预测模式信号化帧内预测以绝对误差和 sae 为标准选取最佳预测模式 传送预测模式给解码器 34 4 5 2帧间预测 仍旧使用运动估计和运动补偿消除时间冗余 预测时所用块的大小可变 从16 16到 由于基于块的运动模型假设块内的所有象素都做了相同的平移 在运动比较剧烈时或者在运动物体的边缘处 这一假设会与实际出入较大 从而导致较大的预测误差 这时减小块的大小可以使假设在小的块中依然成立 小的块所造成的块效应相对也小 一般来说小的块可以提高预测的效果 35 36 h 264一共采用了7种方式对一个宏块进行分割 每种方式下块的大小和形状都不相同 这就使编码器可以根据图像的内容选择最好的预测模式 37 与仅使用16 16块进行预测相比 可以使码率降低15 以上 大的分割尺寸适合于平坦区域 小尺寸适合于多细节区域 亚像素运动矢量的使用 更精细的预测精度 运动矢量由于活动图像邻近帧中景物存在一定的相关性 可将其分成若干块或宏块 并设法搜索出每个块或宏块在邻近帧图像中的位置 得出两者的空间位置相对偏移量 38 在h 264中 亮度分量的运动矢量使用1 4像素精度 色度分量为1 8像素精度 亚像素位置的亮度和色度像素并不存在于参考图像中 需利用邻近已编码点进行内插而得 如此精细的预测精度 较之整数精度可以使码率降低20 以上 39 40 多参考帧h 264编码标准与以往标准的最大不同 在运动估计中采用多参考预测帧来提高预测精度 h 264支持多参考帧预测 最多5个 这适用于视频序列中含有周期性运动的情况 较之只使用一个参考帧 使用5个参考帧可以使码率降低5 10 41 42 去块效应滤波器其作用是消除经反量化和反变换后重建图像中由于预测误差产生的块效应 即块边缘处的象素值跳变 基于块的帧内和帧间预测残差的dct变换的系数量化过程相对粗糙 因而反量化过程恢复的变换系数带有误差 运动补偿预测中的运动补偿块可能是从不同帧的不同位置上的内插点数据复制而来 运动补偿块的匹配不可能是绝对准确的 43 分类后置滤波器只处理编码环路外显示缓冲区的数据 环路滤波器处理编码环路中的数据 经过滤波后的图像将根据需要放在缓存中用于帧间预测 注意 对于帧内预测 使用的是未经过滤波的重建图像 h 264中的去块效应滤波器能够根据图像内容做出判断 只对由于块效应产生的象素值跳变进行平滑 而对图像中物体边缘处的象素值不连续给予保留 以免造成边缘模糊 44 4 5 3整数变换 h 264对帧内或帧间预测的残差进行离散余弦变换dct编码 并改变为近似的整数变换 如把dct正交变换时用的系数1 0 414变成2 1 cos 8 cos 8 2变成1 5 1 2 1 5 45 优势使原来必须用浮点运算进行的余弦函数运算 可用整数运算进行 还削减了系数的种类 使运算量减少 变换的单位是4 4块 而不是以往常用8 8块 有助于减小块效应 46 4 5 4熵编码 对于片层以上的数据 h 264采用exp golomb码 而对于片层 含 以下的数据 如果是残差 h 264有两种熵编码方式 基于上下文的自适应变长码 cavlc 和基于上下文的自适应二进制算术编码 cabac 如果不是残差 h 264采用exp golomb码或cabac编码 视编码器的设置而定 47 cavlc 在cavlc中 h 264采用若干vlc码表 不同的码表对应不同的概率模型 编码器能够根据上下文 如周围块的非零系数或系数的绝对值大小 在这些码表中自动地选择 尽可能地与当前数据的概率模型匹配 从而实现上下文自适应的功能 48 cabac 算术编码是一种高效的熵编码方案 其每个符号所对应的码长被认为是分数 在cabac中 每编码一个二进制符号 编码器就会自动调整对信源概率模型 一个 状态 的估计 随后的二进制符号就在这个新的概率模型基础上进行编码 与cavlc编码中预先设定好若干概率模型的方法相比 码率降低大约10 49 4 5 5sp si帧 sp编码原理和p类似 仍是基于帧间预测的运动补偿预测编码与p的差异在于sp帧能够参照不同参考帧重构出相同的图像帧 sisi则是基于帧内预测的编码技术 其重构图像的方法和sp完全相同 50 应用 1 流间切换视频服务器应该可根据网络条件调整编码码率 实现带宽的自适应性 sp片的主要目的便是用于不同码流的切换问题 设切换前传输码流中最后一帧为p1 n 1 切换后的目标码流第一帧为p2 n 1 假设是p帧 由于p2 n 1的参考帧不存在 直接切换显然会导致严重失真 而且这种失真会向后传递 一种简单的解决方法就是传输帧内编码的p2 但是一般i帧的数据量很大 这种方法会造成传输码率陡然增大 51 52 视频流明确的切换点处放置主sp帧 在切换时发送与其相对应的辅sp帧 2 拼接与随机接入当各码流来自不同的信源 帧间缺乏相关性时 切换点处采用帧内预测的si帧 53 3 错误恢复采用不同的参考帧预测 可以获得同一帧的多个sp帧 利用这种特性可以增强错误恢复能力 54 4 6h 264的应用场合 应用场合1 对话应用 如视频电话和