多媒体技术H.265

对对 H 265 编码技术的研究总结编码技术的研究总结 一 背景介绍一 背景介绍 HEVC 英文全称 High Efficiency Video Coding 高效率视频编码 又称 H 265 和 MPEG H Part 2 是一种旨在通过更高速度和容量提升视频编码效率的视频压缩标准 首款 H 265 编解码器于 2012 年 8 月 由爱立信公司推出 六个月之后的 2013 年 2 月 国际电联 ITU 正式批准通过了 HEVC H 265 标准 标准全称为高效视频编码 High Efficiency Video Coding 相较于之前的 H 264 标准有了相当大的改善 中国华为公司拥 有最多的核心专利 是该标准的主导者 H 265 旨在 在带宽有限的环境下传输更高质量的网络视频 只需要先前的一半带宽 即 可播放质量近乎相同的视频 这也意味着人们手中常用的移动设备将可以直接通过网络在 线播放全高清 1080P 视频 H 265 标准也支持在 CES2013 上推出 的 4K 4 096 2 160 和 8K 8 192 4 320 超高清分辨率视频 从另一个层面来看 H 265 标准让在线视频跟上了显示屏 不断 高分辨率化 的脚步 二 二 H 265H 265 与与 H 264H 264 随着终端处理能力以及人们对多媒体体验要求的不断提高 高清 3D 无线移动已经 成为视频应用的主流趋势 数字视屏的应用格式从 720p 到 1080p 数字视屏帧率从 30fp 到 60fp 这将导致宏块个数的爆发式增加 宏块内容复杂度降低 运动矢量幅值的大幅度 增加 H 264 编码标准将难以满足应对高清 超高清视频应用 H 265 主要表现出的新特点有 2 1 灵活的编码结构灵活的编码结构 H 265 扩充到 32 32 64 64 甚至于 128 128 的变换和量化算法 用于大大减少 H 264 中 变换和相邻块间的相似系数 采用了更加灵活的编码结构来提高编码效率 包括编码单元 Coding Unit 预测单元 Predict Unit 和变换单元 Transform Unit 2 2 灵活的块结构灵活的块结构 RQT Residual Quad tree Transform RQT 是一种自适应的变换技术 这种思想是对 H 264 AVC 中 ABT Adaptive Block size Transform 技术的延伸和扩展 对于帧间编码来说 它允许变换块的大小根据运动补 偿块的大小进行自适应的调整 对于帧内编码来说 它允许变换块的大小根据帧内预测残 差的特性进行自适应的调整 大块的变换相对于小块的变换 一方面能够提供更好的能量 集中效果 并能在量化后保存更多的图像细节 但是另一方面在量化后却会带来更多的振 铃效应 因此 根据当前块信号的特性 自适应的选择变换块大小可以得到能量集中 细 节保留程度以及图像的振铃效应三者最优的折中 2 3 自适应环路滤波自适应环路滤波 Adaptive Loop Filter ALF 在编解码环路内 位于 SAO 和 Deblock 之后 用来恢复重构图像以使重构图像与原 始图像之间的均方误差值 MSE 达到最小 ALF 的系数是在帧级进行计算和传输的 能够在整 幅帧中应用 ALF 也可以对基于块的部分区域进行 ALF 2 4 并行化运算设计并行化运算设计 目前 芯片架构已经从简单的单核向着多核并行方向发展 所以为了实现能够适应并行化 程度较高的芯片 H 265 标准采用了许多并行运算的改进方法 比如 Tile Entropy Slice WPP Wavefront Parallel Processing 进一步地提高编解码器的并行处理能力 2 5 对对 H 264 标准中已有特点进行的优化标准中已有特点进行的优化 相对于 H 264 来说 H 265 标准较大幅度地提升了算法复杂性 以此取得更好的压缩性 能 H 265 标准在很多方面上做了较大程度的优化 在亮度 Intra 预测 色度 Intra 预测 MVP 预测方法等方面都做出了优化 三 三 H 265H 265 变换技术变换技术 3 1 基于四叉树结构的编码分割基于四叉树结构的编码分割 在 H 265 标准中 将宏块的大小从 H 264 时的 16 16 扩展至 64 64 目的在于减少高清 数字视频的宏块个数 减少用于描述宏块内容的参数信息 以便于压缩高分辨率的视频 同时 为 了显著提升编码效率 利用了更加灵活方便的编码结构 包括变换单元 Transform Unit 预测 单元 Predict Unit 和编码单元 Coding Unit 其中 CU 类似于 H 264 AVC 中的宏块或子宏块 每个 CU 均为 2Nx2N 的像素块 为 2 的幂次方 是 HEVC 编码的基本单元 目前可变范围为 64x64 至 8x8 图像首先以最 大编 码单元 LCU 如 64x64 块 为单位进行编码 在 LCU 内部 按照四叉树结构进行子块划 分 直至成为最小编码单元 SCU 如 8x8 块 为止 LCU 的树形结构示意图 对于每个 CU HEVC 使用预测单元 Pu 来实现该 CU 单元的预测过程 Pu 尺寸受限于 其所属的 CU 可以是方块 如 2Nx2N NxN 也可以为矩形 如 2NxN Nx2N 现有分割方 式有 HM 模型的对称 PU 分割以及不对称运动分割预测 Asymmetric Motion Partition AMP AMP 是 H 265 的新方法 它将编码单元分为两个尺寸大小不一致的预测块 其中一个 Pu 单元的宽 长为 CU 单元的 1 4 另一个 Pu 对应的宽 长为 CU 单元的 3 4 如图 2 编码 结构中所示 这种预测方式考虑了大尺寸可能的纹理分布 可以有效提高大尺寸块的预测 效率 编码结构 3 2 HEVC 的变换结构的变换结构 HEVC 突破了原有的变换尺寸限制 可支持 4 4 至 32 32 的编码变换 以变换单元 TU 为基 本单位进行变化和量化 为提高大尺寸编码单元的编码效率 DCT 变换同样采用四叉树型 的变换结构 图 3 编码单元 变换单元的四叉树结构关系图示例 其中虚线为变换单元四 叉树分割 实线为编码单元四叉树分割 编号为各编码单元的编码顺序 采用 z 型编码顺 序的好处为 对于当前编码单元 其上方块 左方块以及左上方块预测信息 如果存在 总 是可以获得 编码单元 变换单元的四叉树结构关系 配合不对称预测单元以及矩形预测单元 新的 HM4 0 模型还采纳了相应的矩形四叉 树 Tu 结构 61 突破了方块变换的限制 图 4 展示了 3 级矩形四叉树变换水平 Tu 结构 同 理可有垂直分割结构 矩形变换四叉树结构 根据国内外学者的研究 非正方形四叉树更适合矩形 PU 和 AMP 变换 可节省大约 0 3 的比特 同时增加 2 左右的编码复杂度 对解码几乎没有影响 采用大尺寸树形编码结构有利于支持大尺寸图像编码 当感兴趣区域一致时 一个大 的 CU 可以用较少的标识代表整个区域 这比用几个小的块分别标识更合理 其次 任意 LUC 尺寸可以使编解码器对不同的内容 应用和设备达到最优化 对于目标应用 通过选 择合适的 LCU 尺寸和最大分级深度 使编解码器具有更好的适应能力 LCU 和 SCU 尺寸范 围可被定义到档次和级别部分以匹配需求 3 3 HEVC 的变换方法的变换方法 截止到目前 HEVC 标准中包含以下 5 种正交变换方 法 基于模式的方向变换 MDDT 自适应 DCT DST 选择 旋转变换 ROT IDCT 修剪和变换跳过模式 TSM MDDT 算法给 HEVC 带来了较大的编码性能提高 但同时也带来了计算复杂度的增加 因此 如何降低该算法的计算复杂度将成为未来的一个研究方向 通过对这些计算范例的 更具体细致的研究 将会带来更低的计算复杂度 在帧内编码的情况下 ROT 算法带来了 编码时间的增加 Loeffler 因式分解被普遍认为有很好的稳定性 同时在加法和乘法方面的 计算复杂度很低 但是它没有很好地重复利用变换过程中已生效的小尺寸 DCT 类型 2 的变 换 重复利用将在软件和硬件编码中大大降低计算复杂度 参考一些学者的研究报告和实 验成果 对于 DST 如果能在比特率降低和计算复杂度之间设计更合理的折中方案 则将 获得更好的编码性能 研究基于模式的变换和扫描方法也是降低计算复杂度的一个方向 对于 DCT DST 算法 采取更高效的变换矩阵是降低其复杂度的一个性能提高研究方向 最后 考虑到变换 量化后的信号更适应熵编码 这也是一个间接降低比特率的重要研究 方向 四 四 H 265H 265 预测技术预测技术 HEVC 的帧间 帧内预测的基本框架与 H 264 基本相 同 采用相邻块重构像素对当前 块进行帧内预测 从相邻 块的运动矢量中选择预测运动矢量 支持多参考帧预测等 同时 HEVC 采用了如多角度预测 高精度运动补偿等多种技术 使得预测精度大大提高 4 1帧内预测帧内预测 多角度帧内预测 HEVC 的帧内预测将原有的 8 种预测方向扩展至 33 种 包括 Intra Planar 模式 Intra DC 模式和 33 种方向性帧内预测模式 Intra Angular k k 2 34 这 33 种方向 的定义如 图所示 图中的数字 0 34 表示模式编号 字母 H 用于表示横轴方向 后面的 数字部分表示预测方向相对于水平向左方向的偏移值 字母 V 用于表示纵轴方向 后面的 数字部分表示预测方向相对于垂直向上方向的偏移值 记这个偏移值为 d 它的单位为 1 32 在横轴方向上 向下偏移时 d 的值为正 向上偏移时 d 的值为负 预测方向与水 平向左方向夹角的正切值等于 d 32 在纵轴方向上 向右偏移时 d 的值为正 向左偏移 时 d 的值为负 预测方向与垂直向上方向夹角的正切值等于 d 32 由图 4 可以看出 模 式 2 17 为横轴方向上的预测模式 模式 18 34 为纵轴方向上的预测模式 与 H 264 AVC 相比较 HEVC 中增加了帧内预测的精细度 从而能够更好地捕捉图像中的方 向性纹理信息 提高帧内预测的准确性 另一方面 H 264 AVC 中仅支持 16 16 8 8 或 4 4 块大小的帧内预测 且在不同块大小上帧内预测模式 的定义不同 而 HEVC 中帧内 预测支持的块大小为 32 32 16 16 8 8 或 4 4 且在不同块大小上帧内预测模式的定义 保持一致 35 种帧内预测方式 由于受到编码复杂度限制 编码模型对 4x4 和 64x64 尺寸的 PU 所能使用的预测模式 进行了限制 然而 尽管现有的帧内预测技术已对 PU 预测方向有所限制 但编码的复杂 度仍然很高 不少研究人员提出了快速帧内预测算法 以进一步降低编码的复杂度 4 2 帧间预测技术帧间预测技术 广义 B 预测技术 在高效预测模式下 HEVC 仍然采用 H 264 中的等级 B 预测方式 同时还增加了广义 B Generalized P and B picture GPB 预测方式取代低时延应用场景中的 P 预测方式 GPB 预 测结构是指对传统 P 帧采取类似于 B 帧的双向预测方式进行预测 在这种预测方式下 前 向和 后向参考列表中的参考图像都必须为当前图像之前的图像 且两者为同一图像 对 P 帧采取 B 帧的运动预测方式增加了运动估计的准确度 提高了编码效率 同时也有利于编 码流程的统一 高精度运动补偿技术 HEVC 的编码器内部增加了像素比特深度 最大可支 持 12 bit 的解码图像输出 提高 了解码图像的信息精度 同时 HM 模型采取了高精度的双向运动补偿技术 即无论最终 输出图像比特深度是否增加 在双向运动补偿过程都将使用 14 bit 的精度进行相关计算 运动融合技术和自适应运动矢量预测技术 运动融合技术 Merge 将以往的跳过预测模式 Skip Mode 和直接预测模式 Direct Mode 的概念进行了整合 采用融合模式时 当前 PU 块的运动信息 包括运动矢量 参考索引 预测模式 都可以通过相邻 PU 的运动信息推导得到 编码时当前 PU 块只需要传送融合标 记 Merge Flag 以及融合索引 Merge Index 无需传送其运动信息 自适应运动矢量预测技 术 Adaptive Motion Vector Prediction AMVP 为一般的帧问预测 PU 服务 通过相邻 空域相 邻 PU 以及时域相邻 PU 的运动矢量信息构造出一个预测运动矢量候选列表 PU 遍历运动 矢量候选列表选择最佳的预测运动矢量 利用 AMVP 技术可充分发掘时域相关性和空域相 关性 值得一提的是 无论是运动融合技术还是自适应运动矢量预测技术 两者在候选运 动矢量列表的设计上都进行了精心考量 以保证运动估计的高效性以及解码的稳健性 在 早期的 HM 模型中 两种预测方式所使用的候选运动矢量列表是相互独立的 在 JCT 第 6 次会议结束后 新的 HM 模型中将两者的参考列表构造进行了统 一 Merge 将采用与 AMVP 相同的方式构造候选运动矢量列表 进行运动信息的推导 帧间预测模式 HEVC 一共定义了三种帧间预测模式 分别称为 Skip 模式 Merge 模式 Inter 模式 其 中 Skip 模式和 Merge 模式的每一个预测单元的运动参数直接由相邻的已编码块直接导 出 而只需要编码一个索引值用于指示参考块的位置 Skip 模式和 Merge 模式的区别在于 Skip 模式的预测单元划分类型只能是 2NX 2N 且不需要对运动补偿后的预测残差进行编码 在解码端直接由运动补偿得到的预测信号作为重构信号 Skip 模式可以看成是特殊的 Merge 模式 对于 Inter 模式 每一个预测单元含有一组运动参数 包括 帧间预测的方向 前向预测 后向预测或双向预测 参考帧的索引值 运动向量预测器的索引值以及运动 向量的预测残差 编码时 首先用一个 CU skip flag 标记当前编 码单元的预测模式是否 为 Skip 模式 若是 则编码一个索引值 merge index 用于指示运动参数的参考块位置 若 否 则编码一个标记符号用于指示当前编码单元是帧内预测模式还是帧间预测模式 如果 是帧间预测模式 则接着编码预测单元的划分类型 part mode 对每一个预测单元 首先 编码一个 merge flag 用于指示是否为 Merge 模式 若是 则编码一个索引值 merge index 用于指示运动参数的参考块位置 若否 即 Inter 模式 则依次编码帧间预测的方向 参考帧的索引值 运动向量预测器的索引值以及运动向量的预测残差 四 四 H 265H 265 环路滤波环路滤波 一个完整的 HEVC 的环路滤波过程包括 3 个环节 去块滤波 自适应样点补偿 Sample Adaptive Offset SAO 自适应环路滤波 Adaptive Loop Filter ALF 去块滤波在 H 264 的去 块滤波技术基础上发展而来 但为了降低复杂度 目前的 HM 模型取消了对 4x4 块的去块 滤波 自适应样点补偿和自适应环路滤波均为 HEVC 的采用的新技术 4 1 自适应样点补偿自适应样点补偿 自适应样点补偿是一个自适应选择过程 在去块滤波后进行 若使用 SAO 技术 重构 图像将按照递归的方式分裂成 4 个子区域 每个子区域将根据其图像像素特征选择一种像 素补偿方式 以减少源图像与重构图像之间的失真 目前自适应样点补偿方式分为带状补 偿 Band Offset BO 和边缘补偿 Edge Offset EO 两大类 带状补偿将像素值强度等级划分为若干个条带 每个条带内的像素拥有相同的补偿值 进行补偿时根据重构像素点所处的条带 选择相应的带状补偿值进行补偿 现有的 HM 模 型将像素值强度从 0 到最大值划分为 32 个等级 如图 7 所示 同时这 32 个等级条带还分 为两类 第一类是位于中间的 16 个条带 剩余的 16 个条带是第二类 编码时只将一类条 带的补偿信息写入片头 另一类条带信息则不传送 这样的方式编码将具有较小补偿值的 一类条带忽略不计 从而节省了编码比特数 32 级像素值条带分割示意图 边缘补偿主要用于对图像的轮廓进行补偿 它将当 前像素点值与相邻的 2 个像素值进 行对比 用于比较的 2 个相邻像素可以在图 8 中所示的 4 种模板中选择 从而得到该像素 点的类型 局部最大 局部最小或者图像边缘 解码端根据码流中标示的像素点的类型信 息进行相应的补偿校正 4 种边缘样点补偿模板 4 2 自适应环路滤波自适应环路滤波 自适应环路滤波 ALF 在 SAO 或者去块滤波后进行 目的是为了进一步减少重构图像与 源图像之间的失真 ALF 采用二维维纳滤波器 滤波系数根据局部特性进行自适应计算 对于亮度分量 采用 CU 为单位的四叉树 ALF 结构 滤波使用 5x5 7x7 和 9x9 三种大小的 二维钻石型模板 如图所示 滤波器计算每个 4x4 块 的 Laplacian 系数值 并根据该值将 所有 4x4 块分成 16 类 分别对应 16 种滤波器 每种滤波器的滤波系数通过自适应维纳滤 波器进行计算 除上述基于像素的 ALF 分类外 提案还提出了基于区域的 ALF 分类 此时 每帧将被划分为 16 个区域 每个区域可以包含多个 LCU 每个区域使用同一种滤波器 滤波器系数同样可以自适应训练得到 3 种 ALF 滤波模板 对于色度分量 滤波的选择过程却简单许多 首先 色度分量的滤波决策只需要在图 像层级上进行 其次 滤波时色度分量统一使用 5x5 矩形滤波模板 不需要通过 Laplaeian 系数来选择滤波器类型 除上述新