h265(HEVC)编解码相关技术概述

1、. . h265(hevc heigh efficiency video coding)介绍1 概要h.265( 高效率视频编码（hevc ）) 是现行“ h.264/mpeg- 4 avc ”标准于2003 年实现标准化以来时隔10 年推出的新标准，将成为支撑未来十年的影像服务和产品的视频压缩技术。其特点是，支持1080p 以上的4k2k 和 8k4k分辨率，将视频压缩率提高至h.264 的约 2倍。也就是说，能以原来一半的编码速度发送相同画质的视频。例如，按照20mbit/ 秒发送的 h.264 格式视频容，在相同画质的条件下用hevc 格式只需10mbit/ 秒的速度。1.1 h.265

2、 发展背景h.264 虽然是一个划时代的数字视频压缩标准，但是随着数字视频产业链的高速发展，h.264 的局限性逐步显现，并且由于h.264 标准核心压缩算法的完全固化，并不能够通过调整或扩充来更好地满足当前高清数字视频应用。视频应用向以下几个方面发展的趋势愈加明显：(1) 高清晰度 (higher definition)：数字视频的应用格式从720p向 1080p 全面升级，在一些视频应用领域甚至出现了4k*2k、8k*4k 的数字视频格式(2) 高帧率 (higher frame rate)：数字视频帧率从30fps 向 60fps 、120fps 甚至 240fps的应用场景升级(3)

3、高压缩率 (higher compression rate)：传输带宽和存储空间一直是视频应用中最为关键的资源，因此，在有限的空间和管道中获得最佳的视频体验一直是用户的不懈追求。由于数字视频应用在发展中面临上述趋势，如果继续采用h.264 编码就出现如下一些局限性：(1) 宏块个数的爆发式增长，会导致用于编码宏块的预测模式、运动矢量、参考帧索引和量化级等宏块级参数信息所占用的码字过多，用于编码残差部分的码字明显减少。即：单个宏块所表示的图像容的信息大大减少，导致 4*4 或 8*8 块变换后的低频率相似程度也大大提高，会出现大量的冗余(2) 分辨率的大幅增加，表示同一个运动的运动矢量的幅值将大

4、大增加，h.264 中采用一个运动矢量预测值，对运动矢量差编码使用的是哥伦布指数编码，该编码方式的特点是数值越小使用的比特数越少。因此，随着运动矢量幅值的大幅增加，h.264 中用来对运动矢量进行预测以及编码的方法压缩率将逐渐降低。(3) 并行度比较低h.264 的一些关键算法，例如采用cavlc和 cabac两种基于上下文的熵编码方法、deblock滤波等都要求串行编码，并行度比较低。针对gpu/dsp/fpga/asic 等这种并行化程序非常的cpu ，h.264 的这种串行化处理越来越成为制约运算性能的瓶颈。基于以上视频应用的发展趋势和h.264 的局限性， 面向更高清晰度、更高帧率、

5、更高压. . 缩率的高效视频编码标准(high efficiency video coding)hevc(h.265协议标准应运而生。hevc 的核心目标：在h.264/avc high profile的基础上，保证相同视频质量的前提下，视频流的码率减少50% 。在提高压缩效率的同时，允许编码端适当提高复杂度hevc的编码框架：沿用h.263 的混合编码框架，即用帧间和帧预测编码消除时间域和空间域的相关性， 对残差进行变换编码以消除空间相关性，熵编码消除统计上的冗余度。hevc在混合编码框架，着力研究新的编码工具或技术，提高视频压缩效率hevc的技术创新：基于大尺寸四叉树结构的分割技术，多角度

6、帧预测技术，运动估计融合技术，高精度运动补偿技术，自适应环路滤波技术以及基于语义的熵编码技术。通信和广电行业的人士对hevc的高压缩率寄予了厚望。1.2 发展历程早在 2004 年， itu-t 视频 编码专家组（vceg ）开始研究新技术以便创建一个新的视频压缩标准。在2004 年 10 月， h.264/ avc 小组对潜在的各种技术进行了调查。2005 年 1 月vceg 的会议上， vceg 开始指定某些主题为“关键技术”作进一步研究。2005 年成立软件代码库称为key technical areas （kta ）用来评估这些新的“关键技术。kta的软件是在联合模型（ jm）基础上由

7、mpeg 和 vceg 的视频组联合开发的，项目名称暂定为h.265 和 h.ngvc（next-generation video coding） ，此项目在2010 年最终演化为由vceg 和 mpeg 合资项目也叫做按照 ngvc 的初步要求，在维持视觉hevc （high efficiency video coding） 。质量相同的情况下，比特率较h.264/mpeg-4 avc的高中档（ high profile） ，计算复杂度维持在比特率较 h.264/mpeg-4 avc 的高中档的1/2 至 3 倍之间。“h.265” 只是作为“高性能视频编码 （hevc ） ”一个昵称。 2

8、009年 7月， 实验结果表明比特率相较于h.264/avc high profile平均降低20% 左右，这些结果促使mpeg 与 vceg 合作发起的新的标准化工作。2010 年 1 月，vceg 和 mpeg 开始发起视频压缩技术正式提案。相关技术由视频编码联合组（ joint collaborative team on video coding (jct-vc）) 审议和评估，其合作小组第一次会议于2010 年 4 月召开大会， 一共有 27 个完整的提案。 评价结果表明， 一些提案在许多测试用例可以达到只用一半的比特率并维持h.264/avc 相同的视觉质量。在这次会议上，联合项目名

9、改称为高效率的视频编码（ hevc ） ，并且 jct-vc小组把相关技术集成到一个的软件代码库（ hm ）和标准文本草案规，并进行进一步实验，以评估各项功能。2012 年 2 月 10 日，在美国圣何塞召开了第99 届 mpeg 会议。mpeg 组织和 itu-t 组织对jct-vc的工作表示满意，准备于2013 年 1 月，同时在iso/iec 和 itu-t 发布 hevc 标准的最终版本。2013 年 1 月 26 号， hevc 正式成为国际标准。标准时间点：2010年 1月， itu-t vceg(video coding experts group) 和 iso/iec mpeg

10、(moving picture experts group)联合成立jct-vc（joint collaborative team on video coding）联合组. . 织，统一制定下一代编码标准：hevc （high efficiency video coding） 。2012.2 ：委员会草案( 标准草案完成稿) ；hevc 委员会草案获得通过。2012.7 ：hevc 国际标准草案获得通过2013.1 ：国际标准最终获得通过1.3 应用领域以前，伴随每次视频压缩技术的进化，多种影像服务和产品都会纷纷亮相（图1） 。1995 年实现标准化的mpeg-2得到了 dvd和数字电视等领域

11、采用，大幅扩大了视频压缩技术的应用围。 mpeg-4在 1998 年实现标准化后，立即应用到了移动和互联网视频服务领域。伴随视频压缩技术的升级，各种影像服务和产品随之登场。2013 年以后，随着hevc 的进步，4k及 8k 电视及网络全高清影像服务也纷纷出现。箭头指示的是各服务和产品主要采用的压缩技术。图 1：视频压缩技术及对应的影像服务和产品的历史. . 图 2：hevc 的应用示例 hevc的应用示意图如图2 所示。在广播电视、网络视频服务、电影院及公共大屏幕（public viewing ）等众多领域， 4k2k和 8k4k 视频发送将变得更容易实现。个人电脑及智能手机等信息终端自不用

12、说，平板电视、摄像机及数码相机等av产品也会支持hevc 。不仅是这些既有市场，hevc还有可能在今后有望增长的新市场上大显身手。例如，影像监控系统就是其中之一。影像监控系统最近几年在快速从原来的模拟摄像头组合vtr的方式，向经由ip 网络发送、存储和浏览数码摄像头拍摄的视频的方法过度。为提高安全性，需要增加摄像头数量、提高影像的精细度，而与此同时，确保网络频带和存储容量增加。估计 hevc 将作为解决这些课题的措施而得到采用。1.4 优缺点优点：1、高压缩率1)在视频质量相同的条件下，较h.264 平均减少50% 的码流，可以节省下大量的网络带宽及存储空间2)在同码流条件下提供更加高质量的视

13、频2、支持 8192x4320 分辨率缺点：1、hevc使用到的技术和算法较前两代标准h.264 和 mpeg-2更为复杂，视频流在压缩过程中需要经过更多的选择和运算。2、hevc 不支持大多数硬件，通常需要效率更高，更多的处理器来辅助，这意味着，如果有. . 一个固件需要更新，而编解码器却跟不上升级速度的话，那么我们的电视机顶盒和蓝光播放机是无法播放hevc 编码容的，需要等待解决方案出现后才能继续使用。2 编解码技术通过帧间预测编码和帧预测编码消除时域空域的相关性；通过对预测残差的变换编码消除时间上的相关性；通过熵编码消除比特分配造成的编码冗余。但2.1 h.265 编码框架及编码单元结构

14、与 h.263 以来的视频编码标准一样，hevc的设计沿用了经典的基于块的混合视频编码框架。框架主要包括，帧预测(intra prediction)、帧间预测 (inter prediction)、转换(transform)、量化 (quantization)、去区块滤波器(deblocking filter)、熵编码 (entropy coding) 等模块，但在hevc编码架构中，整体被分为了三个基本单位，分别是：编码单位(coding unit,cu)、预测单位 (predict unit,pu) 和转换单位 (transform unit,tu )。视频编码的基本流程为：将视频序列的每

15、一帧划分为固定大小的宏块，通常为16 16像素的亮度分量及2 个 8 8 像素的色度分量( 对于 4?誜 2?誜 0 格式视频 ) ，之后以宏块为单位进行编码。对视频序列的第一帧及场景切换帧或者随机读取帧采用i 帧编码方式， i 帧编码只利用当前帧的像素作空间预测，类似于jpeg图像编码方式。其大致过程为，利用帧先前已经编码块中的像素对当前块的像素值作出预测( 对应图中的帧预测模块)， 将预测值与原始视频信号作差运算得到预测残差，再对预测残差进行变换、量化及熵编码形成编码码流。对其余帧采用帧间编码方式，包括前向预测p帧和双向预测b帧，帧间编码是对当前帧的块在先前已编码帧中寻找最相似块( 运动估

16、计 ) 作为当前块的预测值( 运动补偿 ) ， 之后如 i 帧的编码过程对预测残差进行编码。编码器中还含一个解码器，如图 1 中青绿色部分所示。嵌解码器模拟解码过程，以获得解码重构图像，作为编码下一帧或下一块的预测参考。解码步骤. . 包括对变换量化后的系数进行反量化、反变换， 得到预测残差， 之后预测残差与预测值相加，经滤波去除块效应后得到解码重构图像。帧预测编码图帧间预测编码图hevc 以 lcu块为单位对输入视频帧进行处理，首先是预测，可进行帧预测与帧间预测。帧预测：预测块由当前帧中已编码并解码重建的相邻块预测得到。帧间预测： 预测块通过基于一个或多个参考帧的运动估计和运动补偿得到。然后

17、通过当前块减去预测块得到预测残差。预测残差进一步进行变换编码和量化，从而得到量化后的残差系数。然后对量化后的残差系数、编码模式以及相关的编码参数等信息进行熵编码，从而得到压缩后的比特流。 同时量化残差还要进行反变换和反量化，然后将残差和预测值相加起来重建图像，再进行滤波，生成参考帧2.2 编码单元结构以往 h.264 会以 16 x 16像素为单位（或是16 x 8 、8 x 8 、8 x 4 、4 x 4等配置），将画面切割为数个大小相同的宏块，并以这些宏块做为编码时的最小元素。h.265 则是将切割画面的工作从使用者手动设定，转交给编码器来决定，让编码器可视情况以16 x 16 、 32

18、x 32 、64 x 64 等尺寸，将画面切割为数个编码树单元，一般来说区块尺寸越大，压缩效率就会越好。. . 左图是传统的h.264 标准， 每个宏块大小都是固定的；右图是 h.265 标准， 编码单元大小是根据区域信息量来决定的h.265 没有继续采用之前的宏块(micro block，mb)概念，而是使用编码单元(coding unit ， cu)作为基本的编码结构。一个cu 可以包含一个或多个不同尺寸的预测单元pu(prediction unit)，一个pu包含若干变换单元(transfore unit，tu)。cu,pu,tu三种在编码中起的作用不一样，不过这种编码方式还是基于混合编

19、码，但是采用了这三种unit之后， 能够更好的分割一图像，变成一个一个的block 用来后续的预测和处理。采用这种结构设计的目的是在增加灵活性的同时，使压缩预测更符合图像特性。?cu(coding unit) cu是用作帧间和帧编码的基础单元，他的特点是方块，lcu是 64x64，可以使用递归分割四叉树的方法来得到，大的cu适用于图像中比较平滑部分，而小的部分则适用于边缘和纹理较丰富的区域。采用大尺寸cu主要是为了高清压缩编码的应用，毕竟如1080p 甚至更大分辨力的视频， 其空间会有更大面积的一致性，因此采用更大的编码单元能更有效地减少空间的冗余。. . 如果仍采用光栅扫描顺序，对cu的寻址

20、会很不方便，因此，h.265 定义了 z扫描顺序这种扫描顺序保证了对于不同分割都能按照相同的遍历顺序进行寻址有利于程序中递归实现?pu(prediction unit) pu是预测的基本单元，是编码单元cu基础上进行划分的，有skip，intra ，inter 三种模式可以分割，每个 cu中可以包含一个或多个pu 。pu可以是方形也可以是矩形，这是为了分块能更好与图像中真实物体存在的边界匹配，但是其分割不是递归的，与cu的分割还是有区别的。pu的尺寸不能超过其所属的cu ，pu的划分方式有两类 a. 2nx2n,nxn,nx2n,2nxn如图三 a 所示 b.64x64的 cu支持 amp(

21、不对称分割） , 主要为了适用于cu中纹理偏差比较大的情况，增加预测的精准度，不对称的pu仅适用于帧间预测，如图三b 所示. . ?tu(transformunit) tu是变换和量化的基本单元，它可以大于pu ，但是却不可以大于cu的大小。 tu同样采用四叉树的分割结构，所支持的尺寸从4x4 至 32x32 的大小。 tu的形状取决于pu的划分模式，当pu为正方形时，tu也是正方形的，当pu为非正方形时，tu也是非正方形的，一个 cu可以包含一个或多个tu 。下图可以形象的展示cu 、pu及 cu之间的关系。2.3 帧预测利用图像的空间相关性，用周围重建像素值对当前编码块进行预测h.265

22、更多的帧预测方向，在h.264 采用 9 个帧预测方向的场合，h.265 预测方向拓展到 33 个，另外加上一个dc和一个 planar ，一共 35 中预测模式，使得预测更加精细，增加更多提升更高效帧压缩的可能的参考像素块。明显的代价是在增加的方向中搜索需要更多编码时间。. . planar 模式平面预测是一种新提出的预测方法，常用于容平滑或纹理不清晰的单元。它为预测单元中的每一个像素点也都要进行插值预测，如图所示。 首先根据左侧相邻单元的右下角像素和上方相邻单元的下边界像素插值出当前预测单元下边界的每个像素点，再根据上方相邻单元的右下角像素和左侧相邻单元的右边界像素插值出当前预测单元右边界

23、的每个像素点，然后利用上方相邻单元的下边界、左侧相邻单元的右边界以及插值出的当前单元的下边界和右边界插值出其余的像素点。在平面预测中，首先右下角的像素z 由图中重建像素l 和 t 平均得到，然后利用重建像素l和 t 与 z 进行线性插值计算出最下面一行和最右边一列像素值，如图中像素m和 n，然后利用插值得到的像素进行双线性插值计算其他预测像素值，如图中像素p。与亮度的帧预测相比， 色度的帧预测过程要简单的多，只有率失真优化的模式选择过程，. . 且与亮度的率失真优化模式选择过程相同。色度预测只有5 种预测模式：planar 、dc 、horizontal、vertical、dm_chroma等

24、。dm_chroma模式就是利用亮度分量所选择的预测模式，因此如果前4 种预测模式中存在亮度分量所选择的预测模式，为了避免重复， 就利用垂直向右对角线方向(34) 预测替换该重复的预测模式。2.4 帧间预测帧间预测利用连续图像之间的相关性，通过运动估计和运动补偿的编码方法去消除视频信息的时间冗余。利用先前已编码重建帧作为参考帧进行预测。1、帧间预测采用融合模式时，当前pu块的运动信息 ( 包括运动矢量、参考索引、预测模式)都可以通过相邻pu的运动信息推导得到。编码时，当前pu 块只需要传送融合标记(merge flag) 以及融合索引(merge index)，无需传送其运动信息。2、帧间预测

25、还可以通过空域相邻pu以及时域相邻pu的运动矢量信息构造出一个预测运动矢量候选列表，pu遍历运动矢量候选列表，在其中选择最佳的预测运动矢量。2.4.1 广义 b帧预测技术在高效预测模式下，h.265 仍然采用h.264 中的等级b 预测方式， 同时还增加了广义 b (generalized p and b picture ，gpb ) 预测方式取代低时延应用场景中的p预测方式。 gpb 预测结构“是指对传统p帧采取类似于b帧的双向预测方式进行预测。在这种预测方式下，前向和后向参考列表中的参考图像都必须为当前图像之前的图像，且两者为同一图像。对p帧采取 b帧的运动预测方式增加了运动估计的准确度，

26、提高了编码效率，同时也有利于编码流程的统一。2.4.2 去块滤波 (deblock filter) 去块滤波位于反变换之后，主要是去除视频压缩过程中产生的方块效应。首先对垂直边界进行水平滤波， 先亮度块后色度块； 再对水平边界进行垂直滤波，先亮度块后色度块。 hevc对 8x8 块的边界进行滤波，与h.264/avc 中对 4x4 边的边界进行滤波相比，hevc中去块滤波算法的时间复杂度有所降低。2.4.3 采样点自适应偏移 (sample adaptive offset,sao) 把 frame划分为若干lcu, 然后对每个lcu中每个像素进行sao操作 . 将根据其lcu像素特征选择一种像

27、素补偿方式，以减少源图像与重构图像之间的失真。自适应样点补偿方式分为带状补偿（band offset，bo ）和边缘补偿（edge offset，eo ）两大类。?带状补偿带状补偿将像素值强度等级划分为若干个条带，每个条带的像素拥有相同的补偿值。进行补偿时根据重构像素点所处的条带，选择相应的带状补偿值进行补偿。. . 现有的 hm模型将像素值强度从0 到最大值划分为32 个等级。同时这32 个等级条带还分为两类， 第一类是位于中间的16 个条带， 剩余的 16 个条带是第二类。编码时只将其中一类具有较大补偿值的条带偏移信息写入片头；另一类条带信息则不传送。这样的方式编码将具有较小偏移值的一类条

28、带忽略不计，从而节省了编码比特数?边缘补偿边缘补偿主要用于对图像的轮廓进行补偿。它将当前像素点值与相邻的2 个像素值进行对比，用于比较的2 个相邻像素可以在下图中所示的4 种模板中选择， 从而得到该像素点的类型。解码端根据码流中标示的像素点的类型信息进行相应的补偿校正。2.4.4 自适应环路滤波 (adaptive loop filter,alf) alf在编解码环路，位于debtock 和 sao之后，用于恢复重建图像以达到重建图像与原始图像之间的均方差 (mse)最小。 alf的系数是在帧级计算和传输的，可以整帧应用alf，也可以对于基于块或基于量化树(quadtree )的部分区域进行a

29、lf ，如果是基于部分区域的alf。还必须传递指示区域信息的附加信息。对于亮度分量，采用cu为单位的四叉树alf结构。滤波使用5*5,7*7和 9*9 三种大小的二维钻石型模板。滤波器计算每个4*4 块的 laplacian系数值，并根据该值将所有4*4 块分成 16 类，分别对应16 种滤波器。3 种 alf滤波模板对于色度分量，滤波的选择过程会简单很多。原因如下：首先，色度分量的滤波只需要在图像层级上进行。其次， 滤波时色度分量统一使用5*5 矩形滤波模板，不需要通过laplacian系数来选择滤波器类型。. . 2.5 并行设计当前芯片架构已经从单核性能逐渐往多核并行方向发展，因此为了适

30、应并行化程度非常高的芯片实现，h.265 引入了很多并行运算的优化思路。2.5.1 tile 用垂直和水平的边界将图像划分为一些行和列，划分出的矩形区域为一个tile ， 每一个 tile包含整数个lcu(largest coding unit)tile之间可以互相独立，以此实现并行处理。tile划分示意图2.5.2 entropy slice 熵编码以 slice为单位，容易造成负载不均衡。entropy siice允许在一个slice部再切分成多个entropy siices。每个entropy siice可以独立的编码和解码，从而提高了编解码器的并行处理能力。entropy siice与 slice的关系一个 entropy siice不能跨越 siice边界，也就是一个slice不可以含有多个entropy siice ，但是一个entropy siice只能属于一个slice 2.5.3 wpp(wavefront parallel processing) wpp 将一帧视频按照编