HEVC帧内预测

1、 视频发展趋势视频发展趋势 高分辨率：高分辨率：720P720P、1080P1080P、4Kx2K4Kx2K、8Kx4K8Kx4K 高帧率：高帧率：30 fps30 fps、60fps60fps、120fps120fps、240fps240fps 高压缩率：传输带宽和存储空间高压缩率：传输带宽和存储空间H.264H.264视频编码局限性视频编码局限性宏块小，宏块小，图像内容信息少，相邻图像内容信息少，相邻44、88块变换低块变换低频系数相似程度大，大量冗余频系数相似程度大，大量冗余针对针对DSP，H.264串行化处理，制约运算性能串行化处理，制约运算性能运动矢量幅值大幅增加，运动矢量幅值大幅增

2、加，H.264压缩率低压缩率低图像划分块结构：编码树单元图像划分块结构：编码树单元 CTU、编码单元、编码单元 CU、预、预测单元测单元 PU、变换单元、变换单元 TU编码树单元编码树单元 CTU视频序列帧首先被划为一系列编码树单元(CTUs) NN 亮度采样块最大允许尺寸为 6464，N 可以等于 16、32 或 64 大尺寸块划分获得更高的压缩效率，HEVC优先采用 6464 CTB图像CTU划分编码单元编码单元 CU HEVC 中帧间和帧内编码基本的单元，正方形，尺寸大小可以为 6464、3232、1616 和 88 四叉树划分策略 CTU 可以被划分为四个等同的 CU，每个 CU 还可

3、以继续进行四叉树划分 CU 块编码模式：跳过(Skip)模式、帧内(Intra)模式、帧间(Inter)模式编码单元CU结构视频序列BasketballDrived第一帧图像划分结果预测单元预测单元 PU 在编码单元基础上划分 帧内模式， PART_2N2N和PART_NN 帧间帧间8种模式种模式不同模式的预测单元变换单元变换单元 TU 变换和量化过程的基本单元编码单元编码单元 CU 的基础上划分的基础上划分正方形，尺寸可以为正方形，尺寸可以为 44、88、1616、3232变换单元结构用垂直和水平的边界将图像划分为一些行和列，划用垂直和水平的边界将图像划分为一些行和列，划分出的矩形区域为一个

4、分出的矩形区域为一个TileTile，每一个，每一个TileTile包含整数包含整数个个LCULCU，TileTile之间可以互相独立，以此实现并行处理。之间可以互相独立，以此实现并行处理。Tile划分示意图划分示意图Tile波前并行处理是以一行波前并行处理是以一行CTBCTB为单位为单位, ,可以同时处理多行可以同时处理多行CTB,CTB,后一行相比前一行会延迟两个后一行相比前一行会延迟两个CTBCTB。因此。因此, ,可以进可以进行并行解码行并行解码, ,并且不破坏正常的相关性。并且不破坏正常的相关性。WPP示意图示意图WPP(波前并行处理波前并行处理)利用视频帧内像素空间相关性消除空域冗

5、余HEVC 多角度预测模式，多角度预测模式，H.264/AVC 预测模式少、预测模式少、精度低精度低亮度分量帧内预测模式亮度分量帧内预测模式35 种，种，33 种方向性种方向性预测模式和预测模式和2种非方向性预测模式，种非方向性预测模式，DC和平面和平面(Planar)模式模式色度分量帧内预测模式有色度分量帧内预测模式有 5 种，分别是水平模式、种，分别是水平模式、垂直模式、垂直模式、DC 模式、模式、Planar 模式、模式、CL 模式模式预测块将它左边一列和上面一行的像素点作为参考像素点进行预测，预测像素值由参考像素点的己编码重构像素值通过线性插值得到帧间差值滤波帧间差值滤波位置位置滤波系

6、数滤波系数1/4 -1, 4, -10, 58, 17, -5, 1 2/4 -1, 4, -11, 40, 40, -11, 4, -1 3/4 1, -5, 17, 58, -10, 4, -1 ABb=(-A+4H-11I+40J+40K-11L+4M-B)8像素插值b的计算方法：BlockA（i,j）是指原始图像块A中(i,j)位置的像素点值，BlockB(i, j)是指相同尺寸的图像块B中相应位置的像素点值,相同尺寸的两个块之间对应像素点的差值的绝对值和哈德曼变换绝对误差和哈德曼变换绝对误差和相同尺寸的两个块之间对应像素点的差值经哈德曼变换后的绝对值和率失真代价函数率失真代价函数权衡

7、的是失真度和信源输出的信息传输率两者的关系，允许一定失真度 D 的情况下，信源输出的信息传输率可以压缩到 R(D)值（1 1）用于预测参数决定的基于）用于预测参数决定的基于 SAD SAD 的代价函数的代价函数J J为率失真代价，为率失真代价，B B表示预测所需的比特数表示预测所需的比特数（2 2）用于运动参数决定的基于）用于运动参数决定的基于 SATD SATD 的代价函数的代价函数J J为率失真代价，为率失真代价，B B表示预测所需的比特数表示预测所需的比特数（3 3）用于模式决定的率失真代价函数）用于模式决定的率失真代价函数J J为率失真代价，为率失真代价，SSESSE图像块亮度、色度图

8、像块亮度、色度分量误差平方和，分量误差平方和，w w是色度分量的权重系数，是色度分量的权重系数，B B表示模式选择所需比特数表示模式选择所需比特数图像划分的块结构有三种：CU、PU、TU ，CU块划分采用四叉树遍历递归的方式，PU块和TU块均以CU块为基础划分， HEVC 帧内编码块划分过程遍历递归了从6464到88大小四叉树块所有可能组合过程(1) 首先对这个 6464 的块进行预测编码，得到其率失真代价为 RdCost6464；(2) 然后把这个 6464 的块进一步划分为 4 个 3232 块，对第一个 3232 块进行预测编码，得到其率失真代价为 RdCost3232；(3) 再把这个

9、再把这个 3232 的块进一步划分为的块进一步划分为 4 个个 1616 块，对第一块，对第一个个 1616 块进行预测编码，得到其率失真代价为块进行预测编码，得到其率失真代价为 RdCost1616；(4) 再把这个再把这个 1616 的块进一步划分为的块进一步划分为 4 个个 88 块，对第一个块，对第一个 88 块进行预测编码，得到其率失真代价为块进行预测编码，得到其率失真代价为 RdCost88，然后，然后依次计算第二个、第三个、第四个依次计算第二个、第三个、第四个88 块的率失真代价，如果四块的率失真代价，如果四个个 88子块的率失真代价之和小于子块的率失真代价之和小于 1616 块

10、的率失真代价，则块的率失真代价，则对当前选择对当前选择 1616 的块选择四个的块选择四个 88 块划分类型，否则选择块划分类型，否则选择 1616 块类型，并依照所选块划分类型计算出此块类型，并依照所选块划分类型计算出此 1616 块划分块划分后的代价后的代价 J1616；(5) 然后依照步骤(4)进行第二个 1616 块及其 4 个 88 子块、第三个 1616块及其 4 个 88 子块、第四个 1616 块及其 4 个 88 子块的划分并分别依照所选块划分类型计算出 1616 块划分后的率失真代价 J1616；(6) 如果当前 3232 的四个1616 子块的率失真代价之和小于 3232

11、 块的率失真代价，则选择四个 1616 块的划分类型，否则选择 3232 块类型，并依照所选块划分类型计算出此 3232 块划分后的率失真代价 J3232；(7) 对第二个 3232 块依照步骤(3)、(4)、(5)、(6)依次执行划分过程，并依照划分类型计算出此 3232 块划分后的的率失真代价 J3232；对第三个、第四个3232 块也执行相同步骤进行划分并计算划分后的率失真代价 J3232；(8) 如果四个 3232 子块的率失真代价之和小于 6464 块的率失真代价，则选择四个3232块的划分类型，否则选择6464块类型，并依照所选块类型计算出此6464块划分后的率失真代价 J6464

12、；至此，6464 树块的块划分过程完成HEVC 帧内预测算法需要对每个 PU 块执行多种预测模式多种预测模式率失真代价的计算，再遍历递归计算所有层次 CU 块的率失真代价，复杂度非常高。降低帧内预测算法复杂度、加快编码速度是 HEVC 目前需要解决的热点问题优化思路：(1)块类型预判断或者提前终止 CU 块的划分(2)缩小模式选择范围缩小模式选择范围(3)优化率失真代价函数，用更简单的方法计算率失真代优化率失真代价函数，用更简单的方法计算率失真代价价原理：根据图像块的纹理复杂度提前对块类型的选择进行判原理：根据图像块的纹理复杂度提前对块类型的选择进行判断，从而避免了一些块的编码，减少帧内预测编

13、码的时间。断，从而避免了一些块的编码，减少帧内预测编码的时间。利用利用SAMD来表征图像块的纹理复杂度。它表示图像块的像素值来表征图像块的纹理复杂度。它表示图像块的像素值与平均像素值之间的差值的绝对值的总和。与平均像素值之间的差值的绝对值的总和。如果如果SAMD值较小，说明该图像块比较平坦，纹理比较简单；值较小，说明该图像块比较平坦，纹理比较简单；如果如果SAMD值较大，说明该图像块比较丰富，纹理比较复杂。值较大，说明该图像块比较丰富，纹理比较复杂。针对针对6464到到88的的CU块，块，可以通过设置上下两个阈可以通过设置上下两个阈值值SAMD_Ts和和SAMD_Tx，由这两个阈值来提前判断由

14、这两个阈值来提前判断最佳的块类型。最佳的块类型。预测残差是指原始图像块和预测块之间的差值。预测残差是指原始图像块和预测块之间的差值。预测残差预测残差的大小在一定程度上能够反映编码后的码率和图像失真度的大小在一定程度上能够反映编码后的码率和图像失真度。SAD值是当前值是当前PU块的所有预测模式中的最小块的所有预测模式中的最小SAD值。值。如果如果SAD比较小，说明当前比较小，说明当前PU块类型效果较好，直接采用块类型效果较好，直接采用当前块类型；当前块类型；如果如果SAD比较大，说明当前比较大，说明当前PU块类型效果不好，需要进一块类型效果不好，需要进一步分块，采用更小的块类型。步分块，采用更小

15、的块类型。对于对于6464到到88的的CU块，块，如果如果SAD小于下阈值小于下阈值SAD_Tx，说明当前类型的预测效果较好，则直接采用当，说明当前类型的预测效果较好，则直接采用当前块类型；如果前块类型；如果SAD大于上阈值大于上阈值SAD_Ts，说明当前块类，说明当前块类型的预测效果不好，则进一步分块，采用更小的块类型。型的预测效果不好，则进一步分块，采用更小的块类型。四个步长四个步长0, 6, 10, 14, 18, 26两个步长两个步长4, 8, 8, 12, 12, 16, 16, 20, 24, 28假如假如 4, 6 ，一个步，一个步长长3, 5 、 5, 7从从3, 5, 7中选择率中选择率失真代价最小的模式失真代价最小的模式CU块划分块划分-哈德变换哈德变换(A) 图像块二维图像块二维 NHT 系数解析系数解析(B) 基于基于 NHT 系数的图像块平坦度检测算法系数的图像块平坦度检测算法(C) HEVC 帧内帧内 CU 块划分快速算法块划分快速算法