（通信与信息系统专业论文）hevc视频编码关键技术研究与实现.pdf

摘要 摘要 h e v c ( h i g he f f i c i e n c yv i d e oc o d i n g ) 是由u - t 的视频专家组( v c e g ) 和 i s o 1 e c 的运动专家组( m p e g ) 联合推出的下一代新视频压缩方案，目标在 h 2 6 4 a v ch i g hp r o f i l e 的基础上进一步提高压缩编码效率。新视频方案支持分 辨率从w q v g a 到1 0 8 0 p 甚至超高清，将在高清电视、家庭影院、数字电视广 播、移动流媒体等多个领域广泛应用。然而高编码效率是以牺牲计算复杂度为代 价的，如何在保证编码性能的前提下提高编码速度，这是新压缩编码方案制定的 难点。 为了降低h e v c 编码算法的复杂度，本文首先研究了h e v c 视频编码的新 编码工具，并针对h e v c 的测试模型t m u c 进行整体的性能测试和关键模块的 技术分析。然后着重针对帧内预测和d c t 变换两个模块的算法做了研究，并在 分析了现有测试模型中这两个模块计算复杂度的基础上提出改进算法。 帧内预测方面，在对标准测试序列进行大量数据统计的基础上，分析了编码 单元的最小平均绝对误差( m a d ) 和编码单元预测类型之间的相关性，提出一种基 于编码单元纹理复杂度的帧内编码单元类型预判决方法。在h e v c 的测试模型 t m u c0 5 上实现该算法，测试结果表明，改进的帧内预测算法在编码质量和码 率基本不变的前提下，与测试模型上原算法相比编码速度提升了大概1 4 5 ； 变换编码方面，研究了现有的d c t i d c t 快速算法，借鉴小尺寸变换单元 的快速算法思想，针对大尺寸变换单元提出改进方案。改进方法是基于变换矩阵 的分解，把l o e f f l e r 快速算法8 点咖d c t 扩展到更高阶删d c t ，最后在 t m u c0 5 测试模型中实现该改进的算法，性能测试结果表明单独的1 6 点 d c t i d c t 速度可以提升2 0 左右，而整个d c t i d c t 模块速度可以提升4 左 右。 关键词：h e v c ；帧内预测；d c t 变换 a b s t r a c t a b s t r a c t h e v c ( h i g l le f f i c i e n c yv i d e oc o d i n g ) i san o v e lv i d e oc o m p r e s s i o ns c h e m e p r o p o s e db yt h ei t u - t v i d e oc o d i n ge x p e r t sg r o u p ( v c e g ) a n di s o i e cm o v i n g p i c t u r ee x p e r t sg r o u p ( m p e g ) h e v ca i m st o s u b s t a n t i a l l yi m p r o v ec o d i n g e f f i c i e n c yc o m p a r e dt oh 2 删ch i g hp r o f i l e t h en e ws c h e m es u p p o r t sd i s p l a y r e s o l u t i o n sf r o mw q v g a u pt o1 0 8 0 pa n du l t r ah d ，a n dw i l lb ca d o p t e do v e ra b r o a dv a r i e t yo fa p p l i c a t i o n ss u c ha sh d t v 、h o m et h e a t e r 、b r o a d c a s t i n ga n dm o b i l e s t r e a m i n gm e d i a , e t e h o w e v e r , t h ec o s to fh i g hc o m p r e s sr a t ei sh i g h e rc o m p u t a t i o n h o wt oi m p r o v et h ee n c o d i n gs p e e do nt h ep r e m i s eo fg u a r a n t e ec o d i n gp e r f o r m a n c e ， t h i si sad i f f i c u l ti s s u ef o rd e v e l o p i n gt h en e wv i d e oc o m p r e s s i o ns c h e m e i no r d e rt or e d u c et h ec o m p l e x i t yo fh e v cv i d e oc o d i n ga l g o r i t h m ，f i r s t l y , t h e n e wc o d i n gt o o l so fh e v ci si n t r o d u c e d ，t h eo v e r r a l lp e r f o r m a n c eo fh e v ci st e s t e d o nt m u c ( t e s tm o d e lu n d e rc o n s i d e r a t i o n ) a n dt h ek e ym o d u l e sa r ea n a l y z e d t h e n r e s e a r c h e si nt h i sp a p e rf o c u so i li n t r a - p r e d i c t i o na l g o r i t h m sa n dd c t a l g o r i t h m s b a s e do nt h ea n a l y s i so ft h ea l g o r i t h mc o m p l e x i t yo ft m u c ，t h ea d v a n c e da l g o r i t h m s a r ep r e s e n ti nt h i sp a p e r f m a l l y i nt h ei n t r ap r e d i c t i o nm o d u l e ，o nt h eb a s i so fl a r g en u m b e ro fe x p e r i m e n t s ，t h e c o r r e l a t i o nb e t w e e nt h em a do ft h el a r g e s tc o d i n gu n i ta n dt h et y p eo fp r e d i c tu n i ti s a n a l y z e d t h e np r e d i c t i o nu n i tt y p ep r e - d e c i s i o na l g o r i t h mf o ri n t r ap r e d i c t i o ni s p r o p o s e da n dt h ea l g o r i t h mi si m p l e m e n t e do nt m u c0 5 e x p e r i m e n tr e s u l t ss h o w t h a tt h ea d v a n c e da l g o r i t h ms a v ea b o u t1 4 5 o ft h ee n c o d i n gt i m ew i t hn e g l i g i b l e l o s so fq u a l i t yc o m p a r e dt ot h eo r i g i n a la l g o r i t h ma d o p t e db yt m u c i nt h et r a n s f o r mc o d i n gm o d u l e ，t h ee x i s t i n ga l g o r i t h mo ff a s td c 聊d c ti s i n v e s t i g a t e d ，t h e nt h en e wp r o p o s a la i m i n ga tl a r g et r a n s f o r mu n i tl e a r n i n gf r o mt h e i d e ao nf a s td 伽d c tf o rs m a l lt r a n s f o r mu n i ti sp r e s e n t e d t h en e wp r o p o s a li s b a s e do nm a t r i xd e c o m p o s i t i o n ，t h el o e f f l e r8 - p o i n td c ta l g o r i t h mi se x t e n d e dt o h i g h e r - o r d e rd c i y i d c t f i n a l l y , t h ea l g o r i t h m i s i m p l e m e n t e do nt m u c0 5 ， e x p e r i m e n tr e s u l t ss h o wt h a tt h ep r o p o s e da l g o r i t h ms a v ea b o u t2 0 i nt h e1 6 - p o i n t n l d c t i d c tf u n c t i o nc o m p a r e dt ot h ec h e n sf a s td c ta d o p t e db yt m u ca n ds a v c a b o u t4 o ft h ee n c o d i n gt i m ei nt h ew h o l ed c t i d c tm o d u l e k e yw o r d s ：h e v c ；i n t mp r e d i c t i o n ；d c t t r a n s f o r m i v 第1 章绪论 第1 章绪论 随着计算机技术、通信技术的进步，人们不仅仅满足于电子邮件、语音等通 话方式，视频通信以其直观、可靠等一系列优点，成为新的应用的需求热点。视 频信号信息量大，需要较高的网络带宽，如一路高清晰度的电视信号( h d t v ) 不 压缩需1 g b i t s ，利用m p e g 2 压缩后仍需2 0 m b i t s 1 1 1 。庞大的数据量仍然是多媒 体发展的主要瓶颈，视频压缩编码通过有效途径最大限度消除视频中的冗余信 息。 近十多年视频编解码技术发展猛进，其标志为多个国际视频压缩标准的制定 和产业化应用。目前国际电信联盟r r u t 的视频专家组v c e g 和国际化标准组 织i s o i e c 的运动专家组m p e g 是两大主要的标准化组织，他们基于不同的应 用需求，分别制定了h 2 6 x 和m p e g x 系列的视频压缩标准。其中h 2 6 x 系列 的视频标准主要应用在实时的视频通信系统；m p e g - x 系列的标准则应用于数字 监控系统、视频存储、广播电视及因特网等领域。2 0 0 1 年1 2 月m p e g 和v c e g 又成立视频联合工作组j v t , , j 定视频编码标准h 2 6 4 a v c ( m p e g - 4 第1 0 部分严 引，结合多种先进的视频编码技术获得比以往各种标准更优越的编码性能。 h 2 6 4 a v c 经过几年的经验积累，新型运动补偿、变换、插值以及熵编码等技术 逐渐成熟。 随着网络技术和终端处理能力的不断提高，人们对现有的标准又提出了新的 要求，希望提供：1 ) 高清；2 ) 3 d ；3 ) 移动无线，满足新的家庭影院、远程监控、 数字广播、移动流媒体等领域的应用，高分辨率视频和超高分辨率视频逐渐成为 未来视频发展的趋势，这就意味着需要处理更大的视频数据量，对通信系统提出 更高要求，需要研究高效的视频压缩编码方法。h e v c ( h i g he f f i c i e n c y v i d e oc o d i n g ) 是两大组织成立的联合小组j c t v c 正在研究的下一代新的视频压缩编码方案， 主要针对高清和超高清的视频图像，h e v c 目标在h 2 6 4 a v ch i g hp r o f i l e 的基 础上，对高分辨率高保真的视频图像压缩效率提高一倍，也就是在保证相同视 频图像质量的前提下，视频流的码率减少5 0 ，高质量高清晰度的视频将给人们 带来新的视觉上的冲击，并将引领一场新的视觉革命，对新视频压缩方案的研究 具有十分重要的理论和现实意义。 h e v c 视频编码关键技术研究与实现 1 1 视频编码标准的发展 视频编码标准的发展历史中主要有h 2 6 x 和m p e g x 两大系列的视频压缩 标准，他们是基于不同的应用需求，各大标准的发展过程如下： 1 ) h 2 6 1 标准 h 2 6 1 1 4 j 是最早提出的视频编码标准，目的在于规范综合业务数字网i s d n 上 的会议电视和可视电话应用中视频编码技术。输出的码率为p x 6 4 k b i t s ( p = 1 ，2 ，3 3 0 ) ，支持c i f ( 3 5 2 x 2 8 8 ) 和q c i f ( 1 7 6 x 1 4 4 ) 两种视频图像格式。 它首次采用了混合编码，及运动补偿预测编码+ d c t 变换的编码架构，这样的编 码方案对以后的视频编码标准产生了深远的影响。h 2 6 1 只允许使用i 帧和p 帧 两种帧模式，帧内编码直接对8 x 8 块d c i 变换，帧间预测采用1 6 x 1 6 的宏块和 整数像素的运动搜索，虽然一定程度上消除了空间和时间冗余，但是压缩比不大。 2 ) m p e g 1 标准 m p e g 1 【5 】是为c d r o m 光盘的视频存储和视频传输订制的，主要针对 1 5 m b p s 速率的数字存储媒体运动图像，在编码前需要对视频图像进行隔行扫 描。m p e g 1 采用与h 2 6 1 相似的编码结构，不同的地方在于多出一个片层 ( s l i c e ) ，如果当前片层出现误码，不会影响下一个片层，可以防止误码在帧内 扩散。另外相比于h 2 6 1 ，该标准多出b 帧模式，采用双向预测编码，b 图像的 引入会造成较大的编解码延时，因此不宜用于实时通信，但是可以提供更好的视 频质量和压缩效率。 3 ) m e p g 2 标准 相继m p e g - 1 之后运动专家组针对数字视频广播、高清电视等高质量视频图 像推出m p e g 2 f 6 】( 视频编码部分是h 2 6 2 ) ，适用于4 - 9 m b i t s 码率范围的运动图 像编码。m p e g 2 第一次提出了“档次 和“等级一的概念，以满足不同图像分 辨率的实际需求。另外在运动估计和d c t 等编码运算中，“帧 和“场 各自分 开运算，并且支持s n r 分级、空间分级、时域分级等多种可分级编码模式，有 更强的实用性。 4 ) h 2 6 3 标准 h 2 6 3 1 7 1 是为了支持码率小于6 4 k b i t s 的通信于1 9 9 6 年月提出的视频压缩编 码标准，主要应用于p s t n 、i s d n 和无线网络。它除了支持h 2 6 1 支持的c i f 2 第1 章绪论 和q o f 采样格式外，还可以支持s u b q c i f 、4 c i f 和1 6 c i f 多种视频图像格式。 在技术上，h 2 6 3 是对h 2 6 1 的改进和扩充，采用了半像素精度的运动矢量搜索， 采用双线性内插获得预测值，但此时还不具备环路滤波功能：增加了非限制运动 矢量模式、高级预测模式、p b 帧模式和基于语法的算术编码模式等多个高级选 项，进一步降低码率并提高编码的质量。 5 ) m p e g - 4 标准 m p e g 4 【8 l 标准于1 9 9 9 年正式推出，它更多地注重多媒体系统的交互性和灵 活性，对多媒体内容给予内容检索和访问的功能，增强多媒体的应用价值。 m p e g - 4 首次提出了视听对象a v o 的概念，对每个视频图像用运动、形状和纹 理三类信息来描述，提高了视频通信的交互能力和编码效率。技术上m p e g - 4 还应用小波变换、形状编码、自适应d c t 等新技术。但是由于基于内容的视频 编码技术还不完善，还有极高的专利许可收费等问题，目前该标准还没得到很普 遍地推广应用。 6 ) h 2 6 4 标准 h 2 6 4 9 标准的提出开始只是针对甚低比特率的视频压缩，但是实验结果表 明在任意速率范围内h 2 6 4 都有惊人的压缩效果，而且具有良好的网络适应性， 在视频通信的压缩存储领域的应用日益广泛。h 2 6 4 在原有的混合编码的框架下 引入了新的编码方式，比如更多的宏块划分割模式、空域的帧内预测、1 4 像素 精度的运动补偿、支持多参考帧的帧间预测，还有去块效应滤波、整数的离散余 弦变换、熵编码等技术这些都极大提高了编码效率。 1 2 新视频编码方案的研究现状 随着h 2 6 4 a v c 中各项新技术的逐渐成熟，人们对更高质量的视频的需求 也日益迫切，要求更高色彩逼真度和清晰度，为此i t u - t 视频编码专家组在混合 编码的框架内继续对h 2 6 4 压缩编码技术进行改进，研究各种新型的编码工具并 开发了一个与之相适应的软件实验平台称为k t a ( k e yt e c h n i c a la r e a ) 。k t a 1 j 软 件平台是基于h 2 6 4 的j m l l ，目前通过k t a 检测的新编码工具有2 d 非可分离 自适应内插滤波器；可分离自适应滤波器；方向性自适应滤波器；1 8 像素精度 的运动补偿；空间域和频域中自适应预测误差编码；自适应量化矩阵的选择；基 3 旺v c 视频编码关键技术研究与实现 于竞争的运动矢量选择。后续又有更多的新工具被加进来如比特深度增加 ( i b d b ) 1 0 l 、基于四叉树的自适应环路滤波( q a i 酬1 1 l 等。 针对下一代的视频压缩编码新方案，v c e g 和m p e g 成立联合小组j c p l c 于2 0 1 0 年4 月召开第一次会议，确定新的视频编码方案称为h e v c ，并且建立 了测试模型( t m u c ) ，成立了a dh o c 小组，分领域搜集和审阅技术提案，并 初步定于2 0 1 2 年7 月完成标准的最终稿。随后在同年的7 月和1 0 月又相继召开 两次会议，更多的提案在会议上提交。 收到的提案提出的方案主要是在原h 2 c 的编码框架上，提出更先进 的改进技术，包括扩展的编码单元尺寸、基于块的更灵活的帧间帧内预测方式、 大尺寸块的变换、新的熵编码方法、更加复杂的内插滤波器等。一部分方案是从 k t a 和h 2 6 4 a v c 借鉴过来，例如自适应插值滤波( a i f ) 、自适应环路滤波 ( 舢、基于模式的方向变换( m d d t ) 和量化等。 1 3 本文研究的意义和主要内容 h e v c 优异的压缩性能、更高清晰度的视频质量和网络友好性及安全性，使 得该视频编码方案可以满足新的家庭影院、远程监控、数字广播、移动流媒体等 多个领域的应用，并且适应各种类型的网络：i n t e r n e t 、l a n 、m o b i l e 、i s d n 等， 在各领域都有广泛的应用价值。然而优异的压缩性能是以牺牲计算复杂度为代价 的，j c t v c - a 1 2 4 1 1 2 l 中的统计数据表明，当采用l 帧和p 帧的数量比为1 ：3 2 时， 对分辨率为8 3 2 x 4 8 0 的序列r a c e h o r s e s 编码3 0 0 帧平均需要花费1 8 0 6 个小时， 平均到每一帧编码需要花费2 1 6 7 2 秒，对于更高分辨率的视频图像需要更长的 时间，可以看出提高压缩性能所牺牲的计算复杂度的代价是巨大的，因此对于保 证编码性能的前提下如何降低复杂度的研究是很必要的。 本文以h e v c 的测试模型t u m c0 5 为主要研究对象，在对现有草案提出的 新编码工具进行深入研究的基础上，针对t m u c 几个关键模块的算法复杂度进 行分析，并重点对帧内预测和d c t i d c t 变化两个模块进行算法的改进优化。对 于帧内预测的改进主要是在大量数据统计的基础上，分析了编码单元的纹理复杂 度和编码单元预测类型之间的相关性，由此提出一种基于编码单元纹理复杂度的 帧内编码单元类型预判决方法。对d 铡i d c t 变换的改进主要是基于变换矩阵的 4 第1 章绪论 分解，把l o e f f l e r 快速算法8 点d c t i d c t 扩展到更高阶d c t i d c t 。两种改进 的方法都有效降低了算法复杂度，缩短了编码的时间。 根据研究的内容，本文一共由五部分组成，每部分的具体安排如下： 第1 章，绪论部分，简要介绍了一下视频编码标准的发展历史和新的视频压 缩编码方案的研究现状，阐述了本文的研究意义和主要内容。 第2 章，介绍h e v c 视频整体编码方案，详细介绍h e v c 的关键技术，并 对髓v c 的测试模型t m u c 进行性能评测和分析。 第3 章，介绍h e v c 帧内预测编码的原理，对现有的帧内预测快速选择算 法进行研究，在分析t m u c0 5 帧内预测模式的快速选择算法基础上提出改进方 案。分析了编码单元的最小平均绝对误差( m a d ) 和编码单元预测类型之间的相关 性，提出一种基于编码单元纹理复杂度的帧内编码单元类型预判决方法。后期实 现改进的快速算法并对该算法进行性能测试。 第4 章，介绍了咖d c r 变换的原理，分析了现有的d c t i d c t 快速算 法，并基于l o e f f l e r 算法对大尺寸变换进行矩阵分解，具体分析算法原理，最后 对改进方案进行性能测试。 第5 章，总结与展望，总结主要工作内容及本文的研究成果，并提出下一步 的研究工作。 5 h e v c 视频编码关键技术研究与实现 第2 章h e v c 视频编码方案 2 1 h e v c 的主要特征 下一代的视频编码方案h e v c 是由i s o i e cm p e g 和u tv c e g 联合成 立了j c t - v c 共同商讨制定的，目前最终标准的制定工作仍在进行中。h e v c 新 视频编码方案依然沿用m p e g x 和h 2 6 x 系列采用的混合编码框架。帧间和帧 内预测编码：消除时间域和空间域的相关性。变换编码：对残差进行变换编码以 消除空间相关性。熵编码：消除统计上的冗余度。h e v c 将在混合编码框架内， 着力研究新的编码工具或技术，提高视频压缩效率，相较于以往的视频编码技术， 将会有更多的优越性： 1 ) 压缩效率更高：新一代视频压缩方案的核心目标是在h 2 6 4 a v ch i g hp r o f i l e 的基础上，对高分辨率高保真的视频图像压缩效率提高一倍。即在保证相同视 频图像质量的前提下，视频流的码率减少5 0 。 2 ) 视频质量更高：h e v c 主要是针对新一代高清晰度电视显示器和内容捕获系 统，分辨率从w q v g a ( 4 1 6 x 2 4 0 ) 至u1 0 8 0 p 甚至超高清，在噪声水平、色域和动态 范围等性能指标上提高图像的质量。 3 ) 健壮性更好：高压缩后的视频信息在i p 网中容易出现误码，新的编码方案 h e v c 有更好的健壮性，抗误码能力更强。 4 ) 对m 网络的友好性好：未来业务的多样性( 客户机服务器的点到点业务，多 点到单点、多点对多点分布式业务、对等一对等即p e e rt op e e r 业务) 要求口网络 要有很好的适应。还要考虑对不同的业务( 视频、音频、数据) ，口网都具有良好 的友好性，不能在全部流量中只考虑视频。 6 第2 章i i e v c 视频编码方案 2 2h e v c 的关键模块介绍 图2 - 1h e v c 测试模型编码器框架图 本节以h e v c 的测试模型t m u c0 5 为重点研究对象，具体介绍t m u c 中 关键模块的改进技术，图2 - 1 给出了t m u c 中编码器的一个框架图，各个模块 使用的改进技术在每个模块旁边注明。t m u c 使用的新型编码工具是在提案 j c t v c - a 1 2 4 【1 2 l 的基础上进行部分修改，其中删除了一些如帧内的c c c p ( c o l o r c o n e i s i o nb a s e dc h r o m ap r e d i c t i o n ) 、帧间m v a c ( m o t i o nv e c t o ra c c u r a c y c o n t r 0 1 ) 、等编码工具，添加了c i p ( c o m b i n e di n t r ap r e d i c t i o n ) 帧内预测技术，具 体每个编码工具改动可以参考t m u c0 5 【1 3 l 中配带的说明文档，这里不一一说 明。 新型的视频压缩方案对于单元块的描述采用高度灵活的层次结构，一共包括 三种单元结构：编码单元( c = u ) 、预测单元块( p u ) 和变换单元( t u ) 。这样把区块分 成三个独立的结构更有利于每种类型的块根据各自不同的作用分别进行优化，比 如t u 的单元结构用在变换和量化阶段，那么针对d 铡l d c t 做优化的时候就可 以针对t u ，对每种尺寸的t u 提出改进方案。同时为了与这样的层次结构相适 应，其他的编码技术也相应改进，比如变换单元的尺寸扩展到6 4 6 4 、帧内预测 针对不同尺寸的预测单元可以支持任意方向的预测，引入c u 、p u 和t u 概念以 后去块滤波对边界的定义也相应发生变化等等。所有这些新技术与新的区块划分 相结合，有效地提高了编码效率。下面对 e v l u c 中几个关键模块所用到的几种 7 簪 f i e v c 视频编码关键技术研究与实现 新技术分别进行介绍。 2 2 1 单元定义 t m u c 测试模型为单元块引入新的描述方式，将图像块分成三种区块：c u 、 p u 和t u ，同时最大编码单元( u ) 的尺寸也扩展到6 4 x 6 4 。下面具体介绍一下 这三种区块： 1 ) 编码单元( c 忉 一帧图像由多个片组成，每个片又由一系列的最大编码单元( l c u ) 构成， l c u 的大小在s p s 或者片头中定义。图( 2 2 a ) q a 示了一个l c u 的分裂方式， 当标志位s p l i t _ f l a g 为1 时，一个c u 就可以分裂成四个c u ，分裂的次数由深度 d e p t h 决定。例如l c u 大小等于6 4 时，最大的深度等于3 ，那么就可能有4 种 c u 尺寸：6 4 x 6 4 、3 2 x 3 2 、1 6 x 1 6 和8 x 8 。这种c u 的四叉树结构可以通过l c u 、 d e p t h 和s p l i t _ f l a g 三个语法元素来共同描述。 2 ) 预测单元( p u ) 与c u 相关的另一种区块是p u ，p u 由c u 分裂而来，不同的预测模式( 帧 内、帧间、s k i p ) 选择不同的分裂方式。图( 2 2 b ) 显示了一个2 n x 2 n 的c u 在三种 模式下各自的分裂情况。s k i p 作为一种特殊的帧间模式，残差信息和运动信息均 为空，因此没有分裂的必要，只有2 n x 2 n 一种分块。帧内模式有2 n x 2 n 和n x n 两种分裂方式，帧问模式则有8 种分裂方式，4 种非对称和4 种对称，定义这样 多种的尺寸可以更好地描述p u 内部的物体边界信息，这样对不规则边界的物体 可以更有效地编码。定义p u 之后，所有与预测有关的信息就都是以p u 为基础， 比如帧内预测的方向，m v d 等。 3 ) 变换单元( t t 0 在后面的变换和量化过程中定义了另一种新的区块t u ，需要注意的是t u 的尺寸可以大于p u ，但是不能超过c u ，这与以往视频标准中规定的有所不同。 当然t u 的尺寸也不是任意的，对于c u 一旦它的p u 结构定下来，t u 只有两种 分割选择，由语法元素t r a n s f o r mu n i ts i z ef l a g 来判断。当f l a g 为0 时，t u 的尺 寸与其所属的c u 尺寸一样，否则t u 的尺寸分割为n x n 或者n 2 x n 2 ，要根据 p u 的尺寸来决定，如图2 3 所示，当p u 为2 n x 2 n 、2 n x n 、n x 2 n 和n x n 时， 8 第2 章脏v c 视频编码方案 t u 以n n 的尺寸分割；当p u 为2 n x n u 、2 n n d 、n l 2 n 和n r n 时，t u 以 n 2 n 2 的尺寸分割。对于低复杂度结构( l c ) 和高效率结构( 髓) 从c u 到1 u 有 不同的分割深度方式。对于l c ，从c u 到t u 分裂的最大深度为两级，而对于 h e 最多可以达到三级，每一级的分裂由语法元素f l a g 的值决定。t u 支持从4 4 到6 4 6 4 不同尺寸的变换，对于色度分量还可以支持2 2 的变换。 撕目霭| ；龠 嚅e-3cus t z e - 3 ii 烈百c u 霭| | i i ii ：h i n i 。1 6 l 二j 曰昭1 日一| 日田 ( b ) 图2 - 2 块分割结构图 n0 ；， n 1 2 n 一上一 23 t m m g o 们u n i t 妇f i - g - 0t m n t f o n nu n i t s i z e 呐t 1 1 1 ) 2 1 虹2 n 。2 n x n n x 2 n n x n 渊 。 2 n 世 t r a n s f o r mu n i ts i z ef 均_ ou m t f e n nu n i ts i z e 呐- 1 c o ) 2 m u ，2 1 哂( n d 州妇州n 两酣曩 图2 - 3 t u 尺寸分割示意图 西 ：皿目一 一口目|一田一日一日洲田 群 辫 苷 罾 唧c 视频编码关键技术研究与实现 2 2 2 帧内预测 ， 帧内预测是利用相邻像素的空间相关性，根据相邻已编码的块预测当前块， 只对预测的差值编码，消除空间冗余度。对于较平坦的图像区域，帧内预测可以 用较少的比特数表示块信息，大大提高编码效率。 为了提高帧内预测的准确性，t m u c 提供了3 4 种方向预测模式，不同尺寸 的p u 对应的预测模式如表2 1 所示。大尺寸的预测单元适用于平坦区域图像编 码，小尺寸则用于细节丰富的图像编码。下面以3 2 3 2 为例介绍各种方向预测模 式。图2 _ 4 显示了3 2 x 3 2 预测单元的各种预测模式，射线表明了每种模式的预测 方向，预测像素就是由某个预测方向上的参考像素加权平均得到。每个预测方向 对应的预测模式索引如表2 - 2 所示。对于色度块的搜索，不同尺寸的预测单元最 多有5 种预测模式，其中4 种是最基本的模式( 水平、垂直、d c 和v e r - 8 ) ，最 后一种选自亮度的最优预测模式，如果该模式是4 种基本模式之一，那么该色度 块的预测模式有4 种。 在各种帧内预测模式中，有两列的预测参考像素，分别位于当前p u 的上面 和左面，根据预测的主导方向( 水平或垂直) 选择其中一列为主列( m a i n a r r a y ) ，另 外一列为侧列( s i d ea r r a y ) 。如果方向为垂直，那么当前p u 上面的参考像素为主 列，左边的参考像素为侧列；若方向为水平，当前p u 左边的参考像素为主列， 左边的参考像素为侧列。 当帧内预测角度为正时，如图2 4 中实线所示，只选择主列作为参考像素， 当预测角度为负值时，如图2 4 虚线所示，p u 内的每个像素都需要检验其参考 像素要取自主列还是侧列。对于需要取侧列做参考像素的情况，获取参考像素索 引的过程涉及到除法操作，为了简化这一过程，根据预测方向把侧列上的参考像 素扩充到主列上，这样获取侧列参考像素索引只需通过简单的移位取整实现。图 2 5 显示了简化后的v e r - 8 预测模式。 表2 - 1 各尺寸p u 预测模式 p u 尺寸预测模式数量预测模式 4 1 搿1 7m 1 6 8 x 83 40 - 3 3 1 6 x 1 63 40 3 3 1 0 第2 章h e v c 视频编码方案 l 3 2 x 3 23 4o 3 3 i 6 4 x 6 45o _ 4 l 表2 - 2 预测模式索引与预测方向 模式0l2345678 方向瞅h o rd cv e r 8 叨豫4嗽卅瓣馏 h o r 一4h o r + 4 模式 91 0l l1 21 31 4 1 5 1 61 7 方向 h o r + 8己_ 6v e r 2v e r + 2 v e r + 6h o r 缶h o r 2h o i h - 2h o r + 6 模式 1 81 92 02 12 22 32 42 52 6 方向v e r 7v e r - 5v e r 3r - lv e r + lv e r 十3v e r + 5 v e r + 7h o r 7 模式 2 72 82 93 03 l3 23 3 方向h o r 5h o r 3h o 艮1h o r + lh o i h - 3h o r + 5h o r 十7 、腿 v e r - 8v e r - 7 v e r - 6v e r - 5v e r - 4v e r - 3v e r - ：v e r - iv e r + v e r + 2v e r + 3v e r + 4v e r + v e r + 6v e r + 7v e r + 8 h o r 8 h o r 7 h o m h o r 5 h o r 4 h o r - 3 h o r 2 h o r 1 h o r h o r + l h o r + 2 h o r + 3 h o r + 4 h o r + 5 ， ”o r + 6 。 ，j ，j ， h o r + 7 h o r + 8 ， 图2 43 2 3 2 块的预测方向 l l ， ， ， ， t 一 ， 一 ， ， ， ， ， ， ，t r ，一 ， r ，j j-，- r ， ， ， ， 联v c 视频编码关键技术研究与实现 2 2 3 帧问预测 四! 面要工互蜀 爪 e x t e n s i 怕o n o f main心merence b y c o p y 旧f r o m s i d e r e i n 心 抛ii i 图2 - 5 y e r - 8 帧内预测 把图像分成若干块，设法搜索出每个块在邻近帧图像中的位置，并得 出两者之间的空间位置的相对偏移量，得到的相对偏移量就是运动矢量， 得到运动矢量的过程被称为运动估计。在此过程中，运动矢量的精度越高， 运动估计的残差越小，在降低编码效率的同时提高了重建视频的质量。在 h 2 6 4 a v c 中亮度成分采用1 4 像素精度，色度成分采用1 8 像素精度，半 像素点通过整数像素点进行6 抽头f i r 滤波器得到，l 4 像素点则在半像素 的基础上通过线性内插得出，1 8 像素也同样通过整像素的线性内插获得。 t m u c 使用与h 2 6 4 相同的像素精度，不过在获得相应精度的像素上 采用新型的滤波器。亮度像素的内插采用基于d c t 的1 2 抽头内插滤波器 实现，新型的滤波器可以通过选取不同的滤波器系数自适应地获得1 2 或 1 4 不同精度的像素。色度成分的1 8 像素则采用线性内插滤波器实现。 基于d c t 的1 2 抽头内插滤波器的实现如图2 - 6 所示，处于与整数像素点同 一水平位置的半像素或1 4 像素通过水平方向的整数像素内插得到，比如像素点 如b ，c 可以由以下的得到： 口= s u m x = - 5 6 三似y ) x f ( y , 1 4 ) b = s u m x = - 5 6 ，三“y ) x f ( y ，2 4 ) ( 2 - 1 ) c = s u m x = - 5 6 ，工( x ，y ) x f ( y ，3 4 ) 其中y - - o ，对处于与整数像素点同一垂直位置上的半像素或1 4 像素点通过 垂直方向的整数像素内插得到，比如像素d , h , n 可由以下公式得到： 第2 章h e v c 视频编码方案 d ( x ) - 鼬加 ) ，一- 5 “6 , l 0 ，) ，) 厂( y ，1 4 ) h ( x ) - 朋o 一- 5 “6 , l ( x ，y ) f ( y ，2 4 ) ( 2 2 ) n ( x ) - & 册 ) ，一- 5 “6 , l o ，) ，) ，( ) ，3 4 ) 其中x = 0 ，为了获得其他位置上的像素点比如e , f , g 要先通过内插方法先获得 同一水平位置上d o ，d 1 ，d 2 ，d 3 ，d 4 ，d 5 的像素值，再由以下公式获得： e s u m x1 - 5 “6 ，d o ) f ( y ，1 4 ) 厂一s u m x 一- 5 6 , d o ) ) f ( y ，2 4 )( 2 - 3 ) g s u m x 一- 5 6 , d o ) f ( y ，3 4 ) 像素点i ，| j ，l 【 p ，q ，r 按照同样的方法获得，至此所有半像素和1 4 像素位置都可 以由该滤波器取得。上述公式中f o 4 ) ，f ( 2 4 ) 恭1f ( 3 4 ) 表示基于d c t 的1 2 抽头滤 波器在1 4 ，2 4 和3 4 位置上的系数，各个位置上的系数如表2 3 所示。 n 厂 i _ j 斟 d h n 图2 - 6 基于d c t 的1 2 抽头内插滤波器 一t一_i止 -|怛悟广怛 1ll 一伽一出一h m一一 囤剧目 髓v c 视频编码关键技术研究与实现 表2 - 3 基于d c t 的1 2 抽头滤波器系数 位置滤波器系数 1 4 1 - 1 ，5 ，1 2 ，2 0 ，- 4 0 ，2 2 9 ，7 6 ，3 2 ，1 6 ，- 8 ，4 ，一1 2 5 6 2 4 - 1 ，8 ，- 1 6 ，2 4 ，- 4 8 ，1 6 1 ，1 6 1 ，- 4 8 ，2 4 ，- 1 6 ，8 ，一1 2 5 6 3 4 - 1 ，4 ，- 8 ，1 6 ，- 3 2 ，7 6 ，2 2 9 ，- 4 0 ，2 0 ，一1 2 ，5 ，一1 ) 2 5 6 2 2 4 整型变换 整型变换把经运动补偿或帧内预测得到的残差从空域转换到频域，减少空间 冗余，提高传输效率。在原有的h 2 6 4 a v c 标准中，d c 系数采用4 x 4 矩阵( 1 6 x 1 6 模式) 、色度系数采用2 x 2 的矩阵，三种方式对应不同的变换核。在高分辨率的 视频图像中，清晰度可以高达7 6 8 0 x 4 3 2 0 ，这样的分块模式需要进行大量的整型 变换，编码器速度受到限制，因此新的视频方案提出新的变换方法。 1 ) 大尺寸的变换块 对于平坦的图像，大尺寸的变换块更有利于提高d c t 系数的集中性，减小 后面的量化误差。高分辨率的视频序列中，一个变换块只表示某个运动物体或图 像背景中很小的一部分，因此一个变换块通常会有相同的质地而没有太多变化。 这样，在高分辨率的图像中使用大尺寸的变换块可以很好地提高压缩效率。 t m u c 采纳了1 6 x 1 6 、3 2 x 3 2 、6 4 x 6 4 这些更大变换块尺寸，使变换更灵活效果 更显著。 对这些大尺寸变换块的运算，统一采用c h e n i l 4 】的快速d c t 算法，这种算法 具有规则的蝶形结构，在软件上更容易实现，并且适用于各种尺寸的块。与 h 2 删c 的4 x 4 变换类似，蝶形结构流程图上的浮点乘法因子都被近似为定点 运算，比如把这些浮点数转换为p 2 q 形式，在变换过程中只需要加法和移位实 现。经过近似的变换核不再是真正的正交矩阵，但是在压缩性能方面不会产生太 多负面影响，而且可以很好地完成图像重建，同时大大降低运算的复杂度。 2 ) 基于帧内预测模式的方向变换( m d d t ) 视频图像编码中d c t 是最常用的变换方法，但是对于某些残差信号d c t 并 不是最优的变换，比如某些方向性很强的残差信号，经过d c t 变换后系数的集 1 4 第2 章h e v c 视频编码方案 中性比较差，会产生很多的非零系数。章弘【1 5 】等人有采用对图像块进行旋转预 处理方法，把图像的边界方向转到水平或垂直再d c t ，但是图像块旋转后会出 现变形，需要通过重采样生成新的块，造成图像内容的失真。草案引入方向变换 核的方案，把帧内预测与d c