（通信与信息系统专业论文）基于h264的变换和量化技术的研究与实现.pdf

摘要 h2 6 4 是最新的视频编码标准，它采用多种先进的编码技术，在大幅度提高 编码效率的同时增强了抗误码能力和网络适配性。对h2 6 4 标准的研究具有十分 重要的实际意义，它有助于我们进行视频压缩编码、多媒体通信以及网络性能优 化等方向的研究。 本文对h 2 6 4 视频编码器的原理和实现方法进行了深入的研究，在给出h2 6 4 基本编码算法的基础上，详细讨论了变换、量化部分的编解码原理和实现方法。 为了实现视频编码器的实时处理，本文还引入了提高编码速度的一些实现策略如 零判决等。在此基础上，本文在适合并行指令运算的变换和量化部分引入了m m x 技术，进一步提高编码速度。 最后对文中给出的提高编码速度的方法进行了计算机模拟，并与h2 6 4 基本 编码算法做了相应的比较。实验结果表明，经过改进和优化以后，h2 6 4 编解码 器的运行速度得到了大幅度的提高。 关键词：h2 6 4 视频编码变换曩化咖x a b s t r a c t t h el a t e s tv i d e oc o d i n gs t a n d a r dh 2 6 4h a si n t r o d u c e dan u m b e ro fa d v a n c e d v i d e oc o d i n gt e c h n i q u e s i tp r o v i d e ss i g n i f i c a n t l yb e t t e rv i d e oc o m p r e s s i o ne f f i c i e n c y t o g e t h e rw i t ht h ee n h a n c e da b i l i t yo f e r r o rr e s i l i e n c ea n dn e t w o r k a d a p t a t i o n r e s e a r c h o nt h eh 2 6 4v i d e oc o d i n gs t a n d a r di so f g r e a ti m p o r t a n c e i nm a n yf i e l d ss u c ha sv i d e o c o m m u n i c a t i o n ，v i d e oc o m p r e s s i o nc o d i n g ，m u l t i m e d i ac o m m u n i c a t i o na n dn e t w o r k p e r f o r m a n c eo p t i m i z a t i o n i nt h i sp a p e r , t h ea u t h o rd e e p l ys t u d i e st h et h e o r ya n di m p l e m e n t a t i o nm e t h o d so f h2 6 4v i d e o c o d i n gs t a n d a r d b a s e do nt h ei n t r o d u c t i o nt oh 2 6 4v i d e oc o d i n g ，t h e p r i n c i p l ea n dr e a l i z a t i o no f t r a n s f o i t oa n dq u a n t i z a t i o na r ed i s c u s s e di nd e t a i lf o rt h e r e a lt i m e p r o c e s s i n go fv i d e os i g n a l ，s o m em e t h o d ss u c ha s e a r l y t e r m i n a t i o n b y d e t e c t i o no fz e r ob l o c k sa r ei n t r o d u c e df o rs p e e d u pa n do p t i m i z a t i o ni nt h ep a p e ra n d s o m e t e c h n i q u e s s u c ha sm l v l x t e c h n o l o g y a r ea l s o a d o p t e d i nt r a n s f o r ma n d q u a n t i z a t i o nt os p e e du pc o d i n ga n dd e c o d i n gp r o c e s s a c c o r d i n g t ot h ee x p e r i m e n t a lr e s u l t so f c o m p u t e r s i m u l a t i o nt h eo p t i m i z e dh2 6 4 v i d e oc o d i n gm e t h o d sh a sas p e e da d v a n t a g eo v e rt h eo r i g i n a lo n e k e y w o r d ：h 2 6 4v i d e oc o d i n g t r a n s f o r m q u a n t i z a t i o n m m x 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均己在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：惠砝 日期- 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生 在校攻读学位期间，论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在 解密后遵守此规定) 本人签名： 导师签名： 辜谚 霈，昨 日期口彩 日期护弘么 第一章绪论 第一章绪论 1 1 引言 随着多媒体技术和计算机网络的迅速发展，越来越多的视频业务不断涌现， 如视频广播、视频会议、h d t v 等等。这些业务直接促成了各种视频编码标准的 诞生，并不断激励着人们对标准化建议进行研究和改进。本论文的研究对象就是 最新的视频编码标准- - h 2 6 4 ，并在其基础上重点对变换量化技术进行了研究。 目前视频编码标准的制定工作主要由i s o 和i t u t 两大国际组织机构负责。i t u t 的建议标准h 系列( 如h 2 6 1 、h 2 6 3 等) 主要用于实时视频通信，如视频电视 会议、可视电话等。而i s o i e c 的建议标准m p e g 系列( 如m p e g - 1 、m p e g 一2 、 m p e g - 4 等) 主要用于数字电视广播、d v d 等。1 9 9 8 年，视频编码专家组( v c e g i t u ts g l 6q6 ) 开始了h 2 6 l 标准的研制工作，旨在将编码效率比现有的视 频编码标准提高一倍以上。2 0 01 年1 2 月，v c e g ( v i d e o c o d i n ge x p e r t sg r o u p ) 与运动图像专家组( m p e g i s o i e cj t c1 s c2 9 w g1 1 ) 合作，成立了联合视频 小组j ( j o i n tv i d e ot e a m ) ，开始致力于完成新的视频编码标准h 2 6 4 a v c 。 i t u - t 称之为h 2 6 4 ：i s o 称之为a v c ( a d v a n c e dv i d e oc o d i n g ) ，作为m p e g - 4 标准的第十部分。它的一个显著特点是将系统分为两个独立的层，即：视频编码 层v c l ( v i d e oc o d i n gl a y e r ) 和网络提取层n a l ( n e 啪r k a b s t r a c t i o nl a y e r ) 。视频 编码层的主要任务是用高效的方式表述视频数据，也就是进行视频数据的压缩： 网络提取层则主要是根据网络的特性对数据进行封装打包，使其适于网络传输。 本文主要讨论视频编码层的有关内容。 与许多现有的视频编码标准类似，h 2 6 4 是一种混合视频编码方法，采用基于 块的运动补偿和变换编码技术。它还采用了大量先进的编码技术以提高压缩效率， 增强抗误码性能和网络适配性。它既可以很好的应用于实时通信( 如视频会议， 可视电话等) ，也可以很好地工作在很多对时延没有特殊要求的场合( 如视频存储 和以服务器为基础的视频流式应用等) 。事实上，h 2 6 4 的应用还将覆盖更多应用 领域，包括低比特率的无线多媒体、各种分辨率的视频广播、i n t e m e t 上的视频流 媒体、高分辨率d v d 视频传输以及数字影院中的高质量视频等i ”。可以说，h 2 6 4 是新一代的视频编码标准，它具有优良的性能和难以估量的发展潜能，必将在今 后的网络多媒体和视频传输中广为应用。因此对h 2 6 4 标准的研究具有重要的意 义，它将有助于我们对视频压缩方法、多媒体通信，以及网络性能优化等的研究。 本文将对基于h 2 6 4 标准的低比特率视频软件编解码器进行研究，重点研究 其中的变换、量化等部分，主要工作集中在提高编码效率和编解码速度上。为实 基于h2 6 4 的变抉与量化技术的研究与实现 现视频序列的实时编码，所研究的基于h 2 6 4 的视频软件编码器的技术指标是： 要求在l q l l 7 0 0 m t - l z 的计算机上实现变换和量化模块并将消耗的时间控制在1 5 m s 以内：在编码端的运动补偿部分引入零判决，提高编码效率。 全文的内容安排如下： 第章、介绍h 2 6 4 标准和基于h 2 6 4 的编解码器的应用和设计特点。并给 出本文所要研究的视频软件编码器的技术指标，明确主要研究方向。 第二章、详细分析h 2 6 4 视频编码层的基本编码算法，然后在这个基础上讨 论提高编码器编码效率的编码方法及其性能。 第三章、研究提高编码器运算速度的方法：首先分析了h 2 6 4 视频软件编码 器中低复杂度的变换和量化的设计原理和具体实现方法，接着提出其快速实现策 略，并引入m m x 技术。 第四章、给出提高编码器编码效率和运算速度的计算机模拟实验结果，著得 出相应的结论。 1 2h 2 6 4 编码标准简介 1 2 ih 2 6 4 基本编码算法 h 2 6 4 编码器如下图所示o i ，它包括了两个数据流路径：前向路径和重建路径。 解码器的数据流路径是由右向左显示的，以便显示编解码器的相似之处。 + 职络提取层 图1 1h 2 6 4 编码器 l 、编码器( 前向路径) 在编码端，只表示当前输入帧。帧以宏块为单位进行处理( 对应原始图像的 1 6 1 6 个像素) 。每个宏块都按帧内或帧间模式进行编码。在任何一种情况下。 第一章绪论 都由重建帧得到一个预测宏块p 。在帧内模式下，p 是由当前帧第n 帧中已 进行编码、解码和重建的采样点构建的( 在图中用，表示，p 由未滤波的采样 点构建) 。在帧间模式下，预测宏块p 由一个或多个参考帧通过运动补偿预测进 行构建。在图中参考帧是作为已编码的帧f 。出现的。每个宏块可由一个或多个 已经进行编码和重构的前帧或后帧( 以时间为顺序) 预测得到。 将预测宏块p 从当前宏块中减去，得至一个残差宏块d 。，并对它进行变换、 量化后得到x 。对变换系数x 重新排序而后进行熵编码。熵编码后的系数与附加 信息用来从压缩的比特流中解出宏块( 比如宏块的预测模式、量化步长、运动矢 量信息等等) 。这些都被递交给网络提取层( n a l ) 进行传输或存储。 2 、编码器( 重建路径) 量化后的宏块系数x 被解码，用来重建一个帧，进而对下一个宏块进行编码。 系数x 经过再次伸缩和反变换，得到残差宏块d 。它与原来的残差宏块d 。已经 不同，量化的过程带来了精度上的损失，所以d 。l 较d 。有失真。 预测宏块p 与d 。相加得到一个重建宏块 f 。( 对原宏块的恢复，有失真) 。 用滤波器去除块效应，重建的参考帧由一系列的宏块f 构建。 网络提取层 图1 2 h 2 6 4 解码器 3 、解码器 解码器从网络提取层接收压缩的比特流。对数据元素进行熵解码、重排序， 得到一组量化后的系数x 。而后再对x 进行伸缩和反变换，得到d ( 它与编码 器中所示的d 。相同) 。解码器用从比特流中解出的头信息，构建预测宏块p ，它 与编码器中的预测宏块p 相同。p 与d 。相加得到弘f 1 。，再经过去方块滤波得到 重建解码宏块f 。 从图和以上的论述中我们可以看出，编码器中的重建路径是为了确保编码器 与解码器使用相同的参考帧构建预测宏块p 。否则编、解码器中的预测宏块p 将 会不同，从而导致编解码器之间的误差累积和“漂移( d r i f t ) ”现象。 此外h 2 6 4 标准中还支持数据分割( d a t a p a r t i t i o n ) ，即将各个宏块中的同种 类型数据集中放在一起传输。例如：可以将一个s l i c e 中所有宏块的直流系数放入 基于h 2 6 4 的变换与量化技术的研究与实现 一个包，所有运动矢量放入另一个包，剩余的数据放入一个包。这样在传输出错 的情况下，有利于解码端进行误码掩盖。 l _ 2 2h 2 6 4 的应用和设计特点 h 2 6 4 的设计涵盖了视频编码层( v c l ) 和网络提取层n a l ) 。前者设计如 何高效的表达视频内容；后者则将v c l 的视频表示法格式化并提供头信息，使其 适用于不同的传输层或存储介质。 相对于以前的视频编码方法，h ，2 6 4 的一些突出特点增强了编码效率，它包 含以下几项增强的性f 毙t 3 1 t 4 i ： o 包含小块且大小可变的运动补偿：h 2 6 4 标准比以前的任何标准在运动补偿 块的大小和形状的选择上都更为灵活。它最小的亮度运动补偿块大小可达4 4 。 o 精确到四分之一像素的运动补偿；以前大多数的标准最多支持运动矢量精 确到二分之一像素。在新标准中通过使用四分之一像素精度的运动矢量使之更为 精确。 o 可超越图像边界的运动矢量：m p e g - 2 及其以前的标准，运动矢量只允许指 向已解码的参考图像内的点。h 2 6 4 中则采用了图像边界外延技术，使运动矢量 可以指向超出图像边界的点。 o 多参考帧运动补偿：在m p e g - 2 及其以前的编码方案中，预测帧( 称为“p ” 帧) 只允许用前一帧图像来预测下一帧的图像。新设计中扩展了h 2 6 3 + + 中的参 考帧选择技术，允许编码器根据运动补偿原则在大量的己解码并存储在解码器的 图像中选择参考帧，来达到高效编码的目的。h 2 6 4 中同样也对双向预测参考帧 的参考能力根据双向运动补偿作了扩展。 o 参考顺序与播放顺序可以不同：在以前的标准中，运动补偿的参考帧使用 顺序严格依赖于图像播放的顺序。h 2 6 4 标准彻底去除了这些限制，允许编码器 灵活选择参考图像的顺序和播放图像的顺序，其灵活性只受到存储器的总容量必 须确保解码能力的限制。同时，这些限制的去除也消除了以前由双向预测编码带 来的附加延时。 o 图像编码方法与图像是否可作为参考帧分离：在以前的标准中，使用某些 编码方法生成的图像( 如；双向预测编码帧) 不能用作预测视频序列中其它图像 的参考帧。去掉这一限制后，新标准的编码器更为灵活，而且在很爹隋况下，可 以选择与待编码图像更接近的某幅图像作为参考帧。 o 加权预测：h 2 6 4 中的又一个创新是允许编码器对运动补偿预测信号加权。 这使包含淡出效果的图像和其它一些图像在编码效率上有很大提高。 第一章绪论 。改进的“s k i p p e d ”和“d i r e c t ”模式推断：在以前的标准中，己编码图像中 模式为“s k i p p e d ”的图像区域的场景内容不能运动，这对包含整体运动的图像是 有害的。所以h 2 6 4 对“s k i p p e d ”区域进行运动推断。对双向预测编码区域( b s l i c e ) ，h2 6 4 还包含增强的运动推论方法：“d i r e c t ”模式的运动补偿，它进一步 改善了h 2 6 3 + $ im p e g 4v i s u a l 中设计的“d i r e c t ”预测。 o 帧内编码的空间预测：对作为帧内编码的图像，首次采用了空间预测技术， 将当前图像中己编码的部分预先解码，将解码区域边缘的像素用于帧内编码区域 的空间预测。这一技术增强了预测图像的质量，并允许由邻近区域中非帧内编码 的图像预测当前图像。 o j $ 路去方块滤波：以块为单位进行编码会产生方块效应。在解码过程中的 运动补偿预测过程和残差信号编码过程都会产生块效应。自适应去方块滤波的应 用是一种为人所熟知的改进图像质量的方法，如果设计得当，它对图像的主观和 客观质量都有改进。与h 2 6 3 + 的选项中的去方块滤波不同的是，h 2 6 4 的这一设 计是在运动补偿预测环路中提出的，所以它对图像质量的改善也可应用于帧间预 测，进而增强预测其它图像的能力。 除了使用改进的预测方法外，h2 6 4 的其它设计也提高了编码效率，包括： o d , 的块变换：以前所有主要的视频编码标准都使用大小为8 8 的块进行变 换，而新的h 2 6 4 的设计主要是采用4 4 的变换。这使编码器可以更好的根据当 时的场景来表现信号，有效减少了振铃( r i n g i n g ) 效应。( 另外在用前文所提到的 技术进行预测时，也可证明使用较小的块效果更好。) o 分等级的块变换：在大多数情况下，使用大小为4 x 4 的较小的块进行变换 就可以了。但有一些信号的相关性很强，这种情况下的变换就可以使用更长的基 函数。h 2 6 4 标准对这种情况的处理有两种方法：一是通过使用分等级的变换来 扩充有效的块大小，对频率较低的色度信号，将其组成8 x 8 的数组；二是通过允 许编码器在帧内编码时选择特殊的编码类型，使得对频率较低的亮度信号的变换 长度扩充到1 6x1 6 的块大小，这与色度采样信号的方法很类似。 0 1 6 位字长的变换：所有以前的标准，在编解码器对变换的计算的设计中， 处理都较为复杂。所有以前的标准中都采用3 2 比特的处理，而在h 2 6 4 中仅要求 1 6 比特的计算。 o 精确匹配的逆变换：在以前的视频编码标准中，用于表现视频的变换通常 被限定在误差允许的范围内，因为得到精确匹配的理想的逆变换是不现实的。所 以，不同的解码器设计解得的视频图像有微小的差异，产生编解码器所表现的视 频信号的“漂移”，使视频质量下降。h 2 6 4 是第一个达到解码的视频内容精确等 价于编码质量的标准。 o g 术熵编码：h 2 6 4 包含了一种先进的熵编码方法一算术编码。算术编码 !茎王坚：! 竺塑壅垫兰墨些堇查塑型蒌兰壅堡一 作为h 2 6 3 的可选项出现过，i - i 2 6 4 中更为有效地利用了这一技术，提出了功能 非常强大的熵编码算法c a b a c ( 上下文自适应算术编码) 。 。上下文自适应熵编码：h 2 6 4 中的两种熵编码方法分别是：c a v l c ( 上下 文自适应变长编褐) 和c a b a c ，它们都是用基于上下文的自适应手段来增进性 能的。 h 2 6 4 还包含了很多新的设计思想，旨在增强鲁棒性和算法灵活性，从而可 适应不同的网络环境： 。参数集合结构：参数集合的设计为头信息的鲁棒性和高教安全性提供了保 障。在以前的标准中，如果关键信息丢失了几个比特( 比如序列的头或图像的头信 息) 可能严重影响解码过程，在h 2 6 4 中对这些关键信息用更为灵活的方法单独 处理。 o n a l 单元语法结构：h 2 6 4 的每个语法结构都按逻辑数据打包，称为n a l 单元。与以前的视频标准强制系统使用特定的比特流接口不同，h 2 6 4 的n a l 单 元语法结构允许根据特定的网络自定义合适的方法来传送视频内容。 o 灵活的s l i c e 大小：与m p e g 2 中定义的固定的s l i c e 结构不同，h 2 6 4 中的 s l i c e 大小与早些的m p e g - 1 一样是非常灵活的。 o 灵活的宏块顺序( f m o ) ：提出了一种将图像划分成被称为s l i c e 组的新方 法，s l i c e 组中的每一个s l i c e 都可以作为一个单独的解码单位。有效利用了这一点， 灵活的宏块顺序就可以显著增强数据丢失的鲁棒性。 o 任意的s l i c e 顺序( a s o ) ：因为编码图像的每一个s l i c e 基本都可以与图像 中的其它s l i c e 独立地进行解码，所以在h 2 6 4 的设计中，可以以任意顺序发送和 接收图像中的s l i c e 。这种能力可以改善实时应用中端到端的延时，尤其是使用乱 序发送的网络。 o 冗余图像：为了增强抗数据丢失的鲁棒性，h 2 6 4 的设计中允许编码器发送 图像某些区域的冗余表示，这样当基本表现部分在传输过程中丢失时，仍可以表 现图像的某些区域。 o 数据分割：在表现视频内容时，某些编码信息比别的信息更为重要或更有 价值( 如运动矢量或其它预测信息) ，因此h 2 6 4 允许每个s l i c e 的语法可以按语 法元素的范畴被分为三个不同的部分进行传输。 o s p s i 同步图像转换：s p s 1 帧是h 2 6 4 设计的两种新的图像类型，通过使 用s p s i 帧就可以在解码端做到与其它解码器正在产生的视频流精确同步，而无 需对所有解码器都传送一个i 帧而造成效率下降。这样，解码器就可以在以不同 的数据传输速率播放的视频内容间切换、抗数据丢失和数据错误，并能够使用t r i c k 模式( 如快进、快倒等) 。 第二章h 2 6 4 的视频编码层及其性能 7 第二章h 2 6 4 的视频编码层及其性能 2 1h 2 6 4 的视频编码层 自h 2 6 l 标准以来，所有以前的i t u t 和i s o i e cj t c l 视频编码标准中， v c l 的设计都采用基于块的混合视频编码方法，每幅编码图像都以宏块为单位表 示。其基本的编码算法思想是通过帧间图像预测来减弱时间统计相关性；通过对 预测残差信号进行变换编码来减弱空间统计相关性。h 2 6 4 的每一项新技术都不 能大幅提高编码效率，但是，诸多小改进的组合使h2 6 4 获得了显著的增益 2 i l 扪。 2 1 1 图像，帧和场 h 2 6 4 的一个视频序列包含一系列的编码图像。一幅编码图像既可以表示一 个完整的帧( f r a m e ) 也可以表示一个单独的场( f i e l d ) 。 总的来说，一帧视频可以被看作包含两个交错放置的场，一个顶场和一个底 场。顶场包含偶数行，若一帧中有h 行的话，就是第0 ，2 ，h 2 行。底场包 含奇数行( 由一帧的第二行开始) 。如果一帧中的两场是在不同的时间点捕获的， 这一帧被称为隔行扫描帧，否则称为逐行扫描帧。 2 1 2y c b c r 色彩空间和4 ：2 ：0 采样 人类的视觉系统分别感受场景的亮度和色度信息，而且对亮度细节的感受要 比对色度敏感。视频传输系统正是利用这一特点进行设计的。h 2 6 4 与以前的标 准样，通过y c b c r 色彩空间传输视频信息，并且减少c b 和c r 色度信息的采 样分辨率。 h 2 6 4 使用的视频色彩空间将对色彩的表达分离成三个成分y ，c b ，c r 。 分量y 被称作l u m a ，代表亮度信息，两个色度分量c b 和c r 被称作c h r o m a ，分 别代表信号中的蓝色和红色分量与亮度分量之差。因为人类的视觉系统对亮度比 对色度更敏感，因此在h 2 6 4 使用的采样结构中，色度分量的采样个数是亮度分 量的四分之一( 在水平和垂直方向上都是二分之一) 。这被称为4 ：2 ：0 采样，每个 采样点的精确度均为8 比特。 2 1 3 图像的划分 将图像分成固定大小的宏块，每个宏块覆盖的矩形区域包含一个1 6 1 6 的 基于h 2 6 4 的变换与量化技术的研究与实现 亮度采样分量和两个8 8 的色度采样分量。宏块是标准中解码端可识别的基本构 造块。我们先介绍宏块是怎样组成s l i c e 的，再介绍宏块基本前编码算法。 2 1 4s l i c e 和s l i c e 组 当不使用f m o ( f l e x i b l e m a c r o b l o c ko r d e r i n g ) 时，由一系列宏块按r a s t e r 扫描方 式组成的宏块序列即为s l i c e 。一个图像可以被分成一个或几个s l i c e 。因此在h 2 6 4 中个图像是一个或多个s l i c e 的组合。给定有效序列和图像参数集，s l i c e 就可以 从比特流中解析出语法元素，继而对s l i c e 表示的图像区域的采样值正确解码，而 无需使用其它s l i c e 提供的数据。s l i c e 边界的去方块滤波可能需要其它s l i c e 的一 些信息。 l i cj # 】 sl i c，#t s1 i c3 #2 图2 1 将图像分成s l i c e ( 不使用f m o ) f m o 通过使用s l i c eg r o u p 的概念改变了把图像分成s l i c e 和宏块的方式p 1 。每 个s l i c e 组是根据宏块到s l i c eg r o u p 映射图定义的一组宏块，它是由图像参数集的 内容和s l i c e 头中说明的一些信息指定的。宏块到s l i c eg r o u p 映射图对图像中的每 一个宏块都分配一个s l i c e 组标志数字，标识宏块所属的s l i c e 组。每个s l i c e 组可 以分成一个或多个s l i c e ，这样一个s l i c e 就是在同一s l i c e 组中的宏块的一个序列， 这些宏块在一个特定的s l i c e 组中按r a s t e r 方式扫描。( 不使用f m o 的情况可被看 作是整个图像只包含一个s l i c e 组的特殊情况。) 不考虑是否使用f m o ，每个s l i c e 可以使用如下不同的编码方式进行编码： 0is l i c e ：s l i c e 内的所有宏块都使用帧内预测进行编码。 op s l i c e ：作为1s l i c e 编码方式的补充，ps l i c e 中的一些宏块也可以使用帧间 预测进行编码，一个预测块最多有一个运动补偿预测信号。 。bs l i c e ：作为ps l i c e 可使用的编码方式的补充，bs l i c e 中的一些宏块也可 以使用帧间预测，每个预测块有两个运动补偿预测信号。 以上的三种编码模式与以前的标准十分相似，但它对参考图像的使用有所不 同。以下的两种s l i c e 的编码模式是新的：s p 和s ls l i c e 。 0s p s l i c e ：所谓的切换ps l i c e ，它的使用可使不同预测编码图像之间的高效 第二章h2 6 4 的视频编码层及其性能 切换成为可能。 os is l i c e ：所谓的切换is l i c e ，应用于随机访问和错误掩盖。 s p 和s is l i c e 是两种特殊编码的s l i c e ，可以有效用于多个视频流间的切换 和解码端的随机接入【6 1 。解码端常会需要在多个视频流之间进行切换，例如同样 的视频内容被编成了多个比特流，在i n t e r n e t 上进行传输，解码端去解它接收到 的比特率最高的一个流，当这个流的吞吐量下降时，解码端就需要自动切换到另 一个比特率较高的流。 例：如图2 2 所示，解码端要从a 流切换到b 流。为了简化问题，我们假设 每一帧为一个s l i c e ，并且仅仅将它的前一帧作为参考帧。在解出了，a 1 两个 ps l i c e 之后，解码端想要切换到b 流，去解b 2 ，b 3 等等。如果b 流中的s l i c e 都 是采用帧间编码的形式，则解码端无法得到解b 2 所需的正确的参考帧，因为a 流中不包含b 2 的参考帧b l 。解决问题的一个方法是将b 2 用帧内编码的形式编码， 即b 2 为一个i - s l i c e ，则它不需要b 流中的任何参考帧就可以独立地被解出，解码 端就可以在b 2 点进行码流切换。因此码流切换可以用定期插入i 帧，从而形成切 换点来实现。然而，一个i - s l i c e 比一个p s l i c e 所包含的数据要多得多，插入i - s l i c e 相当于在每一个切换点引入了一个比特率的峰值。 p s l i c e s i - s l i c ep - s l i c e s a 流 b 流 图2 2 利用i - s l i c e 进行码流切换 s p s l i c e 的目的是为了在不引起类似于插入 - s l i c e 所带来的比特率开销的情 况下，进行码流间的切换。图2 3 简要说明了如何利用s p s l i c e 进行码流间的切 换。图中每个流中的第2 个s l i c e 是一个切换点( 现有3 个s p s l i c e ) ：利用a i 作 为参考帧，可以解出s p s l i c ea 2 ；利用b l 作为参考帧，可以解出s p s l i c eb 2 。码 流间切换的的关键是s p - s l i c ea b ：，即切换s p s l i c e ，利用它可以通过参考i 随a 。 解得b 2 。无论是利用将b t 作为参考帧解出的b ：，还是利用a 。作为参考帧得到的 1 0基于h 2 6 4 的变换与量化技术的研究与实现 s p s l i c ea b 2 ，所解出的b 2 均是相同的。因此s p s l i c ea b 2 这种s p - s l i c e 被称为切 换s p s l i c e 。在每一个切换点都需要额外的切换s p s l i c e 。事实上，除了从a 流 切换到b 流所需的a b 2 ，还需要一个从b 流切换到a 流的s p s l i c eb a ：。尽管如 此，利用s p s l i c e 进行切换还是要比把a 2 和b 2 编成i - s l i c e 效率要高得多。 从a 流切换到b 流的过程为：以已经解码重建的p s i i c ea o 为参考帧解出 p s l i c ea l ，切换s p s l i c ea b 2 以重建的a l 为参考帧解出s p s l i c eb 2 ，以已经解码 重建的b 2 为参考帧解出b 3 ，从而实现了从a 流到b 流的切换。 s p , - s l i c ep s l i c o 图2 3 利用s p s l i c e 进行码流间的切换 b 流 如果a 流和b 流是同一个源序列编码形成的不同比特率的码流，则使用 s p s l i c e a b ；是相当有效的。实验结果证明利用s p s l i c e 进行码流间的切换比在切 换点插入i 帧在效率上有明显的提高。s p s l i c e 的另一个应用就是提供随机接入 和v c r 功能。解码器利用s p s l i c e a o 1 0 ，可以跳过中间帧，直接从a 0 帧解出a 1 0 帧，从而实现快进的功能。 第二章h 2 6 4 的视频编码层及其性能 图2 4 利用s p s l i c e 实现快进的功能 另外一种用作码流间切换的s l i c e 是s i s l i c e ，它和s p s l i c e 的用途一样，所 不同的是s i s l i c e 的预测使用4 4 的帧内预测而不是运动补偿，因此它主要用于 从一个码流切换到另一个完全不同的码流，在这种情况下，因为两个序列之间没 有相关性，所阻运动补偿将没有帧内预测的效率高。 2 1 _ 5 自适应帧场编码 在有物体移动或摄像机镜头移动的隔行扫描帧中，与逐行扫描帧相比，临近 的两行的统计依赖性下降。在这种情况下，也许对每个场单独进行压缩的效率更 高。为此h 2 6 4 的设计中允许编码器在对一帧进行编码时进行如下决定： 1 ) 两个场结合在一起，对其按一个独立的帧进行编码( 帧模式) 。 2 ) 两个场结合，对其按单独的场独立进行编码( 场模式) 。 3 ) 将两个场结台在一起，并将其作为一个单独的帧压缩，但编码时需要首先 将垂直相邻的两个宏块分成两场或两帧中的一对宏块。 对一个序列中的每一帧都可以自适应地选择这三种选项中的一种。图像自适 应帧场( p a f f ) 编码只在前两个选项之间进行选择。当一帧作为两场编码时， 每一场也被分成宏块，其编码方式与帧十分类似，但也有以下主要的不同之处： 1 ) 运动补偿使用参考场而非参考帧， 2 ) 变换系数的z i g - z a g 扫描方式不同， 3 ) 不再使用去方块滤波过滤场内宏块问的水平边界，因为场内的行间隔是帧 的两倍，滤波器覆盖的空间更大了。 某些视频序列使用p a f f 编码比只用帧编码模式降低比特率大约1 6 2 0 。 如果某帧包含了既有运动部分也有静止部分的混合区域，则通常将静止区域 1 2基于h2 6 4 的变换与量化技术的研究与实现 按帧模式编码，活动区域按场模式编码，这样的编码效率更高。因此，对一帧中 的每个垂直宏块对( 一个1 6 3 2 的亮度区域) 部可独立进行帧场编码模式的选 择。这种编码选择被称为宏块自适应帧场( m b a f f ) 编码：对帧模式下编码的 宏块对，每个宏块包含帧行。对场编码模式下的宏块对，项宏块包含顶场行，底 宏块包含鹿场行。 和m p e g 2 不同，帧场的决定是在宏块对层面而非在宏块内。这是为了保持 基本的宏块处理结构完整，而且可以允许运动补偿区域和宏块大小相同。 场宏块对的每个宏块的处理方法与p a f f 编码的场宏块十分类似。不同之处 在于：一个m b a f f 帧里很可能既有帧宏块对又有场宏块对，为此，我们对如下 几处做了修改： 1 ) z i g z a g 扫描 2 ) 运动矢量的预测 3 ) 帧内预测模式的预测 4 ) 帧内采样值预测 5 ) 去方块滤波 6 ) 熵编码中的上下文模式 修改的主要目的是为了保存尽可能多的空间连贯性。注意m b a f f 帧的空间 相邻规范十分复杂，下一部分的空间相邻只描述非m b a f f 帧。 m b a f f 和p a f f 的另一个主要区剐在于，在m b a f f 中，场不允许使用两一 帧中其它场的宏块作为其运动预测的参考( 因为场中的某些区域在其它场的场宏 块编码时还不可用) 。这样，有些时候p a f f 编码比m b 编码效率更高(尤其aff 是对快速的全局运动，场景变换，或帧内图像更新等情况下更为适用) ，当然大部 分时候是m b a f f 编码效率更高。 随着标准的发展，某些视频序列使用m b a f f 比p a f f 节省1 4 1 6 的比特 睾。 2 1 ，6 帧内预测 如果一个宏块或一个块以帧内编码模式进行编码，则可根据已编码重建的块 来形残一个预测块，从而进行椟内预浏。就亮度信号来说，预测块可以是1 6 1 6 的宏块，或是4 x 4 的亮度块。对于1 6 1 6 的宏块有4 个可选的预测模式，而对 于4 4 的亮度块则有9 个可选的预测模式1 1 1 f 2 1 1 】。 根据s l i c e 编码类型的不同，每个宏块都可以以几种编码类型中的一种进行传 输。在所有s l i c e 编码类型中，h 2 6 4 支持以下类型的帧内编码：i n t r a4 4 、i n t r a1 6 1 6 和i p c m 三种预测模式，其中i n t r a4 n 4 、i n t r a1 6 x1 6 还附加有色度预测。 第二章h 2 6 4 的视频编码层及其性能 i n t r a4 x 4 模式对每个4 x 4 亮度块都单独进行预测，它对图像部分区域的细 节描述效果很好。i n t r a1 6 1 6 模式则对整个1 6 x1 6 的亮度块进行预测，它更适 合于图像中平滑区域的编码。除了这两种亮度预测模式，还有单独的色度预测。 作为i n t r a1 6 1 6 模式和i n t r a4 4 模式的替代，ip c m 编码模式允许编码器简 单的回避预测和变换编码过程，直接传输编码采样值。i y c m 模式具有以下特点： 1 ) 允许编码器精确表达采样值： 2 ) 为精确表示不规则图像内容提供了方法，且数据量没有显著增加； 3 ) 可以给解码器在处理一个宏块时必须处理的比特数作一个硬性限制丽不 损失编码效率。 以前的视频编码标准中帧内预测通常在变换城进行，而在h ，2 6 4 中，预测通 常用已进行编码的相邻块的采样点预测( 一般是预测块的上方或左方的块) ，在空 间域进行。在存在传输错误并导致帧间编码宏块出错的环境，这种做法可能导致 错误扩散。在这种情况下，我们可以采取严格的帧内编码模式，要求参与预测的 相邻宏块必须是以帧内模式编码的。 使用i m r a _ 4 x 4 模式时，每个4 x 4 块是从空闼相邻的采样点预测的，如图 2 5 中左图所示。4 4 块的被标作a p 的1 6 个采样点是通过己解码的相邻块的采 样点a q 预测的。每个4 4 块可以使用9 种预测模式的一种。除了“d c ”预测 ( 使用一个值来预测整个4 x 4 块) ，8 个方向的预测模式如图2 5 中右图所示。 这些模式适用于预测图像中有方向性的结构，比如各种角度的边缘。 abcdefgh 么 砀?p ? 图2 3i n t r a _ 4 4 预测 图26 表示了9 种i n t r a _ _ 4 x 4 预测模式中的5 种。模式0 ( 垂直预测) 如箭头 所示，是将4 x 4 块上方的采样点复制到块中。模式l ( 水平预测) 与垂直预测相 似，它是将4 4 块左边的采样点加以拷贝。模式2 ( 直流预测) 相邻的采样点如 图2 6 取平均。余下的六种模式是对角线预测模式，分别被称为d i a g o n a l d o w n - l e 8 ， d i a g o n a l - d o w n - r i g h t ，v e r t i c a l - r i g h t ，h o r i z o n t a l d o w n ，v e r t i c a l 1 e f t 和h o r i z o n t a l u p 预测。如它们的名字，它们适用于预测相应特殊方向的结构。前两种角度预测模 式也在图2 6 中有所说明。当采样点e h ( 参考图2 5 ) 在d i a g o n a l d o w n 1 e f t 预 基于h 2 6 4 的变换与量化技术的研究与实现 测模式中不可用时( 因为它们还未被解码或在s l i c e 以外，或不在要求的帧内模式 宏块中) 这些采样点用d 代替。在早些的i n t r a4 4 预测模式的版本中，采样点 l 下面的四个采样点在某些预测模式中也会用到。但为了减少存储访问，而且那 样得到的增益l 乜十分有限，所以去掉了。 模式。垂直 模式1 水平模式2 直流 j j l + 1 模式3 角度左下 | l i 7 f，譬 模式4 角度右下 、 、 、 、 图2 6 九种h 扛a4 x 4 预测模式中的五种 当使用i n t r a _ 1 6 x1 6 模式时，宏块中的所有亮度成分都被预测。支持四种预 测模式。预测模式0 ( 垂直预测) ，模式l ( 水平预测) ，和模式2 ( 直流预测) 与 i n t r a 一4 4 预测模式相似，只不过i n t r a _ 4 4 预测模式是用每个边上的4 个相邻 点来预测4 4 的块；而i n t r a _ 1 6 1 6 预测模式是用每个边上的1 6 个相邻点来预 测1 6 1 6 的块。 宏块中的色度采样点的预测使用与i n t r a _ 1 6 1 6 亮度成分相似的预测技术， 因为色度信号通常在很大范围内都很平滑。 为了保证所有s l i c e 之间相互独立，当跨越边界时不使用帧内预测( 及所有其 它形式的预测) 。 2 1 7 帧间预测 1 、ps l i c e 的帧间预测 除了帧内宏块的编码类型外，对p 宏块类型还定义了各种预测或运动补偿编 码类型a 每个p 宏块类型都对应了一种宏块的划分方式，划分出的块可用于运动 补偿预测。语法定义支持亮度信号的每一个宏块( 1 6 1 6 ) 可以有四种划分形式 ( 如图2 7 ) ：1 6 x1 6 ，1 6 x 8 。8 x 1 6 或8 x 8 。当选择8 8 的块时还要传送一个 第二章h 2 6 4 的视频编码层及其性能 附加的语法元素，这个语法单元说明这个8 x8 的块是否进行了进一步的划分。如 果采用8 8 模式，则每一个块还可以进一步的划分为( 如图2 8 ) ：8 8 ，8 4 ， 4 8 或4 4 【1 1 。 宏块划分 亚宏块划分 图2 、7 宏块划分 8 88 4 图28 亚宏块划分 8 x 8 采取这样的宏块划分和亚