（通信与信息系统专业论文）基于h264的运动补偿技术的研究与实现.pdf

捅要 h2 6 4 a v c 是由i t u t 和m p e g 共同制定的最新的视频编码标准。与现有标 准相比，h2 6 4 获得了更高的压缩性能，同时具有更好的网络适应性。运动补偿技 术是包括h2 6 4 在内的混合视频编码的一项关键技术，它可以有效地消除视频序 列在时间上的相关性。因此，研究基于h 2 6 4 的运动补偿技术可以帮助我们在目 前最好的视频编码器上获得更高的编码效率。 本文在详细分析h2 6 4 视频编码标准特性的基础上，深入研究了运动补偿技 术的基本原理。通过详细的数学分析，本文指出混叠效应是影响运动补偿预测效 率的重要因素。在此基础上，为了消除混叠效应，本文引入了维纳插值滤波器并 分析了其频谱特性。在h2 6 4 的运动补偿部分的实现阶段，本文提出了- s o t , 简单 的插值滤波改进方案和一种新的数据组织方法，并使用i n t e ls s e 2 指令集对运动补 偿部分进行了优化。在优化过程中，本文还提出了两种减少内存访问和运算字长 的方法。 实验结果表明，改进后的运动补偿有效减少了对内存带宽的需求：优化后的 程序则显著提高了运动补偿的速度，基本达到了实时处理的要求。 关键词：h 2 6 4 视频编码运动补偿s i m d a b s t r a c t h2 6 4 a v ci st h el a t e s tv i d e o c o d i n g s t a n d a r do f1 t u ta n dm p e gw h i c h a c h i e v e se n c h a n c e dc o m p r e s s i o n p e r f o r m a n c ea n dp r o v i d e sa n e t w o r k sf r i e n d l y ”v i d e o r e p r e s e n t a t i o nm o t i o n - c o m p e n s a t i o n i sak e yc o m p o n e n to fah y b r i dv i d e oc o d i n g s t a n d a r ds u c ha sh2 6 4a n di tc a ne f f e c t i v e l yr e m o v et h er e d u n d a n c eo fs u c c e s s i v e v i d e os i g n a l sr e s e a r c ho nm o t i o n c o m p e n s a t i o no fh2 6 4c a nh e l pt oa c h i e v eb e t t e r c o d i n ge f f i c i e n c y b a s e do nt h es t u d yo ft h ec h a r a c t e r i s t i c so ft h eh 2 6 4v i d e oc o d i n gs t a n d a r d ，t h e a u t h o rd e e p l ys t u d i e st h ep r i n c i p l eo f m o t i o n - c o m p e n s a t i o n b ym a t h e m a t i c a la n a l y s i s ， i ti ss h o w nt h a ta l i a s i n gc o m p o n e n t sa r ed e t e r i o r a t i n gt h ep r e d i c t i o ne f f i c i e n c yt h e na w i e n e ri n t e r p o l a t i o nf i l t e ri si n t r o d u c e dt or e d u c et h ei m p a c to f a l i a s i n gi nt h i sp a p e f f o rt h er e a l t i m ei m p l e m e n t i o no f m o t i o n - c o m p e n s a t i o ni nh2 6 4 ，as i m p l em o d i f i c a t i o n t ot h ei n t e r p o l a t i o nf i l t e ra n dan e wm e t h o df o rd a t ao r g a n i z a t i o na r ep r o p o s e da n dt h e n i n t e ls s e 2i n s t r u c t i o n sa r eu s e df o rs p e e do p t i m i z a t i o n t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s a l sr e d u c et h em e m o r yb a n d w i d t h r e q u i r e m e n t se f f e c t i v e l y a n dt h ec o d e o p t i m i z a t i o n w i t hi n t e ls s e 2i n s t r u c t i o n s s i g n i f i c a n t l ys p e e d su p t h ep r o c e s so f m o t i o n c o m p e n s a t i o n k e y w o r d ：h 2 6 4 v i d e oc o d i n g m o t i o n - c o m p e n s a t i o n s i m d 创新性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文巾特别加以h i 注, f 1 1 致谢中所罗列的内容以外，论文c 1 叫； 包含其他人已经发表或撰写过的研究成果：也不包含为获得两安电子科技人学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对木研究所做 的任何贡献均已在论文中做了明确的说明并表示了谢意。 中请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名 圣i 积 日期2 卯t p i 牛 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即： i t f a i - ： 在校攻读学位期间，论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍为西安电子科技大学。学 校有权保留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全部 或部分内容，可以允许采用影印、缩印或其它复制手段保1 字论文。( 保密的论文在 解密后遵守此规定) 本人签名 导师签名 壶闺乓 囊i 椿 日期j 4 p 够。f 毕 日期 汐移，么 第一章绪论 第一章绪论 入类从外界接受的信息有8 0 以上来自于视觉，因此早在模拟时代人们就升 始进行图像和视频方面的研究和开发。数字化技术以其易存储、易传输、无误筹 累积等特点给视频信号的存储、播放和传输带来了一场革命，数字化的视频编码 技术不断涌现。 根据s h a n n o n 开创的信息论1 1 1 ，视频编码属于信源编码。因此，视频编码的任 务就是利用尽可能少的比特数来表达视频信息，并能够将恢复信号的质量保持在 某个可接受的范围。因此，视频编码需要解决两类问题f 2 i ：第一类问题是指在给定 发送数据速率或存储容量的前提下，压缩信源速率，并尽可能达到最高的逼真度， 这个问题被称为失真速率问题，这类问题如视频会议等；第二类问题是指在保证 一定逼真度的条件下，尽可能地压缩比特率，这个问题被称为速率失真问题，这 类问题如h d t v 等。此外，实时的视频通信还必须考虑延时等因素。 随着多媒体技术和计算机网络的迅速发展，越来越多的视频业务不断涌现， 如视频广播、视频会议、h d t v 等等。这些业务直接促成了各种视频编码标准的 诞生并激励着人们不断对标准化建议进行研究和改进。 本论文的研究对象就是最新的视频编码标准h 2 6 4 ，并以h2 6 4 为基础， 重点对运动补偿技术进行了研究与实现。 1 1 视频编码标准和h 2 6 4 视频编码技术的发展主要由一系列国际标准所推动。目前，视频编码标准的制 定工作主要由i s o 和i t u t 两大国际组织机构负责，至今形成了m p e g x 和h2 6 x 两套标准系列p j 。 1 9 9 4 年，m p e g 2 视频编码标准( 也称为h 2 6 2 ) 开发完成，它大体上是m p e g 一1 的扩展，主要应用于所有的数字电视系统。m p e g 2 的出现使得标准清晰度电视 ( s d t v ) 、高清晰度电视( h d r v ) 得以通过卫星( d v b s ) 、有线电缆( d v b c ) 和 基站( d v b t ) 进行有效传送。然而，随着h d t v 的普及和相关业务的不断增氏， 其他的传送手段诸如x d s l 、u m t s 等所能提供的带宽和速率远远不能满足应用的 需要。即使对于d v b t ，由于缺乏足够的带宽，能够传送的节目数量出非常有限。 因此，近十年来，人们一方面致力于不断改进传输手段，提高传输带宽，另方 面也在不断研究压缩率更高，性能更好的视频压缩技术。 应用于电信的视频编码先后经历了i t u t h 2 6 1 、h 2 6 2 ( m p e g 2 ) 、h 2 6 3 及 其改进h2 6 3 + 和h2 6 3 + + ，应用领域覆盖i s d n 、t i e l 、p s t n 、移动无线网络 2基于h 2 6 4 的运动补偿技术的研究与实现 以及局域网等，朝着网络适应性更好，抗误码能力更强，编码效率更高的方向不 断发展。 1 9 9 8 年，视频编码专家组( v c e g i t u ts g l 6q6 ) 开始了h 2 6 l 标准的研 制工作，旨在将编码效率比现有的视频编码标准提高一倍以上。2 0 0 1 年1 2 月，v c e g ( v i d e oc o d i n ge x p e a sg r o u p ) 与运动图像专家组( m p e gi s o i e cj t c1 s c 2 9 w g1 1 ) 合作，成立了联合视频小组j v t ( j o i n t v i d e o t e a m ) ，开始致力于完成 新的视频编码标准h 2 6 4 a v c 。i t u 。t 称之为h 2 6 4 ，i s o 称之为a v c ( a d v a n c e d v i d e oc o d i n g ) ，作为m p e g 4 标准的第十部分。 h 2 6 4 a v c 全面应用了视频编码理论的最新成果，与现有的各种标准相比， 在相同的视频质量下，比特率减少了一倍以上，这也意味着在相同比特率下，视 频质量可大大提高。根据应用要求，h 2 6 4 a v c 可以设计工作在多种速率，可广 泛应用于i n t e r n e t i n t r a n e t 上的多媒体流服务、视频点播、可视游戏、低比特率的 移动多媒体通信( 视频手机等) 、交互式多媒体应用、实时多媒体监控、数字电视 与演播电视、虚拟视频会议等等【4 i ，并大有在上述领域一统天下的趋势，有着非常 广泛的开发和应用前景。 121 论文所完成的研究工作 1 2 论文的研究工作 研究了h2 6 4 视频编码标准的基本原理，分析了h 2 6 4 使用的各项新技术 及其性能： 着重研究了运动补偿技术的基本原理，并分析了运动补偿技术在h 2 6 4 标 准中的应用： 提出了针对h 2 6 4 运动补偿部分的算法简化方案并加以实现，同时给出了 改进后的性能分析；提出了针对h 2 6 4 运动补偿部分的优化方案并加以实 现，同时给出了优化后的性能分析； 分别使用c 语言和i n t e ls s e 2 指令集对h 2 6 4 的运动补偿部分进行了实现 和优化。 122 论文所使用的开发平台 本论文在配置为p e n t i u mi v1 4 g w i n d o w s 2 0 0 0 的p c 平台下，分别使用 m i c r o s o f tv i s u a lc + + 60 和i n t e lc + + c o m p l i e r70 作为开发和编译平台，改进和优 化的性能分析使用了i n t e lv t u n e t mp e r f o r m a n c ea n a l y z e r7 0 ，仿真工作使用了 第一章绪论 m a t l a b6 1 。 123 论文各章节安排 本论文的各章节内容安排如下： 第二章首先分析h2 6 4 视频编码标准的基本结构及主要特点，然后详细分析 h2 6 4 的视频编码层，最后给出h 2 6 4 视频编码标准的性能分析。 第三章首先分析运动补偿技术的基本思想及其理论基础，然后分析h2 6 4 视 频编码标准中所使用的运动补偿技术。 第四章首先介绍简化h 2 6 4 运动补偿算法的方案，然后介绍适合并行运算的 数据组织方法，最后详细给出应用s s e 2 指令集的程序优化方案。 第五章给出第四章的各种改进和优化的实验数据和结论。 4 基于h 2 6 4 的运动补偿技术的研究与实现 第二章h 2 6 4 视频编码技术研究 h 2 6 4 属于混合视频编码，是一种高效的压缩方法。它在吸收现有标准优点的 基础上，首次应用了多个视频编码界的理论和技术成果，从而获得了更高的编码 效率，在网络适应性方面也大有改善。本章首先简单介绍h2 6 4 标准的基本结构 和主要特点，然后详细分析h2 6 4 标准的视频编码层( v c l ) 采用的各种技术， 最后给出h2 6 4 视频编码层的性能。 2 1 h 2 6 4 视频编码标准简介 h 2 6 4 的设计涵盖了视频编码层( v c l ，v i d e oc o d i n gl a y e r ) 和网络提取层 ( n a l ，n e t w o r ka b s t r a s t i o nl a y e r ) 。视频编码层的任务是高效地表达视频内容； 网络提取层的任务则是将v c l 提供的数据格式化并提供头信息，使其适用于不同 的传输层或存储介质1 4 i i ”。 h 2 6 4 的总体结构如图2l 所示： 圄2 1h 2 6 4 的总体编码结构 本文研究的主要内容是视频编码层。 2l l h 2 6 4 的视频编解码器 的数据 h 2 6 4 编码器如图2 , 2 所示1 6 i ，包括了两个数据流路径：莳向路径和重建路径。 为了突出编解码器的相似之处，解码器的数据流路径由右向左显示。 第二章h 2 6 4 视频编码技术硪究 图2 2h 2 6 4 编码器 一，两络提取层 1 、编码器( 前向路径) 在编码端，只表示当前输入帧。帧以宏块为单位进行处理( 对应原始图像的 1 6 x1 6 个象素) 。每个宏块都按帧内或帧间模式进行编码。在任何一种情况下，都 由重建帧得到一个预测宏块p 。在帧内模式下，p 是由当前帧第n 帧中已进行 编码、解码和重建的采样点构建的( 在图2 2 中用l 。表示，使用未滤波的采样点 构建p ) 。在帧间模式下，预测宏块p 由一个或多个参考帧通过运动补偿预测进行 构建。在图中参考帧是作为已编码的帧f 。出现的。每个宏块可由一个或多个已 经进行编码和重构的前帧或后帧( 以时间为顺序) 预测得到。 将预测宏块p 从当前宏块中减去，得到一个残差宏块d 。并对它进行变换、量 化，得到x 。对变换系数x 重新排序而后进行熵编码。熵编码后的系数与附加信 息用来从压缩的比特流中解出宏块( t ：e a n 宏块的预测模式、量化步长、运动矢量 信息等等) 。这些都被递交给网络提取层( n a l ) 进行传输或存储。 2 、编码器( 重建路径) 量化后的宏块系数x 被解码，用来重建一个帧，进而对下一个宏块进行编码。 系数x 经过再次伸缩和反变换，得到残差宏块d j 。它与原来的残差宏块d 。已经 不同，量化的过程带来了精度上的损失，所以d 。较d 。有失真。 预测宏块p 与d 。相加得到一个重建宏块，。( 对原宏块的恢复，存在失真) 。 用滤波器去除块效应，重建的参考帧由一系列的宏块f 。构建。 基于h ，2 6 4 的运动补偿技术的研究与实现 网络提取层 图2 3h 2 6 4 解码器 3 、解码器 解码器从网络提取层接收压缩的比特流。对数据元素进行熵解码、重排序， 得到组量化后的系数x 。而后再对x 进行伸缩和反变换，得到d 。( 它与编码器 中所示的d 。相同) 。解码器用从比特流中解出的头信息，构建预测宏块p ，它与 编码器中的预测宏块p 相同。p 与d 。相加得到，。，再经过去方块滤波得到重建 解码宏块f 。 从图2 3 和以上的论述中我们可以看出，编码器中的重建路径是为了确保编码 器与解码器使用相同的参考帧构建预测宏块p 。否则，编、解码器中的预测宏块p 将会不同，从而导致编解码器之间的误差累积和“漂移( d r i f t ) ”现象。 此外h2 6 4 标准中还支持数据分割( d a t ap a r t i t i o n ) ，即将各个宏块中的同种 类型数据集中放在一起传输。例如：可以将个s l i c e 中所有宏块的直流系数放入 一个包，所有运动矢量放入另一个包，剩余的数据放入一个包。这样在传输出错 的情况下，有利于解码端进行误码掩盖。 2l2h 2 6 4 的主要特点 从上一节的内容可知，h 2 6 4 仍然是一种混合编码方法，其编码过程在以下几 个方面与h2 6 3 等现有标准类似【7 1 ： 1 视频图像以宏块为单位进行划分，每个宏块独立进行处理； 2 运用空间预测、变换、量化以及熵编码技术去除图像的空间冗余度； 3 使用运动预测和运动丰 偿技术，只对相邻帧的变化进行编码，去除相邻帧 之间的时间冗余度； 4 对于运动补偿后产生的残留块，使用变换、量化以及熵编码进一步去除空 间冗余度。 。 与此同时，h2 6 4 的一些新的特点提高了编码效率。相对于以前的视频编码标 准，h2 6 4 具有如下主要特点： 包含小块且大小可变的运动补偿：h2 6 4 标准比以前的任何标准在运动补偿 块的大小和形状的选择上都更为灵活。它最小的亮度运动补偿块大小可达4 4 。 第二章i - i2 6 4 视频编码技术研究 7 精确到四分之一象素的运动补偿：以前大多数的标准最多支持运动矢量精 确到二分之一象素。在新标准中通过使用四分之一象素精度的运动矢量使之更为 精确l ”。 可超越图像边界的运动矢量：m p e g 一2 及其以前的标准，运动矢量只允许 指向己解码的参考图像内的点。h2 6 4 中则采用了图像边界外延技术，使运动矢量 可以指向超出图像边界的点。 多参考帧运动补偿：在m p e g - 2 及其咀前的编码方案中，预测帧( 称为p 帧) 只允许用前一帧图像来预测下一帧的图像。新设计中扩展了h2 6 3 + + 中的参考 帧选择技术，允许编码器根据运动补偿原则在大量的己解码并存储在解码器的图 像中选择参考帧1 9j ，来达到高效编码的目的。h2 6 4 中同样也对双向预测参考帧的 参考能力根据双向运动补偿作了扩展。 参考顺序与播放顺序可以不同：在以前的标准中，运动补偿的参考帧使用 顺序严格依赖于图像播放的顺序。h2 6 4 标准彻底去除了这些限制，允许编码器灵 活选择参考图像的顺序和播放图像的顺序，其灵活性只受到存储器的总容量必须 确保解码能力的限制。同时，这些限制的去除也消除了以前由双向预测编码带来 的附加延时。 图像编码方法与图像是否可作为参考帧分离：在以前的标准中，使用某些 编码方法生成的图像( 如：双向预测编码帧) 不能用作预测视频序列中其它图像 的参考帧。去掉这限制后，新标准的编码器更为灵活，而且在很多情况下，可 以选择与待编码图像更接近的某一幅图像作为参考帧。 加权预测：h2 6 4 中的又一个创新是允许编码器对运动补偿预测信号加权。 这使包含淡出效果的图像和其它一些图像在编码效率上有很大提高。 改进的“s k i p p e d ”和“d i r e c t ”模式推断：在以前的标准中，已编码图像中 模式为“s k i p p e d ”的图像区域的场景内容不能运动，这对包含整体运动的图像是 有害的。所以h 2 6 4 对“s k i p p e d ”区域进行运动推断。对双向预测编码区域( b s l i c e s ) ，h2 6 4 还包含增强的运动推论方法：“d i r e c t ”模式的运动补偿，它进一步 改善了h2 6 3 + 3 1 1m p e g 4v i s u a l 中设计的“d i r e c t ”预测。 帧内编码的空间预测：对作为帧内编码的图像，首次采用了空间预测技术， 将当前图像中已编码的部分预先解码，将解码区域边缘的象索用于帧内编码区域 的空间预测。这一技术增强了预测图像的质量，并允许由邻近区域中非i 帧内编码 的图像预测当前图像。 环路去方块滤波：以块为单位进行编码会产生方块效应。解码过程中的运 动补偿预测过程和残差信号编码过程都会产生块效应。自适应去方块滤波的应用 是一种为人所熟知的改进图像质量的方法，如果设计得当，它对图像的主观和客 观质量都有改进l l 。与h2 6 3 + 的选项中的去方块滤波不同的是，h 2 6 4 的这一设 8基于h2 6 4 的运动补偿技术的研究与实现 计是在运动补偿预测环路中提出的，所以它对图像质量的改善也可应用于帧问预 测，进而增强预测其它图像的能力。 除了使用改进的预测方法外，h2 6 4 的其它设计电提高了编码效率，包括： 小的块变换：以前所有主要的视频编码标准都使用大小为8 8 的块进行变 换，而新的h2 6 4 的设计主要是采用4 x 4 的变换。这使编码器可以更好的根据当 时的场景来表现信号，有效减少了振铃( r i n g i n g ) 效应。( 另外在用前文所提到的 技术进行预测时，也可证明使用较小的块效果更好。) 分等级的块变换：在大多数情况下，使用大小为4 4 的较小的块进行变换 就可以了。但有一些信号的相关性很强，这种情况下的变换就可以使用更长的基 函数。h 2 6 4 标准对这种情况的处理有两种方法：一是通过使用分级变换来扩充有 效的块大小，对频率较低的色度信号，将其组成8 8 的数组；二是通过允许编码 器在帧内编码时选择特殊的编码类型，使得对频率较低的亮度信号的变换长度扩 充到1 6 1 6 的块大小，这与色度信号的处理方法很类似。 1 6 位字长的变换：所有以前标准的编解码器对变换的计算的设计中，处理 都较为复杂，所以以前的标准中都采用3 2 比特的处理，而在h 2 6 4 中仅要求1 6 比特的计算。 精确匹配的逆变换：在以前的视频编码标准中，用于表现视频的变换通常 被限定在误差允许的范围内，因为得到精确匹配的理想的逆变换是不现实的。所 以，不同的解码器设计解得的视频图像有微小的差异，产生编解码器所表现的视 频信号的“漂移”，使视频质量下降。h 2 6 4 是第一个达到解码的视频内容精确等 价于编码质量的标准1 “j 。 算术熵编码：h2 6 4 包含了一种先进的熵编码方法算术编码。算术编码 作为h2 6 3 的可选项出现过，h2 6 4 中更为有效地利用了这一技术，提出了功能非 常强大的熵编码算法c a b a c l l 2 1 ( 上下文自适应算术编码) 。 上下文自适应熵编码：h ，2 6 4 中的两种熵编码方法分别是：c a v l c ( 上下 文自适应变长编码) 和c a b a c ，它们都是用基于上下文的自适应手段来增进性能 的。 h 2 6 4 还包含了很多新的设计思想，旨在增强鲁棒性和算法灵活性，从而可适 应不同的网络环境【4 i = 参数集合结构：参数集合的设计为头信息的鲁棒性和高效安全性提供了保 障。在以前的标准中如果关键信息丢失了几个比特( 比如序列的头或图像的头信 息) 可能严重影响解码过程，在h 2 6 4 中对这些关键信息用更为灵活的方法单独 处理。 n a l 单元语法结构：h2 6 4 的每个语法结构都按逻辑数据打包，称为n a l 单元。与以前的视频标准强制系统使用特定的比特流接口不同，h2 6 4 的n a l 单 第二章h2 6 4 视频编码技术研究 元语法结构允许根据特定的网络自定义合适的方法来传送视频内容。 灵活的s l i c e 大小：与e g 一2 中定义的固定的s l i c e 结构不同，h2 6 4 中 的s l i c e 大小与早些的m p e g 一1 一样是非常灵活的。 灵活的宏块顺序( f m o ) ：提出了一种将图像划分成被称为s l i c e 组的新方 法，s l i c e 组中的每一个s l i c e 都可以作为个单独的解码单位。有效利用了这一点， 灵活的宏块顺序就可以显著增强数据丢失的鲁棒性。 任意的s l i c e 顺序( a s o ) ：因为编码图像的每一个s l i c e 基本都可以与图像 中的其他s l i c e 独立地进行解码，所以在h 2 6 4 的设计中，可以以任意顺序发送和 接收图像中的s l i c e 。这种能力可以改善实时应用中端到端的延时，尤其是使用乱 序发送的网络。 冗余图像：为了增强抗数据丢失的鲁棒性，h2 6 4 的设计中允许编码器发送 图像某些区域的冗余表示，这样当基本表现部分在传输过程中丢失时，仍可以表 现图像的某些区域。 数据分割：在表现视频内容时，某些编码信息比别的信息更为重要或更有 价值( 如运动矢量或其它预测信息) ，因此，h 2 6 4 允许每个s l i c e 的语法可以按语 法元素的范畴被分为三个不同的部分进行传输。 s p s i 同步图像转换：s p s i 帧是h2 6 4 设计的两种新的图像类型1 6 i i ”l ，通 过使用s p s i 帧就可以在解码端做到与其他解码器正在产生的视频流精确同步，而 无需对所有解码器都传送一个i 帧而造成效率下降。这样，解码器就可以在以不同 的数据传输速率播放的视频内容问切换、抗数据丢失和数据错误，并能够使用t r i c k 模式( 如快进、快倒等) 。 2 2h 2 6 4 的视频编码层 与以前的编码标准一样，h2 6 4 的v c l 层采用混合视频编码方法，其基本的 编码算法思想是通过帧间图像预测来减弱时间统计相关性；通过对预测残差信号 进行变换编码来减弱空间统计相关性。h 2 6 4 将各种新技术应用到混合视频编码的 各个模块中，从而有效地提高了编码性能。 221 图像的获取及宏块划分 人类的视觉系统分别感受场景的亮度和色度信息，而且对亮度细节的感受要 比对色度敏感。视频传输系统正是利用这一特点进行设计的。h2 6 4 与以前的标准 一样，通过y c b c r 色彩空间传输视频信息，并且减少c b 和c r 色度信息的采样分 l )基于h 2 6 4 的运动补偿技术的研究与实现 辨率。 h 2 6 4 使用的视频色彩空间将对色彩的表达分离成三个成分y ，c b ，c r 。 分量y 被称作l u m a ，代表亮度信息，两个色度分量c b 和c r 被称作c h r o m a ，分别 代表信号中的蓝色和红色分量与亮度分量之差。因为人类的视觉系统对亮度比对 色度更敏感，因此在h 2 6 4 使用的采样结构中，色度分量的采样个数是亮度分量 的四分之一( 在水平和垂直方向上都是二分之一) 。这被称为4 ：2 ：0 采样，每个采 样点的精确度均为8 比特。 采样后得到的一个视频序列包含一系列的编码图像。在h ，2 6 4 中，一幅编码 图像既可以表示一个完整的帧( f r a m e ) ，也可以表示一个单独的场。( f i e l d ) 。总的 来说，一帧可以被看作包含两个交错放置的场，一个顶场和一个底场。顶场包含 偶数行，若一帧中有h 行的话，就是第0 ，2 ，w 2 行。底场包含奇数行( 由 一帧的第二行开始) 。如果一帧中的两场是在不同的时间点捕获的，这一帧被称为 隔行扫描帧，否则称为逐行扫描帧。 图像分成固定大小的宏块，每个宏块覆盖的矩形区域包含一个1 6 1 6 的亮度 采样分量和相应的两个8 8 的色度采样分量。宏块是标准中解码端可识别的基本 构造块。 222 s l i c e 划分及帧场自适应编码 1 ) s l i c e 和s l i c e 组 如果不使用f m o ( f l e x i b l em a c r o b l o c ko r d e r i n g ) ，一系列宏块按r a s t e r 扫描方 式组成的宏块序列即为s l i c e 。一个图像可以被分成一个或几个s l i c e 。因此在h2 6 4 中一个图像是一个或多个s l i c e 的组合。给定有效序列和图像参数集，s l i c e 就可以 从比特流中解析出语法元素，继而对s l i c e 表示的图像区域的采样值正确解码。而 无需使用其它s l i c e 提供的数据。s l i c e 边界的去方块滤波可能需要其它s l i c e 的一些 信息。 5i ioj #) “ce #【 l i oe # 图24 将图像分成s l i c e ( 不使用f m 0 ) f m o 通过使用s l i c e 组的概念改变了把图像分成s l i c e 和宏块的方式。每个s l i c e 第二章h 2 6 4 视频编码技术研究 组是根据宏块到s l i c e 组映射图定义的一组宏块，它是由图像参数集的内容利s l i c e 头中说明的一些信息指定的。宏块到s l i c e 组映射图对图像中的每一个宏块都分配 一个s l i c e 组标志数字，标识宏块所属的s l i c e 组。每个s l i c e 组可以分成一个或多 个s l i c e ，这样一个s l i c e 就是在同一s l i c e 组中的宏块的一个序列，这些宏块在。个 特定的s l i c e 组中按r a s t e r 方式扫描。( 一i 使用f m o 的情况可被看作是整个图像只 包含一个s l i c e 组的特殊情况。) 不考虑是否使用f m o ，每个s l i c e 可以使用如下不同的编码方式进行编码： is l i c e ：s l i c e 内的所有宏块都使用帧内预测进行编码。 ps l i c e ：作为is l i c e 编码方式的补充，ps l i c e 中的一些宏块电可以使用帧 间预测进行编码，一个预测块最多有一个运动补偿预测信号。 b s l i c e ：作为ps l i c e 可使用的编码方式的补充，bs l i c e 中的一些宏块也可 以使用帧间预测，每个预测块有两个运动补偿预测信号。 以上的三种编码模式与以前的标准十分相似，但它对参考图像的使用有所不 同。h2 6 4 还引入了以下两种新的s l i c e ：s p 和s is l i c e 。 s ps l i c e ：所谓的切换ps l i c e ，它的使用可使不同预测编码图像之间的高效 切换成为可能。 s is l i c e ：所谓的切换is l i c e ，应用于随机访问和错误掩盖。 s p 和s is l i c e 是两种特殊编码的s l i c e l l 3 可以有效用于多个视频流问的切换 和解码端的随机接入。解码端常会需要在多个视频流之间进行切换，例如同样的 视频内容被编成了多个比特流，在i n t e r n e t 上进行传输，解码端去解它接收到的比 特率最高的个流，当这个流的吞吐量下降耐，解码端就需要自动切换到另一个 比特率较高的流。 例：如图25 所示，解码端要从a 流切换到b 流。为了简化问题，我们假设每 一帧为一个s l i c e ，并且仅仅将它的前一帧作为参考帧。在解出了，a l 两个ps l i c e 之后，解码端想要切换到b 流，去解b 2 ，b ，等等。如果b 流中的s l i c e 都是采用 帧间编码的形式，则解码端无法得到解b 2 所需的正确的参考帧，因为a 流中不包 含b 2 的参考帧b i 。解决问题的一个方法是将b 2 用帧内编码的形式编码，即b 2 为 一个i - s l i c e ，则它不需要b 流中的任何参考帧就可以独立地被解出，解码端就可 以在b 2 点进行码流切换。因此码流切换可以用定期插入i 帧，从而形成切换点来 实现。然而，一个i - s l i c e 比一个p - s l i c e 所包含的数据要多得多，插入i - s l i c e 相当 于在每一个切换点引入了一个比特率的峰值。 1 2基于h2 6 4 的运动补偿技术的研究与实现 a 流 图2 5 利用i - s l i c e 进行码流切按 s p s l i c e 的目的是为了在不引起类似于插入i - s l i c e 所带来的比特率开销的情况 下，进行码流间的切换。图2 6 简要说明了如何利用s p s l i c e 进行码流间的切换。 图中每个流中的第2 个s l i c e 是一个切换点：利用a l 作为参考帧，可以解出s p s l i c e a 2 ；利用b l 作为参考帧，可以解出s p s l i c eb 2 ；码流间切换的的关键是s p s l i c e a b 2 ，利用它可以将a l 作为参考帧，解出s p s l i c eb 2 。无论是将b l 作为参考帧， 还是利用a i 作为参考帧和s p s l i c ea b 2 ，所解出的b 2 均是相同的。因此s p s l i c e a b ：这种s p s l i c e 被称为切换s p s l i c e 。在每一个切换点都需要额外的切换 s p s l i c e ，事实上，除了从a 流切换到b 流所需的a b 2 ，还需要一个从b 流切换 到a 流的s p - s l i c eb a 2 。尽管如此，利用s p s l i c e 进行切换还是要比把a 2 和b 2 编成i - s l i c e 效率要高得多。 从a 流切换到b 流的过程为：以已经解码重建的p s l i c ea o 为参考帧解出 p s l i c ea r ，切换s p - s l i c ea b 2 以重建的a l 为参考帧解出s p s l i c eb 2 ，以已经解码 重建的b 2 为参考帧解出b 3 ，从而实现了从a 流到b 流的切换。 第二章h2 6 4 视频编码技术研究 a 流 b 流 图2 6 利用s p s 】i c 8 进行码流间的切换 如果a 流和b 流是同一个源序列编码形成的不同比特率的码流，则使用 s p s l i c ea b z 是相当有效的。实验结果证明利用s p s l i c e 进行码流问的切换比起在 切换点插入i 帧在效率上有明显的提高。s p s l i c e 的另一个应用就是提供随机接入 和v c r 功能。解码器利用s p s l i c e a o 1 0 ，可以跳过中间帧，直接从山帧解a l 。帧， 从而实现快进的功能。 图27 利用s p s l i c e 实现快进的功能 另外一种用作码流间切换的s l i c e 是s i s l i c e ，它和s p s l i c e 的用途一样，所不 同的是s i s l i c e 的预测使用4 x 4 的帧内预测而不是运动补偿，因此它主要用于从 基于h2 6 4 的运动补偿技术的研究与实现 一个码流切换到另一个完全不同的码流，在这种情况下，因为两个序列之间没有 相关性，所以运动补偿将没有帧内预测的效率高。 2 ) 自适应帧场编码 在有物体移动或摄像机镜头移动的隔行扫描帧中，与逐行扫描帧相比，临近 的两行的统计依赖性下降。在这种情况下，也许对每个场单独进行压缩的效率更 高。为此h2 6 4 的设计中允许编码器在对一帧进行编码时进行如下决定： 1 ) 两个场结合在一起，对其按一个独立的帧进行编码( 帧模式) 。 2 ) 两个场结合，对其按单独的场独立进行编码( 场模式) 。 3 ) 将两个场结合在一起，并将其作为一个单独的帧压缩，但编码时需要首先 将垂直相邻的两个宏块分成两场或两帧中的一对宏块。 对一个序列中的每一帧都可以自适应地选择这三种选项中的一种。图像自适 应帧场( p a f f ) 编码只在前两个选项之间进行选择。当一帧作为两场编码时，每 一场也被分成宏块，其编码方式与帧十分类似，但也有以下主要的不同之处： 1 ) 运动补偿使用参考场而非参考帧， 2 ) 变换系数的z i g - - z a g 扫描方式不同， 3 ) 不再使用去方块滤波过滤场内宏块间的水平边界，因为场内的行间隔是帧 的两倍，滤波器覆盖的空间更大了。 某些视频序列使用p a f f 编码比只用帧编码模式降低比特率大约1 6 2 0 。 如果某帧包含了既有运动部分也有静止部分的混合区域，则通常将静止区域 按帧模式编码，活动区域按场模式，这样编码效率更高。因此，对一帧中的每个 垂童宏块对( 一个1 6 x3 2 的亮度区域) 都可独立进行帧，场编码模式的选择。这种 编码选择被称为宏块自适应帧，场( m b a f f ) 编码。对帧模式下编码的宏块对，每 个宏块包含帧行。对场编码模式下的宏块对，顶宏块包含顶场行，底宏块包含底 场行。 和m p e g - 2 不同，h 2 6 4 对于使用帧场的决定是在宏块对层面而非在宏块内。 这是为了保持基本的宏块处理结构完整，而且可以允许运动补偿区域和宏块大小 相同。 场宏块对的每个宏块的处理方法与p a f f 编码的场宏块十分类似。不同之处在 于：一个m b a f f 帧里很可能既有帧宏块对又有场宏块对，为此，我们对如下几处 做了修改： 1 ) z i g - - z a g 扫描 2 ) 运动矢量的预测 3 ) 帧内预测模式的预测 。 4 ) 帧内采样值预测 第二章h2 6 4 视频编码技术研究1 5 5 ) 去方块滤波 6 ) 熵编码中的上下文模式 修改的主要目的是为了保存尽可能多的空间连贯性。注意m b a f f 帧的空间州 邻规范十分复杂【l i ，下部分的空间相邻只描述非m b a f f 帧。 m b a f f 和p a f f 的另一个主要区别在于，在m b a f f 中，场不允许使用同一 帧中其它场的宏块作为其运动预测的参考( 囡为场中的某些区域在其它场的场宏 块编码时还不可用) 。这样，有些时候p a f f 编码t m b a f f 编码效率更高( 尤其 是对快速的全局运动，场景变换，或帧内图像更新等情况下更为适用) ，当然大部 分时候是m b a f f 编码效率更高。 随着标准的发展，某些视频序列使用m b a f f 比p a f f 节省1 4 1 6 的比特 率。 22 3 帧内预测 如果一个宏块或一个块以帧内编码模式进行编码，则可根据已编码重建的块 来形成一个预测块，从而进行帧内预测。就亮度信号来说，预测块可以是1 6 x1 6 的宏块，或是4 x 4 的亮度块。对于1 6 1 6 的宏块有4 个可选的预测模式，而对 于4 4 的亮度块则有9 个可选的预测模式。 根据s l i c e 编码类型的不同，每个宏块都可以以几种编码类型中的一种进行传 输。在所有s l i c e 编码类型中，h2 6 4 支持以下类型的帧内编码：i n t r a4 4 、i n t r a1 6 1 6 和ip c m 三种预测模式，其中i n t r a4 4 、i n t r a1 6 1 6 还附加有色度预测。 i n t r a4 4 模式对每个4 4 亮度块都单独进行预测，它对图像部分区域的细 节描述效果很好。i n t r a1 6 1 6 模式则对整个1 6 1 6 的亮度块进行预测，它更适 合于图像中平滑区域的编码。除了这两种亮度预测模式，还有单独的色度预测。 作为i n t r a 1 6 1 6 模式和i n t r a4 4 模式的替代，ip c m 编码模式允许编码器简 单的回避预测和变换编码过程，直接传输编码采样值。ip c m 模式具有以下特点： 1 ) 允许编码器精确表达采样值； 2 ) 为精确表示不规则图像内容提供了方法，且数据量没有显著增加； 3 ) 可以给解码器在处理一个宏块时必须处理的比特数作一个硬性限制而不 损失编码效率： 以前的视频编码标准中帧内预测通常在变换域进行，而在h2 6 4 中，预测通 常用己进行编码的相邻块的采样点预测( 一般是预测块的上方或左方的块) ，在空 间域进行。在存在传输错误并导致帧间编码宏块出错的环境，这种做法可能导致 错误扩散。在这种情况下，我们可以采取严格的帧内编码模式，要求参与预测的 相邻宏块必须是以帧内模式编码的。 1 6基于h2 6 4 的运动补偿技术的研究与实现 使用i n t r a _ 4 x 4 模式时，每个4 x 4 块是从空间相邻的采样点预测的，如图2 8 c 1 左图所示。4 x 4 块的被标作a p 的1 6 个采样点是通过已解码的相邻块的采样点 a - q 预测的。每个4 x 4 块可以使用9 种预测模式的一种。除了“d c ”预测( 使 用一个值来预测整个4 4 块) ，8 个方向的预测模式如图28 中右图所示。这些模 式适用于预测图像中有方向性的结构，比如各种角度的边缘。 、 ! 。夕心i n 图2 8 i n t r a _ 4 4 预测 图2 9 表示了9 种i n t r a4 4