（通信与信息系统专业论文）h264avc算法优化及视频编解码器设计.pdf

西北1 = 业大学硕十学臂论文摘要 摘要 h 2 6 劬w c 是由r r u ( 国际电信联盟) 的v c e g 和l s 0 ，i e c 的m p e g 两大组织 联合组成的j 共同制定的一项新的视频压缩技术标准，它使得运动图像压缩技 术上升到了一个更高的阶段。在较低带宽上提供高质量的图像传输是h 2 6 4 ，a v c 的应用亮点，在同样的视觉质量前提下，比h 2 6 3 和m p e g 4 节约了5 0 的码率， 而且对口和无线网络传输具有更好的支持功能。但h 2 6 4 获得优越性能的代价是 计算复杂度的增加，这也是h 2 6 4 大规模应用的主要障碍。 本文在细致的分析了其编解码器后，对于编码器，解码器都采用了多种方式 进行优化。对于编码器端：在将h 2 6 4 标准采纳的快速帧内模式选择算法和快速 帧间模式选择算法集成到参考软件j m l l o 后，发现在未使用率失真优化方法时， 上述快速模式选择方法并不能有效提高编码速度。在它的运动估计部分，对于 s a d 值的计算采用m m x 指令进行并行计算。对于解码器：首先调整了解码程序 的流程；然后对于整数变换和非整数像素点的插值运算采用了m m x 和s s e 2 指令 进行优化；对于一些使用较频繁的简单函数改用嵌入内联汇编函数的形式，使得 解码器性能大为提高。 最后把优化前后的编解码器性能进行比较。结果表明，优化后的编解码器在 保证其优良性能的前提下，达到了缩短运行时间的目的。 关键词：h 2 “视频压缩算法优化s l m d 两北丁业大学硕十学付论文abstract a b s l i l a c t h 2 6 舭w ci sn c w c s tv i d c o d i n gs t a n d a r do ft h cr r u tv i d c 0 c 0 d i n ge x p e n s g r o u p ( v c e g ) 柚dt h ei s o m cm o v 吨p i c t i l f ce x p c n sg r o u p ( m p e g ) ，w h i c h 伊e a ye n h 柚c ec o m j 鹏s s i n gp c r f b n n 锄c e 卸dp m v i d ea “m m o r k - f r i e n d l y ，们d r e p r c s e n 协t i a d d 化s s 吨“咖v c r s a t i o n a l ”( 、，i d c ot d e p h 蚰y ) 柚d “枷 哟i i v c 瑙a t i o n a i ( s t o r a g c ，b r o a d c a s t ，o fs 骶锄如g ) a p p l i c a t i s b u tt h ee n h 锄c c m e n t o f m p 化鹞i l l gi sb a s c do n 确p i di n c r e ；塔i n go fc o m p u t cc o m p l 能i t y ，w l l i c hh 勰b c e n t h em a j nh i n d 枷o f m a s s i v e 印p i i c a t i o n ht l l i sd i s s c n a t i o n ，w ea n a l ) r z c dt h ed c o o d e r e n c o d o fh 2 6 4c a r c f i l l l y ，t h 蛐 a d o p t e dv 撕o u sw a y st oo p t i m i z ci t hc n c o d e r ：a n e ri n t e 毋a t i n gt h e 缸ti n 昀m o d e l c c t i o na j g 嘶i h i l l 锄d 缸ti n t e fm o d es c l c c t i a l g o 删啪a d o p f c d b yh 2 “s t a l l d a r d i n t ot h er c f c r e n c c f t w a f cj m l l o ，w e6 n dt h a ta h d v ef a s tm o d es d e c t i o na l 留o r i t h m s 伽n o te n h 觚c ce n c o d i n gs p c c dw h m t ed i s t o r t i o no p t i m i z a t i o nt c c i h i q u em e t h o d i s n o t u s e d h l t h e p a no f m o t i c s t i m a t i ，w c u s c d t h e m m x i n s t r i l c t i i n t h e p 啪l l e l k u l a t i 衄o ft h es a d hd e c o d c r ：f i r s n y ，w ca d j u 删m cf l o wo ft h ed e c o d c 皿啪；s c c o n 珊y ，w eu t h em m x 卸ds s e 2j n s t n l d j 鲫t 0d p t i m 血t h ei n t e g 同 仃卸s f o 衄柚ds u b p i x e li l l t e r p o l a t i 吼，删u s t c ds o m es 蛔p l cb u th i 曲台明u c n c yc a l l c d f u n c t i o 璐t oi n l i n ca s mf i l n c t i o n h t h e 如d ，t h ed i s 辩n a t i 伽p 撇dt h ep e 哟珊柚c co ft h eo p t i 】m z c dd e c o d 盱 c n c o d 盯w i mt h eo r i 舀n a l 皿c s u l ti n d i c a t et h co p t i m i z c dd o c o d c r c o d e r h a v cc i l t d 0 啪t h e m l l n i n gt i m ew h i l em a i n t a i n i n gt h ep e r f b m l a n c e k e yw o r d s ： h 2 6 4 v i d c o 伽p r 髂s i 衄a l g o r i t h mo p 咖1 切廊ns i m d 西北工业大学 学位论文知识产权声明书 本人完全了解学校有关保护知识产权的规定，即：研究生在校攻读学位期问 论文工作的知识产权单位属于西北工、i k 大学。学校有权保留并向国家有关部门或 机构送交论文的复印件和电子版。本人允许论文被查阅和借阅。学校可以将本学 位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存和汇编本学位论文。同时本人保证，毕业后结合学位论文研究课 题再撰写的文章律注明作者单位为西北工业大学。 保密论文待解密后适用本声明。 学位论文作者签名：互堑垒 御年弓月商1 指导教师签名：馨堕塑l 厕年；月诏日 西北工业大学 学位论文原创性声明 秉承学校严谨的学风和优良的科学道德，本人郑重声明：所旱交的学位 论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文 中已经注明亨付羽的内容和致谢的地方外，本论文不包含任何其他个人或集体 己经公开发表或撰写过的研究成果，不包含本人或其他已申请学位或其他用 途使用过的成果。对本文的研究做出重要贡献的个人和集体，均已在文中以 明确方式表明。 本人学位论文与资料若有不实，愿意承担一切相关的 学位论文作者签名： w 7 年弓月琊日 西北工业大学硕士学位论文第一章绪论 第一章绪论 1 1 论文的研究背景和意义 在视频普及的当今社会，发达国家的绝大部分家庭及业务活动中都用上了电 视，摄像机及计算机。随着存储、通信等技术的快速发展，个人用户对多媒体业 务需求的不断增长，多媒体不再局限于文本、语音和图片，视频图像将为用户提 供功能更强大，更完善的服务。数字视频具备多种优于模拟视频的优点。与模拟 视频不同，数字视频可被压缩，从而具有更高的存储与传输效率。它也可以被传 输和重构，且无明显的图像损伤。数字视频具有随机存储的优点及更高的编辑能 力。由于数字视频在存储、编辑、传输等各个方面明显优于模拟视频，因而被广 泛地应用于视频会议，可视电话，广播电视等多个领域。 视频通信需要传输大量的时间和空间信息，由于带宽和存储空间有限，直接 传输这些信息是不经济的。因此为了更有效，经济地利用带宽和存储空间，减少 传输信息的视频压缩( 编码) 技术是十分重要的。视频数据的高效压缩，是降低 存储成本，缓解网络带宽，突破存储空间和处理器主频限制的关键。 h 2 6 4 是目前最有效的视频压缩编码标准，在相同的重构图像质量下，h 2 6 4 与h 2 6 3 + 和m p e g 4 标准相比，能节约5 0 的码流。由于h 2 6 4 能覆盖所有低 宽带和高宽带的应用，并具有较强的抗误码特性，所以特别适用于低宽带、丢包 率高、干扰严重的无线视频传输。 正是基于以上的背景，对h 2 6 4 视频编码标准进行分析和优化，以及实现 h 2 6 4 视频压缩算法的实时编解码具有很好的研究意义和广泛的市场发展前景， 本文就对h 2 6 4 视频编解码算法进行了优化，并对优化结果和性能进行了比较。 1 2 视频压缩理论 从信息论观点来看，图像作为一个信源，描述信源的数据是信息量( 信源熵) 和信息冗余量之和。信息冗余量有许多种，如空间冗余、时间冗余、结构冗余、 知识冗余和视觉冗余等，数据压缩实质上是减少这些冗余量。可见冗余量减少可 以减少数据量而不减少信源的信息量。从数学上讲，图像可以看作一个多维函数， 1 西北工业大学硕士学位论文第一章绪论 压缩这个函数的数据量实质是减少其相关性。另外在一些情况下，允许图像有一 定的失真，而并不妨碍图像的实际应用，那么数据量压缩的可能性就更大。 压缩的基本原理是消除冗余，比如去除对恢复图像不必要的一些数据。许多 类型的数据都含有统计冗余，可以进行无损压缩，并且解码获得的图像与原始图 像完全一致。然而，对于图像和视频数据来说无损压缩的效率非常低，目前所能 达到的最佳压缩比在3 4 倍之间。为此，人们提出了有损压缩方法，采用有损 压缩方法，解码图像的质量与源图像相比将会有所下降，但是压缩比却大大提高。 一般来说，有损压缩的基本原理是消除数据中的主观冗余，以及对图像视觉效果 影响较小的分量。 1 2 1 视频编解码器 一个视频编解码器如图1 1 所示，分为编码器和解码器两部分：编码器将图 像和视频流编码或某种格式的压缩文件；而解码器这对该文件进行解码，产生与 原始相同或者相似的视频流。如果解码后的视频流与原视频流没有差别，则称此 压缩过程为无损压缩；否则称为有损压缩。 f 璐- d l h d e n d c d o p 哦 图卜1 视频编解码器框图 编解码器采用某种模型来描述一个视频流。这种模型使得压缩数据尽可能具 有最少的比特数( 高压缩效率) ，同时又保证解码后的视频流能较好地接近原视频 流( 保证图像质量) 。然而，压缩效率和图像质量往往是相互制约的两个指标： 随着压缩数据的比特率的降低解码后的图像质量变差。 视频编码器分为三个主要功能单元：时域模型、空域模型和熵编码器阻”。 时域模型的输入是未压缩的原始视频流，通常原始视频流的相邻帧之间具有较大 相关性，根据这个特点，时域模型建立预测帧来降低时域冗余。预测器采用当前 帧之前或之后的一帧或多帧图像作为参考，采用运动补偿技术来降低预测帧与当 前帧之间的差别。时域模型的输出是当前帧与预测帧相减的结果( 残差图像) 和 各个模型参数如描述运动补偿的各个运动矢量等。 2 西北 ：业大学硕士学位论文第一章绪论 频域模型的输入是残差图像，它利用相邻像素点的相似性，消除残差图像的 频域冗余。在m p e g 4 和h 2 6 4 标准中，编码器对残差图像进行频率变换，再量 化，得到相应的系数。变换系数经过量化后保留了少量的残差系数，他们构成了 残差图像的压缩性描述，并作为频域模型的最后输出。 当编码器对时域参数( 如运动矢量) 和变换系数进行压缩，消除存在的统计 冗余( 例如，对出现频率较高的矢量和系数分配较短的二进制码字来表示) ，并 输出压缩后的比特流和数据用于视频的传输和存储。压缩后的视频序列包括编码 的运动矢量参数、变换系数以及头信息。 解码器从压缩比特流中重建视频帧，首先，熵编码器解码变换系数和运动矢 量；其次，变换系数通过频域模型的反变换重建残差图像；同时，解码器根据运 动矢量参数和相应的参考帧产生预测帧；最后，预测帧与残差图像相加得解码端 的重建图像。 1 2 1 1 基于块的运动估计和补偿 运动估计算法分为像素递归和块匹配两大类。前者由于算法复杂，而且对于 一些图像序列收敛速度很慢，甚至不收敛，因而其应用受到很大限制。块匹配技 术由于算法简单，便于硬件实现而得到广泛应用。其突出特点是计算量大，目前 的研究热点集中在两个方面：快速搜索算法和块匹配准则。快速搜索法精度高， 但计算量过于庞大，为了克服这个缺点，人们提出了很多快速算法p 剖，如：三 步法及基于三步法的改进算法、二维对数法、交叉搜索法、四步法、预测搜索法、 钻石搜索法等。三步法的第一步搜索区较大，为9 9 窗，更适合于运动幅度较大 的视频序列。钻石搜索法因其搜索窗是钻石形而得名，它是基于这样一个事实： 实际视频序列中相邻两帧的相对运动幅度都比较小。钻石搜索法因其特殊的搜索 窗而能很快搜索到匹配块，从而平均搜索次数更少；同时由于3 3 的钻石形窗比 3 ( 3 的矩形窗小，所以精度也更高。它是迄今为止综合性能最优的快速搜索算法 之一。 块匹配准则决定何时终止搜索进程。传统上的准则有绝对平均误差函数、互 相关函数、均方误差函数、最大误差最小函数等。由于传统方法没有考虑人眼视 觉特性，所以判断结果和人眼的感知相差较大。近来，人们正在努力把人眼视觉 特性引入到块匹配准则，提高恢复图像的主观感受质量。现在普遍采用的运动补 偿方法是将当前帧分成许多长方形的块，对于每一个图像块进行运动补差。如果 将当前帧分成m n 的大小，对每块图像可以做如下的操作： 西北1 ：业大学硕士学位论文第一章绪论 在参考帧伪自码并传输后的当前帧之前和之后的图像) 中搜索m n 尺寸大小 的匹配块。将当前m n 与参考帧搜索区域( 一般是以当前块位置为中心的区域) 中的部分或与所有m n 块相比较，找出其中的最佳匹配快。较常用的匹配准则 是计算当前块与比较块相减后的残差块能量，使得残差块能量最低的比较块即为 最佳匹配块。搜索最佳匹配块的过程称为运动估计。 将最佳匹配块作为当前块的预测块，当前块减去预测块得到的相应的m n 残差块( 运动补偿) 。对残差块进行编码和传输，同时预测块和当前块相对位置 ( 运动矢量) 也被传输给解码器。解码器根据运动矢量寻找预测块，与解码后的 残差块相加，以重建原始图像块。 基于分块的运动补偿算法成功的原因在于：首先，它的计算复杂度低，适用 于长方形视频图像和分块图像变化；其次，它给许多视频流提供了一种高效的时 域模型。 当前宏块减去最佳匹配宏块得到残差宏块( 包括色度和亮度) ，描述匹配块 位置的运动矢量和残差宏块一起被编码和传输。在编码器内部，残差宏块同时被 编码和解码，解码后的残差宏块和匹配宏块相加重建参考宏块，用于之后的运动 补偿，这种方法保证了编码器和解码器使用相同的运动补偿参考帧。 1 2 1 2 能量预测 运动补偿的目的是使量化后的残差变换系数所具有的能量最小。变换块的能 量取决于残差块( 变换前) 。所以运动估计需要找到匹配的块或者区域，从而最 小化运动补偿残差的能量( 当前区域和参考区域的差) 。对“能量”的度量影响计 算复杂度和运动估计过程的准确性。在块匹配法中，目前有三种常用的匹配准则： ( 1 ) 绝对误差和( s a e s u mo f a b s o l u t ee 玎o f ) 准则； ( 2 ) 均方误差( m s e ，m c 柚s q u a r ce 肿r ) 准则； ( 3 ) 归一化互相关函数( n c c en 咖a l i z e dc m 豁c b 玎c l a t i f u n d i o n ) 准则。 在上述三种准则中，s a e 准则具有不需乘法运算、实现简单方便的优点而 使用最多，但应清楚匹配准则的选用对匹配结果影响不大。 1 2 2 视频压缩方法分类 应用在多媒体中的图像压缩编码方法，从算法原理上可以分类为【6 】； ( 1 ) 无损压缩编码： 4 西北工业大学硕士学位论文第一章绪论 哈夫曼编码 算术编码 行程编码 k 皿d e lz c v 编码 ( 2 ) 有损压缩编码： 预测编码：d p c m ，运动补偿 频率域方法：正交变换编码( 如d c 砷，子带编码 空间域方法：统计分块编码 模型方法：分形编码，模型基编码 基于重要性：滤波，子采样，比特分配，矢量量化 ( 3 ) 混合编码： j b i g ，h 2 6 1 ，j p e g ，m p e g 等技术标准 1 3 视频压缩质量的评定标准 对压缩后的视频的质量进行估计是一件困难的工作，大体上，可分为主观视 频质量评定和客观视频质量评定两种估计方法。 1 3 1 主观质量的评定 由于个人视觉系统不尽相同，对视频内容的熟悉程度也不一样，为了减少主 观随意性，在对视频图像进行主观评定前，选若干专家和“非专家”作为评分委员， 共同利用5 项或7 项评分方法对同一种视频图像进行压缩编码的图像评定。最后 按加权平均法则对该压缩后的图象质量进行主观评定，见表1 1 。 表1 1 主观评价分数标准 c c m 五级评分标准评分等级高清晰度采用七级评分等级评价 7 不能觉察任何图象损伤特别好 6能觉察有图象损伤相当好 优 5 不同程度的觉察，轻度损伤很好 好 4 有损伤，但不令人讨厌好 稍差 3 有令人讨厌的损伤稍差 很差 2 损伤令人讨厌，但尚可忍受很差 劣1非常令人讨厌的损伤，无法观看劣 测试方法可用随机的次序请评委观察比较原始图象和压缩编码后的图象。国 际上称为d s c q s 的测试系统如图1 - 2 所示。其实a 为原始图象，b 为编码解码 5 西北工业大学硕十学位论文第一章绪论 后的图象，以任意的a ，b 次序让评委打分评定。 1 3 2 客观质量的测量 图1 - 2 d s c q s 测试系统 主观的视频质量评分更接近人的真实视觉感受，但需耗费人力和时间，成本 较高。客观质量的测定方法速度快，易实行，但往往不会太符合人眼的视觉感受， 只能反映大体上的质量情况。客观质量的测定方法应致力于改进测试标准和测试 方法，使其符合人的视觉感受。 在实际中常用一些客观参数来作为评判重建图像质量的一个度量。这些参数 有均方误差( m s e ) 、峰值信噪比( p s n r ) 。 脚一志薹耄砒衍 m - ， 其中m 是图像的尺寸，妒( f ，) ，妒( f ，j ) 分别表示原图象和重建图象在( f ，) 处的灰度值。 燃一1 0l o g 括。1 r 艇( 1 2 ) 1 4 本文的主要工作及安排 本文主要完成了对h 2 6 4 编解码器的性能分析，对h 2 6 4 编解码器的优化和 实时编解码器类文件的编写，并使用它编写了w d 0 w s 环境下的视频编解码 器。最后对优化前后的效果进行了对比。 下面是本文的结构安排： 第一章是对论文整体的概述，说明了论文的研究方向和主要安排； 第二章首先介绍h 2 6 4 标准协议的发展，继而对h 2 6 4 标准的各功能模块进 行了分析； 第三章通过对h 2 “编解码效率及其复杂度的分析，找出优化过程需要重点 注意的方面； 6 西北工业大学硕士学位论文 第一章绪论 第四章首先对快速模式选择算法进行分析优化，接着对运动估计部分采用 m m x 指令进行优化。最后把优化前后的编码器性能进行比较； 第五章首先分析解码器运行情况，对它的不同模块采用了不同的方法进行优 化。最后对优化前后解码器的性能做了一个对比； 第六章介绍封装好的编解码器类文件和采用它做的一个视频编解码器。并对 通过h 2 6 4 和m p e g 4 胎皿t 2 标准压缩后的图像序列的效果进行演示对比； 最后对论文做出总结，说明自己工作中的一些体会和不足，并对以后的工作 进行了展望。 7 西北工业大学硕十学位论文第二章l l 2 6 4 标准分析 第二章h 2 6 4 标准分析 本章首先介绍h 2 6 4 视频编码标准的发展，之后介绍h 2 6 4 标准的基本结构 框架，最后介绍h 2 6 4 中采用的各项技术。 2 1h 2 6 4 视频编码标准的产生和发展 随着数字视频处理技术的快速发展，各种数字视频产品已经广泛的深入到我 们的日常生活中，例如数字电视、可视电话、视频会议终端和网络多媒体设备， 以及无线多媒体通讯设备等。快速发展的这些视频应用推动了数字视频编码标准 的制定。 从上个世纪8 0 年代开始，i s o r i e c 和r r u - t 这两大组织就已经不断的推出 一系列针对不同应用领域的数字视频编码标准，这其中包括i s o m c 的m p e g 系列和r r u - t 的h 2 6 x 系列。这些标准在码率、图像质量、实现复杂度、纠错能 力以及延时特性上存在着很大的差别，从而涵盖了各种数字图像应用的不同需 求。图2 1 是数字视频编码标准的发展过程。 v i d c o n 凫咖c i n g o v 盯i s d n v i d _ t e l 印h o n yl o wb i t e r a t e c o m m u n i c a 6 v i d c o n i n n m i c a n r r u - t 1 9 9 21 9 9 6 2 0 图2 - 1 圈象视频编码标准 b 西北工业大学硕士学位论文第二章h 2 6 4 标准分析 从图2 1 中可以看出，l t u - t 和i s o ，m c 基本上是在相互独立的情况下开发 各自的系列标准，他们的应用领域是不同的。m p e g 系列主要应用于数字娱乐( 如 v c d ，d v d ，数字电视) 或视频监控领域，而h 2 6 x 系列主要应用于实时的视 频通信，包括可视电话，视频会议，无线视频广播等等。 h 2 6 4 是删- t 和i s o 正c 联合制定的编码标准，它最先由删- t 的v c e g ( v i d c d d i n g e x p e n g r o u p ) 于1 9 9 r 7 年提出，当时，命名为h 2 6 l ( l o n g t c 衄) ， 目标是提出一种更高性能( 相对于当时的h 2 6 3 ) 的视频编码标准，目的包括： 第一，在同样的视频质量下，相对于m p e g 2 编码标准，提供大约5 0 码率的降 低。第二，提高视频的编码效率，差错控制能力，以及网络的友好性。 由于其相对于m p e g - 4 的优良表现，2 0 0 1 年底，i s o i e c 的m p e g 加入到 h 2 6 4 标准的开发过程中，与v c e g 组成j v t ( j o i n t d e o t e a m ) 。2 0 0 2 年底， h 2 “基本完成所有的技术工作，2 0 0 3 年6 月已经正式成为官方标准的草案。该 标准在r r u - t 中被称为r e c o m m e n d a l i h 2 “，而在i s o m c 中成为m p e g - 4 的第十部分：p a n1 0 ( a d v a n c e dv i d e oc ( ) d i n gp r o f i l c ) 。 h 2 6 4 作为新的视频压缩标准，它除了具有目前现有标准的特点外，还具有 以下一些特点川： 1 低码率 在相同质量的情况下，h 2 6 4 相对于h 2 6 3 的b 硒e l i l l e 可以节约4 0 5 0 的 码率。 2 高质量 在相同码率下，h 2 “可以提供更好的视频质量。 3 数据错误丢失的鲁棒性 h 2 6 4 在设计时，针对分组交换网如i n t 伽l n 中的分组丢失和无线网络中比 特误码都提出了相应的工具，使得h 2 6 4 在这些网络中传播时具有更强的抗误码 性能。 4 不同网络环境下操作的可变性 为了适应这种应用环境的多变性，h 2 6 4 ，_ w c 的设计包括了一个视频编码层 ( v i d e oc o d i n gl a y e r ，v c l ) ，用于高效率地表示视频内容，和一个网络抽象层 ( n e t w o r k a b s t f a d i 蛐l a v c r ，气l ) ，用于格式化视频的v c l 内容，并提供合适 的头信息以便适应不同的传输层和储存媒介，使得h 2 6 4 的比特流( b i t s 打c a m ) 可以方便的在不同的网络上传输。 h 2 6 4 的良好特性决定了它的广泛应用领域。目前，该标准主要应用于以下 领域： 9 西北t 业大学硕士学位论文第二章h 2 “标准分析 通过电缆、卫星、c a b l e m o d e m 、d s l 、陆地等媒介的广播； 在光学或磁性设备、d v d 上的交互式储存； 基于i s d n 、以太网、u 、n 、d s l 、无线移动网络、调制解调器的会话 服务； 基于l s d n 、c a b l c m o d e m 、d s l 、l 钒、无线网络的视频点播和多媒体 流服务； 基于i s d n 、d s l 、以太网、u n 、无线和移动网络等的多媒体消息服 务( m m s ) 。 2 2h 2 6 4 视频编码标准的结构框架 h 2 6 4 的码流结构同以往的视频标准不同，它包含两层：视频编码层( v c l ： d e 0c o d i n gl a y e r ) 和f 吗络适配层( n a l ：n e 细o r k a b s t r a c t i o nk y c r ) 。v c l 层 是h 2 6 4 的核心部分，在v c l 层的主要工作是对视频数据进行编码，提高编码 效率。n a l 层是外围层，它根据视频信号传输的媒质把v c l 的内容封装起来， 形成n a l 单元( n a l u n n ) 。这样，所有的视频内容最终都是以n a l 单元的形 式存储和传送的。n a l 根据v c l 的内容提供不同的n a l 头信息。头信息中包 括同步码字或者v c l 单元长度，v c l 层类型，等等。h 2 6 4 的层框架结构如图 2 2 所示。 n a l 单元 图2 2h 2 6 4 层框架结构 h 2 6 4 的v c l 层编解码结构图如图2 3 、2 - 4 所示。 编码器包含两条数据流路径，一条“前向”路径( 从左到右，蓝色表示) 和一条 “重建”路径( 从右到左，紫色表示) 。 1 0 两北工业大学硕士学位论文第二章h 2 “标准分析 图2 - 3 编码器结构图 前向路径： e 为当前输入帧。它以宏块为单元进行处理( 对应原来图像的1 6 1 6 个像 素) 。每个宏块按照帧内或者帧间模式被编码。无论那种模式，都会由重建帧形 成一个预测块p 。如果是帧内模式，p 由当前已经被编码，解码并且重建的帧n 的采样值来预测( 即 ，“表示没有滤波) 。如果是帧间模式，p 从以前的一个 或者多个运动参考帧的运动补偿中获得。即图中的。，每个宏块的预测可由以 前的一帧或者几帧已经编码，重建的图像得到。 当前宏块减去预测值得到差值宏块d 。d 。经过变换和量化后得到z ( 经过 量化的变换系数) 。这些系数被扫描后进行熵编码。然后和其他一些信息( 比如宏 块预测类型，量化步长以及运动矢量信息) 形成压缩后的码流。最后送到扎心传 输。 重建路径： 量化好的宏块系数x 将被解码以形成重建帧以供继续编码。j 经过反量化， 反变换后得到差值宏块或，因为有量化误差产生，所以和原差值d l 不一样。预 测宏块p 加上成生成重建宏块雎。彬经过一个滤波器来减少块失真，得到， 由一系列的得到重建帧。 解码器从网络适配层o 峪l ，n c t w o r k a d 印a t i 咖l a y e r ) 接收码流。经过熵解码 和重新排序后得到量化系数x 。然后，再经过反量化，反变换后得到d ：。从码 流的头信息，解码器建立一个预测宏块p ，它和编码器中原来的p 是一样的。尸 加上见得到妇：，滤波后得到解码宏块。 1 l 西北t 业大学硕+ 学位论文第二章h 2 6 4 标准分析 曦卜一蔚峨问 函一肝嬖鞋匠一母l 匮铲函一肝一s 一菏匦一母量一匮矿 2 2 1h 2 6 4 中图像的帧结构 h 2 6 4 视频编码标准支持各种分辨率的视频图像格式，包括s u b q c m 、q c i f 、 c 、4 c i f 、1 6 c i f 等。数字视频信号一般都是以格式存储的，y u v 格式 存储的视频信号其亮度信号和色度信号是分开存储的。h 2 6 4 支持j v 4 2 0 格式 视频信号。4 ：2 ：0 格式视频信号中，亮度信号按照图像格式本身的分辨率进行 采样，色度块( c b 和c r ) 在x 轴和v 轴的采样率均为亮度信号采样率的一半。 视频输入的每一帧图像，都被分为若干个宏块。每一个宏块由4 个8 8 的亮 度块y 以及一个8 8 c b 块和一个8 8 c r 块组成。不同的宏块组成不同的块组， 称为片( s 】i ) 。h 2 6 4 中提出了片组( s l j c cg r o u p ) 的概念，片组是由不同的片 组成的。片组的概念是为了灵活块分配编码提出的。 在以往的视频编码标准中，只允许顺序块分配方案，即连续的多个块组成一 个s h c e 。如，一帧q c m ( 1 7 6 1 4 4 ) 的图像，分成1 1 ) ( 9 个的宏块阵列，其中每 一行是一个s l i c e ，如图2 - 5 所示。 h 2 “中允许采用片组来进行分片，所谓片组，就是把一帧的宏块划分开， 分成不同的部分，每一部分属于一个片组，然后属于一个片组内的宏块组成不同 的片。比如，一帧数据分为两个片组，其中偶数列是一个片组，奇数列是一个片 l l 一 ，一上l ! ! l 卜卜十 j 5| 十 ! | | 醅r 9 8 一第一片 t 一第二片 p 一第九片 图2 5 传统视频帧的片结构 1 2 01o 玉o1o1o1o olal ；d1olo1o olql o1o1o1o 01a 玉o1o1o1n ol0lo1o1o1o o1nlololo1o 010lo1o1olo olo1o1o1ol0 0l “山nlololn 图2 _ 6h 2 6 4 中片组示意围 西北工业大学硕十学位论文 第二章h 2 6 4 标准分析 组，如图2 6 所示。 其中，所有“o ”宏块组成片组一，所有“1 ”块组成片组二。这样标有“盯的宏 块只能和标有“0 ”的宏块组成片。“1 ”也一样。这只是一种分法。这样的分块结构 使得编码时更加灵活。如在视频电话时，一般都是背景不变化，而前景在变化， 而且一般前景都是在图形中央，那样就可以把周围的宏块定义成一个片组，把中 央的宏块定义成一个片组，这样在同一个片中的数据具有更大的相关性，在编码 时，会进一步降低码率。 宏块( 1 6 1 6 ) 的下一级是块( 8 8 ) ，每一个宏块包括4 个8 8 的亮度块， 以及一个8 8 的c r 块和一个8 8 的c b 块，其中每一块又分成4 个4 4 的子块。 h 2 6 4 的总体帧结构如图2 7 所示。 视频序列 目血型 图2 - 7h 2 6 4 帧结构图 2 3h 2 6 4 中的关键技术 口口 块 8 + h 2 “协议的主要目的是提供一种和现有视频编码标准相比具有更高编码质 量的视频压缩标准。但h 2 6 4 仍然采用运动估计、变换技术和熵编码作为其编码 的主要技术内容。在编码时，仍然将视频帧分为帧内( h t f a ) 和帧问( i n t e r ) 两 种编码模式。对两种不同的模式分别采用帧内编码和帧间编码方式进行压缩。其 具体编码过程和其他视频标准例如h 2 6 3 、m p e g - 4 类似，都包括以下四个阶段。 将视频帧分成块，以便将帧的处理在块的层次上进行。 利用视频帧内存在的空间冗余性，对视频块进行不同域之间的变换， 从时域转化到另一个域，使得变换系数集中到少数几个点上。 两北t 业大学硕十学伊论文 第二章h 2 6 4 标准分析 利用连续的视频帧之日j 具有的时问冗余性，通过运动估计技术在参 考帧内搜索找到和当前块相关性最大的视频块，然后计算两块之问的差值， 并对差值进行变换。 对变换系数和运动矢量进行熵编码。 下面将分部分具体讲解h 2 “的主要技术。 2 3 1 帧内预测和编码 传统的i n t m 技术是直接对原始视频块进行编码，通过对1 6 1 6 的宏块或者 8 8 的宏块进行d c t 变换降低视频信号的空间相关性来压缩视频数据，其好处 是每个宏块单独编码，可以防止误码的扩散。但是这种采用d c t 变换直接对视 频块编码的方法虽然利用了视频信号一帧空间上的相关性，但是却未能充分利 用，因为它只利用了宏块内部像素之间的相关性而没有考虑到相邻宏块间的相关 性，因而传统的h l t m 编码对视频序列空间冗余度的利用有待于改善。 在h 2 6 4 中，为了提高i l l 仃a 模式的编码效率，引入了帧内预测( 1 l l t m p r e d i c t i o n ) 的方法，它使用相邻的宏块对待编码宏块像素值进行预测，对预测残 差进行变换编码。h 2 6 4 对亮度块的帧内预测方法采用1 6 x 1 6 和4 4 两种块方式 预测，对色度块采用8 8 的块方式预测。 对4 x 4 的亮度块，共有九种帧内预测模式，如表2 1 所示。其中模式o 、1 、 3 、4 、5 、6 、7 、8 都是方向预测模式，如图2 8 所示。模式2 是直流预测模式。 预测所需的像素点在图2 9 中给出。 心彦 弦7 mabcd ef gh i j k l 图2 8b 仃a 预测的方向图2 - 9 1 n 仃a 预测使用的像素 为了说明帧内预测的预测方法，以预测模式o 一垂直预测为例说明。只有 当a 、b 、c 、d 几个像素值是可以得到的，才可以使用这种预测模式，那么预 测像素的值如下： - a 、e 、i 、m 的值由a 来预测： 1 4 两北t 业大学硕士学位论文 第二章h 2 6 4 标准分析 b 、f 、j 、n 的值由b 来预测； c 、g 、k 、o 的值由c 来预测； d 、h 、l 、p 的值由d 来预测。 表2 - l4 4 亮度块帧内预测模型 m o d en m b 目m o d en a m e 0v e r t i c a l 1h o r i z o n t a l 2d c 3 d i a g o n a l 4 d i a g o n a l 5 v e r t i c a l 一r i g h t 6 h o r i z o n t a l d o - n 7 v e r t i c a l 一l e f t 8 h o r i z o n t a l l j p 对1 6 1 6 的亮度块，共有四种帧内预测模式如表2 2 所示。对一个1 6 1 6 的 宏块，共有3 3 个像素点可以用来作为预测值，他们是横坐标x 1 ，纵坐标 y - 一1 1 5 的1 7 个点，和纵坐标y - - 1 ，横坐标x = o 1 5 的1 6 个点。以垂直预测 模式为例，当像素点p 【x ，一1 】，( x = o 1 5 ) 可以得到对，预测值如下： p r c d 【x ，y 】= p 【x ，1 】，x ，y = o 1 表2 - 21 6 1 6 的亮度块帧内预测模式 m o d en u m b t 玎m o d e n a 腓 0c a l 1h o r i n t a l 2 d c 3p l a n c 对8 8 的色度块，只有一种预测模式，如图2 1 0 所示，一个色度块分为4 个4 4 的块a 、b 、c 、d 。s 0 、s 1 、s 2 、s 3 是周围四个像素点的和。根据s o 、 s 1 、s 2 、s 3 是否有效，对a 、b 、c 、d 分别预测。如当都可以得到时，预测如 下： 西北工业大学硕士学位论文 第二章h 2 6 4 标准分析 ( s o + s 2 + 4 坍 b = ( s 1 + 2 v c = ( s 3 + 2 ” d ( s l + s 3 + 4 8 s 0 s 1 s 2a b s 3c d 图2 - 1 0 色度块帧内预测图 需要说明的是，在j p e g 2 0 0 0 ，h 2 6 3 + ，m p e g 4 中也提出了类似的帧内预 测方法，但不同之处在于h 2 6 4 是直接在空域中进行预测，对各像素值进行不同 的预测，最大化的去除空间冗余。而其他标准则是在变换域中进行预测，只能够 去除块平均之间的冗余。 2 3 2 帧问预测和编码 帧问预测和编码主要是利用视频信号的时域相关性，通过运动估计和帧内差 值算法把视频信号的时域冗余信息去掉，从而达到压缩视频数据的目的。由于视 频信号的时域相关性远远大于其空域相关性，所以，通过采用帧问预测和编码， 可以更大的降低编码码流。 与帧内编码的l ( i n t r a ) 帧相对应，帧间编码的帧分为两种，一种是p ( p f e d i d i o n ) 帧，一种是b ( b i d i r e c t i 蚰a lp r c d i c t i ) 帧。p 帧是前向预测帧， b 帧是双向预测帧，采用前后双向预测。p 、b 帧预测如图2 1 1 所示。 图2 - 1 1 p 、b 帧预测困 对h 2 6 4 ，在进行帧间预测编码时，采用很多新的技术。这些技术是以前的 视频压缩标准所未采用过的，包括多参考帧运动估计，b 帧作为参考帧，1 4 像 素精度运动补偿，更小的块结构编码。下面详细介绍这些技术。 2 3 2 1 多参考帧运动估计 多参考帧运动估计是使用多于一个的参考帧来估计运动矢量【8 】。多参考帧运 动估计有不同的实现方法，比如，在多假设运动估计m u l t i p l e - h y p o t h e s i sm o t j 西北工业大学硕士学位论文第二章h 2 6 4 标准分析 e s t i m a t i o n 中，需要找到多个预测，真正的预测由这些预测插值产生，类似于 m p e g 1 2 中的b 帧。而在一些文献中经常涉及的一种称为m u n i p l c - f n m em o t i e s t i m a t i 彻的技术中，则使用了一个6 参数的运动估计模型来代替原来的2 参数 运动矢量。 在h 2 6 4 中使用的多帧运动估计技术称为l d n g - t b mm 锄o r ym o t i e s t i m a t i ，它是对单帧运动估计技术的简单扩展，即在多个参考帧中找到一个 使预测误差达到最小的运动矢量1 9 ”j 。 l 伽g t e 加m 锄o r ym o t i o ne s t i m a t i 相对普通的单帧预测具有下述优点： 更有效率的运动估计。如果我们把运动估计视为一个矢量量化的问题， 那么，随着参考帧数量的增多，意味着量化码表的变长，从而允许我们 进行更精确的量化。 更强的差错鲁棒性。由于帧间编码使用了前面的帧作为参考，所以一旦 一个帧中出现了错误，那么将会影响到后面的帧，从而导致了错误的传 播。如果在解码器和编码器之间存在一个反馈回路，那么解码器就可以 通知编码器发生错误的帧，强迫编码器使用其他帧进行运动补偿，从而 防止差错的传播。 h 2 6 4 中使用5 个参考帧和1 个参考帧相比可以节省5 1 0 的码率。 多个参考帧存放于帧缓存中，在帧缓存中包括短期参考帧( s h o r tt c 彻) 和 长期参考帧( l 0 n gt e 珊) 两种参考帧类型。另外也可以根据该参考帧是在当前 帧的前面或者后面将参考帧分为前向参考帧( f o 研a r dr e f c f c n c ef r 锄c ) 和反向 参考帧( r e s e r v cr c f c r c n c cf r a m c ) 。 为了有效地利用多参考帧，必须采用合理的内存管理方法。在h 2 6 4 中允许 采用两种帧缓存管理方案：自适应缓存管理模式和滑动窗口帧缓存管理模式。在 这两种模式中，都要采用索引值来标记帧号。图2 1 2 是帧缓存器示意图。 最近一帧最早一帧最近一帧最早一帧 ，、 xyzio ln 蜘t e 加缓存l o n g t e 吼缓存 图2 - 1 2 帧缓存结构示意图 2 3 2 2b 帧参考帧 1 7 西北丁业大学硕士学位论文第二章h 2 6 4 标准分析 在以往的视频编码标准中，b 帧采用i i 后两个p 帧或者i 帧作为参考帧，采 用前向和后向运动矢量进行运动补偿。但是，在h 2 6 4 标准中，b 帧可以采用i 帧，p 帧或者b 帧作为参考帧，如图2 1 3 所示。对b 帧而言，有5 种预测模式， 分别是：前向预测，后向预测，双向预测，直接模式( d i r e i ：tm o d e ) 和帧内预测 模式