（通信与信息系统专业论文）h264模式选择算法研究与dsp实现.pdf

硕士学位论文 摘要 h 2 6 4 a v c 是i t u t 和i s o i e c 联合制定的最新视频压缩标准。它采用了 系列先进编码技术，在编码效率、网络适应性等诸多领域都超越以往的视频编 码标准。另外，近几十年来d s p 技术的高速发展可为实现复杂的新一代视频编 解码系统提供平台。因此，h 2 6 4 a v c 视频编码算法及其d s p 实现的研究己经 成为目前视讯行业研究的热点和难点。 本文深入研究了h 2 6 4 a v c 的编码原理，并在此基础上对其参考软件编码 器进行了优化。主要工作和研究成果包括： ( 1 ) 算法研究方面 对照j m 8 6 参考代码对h 2 6 4 a v c 的率失真优化策略、帧内预测、帧间多 尺寸块模式、整数核变换量化、去方块滤波器等部分进行深入研究。h 2 6 4 采用 了可变块运动估计和率失真优化模式判决。编码器需要对l o 种模式进行率失真 优化计算才能得到一个宏块的最优编码模式，极大地增加了编码器的复杂度。为 了提高模式选择效率，本文提出了一种基于运动复杂度的快速模式选择算法。该 方法首先根据视频图象的运动复杂程度，将视频区域划分为三种类型，计算一个 区域的运动复杂度，然后根据时间和空间的相关性，减少了搜索模式。实验证明 该方法在保证编码性能的基础上，可以使帧间编码时间相对原r d o 全搜索方法 降低2 0 2 6 。 ( 2 ) d s p 实现研究方面 研究了b l a c k n n 5 3 3d s p 的开发原理以及d s p 代码的优化方法。通过系统级 优化，算法级优化，指令级优化等手段，充分利用d s p 的并行处理能力和丰富 的媒体处理指令，实验结果显示在b l a c k 6 n 5 3 3d s p 上q c i f 视频格式的编码速 度有了大幅提升。 关键词：h 2 6 4 a v c ；模式选择；运动估计；b l a c k f i n 5 3 3 i i h 2 6 4 模式选择算法研究与d s p 实现 a b s t r a c t h 2 6 4 a v ci st h el a t e s tv i d e oc o n l p r e s s i o ns t a n d a r de n a c t e db yi t u ta n d i s o i e cj o i n tw o r k i n gg r o u p b ya d o p t i n gan u m b e ro fn e wc o d i n gt e c h n i q u e s ，i t h a sa c h i e v e das i g n i f i c a n ti m p r o v e m e n ti nc o m p r e s s i o np e r f o r m a n c e a n da t n e t w o r k f r i e n d l y ”v i d e or e p r e s e n t a t i o nr e l a t i v et oe x i s t i n gs t a n d a r d s i na d d i t i o n ， d s pt e c h n o l o g y ，w h i c hd e v e l o p ss oq u i c k l yr e c e n t l y ，c o u l dp r o v i d eap l a t f o r mf o r t h ec o m p l i c a t e dn e wg e n e r a t i o nv i d e oc o d i n gs y s t e m c o n s e q u e n t l y ，r e s e a r c h0 n h 2 6 4 a v cv i d e oc o d i n ga l g o r i t h m sa n di t sr e a l i z a t i o nw i t hd s p h a sb e c o m eah o t a n dd i f f i c u l ts u b j e c ti nv i d e oc o m m u n i c a t i o ni n d u s t r y ( 1 ) r e s e a r c ha c h i e v e m e n t so na l g o r i t h m s r a t ed i s t o r t i o no p t i m i z e ds t r a t e g y ，i n t r ap r e d i c t i o n ，v a r i a b l e - s i z e db l o c ki n t e r p r e d i c t i o n m o d es e l e c t i o n ， i n t e g e r c o r et r a n s f o r m a t i o na n dq u a n t i z a t i o n ， a n d i n t h e 1 0 0 pd e b l o c k i n gn l t e r i n gw e r es t u d i e dd e e p l yb yt h er e f e r e n c ej m 8 6c o d ei n t h i sp a p e r h 2 6 4a d o p t sv a r i a b l eb l o c ks i z em o t i o ne s t i m a t i o n ( m e ) a n de x h a u s t i v e r d om o d ed e c i s i o n t h ee n c o d e rf i n d st h eb e s tc o d i n gm o d eo fam a c r o b l o c kb y c o m p u t i n gt h er d oo ft e nm o d e s s oi tr e m a r k a b l yi n c r e a s e st h ec o m p l e x i t yo ft h e e n c o d e r af a s tm o d ed e c i s i o na l g o r i t h mb a s eo nm o t i o nc o m p l e x i t yi sp r e s e n t e dt o i m p r o v et h ee m c i e n c yo ft h em o d ed e c i s i o n f i r s t l y ，t h ea l g o r i t h md i v i d e sv i d e oa r e a i n t ot h r e et y p e sb a t ho nt h em o t i o nc o m p l e x i t yo fv i d e of r e q u e n c y t h e nc a l c u l a t e t h em o t i o nc o m p l e x i t yo ft h ea r e a i tc a nr e d u c et h es e a r c hm o d e sb yu s i n gt i m ea n d s p a t i a lr e l a t i v i t y t h ee x p e r i m e n t sr e s u l t ss h o w e dt h a t ，c o m p a r e dw i t ht h eo r i g i n a l f u l lr e s e a r c hm e t h o d ，t h i sf a s tm e t h o dc o u l dr e d u c ei n t e re n c o d i n gt i m eb y2 0 2 6 w i t hl i t t l ei n n u e n c eo ne n c o d i n gp e r f o r m a n c e ( 2 ) r e s e a r c ha c h i e v e m e n t so nd s p r e a l i z a t i o n t h i sd i s s e r t a t i o nt r i e st op r o b et h ec o d i n gp r i n c i p l eo fh 2 6 4 a v c ，a n d o p t i m i z et h er e f e r e n c ec o d e co ni t sb a s i s t h em a i nr e s e a r c ha n dr e s u l t sa r e1 i s t e d b e l o w b yu s i n gt h ew a yo fs y s t e mo p t i m i z a t i o n ， a l g o r i t h mo p t i m i z a t i o n a n d i n s t r u c t i o no p t i m i z a t i o n ，m a k i n gt h eb e s to fp a r a l l e l i s md i s p o s a lc a p l b i l i t ya n d a b u n d a n to fm e d i ap r o c e s si n s t r u c t i o n e x p e r i m e n t a l r e s u l t ss h o wt h a t i t s u b s t a n t i a l l yi m p r o v e st h ee n c o d i n gs p e e d w i t hq c i ff o r m a tv i d e oo nt h e b l a c k n n 5 3 3d sp k e vw o r d s ：h 2 6 4 a v c ；m o d es e l e c t i o n ； m o t i o ne s t i m a t i o n ；b l a c k n n 5 3 3 m h 2 6 4 模式选择算法研究与d s p 实现 附表索引 表2 1 视频帧格式1 4 表2 2q p 和q ps t e p 的关系2 4 表2 3 滤波器强度参数与编码模式的关系2 7 表3 1 运动集合分类一3 1 表3 2 实验测试结果3 4 表3 3 快速算法与h 2 6 4 a v c 算法性能比较( q p = 2 8 ) 3 4 表3 4 快速算法与h 2 6 4 a v c 算法性能比较( q p = 3 2 ) 3 4 表3 5 快速算法与h 2 6 4 a v c 算法性能比较( q p = 3 6 ) 3 5 表3 6 快速算法与h 2 6 4 a v c 算法性能比较( q p = 4 0 ) 3 5 表4 1s a a 指令计算结果表一4 3 表4 2 整数变换运算过程一4 4 表4 3h 2 6 4 典型序列优化前后的结果4 6 表4 4 优化后的h 2 6 4 各模块性能( s a l e m a nq c i f ) 4 6 v i i 硕士学位论文 图1 1 图2 1 图2 3 图2 4 图2 图2 图2 图2 图2 9 图2 1o 图2 1 l 图2 1 2 图2 13 图2 1 4 图2 15 图3 1 图3 2 图3 3 图3 4 图3 5 图4 1 图4 2 图4 3 图4 4 图4 5 插图索引 数字视频压缩标准的发展5 h 2 6 4 层次框架模型1 1 h 2 6 4 解码器1 2 h 2 6 4 的档次13 视频取样格式1 4 h 2 6 4 帧结构图1 4 4 4 亮度块的预测及预测方向图1 5 4 4 亮度块预测模式1 6 1 6 1 6 预测模式1 8 宏块及子宏块分割2 0 l 4 亮度像素内插2 1 色度l 8 像素内插2 2 宏块中边界滤波顺序2 3 宏块中边界滤波顺序2 7 图像块的边缘像素点示意图2 8 h 2 6 4 最佳模式选择3 0 时空相关性3 2 算法流程图3 3 c o n t a i n e r 率失真( r d 0 ) 曲线3 5 f o r e m a n 率失真( r d o ) 曲线3 6 b l a c k 行n 5 3 3 系统框图3 8 b l a c k n n 5 3 3 内核结构一3 9 b l a c k n n 5 3 3 内部外部存储器映射4 0 整数变换与反变换的蝶形结构图4 4 4 4 矩阵排列4 5 v i 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名： 弓弓1 手毫孝 日期：伊矿年，月z 岁日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 l 、保密口，在一年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“ ) 作者签名： 导师签名： 厶哂辱啦 塌。 日期：易旧留年s 月7 岁日 日期：z 叩7 年，一月z 岁日 硕士学位论文 1 1 研究背景及意义 第1 章绪论 h 2 6 4 a v c 是在2 0 0 3 年3 月由i t u t 和i s o i e c 组成的联合视频组( j v t ) 制定并正式获得通过的新一代视频压缩编码标准。在1 9 9 6 年制定完h 2 6 3 标准 后，i t u t 的视频编码专家组( v c e g ) 开始了两个方面的研究：一个是短期研究 计划，在h 2 6 3 基础上增加选项( 之后产生了h 2 6 3 + 与h 2 6 3 + + ) 【l 】【2 】；另一个是 长期研究计划，制定一个比当时其它的视频编码标准效率提高一倍的新标准。长 期研究计划产生了h 2 6 l 标准草案【3 1 ，在压缩效率方面与先期的i t u t 视频压缩 标准相比，具有明显的优越性。2 0 0 1 年，i s o 的m p e g 组织认识到h 2 6 l 潜在 的优势，随后i s o 与i t u 开始组建包括来自i s o i e cm p e g 与i t u tv c e g 的 联合视频组( j v t ) ，j v t 的主要任务就是将h 2 6 l 草案发展为一个国际性标准。 并在2 0 0 3 年3 月在泰国p a t t a y a 举行的j v t 第7 次会议上通过了该标准。由于 是由两个不同的组织共同制定的，因此该标准有两个名称：在i s o i e c 中该标准 命名为a v c 【4 1 ( a d v a n c e dv i d e oc o d i n g ) ，作为m p e g 4 标准的第1 0 个部分；在 i t u t 中正式命名为h 2 6 4 标准。 相对于以前的视频压缩标准，h 2 6 4 引入了很多先进的技术，包括分层结构、 空域内的帧内预测、多种大小块的帧间预测技术、亚象素精度的运动估计、多参 考帧、4 4 整数变换和环路滤波器等。h 2 6 4 的主要优点有：h 2 6 4 与h 2 6 3 + 和m p e g 4 相比，在相同的重建图象质量下，h 2 6 4 可以减小了约5 0 的码率。 对信道时延的适应性较强，既可工作于低时延模式以满足实时业务，如会议电视 等；又可工作于无时延限制的场合，如视频存储等。提高网络适应性，采用“网 络友好的结构和语法，使得h 2 6 4 的文件能容易地在不同网络上传输。加强对 误码和丢包的处理，提高解码器的差错恢复能力。在编码器中采用复杂度可分级 设计，在图象质量和编码处理之间可分级，以适应不同复杂度的应用。 虽然h 2 6 4 a v c 的编码效率远比以先前的视频编码标准高，但由于其具有 相当复杂的编码技术，使得其运算复杂度也远高于先前的编码标准。与m p e g 4 相比，其编码器复杂度约为10 倍以上，而解码器复杂度则为3 倍以上。如此高 的复杂度将使得h 2 6 4 a v c 难以使用在具有即时需求的应用上。因此如何在保 持h 2 6 4 a v c 的编码效率之前提下，降低其运算复杂度使其适于实用化的程度， 成为目前相当重要的研究方向。 另一方面，多媒体终端设备具有广泛的应用前景，多媒体通信终端的实现除 h 2 6 4 模式选择算法研究和d s p 实现 了需要适合多媒体通信的协议标准和软件算法外，还需要快速、稳定的处理器作 为多媒体信号处理的平台。两者的结合才能产生高效的多媒体通信设备。随着数 字信号处理器d s p 的高速发展，为实现高效的音视频信号处理提供了可能性。 将h 2 6 4 算法在高速d s p 平台上实时实现是目前多媒体信号处理及图像通信研 究领域的一个热点问题。因此，把h 2 6 4 a v c 算法在d s p 上实现，对于多媒体 通信的研究具有一定的意义和价值。 1 2 视频编码技术概述 h 2 6 l 系列标准已成为国际上影响最大的多媒体技术标准，其中h 2 6 l 和 h 2 6 2 是采用以香农信息论为基础的预测编码、变换编码、熵编码及运动补偿等 第一代数据压缩编码技术；h 2 6 4 a v c 则是基于第二代压缩编码技术制定的国际 标准，它以视听媒体对象为基本单元，采用基于内容的压缩编码，以实现数字视 音频、图形合成应用及交互式多媒体的集成。 1 2 1 数字图象压缩技术原理 视频编码的目的是实现对视频的压缩，其核心思想是去相关。通过减少视频 序列间的相关性，降低视频内容中的冗余，用较少的比特数来表示视频内容，从 而实现对视频的压缩。视频序列中的冗余主要有以下几个方面【5 】【6 】【7 j 。 1 空间冗余 空间冗余度和时间冗余度都起因于图像的统计性质，所以称为统计冗余度。 空间冗余度是指一幅图像内所包含的冗余度。通常情况下，相邻的像素之间有较 强的相关性( 尤其是那些规则条文图像和平坦图像) ，像素之间通常是相近的。因 此，这些像素之间存在着很大的冗余，通过预测编码就可以达到大幅度的压缩。 2 时间冗余 通常对视频序列而言，除非发生场景切换，否则相继帧在时间上都是连续的。 在前后两帧中往往包含与当前帧相同的背景和对象。只是由于镜头的转动或对象 的移动使得空间位置发生变化。运动越缓慢，位置的变换越小。因此视频序列在 时域存在极强的相关性。 3 编码冗余 对于编码符号，其平均码长高于所表示信息的信息熵，这个差值就形成了编 码冗余。编码冗余、空间冗余和时间冗余都依赖于图像数据的统计特性，可以统 称为统计冗余。 4 人眼视觉冗余 由于人眼视觉的非均匀性，使得人眼视觉对某些空间频率感觉迟钝。因此视 频中不同频率成分的内容对于人眼系统而言其重要性是不同的。也就是说存在频 2 硕士学位论文 域冗余。例如人眼视觉系统对亮度信号变化的敏感性高于色度信号变化。因此可 以对色度分量进行降采样，同时保持主观视觉质量不变。y u v4 ：2 ：0 色差格式就 是对色度分量在水平和竖直两个方向进行2 ：1 的降采样。另一方面对信号频域的 各个分量可以采取不同的量化步距，将人眼视觉不敏感的分量去除，而不会引起 主观质量的下降。 5 结构冗余和知识冗余 图像的某些区域存在非常强的纹理结构，图像像素值有明显的分布模式，形 成结构冗余。或者图像中包含的信息与某些先验知识有关，例如人的五官位置对 于人脸而言就是一种先验知识，这种冗余构成知识冗余。 根据压缩编码算法的原理，视频压缩编码的方法可分为基于图像统计特性、 基于人眼视角特性、基于内容和基于模型等方法。本文所要讨论的是基于图像统 计特性的编码方法，其中包括预测编码、变换编码、信息熵编码等。 1 预测编码 预测编码方法是较为实用且被广泛采用的一种压缩编码方法，其理论基础主 要是现代统计学和控制论。原理是从相邻像素之间的相关性特点考虑，不是对一 个像素直接编码，而是用同一帧( 帧内预测编码) 或相邻帧( 帧间预测编码) 中的像 素值来进行预测，然后对预测残差进行量化、编码、传输。预测编码实际是利用 了视频信息的时空域冗余。预测编码一般分为线性预测和非线性预测两种，线性 预测编码又称为差分脉冲编码调制d p c m ( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ) ， 由于算法简单，易于硬件实现，己被各种视频编码标准采纳。 2 信息熵编码 根据香农信息论的观点，数据压缩的理论极限是信息熵，如果要求在编码过 程中不丢失信息量，则要求保存信息熵。这种信息保持的编码就是熵编码。统计 编码主要有三种：第一种基于概率分布特性的霍夫曼编码( h u m n a nc o d i n g ) 。第 二种是利用相关特性的游程( r l c ) 编码方法。第三种是利用概率分布特性的算术 编码( a r i t h m e t i cc o d i n g ) 。 霍夫曼编码是一种变长编码v l c ( v a r i a b l el e n g t hc o d i n g ) 。霍夫曼编码将 信源符号按概率大小重新排序，通过二叉树算法，依次将两个概率最小的节点合 并，直至根结点。完成树的构造后，给所有的树枝分配o 和1 ，这样就可以给高 概率符号分配短码，而概率小的符号则分配较长的码字，去除符号间的统计冗余。 游程长度编码r l c ( r u n l e n g t hc o d i n g ) 是将符号值相同的连续符号串用一 个游程长度( 符号数) 和一个代表值描述。这样可以用更紧密的序列代替原有的相 同值符号串。在视频压缩中，量化后的数据常常出现大量的连零系数，利用游程 长度编码可以有效的降低表示零码的比特数。 算术编码( a r i t h m e t i cc o d i n g ) 的基本原理是用 o ，1 】之间的一个概率区间来表 h 2 6 4 模式选择算法研究和d s p 实现 示数据序列。将信源x 的一个给定状态x = x l x n ) 与【o ，l 】间的一个由大概率p 和小概率q 限定的概率子区间相联系，区间的长度等于序列的概率p ( x ) 编码器 从n 等于1 开始，逐位的处理输入的符号流。每输入一位，更新当前符号的条 件概率，并以此调整p 和q 限定的概率子区间。随着n 的增加，和输入符号序 列相联系的概率子区间就变得越来越小。最后用这个表示概率子区间的小数给符 号序列编码。 3 变换编码技术 变换编码通常是将空域相关的像素点映射到另一个矢量空间，使得图像的能 量集中在低频区域，表示图像中缓慢变化的内容，而图像的边缘、细节的纹理等 细节部分集中在变换域的高频区，然后对这些变换系数进行量化、编码处理。 k l 变换是均方误差下的最佳正交变换，但实现困难。当图像相邻像素间的相关 系数接近1 时，k l 变换的基函数接近d c t 变换的基函数。而且d c t 存在快速 算法，易于硬件实现，因此被广泛应用于多种图像和视频编码国际标准中【8 】【9 】。 上述统计编码、预测编码、变换编码的组合可形成混合编码，是目前绝大多 数视频图像编码标准的基础，j p e g ，m p e g x ，h 2 6 x 等都采用集预测估计、d c t 变换和统计编码于一体的混合编码方法。这些编码方法都是依据视频图像固有的 特性进行压缩的，但仍远未成熟。 随着数学理论，如小波变换、分形几何理论、数学形态学等以及模式识别、 人工智能、生理心理学等学科的发展，高效的第二代压缩编码方法相继产生。如 分形编码、基于模型的编码、基于对象的编码等，这里不再详细赘述。 1 2 2 常用视频编码技术标准 目前从事视频压缩标准制定的国际组织主要有国际电信联盟i t u t 的视频编 码专家组v c e g ( v i d e oc o d i n ge x p e r tg r o u p ) 和国际标准化组织i s o i e c 的运动 图像专家组m p e g ( m o t i o np i c t u r ee x p e r tg r o u p ) 。两个标准化组织基于不同的应 用需求，采用近似的压缩编码技术，分别制定了h 2 6 x 和m p e g x 系列视频压缩 标准。其中i t u t 针对可视会议等应用分别制定了h 2 6 1 、h 2 6 2 、h 2 6 3 、h 2 6 3 + 、 h 2 6 3 + + 、h 2 6 l 、h 2 6 4 a v c ；i s o i e c 相继制定了m p e g 1 、m p e g 2 、m p e g 4 。 以上国际压缩标准尽管应用领域不同，但是均采用了预测编码结合变换量化的混 合编码模式。其中两大视频标准化组织于1 9 9 2 年联合提出的m p e g 2 h 2 6 2 是 现有最成功的国际视频压缩标准，目前又再次联手提出了h 2 6 4 a v c ，即m p e g 4 第l0 部分。图1 1 给出了各个标准之间的关系。 4 硕士学位论文 圈圈曰 i 黼 l ， l 料1 1jl- 图1 1数字视频压缩标准的发展 一、国际电联的h 2 6 1 ，h 2 6 3 ，h 2 6 4 标准 1 h 2 6 1 【l o 】 h 2 6 1 是i t u t 第1 5 研究组于1 9 8 4 1 9 8 9 年制定的针对可视电话和视频 会议等业务的视频压缩标准，目的是在窄带综合业务数字网( n i s d n ) 上实现速 率p 6 4k b p s 的双向声像业务，其中p = 1 3 0 。 h 2 6 1 定义了一个完整的视频编码算法，采用了帧内图像编码、帧间误差预 测、运动补偿、d c t 、变长编码等技术，建立了取得巨大成功的基于块混合编码 框架。为后来的m p e g 1 、m p e g 2 等视频压缩标准提供了基础。 2 h 2 6 3 【1 l 】 h 2 6 3 是国际电联i t u t 的一个标准草案，是为低码率通信而设计的。但实 际上这个标准可用在很宽的码率范围，而非只用于低码率应用，它在许多应用中 认为可取代h 2 6 1 。h 2 6 3 的编码算法与h 2 6 1 一样，但做了一些改善和改变， 以提高性能和纠错能力。h 2 6 3 标准在低码率下能够提供比h 2 6 1 更好的图像效 果，两者的区别有：( 1 ) h 2 6 3 的运动补偿使用半像素精度，而h 2 6 l 则用全像素 精度和循环滤波；( 2 ) 数据流层次结构的某些部分在h 2 6 3 中是可选的，使得编 解码可以配置成更低的数据率或更好的纠错能力；( 3 ) h 2 6 3 包含四个可协商的选 项以改善性能；( 4 ) h 2 6 3 采用无限制的运动向量以及基于语法的算术编码；( 5 ) 采用事先预测和与m p e g 中的p b 帧一样的帧预测方法；( 6 ) h 2 6 3 支持5 种分 辨率，即除了支持h 2 6 l 中所支持的q c i f 和c i f 外，还支持s q c i f 4 c i f 和 1 6 c i f 。s q c i f 相当于q c i f 一半的分辨率，而4 c i f 和1 6 c i f 分别为c i f 的4 倍和16 倍。 在完成h 2 6 3 标准的制定工作后，为适应在现有的窄带网络环境上传输视频 信息，i t u t 在1 9 9 8 年1 月通过了h 2 6 3 标准的第二版h 2 6 3 + ，增加了十二个 新的高级模式。2 0 0 0 年1 1 月，又推出了第三版h 2 6 3 + + ，新增3 个高级模式。 新增模式主要包括：参考帧再采样模式、高级帧内编码模式、交替帧间v l c 选择 模式、分片结构模式、参考帧选择模式、数据分割模式可分级扩展编码等。 5 h 2 6 4 模式选择算法研究和d s p 实现 3 h 2 6 4 【1 2 】【1 3 】【1 4 】 2 0 0 3 年i t u t 视频编码专家组( v c e g ) 和i s o i e c 运动图像专家组( m p e g ) 共同正式推出h 2 6 4 视频编码标准。与此前的h 2 6 3v 2 ( h 2 6 3 + ) 或m p e g 4 s i m p l ep r o n l e 等标准相比，h 2 6 4 具有如下新的特性： ( 1 ) 系统分为两个层，视频编码层( v c l ) 和网络抽象层( n a l ) 。其中，v c l 是对视频内容的高效表示，同以往的标准一样采用了基于块的混和编码方法，主 要集于研究编码效率；n a l 负责以网络所要求的恰当方式对数据进行打包和传 送。新增的n a l 大大增加了网络友好，这是标准最显著的特点。 ( 2 ) h 2 6 4 和现存的其他标准相比，其编码效率至少提高了一倍以上，这意 味着其只需目前一半的带宽即可传输相同质量的视频，因此它对整个数字视频产 业而言预示着一场新的革命的到来。 ( 3 ) 适用范围更为广泛，对包括低比特率在内的所有比特率，h 2 6 4 都能持 续提供较高的视频质量和基于不同的约束条件来完成不同性质的任务。其中低延 时模式包括实时通信的视频会议等，没有延时限制的应用包括视频存储和以服务 器为基础的视频流式应用等。 ( 4 ) 强大的容错处理能力。h 2 6 4 不仅提供在包传输网中处理包丢失所需要 的工具，而且提供在易产生误码的无线网络中处理比特误码的工具。 h 2 6 4 编码技术改进的特点主要h 2 6 4 采用的新技术主要包括高精度运动 补偿、多模式选择、改进的熵编码、4 4 整型变换取代传统d c t 变换和哈达码 ( h a d a m a r d ) 变换。与现有的视频编码标准相比，如h 2 6 3 + + 和m p e g 4 ( a s p ) ， h 2 6 4 可以取得大约2 0 5 0 编码效率的提高。 二、m p e g 系列标准 m p e g 是活动图像专家组( m o v i n gp i c t u r ee x p o r t sg r o u p ) 的缩写，干1 9 8 8 年 成立，是为数字视音频制定压缩标准的专家组，包括i b m ，s l i n ，b b c ，n e c ， i n t e l ，a t & t 等世界知名公司。m p e g 组织最初得到的授权是制定用于“活动 图像 编码的各种标准，随后扩充为“及其伴随的音频”及其组合编码。后来针 对不同的应用需求，解除了“用于数字存储媒体的限制，成为现在制定“活 动图像和音频编码”标准的组织。m p e g 组织制定的各个标准都有不同的目标和 应用，目前已提出m p e g 1 ，m p e g 2 ，m p e g 4 ，m p e g 7 和m p e g 2 1 标准。 1 m p e g 1 【1 5 j ：可以提供最高达1 5 m b p s 的数字视频，只支持逐行扫描。 2 m p e g 2 1 1 6 】：支持的带宽范围从2 m b p s 到超过2 0 m b p s ，m p e g 2 后向兼 容m p e g 1 ，但增加了对隔行扫描的支持，并有更大的伸缩性和灵活性。 3 m p e g 4 1 1 7 j ：持逐行扫描和隔行扫描，是基于视频对象的编码标准，通 过对象识别提供了空间的可伸缩性。 6 硕士学位论文 4 m p e g 7 【1 8 】：是多媒体内容描述接口，与前述标准集中在音频视频内容 的编码和表示不同，它集中在对多媒体内容的描述。 5 m p e g 2 1 【1 9 】：是数字音视频框架协议。 1 2 3 视频质量评价 目前对压缩后的视频的质量的评价方法主要有两种：主观视频质量评定和客 观视频质量评定2 们。主观评价方法是让一些评分委员给视频图象打分，然后按 照加权平均法则对压缩后的视频图像质量进行主观评定。客观评价是用重建图像 与原始图像的误差来衡量图像的重建质量，常用均方误差( m s e ) 和峰值信噪比 ( p s n r ) 来表示。 m s e 定义如下： 1m 2 地( “) 2 击善，y ) 一z 一- ( 州肘州 ( 1 1 ) 其中z ( x ，j ，) ，z 一。( x + f ，y + _ ，) 分别代表原始图象像素和重建图象像素。m ，n 分别代表图象的宽和高。 p s n r 定义如下： 枷- 1 0 1 0 9 l o 篙 “2 其中m s e 为原始和编解码后图像之间的均方误差。在实际应用中，常以p s n r 来衡量图像的重建质量。一般讲，p s n r 愈高视频质量愈高。 1 3 论文主要工作和结构安排 1 论文主要工作 本文的主要工作以h 2 6 4 a v c 和b l a c k n n 5 3 3 嵌入式系统为中心，可以分为 三部分：一是对h 2 6 4 a v c 标准的分析研究；二是h 2 6 4 a v c 的帧间预测模块 深入研究；三是基于b 1 a c k n n 5 3 3 的嵌入式系统的视频编码器优化研究。 主要研究工作内容如下： ( 1 ) 以h 2 6 4 a v c 为中心，熟悉视频编码的基本原理和思想，学习h 2 6 4 a v c 的语法、编码框架，并对其中的关键技术和标准细节进行了分析。主要研究了帧 内预测、帧间预测、整数变换、量化、熵编码和环路滤波器等。 ( 2 ) 对帧间预测模块深入研究，针对帧间预测模块复杂度比较高的帧间模式 的7 种模式，提出了一种基于运动复杂度的帧间快速模式选择算法。在保证视频 质量的前提下，大大降低了编码器的运算复杂度。 ( 3 ) 以b l a c k f i n 5 3 3 嵌入式系统为中心，熟悉视频编码的硬件系统和开发工具。 这一部分主要分析b l a c k n n 5 3 3 的内核结构、存储器管理、外设等等。充分利用 7 h - 2 6 4 模式选择算法研究和d s p 实现 b l a c k f i n 5 3 3 的并行处理能力和丰富的媒体处理指令，对编码器进行了优化工作。 2 本文的章节安排 本文以新的视频编码标准h 2 6 4 a v c 为研究对象，深入研究h 2 6 4 a v c 的 文档，性能和计算复杂度的基础上，对其参考软件编码器进行了优化。本文共分 五童。 绪论部分介视频编码的原理和国际视频编码标准的发展。 第2 章主要是分析h 2 6 4 a v c 编码标准框架，对输入图像格式、编码器结 构、分层结构、帧内预测，帧间预测、整数变换与量化、熵编码、去方块滤波器 等新技术进行了详细介绍。 第3 章主要是深入研究了帧间预测的模式选择模块，根据运动复杂度和宏块 的时空相关性提出了一种基于运动复杂度的模式选择算法。 第4 章主要介绍b 1 a c k n n 5 3 3 芯片以及对主要模块的优化工作。 第5 章对论文进行了总结，并对视频编码应用的下一步工作进行了展望。 8 硕士学位论文 第2 章h 2 6 4 视频编码特性分析 2 1h 2 6 4 视频压缩标准简介 j v t ( j o i n tv i d e ot e a m ，视频联合工作组) 于2 0 0 1 年1 2 月在泰国p a t t a y a 成 立，它由i t u t 和i s o 两个国际标准化组织的有关视频编码的专家联合组成。 j v t 的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像 质量、良好的网络适应性等目标。目前j v t 的工作已被i t u t 接纳，新的视频 压缩编码标准称为h 2 6 4 a v c 标准，该标准也被i s o 接纳，称为a v c ( a d v a n c e d v i d e oc o d i n g ) 标准，是m p e g 4 的第1 0 部分。 h 2 6 4 能提供比h 2 6 3 和m p e g 4 更高的压缩性能，使图像的数据量减少 5 0 ，有利于用有限的空间存储更多的图像数据；对网络传输具有更好的支持， 引入面向数据包编码，有利于将数据打包在网络中传输，支持流媒体服务应用； 具有较强的抗误码特性，以适应在噪声干扰大、丢包率高的无线信道中传输：对 不同应用的时延要求具有灵活的适应性；编码和解码复杂度具有可扩展性，支持 编码和解码复杂度的不等分配和扩展。h 2 6 4 a v c 中引入了一些新的压缩方法， 以提高压缩效率，它具有如下特点【2 1 儿2 2 】： 1 采用更小块进行变换编码 以往的8 8 d c t 逆变换会引起系数失真，使重构帧与原始帧间存在误差。 h 2 6 4 a v c 使用4 4 整型变换，保证逆变换系数不失真，并降低了运算复杂度。 2 增强的运动补偿性能 采用树状结构的运动补偿和1 4 像素精度的运动向量预测技术，使预测帧更 接近原始帧，减少相互间的差异，去除时间上的数据冗余，提高编码的压缩率。 3 采用块间滤波器提高性能 由于编码是有损的，会引起重构以后块间亮度落差大、图像出现马赛克等现 象，影响人的视觉感受。在块间使用滤波器，以平滑块间的亮度落差，可使重构 后的图像更贴近原始图像。 4 高性能的熵编码 由于块间的d c t 系数相关性大，h 2 6 4 a v c 使用内容自适应变长度熵编码， 减少了块间的相关性冗余，提高编码效率。 5 采用s p 和s i 帧支持视频流间切换 h 2 6 4 a v c 引入切换帧s p 和s i 的概念。解码器可以根据当前网络的状况使 用切换帧，在不同质量的视频流间进行有效切换，解决切换过程中预测帧因缺乏 9 h 2 “模式选择算法研究和d s p 实现 参考帧而引起的解码错误。 与之前的各个协议相比，h 2 6 4 有以下的几个重要优势【2 3 】： 1 高质量的视频图像。h 2 6 4 协议在各种提供了稳定的视频质量，尤其是 在低比特率的情况下，也能保持较高的图像质量。 2 与h 2 6 3 + + 或m p e g 4 相比，在近似的图像质量上，h 2 6 4 的比特率降低 大约5 0 。 3 h 2 6 4 既可应用于低延迟的场合，如在实时通信系统中的应用，也可用 于对延迟没有限制的场合，如视频存储、基于服务器的视频流应用等等。 4 h 2 6 4 对于丢失的信息提供了错误掩盖的上具。 5 h 2 6 4 分为视频编码层( v c l ) 和网络适应层( n a l ) ，v c l 提供了核心的视 频内容压缩算法，而n a l 提供了针对特定网络传输的打包原则。 和以往视频编码标准相比，h 2 6 4 具有突出的性能，它将具有广阔的应用前 景和商业价值。它的应用领域包括： 1 通过电缆、卫星、c a b l em o d e m ，d s l 、陆地等媒介的广播。 2 在光学或磁性设备、d v d 上的交互式储存。 3 基于i s d n 、以太网、l a n ，d s l 、无线移动网络、调制解调器的会话服 务。 4 基于i s d n ，c a b l em o d e m ，d s l ，l a n 、无线网络的视频点播和多媒体流 服务。 5 基于i s d n ，d s l 、以太网、l a i n 、无线和移动网络等的多媒体消息服 务( m m s ) 。 2 2h 2 6 4 视频编解码器结构 2 2 1h 2 6 4 a v c 的分层结构 h 2 6 标准一个显著的特点是编解码算法在概念上可以分为两个独立的层：视 频编码层v c l