（通信与信息系统专业论文）基于h264的视频编码算法研究与fpga实现.pdf

基于h 2 6 4 的视频编码算法研究与f p g a 实现 捅要 近年来，随着宽带网络的普及和多媒体技术的发展，视频压缩编码技术成为 人们研究的热点。国际电信联盟和国际标准化组织提出了一系列的视频编码的藿 际标准。2 3 年，h 。2 6 4 视频编码标准正式被推出，圊以往的标准相比，在枢同 图像质量的前提下，h 2 6 4 标准有更高的编码压缩效率，同时还具有良好的网络 适应性和抗误码特性等。 运动估计是视频压缩编码中的一项关键技术，采用运动估计和运动补偿技术 可以消除视频信号的时间冗余以提高编码效率。因此，找到一种快速，性能优良 的运动估计算法一直是视频压缩编码的研究热点。 本文首先对视频编码酶基本原理进行了简单的阐述，着重对h 2 6 4 标准进行 了较为系统的介缨，包括编解码流程，主要框架及采用的具体技术等，这是整个 论文的理论基础。 然后本文讨论了块匹配运动估计理论及其主要技术指标，在深入研究现有的 快速运动估计算法的基础上提出了一种性能和硬件实现难易度综合指标较高的 混合二步搜索运动估计算法( m t s ) 。该算法在第一步粗搜索的基础上增加了小菱 形搜索模板来加强中心区域的搜索，以此提高在中心点附近小运动估计效果，根 据匹配误差准则可以更好地找至l 最佳匹配块。将该算法应用于麟软件参考模型 中，对平均峰值信噪比( p s n r ) 、编码时间和比特率( 3 i tr a t e ) 三项指标进行了测 试，结果表明，相对于全搜索和三步搜索算法，m t s 算法提高了编码速度，节约 了运动估计的时间，具有更好的搜索性能。 最后本文研究了针对混合二步搜索运动估计算法( m t s ) 的硬件实现结构，该 算法具有规剡和均匀的数据流，与全搜索算法具有菜些共性。因此，在已有的用 于全搜索算法实现的y a n g 结构的基础上进行了改进，设计了符合混合二步搜索 运动估计算法要求的f p g a 实现结构。对实现该算法的运动健计模块进行了划分， 主要包括：片内存储器，片内存储控制器，运算阵列功能模块，s a d 比较模块等 几部分。运用v e r i l o g 硬件描述语言设计并实现了各功能模块，并使用q u a n u s i i 进行了功能仿真，最后得到了各模块的r 锻电路图。 关键词：视频编码；h 2 6 4 = 运动估计；混合二步搜索运动估计算法；f p g a = r e s e a r c ho faig o rit h mf o rvid e oc o din ga n dt h e r e a | iz a tio no ff p g a b a s e do nh 2 6 4 a b s t r a c t r e c e n t l y , 帆t ht h ed e v e l o p m e n to fb r o a d b a n da n dm u l t i m e d i ap r o c e s s i n g t e c h n i q u e s ，v i d e oc o m p r e s s i o nt e c h n o l o g yh a sb e c o m eah o ts p o t i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ( r r t oa n di n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ( i s o ) h a v ep u tf o r w a r das e r i e so fi n t e r n a t i o n a ls t a n d a r d sf o rv i d e oc o d i n g i n2 0 0 3 ，an e w v i d e oc o d i n gs t a n d a r dn a m e dh 2 6 4w a sr e l e a s e df o r m a l l y p r o m i s e do nt h es a m e v i d e oq u a l i t y , v i d e oc o d i n gb a s e do nh 2 6 4i sm o r ee f f e c t i v et h a na n yo t h e rc o d i n g s t a n d a r d s o nt h es a m et i m e ，t h en e w l ys t a n d a r dh a sn e t w o r kf r i e n d l yd e s i g na n d s t r o n g l ye r r o rc o n t r o li nt r a n s m i s s i o n ， m o t i o ne s t i m a t i o ni sak e yt e c h n o l o g yo fv i d e oc o d i n gs t a n d a r d m o t i o n e s t i m a t i o na n dm o t i o nc o m p e n s a t i o nc a nr e d u c et h e l a r g ea m o u n to ft e m p o r a l r e d u n d a n c yt h a te x i s t sb e t w e e nf r a m e so fv i d e os e q u e n c e s ，w h i c hl e a d st oh i 班 c o m p r e s s i o n s oh o w t om a k et h es e a r c ho fm o t i o ne s t i m a t i o na l g o r i t h m st h a tf a s t e r a n dm o r ee f f e c t i v eb e c o m e sah o tr e s e a r c h t o p i c f i r s t l y , i nt h i sp a p e rt h e p r i n c i p l eo fv i d e oc o d i n gi si n t r o d u c e db r i e f l y e s p e c i a l l yg i v e sa no v e r v i e wo fh 2 6 4s t a n d a r d , i n c l u d et h ep r o c e s s e so fc o d i n ga n d d e c o d i n g ，m a i nf r a m e w o r ka n ds p e c i f i ct e c h n o l o g i e sa n ds oo n t h i sp a p e ri sb a s e d o i lt h e s ec o n t e n t s e c o n d l y , t h ep r i n c i p l ea n dt e c h n i c a li n d e x e s o fb l o c km a t c h i n gm o t i o n e s t i m a t i o na r ed i s c u s s e di n t h i sp a p e r b ys t u d y i n gt h ee x i s t i n gr a p i dm o t i o n e s t i m a t i o na l g o r i t h m s ，n i t si sp r o p o s e dt h a th a sb e t t e rp e r f o r m a n c ea n dc a nb ee a s i l y r e a l i z e di nh a r d w a r e t h i sa l g o r i t h me m p l o y sas m a l ld i a m o n dp a t t e r nt os e a r c ht h e c e n t e ra r e ab a s e do nt h ef i r s ts t e po fr o u g hs e a r c h ，w h i c hc o u l di m p r o v et h ee f f e c to f s m a l lm o t i o ne s t i m a t i o nn e a rt h ec e n t e ra r e a a c c o r d i n gt om a t c h i n gc r i t e r i a , ab e s t m a t c hb l o c kw i l lb ef o u n d t h ep r o p o s e da l g o r i t h mi su s e db a s e do nj ms o f t w a r e m o d e l ，p s n r 、c o d i n gt i m ea n db i tr a t ew e r et e s t e d ，t h et e s tr e s u l t si n d i c a t et h a t c o m p a r e dw i t hf sa n dt s s ，m t si m p r o v e sc o d i n gs p e e d ，s a v e st h et i m e o fm o t i o n e s t i m a t i o na n dh a sb e t t e rs e a r c hp e r f o r m a n c e a tl a s t ，t h i sp a p e rs t u d yh o wt oc o m p l e t et h e h a r d w a r ea r c h i t e c t u r ed e s i g nf o r n i t s m t sh a sr e g u l a rd a t as t r e a ma n dh a ss o m ec o m m o nc h a r a c t e r i s t i c sw i t hf s t h e r e f o r e ，a na r c h i t e c t u r ei m p l e m e n t e do nf p g ai sd e s i g n e df o rm t s ，t h i s a r c h i t e c t u r ei sd e v e l o p e df r o mt h es t r u c t u r eo fy a n gf o rf s m o r e o v e r , f u n c t i o n m o d u l e so fm t sm o t i o ne s t i m a t i o na l g o r i t h ma r es e to f f , m a i n l yi n c l u d e ：o n c h i p m e m o r i e s ，o n c h i pm e m o r i e sc o n t r o l ，t h ef u n c t i o nm o d u l eo fp r o c e s sa r r a y , s a d s e l e c t o r , a n ds oo n e a c hf u n c t i o nm o d u l ew a sd e s i g n e da n di m p l e m e n t e dw i t h v e r i l o g h d l , a n df u n c t i o ns i m u l a t i o nw a sa c c o m p l i s h e di nq u a r t u s i i ，f i n a l l y ，t h e r t l - l e v e lc i r c u i td i a g r a mo fe v e r yf u n c t i o nm o d u l ew a so b t a i n e d k e yw o r d s ：v i d e oc o d i n g ；h 2 6 4 ；m o t i o ne s l ：i m a t i o n ：m t s ；f p g a 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他入已经发表或撰写过的研究成果，也不包含来获得 熊；垫逡查墓丝黉墨鳖型重盟笪：奎拦互窒2 或其他教育机构的学位或证书使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 学位论文作者签名：胡幂， 签字墨；餐：移年爹月弓。酲 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构送交论文的复印钵和磁盘，允许论文被查阅和借阅。本入 授权学校可以将学位论文躲全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学技术信息 研究所将本学位论文收录到中国学位论文全文数据库，并通过网络向社会公 众提供信息服务。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：钥秘、 签字日期：孵年，月如吕 导师签字： 签字日期： 冷i 霭嵌 侈乎年r 月多一日 基于h 2 6 4 的视频编码算法研究与f p g a 炙现 1 前言 当今时代，信息技术和计算机互联网飞速发展，在此背景下，多媒体信息己 成为人类获取信息的最主要载体，同时也成为电子信息领域技术开发和研究的热 点。多媒体信息经数字化处理后具有易于加密、抗干扰能力强、可再生中继等优 点，但同时也伴随海量数据的产生，这对信息存储设备及通信网络均提出了很高 要求，从而成为阻碍人们有效获取和使用信息的重大瓶颈。 众所周知，人类获取的信息中7 0 来自于视觉，视频信息在多媒体信息中占 有重要地位。同时视频数据冗余度最大，经压缩处理后的视频质量高低是决定多 媒体服务质量的关键因素。因此数字视频技术是多媒体应用的核心技术，也就是 说多媒体技术得以应用的关键技术之一就是解决视频、音频数字化后数据量大与 数据存储媒体和通信网容量小的矛盾，其解决的途径就是压缩，对视频编码的研 究已成为信息技术领域的热门话题。 在过去十年左右的时间里，人们在多媒体通信技术领域取得了惊人的进步。 视频图像编解码技术也取得了很大的成功，使得诸如视频会议、海量多媒体数据 存储、数字电视广播、基于网络的流媒体传输和播放等视频多媒体应用得到了不 断的普及与发展。反过来，这些多媒体应用的普及与发展也对数字多媒体的编解 码技术提出了许多更高的要求。 1 。 课题研究的意义 h 2 6 4 是r r u t 和i s o i e c 共同成立的联合视频组m 制定的目前最新的视 频编码标准秘】，这一编码标准可戮获得很高的编码效率，尤其是在低玛率方面比 m p e g 4 有明显的提高，非常适合低宽带、高质量网络视频应用的需要。但是， h 2 6 4 为了提高编码效率，采用了许多计算复杂度很高的算法，使得编解码计算 量很大，因此对软硬件的要求甚高，同时也加大了编解码的难度。因为在通常情 况下，报多方法无法实现在有限硬件支持的条件下，使得编码质量达到最优。 为了使h 2 6 4 能比较容易的在低码率高时性的应用系统中实现，必须对其编 码算法进行优化。对h 2 6 4 编码嚣各个算法模块进行分析可以得国，运动估计模 块的计算量占了整个编码器运算量的7 0 9 6 以上“1 。因此，要对整个编码器进行优 化，运动估计模块应作为首选。运动估计算法的效率直接决定整个编码系统的性 能，在实时视频传输时这一问题显得更为突出。 基于h 2 6 4 的视频编码算法研究与f p g a 实现 目前由于各种硬件设备的特性不同，因此其运算能力和工作能力也不同，因 此针对不同硬件设备计算能力的不同，需要在运动估计和模式选择时进行优化， 从而达到降低计算复杂度的目的，进而取得最优化的p s n r 和码率。所以，研究 并提出精确而又快速的运动估计算法具有十分重要的实际价值。 现在存在一些采用d s p 进行视频压缩处理的方案。但是通常用d s p 开发需 要使用专门的汇编语言和开发工具，开发难度大，而且芯片功耗较大，不易并行 处理。与d s p 相比，使用f p g a 可以达到更高的工作频率，程序可读性好，而 且具有更高的设计自由度，便于调试，可以很方便地修改、扩充程序的功能，可 以并行地处理数据，功耗较小，成本较低，可供选择地开发工具也较多，因此使 用f p g a 进行硬件实现已经成为了一个新的发展方向。 1 2 视频压缩编码基本原理 数字视频信息可以进行压缩，是因为视频数据的表示中存在大量的冗余，并 且这些冗余在编解码后可以无失真地恢复。因此可以通过去除这些冗余数据来减 少原始视频的数据量，从而达到数据压缩以解决视频传输数据量巨大的目的。视 频数据表示主要存在以下形式的冗余呻1 ： 空间冗余：视频图像序列中某帧画面的某一取样点的亮度和色度信息，与 其在同一帧画面的相邻取样点之间存在极强的相关性。 时间冗余：视频图像序列中某帧画面的某一取样点的亮度和色度信息，与 其在时间上相邻画面的相应位置的取样点之间存在极强的相关性。 信息熵冗余：信息熵冗余也称为编码冗余，由信息论的有关原理可知，它 为表示图像数据的一个像素点，只要按其信息熵的大小分配相应的比特数即可。 然而对于实际图像的每个像素，很难得到他们的信息熵，在数字化一幅图像时， 对每个像素是用相同的比特数表示，这样必然存在冗余。 结构冗余：在有些图像的部分区域存在着非常强的纹理结构，或是图像的 各个部分之间存在有某种关系，例如自相关性等。 知识冗余：在某些图像中包含的信息与某些先验的基础知识有关，这种冗 余称为知识冗余。 视觉冗余：大多数情况下，重建图像的最终接收者是人的眼睛。为了达到 较高的压缩比，可以利用人类视觉系统的特点。因为人的视觉系统对图像的注意 2 基于h 2 6 4 的视频编码算法研究与f p g a 实现 是非均匀和非线性的，并不是对于图像中的任何变化都能感知。因此，如果编码 能利用人类视觉系统的一些特点，是可以提高压缩比的。 通过一定的编码方法减少表示某一图像序列的数据量，这些编码的方法称为 视频( 图像) 压缩。压缩编码的理论基础是信息论。从信息论的角度看，压缩就 是去掉信息中的冗余，保留不确定的信息，去除确定的，可推知的信息，用一种 更接近信息本质的描述来代替原有冗余的描述。在静止图像压缩中，它的主要目 标，是在保持重建图像质量可以被接受的同时，尽量去除图像本身存在的空间冗 余信息。对于视频信号的压缩，是在去除空间冗余的同时，还可以通过去除时间 冗余以达到更高的压缩比。因此，视频编码的目的就是在保证二_ 定重构质量的前 提下，以尽量少的比特率来表征视频信息。 1 2 1 变换编码 变换编码n 州( t r a n s f o r mc o d i n g ) ：变换编码是通过信号变换来消除图像 数据空间相关性的一种有效方法。变换编码通常是将空间域相关的像素点映射到 另一个正交的矢量空间( 变换域或频域) ，使变换后的系数之间的相关性降低。 就数据压缩而言所选择的变换方法最好能与图像信号的特征匹配。 k - l ( k a r h u n e n l o e v e ) 变换虽然是均方误差准则下的最佳变换，但它需要知道信号 源的协方差矩阵，而且实际的信息源在时域和空域的概率分布是变化的，因此必 须根据以前的信号计算协方差矩阵，计算量非常大。在实际的编码工作中采用离 散余弦变换( d c t , d i s c r e t ec o s i n et r a n s f o r m ) 。d c t 是经典的谱分析工具，不仅 有与k - l 变换相近的去相关效果，而且运算效率高，易于工程上快速实现。 d c t 变换后的系数，能量主要沿主对角线分布，如果在左上角集中着绝大 部分能量，通常称顶左的为直流系数( d c ) ，其它的为交流系数( a c ) ，反映了图 像数据块区域变化不大，亮度相关性较强。量化时，可以舍弃一些对视觉效果影 响不大的高频信息，进一步的减小冗余。 其他的变换方法还有傅立叶变换( 巩f o u r i e rt r a n s f o r m ) 、离散小波变换 ( d w t ，d i s c r e t ew a v e l e tt r a n s f o r m ) 及最新出现的整数d c t 变换等。 1 2 2 预测编码 预测编码n 们( p r e d i c t i v ec o d i n g ) 根据时间和空间相关特性可分为时域帧间预 基于h 2 6 4 的视频编码算法研究与f p g a 实现 测和空域帧内预测两大类，预测编码不是对一个像素直接编码，而是用同一帧( 帧 内预测编码) 或相邻帧( 帧间预测编码) 中的像素值来进行预测，然后对预测残差 进行量化和编码。这主要利用图像序列之间或同一幅画面像素之间的相关性，显 然预测编码可以减小图像数据中的空间和时间冗余。 帧间预测编码的方法以运动补偿法为主，应用也最为广泛。由于运动补偿预 测能够有效的减少视频序列的时域冗余，已成为当前主要视频编码标准的基本技 术之一。 帧内预测编码是利用帧内相邻像素间的相关性，计算相邻像素之间的差值， 在对差值进行编码。由于帧内预测能够有效的减少视频图像的空域冗余，已被最 新的视频编码标准( m p e g 4 和h 2 6 4 ) 采用。帧间预测编码又分为运动估计和运 动补偿两部分，一般以像素块为单位，m p e g 4 和h 2 6 4 可以多种分块模式， m p e g 4 也有基于对象的预测编码。运动估计的目的n ，就是搜索出像素块或对 象的运动矢量并编码。运动补偿应用于解码器和编码器的本地重建部分，是运动 估计的相反过程。 1 2 3 矢量量化 矢量量化( v e c t o rq u a n t i z a t i o n ，v q ) 是2 0 世纪7 0 年代后期发展起来的一种数 据压缩技术，按照香农的率失真理论限a t e ，d i s t o r t i o nt h e o r y ) i p 图像矢量编码的 性能要优于对其标量编码的性能。矢量量化性能可能任意接近率失真函数的理论 极限，方法是增加维数k 。 矢量量化是标量量化的多维扩展，它是信息的一种有损压缩方法，可以获得 较高的压缩比，这是因为矢量量化有效利用了矢量中各个分量的四种相关特性 ( 线性依赖性、非线性依赖性、概率密度函数的形式和矢量维数) 来去除冗余度。 1 2 4 熵编码 熵编码( e n t r o p yc o d i n g ) 就是利用信源的统计特性进行码率压缩。它通过 赋给概率大的符号( 串) 以较短的码字，将描述视频流的符号流编码成适合传输或 存储的压缩比特流。常用的熵编码有游程编码( r l c ，r u n - l e n g t hc o d i n g ) 、霍夫 曼编码( h u f f ：m a nc o d i n g ) 和算术编码( a r i t h m e t i cc o d i n g ) 三类n 嘲。 当已被采样的图像视频数据拥有相同字节的序列时，可以采用更紧密的序列 4 基于h 2 6 4 的视频编码算法研究- 9f p g a 实现 来代替这些相同的字节序列，扶磊实现压缩。这就是游程编码。 霍夫曼编码是一种不等长编码，但要实现它就必须事先知道信源的概率分 布，这一般无法徽到，通常采甩对大量数据进行统计屠得到的近似分布来代替。 但是不同的图像类型其系数分布总有差异，这导致霍夫曼编码实际应用时达不到 最佳能。 算术编码时2 0 世纪8 0 年代发展起来的一种熵编码方法。理论上，算术编码 与霍夫曼编码方法均是最佳的。实际试验证臻，算术编码与霍夫曼编码方法的平 均压缩效果十分相似，只是霍夫曼编码更快一些。因此，不少混合编码方法是用 优佬过的霍夫曼算法作为熵编码过程中的一个步骤。有关试验表踞，在信号源概 率分布未知的情况下，算术编码优于霍夫曼编码哺1 。 1 3 视频压缩编码标准发展状况 近年来，一系列国际视频压缩编码标准的制定极大的促进了视频压缩编码技 术和多媒体通信技术的发展。视频压缩编码标准的制定主要是由圆际标准化组织 ( i s 0 ) 和国际毫信联盟( 叻完成的。由i t u 组织制定的标准主要针对实时视频通 讯的应用，如视频会议和可视电话等，他们以h 2 6 x 命名( 如h 2 6 1 ，h 2 6 3 和h 2 6 l ) ； 而由i s o 和忑c ( 国际电工委员会) 的共同委员会中的m p e g 组织( m o v i n gp i c t u r e e x p e r tg r o u p ) 帛1 定的标准主要针对视频数据的存储( 如d v d ) 、广播电视和视频流 的网路传输的应用，他们以m p e g - x 命名( 如m p e g - 1 ，m p e g - 2 , m p e g - 4 ，m p e g - 7 等) 。各种视频压缩标准都是根据人们在不同领域中对声像数据的要求制定的， 并随着人们的需求不断的发展。下面我们分别来介绍m p e g - x 系罗# 标准和收2 6 x 系列标准。 1 3 1 鼯e g 系列标准 m p e g 是活动图像专家组( m o v i n gp i c t u r ec o d i n ge x p e r t sg r o u p ) 的简称。 m p e g 成立于1 9 8 8 年1 月，是致力子研究、开发数字压缩标准，以保证活动图 像质量的前提下，压缩传输码率的组织。m p e g 所开发出的标准被国际标准组织 ( i s o ) 和w 际电工委员会( 砸c ) 批准为国际标准，形成m p e g 系列“羽。原先共有三 个版本m p e g - 1 ，m p e g 2 ，m p e g - 3 ，后又增加了m p e g 4 ，m p e g - 7 和m p e g - 2 1 ， 不同版本表示了不同用途和质量，对多媒体通信的发展起到了革命性的推动作 用。 5 藻子h 2 6 4 的视频编码算法研究与f p g a 实现 m p e g 。1 驻秘 m p e g - 1 制定于1 9 9 3 年，是针对1 5 m b p s 以下数据传输率的数字存储媒质 运动图像及其伴音编码的国际标准。m p e g - 1 蔫予在c d - r o m 上存储同步耪彩 色运动视频信号，可优化为中等分辨率，并在其优化模式下，采用标准交换格式 ( s 习p 。它可针对s i f 标准分辨率( 对于n t s c 制为3 5 2 2 4 0 ；对于p a l 割为3 5 2 2 8 8 ) 的图像进行压缩，传输速率为1 5 m b i t s s e c ，每秒播放3 0 帧。m p e g 1 对 色差分量采用4 ：1 ：1 的= 次采样率。m p e g - 1 旨在达到v r c 质量，其视频压缩率 为2 6 ：1 。m p e g 一1 现已成为常规视频标准的一个予集。 m p e g - 2 【司 m p e g 2 制定于1 9 9 5 年，它追求的是c c i r6 0 1 建议的图像质量d v b ，h d t v 和d v d 等制定的3 m b p s 一1 0 m b p s 的运动图像及其伴音的编码标准。m p e g - 2 在 n t s c 制式下的分辨率可达7 2 0 4 8 6 ，m p e g - 2 能够提供广播级的视像和c d 级 的音质。由于m p e g - 2 在设计时的巧妙处理，使得大多数m p e g - 2 解码器也可 播放m p e g - 1 格式的数据，如v c d 。同时，由于m - p e g 2 的出色性能表现，已 能适用于h d t v 。除了作为d v d 的指定标准外，m p e g 2 还可用予为广播、有 线电视网、电缆网络以及卫星直播提供广播级的数字视频。m p e g - 2 的另一特点 是，箕可提供一个较广的范围改变压缩比，以适应不同画面质量、存储容量以及 带宽的要求。对于最终用户来说，由于现存电视机分辨率的限制，m p e g 2 所带 来的高清晰度滴面质量融掰d v d 画i l i i ) 在电视上效果并不明显，到是其音频特性 ( 如加重低音，多伴音声道等) 更引入注日。 m p e g - 4 1 钉 m p e g - 4 是m p e g 组织制定的一种i s o 刀匣c 标准。m p e g 组织手1 9 9 9 年1 月正式公布了m p e g - 4v1 0 版本，1 9 9 9 年1 2 月又公布了m p e g 4v 2 0 版本。 m p e g - 4 的目标被定义为：支持多静多媒体应用，特别是多媒体信息基于内 容的检索和访问，可根据应用的不同要求，现场配置解码器。编码系统也是开放 的，可以随时加入薪的有效的算法模块。与前面提到的m p e g 1 ，m p e g - 2 标准 相比，m p e g - 4 为多媒体数据压缩提供了个更为广阔的平台。它更多定义的是 一种格式、一种架构，两不是具体的算法。它可以将各种各样的多媒体技术充分 利用进来，包括压缩本身的一些工具、算法，也包括图像合成、语音合成等技术。 6 基于h 2 6 4 的视频编码算法研究与f p g a 实现 m p e g 4 的特点在于，它不同予传统的图像视频编码方法，第一次提出了 基于对象的视频编码的概念和方法。m p e g 1 与m p e g 2 是基于图像帧的编码标 准，而m p e g - 4 是基于媒体对象的编码标准，面商可视对象进行编码。但从编 码方案上说，m p e g 4 仍然是以子块为基础的混合编码。 m p e g - 7 臻 继m p e g 4 之后，要解决的矛盾就是对网渐庞大的图像、声音信息的管理 和迅速搜索。针对这个矛盾，m p e g 提出了解决方案m p e g - 7 。m p e g - 7 力求 能够快速且有效地搜索出用户所需的不同类型的多媒体信息。m p e g 7 将对各种 不同类型的多媒体信息进行标准化的描述，并将该描述与所描述的恣容相联系， 以实现快速有效的搜索。该标准不包括对描述特征的自动提取，它也没有规定利 用描述进行搜索的工具或任何程序。英正式的称谓是“多媒体内容描述接口挣。 m p e g 7 系统的要求可以分为两部分：( 1 ) 传统的m p e g 系统的功 能；( 2 ) m p e g - 7 所特有的功能。传统的功能主要要求能够对编码的声音、视频以 及用户定义的数据进行传输和同步编码。m p e g 7 所具有的特殊要求包括 - m p e g - 7d d i _ d e s c r i p t i o nd e f i n i t i o nl a n g u a g e ，描述定义语畜) 和m p e g - 7 b i m ( b i n a r yf o r m a tf o rm e t a d a t a ，二进制动态描述方法) 。b i m 比d d l 所定义的 文本描述语言x m l 占用更少的存储和传输资源，并且比文本格式更利予在不完 全解析码流的条件下提供随机访问点。系统可以通过b i m 和基于d d l 的文本描 述语言x m l 进行双向检索，从而达到对m p e g - 7 码流进行快速解析的目的。 m p e g 7 的这种标准化的描述可以加到任何类型的多媒体资料上。不管多媒体资 料的表达格式或压缩形式如何，只要加上了这种标准化描述的多媒体数据就可以 被索引和检索了。因此，它也可以被用在现有的m p e g 2 和m pe g 4 传输系统 串。 m p e g - 2 1 剃 m p e g 在1 9 9 9 年1 0 月的m p e g 会议上提出了甜多媒体框架 的概念，同 年的1 2 月的m p e g 会议确定了m p e g 2 1 的正式名称是“多媒体框架 或“数 字视听框架 。m p e g - 2 1 标准的主要目标是：讨论是否需要和如何将协议、标准、 技术等不同的组件有机的结合起来，讨论是否需要新的规范，以及讨论在具各上 述条件的前提下如何将不同的标准集成在一起。 7 基于h 2 6 4 的视频编码算法研究与f p g a 实现 在数字化趋势越来越明显的今天，m p e g 的专家们会带给我们新的m p e g 系列，解决在数字化的道路上的不断出现的问题。 1 3 2h 2 6 x 系列标准 通常情况下，h 2 6 x 标准侧重于视频信息的数据压缩率，以适合调整该系统 在特定位速率下传输，其主要应用目标是可视电话和会议电视。 h 2 6 1 标准1 2 1 h 2 6 1 图像编解码标准是c c r r r ( 现r r u t ) 国际联合电信于1 9 9 0 年制定的针 对活动图像的p 6 4 k b p s 的编码协议。其中p 是一个整数，取值范围为1 鸪o ， 对应比特率为6 4 k b s - 1 9 2 m b s 。h 2 6 1 主要是针对可视电视、窄带i s d n 等要 求实时编解码和低延时应用提出的一个编码标准。 h 2 6 1 对c i f ( c o m m o ni n t e r - m e d i af o r m a t ) 和q c i f ( q u a r t e rc i f ) 两种图像格 式进行处理，只有按帧的工作方式，它通过缓冲控制器产生恒定的输出码流。最 大支持每秒解码3 0 帧c i f 图像，最小支持每秒7 5 帧的q c i f 图像。对于一个编 码帧，分成1 6 1 6 大小的宏块进行单独处理。对于每一个帧间编码的宏块，进 行运动估计，h 2 6 1 仅支持整数像素运动估计，运动估计范围为土1 5 。对于帧内 编码宏块和帧间运动预测残差按8 8 进行d c t 变换、量化、z i g - z a g 扫描和变 长编码。h 2 6 1 采用了两个量化器，对帧内编码的d c t 直流系数用步长为8 的 均匀量化器进行量化，其他系数采用带死区的均匀量化器，量化器步长从2 6 2 中选择。 h 2 6 3 标准m 3 h 2 6 3 标准是在h 2 6 1 标准的基础上建议的。它在低码率条件下，能够在不 增加太多复杂度的情况下，获得更高的图像质量，原则上它只需要一半的带宽就 可取得与h 2 6 1 同样的视频质量口u 。目前，h 2 6 3 标准已经被各种可视电话终端 协议广泛采用。 h 2 6 3 标准基本模式编码器的结构框图与h 2 6 1 标准相似。同样，采用运动 补偿预测减少图像的时间域冗余度：对运动补偿预测的残差场进行离散余弦变换 ( d c t ) 编码：利用变长编码( v c l ) 对量化的d c t 系数、运动矢量以及附加信息进 行熵编码n 羽。 h 2 6 3 在h 2 6 1 建议的基础上作了一定的改进。图像尺寸采用q c i f 格式， 8 基于h 。2 6 4 鲍视频编璐算法研究与f p g a 实现 弓| 入了s u b c i f 格式，也允许使用c i f 格式。采用8 x 8 的d c t 交换，宏块统一 使用厨样的量化步长进行量化，可以是一个宏块使用一个运动矢量，也可以是宏 块的每个子块各使用一个运动矢量，因而，具有块运动补偿能力，改善了帧间预 测。运动矢量的x 方向和y 方向都支持半像素精度，运动估计的搜索窗大小被 限制为【1 6 ，+ 1 5 5 】，运动矢量进行差分预测编码传输。编码方式采用二维预测与 v l c 相结合的编码：类似m p e g 1 标准，将所有的图像分为p 帧和b p 帧。 h 。2 6 3 + 漱是h 2 6 3 的第二个版本。h 2 6 3 + 的宗旨是拓展应用范围，提高压缩 效率。它可以支持各种各样不同的图像信源格式，增鸯弱了多达王2 种编码可选模 式，如高级帧内编码、去方块效应、参考帧选择、s 翊对时域空域可分级性等。 它还允许在码流内加入许多附加的信息，大大方便了用户的操作。 h 2 6 3 + + 汹1 是h 2 6 3 的第三版本，它于1 9 9 9 年底完全定稿。h 2 6 3 + + 在视频 流抗误码方面做了不少增强工作，提出了基于数据分类和可逆v l c 编码的抗误 码组合，同时扩展了参考帧选择模式为更灵活的反馈信息抗误码系统打下了坚实 的基础。 珏2 6 4 标准 h 2 6 4 是由i s o k e c 与r w 最组成的联合视频组制定的新一代视频压 缩编码标准，在i s o i e c 中该标准命名为a v e ( a d v a n c e dv i d e oc o d i n g ) ，作为 。 。 囊 _一 m p e g - 4 标准的第1 0 个选项；在r r u t 中正式命名为h 2 6 4 标准n 钔。 h 2 6 4 标准有三个框架( p r o f i l e ) ，分别是b a s e l i n ep r o f i l e 、m a i np r o f i l e 和e x t e n d p r o f i l e ，每个p r o f i l e 确 相应的算法组成和语法结构。b a s e l i n ep r o f i l e 是基本框架， 面向复杂度低，传输延迟小的应用对象；m a i np r o f i l e 面向运动特性复杂、快速， 传输延迟大的应用对象；e x t e n d 跚蠡k 面向应用要求更嵩的对象渊。珏。2 6 4 在算法 上分为两层：视频编码层和网络提取层。前者负责高效的视频内容处理；后者负 责网络的分段格式封装数据，包括组帧、逻辑信道的指令等n 1 。h 2 6 4 标准的视 频编码的基本结构与h 2 6 3 相似，采用图像预测和变换编码相结合的编码结构。 在相同的图像质量下，h 2 6 4 的平均码率同其他标准相比如h 2 6 3 或m p e g 4 可降低5 0 ，而且对网络传输具有更好的支持功能。同时，h 2 6 4 还具有可延展 性，可以生成从手视上使用的3 g 标准图像到高清晰度圈d ) 的视频匿像。h 2 6 4 优越性能的获得不是没有代价的，其计算复杂度大大增加，据估计，其编码的计 9 基于h ，2 6 4 的视频编码算法研究与f p g a 实现 算复杂度大约为嚣2 6 3 豹3 倍，解码复杂度大约相当予h 2 6 3 的2 倍。 1 3 3a v s 标准 除了上述国际标准以外，中函也在制定具有自主知识产权的视频编码标准。 2 0 0 3 年l 王月底，国家信息产业部数字音视频编解码标准组正式发出a v s ( a u d i o v i d e oc o d i n gs 翘d 鑫越) 标准草案嘲。2 0 0 4 年羔2 月底，a v s 标准系统与视频部分 顺利通过审定，主要瑟向高清晰度电视、高密度光存储媒体等应用。 a v s 标准以当前国际上最先进的h 2 6 4 框架为基础，强调自主知识产权，同 时充分考虑了实现的复杂度。核心技术包括：( i ) 8 8 的整数变换与6 4 级量化：( 2 ) 亮度和色度帧内预测都是以8 8 块为单位，亮度块采用5 种预测模式，色度块 采用4 种预测模式；( 3 ) 采用1 6 x1 6 ，1 6 x 8 ，8 x1 6 和8 8 四种块模式进行运动补 偿；( 4 ) 在1 4 像素运动估计方面，采用不同的l l i 抽头滤波器进行半像素插僮和1 4 像素插值；( 5 弦帧可以利用最多2 帧的前志参考帻，瑟b 帧采用翦后各一个参考 帧。 a v s 标准包括9 部分：系统、视频、音频( 2 部分) 、参考软件、数字媒体版权 管理、移动视频、在口网上传输a v s 及a v s 文件格式。其中a v s 标准中涉及 视频压缩编码的有两个独立的部分：a v s 第二部分( a v s l p 2 ) ，主要针对高清晰度 和高质量数字电视广播和高密度存储媒体应用；它的主要特点为：1 ) 性能高，编码 效率比m p e g - 2 嵩2 倍以上，与h 2 6 4 的编码效率相当；2 ) 算法复杂度比珏2 6 4 低；3 ) 软硬件实现成本低于珏。2 6 4 ；专利授权模式篱单，费用明显低于恩类标准。 随着a v s 标准的视频部分正式成为国家标准，a v s 标准作为数字音视频产 业的共性基础标准，将广泛应用于高清晰度和标准清晰度数字电视广播、激光视 盘机、移动多媒体通信、视频会议与视频监控、宽带网络流媒体、数字电影等产 业群。在国家的力推和国内业界的支持下，a v s 作为我国的国标有非常广阔的 应用前景渊。 1 4 论文的主要工作 本文研究的主要工作分两部分： ( 王) 珏2 6 4 帧阅预测中运动估计算法的研究。首先介绍了薹薹2 6 4 的标准算法， 然后对运动估计算法进行了研究，本文在全搜索算法的基础上提出了一种混合二 步搜索算法( m t s ) ，并在n 耳提供的珏2 6 4 标准压缩参考模型软件j m 上进行了 1 0 基于h 2 6 4 的视频编码算法研究与f p g a 实现 性能测试。 ( 2 ) 基于f p g a 的混合二步搜索算法( m t s ) 硬件实现结构的研究。通过对m t s 的分析，本文给出了一个用f p g a 实现该运动估计模块的设计方案。利用自顶向 下的设计方法，将该运动估计模块按照功能划分为几个模块，并用v c r i l o g h d l 语言实现了其中的数个关键模块，然后用q u a