（通信与信息系统专业论文）低码流h264视频编码算法研究及fpga实现探讨(1).pdf

低码流h2 6 4 视频编码算法研究及f p g a 实现探讨 低码流h 2 6 4 视频编码算法研究及f p g a 实现探讨 摘要 h 2 6 4 是目前最新的m p e g 视频压缩标准，也被称为m p e g 4 第1 0 部分。 在同等的画质下，h 2 6 4 比上一代编码标准m p e g 一2 平均节约6 4 的传输码流， 而比m p e g 4 a s p 要平均节约3 9 的传输码流。和其他m p e g 标准一样，该标 准只是指定了比特流的语法和解码器的结构，因此编码性能不但取决于标准本身 决定，还与编码的实现方法有关。本论文中，在保持与该标准兼容的前提下，提 出了一些提高编码性能的方法。同时本文对实时h 2 6 4 编码的f p g a 实现进行了 研究。在算法的研究过程中，利用v c + + 6 0 实现了一个可视化的软件工具。该工 具软件可以播放视频序列，并且可以显示运动向量以及图像的边缘信息。 h 2 6 4 视频编码标准中，帧内编码采用预测、变换、编码的方法。帧内预测 有多种模式，由于多种预测模式的采用，大大提高了帧内编码的效率，但同以往 的编码器相比却消耗了更多的编码时间，在实时视频压缩的应用中受到限制。本 文提出一种基于图像边缘，计算边缘方向的帧内预测模式快速判别方法。在h 2 6 4 参考软件中采用该方法，通过试验证明在p s n r 的损失可以忽略的情况下，帧内 编码的时间可节省5 0 一6 0 。 在视频压缩中，拉格朗日优化能够大大地提高视频的视觉质量。为了取得最 高的编码性能，获得好的图像质量，减小生成的码流，h 2 6 4 参考软件中采用率 失真优化技术。当进行率失真优化时， 的取值决定了码率和失真的大小。h 2 6 4 参考软件中 的取值只与量化参数q p 有关，对于不同的视频序列，不能产生最 优的优化结果。为了适应视频内容的变化，产生更好的压缩效果，本文在分析了 全局率失真优化的基础上，提出了一种针对帧间编码，能够适应视频内容变化的 选择方法。 以往视频编码一般用全定制a s i c 或d s p 实现，f p g a 由于其资源有限而未 被采用。但d s p 运算速度慢；全定制a s i c 开发周期长，投片成本高，不灵活； 而f p g a 可重复使用，设计修改灵活，只要修改用于配置的e e p r o m 即可实现 设计的升级，随着f p g a 片内资源的扩展，具备d s p 模块，可以实现数字信号处 理的复杂算法，而且又有较高的运算速度。而且h 2 6 4 采用整数d c t 变换，整个 编码过程中不涉及到浮点数运算，这使得采用f p g a 实现h 2 6 4 编码成为可能。 本文对f p g a 实现h 2 6 4 编码进行了研究，提出了基于a l t e r a 公司f p g a 的实现 方案，并用v e r i l o g 语言编写了其中的关键部分。主要实现的模块有视频采集部分， 变换量化部分，运动估计部分。在利用m o d e l s i m 对它们的逻辑进行了验证之后， 用q u a r t u s i i 进行了综合。 关键词：帧内预测拉格朗日优化硬件描述语言现场可编程门阵列 低码流h 2 6 4 视频编码算法研究及f p g a 实现探讨 s t u d yo fa i g o r i t h m sf o rl o wb i t - r a t eh 2 6 4v i d e oc o d i n g a n dr e s e a r c ho fh a r d w a r er e aiiz a t io n a b s t r a c t h 2 6 4 a l s ok n o w na sm p e g - 4p a r t1 0 ：a d v a n c e dv i d e oc o d i n g ，i st h el a t e s t m p e gs t a n d a r df o rv i d e oc o d i n g i tp r o v i d e sa p p r o x i m a t e l y6 4 b i tr a t es a v i n g sf o r e q u i v a l e n tp e r c e p t u a lq u a l i t yc o m p a r e dt om p e g 一2s t a n d a r da n dp r o v i d e sa b o u t3 9 b i tr a t es a v i n g sc o m p a r e dt om p e g 一4a s p i nt h es a m ef a s h i o na sp r e v i o u sm p e g s t a n d a r d s ，o n l yt h eb i ts t r e a ms y n t a xa n dt h ed e c o d e ra r es p e c i f i e d h e n c e ，c o d i n g p e r f o r m a n c ei sn o to n l yd e t e m a i n e db yt h es t a n d a r di t s e l f b u ta l s ob yt h ei m p l e m e n t a t i o n o ft h ee n c o d e r i nt h i st h e s i st w om e t h o d sa r ep r o p o s e df o ri m p r o v i n gt h ec o d i n g p e r f o r m a n c ew h i l er e m a i n i n gf u l l yc o m p l i a n tt ot h es t a n d a r d a tt h es a m et i m e ，t h e h a r d w a r ei m p l e m e n t a t i o no fh 2 6 4c o d e ci ss t u d i e di nt h i st h e s i s t oa i ds t u d yo f a l g o r i t h mf o rh 2 6 4 as o f t w a r et o o lh a sb e e nc r e a t e dt ov i s u a l i z et h ec o d i n gp r o c e s sa n d p r e s e n ts t a t i s t i c s t h i st o o li s w r i t t e nw i t hv c 十+ 6 0i t i sc a p a b l eo fp l a y i n gv i d e o s e q u e n c e ，d i s p l a y i n gi n f o r m a t i o ns u c ha sb i td i s t r i b u t i o n ，m o t i o nv e c t o r s ，p r e d i c t e d p i c t u r e sa n de d g ei n f o r m a t i o n i n t r a - c o d i n g u s e sp r e d i c t i o n ，t r a n s f o r m a t i o na n de n c o d i n gm e t h o d si nh 2 6 4 s t a n d a r d t h e r ea r em a n yp r e d i c t i o nm o d e st h a ti m p r o v et h ee f f i c i e n c yo fi n t r a c o d i n g b u tm o r et i m ei sc o n s u m e db yi n t r a c o d i n gc o m p a r e dt op r e v i o u ss t a n d a r d t h i sm a k e s i td i f f i c u l tt ob eu s e di nr e a l t i m ea p p l i c a t i o n so fv i d e oc o m p r e s s i o n i nt h i st h e s i s ，a f a s ta l g o r i t h n af o rj u d g m e n to fi n t r a p r e d i c t i o nm o d ei sg i v e no nt h eb a s i so fe d g e i n f o r m a t i o no f v i d e of l a m e s t h ea l g o r i t h mi s i m p l e m e n t e di n h 2 6 4r e f e r e n c e s o f t w a r e a f t e rt e s t e dw i t hv i d e os e q u e n c e s ，i tp r o v e st h a tt h et i m ef o ri n t r a c o d i n g r e d u c e s5 0 - 6 0 w i t hv e r yl i t t l ed e g r a d eo f p s n r l a g r a n g i a no p t i m i z a t i o nf o rv i d e oc o m p r e s s i o nh a sp r o v e nt oy i e l ds u b s t a n t i a l i m p r o v e m e n t si np e r c e i v e dq u a l i t ya n dt h eh 2 6 4r e f e r e n c es o f t w a r eh a sb e e nd e s i g n e d a r o u n dt h i s c o n c e p t f o r h i g hp e r f o r m a n c e a n dl o wb i tr a t e w h e n p e r f o r m i n g l a g r a n g i a no p t i m i z a t i o n ，l a m b d ai sac r u c i a lp a r a m e t e rt h a td e t e r m i n e st h et r a d e o f f b e t w e e nr a t ea n dd i s t o r t i o n t h ev a l u e o fl a m b d ai so n l yr e l a t e d t o q u a n t i z a t i o n p a r m n e t e rq pi nh2 6 4r e f e r e n c es o f t w a r e ，s ot h eb e s to p t i m i z a t i o nc a n n o tb eo b t a i n e d w i t hd i f f e r e n tv i d e os e q u e n c e a f t e rt h ea n a l y s i so fg l o b a lo p t i m i z a t i o n ，an e wm e t h o d i sp r o p o s e dt os e l e c tl a m b d af o rl i o n - r e f e r e n c epf r a n l e si nh 2 6 4 w h i c hc a na d a p tt h e c o n t e n to f v i d e os e q u e n c ea n dp r o d u c eb e t t e rc o m p r e s s i o n v i d e oc o d e ri si m p l e m e n t e dw i t ha s i co rd i g i t a l s i g n a lp r o c e s s o rp r e v i o u s l y 低码流h2 6 4 视频编码算法研究及f p g a 实现探讨 f p g a1 sn o tu s e db e c a u s eo fi t sl i m i t a t i o no fh a r d w a r er e s o u r c e b u tt h ec a l c u l a t i n g s p e e do f d i g i t a ls i g n a lp r o c e s s o ri ss l o wa n dt h ed e v e l o p m e mc y c l eo f a s i ci st o ol o n g f p g ai sr e u s a b l ea n di ti sf l e x i b l et ob ec h a n g e ds i n c ei ti sc o n f i g u r e dw i t he e p r o m i tc a nb eu p g r a d e dj u s tb yc h a n g i n gt h ec o n t e n to fe e p r o m w i t ht h ee x t e n s i o no f r e s o u r c e si nf p g a ，e s p e c i a l l yw i t ht h ed s pm o d u l e ，f p g a sc a r lr e a l i z ec o m p l e x a l g o r i t h m s ，w h i c hw e r ei m p l e m e n t e do nd i g i t a ls i g n a lp r o c e s s o r sp r e v i o u s l y , i nh i g h e r s p e e d s i n c et h e r ea r en o ta n yf l o a t i n gn u m b e ro p e r a t i o n si nh 2 6 4c o d e c i ti sp o s s i b l e t or e a l i z eh 2 6 4c o d e rw i mf p g a i nt h i st h e s i st h er e a l i z a t i o no fh 2 6 4c o d e rw i t h f p g ai ss t u d i e d as c h e m eb a s e do na l t e r ac o m p a n y sf p g ai sp r o v i d e d t h ek e y o a l l so ft h es c h e m ea r er e a l i z e dw i t hv e r i l o gl a n g u a g e t h e ya r ev i d e oa c q u i s i t i o n m o d u l e ，t r a n s f o r m a t i o nt o l dq u a n t i z a t i o nm o d u l ea n dm o t i o ne s t i m a t i o nm o d u l e a f t e r v e r i f y i n gt h el o g i cw i t hm o d e l s i m t h ev e r i l o g s o u r c ef i l e sa r es y n t h e s i z e dw i t l l s o f t w a r eq u a r t u s i i k e yw o r d s ：in tr a c o d in gl a g r a n g ia n o p t i m iz a t i o n h d lf p g a 低码流h2 6 4 视频编码算法研究及f p g a 实现探讨 1 前言 长期以来，人们在自然界感受到的最主要的信息是视觉信息，人类通过视觉 获取的信息量约占总信息量的7 0 ，而且视频信息具有直观性、可信性等一系列 优点。作为信息最重要的载体之一，图像、视频已经深入到人们的日常生活中。 随着通信信道以及计算机容量和速度的提高，图像信息已经成为通信和计算机系 统的一种重要的处理对象。 图像压缩的基本理论起源于2 0 世纪4 0 年代末。香农的编码定理告诉我们，在 不产生任何失真的前提下，通过合理的编码，对于每一个信源符号分配不等长的 码字，平均码长可以任意接近信源的熵。在这个理论框架下，出现了几种不同的 无失真信源编码方法，直f i h u f f m a n 编码、算术编码、词典编码等。这些方法可以应 用于一幅数字图像，能获得一定的码率压缩。随着新的数字多媒体压缩和通讯算 法的出现，利用低码流传送高质量视频己变成现实。同时，超大规模集成电路的 发展使得复杂的软件算法可以在硬件上实现。一些国际标准化组织如i s o m p e g 和i t u t 为视频压缩标准做了大量的工作，使得多媒体的交换更加方便。 压缩编码的发展历程是以香农信息论为出发点，不断完善的过程。其中基于 数据统计的、以消除视频数据相关冗余为目的的压缩编码技术称为第一代视频编 码技术。2 0 世纪8 0 年代中期，相关学科的迅速发展和新兴学科的不断出现为视 频编码技术的发展注入新的活力，人类对视觉生理、心理特性及信源的各种性质 的研究成果拓展了人们的视野。m k u n t 于1 9 8 5 年提出了利用人眼视觉特性的第 二代图象编码的思想。第二代图象编码的实体不再是像素或像素块，而是基于 内容( c o n t e n t b a s e d ) ，它可分为基于对象( o b j e c t b a s e d ) 和基于语义( s e m a n t i c s b a s e d ) 两类压缩编码方法。这种方法要求对图像进行预处理，将图像数据根据视觉敏感 性来进行分割，去掉图像和视频信号内容的冗余。这是目前视频编码中最为活跃 的一个领域，相应的国际标准是m p e g 4 。m p e g 一4 的第1 0 部分，即h 2 6 4 视频 编码标准，是当前研究的热点。h 2 6 4 在混合编码的框架下引入了新的编码方式， 提高了编码效率，更贴近实际应用。 1 1 课题研究的意义 h 2 6 4 是新一代视频编码标准，h 2 6 4 主要用于非常低比特率、低延时和移动 通信应用，如视频会议，网络视频等。它与以往的编码标准相比，有许多优越性， 主要体现在：1 ) 该标准分两层：视频编码层v c l 和网络适配层n a l 。2 ) 大小 可变的运动补偿块。3 ) l 4 、i 8 像素精度的运动补偿。4 ) 运动向量可以超出图 像边界。5 ) 多个参考帧的运动补偿。6 ) 帧内直接预测编码。7 ) 环路滤波器。8 ) 4 4 小变换块。9 ) 整数变换。1 0 ) 自适应的熵编码等。同其他视频编码标准相 比，h 2 6 4 平均可省去5 0 a 码流。 低码流h2 6 4 视频编码算法研究及f p g a 实现探讨 h2 6 4 作为最新的视频编码标准，只指定了解码器的要求，至于编码器的算 法未做任何限制，只要其输出的码流格式符合解码器要求即可。因此，在编码时， 有多种算法可供选择。由于h 2 6 4 采用一些最新的技术，如整数变换、可变块大 小运动估计、多种帧内预测模式，在保持图像同样清晰度的前提下，它对视频数 据的压缩率比其他标准都高：但是其计算复杂度大大增加。据估计，其编码的计 算复杂度大约为h 2 6 3 的3 倍，解码复杂度大约相当于h 2 6 3 的2 倍。h 2 6 4 的 标准算法很难应用于实时视频处理领域。在视频编码的研究方面，运动估计是研 究的重点，而针对于帧内编码的研究却较少。由于h 2 6 4 中采用多种预测模式， 率失真优化过程对于编码器的性能有很大的影响。因此研究预测模式判别的快速 算法和率失真优化方法具有理论意义和应用价值。 以往视频编码一般用全定制a s i c 或数字信号处理器( d s p ) 作为主控制芯 片实现，而f p g a 由于其资源有限而未被采用。全定制a s i c 或d s p 可以提供所 需的强大数字信号处理能力，然而，这种方案是以损失灵活性为代价的，并需要 相对昂贵的投资。全定制a s i c 器件不可重新编程，在发生错误时很难补救，也 不容易对解决方案进行优化。尽管d s p 通过软件是可编程的，但它的硬件结构不 灵活，处理能力受限于固定的硬件结构，如总线的速率、固定数目的乘法器、固 定的内部存储器、固定的硬件加速器以及固定的数据宽度。另外它的成本昂贵， 需要众多附加部件，而且功耗大。 f p g a 与传统逻辑电路和门阵列具有不同的结构，f p g a 利用小型查找表来 实现组合逻辑。f p g a 的这种结构允许无限次的重新编程。由于f p g a 的性能和 灵活性，以及新的简明的设计和实施方法，在很多新兴d s p 应用领域，如数字通 信和视频处理，f p g a 都成为优选的解决方案。随着f p g a 库中的d s p 核心不断 增加【2 j ，设计人员可以在比采用a s i c 方案或多处理器解决方案所需要的时间短 得多的时间内就完成一项d s p 设计。由于h ，2 6 4 视频编码过程中不涉及到任何浮 点数运算，特别适合硬件电路的实现，因此研究h 2 6 4 编码器的f p g a 实现有很 高的应用价值。 1 2 视频编码技术介绍 图像和视频包含大量的数据，以n t s c 制式的彩色电视信号为例来说，在代 表光强、色彩和色饱和度的y i q 色度空间中，各分量的带宽分别为4 2 m h z ， 15 m h z 和0 5 m h z i “。如果各分量均数字化为8 比特，则1 秒钟的彩色电视信号 数据量为：( 4 2 + 15 + 0 5 ) 2 8 = 9 9 2 m b 。 虽然表示图像和视频信息需要大量的数据，但这些信息往往是高度相关的， 这些相关性会引起信息的冗余，因此可以通过去除冗余信息来实现图像、视频信 息的压缩。静止图像压缩的一个主要目标，是在保持重建图像质量可以被接受的 同时，尽量去除图像本身存在的空间冗余信息。而视频信号的压缩，是在去除空 低码流h 2 6 4 视频编码算法研究及f p g a 实现探讨 间冗余的同时，还可以通过去除时间冗余以达到较高的压缩比。 除了时间与空间冗余外，视频数据中还存在其他冗余信息。主要有i i “： 信息熵冗余 信息熵冗余也称为编码冗余，由信息论的有关原理可知，为了表示图像数据 的一个像素点，只要按其信息熵的大小分配相应的比特数即可。然而对于实 际图像的每个像素，很难得到它们的信息熵，因此在数字化一幅图像时，对 每个像素是用相同的比特数表示，这样必然存在冗余。 结构冗余 在有些图像的部分区域存在着非常强的纹理结构，或是图像的各个部分之间 存在有某种关系，例如自相关性等。 知识冗余 在某些图像中包含的信息与某些先验的基础知识有关，这种冗余称为知识冗 余。 视觉冗余 大多数情况下，重建图像的最终接收者是人的眼睛。为了达到较高的压缩比， 可以利用人类视觉系统的特点。因为人的视觉系统对图像的注意是非均匀和 非线性的，并不是对于图像中的任何变化都能感知。因此，如果编码能利用 人类视觉系统的一些特点，是可以提高压缩比的。 1 2 1 熵编码3 1 6 1 常用的熵编码( e n t r o p yc o d i n g ) 有游程编码( r u n - l e n 垂hc o d i n g ，r l c ) 、 霍夫曼编码( h u f f m a nc o d i n g ) 和算术编码( a r i t h m e t i cc o d i n g ) 三类。 当已经被采样的图像视频数据拥有相同字节的序列时，可以采用更紧密的序 列来代替这些相同的字节序列，从而实现压缩。这就是游程编码。 霍夫曼编码是一种变长编码，但要实现它就必须事先知道信源的概率分布， 这一般无法做到，通常采用对大量数据进行统计后得到的近似分布来代替。但是 不同的图像类型其系数分布总有差异，这导致霍夫曼编码在实际应用中达不到最 佳性能。 算术编码是2 0 世纪8 0 年代发展起来的一种熵编码方法。理论上，算术编码 与霍夫曼编码方法均是最佳的。实际试验证明，算术编码与霍夫曼编码方法的平 均压缩效果十分相似，只是霍夫曼编码更快一些。因此，不少混合编码方法是用 优化过的霍夫曼算法作为熵编码过程中的一个步骤。有关试验表明，在信号源概 率分布未知的情况下，算术编码优于霍夫曼编码。 1 2 2 变换编码川 变换编码( t r a n s f o r mc o d i n g ) 是通过信号变换来消除图像数据空间相关性 低码流h2 6 4 视频编码算法 i ) f 究及f p g a 实现探讨 的一种有效方法。变换编码通常是将空间域相关的像素点映射到另一个正交的矢 量空间( 变换域或频域) ，使变换后的系数之间的相关性降低。就数据压缩而言所 选择的变换方法最好能与图像信号的特征匹配。k 。l ( k a r h u n e n l o e v e ) 变换虽然是 均方误差准则下的最佳变换，但它需要知道信号源的协方差矩阵，而且实际的信 息源在时域和空域的概率分布是变化的，因此必须根据以前的信号计算协方差矩 阵，计算量非常大。在实际的编码工作中通常采用离散余弦变换( d i s c r e t ec o s i n e t r a n s f o r m ，d c t ) 。其他的变换方法还有傅立叶变换( f o u r i e rt r a n s f o r m ，f t ) 、 离散小波变换( d i s c r e t ew a v e l e tt r a n s f o r m ，d w t ) 及最新出现的整数d c t 变换 等。 将图像进行d c t ，一般不对整幅图像变换，而是将图像分割成较小的块。实 验证明，块的大小为1 6 x 1 6 像素块或8 x 8 像素块是较好的选择。但离散余弦变换 是浮点数运算，正反变换均可引入舍入误差，由此引起正变换与反变换的不匹配： 而且浮点数运算的运算量很大，对于实时系统来说需要有浮点数性能较高的硬件 支持。整数d c t 变换将变换与量化一起进行，只用到加减和移位运算。整数变换 还具有以下优点：变换采用4 x 4 的图像块，可以减少方块效应；算法简单明了， 易于实现：运算结果精度高且不会溢出；运算速度快，占用内存小。 1 2 3 预测编码。1 预测编码( p r e d i c t i v ec o d i n g ) 可在- f n 像内进行( 帧内预测编码) ，也可以 在多幅图像之间进行( 帧间预测编码) 。预测编码基于图像的空间和时间冗余特性， 用相邻的己知像素或像素块来预测当前像素或像素块的值，然后再对预测误差进 行量化和编码。 预测有线性预测和非线性预测两大类。线性预测又称脉冲编码调制 ( d i f f e r e n t i a lp u l s ec o d em o d u l a t i o n ，d p c m ) 。帧内预测一般是基于像素形式的 d p c m ，其优点是算法简单，易于硬件实现；缺点是对信道及噪声很敏感，会产 生误码扩散，使图像质量大大下降。帧间预测一般是针对图像块的预测，主要方 法有帧重复法，帧内插法，运动补偿法，自适应交替帧内帧间编码法等。其中运 动补偿预测编码效果最好，已经为各种图像视频压缩标准所采用。 一般的运动补偿可分为三种： a ) 单向运动补偿预测。只使用前参考帧或后参考帧来进行预测，参考帧可以 有一个或多个。 b ) 双向运动补偿预测。i u 参考帧和后参考帧都被用来计算个块的运动向量， 最后只选用具有最小匹酉e 误差的参考帧有关的运动向量。 c 1 差值运动补偿预测。取前参考帧和后参考帧预测值的平均。 运动3 1 、偿预测这类图像编码方法的主要缺点在于对图像序列不同的区域，预 低码流h2 6 4 视频编码算法研究及f p g a 实现探讨 测性能不一样，特别是发生在剧烈运动的区域，预测效率很差。而且为了降低预 测算法的复杂度和提高预测精度，一般要对图像进行分块后再进行预测，这势必 造成分块边缘的不连续。 1 2 4 矢量量化【8 j 矢量量化( v e c t o rq u a n t i z a t i o n ，v q ) 是2 0 世纪7 0 年代后期发展起来的一种 数据压缩技术，按照香农的率失真理论( r a t ed i s t o r t i o nt h e o r y ) ，图像矢量编码 的性能要优于对其标量编码的性能。矢量量化性能可能任意接近率失真函数的理 论极限，方法是增加维数k 。 矢量量化是标量量化的多维扩展，它是信息的一种有损压缩方法，可以获得 较高的压缩比，这是因为矢量量化有效利用了矢量中各个分量的四种相关特性( 线 性依赖性、非线性依赖性、概率密度函数的形式和矢量维数) 来去除冗余度。 在实际的系统中，可以针对不同的应用，选择上述几种编码方法进行组合， 提出不同的编码方案，包括以下几个步骤： 曲空间和时间采样 b ) 具有运动估计和补偿的d p c m c ) 二维变换( d c t 或整数d c t 变换) d ) 统计编码 e 1 游程编码 1 3 视频编码标准发展状况 i t u 、i s o 等组织制定了许多成功的视频图像编码标准，其中视频图像压缩 标准是其主要内容。以h 2 6 1 ，h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + + 等为代表的低码率、甚 低码率运动图像压缩标准，以及覆盖范围更宽面向对象应用的m p e g 一4 。这些标 准之间在码率、图像质量、实现复杂度、差错控制能力、延时特性及可编辑性上 有很大的差别，从而满足了各种数字图像应用的不同需要。 13 1h 2 6 1 川 h2 6 1 是最早出现的视频编码标准，它首次使用了运动补偿预测编码币i l d c t 变 换的方法，其后很多标准的形成都受到h 2 6 1 标准的很大影响。h 2 6 1 也称p - 6 4 k 视 频编码器，是指它的应用主要针对6 4 k 的整数倍信道，p 取值在l 3 1 之间。h 2 6 1 编码器的原理如图11 堡型煎1 11 坚堡塑塑型塑趔及f p g a 实地探讨 测性能不一样，特别是发生在剧烈运动的区域，预测效率很差。而且为了降低预 测算法的复杂度和提高预测精度，一般要对图像进行分块后再进行预测，这势必 造成分块边缘的不连续。 1 24 矢量量化8 矢量量化( v e c t o rq u a n t i z a t i o n v q ) 是2 0 世纪7 0 年代后期发展起来的一种 数据压缩技术，按照香农的童失真理论( r a t ed i s t o r t i o nt h e o r y ) ，图像矢量编码 的性能要优于对其标量编码的性能。矢量量化性能可能任意接近率失真函数的理 论极限，力法是增加维数k 。 矢量量化是标量量化的多维扩展，它是信息的一种有损压缩方法，可以获得 较高的压缩比，这是因为矢量量化有效利用了矢量中各个分量的四种相关特性( 线 性依赖性、非线性依赖性、概率密度函数的形式和矢量维数) 来去除冗余度 在实际的系统中，可以针对不同的应用，选择上述几种编码方法进行组合 提出不尉的编码方案，包括以下几个步骤： a ) 空间和时问采样 b ) 具有运动估计和补偿的d p c m c ) 二维变换( d c t 或整数d c t 变换) d ) 统亡1 编码 e ) 游程编码 1 3 视频编码标准发展状况 i t u 、i s o 等组织制定了许多成功的视频图像编码标准，其中视频图像压缩 标准是其主要内容。以h2 6 i ，h 2 6 3 ，h 2 6 3 + ，h 2 6 3 h 等为代表的低码率、甚 低码率运动图像压缩标准，以及覆盖范围更宽面向对象应用的m p e g 4 。这些标 准之间在码率、图像质量、实现复杂度、差错控制能力、延时特性及可编辑性上 有很大的差别，从而满足了各种数字图像应用的不同需要。 131h2 6 1 9 1 h2 6 是最早出现的视频编码标准它首次使用了运动补偿预测编码和d c t 变 换的方法，其后很多标准的形成都受到h 2 6 】标准的很大影响。且2 6 】也称p6 4 k 日 频编码器，是指它的应用主要针对6 4 k 的整数倍倍道，口取值在l 3 1 之间。t t 2 6 1 编码器的原理如图】1 编码器的原理如图】1 低码流h2 6 4 视频编码算法研究及f p g a 实现探讨 测性能不一样，特别是发生在剧烈运动的区域，预测效率很差。而且为了降低预 测算法的复杂度和提高预测精度，一般要对图像进行分块后再进行预测，这势必 造成分块边缘的不连续。 1 2 4 矢量量化【8 j 矢量量化( v e c t o rq u a n t i z a t i o n ，v q ) 是2 0 世纪7 0 年代后期发展起来的一种 数据压缩技术，按照香农的率失真理论( r a t ed i s t o r t i o nt h e o r y ) ，图像矢量编码 的性能要优于对其标量编码的性能。矢量量化性能可能任意接近率失真函数的理 论极限，方法是增加维数k 。 矢量量化是标量量化的多维扩展，它是信息的一种有损压缩方法，可以获得 较高的压缩比，这是因为矢量量化有效利用了矢量中各个分量的四种相关特性( 线 性依赖性、非线性依赖性、概率密度函数的形式和矢量维数) 来去除冗余度。 在实际的系统中，可以针对不同的应用，选择上述几种编码方法进行组合， 提出不同的编码方案，包括以下几个步骤： 曲空间和时间采样 b ) 具有运动估计和补偿的d p c m c ) 二维变换( d c t 或整数d c t 变换) d ) 统计编码 e 1 游程编码 1 3 视频编码标准发展状况 i t u 、i s o 等组织制定了许多成功的视频图像编码标准，其中视频图像压缩 标准是其主要内容。以h 2 6 1 ，h 2 6 3 ，h 2 6 3 + ，h 2 6 3 + + 等为代表的低码率、甚 低码率运动图像压缩标准，以及覆盖范围更宽面向对象应用的m p e g 一4 。这些标 准之间在码率、图像质量、实现复杂度、差错控制能力、延时特性及可编辑性上 有很大的差别，从而满足了各种数字图像应用的不同需要。 13 1h 2 6 1 川 h2 6 1 是最早出现的视频编码标准，它首次使用了运动补偿预测编码币i l d c t 变 换的方法，其后很多标准的形成都受到h 2 6 1 标准的很大影响。h 2 6 1 也称p - 6 4 k 视 频编码器，是指它的应用主要针对6 4 k 的整数倍信道，p 取值在l 3 1 之间。h 2 6 1 编码器的原理如图11 低码流h2 6 4 视频编码算法研究及f p g a 实现探讨 幽1 1h 2 6 i 编码器结构 h 2 6 1 对c i f ( c o m m o ni n t e r - m e d i af o r m a t ) 和q c i f ( q u a r t e rc i f ) 两种图像 格式进行处理，只有按帧的工作方式，它通过缓冲控制器产生恒定的输出码流。 最大支持每秒解码3 0 帧c i f 图像，最小支持每秒7 5 帧的q c i f n 像。对于一个编码 帧，分成1 6 1 6 大小的宏块进行单独处理。对于每一个帧间编码的宏块，进行运 动估计，h 2 6 1 仅支持整数像素运动估计，运动估计范围为+ 1 5 。对于帧内编码宏 块和帧问运动预测残差按8 8 进行d c t 变换、量化、z i g z a g 扫描和变长编码。 h 2 6 1 采用了两个量化器，对帧内编码的d c t 直流系数用步长为8 的均匀量化器进 行量化，其他系数采用带死区的均匀量化器，量化器步长从2 6 2 中选择。 h 2 6 1 不支持双向运动预测。它在运动预测环路中设置了一个环路滤波器，它 是可选的，当它的功能被打开时，对运动补偿预测得到的图像进行水平和垂直滤 波以降低宏块边界的方块效应。 1 3 2m p e g 一1 m p e g l 是由i s 0 和i e c ( i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ，国际电工 委员会) 的共同委员会中的m p e g 组织于1 9 9 1 年制定的。它最初用于数字信息存储 体上活动图像及其伴音的编码，其速率为1 5 m b p s ，从而可以在c d r o m 、硬盘、 可写光盘、数字音频磁带等介质上进行存储，也可以在局域网、i s d n 上进行视频 与伴音信息的传输。 m p e g 1 在制定时符合了两种关键的要求，即高压缩比和对编码比特流的随机 存取。其压缩功能主要包括： - 对原视频码流中的亮度和色度分量进行空间和时间上的亚采样，以降低数据源 的码率。 基于宏块( m b ) 的运动补偿 - 基于块( b l o c k ) a j d c t 变换 低码流h 2 6 4 视频编码算法研究及f p g a 实现探讨 - 对运动矢量和量化d c t 系数进行无损的h u f f m a n 压缩编码。 m p e g 一1 不支持隔行扫描所得的视频源数据。m p e g 一1 和 l 2 6 1 所用的编码方 法有显著的不同。最主要的差别是h 2 6 1 有两种帧：i n t r a 帧( 帧内) 币- 1 3 i n t e r 帧( 帧间) ， 而m p e g l 采用了三种图像：帧内图( i n t r ap i c t u r e s ，i ) 、预测图( p r e d i c t e dp i c t u r e s ， p ) 、双向预测图( b i d i r e c t i o n a lp r e d i c t i o n ，b ) 。其中，i 图与i n t r a i 帧类似，在编码时 仅使用其自身的信息，它们提供编码序列的直接存取访问点；p 图的编码参考过去 的i 图矛l ：l p 图的运动补偿预测，对前向预测误差进行编码；b 图的编码则既参考过去 的，又参考将来的i 图和p 图的运动补偿预测进行编码。m p e g 一1 在做这样的时域处 理后，既可以大大压缩数据量，又可以满足随机存取等要求。 尽管h 2 6 1 支持通过p 帧的帧间压缩，但是它不支持b 帧压缩。因此，高压缩 率的获得是以部分牺牲图像质量为代价的。当图像质量和运动很重要时，h 2 6 1 将不再是好的选择。相比之下，m p e g l 提供了更高的压缩率，即将3 5 2 x 2 4 0 分 辨率、每秒3 0 帧的图像压缩到每秒1 5 0 k b y t e ，同时保持了图像的高质量。正是 由于这个原因，m p e g 一1 的编码系统要比位于用户端的解码系统复杂得多。 1 3 3m p e g 一2 ” m p e g 2 是由i s o 的活动图像专家组和i t u 的第1 5 研究组于1 9 9 5 年共同制定 的，在i t u 的标准中，被称为h 2 6 2 。m p e g 2 作为计算机可处理的数据格式，主 要应用于数字存储媒体、视频广播和通信领域，它的传输率为2 m 4 0 m b p s 。 m p e g 一2 视频体系首先保证与m p e g 一1 视频体系向下兼容，其分辨率要求有 低( 3 5 2 x 2 8 8 ) 、中( 7 2 0 x 4 8 0 ) 、次高( 1 4 4 0 x 1 0 8 0 ) 、高( 1 9 2 0 x 1 0 8 0 ) 不同档次。与m p e g l 标准相比，只有达至l j 4 m b i t s 以上的m p e g 一2 数字图像才能明显看出b l m p e g 一1 的质 量好。 由于m p e g 2 在提高图像分辨率、兼容未来的数字电视等方面做了一些补充， 使它与m p e g 1 相比具有以下优点：运动向量的精确度提高到半个像素；由于关键 帧里存在特殊向量，扩展了错误冗余；离散余弦变换中可选择精度；超前预测模 式；质量伸缩性f 在同一视频流中可容忍不同质量的图像) 。 视频压缩编码的视频流数据结构是分层的比特流结构，第一层称为基本层， 基本层可以独立解码：其它层称为增强层，增强层的解码依赖于基本层。m p e g 2 基本层的结构与m p e g 1 相一致，包括视频序列层、图像组块层、宏块层和块层。 视频序列处于最高层，视频序列从视频序列头开始，后面紧接着一系列数据单元。 m p e g 2 适于序列头中除了包括有序列头函数外还包括序列扩展函数的情况，而 m p e g 一1 只支持序列头函数。为了提供随机访问的功能，在m p e g 2 编码流中允许 有重复序列头出现，重复序列头只可以在i 图或p 图前面出现，不能在b 图前面 出现。i 图用于解决视频序列的随机访问问题，如节目重播、快进播放或快退播放 等。 低码流h2 6 4 视频编码算法研究及f p g a 实现探讨 1 34m p e g 一4 1 m 3 m p e g 。4 是m p e g 组织制定的- - 十i s o i e c 标准。m p e g 组织于1 9 9 9 年1 月正式 公布了m p e g 4v 10 版本，1 9 9