（通信与信息系统专业论文）h264avc+baseline解码器的优化设计.pdf

浙江大学硕士学位论文 摘要 h .2 6 4 / a v c 是目前国际上最新的视频压缩编解码标准， 由v c e g 1 t u - t 和mp e g i s o / i e c共同建立的联合视频小组 ( j v t )于 2 0 0 3 年 3 月定稿。尽管h .2 6 4 / a v c与 先前的视频编码标准一样是通过基于块的运动补偿和基于变换的空ir j 编码框架实现 压缩机理，它的新增特性和功能还是带来了更高的编码效率。但是，这些新的特性 和功能在编码和解码端都引入了额外的复杂度。这些额外的计算复杂度严重影响了 基于h .2 6 4 / a v c的商用视频解决方案的开发成本。所以， 对h . 2 6 4 / a v c算法和实现 的优化是很有现实意义的。 本文主要关注h .2 6 4 / a v c b a s e l i n e 解码器视频层的实现与优化。通过分析解码 器的复杂度，得到比较耗时的函数、子函数的统计以及它们在解码过程中所占的比 例， 针对这些影响解码速度的瓶颈部分， 提出并实现了不同层次的优化策略，最后， 在通用c p u上对优化前后的解码器进行测试，验证优化的效率。我们的工作是基于 j v t的参考软件j m 8 . 1 a 版本进行的， 主要集中在以 下几个方面: 内 存分配的优化和 对图像边界以外像素的扩充;宏块解码模块框架的分解和重新设计;使用 d r a w d i b 函数集直接输出图像;在保证质量的前提下简化了去块滤波的算法;对亚像素插值 和 d c t反变换操作用 miv l y代码优化提高效率。最终得到了一个基于 p c的高效 b as e l i n e 解码器。 另外， 我们介绍了 嵌入视频解码a s i c芯片的u s b 接口 的设计方法。 用v e r i l o g h d l在f p g a _ l 开发验证了与u s b控制芯片配合的接口电路， 分别是u s b 1 . 1 芯片 控制器和u s b 2 .0芯片s l a v e f i f o模式的外部逻辑部分。 关键词i h . 2 6 4 / a v c ，视频压缩， 解码器， 优化，去 块滤波器， m m x , u s b , f p g a . 浙江人学硕 卜 学位论文 abs t r a c t h .2 6 4 / a v c i s t h e n e w e s t i n t e r n a t i o n a l v i d e o c o d i n g s t a n d a r d . t h e d r a ft w a s f i n a l i z e d i n ma r c h 2 0 0 3 b y j v t ( j o i n t v i d e o t e a m ) , w h i c h f o r m e d b y v c e g i t u - t a n d m p e g i s o / i e c . a l t h o u g h b a s e d o n t h e s a m e b l o c k - b a s e d m o t i o n c o m p e n s a t i o n a n d t r a n s f o rm- b a s e d s p a t i a l c o d i n g f r a m e w o r k o f p r i o r v i d e o c o d i n g s t a n d a r d s , i t p r o v i d e s h i g h e r c o d i n g e f f i c ie n c y t h r o u g h a d d e d f e a t u r e s a n d f u n c t i o n a l i t y . h o w e v e r , s u c h f e a t u r e s a n d f u n c t i o n a l i t y a l s o e n t a i l a d d it i o n a l c o m p l e x i t y i n e n c o d i n g a n d d e c o d i n g . t h e c o m p u t a t i o n a l c o m p l e x i t y o f t h e c o d i n g a l g o r it h m s d ir e c t l y a ff e c t s t h e c o s t e f f e c t i v e n e s s o f t h e d e v e l o p m e n t o f a c o m m e r c i a l l y v i a b l e h .2 6 4 / a v c - b a s e d v i d e o s o l u t i o n . s o i t s p r a c t i c a l t o o p t i m i z e t h e a l g o r i t h m s a n d i m p l e m e n t a t i o n o f h .2 6 4 / a v c . t h i s p a p e r i s f o c u s e d o n t h e v i d e o c o d i n g l a y e r o f h .2 6 4 / a v c a n d , s p e c i f i c a l l y , o n t h e b a s e l i n e p r o f i l e i m p l e m e n t a t i o n o f t h e d e c o d e r . t h e g o a l s a r e t o a n a l y z e t h e c o m p u t a t i o n a l c o m p l e x i t y , i n c l u d i n g t h e m o s t t i m e - c o n s u mi n g f u n c t i o n s , s u b - f u n c t i o n s a n d t h e i r r a t i o s d u r i n g t h e w h o l e d e c o d i n g p r o c e s s , p r e s e n t th e t e c h n i q u e s t o o p t i m i z e t h e d e c o d e r i m p l e m e n t a t i o n , a n d g i v e e x t e n s i v e e x p e r i m e n t a l r e s u l t s o n b o t h c o m p l e x i t y a n d c o m p r e s s i o n p e r f o r m a n c e o n a g e n e r a l - p u r p o s e p r o c e s s o r . b a s e d o n t h e j v t r e f e r e n c e s o f t w a r e j m 8 . 1 a , w e o p t i m i z e d t h e d e c o d e r i n s e v e r a l a s p e c t s , s u c h a s m e m o r y a l lo c a t i o n a n d t h e e x t e n s i o n o f t h e p ix e l s o u t s i d e t h e b o u n d a r y ; r e - d e s i g n o f t h e m a c r o b l o c k d e c o d i n g f r a m e w o r k ; d i r e c t im a g e o u t p u t u s i n g d r a w d i b f u n c t i o n s ; o p t i m i z a t i o n o f a l g o r it h m o f d e b l o c k i n g f i l t e r a n d t h e p r a c t i c e o f i n t e l mmx c o d e i n f r a c t i o n a l i n t e r p o la t i o n a n d i d c t . a t l a s t , w e g o t a h i g h - e f f i c i e n c y b a s e l i n e p r o fi l e d e c o d e r o n p c i n a d d it i o n , w e p r e s e n t th e m e t h o d o l o g y o f d e s i g n i n g t h e u s b i n t e r f a c e e m b e d d e d i n t h e v i d e o d e c o d e r a s i c c h i p . w e d e s i g n a n d v a l i d a t e t h e u s b 1 . 1 c h i p c o n t r o l l e r a n d u s b 2 .0 s l a v e f i f o e x t e rn a l l o g i c c i r c u it s o n f p g a i n v e r i l o g h d l i n d e x t e r m s - - - h . 2 6 4 / a v c , v i d e o c o m p r e s s io n , d e c o d e r , o p t i m i z a t i o n , d e b l o c k i n g f i l t e r , mmx , u s b f p ga 浙江大学硕 : 学位论文 第一章绪论 信息时代的重要特征是信息的数字化，数字化的信息带来了“ 信息爆炸” 。多媒体 数字计算机系统，面临的是数值、文字、语言、音乐、图形、动画、静止图像和运动 视频等多种媒体承载的由模拟量转化成数字量信息的存储和传输的问题。数字化了的 视频和音频信号，尤其是视频信号，其数据量之大是非常惊人的。庞大的数据量，无 疑给存储器的存储容量、通信干线的信道传输率以及计算机的运算速度都带来了极大 的困难，是多媒体技术发展的瓶颈。解决这一问题的办法，单纯用扩大存储器容量、 提升通信干线的传输率是不现实的，数据压缩技术才是行之有效的方法。通过数据压 缩手段把视频信息数据量降下来，以压缩形式存储和传输，既节约了存储空间，又提 高了 通信干线的传输效率，同时也使计算机能实时处理视频信息。自1 9 4 8 年p c m编 码理论被提出之后，视频数据压缩编码技术日 趋成熟，己发展出了预测编码、变换编 码、 嫡编码以 及将这些基于统计的压缩技术联合起来使用的混合编码技术等m， 另外 还有基于对象、基于语义等高层压缩编码方法，使高效的 视频数据压缩成为了 现实。 视频编解码的应用范围非常广泛，从视频监控、数字电视、多媒体娱乐到各种移 动设备，已 经深入到了人们日 常生活的各个方面。而将压缩编码过的视频数据解码再 现，是整个视频信息处理的最后一个环节， 也是与各种用户联系最紧密的部分。因此， 对视频解码器的研究是很有现实意义的。视频编解码解决方案有多种形式，本文主要 关注于基于p c 的视频软解码器的优化实现，结构如下:首先，介绍视频压缩的基本原 理和视频编解码标准的发展情况，尤其是h .2 6 4 / a v c 的发展;然后分析h .2 6 4 b a s e l i n e p r o f i l e 解码器的工作流程， 对其做复杂性分析， 找出解码器中耗时比较大的部分: 接着 给出优化的思路，并通过对程序的修改实现它;最后比较优化前后的实验数据，检验 优化的效果并提出未来的工作方向。 1 . 1 视频压缩技术的基本原理 视频数据压缩的机理来源于两个方面 2 : 一是 视频信号中 存在大量冗余度可供压 缩，并且这种冗余度在解压缩后可以无失真地恢复;二是利用人眼的视觉特性，在不 被主观视觉觉察的容限内，通过减少表示信号的精度，以一 定的客观失真换取数据压 缩 视频信号的冗余度存在于结构和统计两方面。结构上的冗余度表现为很强的空间 ( 帧内)和时间 ( 帧间)相关性。统计测量证实了视频信号在相邻像素间、相邻行间、 相邻帧间存在的这种强相关性。视频信号统计上的冗余度来源于被编码信号概率密度 分布的不均匀。例如，在预测编码系统中，需要编码传输的是预测误差信号，它是当 1 浙江大学硕 _ 学位论文 前待传像素样值与它的预测值间的差分信号;预测值是通过在该像素之前己经传出的 它的几个邻近像素值预测得到的;由于视频信号相邻像素间相关性很强，在大部分时 间内预测得都很准，所以预测误差很小，并且，预测误差高度集中在 0附近。这种不 均匀的概率分布对采用变字长编码压缩码率极为有利。 充分利用人眼的视觉特性，挖掘潜力，是实现码率压缩的第二个途径。人眼对图 像的细节分辨率、运动分辨率和对比度分辨率的要求都有一定的限度。视频信号在空 间、时间和幅度方面进行数字化的精细程度只要达到了这个限度即可，超过是无意义 的。从视觉心理学和生理学的研究表明，人眼对细节、运动和对比度三方面的分辨能 力是互相制约的。当人眼对视频的某种分辨率要求很高时，对其他的分辨率就会降低 要求。利用这一特点，采用自 适应技术，根据图像的每一局部特点来决定对它的抽样 频率和量化的精度，尽量做到与人眼的视觉特性相匹配，可以做到在不损伤图像主观 质量的条件下压缩码率。 针对以上机理，视频图像压缩编码过程分三步完成: 1 、 对表示视频信号的形式进行某种映射，即变换一下描写信号的方式。通过这种映射 解除或消弱了视频信号的相关性，降低了结构上存在的冗余度; z 、 在满足对视频图像质量一定要求的前提下， 减少表示信号的精度， 通过符合主观视 觉特性的量化来实现; 3 、利用统计编码消除统计冗余度。 1 . 1 . 1 变换编码 变换编码的基本思想是将在通常的欧几里德几何空间 ( 空间域)描写的视频信号 变换到另外的正交向量空间 ( 变换域)进行描写。如果所选的正交向量空间的基向量 与视频图像本身的的特征向量很接近，那么同一信号在这种空间描写起来就会简单很 多。变换前后的明显差别是，空间域图像中像素间存在很强的相关性，能量分布比较 均匀;经过正交变换后，变换系数间近似是统计独立的， 相关性基本解除，并且能量 主要集中在直流和少数低频的变换系数上。这样一个解相关过程也就是冗余度压缩的 过程，从而达到视频压缩的目的。 用于视频编码的离散正交变换的类型很多，比如斜变换、沃尔什一哈达玛变换、 哈尔变换、k - l变换、余弦变换等。除了k - l变换外，都有快速算法。k - l变换采用 图像本身的特征向量作为变换基，故与图像的统计特性完全匹配，可以完全解除相关 是在最小均方误差 c mms e )准则下进行图像压缩的最佳变换。但是，由于变换矩阵 与图像类型有关，所以无快速算法。 对于自 然图像压缩编码来说，在己知的各种具有快速算法的正交变换中，离散余 弦 变换( d c t ) 的性能是最接近k - l 变换的。 其根据是自 然图像的 协方差矩阵e x 很近 浙江人学顿_ 一 学位论义 似一 种 称为t o e p l it z 型的 矩阵: 尸户1 pip p - 2 p n 一 .一 , 而d c t 的 基向 量非常接近这 种t o e p l i t z 矩阵的 特征向 量。 因 此，e x 经d c t 变换后的 协 方差 矩阵e y 非 常 接近 对角 线 型( 主 对 角线 外 大 部 分 元 素 等于 或 接 近于0 ) 。 所以 ， d c t 得到普遍应用。 经d c t变换得到的系数， 其能量主要沿主对角线分布， 且在左上角集中主要能量， 反映了图像大部分区域变化不大， 亮度突变占 少数，即图像能量以 低频成分为主。 通 过量化，舍弃一些对视觉效果影响不大的次要信息，可完成进一步的 压缩。不同频率 的系数对人眼的视觉影响效果不同，因此，可充分利用人眼的视觉特性选择不同的量 化方案。 对于 一 个n x n的 像 素 块， 图 像 样 值f ( i, j ) ( i , j = 0 ,1 , . . -, n - 1 ) 的 二 维d c t 变 换 定义为: 尸 ( u , v ) = n c (u)c (v)翼 翼 f (i,i) c o s 鱼 土 1 )竺c o s 2 n ( 2 j + 1 ) v s r 2 n ， 当u , v = 0 u , v =1 , 2 , . . . n一 1 1一扼1，9 其中u , v 二 0 ,1 ， 一， n一 1 ，c ( u ) , c ( v ) 反变换 ( i d c t )为 f ( t , i ) = 最 翼 翼 c (u)c (v)f (u, v) cos 鱼卫丝 to- c o s -玉 竺 卫 坚 2 n 2 n 其中i , j = 0 , 1 ， 一 ， n一 i 快速算法通过减少运算次数而减少运算时间，这对于设计实用的快速软硬件系统 非常有效。常用的一维 d c t / i d c t快速算法有基于变换矩阵分解的蝶形运算和基于位 元计算的快速算法; 二维d c t / i d c t的快速算法则一般采用行列分离d c t 算法， 转换 为两次一维变换，期间通过转置矩阵连接。 经过正交变换解相关后，进一步的数据压缩要依靠区域滤波，匹配主观视觉特性 的量化和变字长编码。 浙江大学硕十学位论文 1 . 1 .2 预测编码 变换编码是利用视频信号的空间 相关性实现信息压缩， 而预测编码则是利用视频 信号在时间轴上的相关性来实现信息压缩。统计策略表明，当景物不含剧烈运动，不 发生场景切换以及摄像机不做明显运动时，视频信号的帧差信号 ( 相邻帧间空间位置 对应的差值)比帧内相邻像素间的差值信号 有更强的相关性。可视电话、会议电视山 于场景中主要是不多的人物活动，其活动范围和运动速度均不大，因此其正交相关性 更强。但是，由于视频信号中剧烈运动事件的存在，如果直接求两帧间的差值，由于 前一帧的运动物体可能对应后一帧的背景，差值幅度会比较大。但是，若能对运动物 体的位移量进行运动补偿， 将后一帧的运动物体移回原来的位置， 再与 前一帧求差值， 显然会使相关性增大，差值信号减小，从而提高压缩比。为了实现这一目的，必须事 先估测场景中运动物体的位移量，即进行运动估值;在编码器中做差值之前和解码器 中，要将估计的位移量加到前一帧图像上去，即进行运动补偿所以，预测编码分为 运动估值和运动补偿两部分， 一般以 宏块( 1 6 x 1 6 像素) 为单位进行， m p e g - 4 和h .2 6 4 中还可以按其他块大小预测。 运动估值的目 的，就是估计出物体的运动矢量。实际物体的运动是十分复杂的三 维运动，既有平动，又有转动，如果再考虑到物体的非刚性和运动中光照的变化，将 使运动模型的建立和运动矢量的估值十分复杂。在视频图像编码中，由于实时运算的 要求，在目 前所采用的运动估值算法中仅考虑物体运动在视频画面内的平动部分。常 用的运动估值算法有块匹配法、像素递归法、相位相关法以及针对由摄像机运动引起 图像全局运动的全局运动参数估值等。 其中块匹配法是最常用的一种方法， 运算量小， 实 时 性好 3 1 。 采用块匹 配算法的 运动 估值技术分成以 下 几步 来实 现: 1 . 运动搜索:在参考帧的对应于当前帧宏块位置的附近区域中，搜索与当前宏块最 匹 配的宏块 4 1 ， 如图1 - 1 所示。 当前宏块 刀 , - 2 n 山!1.1.leses 参考帧中 的搜索窗 les丁.1甲 参考帧中的宏块 运动矢量 图1 - 1 运动搜索原理 衡量最佳匹配的准则有很多种， 如均方误差( ms e ) 、 归一化互相关函数( n c c f ) , 平均绝对帧差 ( ma d)等。各种准则性能差别不显著，而 ma d运算量最小，所以被 浙江大学硕 卜 学位论文 普遍采用。ma d定义为; a it a d ( i , j ) mn y 叉 is , ( m , n ) 一 s 、 一 ， ( m + i, n + j ) i 川七】n - 1 式 中 s k ( m , n ) 为 第k 帧 位于( m , n ) 的 像 素 值; i , j 分 别 为 水 平 和 垂 直 方向 的 偏 移 量。 搜索匹配块的算法，最基本最细致的是全搜索算法，搜索区内逐点搜索，每搜索 一次计算一次m a d ,当m a d达到最小时， 求得最佳匹配块。 全搜索算法的 运算量是 相当大的，为了减少搜索次数， 提出了很多快速搜索算法， 如三步法、正交搜索法、 共辘方向法，二维对数法、钻石搜索法等。这些快速搜索算法的共同 之处在于它们把 使准则函数趋于极小的方向视同为最小失真方向，并假定准则函数在偏离最小失真方 向时是单调增加的，即 认为它在整个搜索区内 是(i ， 户的单极点函 数， 有唯一极小值， 而快速搜索是从任一点开始沿最小失真方向进行的。 2 . 运动矢量( x , y ) 编码: 采用差分方式可以 减小传送比 特数目 。 传送相邻运动矢量 差 值( a x q , o 儿 ) 如 下 式 :( “。 ， 凡 ) = ( ( x一 x , ) , ( y 一 乙 ) 3 . 宏块类型判决:在搜索到匹配块后，然后决定对当前的宏块做帧内编码或帧间编 码。相关性强则采用帧间编码，相关性弱则采用帧内 编码，可以 用方差来判别。设参 考帧宏块的亮度信号像素值用p ( x , y ) 来表示， 当前帧宏块的 亮度像素值用p ( x 力来表 示，则参考帧宏块的亮度信号方差v a r 尸 可以用下式来算得; 下|!11，.1 16 16y y p (二 :)2 v a r尸二 一一 一256 l 艺叉 p ( x ,y ) y = 1 x = 1 2 5 6 当前帧与参考帧对应宏块像素差值的均方值v a r山下式给出: 艺 郭(x ， ) 一 p (x ,对 v a r=y = 1 s = 1一 一 一- 一 - 一 - 。 根据v a r .当v a r .当 v a r 2 5 6 p 和v a r的值可以制定如下判决依据: 6 4 . v a r p ? v a r时，采用帧间编码方式; 当v a r 6 4 , v a r p v a r时，采用帧内编码方式 4 . 计算帧差:在前帧中通过运动估值找到最匹配的宏块后，需要传送前后帧匹配宏 5 浙江大学硕 仁 学位论文 块间 像 素 差 值矩 阵 m b , 。 如 下 式:a m b , = p ( x , y ) 一 p ( x + x , y + y ) . 运动补偿应用于解码器和编码器的本地重建部分，是运动估值的逆过程。首先运 动矢量解码，其次寻址参考宏块， 地址，并读取参考宏块数据，最后 根据运动矢量和预测方式等参数计算出参考宏块的 ， 补偿运算， 根 据差值矩阵g l i b , 、 和参考宏块来 计 算 像 素 值。 运 动 补 偿 公 式 为 : p ( x , y ) =a m b , , + p ( x + x , y + y ) 上述运动估值与运动补偿均是基于宏块的，因此对于各个宏块的操作具有运算时 间、运算量的确定性;然而由于不同的宏块类型判决时有不同的结果，帧内和帧间编 码方式有很大差异，即使是帧间编码也存在不同的模式，这都是不确定的。 1 . 1 .3 量化 d c t系数必须经过量化器量化来进一步压缩变换系数的动态范围。 量化的具休方 法是用量化表除 d c t系数。量化表中的数据是通过对 d c t系数做大量的量化步长实 验和统计来确定的。 量化过程是用量化表除d c t系数，再将所得的值用四舍五入取整数，如下式: 。 。 、 g ( . , , ) 卜 甘t u , v ) j 式中g ( u , v ) 为d c t 系数，q ( u , v ) 为量化步长，g - ( u , v ) 称为归一化量化系数。再解码 器 端 ，需 要 对 数 据 作 反 量化 处 理 。反 量化 过 程 可用 下 式 来 表 示 : g ( u , v ) = g 气 u , v ) x q ( u , v ) 。 可以 看出，由 于 在量 化的时 候进行了 四 舍五入， 所以 反量 化得到的结果与原d c t系数会有误差，这将带来精度上减少。 通常，量化步长的调整在码率控制方面具有重要作用。在某些视频编码标准中， 用码流输出缓冲器的状态来反馈控制量化补偿式保证恒定码率的重要途径。 1 . 1 . 4 统计编码 如前所述， 之所以能对视频图 像信号进行压缩，是因为信号 ( 信源符号)中存在 的统计冗余度。根据各个信源符号出现概率不同进行概率匹配编码，即统计编码，在 不引起任何失真的前提下，可将传输每一信源符号所需的平均码率降至最低。 信息论 中的 信源模型可以 用随 机过程描写 5 。 最简单 的信源模型是离散、 无记 忆 信源。在这种模型下，信源序列中的符号是独立统计的，即某符号在某时刻出现的概 率与在此之前信源的状态无关。一个消息中某一符号的信息量可以用这一符号出现的 浙江大学硕_ 1 : 学位论文 不确定性描写。 如果一个符号的出 现可以 预测， 那么这个符号就只含有很小的信息量; 而一个符号出 现的 不 确定 性 越大， 它的 信息 量就越 大。 因 此， 符号a k 的 信息量i ( a k ) 可 以 借 助它出 现的 概 率p ( a k ) 度 量:i ( a k ) = - lo g , p ( a k ) ， 对数的 底数 不同 信息 量 单 位 也不同，一般取2 为底数，那么信息量的单位就是b it ( 比 特) 。 由一个离散、无记忆信源产生的一个符号的平均信息量为: h ( u ) 一 艺 p (a k ) i ( a k ) 一艺p ( a k ) 10 9 , p ( a k ) b it /符 号 。 h ( u ) 被称作信源的 嫡。设单符号、离散、 无记忆信源的 嫡为h ( u ) ， 根据无失真信源 编码定理，若用二进制码对其作变字长、 前缀码编码，一定可以找到一种编码方式， 其平均码长m满足:h ( u ) _ m _ h ( u ) + 1 。 这表明， 信源的嫡是作无失真二进制变字 长 编码时 平均码 长的 下限。 对比以l 几个公式可以 看出， 如果符号a * 用等于 其信息 量 的 码长m k =- 1 0 9 2 p ( a k ) 编 码， 则 可以 使平均 码长m达到 其下限 一一嫡 p ( a a ) m k = 一 艺p ( a k ) l o g , p ( a k ) = h ( u ) 。 艺曰 - 一m 所以 这种变字长的统计编码又称嫡编码。 满足h ( u ) 5 m _ h ( u ) + 1的 冗余度压缩前缀码的构成方法已由 s h a n n o n , f a n o 和h u f f m 二得到， 可以证明， h u ff m a n 码使其中冗余度最小 ( 平均码长m最小)的码。 虽然 h u f f m a n码是最佳码，但它是分组码 ( 或称块码) ，在实用时比较复杂。这 是因为在对信源进行 h u ff m a n编码时，信源符号和码字之间不能用某种有规律的数学 方法对应起来，必须形成个 h u ff m a n 码表通过查表的方法进行编、译码。在信源存 储与传输过程中必须首先存储与传输这一码表，这就会影响实际信源的压缩效率。特 别当信源符号序列长度增加时，所需码表容量、搜索时间都急剧增大，实现起来比较 复杂。而算术编码则无需计算出所有信源序列的概率分布及编出码表，可直接对输入 的 信源符号序列进行编码输出 6 . 算术编码是非分组 ( 非块)码，从全序列出发，考虑符号之间的依赖关系进行编 码的。考虑一个离散平稳二元随机变量x，信源字符表为 a n , a , ) ,概率分布为 ( p ( x= a . 卜p , p ( x = a , ) = 1 一 p ) ， 对于 输出 序列x 一 x , x z . . .x ， 进行编码。 首 先把 0 , 1 ) 按a 。 和a ， 的 先验概率分 为子区间 0 , p ) 和【 p , 1 ) ， 再根 据x , 为a 。 还是a , 来选取 0 , p ) 和 浙江大学硕 士学位论文 y , 1 ) 两 个区 间 中的 一 个， 接 下 来 把选中 的 子区 间 再 按a 。 和a ， 的出 现 概率 分 成更 小的 子 区间 再 根 据x z 为a 。 还 是a ; 来 选 取其中 的 一 个， 如 此继 续。 也 就 是说 ， 将累 计分 布 函 数的区间【 0 , 1 ) 分成许多互不 重叠的小区间， 每个信 源符号对应于各个小区间， 每一 个小区间的长度等于这个信源符号的先验概率分布值，在此小区间内取一点，取该点 二进位小数点后1 位作为这个信源符号的码字。 把这个基本思想应用到信源符号序列中 来，能计算出信源符号序列的累计分布函数，使每个符号序列对应于累计分布函数上 不同的区间， 再在区间内取一点，将其二进制小数点后1 位作为这个符号序列的码字， 只要这些区间不重叠，就可以得到即时编码。 算术编码的编码器从信源输出第一个符号起就开始工作，到第n 个符号出现后， 码字很快生成，算法具有递归性， 便于软硬件实现。算术编码的压缩效果依赖于正确 的频率统计和实现， 在多媒体通信中，可以 利用像素之间的相关性，来确定信源符号 的概率，并通过自 适应的算法来不断修正概率。在h .2 6 4 / a v c中，就采用了基于上下 文的自适应二进制算术编码 ( c o n t e x t - b a s e d a d a p t i v e b i n a r y a r i t h m e t i c c o d i n g , c a b a c ) ，来提高编码效率 7 0 1 . 1 . 5 混合编码 图i - 2 k 合型视频编解码原理框图 浙江大学硕 : 学位论文 由变换编码和预测编码为主构成的“ 混合型” 编码是目前运动视频的主流编码类 型，为各种视频编码标准所采纳，成为它们的基本框架。 图1 - 2 所示的h .2 6 1 建议的视频编码框图采用了 “ 混合型” 编码方案。用运动补偿 帧间预测取出图像在时间域的冗余度，然后用离散余弦变换 ( d c t )去除空间域的冗 余度， 最后再用变字长的统计编码去除经量化后的d c t 系数中 所含的统计冗余度。 d c t 系数的量化利用了人眼的视觉特性，量化器的精度还受到输出缓存器状态的控制。输 出缓存器时为了适应恒定码率信道的要求，平滑变字长编码器的精度调整缓存器的输 入码流，保持输出数码率的稳定。此信源编码方案，是积4 0 年图像编码经验之总结。 1 . 2 视频压缩系列标准介绍 标准化是产业化活动成功的前提，国际标准化组织 ( i n t e r n a t i o n a l s t a n d a r d i z a t i o n o r g a n i z a t i o n , i s o ) 、国际电 子学委员会 ( i n t e r n a t i o n a l e l e c tr o n i c s c o m m itt e e , i e c ) 和国 际电 信 协会( i n t e rn a t i o n a l t e l e c o m m u n i c a t i o n u n i o n , i t u ) 等国 际 组织， 于上 世纪9 0 年 代制定了 许多重要的多 媒体数据压缩标准 8 。 其中， 最重要的就是由 隶属于i s o和i e c 的 运动图 像专家组 ( m o v i n g p i c t u r e e x p e r t g r o u p , m p e g ) 制定的m p e g系列标准， 包 括m p e g - u m p e g - 2 / m p e g - 4 ， 以 及由i t u 下属的 视频编码专家组( v id e o c o d i n g e x p e r t s g r o u p , v c e g ) 推出的h .2 6 x 系列建议;目 前最新的 标准，是由m p e g和v c e g共同 成立的联合视频小组( j o i n t v i d e o t e a m , j v t ) 负责完成的h .2 6 4 标准【 9 ， 也是m p e g - 4 标准的第十部分先进视频编码 ( a d v a n c e d v i d e o c o d i n g , a v c ) ，故一般被称为 h .2 6 4 / a v c 。由于 h .2 6 4 / a v c采用了许多不同于以 往标准中使用的先进技术，所以相 对于以 往的标准，在相同的码率下用h .2 6 4 / a v c标准编码能获得更高的主客观质量。 不同的标准采用的技术不同，带来的运算量和编码质量自 然也会有所不同。下面将简 要介绍上述各种视频压缩国际标准。 1 . 2 . 1 c c i r建议 为了 便于国际间的节目交换、消除数字设备之间的制式差别和为6 2 5 行电视系统 与5 2 5 行电视系统之间兼容，在1 9 8 2 年2 月c c i r第1 5 次全会上，通过了6 0 1 号建 议 1 0 ， 确定以 分量编码为基础，即以 亮度分量y 、和两个色差分量r - y , b - y为 基 础进行编码，作为电视演播室数字编码的国际标准。 该标准规定: ( 1 ) 不管是p a l 制， 还是n t s c制电 视，, y , r - y , b - y三分量的抽样 频 率分别为 1 3 . 5 m h z , 6 .7 5 m h z , 6 . 7 5 m h z ; ( 2 ) .抽 样后 采用线 性量 化， 每个样点的 量 化比 特数用于演播室为l 0 b i t ， 用于传输为8 b i t ; ( 3 ) . y , r - y , b - y三分量样点之间比例 为 4 : 2 : 2 a 浙江大学硕士学位论文 在1 9 8 3 年9 月召开的c c i r中期会议上， 又作了 三点 补充: (). 明 确规定编码信号 是经过7 预校正的y , ( r - y ) , ( b - y ) 信号; ( 2 ) . 相应于量化级。 和2 5 5 的码字专用于同 步，! 到2 5 4 的量化级用于视频信号; ( 3 ) .进一步明 确了 模拟与 数字行的刘应关系，并 规定从数字有效行末尾至基准时间样点的间隔，对5 2 5 行、6 0场/ 秒制式来说 为1 6 个样点，对6 2 5行、5 0场/ 秒制式则为1 2 个样点。不论6 2 5行/ 5 0场或5 2 5行/ 6 0 场， 其数字有效行的亮度样点数都是7 2 0 ，色差信号的样点数均是3 6 0 ，这是为了便于 制式转换。若亮度样点数被2 除，就得到色差信号的数据。 1 9 8 6 年， c c i r综合了n t s c 和p a l 制式标准， 加入了 对传输接口 合数据流的具 体定义，合定为c c i r 6 5 6 号建议。目 前使用较多的就是c c i r 6 5 6 号建议 i l l . 1 .2 .2 h . 2 6 x 系列建议 1 9 8 4 年c c i t t 第1 5 研究组成立了一个专家组，专门 研究电视电话的编码问 题 所用的电话网络为综合业务数据网络 i s d n 。经过 5年多的精心研究和努力，终于在 1 9 9 0 年1 2 月完成和批准了c c i t t 推荐书 h .2 6 1 1 2 1 ， 即 “ 采用 p x 6 4 k b / s 的声像业务的 图 像 编解码 ” ， h .2 6 1 简称 p x 6 4 . 由于h .2 6 1 建议是用于电 视电话和电视会议，所以 推荐的图像编码算法必须是实 时处理的，并且要求最小的延迟时间，因为图像必须和语音密切配合，否则必须延迟 语音时间。h .2 6 1 建议具有以下两个方面的突出贡献: 1 统一了图像格式。 h .2 6 1 采用了与电视制式无关的图像格式， 无论哪种制式的视频 信号 进入 编解 码器之后， 都 要 转换 成公共中间 格式( c o m m o n i n t e r m e d i a t e f o r m a t , c i f , 3 5 2 x 2 8 8 ) 或q c i f ( q u a r t e r - c i f , 1 7 6 x 1 4 4 ) 这两种图 像格式 进行处 理， 每帧图 像分 成图 像层、 宏块组( g o b ) 层、 宏块( m b ) 层、 块( b l o c k ) 层来处理。 2 .解决了编码算法问题。 h .2 6 1 是最早的运动图像压缩标准， 它采用了运动补偿预测 和d c t相结合的混合编码方案，详细制定了视频编码的各个部分， 包括运动补偿的帧 间预测、 d c t变换、 量化、 嫡编码，以及与固定速率的信道相适配的速率控制等部分。 h .2 6 1 建议是对图像编码近4 0 年研究成果的总结， 它所采用的编解码框架和方法 成为了 其他图像压缩编码标准的核心。在此基础上， i t u - t和 i s o / i e c针对不同的应 用场合，制定了一系列建议和标准。 h .2 6 3 是h .2 6 1 的 后续标准 1 3 ， 是 最早用于 低码率 视频编码的i t u - t 标准， 随 后 出 现的第二版( h .2 6 3 + ) 及第三版娜.2 6 3 + + ) 增加了 许多选项， 使其具有更广泛的适用性。 h .2 6 3 是i t u - t为低于6 4 k b / s 的窄带通信信道制定的视频编码标准。它是在h .2 6 1 基 础上发展起来的。 h .2 6 3 与h .2 6 1 相比采用了半像素的运动补偿， 并增加了4 种有效的 压缩编码模式。无限制的运动矢量模式允许运动矢量指向图像以外的区域。基于句法 的算术编码模式使用算术编码代替霍夫曼编码，可在信噪比和重建图像质量相同的情 况下 降低码率。 先进的预测模式允许一个宏块中4 个g x g 亮度块各对应一个运动矢量， 1 0 浙江大学硕 卜 学位论文 从而提高了预测精度;两个色度块的运动矢量则取这4个亮度块运动矢量的平均值。 补偿时， 使用重叠的块运动补偿， 8 x 8 亮度块的傅个像素的补偿值由3 个预测值加权平 均得到。p b 一 帧模式规定一个 p b 一 帧包含作为一个单元进行编码的两帧图像。p b 一 帧模 式可在码率增加不多的情况一 ，使帧率加倍。 i t u - t 在14 .2 6 3 发布后又修订发布了14 .2 6 3 标准的版本2 ， 非正式地命名为14 .2 6 3 + 标准l 1 4 。 它在保证原14 .2 6 3 标 准核心 句法 和语义不 变的 基 础上， 增加了 若干选项以 提 高压缩效率或改善某方面的功能。 14 2 6 3 十 + 在14 2 6 3 + 的 基础上增加了3 个选项 1 5 ，主 要是为了增强码流在恶劣信道上的抗误码性能，同时为了提高增强编码效率。 1 . 2 . 3 mp e g系列标准 m p e g是运动图 像专家组 ( m o v i n g p i c t u r e e x p e r t g r o u p ) 的英 文缩写。 实际一 i: ， 它 是国 际 标准化组织i s o 和国 际电 工 委员 会i e c 联合 技术 委员 会i ( j t c 1) 的 第2 9 分 委员 会( s c 2 9 ) 的 第1 1 s作组( wg 1 i ) ， 其全称是wg l l o f s c 2 9 o f i s o / i e c j t c l a m p e g的 任务是开发运动图像及其声音的 数字编码标准， 成立于1 9 8 8 年。 专家组最初的任务有三个:实现 1 .5 mb / s , 1 0 mb / s , 4 0 mb / s 的压缩编码标准，即 mp e g - l , m p e g - 2 , mp e g - 3 。 但因为mp e g - 2 的功能已使m p e g - 3 为多余， 所以mp e g - 3 于1 9 9 2 月撤消。mp e g - 4 项目 是1 9 9 1 年5 月建议并于 1 9 9 3 年7 月确认，其目标是甚 低数码率的音频压缩编码( 码率低于2 8 .8 k b / s ) 。 下面分别简要介绍各个标准。 1 . mp e g- 1 随 着数字音频和数字视频技术的 广泛应用，m p e g在1 9 9 1 年 1 1 月提出了i s o 1 1 1 7 2 标准的建议草案，通称 mp e g - 1 标准。该标准于 1 9 9 2 年 1 1 月通过，1 9 9 3 年 8 月 公 布。 m p e g - 1 标准适用于 数 码率在1 .5 m b p s 左右的 应用环境， 也 就是为c d - r o m 光盘的视频存储和放像所制定的。 mp e