（计算机应用技术专业论文）h263低比特率视频编码技术研究与实现.pdf

西北工业大学硕士论文 摘要 在数字化信息化时代，多媒体通信已经成为信息交流的重要手段。多媒体会议、可视电 话等成为广受欢迎的通信方式。而在有限带宽的条件下，低比特率的视频编码方案显然是实 现高质量多媒体通信的关键。本文主要针对低比特率视频编码方案h 2 6 3 、h 2 6 3 + 协议的实 现方案进行详细的探讨寻求高效的、高质量的软件实现方案，以满足多点多媒体会议的需 要。 首先，本文针对运动估计运动补偿部分以及d c t 逆d c t 等算法复杂度较高的部分提出 优化方案，提高算法编码速率，满足多点多媒体会议实时性要求；其次，对于通信过程中存 在的噪声干扰和误码现象，本文提出了多种有效的误码掩盖技术，提高编码算法的抗误码能 力；同时，对视频图像质量的评估与改善也做了如下工作：引入了评估视频清晰度和流畅度 的视频质量评价方案并提出了基于图像约束复原理论的消除图像方块效应的方案- 改善视 频质量；最后，本文给出了h 2 6 3 的软件实现方案，把咀上研究成果融入到实践当中。 尽管作者本人对低比特率视频编码进行了较为深入的研究，仍然有很多内容有待进一步 深入。 关键字：低比特率编码h 2 6 3压缩编码 运动补偿误码掩盖 西北工业大学硕士论文 a b s t r a c t n o w a d a y si nd i g i t a li n f o t m a t i o n a le r a m u l t i - m e d i ab e c o m e sa ni m p o r t a n tw a yf o r i n f o r m a t i o ne x c h a n g ea m o n gw h i c hm u l t i - m e d i am e e t i n gi so fg r e a tf a v o r s e e i n gt h e c o n d i t i o no fl i m i t e db a n d w i d t h ，m ec o n s i d e rj tak e yt or e a l i z et h eh i g h q u a l i t y m u l t t - m e d i ac o m m u n i c a t i o nb ya d o p t i n g l o w - b y t ec o d i n gs o l u t i o n s o m el o _ r - b y t e c o d i n gs o l u t i o n sa r ei n t r o d u c e db e l o w ，s u c ha sh 2 6 3p r o t o c o l ，h 2 6 3 + p r o t o c 0 1 t h e y a r ed i s c u s s e di nd e t a i lt os e e ka ne f f e c t i r ea n d h i g h q u a l j t yw a y t om e e tt h e r e q u i r e m e n t so fm u l t i p o i n tm u l t i - m e d i am e e t i n g f i r s t a no p t i m i z e ds o l u t i o ni si n t r o d u c e dt os i m p li f yt h ea r i t h m e t i eo fm o t i o n e s t i m a t i o n m o t i o ne o m p e n s a t i o na n dd c t i d c tt oe n h a n c et h ea f f e c t i o n so fp r o g r a m s o a st om e e tt h er e a l t i m er e q u i r e m e n t so fm u l t i p o i n tm u l t i m e e t i n g s e c o n d l y ， s o m ee f f e c t i v ee r r o rc o n c e a l m e n tm e t h o d sa r ei n t r o d u c e dt oe n h a n c ea n t i e r r o r p r o g r a ma b i l i t y i nc a s et h a tt h e r ee x i s tn o is ed i s t u r b a n e ea n de r r o rp r o g r a m p h e n o m e n o n m e a n w h i l e ，g r e a tw o r k i sd o n et or e n d e rt h e p i c t u r e q u a l i t ym o r e o p t i m i s e d a ne v a l u a t i o nm e c h a n i s mi si n t r o d u c e dt oe v a l u a t et h ed e f i n i t i o na n d f l u e n c yo fv i d e ot r a n s f e r r e da n das c h e m eisd i s c u s s e dt oe n h a n e et h eq u a l i t yo f t h ev i d e ob ye r a s i n gi m a g ep o l y g o nb a s e do ni m a g er e s t r i c t i o na n dr e s t o r a t i o nt h e o r y i nt h e e n d ，ap r a c t i c a b l es o l u t i o no f h 2 6 3i sg i v e na n di t sp r a c t i c ei si n t r o d u c e d t h o u g hg r e a tt i m ei sd e v o t e dt ol o w - b y t ev i d e oc o d i n gr e s e a r c hw o r kb y t h ew r i t e r , t h e r es t i l l e x i s tm a n yf i e l d sl e f tf o rf u r t h e rs t u d y k e y w o r d s ：l o w - b y t ec o d i n gh ，2 6 3c o m p r e s s i o nc o d i n g m o t i o n c o m p e n s a t i o n e r r o rc o n c e a l m e n i i 西；i l i 业大学硕士论文 第一章绪论 1 1 本文的研究背景、意义 二十一世纪是数字化、信息化的时代，我们不得不面对大量的信息，因此如何加快信息 交换的速度，提高信息交换的效率，降低信息交换的代价等问题就变得越来越重要和迫切。 多媒体技术的出现通信技术的进步都给我们在这些问题的解决提供了可能和前提。特别是 网络多媒体会议和可视电话的出现更是给我们指明了方向和目标。相比传统的面对面的会议 形式和以前的电话会议，网络多媒体会议有着无可置疑的优势。首先多媒体会议系统可以让 地处天南海北的人“坐”在一起开会，为我们的交流打破了空间的限制，使得很多从前不可 能的事变成可能。其次，多媒体会议系统提供了电话会议无法提供的交流的质量和效率。随 着近几年多媒体通信技术的不断发展，作为现代化的通信手段之一，多媒体会议业务的实用 性和便利性愈加显示了突出的优越性，极大地促进了应用。一些传统的办室会议，专家医生 会诊，军事会议等为多媒体会议所取代。同时多媒体会议在远程教育，远程医疗，科研合作 和企业内部交流等方面有着广泛的应用。 本文研究的题目“基于i p 网络的桌面多媒体视频会议系统”来自于十五预研面向军 事作战规划的智能辅助决策技术研究中的子课题“研究建立全互连的多媒体通信平台”。 目的是开发出用于军事指挥作战规划的多媒体通信平台和多媒体会议系统。利用多媒体会议 交流中多媒体信息的强大表现力和计算机的交互管理能力，为不同部门、不同地方的军事作 战规划的决策者们提供“面对面”的交流手段让决策者能直接使用自己的计算机机进行实 时视音频交流。 然而视频通讯却面临了许许多多的问题，其中主要问题是：原始图像信号数据量较大，这 将给存储器的存储容量，通信信道的传输率( 带宽) 以及计算机的处理速度增加极大的压力。 虽然网络的发展使有效带宽变得越来越宽，但是随着网络用户数量的增长以及应用种类的增 长，单纯的增加信道的带宽显得不经济也不现实。另外一个方面，尽管随着计算机技术的发展， 计算机的处理速度变得越来越快，但是由于互联网使用一个可以随即结束的时空共享信道， 网络通信中同一群组中的用户也可能在机器类型、操作系统、外设性能、c p u 处理能力等方 面存在巨大的差异：连接各用户的网络区段也会在带宽、延时、和误码等方面存在差异，所以 单纯的部分计算机更新不可能完全解决上述问题。如果采用先进的视频编码技术将视频信号 的数据量进行压缩，则可以节省存储空间，而且可以提高通信的传输效率，从而满足网络通信 中不同用户，使得视频通信业务成为可能。因此，视频信号的有效压缩成为视频传输系统的核 心。 目前为止，各种标准化组织已经制定了许多的有关视频压缩的标准。国际标准化组织 西北工业大学硕士论文 ( i s 0 ) 和国际典型联盟一典型标准分布( i t u l ) 已经推出了一系列有关视频压缩的标准，比如 i s 0 推出了用于v c d 的m p e g 一1 用于广播电视和d v d 的m p e g - 2 标准，阻及用于存储播放场合 的低比特率运动图像标准m p e g 一4 。而i t u - t 则推出了用于i s d n 的电视电话会议标准 h 2 6 1 ( p x 6 4 ) 以及用于会议场合的低比特率运动图像编码标准h 2 6 3 标准。以及在随后的改 进版本h 2 6 3 + 1 2 6 3 + + 。这些运动图像编码标准各自有各自的适用场合，本文主要研究的是 h 2 6 3 系列的适用于多媒体会议的低比特率编码算法。 在本人参与的十五预研课题“研究建立全互连的多媒体通信平台”中，期望目标是开发 一套多点的，全互联的视频音频通信平台，考虑到全互联特性，因此对于视频编码算法提出了 比较高的要求，否则有限的带宽上不可能实现多点的视频传送和接收。同时因为每一个网络 终端都需要编码发送一路视频讯号，同时接收解码和显示多路视频信号，尽管当前计算机的 运算速度得到了很大的提高，但是仍然不可能在没有做任何算法优化的基础上实现这一目 标。更主要的是，人们希望全互联的多媒体会议能支持的最大用户容量更多，而不只是局限在 三个或者四个用户这样有限的数目。因此这里就提出了另外一个本文研究的重点内容，即提 高视频编解码速率。因为通信信道存在误码现象，尤其是在传输带宽比较窄的情况下尤其明 显，因此抗误码以及纠错技术的研究是本文的第二个重点。因为低比特率视频编码的有损特 性，导致图像质量下降，如何改善和评价视频质量是本文的第三个研究重点。 1 2 本文工作以及章节组织 1 2 1 本文的主要工作 本文针对适应i n t e r a c t 环境下多点多媒体视频会议的视频编码部分的若干关键技术展开 研究。主要是以i t u t 公布的h 2 6 3 视频压缩编码标准位基本框架，研究低码率视频编码 传输中抗误码技术。提高编码速率的技术以及视频质量评价和改善。主要工作包括了一下几 个方面： 1 低码率视频编码算法h 2 6 3 实时性研究。即提高视频编码速率的技术。由于目前压缩 编码算法大多采用的运动预测估计，d c t 变换和熵编码结合的混合编码算法，计算工作量 很大。本文通过优化和改善运动估计补偿和d c t 变换两个占用运算时间最多的模块，达到 提高编码速率的目的，其主要工作包括：运动估计部分，通过各种搜索算法的比较和研究， 采用钻石搜索法改善搜索性能提出了预测搜索起始点加快搜索的收敛过程，提高搜索命 中率。同时本文还提出了预判零运动矢量技术对于运动量很小的块，跳过搜索过程，对部 分运动量不很剧烈的宏块，则只进行半像素精度的搜索，而不进行整像素精度搜索，以节省 搜索时间。 2 抗误码及自适应纠错掩盖技术的研究。视频传输过程中，不可避免的会存在误码现 象，误码扩散将导致视频质量严重下降甚至导致根本无法正确解码。本文以误码掩盖技术 2 西北工业大学硕士论文 为主要研究内容提出了基于运动特征的自适应时域误码掩盖技术，提高编码算法的抗误码 能力。 3 视频质量的评估与改善的研究。因为低比特率视频编码算法h 2 6 3 h 会导致视频质 量损失。本文提出评估视频清晰度和流畅度的视频质量评价方案，并针对典型的方块效应提 出了一种基于图像约束复原理论的方块效应消除的方法改善视频质量。 4 算法的鞔件实现方案。在本文的最后，根据作者的亲身实验经验提出了h 2 6 3 的 软件实现方案，并将技术上的改善与优化研究融入到具体实现中。形成高编码速率，图像质 量有所改善，抗误码能力较强的编码算法。 尽管本文提出和解决了许多问题，但是等待要做的工作仍然很多。有很多地方并没有深 入的进行研究有待进一步深入。 1 2 2 本文的组织结构 本文一共分为六主要章节具体内容如下安排： 第一章是绪论。对全文的背景和工作内容做简单介绍。 第二章简单的介绍了h 2 6 3 2 6 3 + 编码算法的主要原理，以及两者的特点和最新的进展。 第三章对编码实时性和提高编码速率的技术进行了较为深入的研究。其中包括运动估计 和d c t 变换两个部分的优化改进研究， 第四章是针对抗误码技术，主要是误码掩盖技术进行了一定深度的探讨，并提出基于时 域的自适应误码掩盖手段。 第五章引入视频质量的评价和改善方案，针对常见的方块效应问题，提出了一种全新的 消除方块效应的方案。 第六章主要集中在软件实现流程上，把前边的研究结果融入到实践当中，形成新的高效 的视频编码算法。 最后部分是对文章的总结和评价，提出不足和期待改善的地方。阐述了进一步研究的方 向和关键技术难点。 西北工业大学硕士论文 第二章h 2 6 3 h 2 6 3 + 视频编解码器原理 2 11 t 2 6 3 建议简述 随着通信技术和互联网的飞速发展，通信带宽的不断增加，多媒体通信业务在网络通信 中的比重也越来越大。人们已经不再满足于简单的文字交流，语音和视频等多媒体网络通信 成为了现时的一个研究热点。然而通信带宽也同时成为多媒体通信发展的第一大障碍，于是 人们开始关注如何在低比特率下压缩编码视频语音信号。1 9 9 0 年i t u - t 制定了h 2 6 1 建议， 适合于窄带i s d n ( 6 4 k ) 图像编码，它可以用于视频会议，可视电话等场合。1 9 9 6 年i t u t 在h 2 6 1 的基础上制定了h 2 6 3 建议，与h 2 6 1 相比，h 2 6 3 能提供更好的图像质量和更高 的压缩比。在髓后的1 9 9 8 年和2 0 0 0 年，i t u t 对h 2 6 3 进行了两次修订，也就是现在的h 2 6 3 + 以及t t 2 6 3 + + 。然而这些建议基本和h 2 6 3 一致因此本文主要针对h 2 6 3 进行讨论和研究。 h 2 6 0 建议说明了一个可以用来压缩包含低比特率情况下的育运动图像成分的视听服 务的编码表示。视频信号编码的基本构造是基于i t u - t 的h ，2 6 1 建议，它是通过帧间预测编 码去除时间上的冗余和通过对保留信号进行行变换编码去除空间上的冗余的结合。源编码器 可以在五种标准图像格式上工作：s u b q c i f 、q c i f 、c i f 、4 c i f 和1 6 c i f 。 i t 2 6 3 编码器具有运动补偿能力，并允许可选择地将这项技术应用于编码器中。这里的 运动补偿采用了半像素精度而不象t t 2 6 1 建议中采用全像素精度和循环滤波器。传输码元 采用的是变长编码。 除了基本的视频信源编码外，还有四种可选择的编码选项来改良性能：无限制运动矢量、 基于句法的编码算法、高级预测和p b 帧。所有这些选项都可阻结合使用或单独使用。 h 2 6 3 h 2 6 3 + 还参照m p 阱引入了i 帧、p 帧和p b 帧( 可选) 三种帧模式，以及i n t e r ( 帧间) ，i n t p 矾( 帧内) 两种编码模式，其中对于i 帧总是采用i n t r a 编码模式，而对于 p b 帧的b 帧总是采用i n t e r 编码模式，p 帧则可以采用i n t e r 或i f r r a 两种编码模式，具体 采用那种编码模式视运动估计和运动补偿算法而定。 2 2 编解码器设计基本原理 2 2 1 信源编码器原理简介 图2 - 1 是h 2 6 3 编码原理框图，达到低比特率编码的主要技术包括d c t 变换、量化、 运动估计与补偿、v l c 可变长编码。对于帧内编码，输入图像通过离散余弦变换( d c t ) 、量 化、最后进行z i g z a g 扫描和v l c 变长编码。对于帧间编码采用运动补偿帧间预测的编码方 4 西北工业大学硕士论文 式消除图像在时间上的冗余信息。首先计算当前帧和前一帧图像的对应块的帧差，根据一定 的匹配法则判断是否存在运动，如果不存在运动则不传送该块，如果存在运动则采用某种搜 索算法搜索前帧中与当前块最佳匹配块，同时也获得该予块的运动矢量，再计算帧差，如果 帧差大于某一阀值，则表示运动剧烈，应该对该子块进行帧内编码，否则进行帧间编码输出 运动矢量，并对帧差进行d c t 变换、量化、z i g z a g 扫描和v l c 变长编码。解码过程和编码 过程正好相反，是编码过程的逆过程。 图2 ih 2 6 3 编码原理框图 2 2 2 离散余弦变换( d c r ) 与其逆变换 变换编码的基本原理，是将原来在空间域描述的图像信号通过一种叫正交变换的数学 变换，变换到另个正交矢量空间( 称为变换域) 中进行描述，简单地讲，即把信号由空间 域变换到变换域中用变换系数来描述。这时，人们发现，这些变换系数之间的相关性明显下 降，并且能量常常集中于某些低频或低序系数区域中。这样，很容易实现码率压缩，因为变 换系数的公式部分为零，或很接近零，可以舍去而只对少数低频分量分配一定比特数。为 恢复原信号要经逆正交变换回到空间域。 离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ) 简称d c t 。任何连续的实对称函数的傅里 叶变换中只含余弦项，因此余弦变换与傅里叶变换一样有明确的物理量意义。d c t 是先将整 西北工业大学硕士论文 体图像分成n x n 像素块，然后对n n 像素块逐一进行d c t 变换。由于大多数图像的高频 分量较小，相应于图像高频成分的系数经常为零，加上人眼对高频成分的失真不太敏感，所 以可用更粗的量化，因此传送变换系数所用的数码率要大大小于传送图像像素所用的数码 率。到达接收端后再通过反离散余弦变换回到原值，虽然会有一定的失真，但人眼是可以接 受的。n 代表像素数，一般n = 8 ，8 x 8 的二维数据块经d c t 后变成8 x 8 个变换系数，这些 系数都有明确的物理意义：u 代表水平像素号，v 代表垂直像素号。如当u = o 、v = o 时，f ( 0 ， 0 ) 是原6 4 个原值的平均，相当于直流分量，随着u 、v 值增加，相应系数分别代表逐步增 加的水平空间频率分量和垂直空间频率分量的大小。 d c t 变换使用下式计算： 脚，= 扣刖陲砉f ( i , j ) c o s 学c o s c 0 0 等竽l c 越， f ( ”) = 去c ( “) c ( v ) l 兰 孑竺型詈坐l ( 式2 - 1 ) 叶 ij ；j = 0 1 u1 ” i 它的逆变换使用下式计算： =ilf(ic c c v l 耋0 壹v = o 舷小。s 警c o s 普竽l 试 ，) = i c ( “) c ( v ) 1 f ，v ) c o s 坐 岩竺c o s 型三竖l ( 式2 2 ) 叶 l ”= i ul ” j 上面两式中， f 创，f m = 1 互，当珥y = 0 ： c ( u ) ? c ( v ) = 1 真地。 ，“，经d c t 变换之后f 以是直流系数，其他为交流系数 2 2 3 量化与反量化 一个块经过d c t 变换后，形成一个大幅度系数集中在低频区域，而高频系数都比较小，量 化后许多高频系数为零，从而达到了压缩的目的。量化后的码字与量化前的d c t 系数有差距， 但是由于人眼对低频分量部分比较敏感，而对高频分量不太敏感，所以如果量化值取的适当 不仅画面能让人接受，同时更能提高压缩比率。一般讲来，量化因子越小，画面越好，但是 压缩出来的码字却会越多。 在h 2 6 3 标准中，对于同一宏块使用相同的量化步长来完成量化，量化器参数的取值范 围是： 1 ，3 1 ，但是第一个i n t r a 块是例外。i n t r a 块的第一个系数( d c 系数) 律按照步 长为8 来进行量化，即： l e v e l = c o v 8 其中l e v e l 为d c t 系数量化后绝对值，c o f 是d c t 矩阵系数。 对于反量化一般采用的是h 2 6 3 给出的重建系数公式。如果i ) c t 系数量化后的l e v e l 6 西北工业大学硕士论文 = o ，则重建系数r e c = o 。对于所有非零系数( 而不是针对i n t r a d c ) 的重建级别的公式如下： l r e c l = 叫a n n ( 2 l l e v e l l + 1 )如果q u a n t 为奇数 ir e c i = q u a n t * ( 2 $ il e v e l l + 1 ) 1 如果q u a n t 为偶数 其中，q u a n t 为量化器参数，取值 1 ，3 1 计算完重建系数绝对值i r e c l 后，正负号被添加到重建系数r e c 上，具体公式如下： r e c = s i g n ( l e v e l ) l r e c l 其中s i n g ( l e v e l ) 由h 2 6 3 建议中t c o e f 的最后一个比特位给出。 p b 帧模式下，对p 块使用q u a n t ，对b 块使用另一个量化参数b 母u a 。q u a n t 的范围是 1 ，3 1 。d b q u a n t 指示了如表中定义的q u a n t 和b q u a n t 之间的关系。b q u a n t 的范围是 1 ，3 1 ， 如果由表计算得出的值大于3 1 则被剪切到3 1 。 表2 一ld b q u a n t 码值以及q u a i n t 和b q u a n t 之问的关系 d b q u a n t b 。u a n t 0 0 ( 5 x q u a n t ) 4 0 1 ( 6 x q u a n t ) 4 1 0 ( 7 x q u a n t ) 4 1 1 ( 8 x q u a n t ) 4 量化后的效果是减少了非零d c t 系数的个数，为后面的z i g z a g 扫描创造了条件，也有 利于最后的熵编码。量化补偿的大小直接影响到视频压缩率的大小和图像质量的好坏，若量 化系数较大，则压缩比率提高，图像质量降低，反之则有高的图像质量低的压缩效率。因此 量化器系数的大小要根据具体要求来折衷，一般是根据信道要求。 2 2 4 可变长( v l c ) 编码 块在经过d c t 变换后，低频部分的非零系数大多数集中在矩阵的左上角，而高频部分的 零系数基本上都集中在矩阵的右下角。经过量化后，大部分高频系数变为0 。对经过量化后 的系数要重新编排，目的是为了增加连续的0 系数的个数，就是游程长度，方法是按照 z 字形的式样编排具体编码顺序如图2 2 所示。这样就把一个8 x 8 的矩阵变成一个1 6 4 的矢量，频率较低的系数放在矢量的顶部。 7 西北工业大学硕士论文 d c 值 a c 系 瀛广7厂7，专 ， ，一， 爿 p 。 j 一 ， | ， ， ， r ， 一 y ， ， z_ z_ z2 鬣 a c 系；2 | c 结束 m 2 - 2z i g z a g 扫描示意图 经过z i g z a g 扫描后，对i ) ( 6 4 的一维矢量进行游程编码h 2 6 3 采用( l a s t ，r u n ，l e v e l ) 的三元组进行描述其中l a s t 是最后个非零系数的说明。l a s t 为0 表示块中还有更 多的非零系数，1表示这是块中的最后一个非零系数。编码系数之前的连续o 的个数用 ( r u n ) 来说明，而编码系数的非零值用( l e v e l ) 来说明。( l a s t ，r u n ，l e v e l ) 的剩余组合被 编码在一个长度为2 2 比特的码字中，包括7 比特的e s c a p e ，1 比特的l a s t ，f i 比特的r u n 和8 比特的l e v e l 。用这个2 2 比特的码字来对v l c 编码表中没有列出的组合进行编码。 变长编码是一种无失真编码方法，信息论中已经证明，“若码字长度严格按照所对应的 f 言息符号出现的概率大小相反的顺序排列，则平均码字长度一定小于其它任阿符号顺序排列 方式，即编码是最佳的”。其物理概念也十分清楚：对概率( 每秒出现次数) 大的信息符号 用短码表示，对概率小的信息符号用长码，则平均码长是最短的。根据该定理。h u f f m a n 于 1 9 5 2 年提出了一种最佳编码方法，被称为h u f f m a n 编码方法。由于其码字长不固定，也称 变长编码法即v l c ( v a r i a b l el c n g 血c o d i n g ) 。下面举例说明这种方法。 您p 3凡 鹧 0 6 lo 图2 3h a f f m a n 编码举恻 j 出现概事泐mmmm 丌1 1。仉也戗仉以仉饥 信蕞符号m m m 冉 _ m 爵 事= 暑搿器 再 舞2 2 3 3 3 i 西北工业大学硕士论文 如图2 - 3 假设信源符号a 】a 2 a 3 a _ l a 3 a 6 a 7 的出现概率分别为o 2 0 ，0 1 9 ，1 8 ，0 1 7 ，o 1 5 ，0 1 0 ，0 o l 。 我们可以先根据信源符号的出现概率由上到下按其大小排列；然后对概率最小的ns 、q ， 分别分配码i 和0 ，这两个概率值相加得o 1 1 记为p 。再把n 。与a t 作为一个符号，从上 到下按大到小重新排列其概率太小：as 概率0 1 5 与该0 1 1 最接近，分配as 为码字1 ，分 配ds ，组合的码为0 ，依此类推，直至p a ，现在可得at 码字为l l ；d ：为1 0 ；a 。为0 1 1 - qe 为0 0 0 1 ：dt 为0 0 0 0 。实现了概率大的符号分配短码反之为长码。 量化a c 系数的特点是1 6 4 矢量中包含有许多“0 ”系数，并且许多“0 ”是连续的， 因此使用非常简单和直观的游程长度编码( r l e ) 对它们进行编码。 h 2 6 3 采用z i g z a g 扫描结合游程编码。因为大部分o c t 系数被量化为0 ，而大部分非零 系数义集中在左上角，这样z 形扫描后出现连续为零的机会很高。因此能达到较高的压缩比 率，节省了码字。 2 2 5 基于运动补偿的帧问预测编码 对于运动图像，帧间位置严格对应的像素差还比较大为了迸一步提高预测精度，引入 了运动补偿技术，这时不是简单地传送邻近两帧间对应像素的帧间差值如图2 - 4 中所示 与a 之差，而是按一定准则，先估计一个像素或一个图像子块的运动，然后利用估计出 的运动位移确定对应像素从而获得相邻两帧间的帧间差值，如图2 - 4 ( b ) 中的a 与b 之 差。这种方法估计了运动后的帧间相应像素之差，比只是简单地求邻帧相应像素之帧差要小 得多，准确性高在发送端称为运动估计，在接收端则称为运动补偿，般简称为运动补偿 ( t i c ) 技术。理论研究得出，采用m c 法可实现的压缩比为2 ：1 。 a 的运动估 图2 4 序列图像中的帧差 子块的大小一般取8 x 8 。利用孵的帧差编码器如图2 - 5 所示 9 l 西北工业大学硕士论文 第 帧 输 图2 5m c 帧差编码器框图 和 辕出 设a 为第k 帧某子块，a 为k _ 1 帧对应位置的子块，运动估计完成对a - a 中运动像 素的帧差统计( ( a a ) ) ，由判决器进行判决，若该子块不运动。即帧差小于某阈值， 则输出零帧差，不必进行运动估计。如帧差大于某闽值则再在k - 1 帧a 块附近进行搜索 运算，直到找出相对于a 子块的最小帧差的子块b ，然后以b 作为相应的运动子块，即a 的 估计值( 预测值) 并输出帧差a b 以及该两子块问的相对位置偏移量即运动矢量v ( 由 v 。与v ，组成) 。 f d ( “) = 志薹孔( m ) - - 日k - i + i , n + 0 l r 式2 - 3 ) 最小帧差m i n f i ) ，即为当前子块估计值。当该是小帧差大于给定闽值时，说明子块的 运动很剧烈不宜对它采用运动补偿，而应采用帧内编码。 2 3h 2 6 3 四种可选编码模式 h 2 6 3 建议提供了四种可选编码模式，包括无限制运动矢量模式、p b 帧模式、高级预测 模式和基于句法的编码模式。这一小节将逐一介绍。 2 3 1 无限制运动矢量模式 在缺省的h 2 6 3 预测模式下，运动矢量受到这样的限制即所有的被参照像素必须是在 编码图像区域以内。而在无限制矢量模式下就没有这个限制，因此运动矢量被允许指向图像 的外部。当某个运动矢量被参照的像素是在编码图像区域以外，我们就用一个边界像素来代 替它。这个边界像素的确定方法是：将运动矢量限制在编码图像区域内的最后一个全像素位 置。对运动矢量的限制是在像素的基础上实现的，并且是单独针对运动矢量的每个分量。 】o 西北工业大学硕士论文 例如，如果是针对q c l f 的无限制运动矢量，被参照像素的亮度分量值是按下面的公式得到： r u m v ( x y ) - r ( x y 1 ) 其中五月，y7 为像素域的空间坐标，, g u m v “，曰出，分期，力无限制矢量模式下， 参照图像在( x ，y ) ，“，) 点的像素值 x ，y 的取值为： x = 0如果x 1 7 5= 1 4 3如果y 1 4 3 =x其余情况 = y其余情况 斤向，y j 编码区域是0 仁x 仁1 7 5 且口仁y 仁g 只给定的边界是整数像素位 置，但& ，y ) i g 可以是边界内的半像素位置。 在缺省的预测模式下，运动矢量的水平和垂直分量值都被限制到 一1 6 ，1 5 5 的范围内 ( 这个限制对b 帧运动矢量的前向和后向分量同样有效) 。在无限制矢量模式下，矢量分量 的晟大范围是 - 3 1 5 ，3 1 5 。唯一的限制是，如果预测变量的范围是 一1 5 5 ，1 6 ，则在个运 动矢量分量的预测变量周围卜1 6 ，1 5 5 的范围内的值可以得到。如果预钡4 变量在 一1 5 5 ，1 6 范围之外，则 一3 1 5 ，3 1 5 范围内所有和预测变量同正负号的值以及0 值都可以得到。所以， 如果m v c 是运动矢量成分而p c 是它的预测变量，那么： 一3 1 5 - ，舱0如果一3 1 5 p c 一1 6 一1 6 + p c ，睢1 5 5 + p c 如果一1 5 5 p c 1 6 0 m v c 3 1 5如果1 6 5 p c 3 1 5 2 3 2 高级预测模式 高级预测模式也是h 2 6 3 的一种可选编码模式，其中包括重叠块运动补偿和每个宏块四 个运动矢量的可能性。在高级预测模式下，运动矢量被允许穿越图像的边界这与无限制矢 量模式一样。无限制运动矢量模式下延伸运动矢量范围的特性不会自动包含在高级预测模式 中，只有在选择了无限制运动矢量模式后这个特性才会被激活。如果高级预测模式和p b 帧 模式同时被启用，则重叠运动补偿只对p 帧预测有效而不针对b 帧。 在h2 6 3 中，除非是在高级预测模式下，每个宏块只使用一个运动矢量。在这种模式下， 每个宏块的m c b p c 码字将指定究竟是使用1 个还是4 个矢量。如果对某一特定宏块只传送了 一个运动矢量那么这与传送四个值完全相同的矢量是等价的。如果m c b p c 中指定对当前宏 块传送四个运动矢量，那么第一个运动矢量是以码字m v d 的形式传送的，而其余的三个运动 矢量的信息则使用码字m 、r d 2 4 来传送。 与每个宏块只有一个运动矢量时十分相似，对于有多个运动矢量的情况下可以通过添加 西北工业大学硕士论文 对m v d 和m v d 2 4 所指定的矢量差值的预测变量来得到。候选预测变量m v l ，m v 2 和m v 3 定义 在图2 - 6 中。如果每个宏块只有一个矢量出现，m y l ，m v 2 和m v 3 的定义对下图的1 号8 x 8 块( 这个定义对应于中左上角的子图) 。 m v 2m v 3 卜们 m v ( 矗) m f v 2m v 3 i m v ! h v i m v ： 当前密块运动失鼍 m v i ：左面窘块运动炙夔 m v 2 ：上面宏坎运动矢量 m v 3 ：右上应巍运功矢量 m v 2m v 3 i m v lm v 际币冈 = h i m v | m vj i 。1 。一 ( b )co)(td 图2 6 宏块中每个亮度块的候选预测变量的重新定义 在解码端，亮度信号将利用可重叠的运动补偿技术来恢复，而色度信号不用此项技术。8 8 亮度预测块中的每个像素被赋予了一个加权因子，其值为三个预测值之和再除以8 ( 进 行了四舍五入) 。为了获得三个预测值，使用了三个运动矢量：当前亮度块的运动矢量，以 及四个“远程”矢量中的两个。其它g o b s 的远程运动矢量的使用方法和当前g o b 的远程运 动矢量使用方法一样。 对每个像素而言，使用的是最靠近边界的两个块的运动矢量。这就意味着对块的上半部 分将使用当前块上面的块的运动矢量，对块的下半部分将使用当前块下面的块的运动矢量。 同样对块的左半部分将使用当前块左边的块的运动矢量，对块的右半部分将使用当前块右边 的块的运动矢量。 假设( 与力表示像素在图像中的位置，( 玛曲表示图像块的编号，则存在如下关系： r e = x 8 ，n = x s 假设( 表示像素在8 * 8 图像块中的位置，则： i = x - , 噼8 j = r n 8 因此有： ( 丑力= ( m * 8 + i ，肿8 + d 令( 舯乞0 代表半像素精度的运动矢量，( 矾肌0 ) 表示当前块( 毋曲的运动矢量， ( m l , 胁，) 表示上面或者下面相邻块的运动矢量，( 椰m c ) 表示左面或者右面相邻块的 运动矢量。这样，像素( x ，y ) 的亮度值将由下式给出： 1 2 西北工业大学硕士论文 p ( x ，y ) = ( q ( x ，y ) h o ( ，) + r ( x ，y ) h i ( f ，) + s ( x ，y ) h 2 ( f ，) 十4 ) ，8 其中，口( 工力，( 置力，s ( 鼻力是取自参考帧得预测值，用如下公式表示： q ( x ，n = p ( x + ：，y + w ：、 ，( x ，一) = p ( x + n ? 1 ，y + ，吖) 5 ( t y ) = p ( x + ，曙，y + ，吩) 其中，尸( 一肌n 0 是参考帧中像素( 一册0j ，州旷0 的亮度值，矩阵# o ( i j ) ，h ，( i j ) ，肛( i j ) 取值如图2 7 所示： 4 s555s s4 55 555555 55 6 66 655 5566 6 6s5 556 6 6655 556 6 6 655 55555555 45 555554 22 222222 ll2 222li llllllil 1ll iillt 】ii iil l lilll1il ll22 22il 222 22222 2ll1ll12 22ijil22 22iiil2 2 22iill22 22ilil22 22llli22 22llli22 2illlli2 c 1 ) 权霆锤阵h ot b ) 投重矩阵h 1( c ) 较壅矩阵h 1 2 3 3 p b 帧模式 图2 - 7 权重矩阵 在该模式下，一个p b 帧包含有编码为一个整体的两帧图像。p b 这个名字来源于h 2 6 3 建议中的图像帧类型的名字，即p 帧图像和b 帧图像。因此p b 帧包含一个p 帧图像和一个 b 帧图像。其中p 帧图像由前面解码的p 帧图像预测得到，而b 帧图像由前面和当前解码的 p 帧图像预测得到。之所以叫b 帧图像这个名字，是因为b 帧图像的某些部分将由过去 和将来的图像双向预测而得到。下图对预测处理过程进行了图解说明。 西北工业大学硕士论文 图2 8p b 帧模式下的预测 在p b 帧模式下，帧内编码模式意味着：p 块是帧内编码，b 块是帧间编码。因此帧内编码 块也需要传送运动矢量，以供其中的b 块使用。这种模式下的一个宏块包括1 2 个块，由p 帧 宏块和b 帧宏块组成。编码器首先处理6 个p 帧块然后处理6 个b 帧块。 b 帧运动矢量的计算如下： 假设已知其中p 帧的运动矢量l f v ，预测b 帧需要用到前向和后向运动矢量m 、r r 和l i v n 。m v f 和l i v 。首先由l i v 推算，最终用偏差矢量h i v o 校正。 令t r d 是t r 的增量( t r 表示该帧图像所在时刻) 表示了当前p 帧与前一p 帧之间的距离。 令t r b 表示当前b 帧和前一p 帧之间的距离。则m v f 和w a 将由下面的公式给出： f = ( t r8 - m v ) t r d - i - m v d 帆：j ( ( 豫b 一豫。) 。删) t r o 。学慨= o ! 式“ 。 lm v f m v 一当m v d o 时 2 3 4 基于句法的算术编码模式 前面介绍的变长编码，解码( v l c v l d ) 中，对一个符号的v l c 编码使用了一个特殊 的基于编码句法的表。这个表中通常保存的是v l c 码字的长度和具体值。通过一个查表操 作将这个符号映射到表中的某个入口处，然后将这个入口对应的二进制码字传送到发往接收 器的缓冲区中。在v l d 解码中，接收到的比特流将与在一个基于编码句法的特殊表中入口 进行逐个比较。这个表必须与对这个符号编码的表完全相同。在表中匹配的入口处将反映射 成编码前的符号以用于重建视频图像。这个v l c v l d 处理过程暗示着每个符号必须被编码 成一个固定的整数个比特位的码字。去除掉对符号的固定整数个比特位的限制，将减小比特 率，我们可以用算术编码来实现这一目标。 1 4 西北工业大学碗士论文 2 4h 2 6 3 + h 2 6 3 + + 的新特点 i t u - t 在h 2 6 3 标准后，于1 9 9 8 年何2 0 0 0 年分别对h 2 6 3 以新增附录的形式进行修订， 形成h 2 6 3 + h 2 6 3 + + 两个改进标准。 对于一般特性，h 2 6 3 仅支持五种固定图像大小，形状和图像时钟频率，应用灵活性比较 低。在h 2 6 3 + 标准中，编解码双方可咀用协商形式确定专用图像格式进行通信，专用图像 格式的行数和每行的像素数目都要求能被4 整除，且行数范围为【4 ，1 1 5 2 ，列数为【4 ，2 0 4 8 。 同时图像序列的时钟频率也可以协商调整。 h 2 6 3 定位于可视电话，视频会议和移动多媒体通信等领域。h 2 6 3 + u 开始支持图像冻 结、快照、视频分段、色度键控、咀及多分辨率视频应用等。除此之外，h 2 6 3 + i - 1 2 6 3 + + 另有如下新特点下面章节将详细进行介绍。 2 4 1 更高的压缩率 h 2 6 3 + 与h 2 6 3 相比较进一步提高了视频图像的压缩比。主要技术包括：非限制运动矢 量模式、先进帧内编码模式、p b 帧模式、交替帧间v l c 编码模式等。 1 非限制运动矢量模式 与h 2 6 3 非限制运动矢量模式相比，h 2 6 3 + 非限制运动矢量模式下运动矢量的范围进 一步扩大，使得帧间预测更加准确，从而提高了编码效率。对运动矢量的预测，h 2 6 3 + 采用新 定义的可逆变长编码( r v l c ) 码表编码，把码字精度由双精度改为单精度，提高了编码效率。 2 先进帧内编码模式 先进帧内编码模式定义了新的帧内编码方式，其中包括块系数量化方法修正，部分块变 换系数预测和独立帧内编码码表。块系数量化方法修正是指h 2 6 3 基本框架中规定帧内编 码直流系数量化步长固定为8 ，但是先进帧内编码模式不再受此限制。 对于经过d c t 变换后的帧内编码块，