（计算机软件与理论专业论文）h264标准下的快速运动估计算法的研究.pdf

h 2 6 4 标准下的快速运动估计算法的研究 摘要 运动估计是视频压缩中普遍采用的一项技术，它已经被广泛运用到了当今的国际 视频压缩标准中。它是去除视频数据中的时l 日j 冗余度的有效方法，运动估计的性能直 接影响到编码的效率和恢复图像的质量。然而，运动估计的计算复杂度比较高，基于 运动估计的编码器的计算量主要集中在运动估计上。特别是在h 2 6 4 编码器中，由于 高精度运动矢量，以及可变块大小的运动估计被采用，计算量迅速增长，运动估计消 耗整个视频编码的时间在7 0 以上。运动估计成为了视频压缩的瓶颈，因此，高效快 速的运动估计算法成为视频压缩领域的研究热点。 本文在h 2 6 4 a v c 的技术特点和现有运动估计算法的深入研究的基础上，从块 匹配和模式选择这两大关键技术上着手，提出了以下三种快速算法： ( 1 ) h 2 6 4 a v c 中基于多模板搜索的快速运动估计算法。该算法首先将当自i 块划 分为准静止块，小运动块和大运动块，然后根据判别的运动块类型相应地选择搜索模 板和搜索策略。 ( 2 )基于h 2 6 4 a v c 的多方向自适应运动估计。该算法根据运动类型自适应地选 择搜索策略，并结合垂直方向，水平方向，对角线方向，反对角线方向的十字形模板 进行多方向自适应搜索。 ( 3 )基于h 2 6 4 的高效帧间预测模式选择。该算法提出了根据时间和空间的相关 性，以及对平均绝对差值( 删驯的计算，来把s a d 和事先设定的阂值进行比较，以通 过提前确定当前的最优的模式为1 6 1 6 的模式的方法来降低计算复杂度。同时该算 法还根据7 种模式之间的相关性，以及各个模式的概率的实验统计结果而提出新的判 定准则，有效地过滤一些小概率模式，以提前确定当前宏块的模式来降低计算复杂度。 实验结果表明，本文提出的三个算法在图象质量基本保持不变的情况下，极大地 提高了编码速度。 关键词：h 2 6 4 ；运动估计；模式选择；搜索模板 r e s e a r c ho nt h ef a s tm o t i o ne s t i 【a t i o n a l g o r 盯h m sb a s e do nt h eh 2 6 4s t a n d a r d a bs t r a c t m o t i o ne s t i m a t i o ni so n eo ft h em o s ti m p o r t a n to p e r a t i o n si nv i d e oe n c o d i n gt o e x p l o i tt e m p o r a lr e d u n d a n c i e si ns e q u e n c e so fi m a g e s i ti sc o m m o n l yu t i l i z e di nm a n y i n t e r n a t i o n a lv i d e oc o d i n gs t a n d a r d s h o w e v e r , i ti sa l s ot h em o s tc o m p u t a t i o n a l l yc o s t l y p a r to fav i d e oe n c o d e r e s p e c i a l l yi nt h eh 2 6 4 ， b e c a u s eo fs o m en e wf e a t u r e s ，s u c ha s t h ev a r i a b l e b l o c k s i z em o t i o ne s t i m a t i o n ，a n dh i g h p r e c i s i o nm o t i o nv e c t o r , t h em o t i o n e s t i m a t i o nh a ss e v e n t yp e r c e n to ft h ea m o u n to ft h ec o m p u t a t i o n m o t i o ne s t i m a t i o n b e c o m e st h eb o t t l e n e c ko ft h ev i d e oc o m p r e s s i o n ，t h e r e f o r e ，e f f i c i e n tm o t i o ne s t i m a t i o n a l g o r i t h mh a v er e c e i v e dc o n s i d e r a b l ea t t e n t i o n b ys t u d y i n gt h ef e a t u r e so fh 2 6 4 a v ca n dt h ee x i s t i n gr a p i dm o t i o ne s t i m a t i o n a l g o r i t h m s ，t h r e en e wa l g o r i t h m sa r ep r o p o s e da c c o r d i n gt ot h et w ok e yt e c h n o l o g i e s w h i c hi n c l u d eb l o c km a t c h i n ga n dt h em o d ed e c i s i o n t h et h r e ea lg o r i t h m sa r ed e s c r i b e d a sf o l l o w s ： ( 1 ) f a s tm o t i o ne s t i m a t i o na l g o r i t h mb a s e do nm u l t i p a t t e ms e a r c hf o rh 2 6 4 a v c i nt h i sa l g o r i t h m ，i tf i r s td e t e r m i n e st h ec u r r e n tb l o c ka sa q u a s i - s t a t i o n a r y , s l o wm o t i o n ，o r f a s tm o t i o nb l o c k t h e n ，a c c o r d i n gt ot h ed i f f e r e n tm o t i o nt y p e s ，d i f f e r e n ts e a r c hp a t t e r n s a n ds t r a t e g i e sa r ew i s e l ye m p l o y e d ( 2 ) f a s tm o t i o ne s t i m m i o nw i t hm u l t i d i r e c t i o n a la d a p t m i o nf o rh 2 6 4 a v c i nt h i s a l g o r i t h m ，a c c o r d i n gt ot h ed i f f e r e n tm o t i o nt y p e s ，d i f f e r e n ts e a r c hp a t t e r n sa n ds t r a t e g i e s a r ew i s e l ye m p l o y e d m o r e o v e r , h o r i z o n t a lc r o s ss e a r c hp a t t e m ，v e r t i c a lc r o s ss e a r c h p a t t e m ，d i a g o n a lc r o s ss e a r c hp a t t e r n ，a n da n t i d i a g o n a lc r o s ss e a r c hp a t t e ma r ec o m b i n e d t om u l t i d i r e c t i o n a ls e a r c h i n g ( 3 ) f a s ti n t e r - p r e d i c t i o nm o d ed e c i s i o na l g o r i t h mf o rh 2 6 4 a v c i nt h i sa l g o r i t h m ， d i r e c td e t e c t i o nf o r16 16i sp r o p o s e dt or e d u c et h ei n t e rm o d ed e c i s i o nc o m p l e x i t yb a s e d o nt h e t e m p o r a l a n ds p a t i a lc o r r e l a t i o na n ds a dt h r e s h o l df o r e a r l yt e r m i n a t i o n m o r e o v e r , a c c o r d i n gt o t h es t a t i s t i c a la n a l y s i sa n dt h ec o r r e l a t i v ec h a r a c t e r i s t i c so ft h e s e v e nm o d e s ，e f f e c t i v ec r i t e r i af o rm o d ee x c l u d i n gi sa l s oe m p l o y e d e x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h a tt h ep r o p o s e da l g o r i t h m sc a l ls p e e du pt h e e n c o d i n gt i m e w i t ht h es i m i l a rp e r f o r m a n c ec o m p a r e dt os t a n d a r d k e yw o r d s ：h 2 6 4 ；m o t i o ne s t i m a t i o n ；m o d ed e c i s i o n ；s e a r c hp a t t e r n i v 浙江师范大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。论文中除了特别加以标注和致谢的地方外，不包含其他人或其他 机构已经发表或撰写过的研究成果。其他同志对本研究的启发和所做的贡献均 己在论文中作了明确的声明并表示了谢意。本人完全意识到本声明的法律结果 由本人承担。 作者签名：际的 日期：冲占月多日 学位论文使用授权声明 本人完全了解浙江师范大学有关保留、使用学位论文的规定，即：学校有权保 留并向国家有关机关或机构送交论文的复印件和电子文档，允许论文被查阅和借 阅，可以采用影印、缩印或扫描等手段保存、汇编学位论文。同意浙江师范大学可 以用不同方式在不同媒体上发表、传播论文的全部或部分内容。 保密的学位论文在解密后遵守此协议。 作者签名：硒够 导师签名癣爿舌堙步期：加7 年占月多同 6 l 浙江师范大学学位论文诚信承诺书 我承诺自觉遵守浙江师范大学研究生学术道德规范管理条 例。我的学位论文中凡引用他人已经发表或未发表的成果、数据、 观点等，均已明确注明并详细列出有关文献的名称、作者、年份、 刊物名称和出版文献的出版机构、出版地和版次等内容。论文中未 注明的内容为本人的研究成果。 如有违反，本人接受处罚并承担一切责任。 承诺人( 研究生) ： 指导教师： 6 2 际哥多 瑞太恚多沙 1 1 研究背景 1 绪论 当今时代，信息技术和计算机互联网飞速发展，在此背景下，视频信息已成为人 类获取信息的最主要载体，同时也成为电子信息领域技术开发和研究的热点。视频技 术的应用范围非常广泛，如网上可视会议、网上可视电子商务、网上政务、网上购物、 网上学校等等。但是，视频信号所包含的信息量大，而网络带宽有限，单纯用扩大存 储器容量，增加通信干线的传输率的办法是不现实的，于是出现了数据压缩技术，该 技术通过数据压缩，可以降低信息数据量，以压缩形式存储，传输，既节约了存储空 间，又提高了通信干线的传输效率，同时也可使计算机实时处理视频信息，以保证播 放出高质量的视频节目。 因此，研究高效的视频数据压缩编码方法越来越成为视频通信的研究重点。同时， 越来越多的研究工作者对视频编码提出了新理论和新方法，各种国际组织也参与视频 标准的制定。如i s o i e c 成立了j p e g ( j o i n tp h o t o g r a p h i ce x p e r tg r o u p ) 和m p e g ( m o v i n g p i c t u r ee x p e r t sg r o u p ) ，并先后完成了j p e g 、j p e g 2 0 0 0 、m p e g 一1 、m p e g 一2 和m p e g 4 标准的制定；i t u t 也先后制定了h 2 6 1 、h 2 6 2 ( 与m p e g 组织合作) ， h 2 6 3 、h 2 6 3 + 和h 2 6 4 ( 与m p e g 组织合作) 等一系列国际数字视频压缩编码标准。 它们为视频编码技术的发展起到了巨大的推动作用。 h 2 6 4 a v c 是目前最新的视频编码国际标准i lj ，是i s o i e cm p e g 联合i t u t ( v c e g ) 成立的联合视频组( j o i n tv i d e ot e a m ，j v t ) 制定的视频编码新标准。与以往 的h 2 6 3 、m p e g 4 等标准类似，h 2 6 4 a v c 同样采用了基于块的运动估计与运动补 偿和变换编码的混合编码框架。h 2 6 4 和以往标准的主要区别在于，其吸取并应用了 许多视频通信领域新的理论和技术成果，如帧内预测、基于多参考帧的运动估计、可 变块大小的运动估计模式、1 4 像素精度的运动估计等等。这些新技术的应用使这一 编码标准可以获得很高的编码效率，尤其是在低码率方面比m p e g 4 有明显的提高， 1 绪论 非常适合低带宽、高质量网络视频应用的需要。但是，这些技术的应用也使其运算复 杂度大大增加，对软硬件要求更高。 因此，为了使h 2 6 4 能更好的在低码率高实性的应用系统中实现，必须对其编码 算法进行优化。据统计，在h 2 6 4 编码中，运动估计占用了7 0 以上的编码时间。 因此，无论用硬件实现还是软件实现h 2 6 4 标准，运动估计部分均占有很重要的地位。 为了提高编码速度和使h 2 6 4 实时化，就必须对运动估计部分进行优化和改进。 1 2 研究意义 随着信息技术的发展和社会的不断进步，多媒体通信越来越成为研究和应用的热 点。据统计，人类每天通过视觉获取的信息约占外界信息总量的7 0 左右，即人们每 天获得的信息大部分是视觉信息，视频信息在多媒体信息中占有重要的地位。因此， 视频技术成为多媒体应用的核心技术。但是视频信号所包含的信息量非常大，同时视 频数据冗余度也很大，所以有效解决其大容量的数掘与数据存储媒体和通信网容量小 的矛盾的关键途径就是视频压缩。 视频压缩编码早己成为国内外研究和工业应用的热点之一，同时视频编码相关标 准的制定也日臻完善。至今国际上已制定了一系列的视频编码标准，如m p e g 1 ， h 2 6 1 ，h 2 6 3 等，而h 2 6 4 作为最新一代的视频编码标准，其框架与以往标准类似， 但其与原来的h 2 6 3 和m p e g 一4 标准相比能节约5 0 的码流【2 】o 这也使其得到各研究 机构以及多媒体工业界的高度重视。因此，对h 2 6 4 视频编码标准中的关键技术进行 深入研究，并进行性能优化，具有十分重要的理论与现实意义。 对于视频序列图像，由于相邻帧之间，同一帧内的相邻块存在着很大的相关性， 即时间冗余和空间冗余，所以通过减少时间空间冗余，可以大幅度提高视频压缩编码 的效率。在减少空间冗余方面，一种有效的方法是基于块匹配的运动估计。其基本思 想是将图像序列的每一帧分成m x n 的宏块，然后对于当前帧中的每一块根据一定的 匹配准则在前一帧或后一帧某一给定搜索范围内找出与当自仃块最相似的块，即匹配 块，由匹配块与当前块的相对位置计算出运动位移，所得运动位移即为当前块的运动 矢量。运动估计越准确，补偿的残差就越小，编码的效率就越高，解码出来的图像质 ， 1 绪论 量越好。并且，运动估计在整个系统中的计算复杂度最大，占了整个系统的7 0 。因 此，如何提高运动估计的效率，使运动估计算法的搜索过程更健壮，更快速，更高效 是具有十分重要的理论与现实意义。 1 3 论文组织 本论文主要是针对h 2 6 4 a v c 标准中的快速运动估计算法的研究，所以在研究本 课题过程中，首先深入剖析了h 2 6 4 a v c 这一新标准的技术特点，同时还全面分析 研究了运动估计的基本原理和发展现状，通过对一系列的实验统计结果和经典算法的 分析，从不同角度提出了三种提高运动估计效率，降低计算复杂度的算法。本论文主 要分为七个章节，具体结构安排如下： 第一章为绪论，介绍了本论文所涉及课题的研究背景和研究意义，并且对论文的 组织做了简单说明。 第二章对视频压缩编码技术和一系列国际标准作了简单介绍，其中重点介绍了 h 2 6 4 a v c 这一新标准的技术特点。 第三章介绍了基于块匹配运动估计的基本原理和一些技术指标，同时还简单介绍 了一些典型的块匹配算法。 第四章至第六章为本论文的重点，也是本论文的主要贡献。主要介绍了作者通过 前期的资料分析研究，提出的三种更加有效的运动估计算法，分别是h 2 6 4 a v c 中 基于多模板搜索的快速运动估计算法，基于h 2 6 4 a v c 的多方向自适应运动估计以 及基于h 2 6 4 的快速帧间预测模式选择，并分别通过实验与其他算法进行比较，证明 了其有效性。 第七章对全文工作进行了总结，并对下一步研究做了初步构想。 3 2 视频编码技术与其标准 2 1 视频压缩编码的基本原理 2 1 1 视频压缩编码的可能性 视频信息的表现形式是视频信号，视频信号所包含的信息量大，其内容可以是活 动的，也可以是静止的；可以是彩色的，也可以是黑白的：有时变化多、细节多，有 时变化十分平坦。总之，视频信号信息量非常大，从而对传输网络带宽要求高。这就 使得人们开始考虑能否将视频信号在传送前先进行压缩编码，然后在网络上进行传 送，以便节省传送的带宽和存储空间。 经过研究表明，这一设想是具有可能性的，因为视频数据有极强的相关性，也就 是说有大量的冗余信息。而这些冗余信息的存在使得视频压缩编码成为可能。其中冗 余信息主要可分为空域冗余信息和时域冗余信息。 ( 1 )空域冗余 众所周知，一副图像有许多个称为像素的点组成，大量实验统计表明，同一幅图 像中像素之间具有较强的相关性，并且距离越近的两像素之间的相关性越强，也就是 说相邻像素之间的值发生变化的几率比较小，特别是对于图像中的一些背景，往往有 一大块表面颜色均匀的区域( 如图2 1 ) ，在此区域中所有点的光强和色彩以及饱和度 都是相同的，这就存在着很大的空间冗余，人们可以利用这种像素间的相关性进行压 缩编码，极大的减少了存储空间。 ( 2 ) 时域冗余 我们知道，人类眼睛的视觉暂留现象是1 2 4 秒，也就是说一秒钟2 4 帧图像的播 放速度是不会让我们感觉到视频的不连贯，所以通常视频的播放速度是2 4 帧秒，甚 至更快，在这么快的速度罩每一帧的图像变化可想而知是非常细微的( 如图2 2 ) ，相 邻帧往往包含相同的背景和移动物体，只不过移动物体所在的空间位置略微不同，也 4 2 视频编码技术与其标准 就是说后一帧数据与前一帧数据有着许多共同的地方，这就存在着很强的时域冗余 从而我们便可以根据相邻帧问的相关性进行压缩编码。 l 一铺躯域 图2i 图像中存在的表面均匀的区域 霁孽 誉鬻l 灏遴誉l 譬一= o ? o ：。叠迭：要妒 a ) 1 帧创像b ) t + l l 畸削像 图2 , 2 相邻帧问的相关性 ( 3 ) 其他冗余 视频编码中除了主要存在空域和时域的冗余外，还存在着一些其他冗余。比如， 视频信号中包古着在能量上占主要部分的直流和低频成分，还有少量的高频成分，即 图像的细节。实际上我们人眼只对低频成分比较敏感对一些高频的细节部分表现 出不敏感。所阻，当我们对视觉敏感和不敏感的部分同等对待时就会产生视觉冗余。 212 视频压缩编码原理 视频编码系统的基本结构如图2 3 。 2 视频编码技术与其标准 输入 视频 f jf 运动仆计 i 一一了一1 i 叩d c t i一 毒动矢；一j：i：二，墨二11。一 1亍?彳彳二眷卜毒i(；：i一夕+。!冈门哩”翌： 一! 一声斗生f 曲i i | 圉2 3 视频编码系统 量化 。! l 一 l 一 反量化 1 j 曼变长l 输出， j 编码l 比特 根据上节的分析，我们可以知道，视频压缩编码的目标就是将数据中的冗余信息 去掉。根据不同的冗余信息，有不同的编码方式，大致的分为预测编码，变换编码以 及熵编码。 ( 1 )预测编码 预测编码是最简单和实用的视频压缩编码方法，它是利用视频信号在局部空间和 时间范围内的高度相关性，将已经传出的邻近像素值作为参考，预测当前像素值，然 后量化，编码预测误差。预测编码框图如下所示： 图2 4 预测编码 其中，x ( 门) 为当前像素的实际值，p ( ，? ) 为预测值，d ( n ) 为差值或残差值。该值 经过量化后得到残差量化值q ( n ) 。 预测编码又分为帧内预测编码和帧间预测编码。 舀 2 视频编码技术与其标准 1 ) 帧内预测编码是利用一帧内相邻像素点的相关性，即空间相关性来达到压缩 目的的，这种方法对于连续平滑的背景部分特别有效。在最新的h 2 6 4 标准中的帧问 预测里提出了对于4 x 4 亮度子块定义了9 种预测模式，而1 6 1 6 亮度块定义了4 种预 测模式。 2 ) 帧间预测编码是利用视频图像帧间的相关性，即时问相关性，来达到图像压 缩的目的。一般而言，帧间预测编码的编码效率比帧内更高。采用预测编码的方法消 除序列图像在时间上的相关性，即不直接传送当前帧的像素值，而是传送x 和其前一 帧或后一帧的对应像素x t 之间饷差值，这称为帧问预测。但是当图像中存在着运动物 体时，简单的预测不能达到好的效果，例如当前帧与前一帧的背景完全一样，只是物 体平移了一个位置，如果简单地以第k 1 帧像素值作为k 帧的预测值，则预测误差都 不为零。如果已经知道了物体运动的方向和速度，可以从物体在k 1 帧的位置推算出 它在k 帧中的位置来，而背景图像( 不考虑被遮挡的部分) 仍以前一帧的背景代替， 将这种考虑了物体位移的k 1 帧图像作为k 帧的预测值，就比简单的预测准确得多， 从而可以达到更高的数据压缩比。这种预测方法称为具有运动补偿的帧间预测。 具有运动补偿的帧间预测编码是视频压缩的关键技术之一，它包括以下几个步 骤：首先，将图像分解成相对静止的背景和若干运动的物体，各个物体可能有不同的 位移，但构成每个物体的所有像素的位移相同，通过运动估计得到每个物体的位移矢 量；然后，利用位移矢量计算经运动补偿后的预测值；最后对预测误差进行量化、编 码、传输，同时将位移矢量和图像分解方式等信息发送到接收端。 ( 2 ) 变换编码 因为预测编码的压缩能力是有限的，所以在2 0 世纪7 0 年代后，科学家们丌始探 索比预测编码效率更高的编码方法。而变换编码就是其中一种高效的编码方法。 众所周知，绝大多数的图像都有一个共同的特点：平坦区域和内容缓慢变化区域 占据大部分，而细节区域和内容变化激烈的区域则占小部分。也就是说，图像中直流 和低频占大部分，高频区占小部分。如果我们能将空间域的图像变换到频域，就会产 生相关性很小的一些变换系统，并可对其进行压缩编码，即所谓的变换编码。所以， 变换编码就是指先对信号进行某种函数变换，从一种信号变换到另一种，然后再对信 7 2 视频编码技术与其标准 号进行编码。如将时域信号变换到频域，因为声音、图像大部分信号都是低频信号， 在频域中信号的能量较集中，再进行采样、编码，那么可以肯定能够压缩数据。 变换编码系统中压缩数据有变换、变换域采样和量化三个步骤。变换本身并不进 行数据压缩，它只把信号映射到另一个域，使信号在变换域罩容易进行压缩，变换后 的样值更独立和有序。这样，量化操作通过比特分配可以有效地压缩数据。 在变换编码系统中，用于量化一组变换样值的比特总数是固定的，它总是小于对 所有变换样值用固定长度均匀量化进行编码所需的总数，所以量化使数据得到压缩， 是变换编码中不可缺少的一步。在对量化后的变换样值进行比特分配时，要考虑使整 个量化失真最小。 变换编码是一种阳j 接编码方法。它是将原始信号经过数学上的正交变换后，得到 一系列的变换系数，再对这些系数进行量化、编码、传输。图2 5 是变换编码系统方 框图。 原始信。输入呻 三三三二 1 二至三三二r 至一编码信号输 解码信号输出 至至三二 ( 三至至卜编码信号输入 图2 5 变换编码、解码原理框图 图中接收端输出信号与输入信号的误差是因为输入端采用量化器的量化误差所 致。当经过正交变换后的协方差矩阵为一对角矩阵，且具有最小均方误差时，该变换 称为最佳变换，也称k a r h u n e n l o e v e 变换( k l 变换) 。如果变换后的协方差矩阵接 近对角矩阵，该类变换称为准最佳变换，典型的有d c t ( 离散余弦变换) 、d f t ( 离 散傅立叶变换) 、w h t 等。 ( 3 ) 熵编码 利用信息源的统计特性进行压缩编码的方法叫做熵编码，也叫做统计编码。熵编 码把一系列用来表示视频序列的元素符号转变为一个用柬传输或是存储的压缩码流。 输入的符号可能包括量化的变换系数，运动向量( 对于每个运动补偿块的向量值x 和 y ) ，标记( 在序列中用来表示重同步位的点) ，头( 宏块头，图象头，序列的头等) 以及 附加信息( 对于f 确解码来说不重要的信息) 。熵编码常用的有两种：变长编码( 也h l f 8 2 视频编码技术与其标准 哈夫曼编码) 和算术编码。在此，我们简单介绍下哈夫曼编码。 哈夫曼编码的理论依据是变长编码理论。在变长编码中，编码器的编码输出码字 是字长不等的码字，按编码输入信息符号出现的统计概率，给输出码字分配以不同的 字长。对于编码输入中，出现概率高的信息符号，赋以短字长的输出码字；对于编码 输入中，出现概率低的信息符号，赋以长字长的输出码字。可以证明，按照概率出现 高低的顺序，对输出码字分配不同码字长度的变长编码方法，其输出码字的平均码长 最短，与信源熵值最接近，编码方法最佳。 哈夫曼编码的具体步骤归纳如下： 概率统计( 如对一幅图像，或1 1 7 幅同种类型图像作狄度信号统计) ，得到7 个不同概率的信息符号。 将7 个信源信息符号的刀个概率，按概率大小排序。 将7 个概率中，最后两个小概率相加，这时概率个数减为刀- 1 个。 将扩1 个概率，按大小重新排序。 重复，将新排序后的最后两个小概率再相加，相加和与其余概率再排序。 如此反复重复旷2 次，得到只剩两个概率序列。 以二进制码元( o ，1 ) 赋值，构成哈夫曼码字。编码结束。 哈夫曼码字长度和信息符号出现概率大小次序正好相反，即大概信息符号分配码 字长度短，小概率信息符号分配码字长度长。 2 2 视频压缩标准发展简介 数字视频技术广泛应用于通信、计算机、广播电视等领域，带来了会议电视、可 视电话及数字电视、媒体存储等一系列应用，促使了许多视频编码标准的产生。i t u t 与i s o i e c 是制定视频编码标准的两大组织，i t u t 的标准包括h 2 6 1 、h 2 6 3 、h 2 6 4 ， 主要应用于实时视频通信领域，如会议电视；m p e g 系列标准包括m p e g 一1 、m p e g 2 和m p e g 4 是由i s o i e c 制定的，主要应用于视频存储( d v d ) 、广播电视、因特网或 无线网上的流媒体等。两个组织也共同制定了一些标准，h 2 6 2 标准等同于m p e g 2 的视频编码标准，而最新的h 2 6 4 标准则被纳入m p e g 4 的第l o 部分。下面将简单 9 2 视频编码技术与其标准 介绍这些标准的特点。 ( 1 ) h 2 6 1 3 】 1 9 8 8 年c c i t t 通过了视频编码标准h 2 6 1 建议，被称为视频压缩编码的里程碑。 h 2 6 1 是i t u t 为在综合业务数字n ( i s d n ) 上丌展双向声像业务( 可视电话、视频会 议) 而制定的，速率为6 4 k b s 的整数倍。h 2 6 1 只对c i f 和q c i f 两种图像格式进行处 理，每帧图像分成图像层、宏块组( g o b ) 层、宏块( m b ) 层、块( b l o c k ) 层来处理。同时， 该标准只定义了i 帧和p 帧，没有b 帧，运动估计精度只精确到像素级。 h 2 6 1 是最早的运动图像压缩标准，它详细制定了视频编码的各个部分，包括运 动补偿的帧间预测、d c t 变换、量化、熵编码，以及与固定速率的信道相适配的速 率控制等部分。 ( 2 )m p e g 1 【4 】 国际标准化组织i s o i e c 的运动图像专家组m p e g ( m o v i n gp i c t u r ee x p e r t g r o u p ) 一直致力于运动图像及其伴音编码标准化工作，并先后制定了一系列标准， 其中1 9 9 1 年公布的m p e g 1 视频编码标准，是主要应用于家用v c d 的视频压缩。 该标准的制定使得基于c d r o m 的数字视频以及m p 3 等产品成为可能。m p e g 1 的带宽最多为1 5 m b i t s ，其中1 1 m b i t s 用于视频，1 2 8 k b i t s 用于音频，其余带宽用 于m p e g 系统本身。 m p e g 1 视频压缩技术的特点：1 、随机存取；2 、快速正向逆向搜索；3 、逆向 重播：4 、视听同步；5 、容错性；6 、编解码延迟。m p e g 1 视频压缩策略：为了提 高压缩比，帧内帧间图像数据压缩技术必须同时使用。m p e g 1 视频把图像编码分 成i 帧、p 帧、b 帧和d 帧共4 种类型。i 帧为帧内编码帧( i n t r ac o d e df r a m e ) ，编码 时采用类似j p e g 的帧内d c t 编码，i 帧的压缩率是几种编码类型中最低的。p 帧为 预测编码帧( p r e d i c t i v ec o d e df r a m e ) ，采用前向运动补偿预测和误差的d c t 编码， 由其自i 面的i 或p 帧进行预测。b 帧为双向预测编码帧( b i - d i r e c t i o n a l l yp r e d i c t i v ec o d e d f r a m e ) ，采用双向运动补偿预测和误差的d c t 编码，由自，j 面和后面的i 或p 帧进行 预测，所以b 帧的压缩效率最高。d 帧为直流编码帧( d cc o d e df r a m e ) ，只包含每个 块的直流分量。m p e g 一1 采用运动补偿来降低图像序列时间轴上的冗余度，可使对p 1 0 2 视频编码技术与其标准 帧和b 帧图像的压缩倍数比i 帧提高很多。 ( 3 )m p e g 2 t 5 】 1 9 9 4 年1 1 月，m p e g 组织公布了m p e g 2 标准，用于数字视频广播( d v b ) 、 家用d v d 的视频压缩及高清晰度电视( h d t v ) 。 m p e g 2 被称为“2 1 世纪的电视标准”，它在m p e g 1 的基础上作了许多重要的 扩展和改进，但基本算法和m p e g 一1 相同。 m p e g 2 系统要求必须与m p e g l 系统向下兼容，因此其语法的最大特点在于兼 容性好并可扩展。m p e g 2 的目标与m p e g 1 相同，仍然是提高压缩比，改善音频、 视频质量，采用的核心技术还是分块d c t 和帧间运动补偿预测技术。m p e g 2 视频 允许数据速率高达1 0 0 m b i t s ，支持隔行扫描视频格式和许多高级性能。考虑到视频 信号隔行扫描的特点，m p e g 2 专门设置了“按帧编码”和“按场编码”两种模式， 并相应地对运动补偿和d c t 方法进行了扩展，从而显著提高了压缩编码的效率。考 虑到标准的通用性，增大了重要的参数值，允许有更大的画面格式、比特率和运动矢 量长度。除此之外，m p e g 2 视频压缩编码还进行了以下扩展： 1 ) 输入输出图像彩色分量之比可以是4 ：2 ：o ，4 ：2 ：2 ，4 ：4 ：4 。 2 ) 输入输出图像格式不限定。 3 ) 可以直接对隔行扫描视频信号进行处理。 4 ) 在空间分辨率、时间分辨率、信噪比方面的可分级性适合于不同用途的解码 图像要求，并可给出传输上不同等级的优先级。 5 ) 码流结构的可分级性，比如头部信息、运动矢量等部分可以给予较高的优先 级，而对于d c t 系数的高频分量部分则给予较低的优先级。 6 ) 输出码率可以是恒定的也可以是变化的，以适应同步和异步传输。 m p e g 2 视频是一系列的系统，每一个系统具有安排好的共性和兼容程度。它允 许对四种源格式或者级别进行编码，从简单清晰度( c i f 格式) 到完全的高清晰度电视 h d t v ( h i g hd e f i n i t i o nt e l e v i s i o n ) 。除了源格式的这种灵活性外，m p e g - 2 还规定了分 辨率从低到高的4 级5 类共1 1 种单独的技术规范，同一种类不同级别间的图像分辨 率和编码速率相差甚远。 1 1 2 视频编码技术与其标准 ( 4 ) h 2 6 3 t 6 】 1 9 9 5 年，i t u t 推出h 2 6 3 标准，用于低于6 4 k b i t s 的低码率视频传输，如p s t n 信道中的可视会议、多媒体通信等。它是最早用于低码率视频编码的i t u t 标准，随 后出现的第二版( h 2 6 3 + ) 及h 2 6 3 + + 增加了许多选项，使其具有更广泛的适用性。 h 2 6 3 是在h 2 6 1 基础上发展起来的，其标准输入图像格式可以是s - q c i f 、q c i f 、 c i f 、4 c i f 或者1 6 c i f 的彩色4 ：2 ：o 亚取样图像。h 2 6 3 也吸收了m p e g 等其它一 些国际标准中有效、合理的部分，如：半像素精度的运动估计、并增加了4 种有效的 压缩编码模式等，使它性能优于h 2 6 1 。 h 2 6 3 增加的4 种有效的压缩编码模式包括1 ) 无限制的运动矢量模式。该模式 允许运动矢量指向图像以外的区域。当某一运动矢量所指的参考宏块位于编码图像之 外时，就用其边缘的图像象素值来代替。当存在跨边界的运动时，这种模式能取得很 大的编码增益，特别是对小图像而言。另外，这种模式包括了运动矢量范围的扩展， 允许使用更大的运动矢量，这对摄像机运动特别有利。2 ) 基于句法的算术编码模式。 使用算术编码代替霍夫曼编码，可在信噪比和重建图像质量相同的情况下降低码率。 3 ) 先进的预测模式。它允许一个宏块中4 个8 8 亮度块各对应一个运动矢量，从而 提高了预测精度；两个色度块的运动矢量则取这4 个亮度块运动矢量的平均值。补偿 时，使用重叠的块运动补偿，8 x 8 亮度块的每个象素的补偿值由3 个预测值加权平均 得到。使用该模式可以产生显著的编码增益，特别是采用重叠的块运动补偿，会减少 块效应，提高主观质量。4 ) p b 帧模式。该模式规定一个p b 一帧包含作为一个单元进 行编码的两帧图像。p b 帧模式可在码率增加不多的情况下，使帧率加倍。 ( 5 )m p e g 4 【7 】 1 9 9 9 年1 2 月份，i s o i e c 通过了“视听对象的编码标准”m p e g 4 ，它除了 定义视频压缩编码标准外，还强调了多媒体通信的交互性和灵活性。 m p e g 4 与前面提到的m p e g 1 2 有很大的不同，它为多媒体数据压缩编码提供 了更为广阔的平台，它定义的是一种格式、一种框架，而不是具体算法，它希望建立 一种更自由的通信与丌发环境。于是m p e g 4 新的目标就是定义为：支持多种多媒体 的应用，特别是多媒体信息基于内容的检索和访问，可根据不同的应用需求，现场配 1 2 2 视频编码技术与其标准 置解码器。编码系统也是丌放的，可随时加入新的有效的算法模块。应用范围包括实 时视听通信、多媒体通信、远地监测监视、v o d 、家庭购物娱乐等。 m p e g - 4 标准在原有的基础上增加了七个新的功能：1 ) 基于内容的操作与比特流 编辑支持无需编码就可进行基于内容的操作与比特流编辑。2 ) 自然与合成数据混合 编码。3 ) 增强的时间域随机存取。4 ) 提高编码效率。5 ) 对多个并发数据流的编码。 6 ) 错误易发环境中的抗错性“灵活多样 。7 ) 基于内容的尺度可变性。该七个新功 能可以归纳为基于内容的交互性，支持高压缩和灵活多样的存取模式。为了实现这三 类功能，m p e g 一4 同时又引入了a v o ( a u d i o v i d e oo b j e c t ) 概念。 由于这些新技术，新功能，使得m p e g 4 视频压缩算法相对于m p e g 1 2 在低比 特率压缩上有着显著提高，在c i f ( 3 5 2 * 2 8 8 ) 或者更高清晰度( 7 6 8 * 5 7 6 ) 情况下的 视频压缩，无论从清晰度还是从存储量上都比m p e g l 具有更大的优势，也更适合网 络传输。另外m p e g 4 可以方便地动态调整帧率、比特率，以降低存储量。 ( 6 ) h 2 6 4 2 0 0 3 年3 月，i t u t 和i s o i e cj - f 式公御了h 2 6 4 视频压缩标准，不仅显著提高 了压缩比，而且具有良好的网络亲和性。 h 2 6 4 集中了以往标准的优点，并吸收了以往标准制定中积累的经验，采用简洁 设计，使它比m p e g 4 更容易推广。h 2 6 4 创造性了多参考帧、多块类型、整数变换、 帧内预测等新的压缩技术，使用了更精细的分象素运动矢量( 1 4 、1 8 ) 和新一代的环 路滤波器，使得压缩性能大大提高，系统更加完善。 h 2 6 4 主要有以下几大优点： 高效压缩：在相同重构图像质量下，与h 2 6 3 + 矛1 ：im p e g 4s p 相比，减小5 0 比特率，使存储容量大大降低； 延时约束方面有很好的柔韧性，既可以工作在低时延要求的实时操作，也可 以工作在无延时限制的场合； 容错能力强； 编解码的复杂性可伸缩性； 解码全部细节； l3 2 视频编码技术与其标准 在不同分辨率、不同码率下都能提供较高的视频质量； 采用“网络友善”的结构和语法，使其更有利于网络传输。 2 3h 2 6 4 编码标准介绍 2 3 1h 2 6 4 标准的特点 h 2 6 4 是i t u t 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动图像编 码专家组) 的联合视频组f j v t ：j o i n tv i d e ot e a m ) 丌发的一个新的数字视频编码标 准，它既是i t u t 的h 2 6 4 ，又是i s o i e c 的m p e g 4 的第1 0 部分。1 9 9 8 年1 月份 丌始草案征集，1 9 9 9 年9 月，完成第一个草案，2 0 0 1 年5 月制定了其测试模式t m l 8 ， 2 0 0 2 年6 月的j v t 第5 次会议通过了h 2 6 4 的f c d 板。2 0 0 3 年3 月正式发布。 h 2 6 4 和以前的标准一样，也是d p c m 加变换编码的混合编码模式。但它采用“回 归基本 的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好得多的压缩性能；加强了 对各种仔。踅的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处 理；应用目标范围较宽，以满足不同速率、不同解析度以及不同传输( 存储) 场合的 需求。 h 2 6 4 并不是明确地规定一个编解码器如何实现，而是规定了一个编解码的视频 比特流的句法，和该比特流的解码方法，它的基本系统是开放的，各个厂商的编码器 和解码器在此框架下应能够互通，在实现上具有较大的灵活性。 h 2 6 4 支持三个不同档次的应用： ( 1 ) 基本档次：主要是用于“视频会话”，如电视会议，可视电话等； ( 2 ) 扩展档次：主要是用于网络的视频流，如视频点播； ( 3 ) 主要档次：主要是用于消费电子应用，如数字电视广播、数字视频存储等。 2 3 2h 。2 6 4 的技术亮点 在技术上，h 。2 6 4 标准中有多个闪光之处，如统一的v l c 符号编码，高精度、 多模式的运动估计，基于4 4 块的整数变换、分层的编码语法等。这些技术使得h 2 6 4 1 4 2 视频编码技术与其标准 算法具有很高的编码效率，在相同的重建图像质量下，能够比h 2 6