（计算机应用技术专业论文）mpeg2到avs视频转码器的研究与设计.pdf

哈尔滨t 程大学硕士学位论文 摘要 现阶段视频通信领域，存在多种编码标准，由不同的组织，针对不同应 用、场合制定，其中，i s o i e c 制定的m p e g 2 标准在固定多媒体通信中得 到了广泛的应用，在硬件、软件以及多媒体数据存储上都有巨大的积累，但 在很多场合，m p e g 2 编码数据并不适用，例如，无线移动网络、无线视频 会议系统等。与m p e g 2 相比，a v s 具有更高的编码效率、能够支持更广泛 的应用以及不受专利产权的困扰等优势。在这样的情况下，直接将现有大量 的m p e g 一2 视频流直接变为a v s 的视频流是有效的解决方案。 本论文首先简要介绍了视频转码技术的研究背景和研究现状，并阐述了 本文的主要研究内容及主要工作。 其次，对m p e g 2 和a v s 的视频编码标准，尤其是m p e g 一2 的解码过 程和a v s 的编码过程进行了研究，通过比较分析，找到了两种标准的异同点， 为m p e g 2 到a v s 视频转码器的设计做好了知识储备。 再次，简要分析与比较几种主流视频转码器的结构与性能。针对m p e g 2 和a v s 两种标准的异同点，提出了一种改进的基于像素域的级联式m p e g 一2 到a v s 视频流转码方案。同时详细研究与分析了在实现该转码器过程中涉及 的关键技术环节以及所用到的算法。 接着，为了缩短转码时间和提高转码质量，对a v s 编码器的性能进行了 优化。在分析了各模块运算耗时情况后，对其中运算量最大、最耗时的运动 估计和模式选择提出了快速算法。 最后设计并实现了m p e g 2 到a v s 视频转码系统。实验表明本文的转码 方案在兼顾转码后视频质量的同时，较大的加快了转码的速度，达到了实时 转码的要求。 关键词：视频编码；视频转码；m p e g ；a v s ；运动估计 哈尔滨丁程大学硕士学位论文 a b s t r a c t c u r r e n t l yt h e r ea r eav a r i e t yo fe n c o d i n gs t a n d a r d si nd i f f e r e n tc a s c s ，a i m i n g a td i f f e r e n ta p p l i c a t i o ne v e l o p m e n t so c c a s i o ni nv i d e oc o m m u n i c a t i o n s ，i nw h i c h m p e g 2s t a n d a r de s t a b l i s h e db yi s o i e ch a sb e e nw i d e l ya p p l i e di ni m m o b i l i t y m u l t i m e d i ac o m m u n i c a t i o na n dh a sh u g ea c c u m u l a t i o ni nh a r d w a r e ，s o f t w a r ea n d m u l t i m e d i ad a t as t o r a g e m p e g 一2d a t ai sn o ta p p l i c a b l ei nm a n yc a s e s ，s u c ha s w i r e l e s sm o b i l en e t w o r k sa n dw i r e l e s sv i d e oc o n f e r e n c i n gs y s t e m c o m p a r e d w i t hm p e g - 2 ，a v sh a sh i g h e l c o d i n ge f f i c i e n c y , c a ns u p p o r tw i d e ru s ea n d p r o p e r t yr i g h t sa n dd o e s n th a v et h et r o u b l eo f p a t e n t sr i g h ta n d s oo n s o ，c o n v e r t l o t so fm p e g 。2v i d e os t r e a md i r e c t l yt oa v sv i d e os t r e a mi sam o s te f f e c t i v e s o l u t i o n f i r s t l yi nt h i st e s i s ，t h ev i d e ot r a n s c o d i n gt e c h n o l o g yr e s e a r c hb a c k g r o u n d a n dc u r r e n ts t a t u so f r e s e a r c hi si n t r o d u c e d ，t h em a i nc o n t e n ta n do u rm a i nt a s k si s p r o p o s e d s e c o n d l y , t h em p e g 一2a n da v sv i d e oc o d i n gs t a n d a r d ，p a r t i c u l a r l yt h e m p e g 一2d e c o d i n gp r o c e s sa n dt h ea v se n c o d i n gp r o c e s sa l er e s e a r c h e d t h r o u g hac o m p a r a t i v ea n a l y s i ss i m i l a r i t i e sa n dd i f f e r e n c e sb e t w e e nt h et w o s t a n d a r d sa r ef o u n d ，w h i c hs u p p l i e sk n o w l e d g er e s e r v e sw i t ht h ed e s i g no ft h e t r a n s c o d i n gd e v i c ef r o mm p e g 一2 t oa v s t h i r d l y , t h es t r u c t u r ea n dp r o p e r t i e so fs e v e r a lm a i n s t r e a mv i d e ot r a n s c o d i n g d e v i c e sa r eb r i e f l ya n a l y z e da n dc o m p a r e d a i m i n ga tt h es i m i l a r i t i e sa n d d i f f e r e n c e sb e t w e e nm p e g 一2a n da v ss t a n d a r d s ，a l li m p r o v e d ，b a s c do nt h ep i x e i f i e l da n dc a s c a d et r a n s c o d i n gp r o g r a mf r o mm p e g 一2t oa v sv i d e os t r e a m o n t h es a m et i m e ，t h ek e yt e c h n o l o g ys e c t o r sa n dt h ea l g o r i t h mu s e di na c h i e v i n g t r a n s c o d i n gp r o c e s si sd e t a i l e da n a l y z e da n dd i s c u s s e d f o u r t h l y , i no r d e rt os h o r t e nt h et i m et ot r a n s c o d ea n di m p r o v ec o d eq u a l i t y , t h ep e r f o r m a n c eo ft h ea v se n c o d e ri so p t i m i z e d a f t e rt h ea n a l y s i so ft h e 哈尔滨工程大学硕士学位论文 c o m p u t a t i o n a lt i m eo fe a c hm o d u l e ，a i m i n ga tt h el a r g e s ta m o u n to fc o m p u t a t i o n ， t h em o s tt i m e - c o n s u m i n ga n dp a t t e r n sc h o i c e ，af a s ta l g o r i t h mi sp r o p o s e d f i n a l l y , t h ep e g 一2a v sv i d e ot r a n s c o d i n gs y s t e mi si m p l e m e n t e di n t h i s p a p e r , i nw h i c ht h er e s e a r c ha n di m p r o v e da l g o r i t h ma r ea p p p l i e dr e a s o n a b l y t h r o u g ht h et e s t ，t h ef a c tt h a tt h ep r o g r a mo f t h i sp a p e rg r e a t l ya c c e l e r a t e st h er a t e o ft r a n s c o d i n ga n dt a k e si n t oa c c o u n tt h ev i d e oq u a l i t ya f t e rt r a n s c o d i n gi s d e m o n s t r a t e d k e y w o r d s ：v i d e oc o d i n g , v i d e ot r a n s c o d i n g , m p e ga v s ，m o t i o ne s t i m a t i o n 1 1 1 哈尔滨工程大学硕士学位论文 第1 章绪论 1 1 视频转码研究的背景和目的 随着数字视频应用的普及，要求视频数据格式随应用环境不同而采用不 同编码标准的要求变得越来越迫切。对于许多实时应用，通常要求视频数据 在各种编码格式之问实现动态实时转换。将视频信息由一种编码格式转换成 另一种编码格式就叫做视频转码，执行视频转码操作的设备叫做视频转码器。 视频转码包含两方面含义：在同一视频编码标准中转换，例如将视频数据 由一种编码速率转换成另一种编码速率。在不同视频编码标准中转换，将 由一种标准压缩的视频数据转换成由另一种标准压缩的视频数据。 由于视频转码器具有动态调节视频编码参数的能力，这为不同能力的终 端访问各种格式的视频提供了可能。例如，终端设备有普通p c 机、个人数字 助理、机顶盒和移动电话等，这些设备在计算速度、存储容量和显示能力上 相差甚远。显然，在处理视频信息时，对它们都使用同一种格式的数据是不 合适的。对同一段视频数据，需要根据用户终端能力的不同，将之转换成不 同格式，再分别传送给相应终端。因此，视频转码是网上多媒体传输的核心 技术之一。鉴于视频转码的重要性，2 0 世纪9 0 年代后期，视频转码成为视 频编码领域一个新的研究热点。本文将从视频转码体系结构和关键技术这两 个方面由浅到深地回顾这方面的研究，通过这些研究进而完成了m p e g - 2 到 a v s 视频转码器的设计。 1 2 国内外研究现状 视频转码的目的是使视频转码的处理时间尽可能短，而视频转码之后图 像质量下降不大，同时也要满足实际应用的需要。传统的视频转码技术可以 分为三类：比特率转换、分辨率转换和语法转换。比特率转换用以适应带宽 的不足从而顺利地传输码流，如再量化减少比特率。分辨率转换有利于在低 l 哈尔滨t 程大学硕士学位论文 带宽的条件下工作，但是它主要用于解决用户设备，比如处理器能力、显示 器分辨率的限制或者内存容量等问题，如下采样减少空间分辨率。语法转换 能够让发送方和接收方保持兼容性，确保混合网络的自适应性。这三种视频 转码技术通常并不独立存在而是结合在一起的。 近两年以前视频转码技术的研究主要集中于同类视频转码，如m p e g 2 不同等级间的转码【1 - 3 】、m p e g - - 4 的转码【4 卅、h 2 6 3 空域转副7 1 等。而对这种 不同编码标准的转码研究主要有：文献 8 】主要研究，m p e g 1 到m ，j p e g 的 转换编码问题；文献【9 】提出d c t 域m p e g 一1 m p e g 2 到h 2 6 1 h 2 6 3 的转码 结构；文献 1 0 】主要针对非线性编辑领域m p e g 码流的转码技术进行讨论； 文献【1 1 】讨论了h 2 6 3 到m p e g - 4 转码中语义层的对应映射关系，由于采用 了高质量的预测等因素，转码器所得到的结果比完全解码重新编码还要好； 文献【1 2 】中论述了m p e g 2 到m p e g 一1 的转码算法；文献 1 3 】讨论了交织编码 的m p e g 2 码流到逐行编码的h 2 6 3 的转码工作，它通过对m p e g 2 中运动 矢量等信息的复用以及空间分辨率和帧率的下降，转码效率比全解码重新编 码方法的效率提高了5 倍，而峰值信噪比仅下降o 3 0 5 d b ；文献 1 4 中根据 自适应的率失真模型对压缩域m p e g l 到m p e g 4 转码中码率进行控制。文 献【1 5 ，1 6 1 讨论了m p e g 2 到m p e g 一4 转码中运动矢量的复用；文献 1 7 】研究 空域m p e g 1 到m p e g - 4 转码中运动矢量的映射问题；对于m p e g 2 到 m p e g 一4 转码中宏块编码模式不同的问题，文献1 8 ，1 9 1 作了有益的研究，取 得了比较好的试验结果。但是对于m p e g 一2 到a v s 的转码国内外的研究文献 还比较少。 综合国内外的研究文献，目前的视频流转码大致可以分为两种方法：像 素域转码和d c t 域转码，其结构如图1 1 所示。 2 哈尔滨工程大学硕十学位论文 蘼k 丑量篙旧 哥篁j 同 l 1 而丽磊l 一 图1 1 两种视频流转码方法 其中，最直观的转码方法是完全解码器和完全编码器级联的像素域转码， 如图1 1 上方线框所示。这种转码方法的基本概念是，首先将输入压缩视频 流完全解码到像素域，然后对像素域视频流进行适当的处理，如将解码后的 视频重新编码成所需的码率或者格式，最后将处理后的视频数据重新编码成 新标准的压缩视频流。这种转码器最大的优点是非常灵活。因为它的解码和 编码回路相互完全独立。因此，可以实现很多的附加功能，例如标识插入等。 而且，级联式空域转码输出的视频图像无漂移，得到的图像质量很高。这种 方法最大的缺点是，需要对压缩视频流进行完全解码和完全编码，所需要的 运算量和存储空间都是最大的。 为了降低运算量和缓存，考虑到视频编解码中运算量最大的部分是运动 估计和d c t i d c t 变换，可以利用输入码流已有的信息( 如码流中各种头信 息，运动矢量等) ，则转码中的运动估计和d c t i d c t 过程可以得到很大程 度的简化。基于这种思路，可以得到更有效的转码方法，即仅仅对视频流进 行部分解码到d c t 域，经过处理后，再在d c t 域进行部分编码，如图1 1 下方线框所示。但是，这种方法也有不少缺点，包括：在d c t 域进行转码可 以实现的功能有限( 如码率变化只能通过重量化或者截取d c t 系数的方式来 获得；只能在d c t 域进行量化而不进行运动补偿的转码器有图像漂移问题 等。 由于人们对于d c t 域视频转码技术的关注，d c t 域视频转码的关键技 术已经比较成熟，如运动矢量的再使用技术、d c t 域的的运动补偿技术 ( m c d c t ) ，d c t 域的下采样技术和速率控制技术等。以下将简要介绍d c t 3 哈尔滨t 程大学硕十学位论文 域视频转码的关键技术的研究现状： ( 1 ) 运动矢量的再使用技术( m v r ) ：按照某种规则从几个输入宏块的 运动矢量( m v ) 中求出一个输出宏块的运动矢量( m v ) 的技术。由于块的 运动估值( m e ) 占整个编码时间的6 0 以上，所以在视频转码中，m v r 受 到欢迎。目前m v r 的方法主要有三种：加权方法、主m v 方法及主m v 精 细方法( m v r m ) 。传统的m e 方法只注意使运动补偿预测误差最小化，而 率失真( r d ) 最佳化方法将运动补偿预测误差和产生的m v 以预测方式编 码所需的码率结合考虑，目前研究的不多。 ( 2 ) d c t 域的运动补偿技术( m c d c t ) ：约占整个视频转码时问的3 0 。 m c d c t 快速算法的基本思想是利用d c t 系数的稀疏性、叠加性以及对称 性。虽然人们己经研究了量化技术和d c t 方法的融合以及在下采样技术与 m c 技术的融合方案中找最优的m c 方案，但m c 与下采样及量化的快速融 合算法，还没有理想的结果。 ( 3 ) 下采样技术：时域下采样是通过在码流中丢弃b 帧来实现的。b 帧使用与它在时问上最相邻的前后两个i 帧或p 帧来预测，而自己并不作为 任何其它帧的参考图像，因此，在传输中丢弃b 帧并不影响其它帧的质量， 而仅仅会降低帧率与比特率。 典型的d c t 域2 ：1 的下采样方法主要有三种( 基本思想是将四个块变为 一个块) ：m e r h a v 提出的抗混叠滤波器( 又称双线性滤波器) 、d u g a d 等人提 出的从每一个8 8 块上截取4 4 低频率子块的方法和北京邮电大学孙景鳌 教授实验室提出的能较好地保持高频能量的准卷积下采样技术。但是对于任 意比率下采样仍缺乏高效快速的算法。 ( 4 ) 速率控制：通常是依据缓存器的充满程度及块的活动性来调整帧率 及选择宏块适合的量化参数，在尽可能保证图像质量稳定的条件下，使视频 转码码率适应恒定信道的要求。一般来讲，视频编码的速率控制算法可以用 于视频转码，如：目前t m s 的速率控制算法己经得到广泛的应用，这主要是 因为它的计算复杂性不是很高，然而t m s 算法不能很好地处理场景切换； m p e g - 4v m l 0 的速率控制方法利用了率失真( r - d ) 模型来控制整个图像的 平均量化参数，同时也考虑了对场景切换的处理，但是没有解决b v o p 的速 率控制，同时也没有考虑缓存器实际充满程度。 4 哈尔滨t 程大学硕十学位论文 其它的速率控制的研究现状：建立d c t 系数的准确数学模型，直接影响 率失真( r d ) 优化技术进行速率控制的效率。l a m 认为视频图像d c t 系数 近似服从拉普拉斯分布。如果图像方差是一个值，则由中心极限定理，视频 图像的d c t 系数服从高斯分布。但是对于大多数视频图像来说，视频图像块 之问的方差是变化的，目前己经证明，压缩视频数据可由所谓的一般高斯分 布的r d 较好地建模，但是基于模型的速率控制计算复杂度较高，难于实时 应用。 目前，如何在计算复杂性及视频转码质量受限的情况下，有效地利用输 入视频流的相关参数信息进行相应的率伸缩变换，选择最佳的量化参数及宏 块模式常常是大家所期望的，这个问题目前还没有得到解决。 1 3 本文研究的内容 本文主要研究了视频转码技术，通过比较分析m p e g 2 和a v s 标准的特 点，设计实现了一种纯软件的方案，近实时地实现了m p e g 2 到a v s 的视频 流转码。 本文的主要工作包括： ( 1 ) 比较分析了m p e g 一2 和a v s 标准的视频比特流结构，找出了它们 之间的联系和区别。 ( 2 ) 研究了m p e g - 2 解码和a v s 编码原理和过程。 ( 3 ) 研究了视频转码的三种典型结构，分析了三种结构的优缺点，并根 据m p e g 2 和a v s 标准的特点，提出了一种基于像素域的级联转码结构的改 进方案。 ( 4 ) 对a v s 编码器进行优化。重点是对编码过程中运算量较大的关键 算法运动估计和模式选择进行了优化。 ( 5 ) 实现了一个纯软件的m p e g 2 到a v s 的转码系统，测试证明了与 基于像素域的级联转码结构，本文所提出的改进方案的先进性和高效率性。 5 哈尔滨工程大学硕十学位论文 1 4 论文结构 本文共分为五章，各章的内容安排如下： 第1 章介绍本文的研究背景、国内外发展现状、主要工作和论文结构。 第2 章介绍了视频压缩标准及其发展，重点分析了m p e g 一2 和a v s 的 视频比特流结构，并对m p e g - 2 的编码过程和a v s 的解码过程进行了研究。 第3 章对比m p e g - 2 和a v s 标准的异同点，制定了m p e g 2 到a v s 的 转码方案，并分析了所用的关键技术和算法。 第4 章根据a v s 编码器各项编码技术的耗时情况，对其中耗时较大的 运动估计算法和模式选择算法进行了优化。 第5 章设计了一个纯软件的m p e g 2 到a v s 转码器，重点介绍了转码 模块的流程，并对比传统的基于像素域的级联体系结构证明了转码器的高效 性。 6 哈尔滨工稃大学硕十学位论文 第2 章m p e g - 2 和a v s 视频压缩编码标准 2 1 视频压缩编码标准介绍 上个世纪八十年代以来，随着传真技术、电视会议、可视电话、高清晰 度电视、图像检索、可视图文、多媒体及计算机网络等技术的兴起与发展， 视频业务的数据量越来越大，这就对视频压缩编码提出了更高的要求，同时 也促进了视频编码技术的发展。由于一系列国际标准的制订和专用数字处理 芯片的推出，高质量的数字编码方法也正从理论研究走向实用化。i t u - t 与 i s o i e c 是制定视频编码标准的两大组织，i t u - t 制定的标准包括h 2 6 1 ， h 2 6 3 ，h 2 6 4 ，主要应用于实时视频通信领域，如会议电视；m p e g 系列标 准是由i s o i e c 制定的，主要应用于视频存储( d v d ) 、广播电视、因特网 或无线网上的流媒体等。两个组织也共同制定了一些标准，h 2 6 2 标准等同 于m p e g 2 的视频编码标准，而最新的h 2 6 4 标准则被纳入m p e g 。4 的第l o 部分。此外，我国也自主制定了音视频编码技术标准a v s ，主要面向高清晰 度电视、高密度光存储媒体等应用。这些标准有的己经完成并在多媒体产业 中得到了广泛应用，有的正在进一步完善中。 m p e g 标准最初针对c d r o m 上约1 2 m b p s 传输率进行视频压缩，后来 发展到于1 9 9 0 年成为高质量音频和视频压缩的标准草案。它在许多商业领域 得到了广泛应用，包括光盘存储媒体的播放，音频、视频通过不同通道广播， 点对点交换数字音频、视频数据，高清晰度电视，网络多媒体，另外还有许 多特殊商业和非商业上的应用。m p e g 1 和m p e g 一2 主要用于高中比特率， m p e g 1 应用最广泛的是v c d ，m p e g 2 主要用于高清晰度电视( h d t v 、 数字视盘( d v d ) 和数字视频( d v b ) 广播。m p e g - 4 则主要针对低比特率， 特别是6 4 k b p s 下的音频视频压缩，在标准电话线上传输可视电话，该标准适 合于计算机网络尤其是i n t e 丌1 e t 上的多媒体表示，允许在灵活的终端上对敏 感数据进行高效压缩，包括从非常低的比特率到中速比特率的各种选择来适 应网络能力。m p e g 一7 用来为不同类型的多媒体信息描述定义一个标准，通 7 哈尔滨工程大学硕士学位论文 过数据如静止图画、图形、三维模型、音频、视频来定位，或远程地用该数 据描述的双向指针来定位。 与m p e g 标准不同，u t 的h 2 6 x 视频压缩标准主要应用于双向实时 通信。h 2 6 1 是最早的窄带视频会议系统压缩算法，适用于i s d n 网络。h 2 6 3 在h 2 6 1 基础上做了许多改进使视频质量有了很大提高，最初适用于公用电 话交换网络( p s t n ) 和无线网络，目前在所有应用中己基本上代替了h 2 6 1 。 h 2 6 3 + 和h 2 6 3 + + 分别是h 2 6 3 的第二版和第三版，它们分别增加了许多新 技术，目的在于扩大建议的应用范围、增强其抗误码的顽健性、提高重建图 像的主观质量以及加强对编码比特率的控制。2 0 0 3 年3 月，i t u t i s o 正式 公布了h 2 6 4 视频压缩标准，由于其具有比以往标准更出色的性能，被人们 称为新一代视频编码标准，它优异的压缩性能也将在数字电视广播、视频实 时通信、网络视频流媒体传递以及多媒体短信等各个方面发挥重要作用。 数字电视、网络电视、移动电视、高清激光视盘等新应用正在兴起，它 们将支掉起一个崭新而巨大的市场，而这些应用所依赖的编解码标准却正在 被国外技术m p e g 一4 和h 2 6 4 所占领，面对这种情况，国家信息产业部科学 技术司于2 0 0 2 年6 月批准成立了a v s 工作组，制定了a v s 标准。a v s 标准 是信息技术先进音视频编码系列标准的简称，它是数字电视、网络电视 及移动电视等音视频系统的基础性标准。a v s 标准以当前国际上最先进的 m p e g - 4a v c h 2 6 4 框架为基础，强调自主知识产权，同时充分考虑了实现 的复杂度。它是我国具备自主知识产权的第二代信源编码标准。a v s 最大的 应用价值是利用面向标清的数字电视传输系统能够直接提供高清业务、利用 当前的光盘技术制造出新一代高清晰度激光视盘机，从而为我国数字音视频 产业的跨越发展提供难得契机。a v s 将在标准工作组的基础上，联合家电、 i t 、广电、电信、音响等领域的芯片、软件、整机、媒体运营方面的强势企 业，共同打造中国数字音视频产业的光辉未来。 2 2m p e g - 2 标准 m p e g 2 是m p e g 1 的发展，它是随着数字存储媒体、电视广播以及通 信应用领域对运动图像及其伴音的通用编码日益增大的要求而产生。它的用 8 哈尔滨工程大学硕士学位论文 处在于可以使运动视频数据作为一种计算机可以处理的数据形式，并且可以 存储在各种存储媒体上，以便于在现存或未来的网络上发送和接收，并且可 以在现存或未来的广播信道上传播。m p e g 2 视频标准涉及的应用领域包 括：卫星转播服务( b s s ) 、数字音频广播( d a b ) 、多媒体邮件( m m m ) 、 远程监控( r v s ) 等。 2 2 1m p e g - 2 视频比特流结构 m p e g 2 编码的视频数据由称为层的比特流序列组成。如果只有一层， 则这些编码视频数据称为不分级的视频比特流。如果不只一层，则这些编码 的视频数据称为分级的视频比特流。其中，第一层为基本层( b a s el a y e r ) ， 可以被独立解码；其它层称为增强层( e n h a n c el a y e r ) ，增强层的解码依赖于 基本层的解码。 基本层视频码流又分为六层，其目的是为了把比特流上的独立实体分开， 便于解码。 ( 1 ) 视频序列层( s e q u e n c e ) 视频序列是指构成某路节目的连续图像序列，是编码比特流的最高语法 结构。一个视频序列由序列头引导，后面可选地跟着一组图像头和一个或更 多的编码帧，并以序列结束标志( s e q u e n c e - e n d c o d e ) 结尾。其中，数据头 给出了有关图像水平大小、垂直大小、宽高比、帧速率、码率、视频缓存校 验器的大小、量化矩阵、层号( l a y e r - i d ) 、分级法( s c a l a b l em o d e ) 等，为 解码提供了重要依据。 m p e g 2 标准可以处理逐行与隔行视频序列。对于隔行序列，解码过程 的输出由一系列以场周期按时问分开的重构场组成。一帧的两个场( 顶场和 底场) 可以被分开编码( 称为场编码) 。或者两个场可以作为一个帧而共同编 码( 称为帧编码) 。在一个单视频序列中可以采用帧编码和场编码两种编码方 式。对于逐行序列，序列的每个图都是一个帧图。在解码过程的输出端，序 列由一系列以帧周期按时间分开的重构帧组成。 ( 2 ) 图像组层( g o p ，g r o u po f p i e t u r e ) 图像组是由一个视频序列中连续的若干帧图像组成。每个图像组层由一 9 哈尔滨工程大学硕士学位论文 个i 帧、一些p 帧和一些b 帧组成，而且图像组层的第一帧一定是i 帧。图 像组层头由数据头和若干幅图像组成，用于支持解码过程中的随机存取功能。 图像分组是从有利于随机存取及编辑出发的，不是m p e g 2 结构组成的必要 条件，可在分组与否之间灵活选择。其中，数据头给出了图像编码类型、码 表选择、图像组头部开始码、视频磁带记录时间及控制码等。 编码流中图的顺序就是播放时解码器处理的顺序，但是和输入序列的顺 序有可能不同。如果序列中用到了b 帧，则解码输出的重构帧在显示时涉及 到帧重排的问题。这是因为m p e g 2 中存在进行前向和后向的图像运动补偿 的b 帧，处理顺序中后面的图像需要优先处理而引起的。 下面是一个视频序列中的开始部分取出的图像的例子。本例中，在顺序 的两个p 帧之间有两个编码b 帧，或者在顺序的l 图和p 图之间有两个编码 的b 帧。 假设编码器输入的视频序列如下： l 2 3 4567891 0 ibbpbbpbbi 为编码处理这个视频序列，当然要先处理l i 帧，但是2 b 帧和3 b 帧依 赖于l i 帧和4 p 帧的共同预测，所以必须先对4 p 帧进行处理，然后才能处理 2 b 帧和3 b 帧。所以，编码要按下面的顺序来进行视频序列处理： 1234567891 0 lpbbpbbibb 编码器输出的比特流，即解码器输入的视频序列也就是上面的序列。但 解码器输出的视频序列，必须进行重排序，从而与输入的顺序保持一致，故 解码器输出的视频顺序为： l 2 3 4567891 0 ibbpbbpbbi 另外，连续的b 帧的数目是可变的，在顺序的p 帧之间( 或i 和p 帧之 问) 。一个序列不能仅由b 帧组成，但是可能不包含b 帧组成。 ( 3 ) 图像层( p i c t w r e ) 图像层包括不同编码类型的图像，即i 帧、p 帧和b 帧。图像层由数据头 和1 帧图像数据组成，是图像组层若干幅图像中的1 幅，包含了l 幅图像的 1 0 哈尔滨t 程大学硕十学位论文 全部编码信息。其中，数据头提供的基本部分有头起始码、图像编号的时间 基准、图像( i ，b ，p ) 帧类型、视频缓存检验器延迟时间等，扩展部分有图 像编码扩展、图像显示扩展、图像空间分级扩展、图像时间分级扩展等。 m p e g - 2 图像扫描可有逐行或隔行两种方式：当为逐行时，图像为逐帧 压缩；当为隔行时，图像为逐场或逐帧压缩，即在运动多的场景采用逐场压 缩，在运动少的场景采用逐帧压缩。 每个图是由亮度矩阵( y ) 和两个色差矩阵( c b 和c r ) 构成。根据色度 矩阵采样格式的不同，可以分成下列几种格式： 4 ：2 ：0 格式：c b 和c r 矩阵水平和垂直方向都是y 矩阵尺寸的二分之一。 y 矩阵的行数和每行的样本数都是偶数。 4 ：2 ：2 格式：c b 和c r 矩阵水平方向是y 矩阵尺寸的二分之一，垂直方向 与y 矩阵尺寸相同。y 矩阵每行的样本数都是偶数。 4 ：4 ：4 格式：c b 和c r 矩阵水平和垂直方向都和y 矩阵尺寸相同。 ( 4 ) 宏块条层( s l i c e ) 宏块条层由宏块条头引导，后面跟着片垂直位置扩展等比特信息以及宏 块数据。宏块条是由图内的1 6 1 6 像素构成的宏块向水平方向延续形成的细 长的带状范围。在m p e g 一1 中的一个宏块片允许包含不同水平列内的空块， 而在m p e g 2 中只能由相同水平方向的宏块组成。 宏块条是比特流重新同步的基本单元，一旦某宏块条发生误差，解码器 可跳过此宏块条至下一宏块条的位置，使下一宏块条不受有误差而无法纠正 的宏块条的影响。附加数据部分定义了宏块条在整个图像中的位置、默认的 全局量化参数、变量优先切换点。其中，变量优先切换点用于指明数据流在 何处分开，解码器要在两个数据流的恰当点处切换，以保证读取完整、正确 的解码信息，确保解码完整无误。 ( 5 ) 宏块层( m b ，m a c r o b l o c k ) 宏块层是宏块条层中一系列宏块中的一块，没有头数据，直接由宏块地 址增量、宏块类型等信息及宏块数据组成。宏块是图像编码的基本单元。 m p e g 2 的运动补偿、量化均是以宏块为单元进行处理。宏块包含1 6 1 6 亮 度分量像素范围以及亮度分量中空间位置对应的两个色差分量像素范围。根 据色差格式不同，色差分量像素范围不一样，包含的块的数量也不一样。4 ：2 ：0 1 l 哈尔滨工程大学硕士学位论文 格式时，色差分量像素范围是8 8 ，包含1 个块；4 ：2 ：2 格式时，色差分量像 素范围是1 6 x8 ，包含2 个块；4 ：4 ：4 格式时，色差分量像素范围与亮度分量 相同为1 6 x1 6 ，包含4 个块。对于一个跳过的宏块，其数据可以为0 ，但要 把宏块地址增量( 即跳过的不编码宏块数目) 的信息写入比特流中。对于帧 图和场图，其d c t 编码的宏块内部组织也不一样：帧d c t 编码中，每个块 由两场的行交替组成；场d c t 编码中，每个块仅由两场中一场的行组成。附 加数据包含的信息有：表明宏块在宏块条层中位置的宏块地址、说明宏块编 码方法及内容的宏块类型、宏块量化参数、区别运动矢量类型及大小、表明 以场离散余弦变换还是以帧d c t 进行编码的d c t 类型。 ( 6 ) 块层( b l o c k ) 块层没有头数据，根据块的类型( 帧内块或帧间块) ，由编码数据组成。 块层是m p e g 一2 中的最小编码单元，是只包含1 种类型像素的8 8 像素块， 即是单一的8 8 亮度( y ) 像素块，或是单一的8 8 红色( c r ) 像素块， 或是单一的8 8 蓝色( c b ) 像素块。块层是d c t 的基本单元，即其功能是 传送直流分量系数和交流分量系数。块层的数据包含8 x8 个像素的样值经 d c t 变换后所生成的d c t 系数的编码码字。 2 2 2m p e g - 2 解码结构 m p e g - 2 视频解码过程可以加以简化，简化框图如图2 1 所示。 图2 1m p e g - 2 简化的视频解码过程 下面对m p e g 2 解码过程做一简要说明。 ( 1 ) 变长码解码 变长码解码实际上是帧内编码中d c 系数的解码过程以及非帧内编码块 中d c 系数、a c 系数的解码过程。假定e , c 表示彩色分量，它与块数有关， c c 定义如表2 1 所示。 1 2 哈尔滨工稗大学硕十学位论文 表2 1 颜色分鼍索引c c 的定义 差分值 4 ：2 ：o4 ：2 ：24 ：4 ：4 00o0 l00o 200o 300o 41ll 52 2 2 6ll 722 8l 9 2 1 0l l l 2 由表2 1 可见，对于y 分量，c c = 0 ：对于c b 分量，c c = l ；对于c r 分量， c c = 2 。 ( 2 ) 反扫描 反扫描定义将一维数据q f s n 转换成以q 呵川 “】表示的系数二维数组的 方法。m p e g 2 定义了两种模式：之字形扫描和垂直扫描，扫描类型由编码 数据得到。 当量化矩阵被加载时，它们以一种扫描顺序在比特流中编码，被转化成 反量化器中使用的二维矩阵，就像系数使用的方法一样。 ( 3 ) 反量化 反量化过程是由二维数组鲫v 】【u 】产生重建的a c t 系数的过程。这个过 程的实质是以量化器步长为倍数的乘法运算，量化器步长大小以两种方法修 改：在一个块内可以使用加权矩阵来修改步长大小，而使用比例因子修改步 长可以节省位数( 与用全新的加权矩阵相比) 。 图2 2 反量化过程 1 3 哈尔滨工程大学硕+ 学竹论文 图2 2 阐明了整个反量化过程。在适当的反量化算法之后，结果系数 尸 v 】【“】被饱和而生成尸【v 【u 】，之后执行一个解谐控制操作来给出最终的重 构d c t 系数f i v 】【“】帧内d c 系数的反量化在内部块中，p 【o 】【o 通过以 一个常数因子与q 研o l o l 相乘得到，即p o o = i n t r ad cm u i r * q 研o 】 o ， i n t r a d c m u l t 是常数因子其它系数的反量化。 加权矩阵：当使用4 ：2 ：0 数据时，使用两个加权矩阵，一个加权矩阵用于 帧内宏块，另一个加权矩阵用于非帧内宏块。当使用4 ：2 ：2 或4 ：4 ：4 数据时， 使用4 个矩阵，允许亮度和色度数据使用不同的矩阵： 量化器比例因子：量化器比例因子作为固定长度代码进行编码。 ( 4 ) 反向i d c t 一旦d c t 系数h v 【“】被重构，就可以根据下列1 d c t 公式获得反变换值 陟 i x ，这些值被饱和为一2 5 6 - i c ( “) c ( v ) ，( “，v ( 2 1 ) 厂( x ，y ) 2 百刍刍c ( “) c ( v ) ，( “，v s _ 2 c o s 1 万一 ( 2 - 1 ) 在一个未跳过的宏块中，如果对于宏块中一个给定块，相应参数为1 ， 则那个块的系数数据包含在比特流中，将使用前面阐述的方法解码；如果为 零，或者如果宏块被跳过，那么那个块不包含系数数据，这样的块的样本域 系数f ( x ，y ) 都将取零值。 ( 5 ) 运动补偿 运动补偿过程由以前的解码图象形成预测，与系数数据( 从i d c t 输出) 组合起来恢复最终的解码样本。 该过程的简化框图如图2 3 所示。 哈尔滨工程大学硕士学位论文 l 鲨h 攀旧 诳碰t 弭i 静匿士$ 蒸幢 v 。c i o r h i s l l l 】面f p e li n o fi 嚣li 淼 自然划! 嚼墨 图2 3 简化的运动补偿过程 通常，对每个块形成4 个单独的预测值，结合起来形成最后的预测块 p l y i x 。对帧内编码宏块，不产生预测值，因此p l y i x 为0 。内部编码的宏块 可以带有被称为“隐藏运动向量”的运动向量，除此之外，在一般情况下， 均不产生预测。当比特流错误妨碍了系数信息的解码时，才用到这种运动向 量。 2 3a v s 标准 a v s 是中国自主制定的音视频编码技术标准。a v s 工作组成立于2 0 0 2 年6 月，在短短的一年多时间内，审议了1 8 2 个提案，先后采纳了4 1 项提案， a v s 视频部分于2 0 0 3 年1 2 月定稿。a v s 标准以当前国际上最先进的m p e g - 4 a v c h 2 6 4 框架为起点，自主制定适合广泛数字视频应用的中国标准，其中 强调自主知识产权，同时充分考虑实现难度。 2 3 1a v $ 视频比特流结构 视频序列是比特流的最高层语法结构。视频序列由序列头开始，后面跟 着一个或多个编码图像，每帧图像之前应有图像头。编码图像在比特流中按 比特流顺序排列，比特流顺序应与解码顺序相同。解码顺序可与显示顺序不 相同。序列结束码表明了一个视频序列的结束。 标准支持两种序列：逐行序列和隔行序列。帧由三个样本矩阵构成，包 1 5 哈尔滨t 稃大学硕士学位论文 括一个亮度样本矩阵( y ) 和两个色度样本矩阵( c b 和c r ) 。样本矩阵元素 的值为整数。y ，c b 和c r 三个分量与原始的( 模拟) 红、绿和蓝色信号之 间的关系，包括原始信号的色度和转移特性等可在比特流中定义，这些信息 不影响解码过程。场由构成帧的三个样本矩阵中相间的行构成，即帧样本矩 阵的第一行、第三行、第五行，依次类推，构成一个场，称为顶场；第二行、 第四行、第六行，依次类推，构成另一个场，称为底场。解码器的输出是一 系列帧，两帧之间存在着一个帧时间问隔。对隔行序列而言，每帧图像的两 场之间存在着一个场时间间隔。对逐行序列而言，每帧图像的两场之间时间 间隔为0 。 视频序列头由视频序列起始码开始，后面跟着一串编码图像数据。起始 码是按字节对齐的。由起始码前缀和起始码字组成。起始码前缀为2 3 个0 比特和1 个1 比特，起始码字为一个字节的整数。序列头可在比特流中重复 出现，称为重复序列头。使用重复序列头的主要口的是支持对视频序列的随 机访问。 一幅图像是一帧，其编码数据由图像起始码开始，到序列起始码、序列 结束码或图像起始码结束。在比特流中，隔行扫描图像的两场的编码数据可 依次出现，也可交织出现。两场数据的解码和显示顺序在图像头中规定。图 像的解码处理包括解析过程和解码过程。 标准支持4 ：2 ：0 ，4 ：2 ：2 和4 ：4 ：4 的图像格式。 标准定义了三种解码图像：帧内解码图像( i 帧) ，前向帧间解码图像( p 帧) ，双向帧间解码图像( b 帧) 。如果视频序列中没有