（计算机软件与理论专业论文）基于mpeg4的三域混合精细可分级视频编码的研究.pdf

摘要 摘要 无线信道中的实时视频通信是未来各种视频应用中最重要也是最具挑 战性的应用。要实现在无线信道中实时传输视频必须考虑无线信道的一些 特点，如窄带宽、由多径衰落同频干扰噪声等引起的带宽波动、高误码率 以及基于无线信道的移动网络中的终端多样性。可分级编码是克服这些困 难的一个较好的解决方案，它能够灵活地适应带宽变化和终端多样性，而 且能够通过在分层中提供不同保护措施来保证在高压缩比条件下提供一定 的抗误码能力。 但是，已有的可分级编码方法都是以视频的某个参数为基础提供可分 级性的。这些方法只将精力集中在自己研究对象的范围内，缺少对其它参 数可分级性的借鉴和利用，其解决的问题也较为单一。 为解决以上问题，本文在结合前人对混合可分级性的尝试和成功经验 的基础上，通过将几种单域可分级编码方法有机结合，提出了一种基于 m p e g 4 的新的三域混合精细可分级编码方法。其时域、空域、s n r 增强 层都是基于f g s 位平面技术。这样就统一了编解码模块，保证了编解码器 复杂度不会大幅增加，同时也使码流具有更强的可截断性，从而使码流具 有更灵活的适应性。文中还对视频编码的核心算法进行了研究和优化，对 f g s 增强层的码流格式进行了改进，提高了码流的抗误码能力。 文章最后通过实验，对本文提出的三域混合精细可分级编码方法的各 方面性能进行了验证。实验表明，新方法在编码效率上与原有方法相近， 尤其是在低码率条件下，其编码效率还略高于原有方法。新方法的可分级 性范围比原有方法更广阔，其抗误码性能也有较好改善。 关键词视频编码；可分级性；时域；空域；位平面 燕山大学工学硕士学位论文 a b s t r a c t t h er e a l - t i m ev i d e oc o m m u n i c a t i o ni nw i r e l e s sc h a n n e l si so n eo 廿l e m o s ti m p o r t a n ta n dc h a l l e n g i n gv i d e ou t i l i t yi nt h ef u t u r e t ot r a n s m i tv i d e o 血f o r m a t i o ni nw i r e l e s sc h a n n e l ss h o u l dn o t i c et h ec h a r a c t e r so fw i r e l e s s c h a n n e l ss u c ha sn a r r o wb a n d w i d t h ，b a n d w i d t hf l u c t u a t i o n c a u s i n gb y m u l t i - p a t hf a d i n g ，c o - c h a n n e li n t e r f e r e n c ea n da l lk i n d so fn o i s e ，h i g hb i te r r o r r a t ea n dt e r m i n a lv a r i e t yi nm o b i l en e t w o r k s s c a l a b l ev i d e oc o d i n gm e t h o dc a n s o l v es o m ed i f f i c u l t i e sa b o v e i tc a nf i tt h ec h a n g eo fb a n d w i d t ha n dt e r m i n a l v a r i e t yf l e x i b l ya n di t c a l lp r o v i d es o m ee r r o rr e s i l i e n c ec a p a b i l i t yi nh i g h c o m p r e s s i o nr a t ec o n d i t i o nb yp r o v i d ed i f f e r e n tp r o t e c t i o nm e t h o di nd i f f e r e n t l a y e r s h o w e v e r , t h ep a s tm e t h o d so fs c a l a b i l i t yi sb a s e do ns o m eo n ep a r a m e t e r o fv i d e o t h e yc o n c e n t r a t et h e m s e l v e so no n ef i e l da n db el a c ko f r e f e r r i n ga n d u t i l i z i n go t h e rm e t h o d s t h i sm a k e s t h e ms o l v i n gp r o b l e m ss i n g l y t os o l v e t h e s ep r o b l e m s ，t h i sa r t i c l e p r o v i d e san e wm e t h o dn a m e d h y b r i d 一3 一f i e l df i n eg r a n u l a rs c a l a b l ev i d e oc o d i n gb a s e do i lm p e g 一4t h r o u g h c o m b i n i n g t h r e e s i n g l e f i e l dm e t h o d s t h e t e m p o r a l ，s p a t i a l a n ds n r e n h a n c e m e n tl a y e r sa l lu s e st h eb i tp l a n ec o d i n gt e c h n i q u e t h i ss t r u c t u r e c o n s o l i d a t ec o d i n ga n dd e c o d i n gm o d u l e st oe n s u r et h a tt h ec o m p l e x i t yo f c o d e c o d e rw i l lb ei n c r e a s e do n l yal i t t l ea n dt h ew h o l ee n h a n c e m e n ts t r e a m h a st h et r u n c a t e dc a p a b i l i t yt oi m p r o v ei t sa d a p t i v ec a p a b i l i t y t h i sa r t i c l ea l s o r e s e a r c ht h ec o r ea r i t h m e t i co fv i d e oc o d i n ga n do p t i m i z es o m eo ft h e m a tt h e l a s to fd e s i g nt h i sa r t i c l ed i s c u s st h em e t h o dt oi m p r o v et h es t r e a ms t r u c t u r et o i m p r o v et h ee r r o rr e s i l i e n ta b i l i t y t h i sa r t i c l ed o e se x p e r i m e n t sa tl a s tt ov a l i d a t et h ep e r f o r m a n c eo fn e w m e t h o d t h ee x p e r i m e n t ss u p p o s et h a tn e wm e t h o dh a v et h es a m ec o d i n g a b s t r a c t e f f i c i e n c ya so l dm e t h o d se s p e c i a l l yb e a e rt h a no l dm e t h o d si nl o wb i tr a t e a r e a s t h e ya l s os u p p o s en e wm e t h o dh a v em o r ew i d e l ys c a l a b i l i t ya n dm o r e s t r o n g l ye r r o rr e s i l i e n tc a p a b i l i t y k e y w o r d sv i d e oc o d i n g ；s c a l a b i l i t y ；t e m p o r a l ；s p m i a l ；b i t p l a n e s 1 燕山大学硕士学位论文原创性声明 本人郑重声明：此处所提交的硕士学位论文基于m p e g 一4 的三域混 合精细可分级视频编码的研究，是本人在导师指导下，在燕山大学攻读硕 士学位期间独立进行研究工作所取得的成果。据本人所知，论文中除已注 明部分外不包含他人已发表或撰写过的研究成果。对本文的研究工作做出 重要贡献的个人和集体，均已在文中以明确方式注明。本声明的法律结果 将完全由本人承担。 作者签字椎天杓 日期：口时侔3 月k 日 燕山大学硕士学位论文使用授权书 基于m p e g 4 的三域混合精细可分级视频编码的研究系本人在燕 山大学攻读硕士学位期间在导师指导下完成的硕士学位论文。本论文的研 究成果归燕山大学所有，本人如需发表将署名燕山大学为第一完成单位及 相关人员。本人完全了解燕山大学关于保存、使用学位论文的规定，同意 学校保留并向有关部门送交论文的复印件和电子版本，允许论文被查阅和 借阅。本人授权燕山大学，可以采用影印、缩印或其他复制手段保存论文， 可以公布论文的全部或部分内容。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密斫 ( 请在以上相应方框内打“”) 作者签名：酿六干桕 日期。丑彩年3 月f d 日 导师签名 日期：弘0 6 年j 月i 日 第1 章绪论 1 1 研究背景 第1 章绪论 从1 9 3 7 年第一台电子电视诞生，“视频”这个词就正式步入了人类世 界。视频和人眼所看到的情景一样，是对当前一系列运动图像信息的一种 描述。它所包含的是当前场景中每一个可识别像素的亮度、色差以及与运 动相关的海量信息，若不经过一定的处理，根本无法保存和传输。于是视 频处理伴随着视频的出现而同时诞生。视频处理的开端是以变换为手段， 主要用一维电子信号来描述图像信息。经过这短暂的大半个世纪的发展， 视频处理已经由起初的模拟电子变换发展到了现代的数字视频编码，其基 本方法发生了翻天覆地的变化。海量的视频信息经过处理后，其数据量被 数十倍、数百倍的压缩，在重建之后又可以被恢复并显示在人们面前。其 显示的工具从宽大的投影屏幕到无线通信终端火柴盒般大小的液晶显示屏 应有尽有。而“视频”这个原来的技术术语也随着视频处理技术的进步和普 及，深入到社会的每个角落。 当前视频处理的核心手段是视频编码。视频编码是通过数学手段，把 用数字信号表示的运动图像信息，通过一系列数学方法( 如变换、量化等) 进行处理，使这些信息成为利于传输并能够重建为符合人们观看的码流信 号。视频编码针对的对象是经数字化后的视频信号。 目前视频的应用范围除经过模拟信道的无线和有线电视外，还主要应 用于数字信道中，包括视频会议、数字视频监控系统、互联网以及无线通 信等。由其应用范围可见，视频传输所经过的数字信道主要以网络的形式 出现。由于视频信息的特点是数据量非常大，对于目前的网络带宽等状况， 必须对视频进行处理才能传输。即使在网络带宽允许的情况下，对视频进 行一定的处理，也可以节省网络资源。因此，进行视频处理是十分必要的。 通过视频编码技术对视频进彳亍一系列的变换、量化，可以达到在保证视频 燕山人学工学硕士学位论文 一定质量的条件下大大减小视频数据量、节省网络资源的目的。目前视频 编码技术主要针对已经数字化的视频信息，通过编码器将视频信息变换成 数据量较小、适合数字信道传输、具有一定纠错能力的信号，经过数字信 道后，再经过解码器对其进行恢复，得到完全或接近原始图像质量的视频 信息。 1 2 研究现状 人们对数字视频和图像压缩编码的研究已经经历了半个多世纪，无论 在编码的理论和工程的应用上都得到了长足的发展。近十年来，视频和图 像压缩编码的方法得到了迅速的发展和广泛的应用。 1 2 1 视频编码的发展历史和研究现状 视频编码技术起源于静止图像编码技术。1 9 4 8 年，s h a n n o n 和他的两 个学生o l i v e r 与p i e r c e 联合发表了对电视信号进行脉冲编码调f l ；l j ( p u l s e c o d i n gm o d u l a t i o n ，p c m ) 的论文，标志着数字图像压缩编码技术的开始。 从五十年代至八十年代初，对静止图像编码技术的大量研究奠定了后来视 频编码技术的基础。八十年代初，国际电信联盟制定了针对视频的第一个 编码标准，面向i s d n 视频传输的h 2 6 1 川。随后国际上负责音视频编码标 准化的组织制定了一系列视频编码标准。 这些标准的算法主要由四类技术混合构成，即运动补偿、正交变换、 量化和熵编码，代表了9 0 年代中期视频和图像编码的研究水平。下面介绍 几个具有代表性的视频编码标准，包括用于数字视频和音频传输及存储的 m p e g 1 2 1 支持h d t v 等高品质数字视频和音频传输与存储的m p e g 2 1 3 1 、 适于低码率视频传输的h 2 6 3 t 4 】、基于对象的视频编码标准m p e g 4 5 l 和致 力于低码率高编码效率的h 2 6 4 t 6 1 。 ( 1 ) m p e g 一1 视频编码标准针对码率为1 5m b p s 的数字存储媒体运动 图像及其伴音编码制定的，使得c d - r o m 的数字视频及m p 3 等产品成为 可能。在编码技术上引进了双向运动预测编码，半象素精度运动矢量。 2 第1 章绪论 f 2 ) m p e g 一2 视频编码标准主要是针对数字视频广播、高清晰度电视 和数字视频等制定的码率为4 3 0m b p s 运动图像及其伴音的编码标准。在 编码技术上引进了i n t e r l a c e d s c a n 图像有效压缩方法，主要是场模式运动 估计补偿方法，另外还有分层的码率扩展功能。 ( 3 ) h 2 6 3 视频编码标准第一个针对超低码率的编码标准，特别适合 于p s n t 网络、无线网络和因特网等环境的视频传输。h 2 6 3 + 并nh 2 6 3 + + 都是它的增强补充版本。h 2 6 3 技术上的新特点是可变块大小的运动补偿， 覆盖的块运动补偿，图像外插运动矢量，三维的可变长度编码，中值运动 矢量预测，更有效的头信息等。 ( 4 ) m p e g 4 视频编码标准针对基于内容和交互式多媒体通信的编码 国际标准，支持大范围的码率的应用领域。它最主要概念就是视频对象 ( v i d e oo b j e c t ，v o ) t ”。m p e g 一4 还提供了精细可分级技术。另外它还增加 了许多复杂运动预测的技术如全局运动补偿预测技术，并提供了高压缩比。 适用于各种多媒体应用，提供各种编码比特率。 ( 5 ) h 2 6 4 视频编码标准i t u t 的v c e g 与i s o i e c 的m p e g 共同组 成了合作开发组( j v m ) 开发新一代视频编码标准，同时它将作为m p e g 4 系列标准中的第十部分。 目前对视频编码的研究主要有两个大方向，一个是针对宽带网络的高 速率视频编码的研究，另一个是针对窄带的低速率视频编码技术。其中低 速率视频编码技术随着移动通信技术的广泛普及和应用而成为当前视频编 码研究的热点。当前呼之欲出的第三代移动通信技术以提供高速接入和多 媒体服务为特征。例如属于第三代无线通信标准i m t - 2 0 0 0 ( i n t e m a t i o n a l m o b i l et e l e c o m m u n i c a t i o n s2 0 0 0 ) 成员之一的u m t s 唧n i v e r s a lm o b i l e t e l e c o m m u n i c a t i o ns y s t e m ) 承诺，u m t s 用户的网络接入速度在快速移动时 可达到1 4 4k b p s ，步行时可达到3 8 4k b p s ，户内可达到2m b p s t8 1 。 1 2 2 低速率信道网络对视频传输的影响 低速率信道目前主要包括两种形式，一种是基于传统公共交换电话网 ( p s t n ) 上的i p 网络，一种是基于无线信道的移动通信网络。随着有线通信 3 燕山大学工学硕士学位论文 技术的进步，网络带宽逐步加宽，前一种低速率信道的应用将越来越少， 其研究的意义已经不大。而移动通信网络则随着移动通信的普及，越来越 受到人们的关注。在其上进行视频通信的各种研究也得到广泛开展。在移 动网络里传输视频信息，必须考虑移动网络和无线信道的特点。 f 1 ) 带宽窄且波动大 移动网络相对与宽带有线网络的带宽是比较窄 的，而且带宽波动性很大。带宽波动的原因有很多。首先无线电波在自由 空间中传输时受地形和气象条件的影响较大。而且无线信道的通过量还会 因多径衰落、多个信道间的干扰或者噪声分步特性的变化而发生变化。同 时由于无线用户总在移动中，与基站间的距离总是在发生变化，这也会导 致带宽的不断变化。另外当移动用户在不同的网络间移动时，带宽会发生 突然的变化。还有在越区切换时，可能由于基站没有足够的预留资源给新 加入的用户而造成用户可用带宽的急剧降低。这些不利因素可以通过采用 各种无线通信技术来减小其对通信的影响，但却不可完全消除。在这样的 信道条件下，如果采用固定速率传输视频，传输性能将大大降低。当带宽 高于编码速率时，图像的一些帧将由于传输不完全而被丢弃，导致视频质 量严重下降；当带宽低于编码速率时，多出的带宽将被闲置，视频质量也 不会有提高。人们希望视频编码能随着带宽变化而调整，既保证图像基本 信息实时传输，又能使带宽得到充分利用。 ( 2 ) 误码丢包情况严重无线网络由于多径衰落( m u l t i p a t hf a d s ) 和阴影 衰落( s h a d o w i n gf a d s ) 导致误码率很高。此外还会由于网络拥塞导致丢包。 而为在较窄带宽的网络中传输视频，视频信息都采用了运动估计和变长编 码方法来进行压缩，使视频流对错误非常敏感。丢包和误码都会严重影响 视频传输质量。这就要求视频编码要有一定的抗误码能力，以得到比较稳 定的视频质量。 ( 3 ) 终端多样性移动通信终端多种多样，它们在显示屏尺寸、分辨率、 解码器计算能力上都千差万别。这就要求编码器提供一定的终端适应能力， 使各种终端都能在充分利用本机性能的同时得到较好的视频质量。 针对以上无线信道以及移动通信中存在的特点，科研人员提出了很多 解决办法。其中一种被称为可分级( s c a l a b i l i t y ) 编码的方法对解决以上几个 4 第1 章绪论 问题都有优异的表现，受到了人们的广泛关注，其核心思想也被目前几种 主流的视频标准接纳。 1 2 3可分级编码的发展和研究现状 可分级编码又称分层编码( l a y e r e dc o d i n g ) ，它在m p e g - 2 标准中就已 有应用。可分级编码的核心思想是将视频流在编码时分为两个或更多个码 流，称为层。这些层中至少有一个是基本层( b a s el a y e r , b l ) ，其余的为增 强层( e n h a n c e m e n tl a y e r , e l ) 。 基本层包含视频信号基本的也是最重要的信息，接收端只须接收到基 本层就可重建基本质量的图像。增强层包含视频信号的细节信息，接收端 可将增强层和基本层一起解码，重建更高质量的图像。传输时可视基本层 和增强层的不同重要性，对其赋予不同的传输优先级和误码保护机制。解 码器可在多个图像质量级别上进行解码，用户可根据需要进行解码，即使 增强层的数据丢失或者被抛弃，也能够使恢复的图像质量达到一个可以接 受的水平。传统可分级视频编码框架如图i 1 所示。 e l 3n l 视 凰下：j 频 编 乩。下：； 码 器 。下 ： 一i 图1 1 传统可分级视频编码框架 f i g u r e1 - 1t h ef r a m e w o r ko f t r a d i t i o n a ls c a l a b l ev i d e oc o d i n g 传统的可分级编码方法都只是针对视频的某一单一评价指标进行研究 的，其可分级性能还是有限的。如时域可分级性，它能够提供在帧率上的 可分级性，即在带宽较窄的情况下，接收视频的帧率就会较低，运动图像 不连续。当带宽变宽时，视频帧率得到提高，运动图像变得较为连续。但 是这种可分级方法只依赖丢弃或解码增强层帧来实现，其码率适应带宽能 燕山大学工学硕士学位论文 力较弱，只有达到某一个或几个码率域值时，才能解码增强层。而且它只 提供固定分辨率的服务，对高分辨率应用虽然可以通过插值技术对图像进 行放大。但插值后质量与原始图像相差较远。对低分辨率应用，在进行采 样对图像缩小的同时，大量占用带宽传送过来的数据被丢弃，编码效率大 大降低。针对单域可分级性方法提供的可分级性较为单一的缺点，科研人 员自然而然的想到了将几种单域可分级方法综合在一起。m i h a e l av i l l id e r s c h a a r 和h a y d e rr a d h a 等人，提出了将时域与s n rf g s 方法相结合 9 l ， 他们在较小的增加编解码器复杂度的情况下，获得了复合为一层的增强层 码流，得到了较高的编码效率。还有人提出将空域与s n rf g s 方法相结 合【1 0 1 ，也得到了不错的效果。 1 3 本文的研究内容 首先对m p e g 4 标准进行了概述。讨论了已有的时域、空域、s n r 、 精细可分级等单域可分级编码方法，阐述其原理、性能和不足。对目前科 研人员对混合可分级编码方法的各种尝试和研究成果进行了总结。 然后在前人工作的基础上，详细论述将时域、空域、s n r 可分级有机 融合成新的基于m p e g 4 的三域混合精细可分级编码方法的可能性、必要 性。阐明新方法的工作原理、结构框架、混合方法、混合的关键问题和关 键技术，并进行了编解码器的设计。给出了编解码器结构框架图和程序实 现。对编码器实现过程中的纹理编码算法、运动补偿算法、码流控制算法 进行了研究和优化。对f g s 增强层进行改进，提高了增强层的抗误码能力。 最后通过一系列实验，对新方法与已有的单域方法及混合方法的性能 作以比较，得出结论。 1 4 本文结构 第二章主要对m p e g 一4 标准进行了概述，并对传统的单域可分级编码 方法进行总结。详细介绍了精细可分级编码与混合可分级编码。首先阐述 6 第l 章绪论 f g s 及p f g s 的原理和性能，然后阐述将f g s 与时域可分级、空域可分级 混合的两种混合可分级性方法。 第三章在前面阐述的单域可分级方法、m p e g 一4 精细可分级方法及混 合可分级方法的基础上，提出新的基于m p e g 一4 的三域混合精细可分级方 法，并详细阐述其工作原理、结构框架、混合的关键技术，然后对三域混 合方法进行了编解码器设计。给出了编解码器结构框架图和程序实现。 第四章对实现过程中的纹理编码、运动补偿和码率控制等关键部分进 行了分析，并提出了优化算法。最后还为提高抗误码性能采取了一系列改 进措施。 第五章在实验基础上，通过与已有传统空域可分级、f g s 编码方法的 比较，考察三域混合方法在各个方面的性能，得出结论。并对三域混合方 法的抗误码性能做出实验，得出在抗误码性能的结论。 7 燕山大学工学硕士学位论文 第2 章m p e g 一4 标准和可分级视频编码概述 2 1m p e g 4 标准概述 国际标准化组织于1 9 8 6 年成立了运动图像压缩编码组织m p e g ( m o v i n gp i c t u r ee x p e r tg r o u p ) ，主要致力于图像的压缩编码标准。m p e g 组织于1 9 9 9 年1 月正式公布了m p e g 41 0 版本，1 9 9 9 年1 2 月又公布了 m p e g 4v 2 0 版本。m p e g 4 的制订初衷主要针对视频会议、可视电话超 低比特率压缩编码的需求。后来经过不断的发展，成为一个适用于各种多 媒体应用，提供各种编码比特率的标准。 m p e g 4 视频编码的目标在于提供一种通用的编码标准，以适应不同 的传输带宽、不同的图像尺寸、不同的图像质量，进而为用户提供不同的 服务，满足不同处理能力的显示终端和用户个性化的需求。它可根据不同 的应用需求，现场配置解码器，编码系统也是开放的，可随时加入新的、 有效的算法模块。 与传统的基于像素的视频压缩标准不同，m p e g 一4 采用基于对象的视 频压缩方法，不仅可以实现对视频图像数据的高效压缩，还可以提供基于 内容的交互功能。其对象可以分为四种：视频对象( v i d e oo b j e c t ) ，静止对 象( s t i l lo b j e c t ) ，网格对象( m e s ho b j e c t ) ，脸部、肢体活动对象伍a c e b o d y a n i m a t i o n o b j e c t ) 。其中前两者是二维的，后两者是三维的。在二维视频对 象编码中，与m p e g 2 视频帧相对应的是矩形的视频对象平面( v i d e oo b j e c t p l a n e ，v o p ) ，其预测方式和m p e g 一2 方式一样。也可以组成v o p 组( g o v ) ， 可以包括i - v o p ，p v o p 和b v o p 。视频对象平面可以是矩形( r e c t a n g l e ) ， 也可以是任意多边形( p o l y g o n ) 的。 除此以外，为了使压缩后的码流具有对信道传输的顽健性，m p e g 4 提供了用于误码检测和误码恢复的一系列工具，这样采用m p e g 4 标准压 缩后的视频数据可以应用于带宽受限、易发生误码的网络环境中，如无线 第2 章m p e g - 4 标准和可分级视频编码概述 网络、i n t e m e t 和p s t n 等。 在m p e g 4 中的场景采用层次化的树型结构，基本的组成单位是各个 视频对象( v o ) 和音频对象( a o ) ，多个音视频对象( a v o ) 组合成复合a v o ， 多个复合a v o 按照场景描述中的时空关系组合成场景。a v o 在发送端编 码后生成码流，码流经同步和复用后通过传输网络传送到接收端，在接收 端对a v o 数据去复用，再经过相应解码器解码后得到各个a v o 。最后按 照场景描述中的时空关系在接收端加以显示，用户的交互信息通过类似的 过程由上行通道传送到发送端。 m p e g 4 是一个多媒体编码标准，它包括了许多强大的编码工具。对 于任何给定的应用，只会用到其中的编码工具的一个子集。因此，为了限 制实现的复杂性，m p e g 4 定义了框架( p r o f i l e ) 和级另1 ( l e v e l ) 。每个框架包 含一个工具子集。在每个框架中，通常有会有几个级别定义，通过设定编 码工具不同的参数值来进一步限制复杂性。就目前现有的视频编码标准以 及m p e g 4 框架来看，为f g s 基本层定义一个独立的框架需要得到了广大 认同。结果在m p e g 4 修订版中有了两个框架。个称为高级简单框架 ( a d v a n c e ds i m p l ep r o f i l e ，a s p ) ，其中包括一个非可伸缩编码视频编码工具 子集，可以在一个宽广的码率范围内，对任何给定的码率，达到一个高的 编码效率。 目前，常见的m p e g 一4 标准框架大都为简单框架( s i m p l ep r o f i l e ，s p ) 和高级简单框架( a s p ) 。其中简单框架( s p ) 注重实时性和低复杂性，其主要 应用是无线可视电话，因而s p 是m p e g 4 标准最为简单的框架。高级简 单框架( a s p ) 主要面向i n t e m e t 网络传输应用，它为了改善视频图像质量而 允许带来一些可容忍的延时和复杂度。因而，a s p 被f g s 基本层编码所采 用。值得注意的是，s p 和a s p 均具有如下特点：编码对象均为二维视频 对象( v i d e oo b j e c t ，v o ) ；最大对象个数为4 ，但一般情况下( 本课题) 二维视 频对象个数均为1 ，即每帧中仅有一个视频对象平面( v o p ) ；v o p 形状均 为矩形( r e c t a n g l e ) ，即每一个v o p 相当于传统m p e g 编码的视频帧；v o p 有两种预测模式：i - v o p 和p v o p ；采用了d c a c 系数预测：采用了两 种量化方法( h 2 6 3 和m p e g ) ；每宏块可有四个分别的运动矢量，高级运动 9 鎏些查兰三兰堡主主丝丝苎 矢量预钡l j ( a d v a n c e dv e c t o rp r e d i c t i o n ) ，可进行8 1 6 3 2 像素范围搜索，可 进行半像素( h a l f - p e l ) 、全像素( f u l l - p e l ) 运动估计。 2 2 可分级视频编码的基本模式 可分级编码有三种基本类型：时域可分级编码 ( t e m p o r a ls c a l a b l e c o d i n g ) ，空域可分级编码( s p a t i a ls c a l a b l ec o d i n g ) 和s n r 可分级编码( s n r s e a l a b l ec o d i n g ) 。其中s n r 可分级又称为质量可分级，因为视频质量通常 用峰值信噪b l ( p s n r ) 来衡量。这三种可分级性分别对应了视频的帧率、分 辨率、p s n r 等几个基本参数，它们都能在基本层外提供一个或几个增强 层，实现初步的可分级性。 2 2 1 时间可分级编码 时间可分级编码就是对同一个视频使用不同的时间分辨率或是帧率来 表示，它可以对不同内容的层使用不同的帧率来实现。其编码示意图如图 2 1 所示 1 2 , 1 3 】。 图2 - 1 时i 司司分级编码示意图 f i g u r e2 - 1t e m p o r a ls c a l a b l ec o d i n gs k e t c hm a p 时域可分级性是通过双向预测帧( b 帧) 来实现。b 帧由前一帧预测或者 由前后两帧双向预测得到。在同样的量化级数条件下，b 帧具有更好的压 缩性能，它使得在压缩码率增加不大的情况下，达到使帧率倍增的效果。 同时，b 帧不作为其他任何帧的预测参考，在某些情况下丢失或抛弃b 帧， 并不影响后续图像的重建质量。 1 0 第2 章m p e g - 4 标准和可分级视频编码概述 需要注意的是b 帧在码流中的位置并不是按照时间顺序排列的。例如， 如果一段视频序列的显示顺序为i l ，b 2 ，p 3 ，b 4 ，p 5 ，则在码流中 其顺序应为i l ，p 3 ，b 2 ，p 5 ，b 4 ，下标指视频序列按显示顺序排列 的序号。原因在于b 2 是由i l 和p 3 双向预测得到，实际编码时为解码方便， 先编码用于预测的i l 和p 3 ，再编b 2 ，即用作b 帧预测的参考帧要在b 帧 之前编码。其中b 帧的最大个数一般在视频编码标准之外规定。b 帧的分 辨率和其参考帧相同。b 帧的引入可以使压缩性能得到改善，但是由于图 像序列的显示顺序和编码传输顺序变得不一致，加大了编解码器的复杂度。 另外，由于b 帧编码时需要参考前后两帧，从而需要增加存储开销。 2 2 2 空间可分级编码 空间是指图像的分辨率，空间可分级编码是通过为视频中每帧图像都 提供多个分辨率表示来实现。其编码示意图如图2 2 所示1 1 2 , 1 3 。 增强层 基本层 图2 - 2 空间司分级视频编码示意图 f i g u r e2 - 2s p a t i a ls c a l a b l ec o d i n gs k e t c hm a p 其编码流程是，原始视频图像首先经过下采样，得到低分辨率图像， 进行编码得到基本层；再将基本层图像进行上采样得到的重构图像与原始 图像作差，并进行编码，得到增强层图像。当接收端接收到基本层后，即 可解码恢复出低分辨率图像，若接收端能接收到整帧的增强层时，即可恢 燕山大学工学硕士学位论文 复出原始图像。 空域可分级性主要是应用于接收端设备显示屏幕分辨率不同的情况 下。作为一个视频流服务器，其发送视频信息的目标可能是不同种类的设 备，可能是w l a n 中的一台台式机或一部能接收视频的手机。对每种设备 都单独编码显然是非常浪费资源也不合理，所以由视频流服务器提供统一 的具有可分级性的视频码流顺理成章的成为此问题的解决方案。 2 2 3质量可分级编码 质量可分级编码主要利用了视频的峰值信噪比( p s n g ) 这个参数提供 可分级性。其编码示意图如图2 3 所示 1 2 , 1 3 】。 增强层 基本层 幽2 - 3 质量可分级视频编码示意图 f i g u r e2 - 3s n rs c a l a b l ec o d i n gs k e t c hm a p 视频的每帧图像在编码过程都要经过在d c t 变换后经过量化这一步 骤，量化是一种有损压缩方法，通过改变量化步长，可以得到不同质量和 压缩比的图像。若量化步长较小，则视频图像丢失的信息比较少，视频质 量的损失就比较少，但压缩率就会偏低；若量化步长较大，则视频图像丢 失的信息比较多，视频压缩率较高，但图像质量损失比较大。质量可分级 性就是利用视频编码过程中的量化这一步骤实现的。其实现办法有两种： 一种是先对原始视频图像进行粗量化，得到质量较差的图像，进行编码后 1 2 第2 章m p e g - 4 标准和司分级视频编码概述 形成基本层，然后对原始图像与基本层的残差进行细量化，得到增强层； 另一种办法是在将原始图像进行d c t 变换到频域后，对低频部分进行量化 得到基本层，对高频部分量化得到增强层。质量可分级编码和空域可分级 编码很相似，只是质量可分级编码提供的增强层码流和基本层码流的分辨 率是相同的。 2 2 4 传统可分级视频编码的不足 在传统的可分级编码方法中，时域可分级性是通过b 帧来实现的，即 当能完整接收b 帧时，解码b 帧；当无法完整接收b 帧时，就将整个b 帧丢弃。而空域可分级性和质量可分级性也只能提供一个或几个固定码率 下的增强层，即当某一增强层完全接收时，解码该增强层：若不能完全接 收，则该增强层被丢弃。因此，传统的可分级编码的可分级性是很有限的。 2 3 精细可分级视频编码 基本模式的可分级编码提供了对编码码流粗力度的可扩展性，而用户 也只能获得有限的码流调节范围，即得到有限的几个固定质量的视频流。 针对网络的异构性、缺乏q o s 保证和带宽在一个很大的范围内变化的特 点，近年来人们提出了面向网络传输的视频编码的目标，即编码得到嵌入 式的比特流，实现精细的可分级性。 2 3 1m p e g 一4 的精细可分级编码 在m p e g 组织对外征集这种精细的可分级编码方案时，共有三类可分 级编码技术提交到了m p e g 4 标准，第一种是采用位平面编码技术【1 4 】，第 二种是采用小波变换技术 ”。饥，第三种是用m a t c h i n gp u r s u i t 技术 1 8 , 1 9 1 。 通过几轮核心试验的测试，位平面技术和小波变换技术的编码效率基本相 当1 2 ，但考虑到基本层将用d c t 结合运动补偿的传统编码方法来提高编 码效率，为减小编码器的复杂度，由w e i p i n gl i 等人提出的基于位平面技 术的精细可分级视频编码( f i n eg r a n u l a rs c a l a b l ec o d i n g ，f g s ) 方案最终被 燕山大学工学硕士学位论文 m p e g 组织采纳1 2 l “j 。 m p e g 4 的f g s 主要有以下一些特征：第一，基本层使用基于分块运 动补偿和d c t 变换的编码方式达到网络传输的最低要求。第二，增强层使 用位平面编码技术对d c t 残差进行编码来覆盖网络带宽的变化范围。第 三，每一帧的增强层码流可以在任何地点截断。第四，解码器重建的视频 质量和收到并解码的比特数成正比。 f g s 的基本层编码和普通的m p e g 4 非可分级编码相同，都是由运动 估计、运动补偿、d c t 变换、标量量化和变长编码组成。而在增强层编码 时，从原始的d c t 系数中减去基本层逆量化后重建的d c t 系数值获得 d c t 残差，然后对每一个块按从上到下从左到右的顺序使用位平面( b i t p l a n e ) 进行编码。位平面编码是精细可分级编码之所以能够得到嵌入式比 特流的核心技术 2 。 位平面编码是先找到要编码的系数中绝对值最大的那个系数，并由此 确定所需要的位平面个数，最重要的位平面( m s b ) 将最先编码，次重要的 其次编码，最不重要的位平面( l s b ) 最后编码。对一个8 8 的块进行编码， 经过锯齿型( z i g z a g ) 扫描后实际上就是对6 4 个有符号的整数进行编码。将 这6 4 个整数的绝对值写成二进制形式，位数由其中最大系数所用的位数决 定。然后，按位的高低顺序对这6 4 个系数进行编码，即先编他们的最高位， 再编他们的次高位，最后编码它们的最低位，这就是所谓的位平面编码。 在对每一个位平面进行编码( 就是编码6 4 个由0 和1 组成的字符串) 时，按 l 的个数将其分为若干段，然后使用对游程和块结束标志的h u f f m a n 编码。 具体的说，就是每一个h u f f m a n 码字代表的符号包括烈州和e o p 两部分， 其中r u n 代表1 前面出现0 的数目，e o p 为0 表示这个1 后面还有非0 系数，而e o p 为1 表示这是这个块最后一个l 。 例如对一个8 8 的块进行编码，假设有4 个位平面。第一个位平面只 有第1 个系数是1 ，于是只要编码一个符号( o ，1 ) ；第二个位平面只有第2 9 个系数是l ，于是只要编码一个符号( 2 8 ，1 ) ；第三个位平面有第7 个、第1 0 个和第4 2 个系数是1 ，于是依次编码3 个符号( 6 ，o ) 、( 2 ，0 ) 和( 3 1 ，1 ) ：第四 个位平面有第1 个、第2 个和第2 9 个系数是1 ，于是依次编码3 个符号( o ，o ) 、 1 4 第2 章m p e g - 4 标准和口】分级视频编码概述 f 0 ，0 ) 禾1 ( 2 6 1 ) 。而每一个系数的符号在这个系数第一次出现非0 位的后面编 码，例如第2 9 个系数的符号是在第一个( r u n ，e o p ) 编码之后用位来表 示的，0 表示为正号，而1 表示负号。 使用位平面编码的好处就是使得每一个系数的重要部分( 较高的位) 优 先编码，这样在码流截断时就保证了解码器仍可以获得有关视频的重要信 息，从而提供了精细可扩展的特性。这样在解码端，m s b 最先收到，最后 是l s b 。即使由于网络带宽的变化，接收端无法接收完整的码流，解码器 也能从已接收的增强层码流中恢复出部分增强的视频。 f g s 虽然具有优良的可扩展特性，但它也有致命的弱点，即效率太低。 在同等码率下，f g s 的质量要比m p e g - 4 中的非可扩展性编码低2 3d b ( 3 个d b 意味着码率翻一番) 。f g s 的基本层和所有增强层都是以参考帧的基 本层图像为参考进行运动补偿的。这样的好处就是f g s 可以及时恢复增强 层所出现的错误，因为某一帧增强层的错误不会影响到后面图像的编码。 但是因为基本层解码图像的质量比较低，和原始图像的差别较大，于是形 成的d c t 残差也就大，相应生成的码流也就长。 因此要想提高f g s 的编码效率，必须改善它用作运动预测和补偿的参 考图像的质量。 2 3 2 渐进精细可分级编码 为了提高f g s 的编码效率，微软中国研究院的李世鹏和吴枫等人又提 出了渐进的精细可分级( p r o g r e s sf i n eg r a n u l a rs c a l a b l e ，p f g s ) 的视频编码 方案f 3 0 司 。渐进精细可分级编码技术的基本思想是在编码增强层时用一些 高质量的增强层重构图像作为参考，使得运动补偿更有效，从而提高了精 细可分级编码的编码效率。当然这种编码效率的改进必须以牺牲其精细可 分级性的特性为前提条件，因而在设计渐进精细可分级编码框架时有两个 关键点：其一是在编码增强层时尽量采用高质量的增强层为参考来提高编 码效率，其二是必须保留一些从基本层到最高质量的增强层之间完整的预 测路径，以使生成的码流具有可分级性。 p f g s 使用了两种不同质量的参考图像，其中基本层图像使用前一帧 燕山大学i t 学硕士学位论文 重建的基本层图像为参考进行运动预测和补偿，由于重构的增强层图像的 质量明显高于重构的基本层图像，因而使得p f g s 的运动补偿