（信号与信息处理专业论文）fgs增强层编码技术的研究.pdf

南京邮电大学硕士研究生学位论文摘要 摘要 随着因特网的迅速发展和巨大成功，网络多媒体业务得到了广泛的研究和应用。然而 i p 网络复杂的传输特性对高效、可靠地提供视频流传输提出了挑战，使得面向传输的视频 编码技术成为了当前编码领域中的研究重点和热点。m p e g 4f g s 精细的比特分级特性， 为网络多媒体传输提供了良好的解决方案。本文的主要工作是对f g s 增强层的编码方法进 行了研究，以更有效地提高编码效率、抗误码性能、改善重建图像质量。 首先，文章回顾了视频标准中的分级编码，并对传统的分级编码进行了深入的分析， 通过它们在码流粒度控制上的不足点，引出了对f g s 编码机制的介绍，并通过实验来验证 了m p e g - 4f g s 机制的特点和性能，同时对实验结果进行了详细的分析。 其次，通过对大量测试数据的分析指出m p e g 4f g s 标准在低比特面的编码方式上存 在的不足，对存在的不足提出了两种改进方案。第一个方案针对算法的v l c 码表的选择规 则进行了改进；第二种方案为对于0 、1 接近均匀分布的比特面采用直接编码的方法。并将 改进后的方法与原始方法进行比较，结果说明了改进方案的有效性。接着论文对增强层的 算术编码方法进行了研究，将j p e g 2 0 0 0 的m q 算法与d c t 残差系数的重排技术结合进行增 强层编码。实验时使用了两种重排技术，即基于子块d c t 残差系数的形态学重排和基于子 块d c t 残差系数的子带重排。同时论文还详细讨论了该方法的码率和图像质量( p s n r ) 的非 线性关系，即该方法的非线性增长性，并对该方法的性能进行了分析。 最后对本文的工作进行了总结，并结合本文已有的工作对未来的工作方向提出了展 望。 关键词：精细粒度分级编码( f g s ) ，增强层，比特面编码，d c t 残差系数重排，基于上下 文的二进制算术编码 南京邮电大学硕士研究生学位论文 a b s t r a c t a b s t r a c t d u et ot h er a p i dg r o w t ha n dg r e a ts u c c e s so fi n t e m e t ，t h es e r v i c eo fm u l t i m e d i ab a s e do n n e t w o r k sh a sb e e n 芦t u d i e da n d a p p l i e dw i d e l y h o w e v e r , t h ec o m p l i c a t e dt r a n s m i s s i o n c h a r a c t e r i s t i c so fi pn e t w o r kp r e s e n tg r e a tc h a l l e n g e sf o re f f i c i e n ta n dr e l i a b l ev i d e os t r e a m t r a n s m i s s i o n ，m a k i n g t h et e c h o l o g yo fv i d e o c o n d i n g d e c o d i n gf o rt r a n s m i s s i o no v e ri p i m p o r t a n ta n dh o ti nr e c e n tc o d i n gr e s e a r c h 1 1 1 ef i n eb i ts c a l a b l ec h a r a t e ro ff g si nm p e g - 4 p r o v i d ean i c es u p p o r tf o rm u l t i m e d i at r a n s m i s s i o no v e rn e t w o r k s n l ew o r ko ft h i ss t u d yi s c o n c e n t r a t e do nt h ec o d i n gt e c h n i q u e so ff g se n h a n c e m e n tl a y e ri no r d e rt oe n h a n c et h ec o d i n g e f f i c i e n c ya n de r r o rr e s i l i e n c e ，a n dt h e ni m p r o v er e c o n s t r u c t e di m a g eq u a l i t i e sa sw e l l f i r s t l y , t h et h e s i sb r i e f l yi n t r o d u c e st h es c a l a b l ec o d i n gi nv i d e os t a n d a r d s ，a n da n a l y z e st h e t r a d i t i o n a ls c a l a b l ec o d i n gi nd e p t h , t h e np r e s e n t st h ef g ss c h e m et h r o u g ht h ec o m m o ns h o r t a g e o ft r a d i t i o n a ls e a l a b l ec o d i n gm e t h o d s f o l l o w i n gt h a t , t h et h e s i sp r o v e st h ec h a r a t e ra n d p e r f o r m a n c eo ff g s 丽m al a r g en u m b e ro fe x p e r i m e n t s ，a n da n a l y s e st h er e s u l t sd e t a i l e d l y s e c o n d l y , t h et h e s i sp o i n t so u tt h es h o r t a g eo ft h ec o d i n gm e t h o df o rt h ee n h a n c e m e n t l a y e r sl o wb i tp l a n ei nm p e g - 4f g ss t a n d a r d ，a n dp r e s e n t st w om o r ee f f e c t i v em e t h o d st ot h a t s h o r t a g e ，o n em e t h o di m p r o v e st h ew a yo fv l ct a b l es e l e c t i o n , a n dt h eo t h e ro n ee m p l o y s d i r e c tc o d i n gt e c h n i q u ei n s t e a do ft h eo r i g i n a lm e t h o da st ot h el o wb i tp l a n ew h e r et h e d i s t r i b u t i o no foa n dla r en e a r l yu n i f o r m s i m i l a t i o nr e s u l t ss h o wt h ee f f i c i e n c yo ft h ei m p r o v e d m e t h o d s n e x t , c o n t e x t - b a s e db i n a r ya r i t h m e t i cc o d i n ga l g o r i t h mb a s e do nr e - a r r a n g e m e n to f r e s i d u a ld c tc o e f f i c i e n t si s a p p l i e dt oc o d i n ge n h a n c e m e n tl a y e ri nf g s a st ot h ew a yo f r e a r r a n g e m e n t ，w ea d o p tt w om e t h o d s ，o n ei sm o r p h o l o g i c a lr e a r r a n g e m e n ta n dt h eo t h e ro n e i ss u b b a n dr e a r r a n g e m e n to fr e s i d u a ld c tc o e f f i c i e n t s a tt h es a m et i m e ，t h en o n l i n e a rg r o w t h c h a r a c t e r i s t i c sa n dt h ep e r f o r m a n c eo ft h i sn e wc o d i n gm e t h o da r ea l s os t u d i e da n da n a l y z e di n d e t a i l f i n a l l y , t h es u m m a r yo ft h i st h e s i si sg i v e n , a n df u t u r ed i r e c t i o no nt h ec o d i n gm e t h o d so f f g se n h a n c e m e n tl a y e ri sd i s c u s s e da sw e l lb a s e do nt h ew o r ko ft h i st h e s i s k e y w o r d s ：f i n eg r a n u l a r i t ys c a l a b i l i t y ( f g s ) ， e h a n c e m e n tl a y e r ，b i tp l a n ec o d i n g ， r e a r r a n g e m e n to fr e s i d u a ld c tc o e f f i c i e n t s ，c o n t e x t - b a s e db i n a r ya r i t h m e t i c c o d i n g i i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：日期： 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：导师签名：二净q 挚：滓日期： 南京邮电大学硕士研究生学位论文 第一章绪论 第一章绪论 1 1 视频编码的标准化与研究新进展 自上世纪九十年代以来，数字图像与数字视频编码理论研究与应用技术研究取得了令 人瞩目的进展【l 】。【2 】，以图像和视频编码为基础的多媒体通信和多媒体技术加速发展进入人 们的日常生活和生产活动，成为当今信息产业中最具有前景的发展方向。 图像与视频编码在标准化方面的进展是图像与视频技术发展的重要标志。基于视频编 码近四十多年的研究积累，i t u 在其颁布的具有里程碑意义的第一个视频压缩编码国际标 准- h 2 6 1 【3 】建议中，率先采用了混合编码基本结构和层次结构码流语法，即基于空间 上的离散余弦变换c d + 时间上的运动补偿( 帧间预测) + 变长编码( v l c ) 的混合压缩编 码结构，以及按帧、宏块和子块等层次结构组织的码流语法等，确立了混合编码在视频编 码标准中的主导地位。在颁布h 2 6 1 之后，i t u 又制定了h 2 6 3 4 ，编码结构h 2 6 1 完全相同， 但是通过一系列的改进措施，例如：运动估计由整数像素提高到半像素，运动矢量的一维 预测编码改成二维预测编码等，编码效率得到了显著的提高。而h 2 6 3 的改进版h 2 6 3 + 5 】 和h 2 6 3 + + 【6 】力入了更多的高级选项，编码效率有了进一步提高。国际标准化组织( i s o ) 的活动图像专家组( m p e g ) 在制定其第一个视频编码标准m p e g 1 1 7 1 时，为了既要满足对视 频信息高压缩效率、又要满足对视频信息存储回放的要求，吸收了h 2 6 1 建议的混合编码结 构以及静止图像压缩标准j p e g 8 】中基于人的视觉阈值量化矩阵等技术，并且把视频中的图 像分为i p b 等三种，对b 帧图像在帧间采用双向预测的方法，编码效率较p 帧图像进一步提 高。m p e g 1 后续标准m p e g 2 【9 】，通过引入编码系统的档位( p r o f i l e ) 和等级( 1 e v e l ) 的概念， 丰富了处理的对象集合和处理方法，涵盖了从低清晰度电视( l d t v ) 、标准清晰度电视 ( s d t v ) 到高清晰度电视( 1 a r d ) 等各种视频应用，成为通用的电视编码标准，m p e g l 则为其中一个子集。为了适应多媒体技术和多媒体通信的应用需求，i s o 的专家们又制定 了新的m p e g - 4 标准【l o 】，该标准引入新的基于对象的( o b j e c tb a s e d ) 编码概念。为此在编码中 引入了视频对象的形状编码。2 0 0 1 年1 2 月，i t u t 的视频专家组( v c e g ) 与i s o i e cj t c l 的 m p e g 专家组成立了联合视频专家组( j 1 v ) ，共同承担原先由v c e g 发起的项目( 1 9 9 7 年卜极低码率视频编码远期研究项目，简称h 2 6 l t l l 】，其目的是突破现有各种标准的水 平，获得视频质量实质性的提高。经过近两年的努力，该标准于2 0 0 3 年5 月完成，同时成 为i t u t 的h 2 6 4 建议和i s o 】 e c 的m p e g 4 标准的第1 0 部分【1 2 j 。h 2 6 4 是迄今为止压缩性能 南京邮电大学硕士研究生学位论文第一章绪论 最高的视频编码标准，满足各种视频应用的要求。当然，h 2 6 4 在获得了好的编码效率的同 时，也付出了近乎增加一个数量级的运算复杂度的代价，需要性能更为强大的计算机和d s p 为后盾。 新的编码方法的研究在近年来也取得了长足的发展。由于混合编码器采用的v l c 和帧 间预测等技术虽然极大地提高了压缩效率，但对链路上的传输差错也非常敏感，针对日益 扩大的i p 网络，无线网络的视频应用需要，抗误码编码成为重要的研究方向，超分辨率编 码技术也是近几年来新的研究热点，其应用不仅可以用于提高显示图像的质量，也可以提 高显示图像的分辨率，实现图像的高质量缩放，在多个应用领域，如深空探测、军事以及 数字电视等有很好的应用前景。分布式视频编码【2 8 】贝0 解决编码和解码运算负载不均匀的问 题，通过多个低复杂度的视频编码联合，得到较好的解码重建图像。小波图像编码的研究 也日益引起人们的关注，在静止图像编码方面，最新的j p e g 2 0 0 0 静止图像压缩编码标准已 经采用了小波变换编码，i f i j m p e g 4 编码标准( 第二部分) 也把小波变换用于静态对象的编码 中。 随着i n t e m e t 和无线通信技术的飞速发展，人们在网络上实时获取多媒体数据，特别是 信息丰富的图像和视频数据，已经成为了可能。因此人们越来越关注视频技术在i p 网络环 境中的应用。由于分级编码能够适应网络的带宽不断变化的特性，因此分级编码技术在i p 网络中具有良好的应用前景。下面简要地介绍各视频标准中的分级编码技术。 1 2 视频压缩标准中的可分级编码技术 i p 网络的特点是构造简单、灵活、方便，其最典型的代表就是今天被广泛使用的互联 网，即因特网。然而，在许多实际应用中，由于用户要求不同、终端能力不同、异构网络 的不同支路所能提供的q o s 不同，或网络传输条件的变化( 比如噪声、拥塞等) 等，需要提 供不同质量的图像和视频信号。比如视频会议、视频点播、多媒体数据库浏览等等，使得 原来面向存储的视频压缩算法很难满足实时传输的要求。解决此类问题的最好方法是用单 个编码器产生分层次的压缩码流。对不同层次的码流解码，可以获得不同的图像质量。所 以，在当前的网络时代，视频编码的目标从面向存储转到了面向传输，编码的目的从产生 适合存储的固定尺寸的码流发展到产生适合一定的传输码率的可伸缩性码流。 所谓的可分级编码形象地讲就是让只能够对码流的一部分进行解码的低档次终端也 能够获得基本的视频图像，只是图像的分辨率较低。而使得处理能力高的终端，可以对整 个码流进行解码，获得高分辨率的图像。一个视频编码的码流具有可分级性( s c a l a b i l i t y ) ， 2 南京邮电大学硕士研究生学位论文第一章绪论 是指利用该码流的一部分就可以产生一个对该视频图像的有用表示，即解码器能够根据分 辨率的情况对码流的一部分进行解码。视频的可分级编码通常包括以下3 种情况：s n r 可分 级编码【1 3 】、空间分辨率可分级编码和时间分辨率可分级编码。简单地讲，视频的s n r 可分 级编码就是根据不同的量化精度将视频序列编码成具有相同帧率和空间分辨率的两层；空 间可分级编码根据不同的空间分辨率将视频序列编码成具有相同帧率的两层；时间可分级 编码则根据不同的帧率将视频序列编码成具有相同空间分辨率的两层。 视频的可分级编码思想在m p e g 2 中已经有所体现，但是m p e g 2 和m p e g - 4 早期的可 分级编码机制采用的是基于d c t 的分层编码模式，即视频流被编码为一个基本层和一个增 强层，在解码过程中首先解码基层码流，然后根据解码分辨率的情况，通过解码增强层来 提高解码精度。上述分层可分级编码技术的一个共同特性是：要想使得解码精度得以提高， 增强层码流必须完全被解码，否则不会提高图像解码质量，这样一般不能很好地实现解码 器更细粒度的解码，并且对帧内和预测帧差采用传统的分块d c t 编码所产生的方块效会使 可分级编码不能取得很好的视觉效果，特别对码率较低的情况这种现象尤为明显。 m p e g 组织注意到了网络传输对视频编码的新要求，开始征集更为精细的可分级视频 编码方案，该方案要求将视频编码成一个可以单独解码的基层码流和一个可以在任何点截 断的增强层码流，即实现解码的连续可分级。其中基本层码流能够适应最低的网络带宽要 求，而增强层码流则用来适应网络带宽变化的动态范围。各地的学者提出了许多解决方案， 最终w e i p i n gl i t l 4 】和h r a d h a t l 9 】等人提出的f g s 方案被选中。m p e g - 4 在其修订版本中提出 了该编码方案，它突破了传统视频编码方法的局限性，以其编码的高效性和可分级的灵活 性而受到关注。近年来，人们对该领域进行了积极的研究，不断完善和改进所提出的f g s 编码方案。 1 3 本文的主要工作及内容安排 本文首先介绍m p e g 4 修订版中所给出的f g s 的编解码机制，并重点分析增强层编码机 制部分，实验验证了f g s 的编码特性。同时，在通过对多次试验结果的分析后，发现修订 版中给出的f g s 增强层编码方式存在的不足，针对这些不足之处，提出了新的改进方法， 改善了编码效率。最后，本文实现了对增强层的基于d c t 残差系数重排的二进制算术编码 方法，并且给出了实验结果及分析。 本文分为五个部分。内容安排如下： 第一章本文的绪论部分，介绍了课题的背景、发展过程和现状，以及本文的主要工 作和论文的章节安排： 堕室由堕奎学硕士研究生学位论文 第一章绪论 第二章简单介绍了传统的可分级编码的原理，由此引出f g s 编码技术，并详细介绍了 f g s 的基本框架和比特面编码技术，最后通过实验说明了f g s 的编码性能。 第三章对m p e g - 4 的f g s 的增强层低比特面的编码方式进行了研究，通过对大量实验 数据的分析发现其低比特面编码方式存在的不足，并针对这点提出了改进方案，通过仿真 结果分析了改进方案的编码效率和性能。 第四章实现了基于d c t 系数重排与j p e g 2 0 0 0 的m q 算术编码相结合的增强层编码方 法，文中给出了该算法的流程，并做了详细的阐述。最后通过实验结果对算法特点进行了 分析。 第五章对全文的总结和展望，并提出了对本文工作的改进方向和建议。 4 南京邮电大学硕士研究生学位论文第二章可分级编码技术的介绍和分析 第二章分级编码技术的介绍 近年来，随着计算机、网络以及视频编码等技术的迅速发展，基于因特网的多媒体业 务得到了广泛地研究和应用，日益成为人们获取信息的重要方式。越来越多的用户希望用 p c 和非p c 设备通过互联网或无线网络进行视频通讯和服务，这种随时随地的视频通讯对当 前的视频编码技术提出了更大的挑战。首先是由于网络的异构性( h e t e r o g e n e i t y ) ，即视频服 务器与用户终端之间的网络连接有可能是宽带网络，也有可能像电话线和无线信道这样的 窄带网络，即使同一个用户的连接速度也会由于网络状态的变化而经常发生变化。这要求 视频服务器能够根据用户的连接速度提供最好的服务质量；其次是在网络通信中，同一群 组中的各个用户终端机器类型、操作系统、c p u 处理能力等方面均存在着巨大差异；最后， 一些网络结构( 如：i n t e m e t 等) 无法提供视频流业务所需要的q o s 保证。这些问题的存在使 得面向传输的视频编码技术成为了当前编码领域中的研究重点和热点，解决这些问题的最 有效的办法是实现可分级的视频编码技术。 2 1 可分级编码技术的必要性 在传统的视音频服务中，数据是按单一的速率发送的，即非可分级编码方式，而在因 特网中，不同的主机通常以不同的速率连接到因特网上，因此，传统的单一速率的发送视 频数据的方式不能满足这种多媒体应用的要求。 图2 - 1 视频多点播送图 如图2 1 描述的是以单一速率进行视频多点播送( m u l t i c a s t ) 的情形，网络中的各个终端 主机分别以局域网、因特网和i s d n 三种方式连接到视频服务器上，如果该服务器为了保 证最高的视频服务质量，以6 m b i t s s 的速率进行编码，则网络中只有局域网的终端用户能 够正常地接收到该节目，其他的终端用户都将发生网络堵塞。反之，如果该视频服务器为 了确保所有的用户都能够接收到该节目，以6 4 k b i t s s 的速率进行编码，则网络中只有i s d n 用户能够获得他认为最满意的视频图像质量，其他用户只能获得被认为的低质量视频服 5 雨京邮电大学硕士研究生学位论文 第二章司分级编码技术的介绍和分析 务，造成网络资源的极度浪费。另外，即使是同一个终端用户在同一个时刻，接收相同的 视频流，实际的数据传输速率也存在着较大的波动。传统的单一速率发送视频数据的方式 很难适应如此复杂的网络带宽的特性。处理这个问题有两种方法：码流转换( t r a n s c o d i n g ) 和联播( s i m u l c a s 0 方式。码流转换先由视频编码器产生一个高码率的码流，在网络节点处 再根据实际的可用带宽将码流转换到特定的码率下，这种方法会增加视频服务器的负担， 并且需要特定网络结构的支持。其次，将码流从高码率转换到低码率也会造成额外的视频 质量损失。另外一种联播方法就是对于同一个视频节目生成多不同速率的码流，并保存在 服务器上。在传输时，服务器会根据终端用户接入的带宽要求发送不同码率的码流，但是 这种方法也有明显的不足，当存储的码流个数较小时，码率的变化被局限在几个特定的码 率中，不能充分利用信道的容量，适应带宽的能力就很有限。而当码流的个数过多时，视 频编码器在编码时就要编多种码率的码流，计算量很大，会对视频服务器的存储容量造成 很大压力。另外由于终端用户所使用的设备的多样性，为了方便携带一些非p c 设备所用 的显示屏幕尺寸小，分辨率低，这就要求视频服务器能够提供不同分辨率的视频服务。而 且视频服务器要求终端设备具有足够的计算能力来解码压缩的视频数据，而有些终端用户 的设备达不到这样的要求，这就要求视频服务器提供的视频服务能适应用户设备的不同计 算能力。最后，一些网络结构( 如：因特网等) 无法提供多媒体业务所需的q o s 保证。诸多 研究表明分级视频编码技术可以很好地解决这些问题。 2 2 传统的可分级编码技术 传统的可分级编码算法就是将图像编码成几种不同质量的码流，这几种码流具有重叠 性，每一级码流可以和其对应的低一级组成更高一级的视频图像，因此具有很强的灵活性， 根据网络的带宽状态随时将分级图像组合成适应网络带宽的码流。而且具有很强的鲁棒 性，如果出现丢包或者是误码时，只会影响其中一层图像而不会影响整帧图像的质量，使 接收到的图像质量还可以接受，终端用户也可以根据自己设备的计算能力和现实分辨率等 特性，选择其中的一层或几层进行解码，得到和自己设备特性相对应的视频图像质量。 图2 - 2 分级视频编码图 6 南京邮电大学硕士研究生学位论文 第二章可分级编码技术的介绍和分析 图2 2 描述了可分级编码器的结构。输入的视频被压缩成一组质量呈金字塔的层状码 流l o 、l l 、l 2 、l 3 。其中l o 为基本层码流，l 1 、l 2 、l 3 为增强层码流。解码器解码l o 得 到含有基本的解码图像，在l o 的基础上再解码l l ，得到增强层l 的解码图像，每次不断 地加入后面的增强层码流，使得最后解码出来的重建图像质量不断得到提高。 对数字视频进行分级编码的方法有很多，根据m p e g 2 网和h 2 6 3 + 5 】视频编码标准中 的规定，基本的分级编码方法主要有：空间分级( s p a t i c a ls c a l a b i l i t y ) 、时间分级( t e m p o r a l s c a l a b i l i t y ) 、s n r 分级( s n rs c a l a b i l i t y ) 1 3 】等，下面对这三种分级编码方式进行介绍。 1 空间分级编码( s p a t i c a ls c a l a b i l i t y ) 空间可分级编码的目的是为了实现图像不同大小服务的兼容性。空间分级编码先在原 始图像中得到低分辨率的图像，该低分辨率图像可以编码得到基本层。空间可分级编码的 结构如图2 3 ，从原始图像减去经过内插的抽样图像得到差值图像，再对差值图像进行编 码得到增强层码流。在解码端，如果由于多种原因，如：带宽条件、终端的处理能力和显 示能力的限制等只能利用基本层的码流数据，那么仍然可以得到低分辨率的视频图像。而 对于那些没有任何限制的终端来说，可以利用全部码流数据( 基本层和增强层码流) 进行解 码，得到和原图像空间分辨率相同的视频图像。 图2 - 3 编码框架示意图 2 时间可分级编码( t e m p o r a ls c a l a b i l i t y ) 时间分级编码主要目的是为了实现不同帧率的视频服务的兼容。时间分级编码的基本 层和增强层具有相同的s n r 和空间分辨率。基本层的图像进行运动估计时，其参考帧只能 在基本层中选取，而增强层的图像进行估计时，可在增强层也可在基本层选取参考帧。由 增强层和基本层两部分数据重建的图像帧率要比只有基本层数据重建的图像帧率要高。 3 s n r 分级编码【1 3 1 s n r ( 信噪比) 的可分级性是以相同的帧率和空间分辨率把原始视频数据压缩成两层， 但是它们的量化精度不同。在编码的时候，s n r 分级编码的编码器在对离散余弦变换系数 进行量化的时候，先采用量化级较大的矩阵，得至i j s n r 较低的基本层数据。对于增强层则 有两种方法：一种是将基本层数据的量化误差用一个量化级较小的量化矩阵进行量化，把 第二次量化的结果作为增强层数据；另一种方法是将解码图像与原始图像的差值再进行一 7 南京邮电大学硕士研究生学位论文第二章可分级编码技术的介绍和分析 次d c t 变换，并用量化级数小的量化矩阵进行量化。增强层码流和基本层一起传输到解码 端，从而产生解码图像的增强图像，基本层提供基本的图像质量，基本层和增强层相结合 可提供主观质量较好的重建图像。 图 像 质 量 高 中 差 e 1 e 2 网络带宽 图2 4 传统的分级编码的分级示意图 在视频的传统分级编码技术中，视频图像信息被分为有限的层数，如增强层e 0 、e 1 、 e 2 、e n ，解码器接收到的增强层码流越多，解码图像的质量也就越高，但是在某个特 定的增强层上，如e 1 ，只有该增强层的所有码流被解码端完全接收并正确解码后，该增强 层才能有效地提高解码图像的质量，否则该增强层的码流完全不起作用，因此这种分级编 码的分级能力相当于每个增强层的比特数。而对于网络带宽的变化来说，这种分级步长( 码 率差别) 太大，不能有效地利用带宽。如2 - 4 图所示，当网络的带宽大于e l 而小于e 2 时，解 码图像的质量只相当于带宽为e l 时的视频图像质量。 根据以上的分析可以知道这些传统的分级编码的一个共同缺点就是：只有在增强层被 完全传输、接收、解码的情况下，增强层才能提供增强效果。这个缺点导致了在较宽的带 宽中这些分级编码只有两级阶梯状的视频效果，所以这些传统的分级编码并不适合为自适 应的网络带宽提供不同视频效果的流媒体应用。为此，人们提出了f g s 编码机制，下面对 m p e g - 4 中的f g s 编码技术进行详细的介绍。 2 3m p e g 4 中f g s 可分级编码技术 由上一节可知，传统的分级编码中不同层的码率差别较大，因此又称之为分层编码 ( l a y e r e dc o d i n g ) ，它们在网络流媒体应用中存在码率控制力度粗糙、信道利用率低等缺点。 图2 5 是不同视频编码机制的性能示意刚1 4 1 ，从图中可以看出，当信道速率由低向高 变化时，普通分级编码的接收质量并没有随之改善，而是当码率增加到一定等级之后，才 得到相应的改善。普通分级编码的这种缺点限制了它在网络视频流传输中的应用，其原因 8 南京邮电大学硕士研究生学位论文第二章可分级编码技术的介绍和分析 在于增强层采用了和基本层相同的编码器结构，因此每一个增强层码流和基本层码流一 样，也必须等到全部接收并且正确解码后才能对重建图像质量的改善产生贡献，否则就没 有任何效果。为了适应i p 网络的传输性能，提高信道带宽的利用率，需要使分级编码的码 率控制粒度降低到足够精细的程度，精细粒度分级编码的思想应运而生。h r a d h a 等【1 9 】提 出了改进信噪比分级编码的精细力度分级编码( f g s ) ，基本方法是对增强层d c t 残差系数 采用比特面编码( b i tp l a n ec o d i n g ) ，形成嵌入式码流，使得增强层码流可以部分解码，从 而达到比特级码流分级粒度。经过m p e g - 4 专家组大量的核心实验比较后【2 1 】- 【2 3 1 ，f g s 最 终被m p e g - 4 接收，成为流媒体视频压缩的国家标准【1 4 1 2 0 l 。 率失真曲线 接收质 好 中等 差 带宽 图2 5 不同视频编码机制的性能示例 高 2 3 1f g s 分级编码技术 本节首先给出f g s 的系统框架、编解码器结构图，然后详细地介绍了增强层的比特面 编码过程，并给出f g s 增强层码流的结构，最后通过实验来说明f g s 编码机制的特性。 2 3 1 1f g s 系统框架和编解码结构分析 f g s 增强层口f g s 增强层码流在实时传输中国 一编码端一一。担颊流服务器一解磁一j 增强层 ：j 增强层j ：增强层i f g s 方案的基本框架如图2 6 所示，在编码端对视频数据进行编码时，产生一个基本 9 南京邮电大学硕士研究生学位论文 第二章可分级编码技术的介绍和分析 层码流和一个完整的嵌入式增强层码流。基本层采用常用的基于运动补偿预测的d c t 编 码，它包含了最重要的，质量较低的视频信号，因此对于基本层要能保证它能完全地在网 络上传输，以保证解码端得到最基本的视频质量。嵌入式的增强层码流保存着基本层的量 化差值，所谓的嵌入式码流是指在码流的任意位置截断，解码器均能恢复出一定质量的视 频信号，这就使得当网络带宽变化时( 增强层码流可能在某处截断) 视频信号的改变是渐进 的、平滑的。图2 6 中灰色部分为增强层在传输中由于网络带宽变低等多种原因截断后送到 解码端的增强层码流。正由于f g s 的这种结构，保证了采用f g s 方案生成的码流可以在一 个很大的码率范围内自适应调整，能很好地适应复杂的带宽波动。 视频 ( a ) 编码器 图2 7f g s 编解码器的结构图【1 4 】 f g s 的基本编解码器结构如图2 7 所示，上面部分为f g s 增强层的处理流程。f g s 编码时，基本层采用的是m p e g - 4 基本模式编码，并输出基本视频流。增强层的输入信号 是原始v o p 和重建v o p 的差值，编码时增强层编码器首先将二者相减，并对差值进行8 8 的d c t 变换，然后再对d c t 残差系数进行比特面编码。f g s 增强层中的比特面编码包括 比特平面移位，搜索最大值( m a x ) 和比特面变长编码( v l c ) 3 部分。其中，比特面移位操作 是将6 4 个d c t 系数进行加权运算，因为各个部分的d c t 系数的重要性不一样，所以可 以通过移位来增加感兴趣区域的权值，使其处于码流中前面的位置而不易被丢弃；m a x 运 1 0 南京邮电大学硕士研究生学位论文第二章可分级编码技术的介绍和分析 算则是对d c t 系数求最大值，从而确定比特面的个数；比特面编码则是对每一个比特面 进行变长编码，关于比特面编码技术将在2 3 1 2 作详细介绍。在f g s 增强层的码流结构 中，根据比特面的重要性，将最重要的比特面放在码流的前端，而将次要的比特面放在后 端，这样在网络发生拥塞时就可以先丢弃部分不重要的比特面，以减缓网络负载，但解码 端对接收的码流仍然可以正常解码，只是相应的重建图象质量会有所下降。下面将简要地 介绍f g s 增强层截断码流的解码过程。 在f g s 的典型应用中，f g s 解码器的输入是被截断的增强层码流。由于码流被截断， 在解码端往往只接收到码流的前面部分，每一帧码流的后面部分被丢弃。在解码时，首先 对码流由前向后不断检测3 2 比特的数据，如果在某个位置检测到3 2 个比特是 f g sv o ps t a r tc o d e ( 该字段标志着一帧增强层码流的开始) ，m p e g 4f g s 的标准设置为 0 x 0 0 0 0 0 1 8 9 ，解码器要么继续解码直到遇到f g sv o ps t a r tc o d e 为止( 表示已经是下一帧 码流的开始) ，要么就将f g sv o ps t a r tc o d e 以前的比特全部丢弃。如果这3 2 个比特不 是f g sv o ps t a r tc o d e ，那么表示前8 个比特是当前被解码帧的增强层信息比特。接下 来解码器继续将指针向后移动一个字节，继续检查下面3 2 个比特的数据，寻找码字 f g sv o ps t a r tc o d e 。 2 3 1 2f g s 比特面编码技术 本节将对f g s 的比特面编码方法作详细的介绍。f g s 标准在对增强层进行编码时，从 原始的d c t 系数中减去基本层反量化后d c t 系数来获得d c t 残差系数，由于量化过程是不 可逆的，所以图像的增强层实际上是由量化误差组成的。最后对一帧中的8 x 8 子块按从上 到下从左到右的顺序使用基于d c t 的比特面编码技术。 在传统的d c t 编码中，量化后i 拘d c t 系数囝1 【2 5 1 用游程( r u n l e v e l ) 编码。非零i 约d c t 系数前面的零的个数称为游程长度( r u n ) ，非零的d c t 系数的绝对值称为“l e v e l 。比特 面编码鲫和游程编码最大的不同是把d c t 系数看作是二进制的码字，而不是一个十进制的 整数值，也就是说不采用传统的十进制的游程编码技术，而是对这些二进制的比特位进行 零游程编码。 基于d c t 的比特面编码先找到残差系数的最大值，以确定总的比特面数m ，将z i g - z a g 扫描后的各个8 8 子块表示成m 位的二进制数，每个子块的每一个比特面组织成( r u n ，e o p ) 符号集并通过哈夫曼编码形成输出码流。从最高比特面( m s b ：m o s ts i g n i f i c a n tb i t - p l a n e ) 开 始，按以下方式组成该符号： ( 1 ) 在比特1 之前的0 的个数计作r u n 。 1 1 南京邮电大学硕士研究生学位论文第二章可分级编码技术的介绍和分析 ( 2 ) 该l 是否是比特面最后一个比特1 ，如果是，贝j j e o p 等于1 ，如果不是e o p ( e n d - o f - p l a n e ) 为0 ，表示比特面编码还没有结束。如果某个块的一个比特面全部是0 ，则直接用v l c 码表 中的符号a l l z e r o 来表示。 下面举例说明比特面编码的过程，假定一个块的相关系数的差值如图2 8 所示( 没有列 出的系数均为0 ) ，将这个块z i g z a g 扫描以后得到如下的一维序y u + 1 3 ，1 1 ，0 ，o 。+ 1 7 ，0 ，0 ，0 ，3 ，0 ，0 。 图2 - 8 残差系数块( 右上角) 表2 1 是该相关系数差值幅度的比特面表示。最高的非零比特面为4 ( 最大差值得绝对值 是1 7 ，其二进制表示为1 0 0 1 ) ，即m 为4 。每个比特面包含6 4 个0 和1 ，采用( r u n ，e o p ) 对这 一系列的0 和l 进行编码，再对每个( r u n ，e o p ) 进行v l c 编码。表2 2 列出了每个比特面经过 零游程编码后产生的字符，b p 0 的第一个1 前面有4 个0 ，并且这个l 是最后一个非零比特， 因此游程编码后为( 4 ，1 ) ，同时该位也是相关系数差值“+ 1 7 的最重要比特平面( 出现第一 个比特1 的比特面) ，因此该相关系数的符号也要编码，按照这样的原理进行其它比特面的 编码工作。 表2 1 残差系数的比特面( 幅度) v a l u e+ 1 3- l lo 0+ 1 7000- 30 b p 4 表2 2 游程编码后的值 比特面序号 编码值 o ( 4 ，1 ) ( + ) ( o ，0 ) ( + ) ( 0 ，1 x 一) 2 ( o ，1 ) 3 ( 1 ，o ) ( 6 ，1 * ) 4 ( o ，o ) ( o ，o ) ( 2 ，o ) ( 3 ，1 ) 以上是描述了对一个块进行编码的过程。下面简要介绍对整帧残差图像进行比特面编 1 2 雨京邮电大学硕士研究生学位论文第二章。司分级编码技术的介绍和分析 码的过程： ( 1 ) 在当前残差帧中找出残差系数的最高位( 即最重要的比特面) ； ( 2 ) 从包括m s b 的比特面开始对所有的比特面按上述的方法进行编码。 在解码端，相关系数的差值通过对比特面的解码获得，再将其加到基本层解码获得的 相关系数上，获得视频数据。如果增强层由于网络带宽原因被截断，相关系数的d c t 差值 将不能准确恢复，例如表2 1 例中的增强层码流数据，从b p l 开始被截断，只有b p o ，b p l ( 包 括符号位) 被解码，没有被解码部分的比特面上的值全部是0 ，截断后的系数在各个比特面 上的情况如表2 3 所示，解码后的d c t 差值为：+ 8 ，8 ，0 ，0 ，+ 1 6 ，0 ，0 ，0 ，0 ，0 ，0 ，。 表2 - 3 截断码流解码后的值 s e c o n dm s bl e v e id i s t r i b u t i o n 161 1 1 6 2 12 63 13 64 14 65 1 弱6 1 a no t h e rl e v e id i s t r i b u t i o n 1 591 31 72 12 52 93 33 74 1 4 54 9 日d i s t i b u t i o no f ( r u n e o p ) s y m b o l s 图2 9 ( r u n ，e o p ) 的统计特性表q | f g s 标准中，将子块的每个比特面游程编码完以后，对产生的( r u n ，e o p ) 进行哈夫 曼编码，这个过程是通过查询v l c 码表进行的。标准中一共给出了四个码表，分别对应每 个子块的m s b ，m s b l ，m s b 一2 和其他的比特面。码表中的m s b 平面是针对于8 8 子块而 言的，并不是每个8 x 8 的d c t 块都含有相同数目的比特面。对于每个子块来讲，m s b 平面 是一个非全零的比特面，每块的m s b 都不相同。由于子块的每个比特面有6 4 个比特，e o p 1 3