（信号与信息处理专业论文）svc分层视频传输的自适应ldpcuep方法研究.pdf

南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表 示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检 索；可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容 和纸质论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院（筹）办 理。 涉密学位论文在解密后适用本授权书。 研究生签名：_ 日期：_ 研究生签名：_ 导师签名：_ 日期：_ 南京邮电大学 硕士学位论文摘要 学 科、专 业：工学工学 信号与信息处理信号与信息处理 研 究 方 向 ：图像处理与多媒体通信图像处理与多媒体通信 作 者：2009 研究生 李丽李丽 指导教师：董育宁 题 目：svc 分层视频传输的自适应 ldpc-uep 方法研究 英 文 题 目 ： study of adaptive ldpc-uep scheme for svc video transmission 主 题 词：h.264/svc 可分级视频编码 ldpc 码 不等差保护算法 视 频传输 key words: h.264/svc scalable video coding ldpc coding uep algorithms video transmission 南京邮电大学硕士研究生论文 摘要 i 摘要 近年来，随着计算机、网络以及多媒体等技术的发展进步，视频通信业务以其直观、 生动的特性受到人们越来越多的关注。视频传输在网络传输方面所占的优势也越来越明 显，占据了十分重要的地位，然而传送包含视频信息的信号需要较高的网络带宽，在非常 有限的网络资源条件下，最大限度地满足终端多种应用和多层次的需求，成为了视频传输 研究的一个重要方向。 现今国际上最新的视频编码标准是基于 h.264/avc 扩展的可伸缩视频编码（svc） 标准，它提供了在空间、时间和质量上的可分级特性，取得了比以往的视频编码标准更高 的编码效率。结合可伸缩码流和传输系统两者的特性对整个视频传输系统性能的提高和用 户接收质量的改善是非常重要的。 本文首先简要介绍了分级视频编码标准的发展概况， 并以此为基础说明了基于 h.264 的可分级编码技术，重点分析了可分级编码中的时间、空间、质量三种分级特性和关键技 术。其次对几种典型的纠删码进行了介绍，接着提出了基于 ldpc 码的 svc 不等差保护 的算法，对 svc 各层码流根据其重要性进行不同程度的保护，并且进行了仿真和分析。在 以上分析和研究的基础上，提出采用 ldpc-uep 实现 svc 分层视频传输的自适应保护方 案：根据信道带宽条件的不同，当信道条件差的时候，可以减少分级视频发送的层数，加 大信道编码的保护；当信道条件较好的时候，可以增加发送的分级视频的层数，适当减小 信道编码的保护，使得用户接收到的视频质量最好。并对此方案进行仿真实现和分析。最 后，对全文的工作进行了总结，并展望了今后有待进一步完善的工作。 关键字：h.264 分级视频编码标准 不等差保护算法 视频传输 南京邮电大学硕士研究生学位论文 abstract ii abstract in recent years, as the development and progress of the computers, networking and multimedia, video communication service has been popular among people because of its vivid and picturesque characteristic. also the advantages of video transmission in the network transmission are more and more obvious, and occupy an important position. transmitting the signal that contains video information requires high network bandwidth. so in the very limited wireless network conditions, to meet the multiple applications and multi-level needs of terminal is an important direction of the video transmission. scalable video coding (svc) based on h.264/avc extension is the latest international video coding standard. it provides scalable coding features of space, time and quality, and acquires higher coding efficiency than previous video coding standards. combination of the characteristics of the transmission system and the scalable characteristics of the video stream plays an important role on improvement of the video transmission system performance and the users receiving quality. this thesis first briefly describes the development of scalable video coding standard and the main techniques of temporal,spatial and quality scalability in h.264/svc. secondly, it introduces some typical erasure codes and provides the unequal error protection algorithm of svc based on ldpc codes. thirdly it gives different protection schemes of svc codes, and does the simulation experiments and analysis. on the basis of the above analysis and research, this thesis develops the adaptive protection scheme based on ldpc codes for svc video transmission: when the channel conditions are poor, we can reduce the number of sending layers of scalable video and increase the protection of the channel coding ; when the channel conditions are better, we can increase the number of sending layers of scalable video and reduce the protection of the channel coding , so as to make the users receive better video quality. at last the summary of this thesis is made, and the further improving work in the future is gived. key words: h.264 scalable video coding standard unequal error protection algorithm video transmission 南京邮电大学硕士研究生学位论文 目 录 iii 目 录 摘要 . i abstract . ii 目 录 . iii 第一章 绪论 . 1 1.1 研究背景与研究意义 . 1 1.2 本文研究内容 . 2 1.3 本文结构安排 . 3 第二章 基于 h.264 的分级视频编码技术 . 4 2.1 分级视频编码标准的发展概况 . 4 2.1.1 基于 mpeg-2 的可分级视频编码 . 4 2.1.2 基于 mpeg-4 的可分级视频编码 . 5 2.1.3 基于 h.264/avc 的可分级视频编码 . 5 2.2 可分级视频编码标准 h.264/svc . 6 2.2.1 时域可分级 . 7 2.2.2 空域可分级 . 8 2.2.3 质量可分级 . 10 2.2.3 混合可分级 . 11 2.3 jsvm 参考模型简介 . 12 2.4 本章小结 . 14 第三章 基于 ldpc 码的不等差错保护 . 15 3.1 信道纠删码 . 15 3.1.1 rs 码 . 16 3.1.2 ldpc 码 . 16 3.1.3 喷泉码 . 17 3.2 ldpc 码的研究 . 18 3.2.1 低密度纠删码 . 18 3.2.2 ldpc 码的不同构造 . 19 3.3 h.264/svc 的 rtp 封装算法 . 21 3.3.1 h.264 的分层结构 . 21 南京邮电大学硕士研究生学位论文 目 录 iv 3.3.2 rtp 打包 . 23 3.4 h.264/svc 的不等差错保护 . 26 3.4.1 基于 ldpc 码的 svc 不等差错保护方案 . 27 3.4.2 实验仿真与结果 . 27 第四章 联合分层视频和 ldpc-uep 的自适应视频传输 . 32 4.1 可分级视频的传输 . 32 4.1.1 视频传输中的失真计算 . 32 4.1.2 分级视频的传输仿真 . 33 4.1.3 ldpc 码的纠错性能 . 36 4.2 联合分级视频和 ldpc 码的自适应视频传输的方案 . 37 4.2.1 系统框图 . 37 4.2.2 自适应 svc 视频传输方案 . 38 4.3 仿真实验及分析 . 42 4.4 本章小结 . 46 第五章 总结和展望 . 47 5.1 本文总结 . 47 5.2 展望 . 48 参考文献 . 49 在读研究生期间发表论文 . 52 致 谢 . 53 南京邮电大学硕士研究生学位论文 第一章 绪论 1 第一章 绪论 1.1 研究背景与研究意义研究背景与研究意义 随着ip网络，第三代移动通信系统（3g）和第四代宽带移动通信系统（4g）技术的发 展，以图像和视频作为主要传输对象的多媒体通信显得越来越重要，并成为了当今通信领 域的研究重点和热点。因为视频数据的容量大，在网络上传输时所占带宽较大，所以通常 需要对视频数据进行压缩编码以提高传输的效率。近十多年来，视频压缩编解码技术不断 发展，视频编解码标准的制定也日渐成熟。itu-t视频编码专家组（vceg）和iso/iec运 动图像专家组（mpeg）是现今制定视频编码标准的两大主要国际组织1。2001年，新一 代的视频标准h.264由国际电信联盟视频编码专家组和国际标准化组织运动图像专家组一 起成立的联合视频组jvt（joint video team）共同开发。 随着网络技术的迅速发展，在实际应用中不同用户所需的视频服务不同、视频传输条 件的不同，用户对视频编码的要求不同2。网络的异构性是指由于网络资源的分布不均匀， 用户在接入网络传输数据时获得的网络可用带宽、丢包率等不相同。视频传输通常要求用 户的可用带宽不低于视频解码的下限值，以保证解码端的重建视频质量和视频播放的流畅 性。网络最恶劣条件下的可用带宽的下限值是可使用户在较低的视频质量的条件下，视频 能流畅地播放。随着信道条件的逐渐好转，可使得用户接收的视频质量逐步得到改善。这 些都要求编码后的视频码流具有良好的可分级性。 为了使视频压缩后的数据信息能更好地适应各种网络的传输，要求视频压缩编码技术 不再是在单一码率下追求压缩效率，而是在保证高压缩效率的同时，使编码后的码流的码 率灵活多变，让它具有较好的扩展性来适应用户的不同需求和网络带宽的变化3-4。满足这 一特性的视频压缩编码技术就是可分级视频编码（scalable video coding，svc） 。 svc技术5是一种具有分级特性且高效的视频编码方法。原始视频序列经svc编码后 产生的码流具有一个基本层和多个增强层，其中基本层包含最基本的视频重建信息，接收 到基本层就可恢复出低质量的视频序列；而增强层则包含重建视频的细节信息，随着接收 的增强层数据的增加就可以结合基本层来逐渐恢复出质量越来越高的视频序列，从而显示 出视频的可分级特性。svc技术将视频流划分为多个帧率、多个分辨率和多个质量层视频 码流，这样得到的码流就不是传统的码率固定而是灵活多变的，这也意味着用户终端可以 从收到的svc码流中抽取出满足网络变化和一定用户需求的不同码率和分辨率的码流，并 南京邮电大学硕士研究生学位论文 第一章 绪论 2 从中恢复出具有不同帧率或分辨率的视频图像。 网络和多媒体通信技术的快速发展也使得视频压缩编码技术得到了较快的发展，大大 提高了其编码性能，尤其近年来新提出的h.264/avc扩展的可分级视频编码标准（svc） 。 可分级视频编码标准支持视频流在时间、空间和质量上的扩展，提供了更好的网络传输、 多用户终端适应性能。因其灵活的可分级性和在不同变化网络条件的适应性，svc技术在 网络上的应用以及网络传输成为了研究的热点。 1.2 本文研究内容本文研究内容 现今以视频和图像为主要传输对象的多媒体通信系统已成为当今通信领域的研究热 点和重点。由于在视频压缩编码过程中信息的冗余大大减少，提高了编码效率的同时但也 使得压缩后的视频数据在传输过程中对信道误码非常敏感，因此提高视频图像的传输质 量、降低误码对图像质量的影响成为了多媒体传输技术中的关键问题。 在 svc 视频传输中，svc 将原始视频编码生成功能具有不同时间层、空间层和质量 层的码流，同时这个码流可以分为基本层和多个增强层码流，其中基本层码流在解码的过 程中是必需的，码率一般较；增强层码流则可以根据需要在任意比特位被截断甚至可以不 进行传输， 而增加接收的增强层的比特数， 接收端重建视频的质量也会逐渐提高。 然而 svc 码流易受传输误码和丢包的影响，在信道状况不好的网络环境下，需要利用信道编码提高 svc 码流的鲁棒性。 本文针对 svc 编码后生成的码流， 根据其各层码流的重要性不同设计了一种不等差错 保护方案。 该方案将编码生成的 svc 码流进行 rtp 封装， 分离基本层和各个增强层的 rtp 封装数据，然后根据各层信息的重要性不同，对不同层采取不同的信道保护策略（ldpc 码不同码率） ，对于基本层信息加大信道冗余保护，对于增强层信息则可以相对减少信道 冗余保护，从而对分级视频进行不均等差错保护（uep） ，实验证明在所加信道冗余相同的 情况下，uep-ldpc 保护方案比 eep-ldpc 保护能使重建视频获得更好的效果。 本文创新之处在于：在不等差错信道保护的基础上，提出针对 mgs（medium-grain quality scalable，中级粒度可分级性）分层码流的自适应 ldpc-uep 方法。当网络传输的 信道条件不稳定且信道状况较差的时候，我们需要采用信道编码技术对传输数据进行保护 以此来提高码流数据的抗差错能力，用的较多的是前向纠错编码（fec）技术。现有的研 究多注重利用信道码率的不均等分配来提高视频传输的性能，没有考虑在有限信道资源下 对传输信源码流多少的选择。本方案在一定的信道资源约束条件下，综合考虑了信源码流 南京邮电大学硕士研究生学位论文 第一章 绪论 3 的层数选择和信道码率分配：当信道条件差的时候，可以减少分级视频发送的层数，加大 信道编码的保护；当信道条件较好的时候，可以增加发送的分级视频的层数，适当减小信 道编码的保护，使得用户接收到的视频质量最好。 1.3 本文结构安排本文结构安排 本论文的各章节内容安排如下： 第一章 介绍了本论文的研究背景，主要研究内容和文章的章节安排。 第二章 首先介绍了可分级编码标准的发展状况，着重介绍了基于 h.264 的可分级编 码技术，重点分析了时间、空间、质量三种分级特性和关键技术。最后介绍了可分级编码 的参考软件 jsvm 中的类库和提供的工具。 第三章 简单介绍了几种信道纠删码技术，着重分析了几种 ldpc 码的性能。针对网 络中的 svc 视频传输，利用低密度奇偶校验码，提出具有不等差错保护（uep）的编码方 案：通过对 svc 视频码流进行 rtp 打包，分离基本层和各个增强层的 rtp 封装数据，然 后根据各层信息重要性的不同而采取不同的信道保护力度（ldpc 码不同码率） 。并通过仿 真实验，验证了 uep 方案相比 eep 方案的优越性。 第四章 在上一章研究的基础上，考虑在一定的信道资源约束下，对信源选择和信道 码率分配的问题，提出针对 mgs 码流的自适应 ldpc-uep 方案，并进行仿真实验分析。 第五章 总结本文的研究成果，并给出结论，并提出下一步的研究方向。 南京邮电大学硕士研究生学位论文 第二章 基于 h.264 的分级视频编码技术 4 第二章 基于 h.264 的分级视频编码技术 2.1 分级视频编码标准分级视频编码标准的发展概况的发展概况 由于网络的异构性，各个网络终端的处理信息能力各不相同，需要为不同的环境提供 不同的压缩视频流。传统的视频压缩编码后生成的码流仅仅具有单一固定的码率，这些具 有单一码率的码流在进行网络传输时面对两个问题： （1）不能同时面向异构网络进行视频 传输， （2）无法更好地适应网络传输带宽的变化。而这些问题可以用可分级编码技术解决。 视频的可分级性就是通过分级编码技术后可以同时生成具有原始视频的不同分辨率或不 同质量的码流，即原始视频经过分级编码后生成的码流包含一个基本层和几个增强层，其 中基本层码流包含了最基本的视频重建信息，接收到基本层码流就意味着能够恢复出具有 最基本分辨率和最基本质量的视频序列，同样这时的视频质量也不是很高；而增强层中则 包含着基本层的量化差值信息，在接收端恢复出的视频质量会随着增强层的逐渐接收而不 断提高。根据网络带宽和信道状况，用户可以选择传送码流的基本层和若干个增强层，以 获得最佳的视频效果。 在近十几年来，国际上越来越多的研究机构在对可分级视频编码技术产生浓厚的兴 趣，并对其进行的研究工作也越来越多，如 h.263+、mpeg2、mpeg4 和 h.264 这些现行 的国际视频编码压缩标准也对可分级视频编码技术进行了研究，下面就介绍一下这些年分 级编码的发展概况。 2.1.1 基于基于 mpeg-2 的可分级视频编码的可分级视频编码 mpeg-2 中首次说明了可分级编码技术， 可分级压缩编码标准也是由它开始。 mpeg-2 视频编码标准增加了可分级性(scalability)编码与传输， 这也是它在 mpeg-1 标准基础上的 突出特点和重大改。这里的可分级性思想就是在进行视频传输时，可以对那些对解码视频 图像非常重要的信息（即所谓的基本层信息）加大保护以保证其传输过程中的正确性，而 对那些对解码视频图像次要信息（即可称之为增强层信息）就可以适当降低对其的保护。 这样一来如果增强层信息部分丢失或者全部丢失，只要保证视频基本层的信息正确接收， 因基本层中含有恢复视频所需的最基本信息，接收端仍然能够从其中重建出最基础的人眼 可以接受的视频图像。 南京邮电大学硕士研究生学位论文 第二章 基于 h.264 的分级视频编码技术 5 2.1.2 基于基于 mpeg-4 的可分级视频编码的可分级视频编码 mpeg-4 支持的可分级性编码类型有：时域分级（temporal scalability） 、空域分级 （spatial scalability）和支持时域和空域的混合分级。其中时域分级用来用来扩展时间分辨 率，空域分级则用来扩展空间分辨率。每一种分级类型至少有两层视频对象层：基本层和 增强层。基本层中包含了视频码流的最基本信息，而增强层中则有相对基本层更加细化的 量化差值信息，为重建视频得到更好的视频质量提供了更高的分辨率和细节。时域分级是 用增强层来增加基本层中感兴趣区域的时域分辨率；空域分级使用增强层来增加基本层的 空域分辨率。 2.1.3 基于基于 h.264/avc 的可分级视频编码的可分级视频编码 2003 年 5 月， 由 itu-t 的视频专家组 （vceg） 和 iso/iec 的活动图像专家组 （mpeg） 成立的联合视频小组（joint video team，jvt）正式公布了新一代视频压缩标准 h.264/avc 视频压缩标准，其性能比以往视频编码标准更为优越。h.264/avc 标准 6相比 之前的视频编码标准如 mpeg-4 和 h.263+进行了很大的改进， 其数码率在重建视频相同质 量的情况下可以降低一半左右，它不仅保留了以前编码标准所具有的优点，还大大地提高 压缩编码的效率和传输的可靠性。 h.264/avc 标准一个突出的特点是定义了视频编码层（vcl，video coding layer）和 网络提取层（nal，network abstraction layer） 。vcl 包含宏块和片的语法定义，用来描 述所要传输的视频内容数据； nal 主要是定义一个通用格式为数据的封装格式， 为将 vcl 产生的比特字符广泛应用到面向各种不同网络环境中提供了基础。这种分层结构的优势在 于（）网络提取层对视频信息的压缩处理、格式封装和优先级控制进行了强化处理，同 时增强了该视频编码标准的兼容性，解决了网络质量的适配。 （）视频编码层专注于改 进各种成熟的压缩技术和先进算法，通过对视频编码的各个环节进行大量细节的改进来提 高整个压缩编码的性能，从而使得到视频编码流具有高压缩性和可分级特性，也提高了视 频编码的效率。 h.264/avc 视频编码标准中的视频编码层遵循基于块的混合视频编码方案， 通过宏块来描述每个编码图像，它的基本原理与早期的视频编码标准相似，在熵编码、运 动估计和变换编码等方面使用帧内预测技术，或者利用运动矢量来表示视频序列中的各帧 的运动内容，用先进的编码技术提升编码系统的性能。h.264/avc 的分层结构如图 2-1 所 示。 南京邮电大学硕士研究生学位论文 第二章 基于 h.264 的分级视频编码技术 6 视频编码层（vcl） 数据分割 控 制 数 据 网络提取层（nal） h.320h.324其它h.324mh.323/ip 图 2-1 h.264 的分层结构 2.2 可分级视频编码标准可分级视频编码标准 h.264/svc 2004 年 10 月，因 h.264/avc 标准具有优异的压缩编码性能，mpeg 组织决定在 h.264/avc 的基础上做扩展，制定新一代的可分级视频标准 svc。2005 年 1 月，mpeg 和 vceg 同意让联合视频专家小组 jvt（joint video team）来完成 svc 标准的制定并作为 h.264/avc 的扩展。h.264/avc 可伸展扩展集的第 8 版草案于 2006 年 10 月由联合视频专 家小组 jvt 在会议上提出。 可分级视频编码的基本思想是可以把视频压缩编码生成具有多 个分辨率、帧率和质量层的码流，svc 技术可以把此码流数据分割成一个基本层码流和多 个可提高分辨率，帧率和质量的增强层码流。根据网络带宽和信道状况，用户可以灵活选 择传送码流的基本层和若干个增强层，这样就大大提高了通信时误码弹性和对网络条件的 适应性。在进行可分级编码时，基本层是对视频流的最低时间、空间和质量表现进行编码， 因此基本层中包含了视频信号基本的也是最重要的信息；而增强层是以基本层编码得到的 信息为起点对附加信息进行编码，故增强层包含视频信号的细节信息。所以在接收端用户 只要接收到基本层就可以重建基本质量的图像，而增强层码流必须与基本层码流一起接收 才能够进行解码，随着接收到增强层的增加可以获得具有更好的视觉效果或更高的分辨率 的重建视频。 h.264/avc 可伸缩视频编码 svc 以 h.264/avc 为基础，采用了 h.264/avc 中的大部 分技术，同时引入了一种先前 h.264/avc 编解码器中不存在的在编码视频中的层的概念， 加入了层间预测、时间分级预测等新技术。svc 的编码框架如图 2-2 所示，描述的是具有 两个空间分层的编码器。由图可以看出，基于 h.264/avc 的 svc 的基本层的编码技术同 h.264/avc 标准7-8兼容；增强层则引入了层间预测技术，可以用从底层得到的运动信息来 南京邮电大学硕士研究生学位论文 第二章 基于 h.264 的分级视频编码技术 7 预测高层。 兼容于h.264的基本层编码 空域下采样 下采样视 频序列 原始视频 序列 mctf和帧内预测 分级b帧和帧内预测 基本质量层编码 纹理信息 模式及运动 信息 基本质量层编码 纹理信息 模式及运动 信息 fgs编码 fgs编码 层间预测： 纹理预测 模式及运动信息预测 残差预测 复用 可分级 码流 图 2-2 svc 的编码框架 可分级视频编码可以把视频压缩编码生成具有多个分辨率、帧率和质量层的码流，即 svc 的分级策略是从时间、空间和质量上对视频序列的帧率、分辨率、psnr 等几个基本 参数进行分级编码， 这样对应着可分级性视频编码就有三种基本类型： 时域分级 （temporal scalability） ，空域分级（spatial scalability）和质量分级（snr scalability） 。 2.2.1 时域可分级时域可分级 时域可分级 9的基本思想是通过改变原始视频序列的帧率来实现时间可分级性，具体 操作是对视频序列进行下采样（丢帧） ，形成具有不同帧率的视频序列。在信道状况不好 的时候，无法传送全部视频序列，这时用户可以只接收具有基本帧率的视频序列，就可以 恢复出基本连续的视频；随着信道状况的逐步改善，用户可接收到具有较高帧率的视频序 列，这样得到的视频序列就会更加连贯。 时间可分级编码中有两种技术可以实现： 等级 b 帧图像 （hierarchical b pictures coding） 技术和运动补偿时间滤波（mctf：motion compensated temporal filtering）技术。现在我 们一般采用的多是等级 b 帧图像 10技术。 等级 b 帧图像编码是符合 h.264/avc 标准的编码结构，它首次编码关键帧图像（i 帧 或 p 帧） ，然后依次编码不同等级的 b 帧。所谓关键帧即：若某一帧图像前面所有被编码 的图像在显示顺序上都先于这一帧图像，则该帧图像就叫关键帧。一个关键帧和位于这个 关键帧和它前一个关键帧之间的所有图像加起来成为一个图像组（gop） 。通常，视频序 列的第一帧为 i 帧被帧内编码，然后编码关键帧。关键帧可以编码为 i 帧，也可采用前一 南京邮电大学硕士研究生学位论文 第二章 基于 h.264 的分级视频编码技术 8 个关键帧作为编码为 p 帧，图像组中的其它图像使用 b 帧编码，编码的顺序是按照金字塔 式的分级顺序进行的，即下一个时间级别的帧只使用较低级别的帧作为参考来预测。关键 帧所组成的序列与视频序列中的其它任何图像都无关，故该序列代表了可以得到的最小时 间分辨率。图 2-3 所示为具有 4 级时间分级的典型等级 b 帧图像预测结构，其中 0 t即为关 键帧，为时间基本层。此结构提供 4 个时间等级，分别为 0 t， 0 t， 1 t， 0 t， 1 t， 2 t， 0 t， 1 t， 2 t， 3 t，它们分别具有 1/8，1/4,1/2 帧率和原始帧率。 图 2-3 等级 b 帧图像编码结构 2.2.2 空域可分级空域可分级 空域可分级性 11-12是主要是指针对接收端设备显示屏幕分辨率不同的情况，为视频图 像序列提供多个不同的空间分辨率。如图 2-4 所示，空间可分级性编码技术的基本原理是 先从原始视频序列提取具有低分辨率的视频图像，具体是通过下采样的方法，然后对低分 辨率的视频图像进行编码，这样就得到了空间基本层码流；而空间增强层码流的获取是通 过抽取原始图像和低分辨率图像的差值信息然后进行编码得到的。当接收端设备接收到空 间基本层的时候，就可以解码恢复出低空间分辨率的图像；当接收端设备接收到所有空间 增强层的时候，就可以恢复出原始图像。 南京邮电大学硕士研究生学位论文 第二章 基于 h.264 的分级视频编码技术 9 空间增强层编码器 图像下采样 空间基本层编码器 图像上采样 原始视频输入增强层码流 基本层码流 图 2-4 空间可分级编码框图 空间可分级是在不同的分辨率视频序列层中进行预测，再利用去相关性节省码流，如 图 2-5 所示。在进行空间分级编码时，为了提高压缩效率，除了使用了传统的运动补偿预 测技术和帧内编码技术外，svc 技术还采用了层间运动预测，层间残差预测，层间帧内预 测三种层间预测方法 13-14来消除层间冗余以提高压缩效率，这三种模式充分利用图像的相 关性来进行分级编码。 图 2-5 空间分级示意图 三种层间预测的概要方法如图2-6所示， 其中层间运动预测是宏块使用类似h.264/avc 的帧间预测进行编码，其宏块模式采用层间参考帧相应块的模式，其对应的运动矢量也利 用层间参考帧相应块的运动信息进行预测编码；层间帧内预测是在帧内编码的时候，其宏 块信息完全由层间参考帧即低空间分辨率层的对应宏块经过上采样预测得到；层间残差预 测是利用残差的层间相关性，可以对帧间预测的图像进行层间预测 15。 南京邮电大学硕士研究生学位论文 第二章 基于 h.264 的分级视频编码技术 10 图 2-6 三种层间预测的方法 2.2.3 质量可分级质量可分级 质量分级可以被认为是一种特殊的空间分级编码。质量可分级编码又称为信噪比可分 级编码，它对应的参数是视频的峰值信噪比（psnr） ，主要是在质量域上提高分级特性。 质量可分级编码的基本思想是粗量化原始视频序列得到质量较差的图像，对质量较差的图 像进行编码后得到质量基本层，再细量化原始图像与基本层之间的残差信息，编码得到质 量增强层。在编码中，为实现质量可分级，利用不同的量化系数对变换系数进行量化，qp 值越小，得到的图像质量越好：基本层用较大的 qp 值进行粗量化，各增强层用逐渐小得 qp 值进行精细量化，从而得到不同的质量分层。如图 2-7 所示。 图 2-7 质量可分级编码结构 jvt svc 支持的质量可分级性包括三种： （1）粗粒度可分级性 cgs （coarse grain scalability） ， 它类似空间分级中的层间预测， 但是不需要进行上采样的过程。通过各层间不同的量化参数来实现信噪比的变化，首先进 行一次很粗的量化形成基本层码流，然后对原始视频码流和基本层视频码流之间的差值再 进行一次量化，这样就形成了增强层码流。通过对各质量层使用不同的量化参数来实现视 南京邮电大学硕士研究生学位论文 第二章 基于 h.264 的分级视频编码技术 11 频图像质量变化，形成质量分级 16。 （2）精细粒度可分级性 fgs（fine grain scalability） ，它是通过在每个质量增强层内 采用一种类似于子位平面编码的熵编码方法实现的。基本原理为：在对视频进行质量分级 编码时产生一个基本层码流和一个嵌入式的增强层码流，基本层采用传统的视频编码技术 进行编码生成一个低码率的码流；具有嵌入式特性的增强层码流采用位面 dct 编码技术， 产生质量增强层的位平面编码数据。fgs 形成码流的码率范围很大，它可以根据网络带宽 的变化调整码流数据的传输，以适应复杂的网络环境。 （3）中级粒度可分级性 mgs（medi