（信号与信息处理专业论文）分布式视频编码中边信息技术研究.pdf

南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文 档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索； 可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质 论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院（筹）办理。 涉密学位论文在解密后适用本授权书。 研究生签名：_ 日期：_ 研究生签名：_ 导师签名：_ 日期：_ 南京邮电大学南京邮电大学 硕士学位论文摘要硕士学位论文摘要 学科、专业：工学 信号与信息处理 研 究 方 向：现代通信中的智能信号处理 作 者：王迪 指 导 教 师：曹雪虹 题 目：分布式视频编码中边信息技术研究 英 文 题 目：research on the technique of the side information in distributed video coding 主 题 词：边信息；运动补偿；块匹配 keywords： side information ； motion compensated ； boundary matching 南京邮电大学硕士研究生学术论文 摘要 i 摘要摘要 分布式视频编码（distributed video coding）具有编码复杂度低、编码端耗能少、容错 性能好等特点，特别适用于计算能力低、内存容量小、耗电量受限的无线视频终端。而在 分布式视频编码系统中，边信息边信息（side information）尤其重要，它可以直接影响 分布式视频编码的率失真性能和压缩效率。本文重点研究分布式视频编码中边信息的构造 问题。 本文首先阐述了视频编码的基本原理，介绍了几种典型的分布式视频编码方案，然后 分析了边信息的估计方法和产生方法，研究并实现了在时间算法基础上结合空间相关性产 生边信息的算法。在此基础上，本文提出了利用传统视频编码中的帧丢失恢复算法和基于 块匹配的运动补偿生成算法生成边信息，并与传统的帧外推算法进行了比较，不仅提高了 边信息的峰值信噪比，而且很好的改善了图像的块效应。同时，本文还提出了相应的基于 块运动轨迹变换的边信息更新方案，采用二次曲线函数和指数函数替代线性函数，并作出 了仿真实验。用不同视频序列进行实验的结果表明，利用更新后的算法生成的图像质量更 好，解码时需要从编码端传递的校验码更少，从而提高了整个系统的性能。 关键词关键词：分布式视频编码 边信息 运动补偿 帧丢失恢复 边界匹配 南京邮电大学硕士研究生学术论文 abstract ii abstract with the advantages of low encoder complexity, low power consumption and strong error resilience, the distributed video coding (dvc) is very important for the wireless video terminators which have limited computation ability, storage capability and power consumption. in dvc system, side information is great important, because it can directly influence the rate distortion and compression performance of a dvc system. so the task of the paper is the research of the side information in the distributed video coding. in the first, this paper reviews the theoretic basis and the research development in dvc, and introduces several classical dvc structure, then the paper analyses several general algorithms of side information generation and of side information generation. and the paper then focuses on analyzing and implementing the method with spatio-temporal side information. a method of improving the side information is proposed using the whole frame loss recovery algorithm in the conventional video coding and the algorithm of motion compensated based on the block matching. compared to the conventional motion compensated extrapolation, not only increase the psnr of the side information, but also improve the block effect of the image. at the same time, an updating scheme which based the block track switching is proposed. we use conic and index instead of the linearity, and make a lot of experiments. extensive simulations over various test video sequences show, the quality of the image in using the updating scheme is better, the crc bits transferred from the encoder is less, so the performance of the whole system is advanced. keywords: dvc side information motion compensated frame loss recovery boundary matching 南京邮电大学硕士研究生学术论文 目录 iii 目录目录 摘要.i abstract.ii 目录. iii 第一章 绪论. 1 1.1 研究背景及研究意义. 1 1.2 研究现状. 1 1.2.1 分布式视频编码的研究现状. 2 1.2.2 边信息生成算法的研究现状. 2 1.3 本文工作和结构安排. 3 第二章 分布式视频编码概述. 4 2.1 分布式视频编码的理论基础 . 4 2.1.1 无损分布式视频编码的 slepian-wolf 的编码理论. 4 2.1.2 有损分布式视频编码的 wyner-ziv 编码理论. 6 2.1.3 实际的 wyner-ziv 编码 . 7 2.2 分布式视频编码系统框架. 8 2.2.1 基于像素域的 wyner-ziv 视频编码框架. 9 2.2.2 基于变换域的 wyner-ziv 视频编码框架. 10 2.2.3 prism 视频编码方案 .11 2.3 分布式视频编码的关键技术 . 12 2.3.1 量化机制. 12 2.3.2 码率控制. 13 2.3.3 边信息的产生. 13 2.4 分布式视频编码的典型应用 . 13 2.4.1 视频监控. 13 2.4.2 视频无线传感网络 . 14 2.4.3 无线视频通信. 14 2.5 本章小结. 15 第三章 边信息的产生. 16 3.1 块匹配与图像评定标准. 16 3.1.1 块匹配思想. 16 3.1.2 图像质量评定. 19 3.2 运动估计. 19 3.2.1 前向运动估计. 19 3.2.2 双向运动估计. 20 3.2.3 空域运动平滑. 20 3.3 边信息的一般生成方法. 22 3.3.1 关键帧复制. 22 3.3.2 前后关键帧平均法 . 22 3.3.3 运动补偿帧内插 . 23 3.3.4 运动补偿帧外推 . 24 3.4 改进帧丢失隐藏算法用于生成边信息. 25 3.4.1 分布式视频编码框架 . 26 3.4.2 整帧边信息生成 . 26 3.4.3 边界匹配. 29 南京邮电大学硕士研究生学术论文 目录 iv 3.4.4 实验结果及算法可行性分析. 31 3.5 本章小节. 34 第四章 边信息更新算法. 35 4.1 边信息更新方案. 35 4.2 仿真环境及参数设置. 36 4.3 性能分析. 37 4.3.1 foreman 序列仿真分析 . 37 4.3.2 akiyo 视频序列仿真分析. 38 4.3.3 carphone 视频序列仿真分析. 40 4.4 本章小结. 41 第五章 工作与展望. 42 5.1 总结. 42 5.2 下一步工作. 42 致谢. 44 参考文献. 45 南京邮电大学硕士研究生学术论文 第一章 绪论 1 第一章第一章 绪论绪论 1.11.1 研究背景及研究意义研究背景及研究意义 视频压缩编码经过多年的发展已经日渐成熟，形成了 mpeg-x 1-3 与 h.26x4-5 两个编码 标准。这些编码标准有很多共同点，为了实现压缩的目的，都是在编码端来利用视频序列 之间的时间和空间相关性，并利用量化、熵编码、运动估计、运动补偿、变换等技术。由 于编码端要进行运动估计和运动补偿，运算量太大，所以复杂度比解码端大的多。如果利 用这种编码结构，就需要设计足够强大的编码器，用来承担沉重的计算量，所以比较适合 对视频信号进行一次编码、多次解码。对于一些处理数据信息能力有限的无线视频设备， 例如：视频无线传感网络、视频监控、移动视频电话等，这些传统的编码标准不再适用， 因为他们所需要的编码器复杂度比较低，而解码器的复杂度比较高。这时就需要寻找新的 视频压缩编码技术来应用于上述场合。为了解决上面所遇到的问题，人们开始研究分布式 视频编码（dvc-distributed video coding）框架，作为一种新的编码方式，它有很多优势， 因为这种视频编码编码端较简单，而解码端较复杂，并且压缩效率高，率失真性能和抗误 码性能好。 分布式视频编码框架是一种全新的非对称的视频压缩框架，是以 slepian-wolf 和 wyner-ziv 提出的无损分布式编码理论和有损分布式编码理论为信息论基础。 该系统在编码 端对各视频帧进行独立编码，即帧内编码，而在解码端对各视频帧进行联合解码，即帧间 解码。同时将运动估计和运动补偿等复杂的运算移到了解码端，从而使编码端变的简单。 在解码端利用了信源视频序列间的相关性，并且很好的提高了压缩性能；同时利用了信道 编码技术，很好的提高了无线信道传输过程中的误码性能。另外，分布式视频编码在解码 端还利用了纠错技术，提高了码流的鲁棒性。 边信息在分布式视频编码中是至关重要的，因为它是解码主信息的关键，边信息的准 确与否会直接影响分布式视频编码系统的压缩效果和率失真性能。由于采用的信道编码方 法和要求不同，所以这里所说的边信息也有不同的定义：可以是视频编码中的运动矢量或 者编码模式等，可以是变换域系数或者像素梯度方向等。总之，边信息就是利用解码器所 解码的一些关键信息，这些信息与当前欲解码帧具有很强的关联性 6。当产生的边信息足够 准确时，解码端恢复当前欲解码帧时所需要的校验比特就会越少，这样会提高系统的效率， 同时也提高了率失真性能及压缩效率，因此研究分布式视频编码的重点之一就是如何准确 地产生边信息。 1.21.2 研究现状研究现状 南京邮电大学硕士研究生学术论文 第一章 绪论 2 1.2.1 分布式视频编码的研究现状 近些年国内外对分布式视频编码的研究才刚刚开始，他们的理论基础都是上世纪 70 年 代 slepian-wolf 以及 wyner-ziv 提出的无损编码理论和有损编码理论。 同时国内外也都建立 了很多的研究机构，其中，国外的小组有：bernd grid 研究小组，它针对像素域提出了 wyner-ziv 视频编码框架 7。与传统的 h.264 帧内编码相比，这种结构的性能要好很多，但 是与 h.263 帧间编码相比要差。 之后， 他们针对变换域又提出了 wyner-ziv 视频编码框架 8。 该框架由于采用了离散余弦变换（discrete cosine transform,dct）,所以降低了像素的空间 冗余信息，并且提高了图像的压缩比。由于这种编码框架具有更好的性能，所以成为该领 域主要的研究对象。xiong zixiang 等提出了分级 wyner-ziv 分布式编码方案 9-10 ，该编码 方案包括两个部分，由采用 h.26x 编码的基本层和基于 ldpc 码编码的增强层组成，其中编 码器主要由量化、dct 变换和基于 ldpc 的无损分布式编码组成。另外，在变换域方面， berkeley 大学的研究专家们提出了 prism 视频编码算法 11-12。discover 小组也提出了 dvc 系统结构 13，这种结构的编码效率更高。 这些编码方法的思想都是在编码端利用传统的帧内编码对各视频帧进行独立编码，在 解码端利用相邻解码帧之间的相关性，进行帧间解码，即通过运动估计和运动补偿，来获 得边信息，然后再利用从编码端获取的校验比特信息对边信息进行恢复，从而重建出了欲 解码帧。 1.2.2 边信息生成算法的研究现状 分布式视频编码的结构可以将视频流分成两种：关键帧和 wyner-ziv 帧 18。关键帧和 wyner-ziv 帧的编码方式不一样，一个是利用传统的帧内编码，一个利用 wyner-ziv 编码。 边信息 si（side information）是对 wyner-ziv 帧的估计，在分布式视频编码中起着至关重要 的作用。重建边信息越精确，与 wz 帧越相近，所需要传输 wz 帧的码流越小，解码端重建 的 wz 帧质量越好。 在分布式视频编码中，边信息在预测 wz 帧时至关重要，如果获得的边信息质量足够 高，那么需要从编码端传递的校验比特数就越少，为了能达到更好的效果，目前提出了很 多编码算法： aaron 等最早提出基于像素域分布式视频编码框架，采用运动补偿时间内插 和运动补偿时间外插的方法构造边信息，并证明了通过帧内插获得的边信息的质量比通过 帧外插获得的要好 19。针对运动补偿内插（mcti）算法，为了获得更多准确的内插帧，文 献 20进一步提出了最大程度的利用解码帧的边缘信息，并且证明用这种方法能够很好的改 善解码端获得的边信息的质量。artigas x 等提出了一种迭代运动补偿方法，利用运动补偿 南京邮电大学硕士研究生学术论文 第一章 绪论 3 时间内插和运动补偿恢复提高边信息质量， 从而提高解码 wz 帧的质量 21。 文献中22-23提出 了用空间运动矢量平滑来改善双线性运动补偿时间内插的性能。但是，空间运动平滑只对 移除孤立脉冲噪声产生的错误矢量发挥作用。文献 24提出了一种新的改善边信息的方案， 即采用视频序列中时间和空间的相关性。与通常的方案不一样，当解码端没有从解码端获 得附加的运动信息时，为了在解码端获得运动估计，这时有的文献就提出了利用边信息和 量化帧来进行处理，这种方法还有很多优点，例如不需要利用前后两个相邻关键帧进行内 插产生中间帧，这种方法实时性比较好，可以产生一个有序的视频编码结构。 1.31.3 本文工作和结构安排本文工作和结构安排 本文首先研究了基于 slepian-wolf 的无损编码理论和基于 wyner-ziv 的有损编码理论。 同时研究了 dvc 的框架，包括基于像素域和基于变换域的 wyner-ziv 的视频编码方案，还 有 prism 编码方案。然后介绍了 dvc 的关键技术，最后主要提出了利用一种传统视频编 码中帧丢失恢复算法来实现对边信息的估计，这里利用基于块的运动补偿，并比较了当帧 中的块满足线性和非线性两种情况下所估计的边信息的质量。具体内容安排如下： 第一章 绪论。主要介绍了 dvc 的研究背景和研究的意义，同时介绍了国内外分布式 视频编码的研究现状和成果，还有边信息生成算法的研究现状，并对本文的结构做了安排。 第二章 分布式视频编码概述。介绍了了基于 slepian-wolf 的无损分布式视频编码理论 和基于 wyner-ziv 的有损分布式视频编码理论， 并对 dvc 的结构进行了研究， 讨论了 dvc 的关键技术。 第三章 分布式视频编码中边信息估计方法。主要研究了边信息的一般生成方法，包括 mcti 算法等。介绍了如何通过运动补偿来获得边信息，重点提出了一种利用传统视频编码 中的帧丢失恢复算法来估计边信息，并从主观和客观两个方面对算法的性能与传统的帧外 推方法进行了比较。 第四章 基于块边界匹配的帧丢失恢复来估计边信息的算法。在第三章所提出的算法的 基础上提出了基于块的运动轨迹更新算法，即当块的运动满足非线性条件下所生成的边信 息的算法，包括二次曲线、指数曲线等。介绍了本次试验的环境和条件，并把在线性和非 线性条件下生成的边信息的质量进行了比较。 第五章 工作与展望。最后对本文的内容做了一个总结，提出了以后的工作重点。 南京邮电大学硕士研究生学术论文 第二章 分布式视频编码概论 4 第二章第二章 分布式视频分布式视频编码概述编码概述 分布式视频编码框架是一种新的编码框架，不同于 mpeg 等传统的视频编码，与这些传 统的视频编码相比，它具有计算简单的编码器和复杂的解码器，编码端对各视频帧进行单 独编码，而解码端根据相邻视频帧的相关性对视频帧进行联合解码。近年来，众多专家学 者都在研究分布式视频编码的适用算法和一些实际可行的分布式视频编码结构。下面就介 绍分布式视频编码的两个主要理论基础，和一些常用的分布式视频编码框架以及分布式视 频编码的关键技术和典型应用。 2.2.1 1 分布式视频编码的理论基础分布式视频编码的理论基础 2.1.1 无损分布式视频编码的 slepian-wolf 的编码理论 分布式视频压缩涉及到两个或两个以上的独立随机视频序列，但是在编码端是单独编 码，如图 2.1 所示。在编码端，每个编码器都对一个单独的信号进行编码，然后解码端的 解码器会根据信号间的统计相关性对所有编码以后的比特流进行联合解码。 图 2.1 独立编码联合解码 假设 x 和 y 是两个独立的有限随机序列且是统计相关的。在经过传统的熵编码器编码 和解码之后，传输的码率可以达到 x rh x （2-1） y rh y （2-2） 其中h x是 x 的信源熵， h y是 y 的信源熵。如果 x 和 y 任意小的无限长序列， 经过编码之后，如果在允许的冗余误差下恢复 x 和 y，利用联合解码会得到很好的效果。 信源 x 信源 y 编码器 x 编码器 y 联合 解码器 x y x r y r x y 南京邮电大学硕士研究生学术论文 第二章 分布式视频编码概论 5 slepian-wolf 理论为此设定了一定的码率范围，如图 2.2 所示。 图 2.2 slepian-wolf 无损编码码率边界 , xy rrh x y （2-3） | x rh x y （2-4） | y rh y x （2-5） 其中，|h x y是已知 y 后 x 的条件熵，|h y x是已知 x 后 y 的条件熵。 可以发现，只要 x r 和 y r 的取值在图中黑实线右面的区域内，解码端对信号进行联合解 码的时候能以任意小的概率进行。如果在编码对 x 和 y 进行单独编码，而在解码端进行联 合解码，那么 xy rr的码率和可以达到联合熵,h x y。如图 2.3 所示的是无损分布式信 源编码，它是分布式信源编码中的一个比较特殊的情况，在解码端使用边信息进行解码。 按照 y rh y的码率对边信息进行编码，信源会产生一个序列 x，它与边信息 y 是统计相 关的。从图 2.2 中可以知道，如果编码端在没有 y 的信息时对 x 进行编码，码率为 | x rh x y。 y r bits h(y) h(y|x) h(x) rx+ry=h(x,y) slepian-wolf 编码可以达到 的码率范围 h(x|y) x rbits 南京邮电大学硕士研究生学术论文 第二章 分布式视频编码概论 6 图 2.3 解码端使用边信息的无损分布式信源编码 2.1.2 有损分布式视频编码的 wyner-ziv 编码理论 1976 年 wyner 和 ziv 将 slepian 和 wolf 理论进行了扩展。他们为有损压缩建立了新 的信息理论范围。这里用 x 代表信源，用 y 代表边信息，他们是两个有限随机序列，独立 同分布且统计相关。当编码端对 x 进行编码时没有获得 y 的信息，而在解码端利用信息 y 进行辅助解码时，可以重建出信源 x 的值为x ，则解码时的失真度为,de d x x ，此 时对 x 进行编码的率失真函数为 | wz x y rd。如果信息 y 在编解码的两端都已知，那么率失真 函数为 |x y rd。并且 wyner 和 ziv 证明了在两种情况下，式子 | 0 wz x yx y rdrd总是 成立的 。 当 x 和 y 是高斯无 记忆信源 ， 并且失真 用均方 误差来衡 量时 ， 有 | 0 wz x yx y rdrd 25。 并且当 x 为 y 和独立高斯噪声之和时， 式子 | 0 wz x yx y rdrd 也是成立的。这种编码结构的基本框架如图 2.4 所示。 信源 x|y 无损 编码器 无损 解码器 y y y x rxh(x|y) 南京邮电大学硕士研究生学术论文 第二章 分布式视频编码概论 7 图 2.4 利用统计相关的边信息 y 对随机序列 x 压缩 2.1.3 实际的 wyner-ziv 编码 随着 slepian-wolf 编码的提出， 实际的 wyner-ziv 编码方案越来越成为众多专家学者研 究的重点。zamir 和 shamai 26-27证明了在某些环境下，要想逼近 wyner-ziv 率失真性能，可 以使用线性编码和嵌套的框架，尤其是当源数据和边信息具有联合高斯特性的时候。 pradhan 28-30和 servetto31进一步将这个理论进行了推广和应用，他们提出了启发式的设计， 并且针对嵌套的框架对高斯分布情况下进行了分析。 xiong 32-33设计了一种 wyner-wolf 编码器，一个嵌套式的量化器和一个 slepian-wolf 编 码器是它的基本组成，如图 2.5 所示，量化器把信号空间分成很空间，但是这些空间可能 包含不连续的子空间，而这些子空间具有相同的量化器索引 q。fleming,zhao 和 effros 34在 设计最稳定速率 wyner-ziv 矢量量化是概括了 lloyd 算法 35，并考虑到了这个问题。后来， fleming 和 effros 36提出了率失真最优的矢量量化器，量化器索引用来测量速率，比如一个 暗号用语的长度。但是矢量量化器的长度和熵编码块的长度是同一的，所以最后要用的量 化器要么性能上比较差，要么比较复杂。文献中 37提到了一个有效的算法，可以在具有连 续编码空间的情况下得到一个最优的量化器。但是编码空间的越接近越不能得到最优量化 器 38。cardinal 和 van asche39在没有边信息且理想 slepian-wolf 编码的情况下研究了劳埃 德量