（信号与信息处理专业论文）分布式多视点视频编码的边信息生成方法研究.pdf

the research on side information generation for distributed multi-view video coding thesis submitted to nanjing university of posts and telecommunications for the degree of master of engineering by jie li supervisor: prof. feng liu march 2013 i 摘要摘要摘要摘要 传统的视频编码技术编码端的复杂度通常要高于解码端，这是因为视频信号的冗余信息 一般都在编码端进行充分挖掘，适用于对视频信号进行一次编码、多次解码的场合；而分布 式视频编码采用编码端独立编码，解码端联合解码，具有编码端复杂度低、容错性好等优点， 在耗电量、计算能力、内存容量等受到限制的无线视频终端比较适用。边信息在分布式视频 编码中有着举足轻重的作用，而多视点视频编码除了可以利用单视点视频通道内的时间相关 性，还可以通过挖掘不同视点视频通道之间的视间相关性，为此，本文研究了分布式多视点 视频的边信息生成方法并提出了改进方法，具体的研究工作包括以下几方面： 第一、对分布式视频编码中时间边信息的生成方法进行了详细的研究。在比较和分析几 种目前比较典型的时间边信息生成方法的基础上，提出了自适应加权并优化运动补偿内插生 成时间边信息的方法，此方法结合自适应加权帧内插与自适应搜索窗获取算法，在几乎不增 加编码端复杂度的情况下计算 wz 帧与相邻关键帧的时间相关性，在解码端则依照不同的相 关性采用不同的权值进行帧内插。同时对每一个需要进行运动估值的块，在参考帧中适当的 设定块运动趋势变化的搜索范围，通过与典型时间边信息生成方法相比，主客观质量上均有 一定程度的提高。 第二、详细研究了分布式视频编码中视间边信息的生成方法。研究了目前比较典型的视 间边信息的生成方法，提出了基于模拟退火算法优化的三焦点张量生成视间边信息的方法， 该方法无需知道摄像机参数便可计算出三焦点张量，然后利用模拟退火算法优化三焦点张量 计算视点间边信息。仿真实验表明，本文算法生成的视点间边信息质量要优于子图匹配法。 第三、在前人对视频前背景分离研究成果的基础上，结合在解码端生成时间边信息和视 间边信息的研究成果，讨论了基于前背景分离后对前景进行边信息融合的方案，包括运动对 象的提取，运动对象的时间边信息和视间边信息的融合，运动对象和背景的融合。仿真实验 表明融合后的边信息比单独的时间边信息或视间边信息质量要好。 关键词关键词关键词关键词: 分布式编码，多视点视频，边信息融合，时间边信息，视间边信息 ii abstract the encoding complexity of conventional video coding technologies is much higher than decoding complexity, because correlations are generally exploited at the encoder side. while distributed video coding (dvc) is a new concept, at the encoder side several sources with the same distribution are encoded independently but at the decoded side they are decoded jointly. dvc applies to the occasions which need low power consumption, low encoder complexity and strong error resilience. thus, in wireless video terminator such as wireless video monitoring system and video sensor network dvc is widely used. side information plays an important role in dvc. distributed multi-view video coding (dmvc) can use not only temporal side information, but also inter-view side information. therefore, the paper studies the generation method of side information in dmvc and proposes improved methods. specific work includes the following aspects: the paper first does the research about temporal side information of dvc. by comparing with several traditional temporal side information prediction methods, a new temporal side information algorithm is proposed based on adaptive weighed and optimized motion estimation interpolation method. this method combines adaptive weighted frame interpolation and adaptive search window algorithm. it calculates the time correlation between wz frame and adjacent key frame. then different weights are used for frame interpolation according to disparate correlation in decoding end. the method can achieve more precise side information by adjusting search range of motion estimation. the proposed method has good performance in both subjective and objective quality. secondly, the generation method of inter-view side information is studied in detail. by comparing with several typical inter-view side information generation method, the paper researches trifocal tensor based on simulated annealing algorithm to generate inter-view side information. the method is proved correct and effective by the experimental results. finally, in the previous research results foundation, the paper discusses side information fusion method based on the motion objects separated from background, including motion object extraction, side information fusion of motion object from both temporal and inter-view direction, the fusion of motion object and background. the experimental results demonstrate the effectiveness of the method proposed in the paper. key words: distributed multi-view video coding, side information fusion, temporal side information, inter-view side information iii 目录目录目录目录 第一章 绪论. 1 1.1 课题研究背景和意义. 1 1.2 国内外研究现状. 2 1.3 本文研究内容和论文安排 . 6 第二章 分布式视频编码基本理论及框架 . 8 2.1 分布式视频编码理论背景 . 8 2.1.1 无损分布式编码的 slepian-wolf 理论. 8 2.1.2 带边信息有损压缩的 wyner-ziv 理论. 10 2.2 分布式视频编码框架. 11 2.2.1 像素域分布式视频编码框架 . 11 2.2.2 变换域分布式视频编码框架 . 12 2.3 分布式多视点视频系统框架 . 15 2.4 本章小结. 16 第三章 时间边信息生成方法研究 . 18 3.1 时间边信息生成方法概述 . 18 3.1.1 运动补偿内插法（mci）. 18 3.1.2 运动补偿外推法(mce). 20 3.1.3 双向运动估计时域插值 . 20 3.1.4 基于 hash 码边信息生成法. 21 3.2 基于自适应加权并优化的运动补偿生成边信息方法. 23 3.2.1 时间相关性判断准则 . 23 3.2.2 基于自适应搜索窗的单向运动估计. 25 3.2.3 双向运动估计. 26 3.2.4 运动平滑. 26 3.2.5 自适应加权内插算法流程 . 27 3.3 实验结果. 29 3.4 本章小结. 31 第四章 视间边信息生成方法研究 . 32 4.1 视间边信息生成方法概述 . 32 4.1.1 子图匹配法. 32 4.1.2 仿射模型法. 32 4.2 基于模拟退火算法优化的三焦点张量生成视间边信息方法. 34 4.2.1 三焦点张量的表达与估计 . 34 4.2.2 模拟退火算法的基本原理 . 35 4.2.3 基于模拟退火算法优化的三焦点张量生成视间边信息. 37 4.3 实验结果. 40 4.4 本章小结. 43 第五章 分布式多视点视频编码的边信息实现. 44 5.1 边信息融合方法综述. 44 5.2 基于运动对象的边信息融合实现 . 44 5.2.1 运动对象的提取 . 44 5.2.1 运动对象的边信息融合 . 46 5.2.3 运动对象与背景融合 . 47 5.3 实验结果. 48 iv 5.4 本章小结. 49 第六章 总结与展望. 50 6.1 工作总结. 50 6.2 进一步的研究展望. 51 参考文献. 52 攻读硕士学位期间撰写的论文. 55 攻读硕士学位期间参加的科研项目 . 56 致谢. 57 南京邮电大学硕士研究生学位论文 第一章 绪论 1 第一章第一章第一章第一章 绪论绪论绪论绪论 1.1 课题研究背景和意义课题研究背景和意义课题研究背景和意义课题研究背景和意义 自二十世纪末以来，在多媒体、网络、无线通信等技术快速发展的推动下，视频业务开 始越来越多的参与到人们的工作和生活，越来越多的场合开始应用多媒体视频会议、视频直 播、视频点播、视频录播、远程教育、远程医疗等。然而硬件环境如网络传输带宽、网络存 储空间等却难以应对由各种各样视频服务所带来的快速增长的多媒体业务。于是，人们开始 更多的关注如何有效的压缩多媒体文件并进行可靠传输。 但是随着多媒体文件压缩比的增大， 多媒体序列在空间和时间上的耦合性也会增大，这样如果传输过程中产生误码，错误就会蔓 延，人们在接收这些视频信息时自然也就损伤到图像的质量，无法满足人们对视频图像清晰、 平滑、流畅的要求。因此，研究如何同时提高视频的传输效率和抗误码性能具有重要的现实 意义。多媒体信息尤其是图像、视频等信息的处理、传输通信，已经成为视频学科的热门研 究课题。 随着无线通信网络的快速发展，使得一系列与无线网络、视频技术相关的设备和系统如 无线视频传感网络、无线网络摄像机、移动可视电话、密集相机阵列系统、卫星视频通信系 统、多视点虚拟会议电视系统等有着广泛的应用前景。这类基于无线视频传感网络应用的视 频设备或系统有一个共同的特点，即编码端的运算能力，或其数据存储能力，或电源功耗等 方面受限，而系统解码端的各种能力都较强。例如，无线视频传感节点对视频数据压缩编码 算法有如下特殊要求： （1）编码器在耗电量和计算复杂度上同时要求受限； （2）编码器要求 具有较高的编码效率，因为速率受限； （3）视频数据压缩算法要求具有兼容性和一定的容错 能力，这是为了提高无线传感网络通信的可靠性； （4）传感器节点通常是一个微型嵌入式系 统1。它们与传统的视频广播、视频点播、视频光盘存储等应用系统有着十分明显的区别。 后者属于“一对多”的应用系统，即视频内容经一次高效压缩编码后传输给多个低端用户解 码使用，或者一次压缩多次下载播放。这类编码一般采用传统的视频编码标准，如 mpeg-x 或 h.26x 系列1,2,3。 在编码端利用消除空间相关性的 dct 变换编码和消除序列间时间相关性 的帧间预测编码进行混合编码实现的。由于运动估计算法的高复杂性（在传统视频编码中运 算量占 70%以上） ，导致了传统视频编码器计算复杂度要比解码器的复杂度高 5-10 倍4。高 复杂度的计算必然导致对内存、电池能量等资源的要求过高，从而直接影响无线视频传感网 络的应用。因此，多视点视频编码技术是无线视频传感网络的关键技术之一。 南京邮电大学硕士研究生学位论文 第一章 绪论 2 分布式视频编码（distributed video coding，dvc）的兴起为多视点视频编码提出了一种 崭新的解决方案5,6。 dvc 是建立在多信源信息编码理论基础上的一种新的视频编码框架， 其 理论依据是 20 世纪 70 年代 slepian 和 wolf 建立的分布式无损信源编码理论7以及 wyner 和 ziv 建立的分布式有损信源编码理论8。从那之后，有很多研究人员对 slepian、wyner 提出的 理论进行了进一步的研究，但是直到 21 世纪初，美国斯坦福大学的 girod、aaron 小组9-11、 伯克利大学的 ramchandran 和 parddhan12,13小组根据 slepian、wyner 等人的思路，同时利用 估计理论、信源编码和信道编码等方面的研究成果，提出分布式信源编码理论，并将其应用 于视频压缩，从此对分布式视频编码的研究拉开了序幕，也逐渐引起越来越多学者与专家的 关注。 分布式视频编码突破了传统视频编码的束缚，通过在解码端发掘视频信号的相关性进行 “帧间预测解码”或者多视点视频的“视点间联合解码” ，采用“独立编码，协助传输、联合 解码”策略，从而把具有高计算复杂度的运动估计（补偿） 、视差估计（补偿）从编码端移到 了解码端，极大地改善了编码端对系统资源的需求。而考虑到无线视频网络终端对视频传感 节点编码与通信的要求，这种低编码复杂度的特性也能较好地迎合。另外，分布式视频编码 本身又以信道编码技术为基础，基于 turbo 码、ldpc 码、网格码、rs 码等的分布式编码是 典型的信道编码，对无线信道噪声污染有先天的鲁棒性，从而为实现视频信号的鲁棒传输提 供了新思路，适合于无线网络资源有限视频编码复杂度低的视频编码场景，提高传统视频编 码的可扩展码流的码率。 应用多视点分布式视频编码，码率理论可达到和联合编码联合解码相同的码率14,15。即 使各视点摄像机节点互不通信，视点间相关性也可以在解码端使用，从而使得复杂的图像相 关性运算从编码端移到解码端。由此可见，分布式视频编码在编码端有较低的复杂度、码流 传输有较强的鲁棒性，革新了传统的视频编码方法，能很好地适应无线网络的信道特性以及 在编码端对资源需求低的实际要求，正在被逐渐应用到无线视频传感网络中，成为无线视频 传感网络最为有效的视频编码技术之一。因此，开展应用于无线通信网络的多视点分布式视 频编码关键技术研究是具有理论和实际应用价值的。 1.2 国内外研究现状国内外研究现状国内外研究现状国内外研究现状 视频编码技术在近三十年时间里得到了长足的快速发展，可以从国际标准化组织对视频 编码标准的制定和规划中深刻感受到视频技术的发展变化18,19。国际电信联盟 itu-t 的视频 编码专家组（video coding expert group，vceg）从 1985 年开始先后制定了 h.261、h.263、 南京邮电大学硕士研究生学位论文 第一章 绪论 3 h.263+、h.263+、h.264 等一系列视频编码标准，国际标准化组织 iso 的活动图像专家组 mpeg（moving pictures expert group）也先后组织制定了 mpeg-1、mpeg-2 等音视频信息 存储编码标准。 之后由vceg和mpeg联合成立的jvt制定了性能优异的h.264/mpeg-4 part 10，而 h.265 视频编码标准 vceg 已在规划之中。这些标准的制定为视频技术的发展和广泛 应用奠定了良好的基础。多视点视频技术是目前视频领域的一个重要研究课题，在过去的十 多年里，该领域的关键技术研究如火如荼，国际标准化组织 jvt 也一直在进行多视点视频编 码标准的制定工作。jvt 每年召集来自世界各地在视频编码领域研究的专家通过定期召开国 际会议来评价分析提交到会议的各种技术提案。2006 年 jvt 正式提交 mvc 联合草案（mvc joint draft） ，基于 mcp 和 dcp 的联合补偿预测的编码方案也常被看成是基准参考编码方案。 之后，jvt 不断接受支持 mvc 标准化的一些语法语义的扩展，并在参考模型中增加亮度补 偿、 运动跳过模式、 精细粒度匹配运动跳过模式等算法， 并在 2008 年 11 月， jvt 更新了 mvc 的软件参考模型 jmvm_8_1 版本，对多视点视频编码技术的推广和应用起到了积极的作用。 在 mvc 的标准化进程中，微软、samsung、motorola、ntt、kddi、mitsubishi、lg、 hhi、thomson、sejong 大学和清华大学等在国际上享有盛名的信息技术公司、研究机构和大 学等都在 mvc 的标准化制定过程中起到了积极的作用。 在第 76 次会议上 mpeg 针对多视点 视频编码建立了预测结构、亮度补偿、视点合成预测、视差矢量估计和非对称宏块划分等五 个核心实验（core experimental，ce）模块，从而为各种技术提案的性能比较提供了相同的 测试环境。另外，提出了联播编码方案（simulcast scheme） ，虽然此方案是基于分层 b 帧预 测结构独立编码各个视点的，但是仍然限制在 h.264/avc 的视频编码框架内。它与单视点视 频编码类似，此方法对所有视点视频信号进行独立编码，每个视点视频序列的每个 gop 中的 第一帧都使用帧内编码，其余帧参考时间轴上的前向帧或前后向帧作预测编码，是传统混合 视频编码方法在多视点中的简单扩展和应用，由于没有考虑各视点间的相关性，多视点视频 编码效率极低。除了结合视差预测和运动预测的方法之外，e.martinian 提出了基于深度/视差 视点插值预测（depth/disparity-based view interpolation prediction）的多视点视频编码方法， 其基本思想是既可在编码端也可在解码端进行深度/视差估计从而实现进行预测的视点插值。 然而编码增益提高很少，对于某些特殊的测试数据在相同的视频质量下大约节省 5%的比特 率。 由此可见，不论是早期 mpeg 还是后来与 vceg 联合组建的 jvt，在众多的多视点视频 编码技术中，都一直沿用编码端帧间 mcp、视点间 dcp 的传统视频编码方法 h.264/avc 编 码架构。不断更新的 mvc 软件参考模型 jmvm 也都是基于 mcp 和 dcp 的联合补偿编码框 架结构的。但是这种框架结构不能很好解决编码端的高计算复杂度和对资源要求过高这些关 南京邮电大学硕士研究生学位论文 第一章 绪论 4 键问题，也难以适应于多视点视频系统基于无线网络的传输通信要求。为了解决多视点视频 系统编码与传输的问题， 一种基于多信源的新型编码架构分布式视频编码技术被应用到多 视点视频编码中20,21。 实际上，作为多信源（将多视点视频信息作为多信源）的编解码方式可以分为以下两种， 一是编码端联合编码，解码端联合解码；二是在信源端独立编码，解码端利用相关性联合预 测解码。第二种编解码方式便是典型的 dvc，在编码端各个视点各自独立地由帧内编码技术 进行编码，在解码端由接收到的码流发掘各信源之间的相关性，生成边信息，并作联合预测 解码。slepian-wolf 理论给出了解码端具有边信息的无损信源编码的码率极限，而 wyner-ziv 理论则给出了在解码端具有边信息有损信源编码的码率界。通常可以把 wyner-ziv 编码等效 成信源经过量化之后的 slepian-wolf 编码。 虽然基于 slepian-wolf 和 wyner-ziv 理论的分布式 编码产生于 20 世纪 70 年代，但是在本世纪初人们才把该理论应用于视频压缩领域。 简单的“关键帧（k 帧） ”编码器和“wyner-ziv 帧（wz 帧） ”编码器构成了分布式视频 编码器，其中关键帧编码器依然采用传统的帧内编码技术，wz 帧则根据不同域的处理方式 分为空间域和变换域的 wyner-ziv 视频编码方法。 文献22分析了变换域分布式视频编码的率 失真性能要比空间域分布式视频编解码方法高出 2-2.5db， 因为前者的编码结构比后者要复杂 的多。 在空间域的 wyner-ziv 视频编码中，最有代表性的是 girod 等人提出的编解码框架。为 了保持视频信号的基本轮廓， 对 wz 帧图像在均匀量化之后采用基于 turbo 码的 slepian-wolf 编码。空间域的 wyner-ziv 编码器编码简单，解码比较复杂，解码时需要通过对关键帧做帧 内解码、运动估计、插值、对 wz 帧进行 turbo 解码并进行最大后验估计等环节解码生成 wyner-ziv 帧。girod 等人在之后的分布式视频编码的研究中，提出了频率域上 wyner-ziv 视 频编码方案，该方案是以空间域算法为基础的。k 帧编码仍采用传统的帧内编码结构，而 wz帧编码则有较大区别。 首先对wz帧进行dct变换， 其次采用基于turbo码的selpian-wolf 编码对量化后的低频部分系数进行编码，对 dct 高频部分通过关键帧的编码系数预测，在对 系数量化之后进行熵编码。由于增加了 dct 变换以及高低频系数的不同处理方法，编码的复 杂度被提高了，但是从编码效率上看频域 wyner-ziv 视频编码要比空域编码来得高。但是与 基于预测的帧间编码相比，运算复杂度要低得多。puri 和 ramchandran 提出了一种类似变换 域的 wyner-ziv 视频编码 prism（power-efficient robust high-compression syndrome-base multimedia）方案，其原理是首先进行 88 或 1616 的 dct 变换；然后根据频率不同分成高 频和低频两部分进行不同的量化，高频和低频系数独立编码；高频系数进行传统的熵编码， 只有低频系数才使用尾数的 slepian-wolf 编码。为了方便辅助接收端正确进行运动补偿，编 南京邮电大学硕士研究生学位论文 第一章 绪论 5 码端要发送一个量化系数的 crc。 结果表明其编码效率介于 h.263+的帧内编码和帧间编码效 率之间。但 prism 视频编码可以根据编码端和解码端的实际情况，较为合理地分配计算复杂 度，另外，prism 编解码体系具有较好的鲁棒性和灵活的码流结构特性。xun guo 等人23 将基于小波 wyner-ziv 方案应用到多视点视频编码中，该方案在编码端对 wyner-ziv 帧进行 小波变换，其所有变换系数在比特面上按照 spiht 处理，在解码端利用更为灵活的预测技术 联合使用时间和视点间相关性生成边信息。其编码效率接近于帧间编码方法，视点切换更加 灵活，鲁棒性更高，非常适合误码突发传输信道。liveris 等人24,25采用 ldpc（low density parity check，ldpc）码、ira（irregular repeat accumulate，ira）实现 slepian-wolf 编码器， 论述了基于 ldpc 编码和 turbo 码有着类似的编码效果。其它信道编码方法采用的网格码、 rs 码也都被应用到 slepian-wolf 编码器中。 实际上，分布式多视点视频编码一个关键的问题是 wyner-ziv 帧边信息生成技术，精确 地估计边信息是一项重要而艰巨的任务。英国学者 nantheera anantrasirichai 等人26针对无线 网络密集相机的分布式编码进行研究， 提出采用混合关键帧和 wz 帧的分布式视频编码结构， 引入若干改进的提高边信息估计精度的算法，如基于块的时空掩盖边信息生成，时空掩盖生 成边信息方法的选择模式，块局部噪声的检测和 b 帧量化等，该编码方案与当前基于帧的多 视点 wyner-ziv 编码方案相比，重建图像精确度有很大的提高。jiong sun, haibo li 等人27 采用基于 hash 边信息估计的方法进行多视点交互式编码。该编码方法基于这样一个假设：当 信道条件差时只传输主视点的视频图像，当信道条件允许时，传输辅助视点视频图像。因此 编码方案摆脱了带宽受限和电池容量不足的约束，成为无线视频传感网络的研究热点。 为了提高无线视频传输的鲁棒性，基于分层的 wyner-ziv 编码方案被用于有噪声信道视 频信号传输的差错控制保护。基本层视频信号经传统的视频编码标准压缩后传输，增强层则 为粗量化视频信号后的 wyner-ziv 编码码流。为了纠正传统视频编码技术在传输时产生的错 误，在解码端选择将基本层的解码图像作为解码 wyner-ziv 的边信息，来获得解码图像质量 上的提高。文献28中则提出将一个精细量化的 wyner-ziv 编码器 b 嵌套进粗量化的 wyner-ziv 编码器 a 内，即嵌套式的分层 wyner-ziv 编码思想。wyner-ziv 编码器 a 的解码 图像作为精细量化的 wyner-ziv 编码器 b 的边信息，为进一步获得解码图像质量的提高通过 采取对解码图像做更精细的纠错解码处理。qian xu 等人29设计了具有可伸缩性的视频编码 系统，增强层的 wyner-ziv 编码器由 dct 变换、嵌套标量量化 nsq 以及基于不规则 ldpc 的 slepian-wolf 组成。sehgal 等人30所设计的可伸缩性视频编码系统，与传统的可伸缩性编 码相比其性能要高出大约 4db。 国内多视点视频编码的研究刚起步不久，但在最近的几年时间里一些研究机构如清华大 南京邮电大学硕士研究生学位论文 第一章 绪论 6 学、浙江大学、宁波大学、微软亚洲研究院已取得了不少研究成果。如嵌入式的可分级编码、 多视点视频中的目标提取、基于多级块匹配视差估计算法、基于 3d-spiht 算法的静止图像 编码、基于视差的立体对象分割和跟踪等内容的研究都取得了一定成果。在分布式视频编码 方面，宁波大学学者蒋刚毅、郁梅等人31提出了一种无线视频传感阵列的低复杂度多视点视 频编码方法、南京邮电大学的干宗良、朱秀昌等32较全面的描述了分布式视频编码的发展现 状并作了展望、四川大学的卿粼波、何小海等33则研究了边信息构造技术在分布式视频编码 中的应用、上海交通大学的张晓斐34则深入研究了分布式视频编码中的边信息融合与重构技 术。 1.3 本文研究内容和论文安排本文研究内容和论文安排本文研究内容和论文安排本文研究内容和论文安排 本文主要研究了分布式多视点视频编码中边信息的生成方法，本人所做的工作可以概括 为以下四点： 第一、研究了分布式视频编码的基本理论和典型框架。包括 slepian-wolf 无损分布式编 码理论和解码端使用边信息的 wyner-ziv 有损分布式编码理论、基于像素域的分布式视频编 码框架和基于变换域