基于HEVC的视频后处理初步研究毕业设计

1、 学号 年级 2010级 本科毕业设计基于HEVC的视频后处理初步研究专 业 计算机科学与技术 姓 名 张玮璘 指导教师 黄倩 评 阅 人 2014年5月中国 南京BACHELORS DEGREE THESIS OF HOHAI UNIVERSITYA preliminary study on HEVC-based video deblockingCollege:College of Computer and InformationSubject:HEVC deblockingName:Weilin ZhangDirected by:Dr. Qian HuangMay 2014NANJING

2、CHINA郑 重 声 明本人呈交的毕业设计，是在导师的指导下，独立进行研究工作所取得的成果，所有数据、图片资料真实可靠。尽我所知，除文中已经注明引用的内容外，本设计（论文）的研究成果不包含他人享有著作权的内容。对本设计（论文）所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确的方式标明。本设计（论文）的知识产权归属于培养单位。本人签名： 日期： 摘 要随着网络传输技术和视频信息的飞速发展，人们越来越希望能够看到更加清晰、更加快速的视频，当前国内外使用的编码标准都是基于块的，但是分块处理后的粗量化却会引起影响视频质量的“块效应”。本文是以最新一代视频编码标准高效视频编码（HEVC）为基础

3、平台，主要针对影响人们视觉的“块效应”问题。从HEVC较以往视频标准的革新点出发，研究高效视频编码中环路去块效应滤波技术能够提升视频效果的方面。视频已经是我们生活中必不可少的家庭娱乐之一，如果没有它的存在，那么我们将生活在一个全球范围内只有几十个电视频道的世界里，放在眼下那简直是无法想象的。数字技术首次出现在英国，那时候人们已经有了电视机，通过数字技术的不断进化演变，地面电视频道迅速地从5个发展到30多个，极大的丰富了人们的日常生活娱乐。本文首先阐述了课题研究的背景，然后详细阐述了HEVC环路去块效应算法的亮度滤波和色度滤波原理。在此基础上，本文提出了对亮度滤波和色度滤波进行统一处理的思想，并

4、通过在HM参考软件平台上的仿真实验验证了其可行性。关键词：HEVC；去块效应滤波器；视频质量ABSTRACTWith the rapid development of network transmission technology and video information, people increasingly want to be able to see more clearly, faster video. Encoding standards used at home and abroad are block-based, but the coarse quantization af

5、ter block processing will cause blocking artifacts which affect the video quality. This article is based on the platform of the latest generation of video coding standard High Efficient Video Coding (HEVC), addressing the blocking artifacts that impact peoples visual perception. Specifically, the lo

6、op deblocking filtering technique that can enhance subjective performance is studied.Video has been one of the essential entertainments to our lives. Without video, we will live in a world that only has dozens of TV channels, which is unimaginable nowadays. Digital technology first appeared in the U

7、nited Kingdom when people already have TV, through the continuous evolution of digital technology, the number of terrestrial TV channels rapidly increased from five to over 30, which greatly enriched peoples daily life and entertainment.This article firstly introduces the research background, follow

8、ed by the principle of HEVC luma deblocking and chroma deblocking. Then we propose the idea of unify luma filtering and chroma filtering, and verify it on the HM reference software platform.Key words: HEVC, Deblocking Filter, Video Quality目 录第1章 绪论11.1研究背景及意义11.2 视频编码技术研究现状31.3 国内外研究现状51.3.1 视频编码标准的

9、发展51.3.2环路去块效应滤波技术的国内外相关研究61.4 本文的主要内容及结构7第2章 高效视频编码中的环路去块效应滤波技术82.1高效视频编码中的环路去块效应滤波技术的特点72.2环路去块效应来的算法原理92.2.1滤波判别92.2.2滤波操作132.2.3序列和图像的水平自适应性162.2.4结果与分析162.3本章小结19第3章 对环路滤波去块效应滤波的改进203.1具体算法分析203.1.1边界强度的色度分量203.1.2色度过滤决策213.1.3色度样本的过滤过程213.2算法相关代码223.3计算复杂度和并行性233.4视频质量评价方法253.4.1主观方法263.4.2客观方

10、法263.5实验结果与分析273.6本章小结29第4章 结论与展望304.1结论304.2展望30致谢32参考文献33附录35第1章 绪论1.1研究背景及意义随着当今多媒体技术的应用范围不断扩大，高清数码产品逐步普及，人们对图像通信质量及效率的要求越来越高。因为人类对信息的认识与了解大约有70%左右来自于视觉系统，因此在多媒体信息中，数字视频信息尤为重要，在人们普遍追求高清、高质量视频效果的今天，如高清电视、高清数码摄像机、高清数码相机等，首当其冲的就是主观质量，人们更加注重主观感受，而且当今的视频输出端，如电视、手机屏幕为给人们提供更加优质的视觉效果，尺寸做得是越来越大，同时需要的精度也越来

11、越小，因此，其中哪怕是极其轻微的块效应也会引起观赏者的视觉不适。在保证图像质量的前提下，如何才能做到降低或消除块效应。从某种意义上来说，其重要性实际上远远超出了单纯的提高图像客观质量。因此，改善甚至消除块效应也就成为判定是否提高图像和视频编码性能的一个重要指标。从本世纪初，在日益完善的视频标准中，一个有效改善主观视觉质量的方法就是利用自适应调整滤波强度的去块效应滤波方法，但是，由于其数据量大、复杂度高，对软硬件的要求更为苛刻，严重影响了处理速度，因而寻求有效的实现滤波操作的方案和降低滤波算法的复杂度目前成为了改善图像质量亟待解决的问题。高效视频编码（HEVC）是一种新型的视频编码标准，是由IT

12、U-T SG16 Q.6，也被称为视频编码专家组（VCEG）和运动图像专家组（MPEG）联合协作的团队在视频编码（JCT-VC）的基础上联合研制成功的，并通过了ISO / IEC JTC 1/SC29/WG11的认证。第一版本的HEVC标准已于2013年1月完成，预计在接下来的几年中，将会继续开发和三维扩展HEVC。与先前的视频编码标准相似，HEVC编码标准是基于混合编码方案的采用基于块的预测和变换编码方式的。首先，无论是通过运动补偿还是内部帧预测得到的解码数据，输入信号均被分为矩形块。由此产生的预测误差通过基于近似整数的离散余弦变换（DCT）的块变换进行编码，其次，是变换系数的量化和编码。H

13、.264/AVC编码标准在滤波前是将图片划分成1616的采样固定宏块，而HEVC编码标准则是将图片分割成1616，3232，6464采样编码树单元（CTU）。该编码树的单位可以进一步分成较小的块使用一个四元树结构，这样的一个块，称为一个编码单元（CU），可以进一步被分割成预测单元（PU），也是一个根本的变换四叉树。在每个变换四叉树的子节点的又定义了一个变换单元（TU）。所使用的变换的大小在预测误差编码可以从44到3232样品，从而允许比H.264/AVC中较大的变换，它使用44和88变换。作为最佳大小上述块通常取决于图像内容的再生图像是由块各种尺寸，每个块被用一个单独的编码变换预测模式和预测误

14、差。在一个利用基于块的预测和变换编码方案中，不连续性可能会发生在重建的信号在块的边界，在块边界的可见的不连续性被称为“块效应”。一个主要的块效应的来源是块变换编码的预测误差的后跟粗量化。此外，在运动补偿预测处理，预测在当前图像的相邻块可能不来从在先前编码的图片，相邻块的在预测的块边界的不连续性产生信号。类似地，应用帧内预测时，预测相邻块的过程中可能会有所不同造成不连续的预测信号的块边界。解决“块效应”的两种最有效的方法就是后置滤波和环路滤波。后置滤波在视频编码标准中没有被具体指定，比如在显示缓冲区中，实现者可以根据特定应用程序的需求自由地设计算法，这种方法的优点是自由性比较强，但相对而言兼容性

15、却较差；环路滤波在编解码过程中，需要避免出现在编码器和解码器中的漂移现象。HEVC标准中定义了可依次用于重建图片的两种环路滤波，分别是去块效应滤波（Blocking artifacts filter，BAF）、自适应采样点补偿滤波（sample adaptive offset，SAO），其中去块效应滤波是在H.264编码标准中去块效应滤波算法的基础上发展而来的，产生发展的目的就是提高速度，降低算法复杂度，当前的HEVC模块中取消了小块，即44块的去块效应滤波算法，而新增加了自适应采样点补偿滤波和自适应环路滤波的技术。在HEVC编码标准中，重建写入解码环的去块效应滤波（Deblocking Fi

16、lter，DBF）的像素通常需要两个步骤：一是进行采样点自适应补偿（SAO）滤波处理，二是进行去块效应滤波处理，此去块效应滤波环节实质上的目的是为了尽量减少基于块编码而产生的块效应。HEVC编码标准中的DBF与H.264/ AVC中的是相似，HEVC区别于其他编码技术的特点就是对SAO方法的引入，这是由于DBF仅仅是用来处理块边界上的像素，而SAO滤波器的引入则大大扩展了处理像素的范围，可用于处理满足某种统计条件的情况，如：基于梯度图等。该项技术在很大程度上为削弱“块效应”做出了贡献。实际上，HEVC和H.264编码标准之间的差异是十分微小的，它们至少在主要性能上是相同的，都能使画面实际编码的

17、画幅变得更大，比如从2K到4K、从4K到8K分辨率的变化，它们的目的是使得全高清视频的播放速率变得更快。Netflix公司在2013年的CES展会上已经演示过该技术。HEVC被认为是即将流行的协议标准，因为不管是3D蓝光播放器还是其他的一些主流媒体的播放器，都急需一个新的编解码器，以能达到播放4K内容的能力。非常可喜的是HEVC协议标准的整个框架结构已经被确定，它将在H.264编码标准2至4倍复杂度的基础上，将压缩效率提升一倍以上。当然，新的编解码器也有不可忽视的缺点，它们不支持大多数硬件，通常需要效率更高、更多的处理器来辅助，这就意味着，如果有一个固件需要更新，而编解码器却跟不上升级速度的话

18、，那么我们的电视机顶盒和蓝光播放机是无法播放HEVC标准下编码的视频内容的，这些问题都使得HEVC需要等待解决方案出现后才能继续使用。即便如此，世界上许多知名电视机品牌和媒体运营商依然将HEVC协议标准作为未来主要研发的媒体格式，比如松下公司就已经明确表态，要在其未来的4K电视及OLED电视上使用该协议。相信不久之后，HEVC协议标准一定会以更强劲的压缩效率表现，将视频压缩技术推向全新的高度，成为各电视和广播载体的标杆。1.2 视频编码技术研究现状视频压缩主要是通过去除视频中的空间冗余、时间冗余和编码冗余三种方法得以实现，这些编码算法在编码器中被有效的组合在一起，使整个编码器具有较高的压缩效率

19、。目前主流的视频编码器采用的技术主要有预测、变换、量化、扫描和熵编码，这些技术在编码器中的基本实现次序关系如图1-1所示。图 1-1 视频编码压缩关键技术图像/视频编码的预测技术分为帧内预测（intra-prediction）和帧间预测（inter-prediction）。帧内预测是利用图像在空间上相邻像素之间具有相关性的特点，由相邻像素预测当前块的像素值，这种方法可以有效地去除块间冗余。帧内预测包含多个预测方向，可以按照图像本身的特点选择一个最佳的预测方向，最大限度地去除空间冗余。帧间预测根据预测方向又可分为前向预测和双向预测，以上两种方法都是利用已编码帧的视频内容对未编码的当前帧进行预测，

20、以达到消除运动图像时间冗余的目标。利用同一帧图像内的像素之间的相关性，通过变换编码减少像素间的相关性方法达到消除空间冗余的目的。变换编码被认为是图像或视频编码中最有效的技术之一，因为它将空域信号变换到频域信号，有效地去除了信号的相关性，并能够使大部分能量集中到低频区域。根据频域信号的这一特点，就可以选择编码部分显著的频域信号，同时丢弃不显著的频域信号，以此达到提高压缩效率的目标1。在此过程中常用的变换技术有K-L变换、DCT变换以及小波变换等等。量化是一种有损压缩技术，量化后的视频图像是不能进行无损恢复的，因为会导致源图像与重建图像之间存在一定的误差，所以此现象称之为失真。变化量化后的系数在熵

21、编码之前通常要通过“Z”字（Zigzag）扫描，这样的扫描过程能够将变换量化系数重新组织成一维系数序列，使得这组序列能够在后续过程中被高效的编码。目前国际上主流的视频压缩标准主要有以下几种：（1）隶属于国际标准化组织（International Standardization Organization，ISO）和国际电工委员会（International Electronics Committee，IEC）的运动图像专家组（Moving Pictures Experts Group，MPEG）组织编定的的MPEG标准；其中，MPEG-1 标准主要用于 VCD 存储2；MPEG-2 标准主要用于

22、数字电视广播和数字视频光盘3；MPEG-4 标准主要用于对随机形状的对象进行编码4。（2）国际电信联盟（International Telecommunication Union，ITU）制定的 H.261 和H.263 标准，是针对视频会议来设定的。（3）2003 年，ISO/IEC下属的MPEG和ITU下属的视频编码专家组（Video Coding Experts Group，VCEG）共同成立的联合视频小组（Joint Video Team，JVT）完成的 H.264标准即“MPEG-4 AVC（Advanced Video Coding）”，有时也被称为“MPEG-4 Part 10”

23、，主要用于国际数字视频编码和国内的AVS数字视频编码。（4）国际电信联盟组织（ITU-T）和运动视频专家组织（MPEG）所成立的视频编码联合小组（JVT）在定制完成H.264/AVC国际音视频标准后，于2013年推出了当前国际上最新的主要面向高清电视以及视频编解码系统的高效视频编码（High Efficient Video Coding，HEVC）标准。1.3 国内外研究现状视频压缩的标准化是视频编码技术产业化的前提。编码器按照严格、统一的视频压缩标准，将视频/图像压缩转换成码流格式，然后在解码器端识别这些压缩比特流，并解码重构视频/图像，以实现信息正确无误的交互。视频压缩算法的研究近些年来取

24、得了很大的成就，从而确立了一系列的视频压缩标准。1.3.1 视频编码标准的发展视频编码标准的演变过程，是基于著名的ITU-T和IOS/IEC 标准的发展过程。ITU-T编订了H.2615和H.2636标准，IOS/IEC编订了MPEG-17和MPEG-48标准，随后这两个组织又联合编订了H.262/MPEG-29和H.264/AVC标准。这些标准的产生在视频编码界引起了巨大的反响，同时它们也在人们的生活中得到了越来越广泛的应用。在现今社会中这些标准的演变还在持续进行着，人们希望通过不断的改进达到提升最大化视频压缩性能的目的，同时提高其他一些特性，如数据丢失的鲁棒性等等。视频编码技术历经了近60

25、年的发展，在这一过程中，逐渐形成了变换编码、预测编码和熵编码三类经典编码技术，这三类技术分别用于去除视频信号的空域冗余、时域冗余以及信息熵冗余问题。基于这三类技术，逐步形成了以块为单位的，预测加变换的混合编码框架。截止到目前为止，所有出现的视频编码标准都是基于这一技术框架发展起来的，包括前面提到过的H.261，H.263，H.264视频编码标准，MPEG-1、MPEG-2、MPEG-4视频编码标准以及我国自行研发的AVS视频编码标准。这些视频编码标准凝聚了视频编码技术的所有精华，体现了学术界以及工业界对视频信号压缩处理的理解。从某种程度上来说，视频编码标准的演变是视频编码技术发展的一个缩影。H

26、.264/MPEG-4 AVC的应用目前几乎已经渗透到了生活、生产中的每个领域，包括高清晰度（高清）电视卫星、有线电视信号、地面传输系统、视频内容的采集和编辑系统、摄像机、安全应用、互联网和移动网络视频、蓝光碟片以及实时会话的应用，如视频会议、视频聊天、临场感系统。H.264/MPEG-4 AVC已基本取代了其他旧的编码标准在视频编码领域的地位。但是，H.264/MPEG-4 AVC标准的性能依然是无法满足如今视频设备的多样化发展、无法满足高清视频用户数量的增加和超高清视频的出现的要求，带有立体声和多视点视频捕捉、高清显示设备的出现更是不断地推动人们探索提高视频压缩技术性能的新方法。此外，针对

27、移动设备和平板电脑的视频应用造成的数据增加，以及传输需求的视频点播服务，对当今的网络也提出了更大、更新的挑战，移动应用中的视频也向着高质量和高分辨率的方向发展。HEVC的制定，基于的最主要的标准就是 H.264/MPEG-4 AVC标准，1999年至2013年间HEVC一直在不断发展。1.3.2 环路去块效应滤波技术的国内外相关研究视频编码技术已被广泛应用在减少编码比特率，以节省信道带宽和磁盘空间的过程中。为了提高编码性能，众所周知的视频编码标准从H.264/AVC已经发展到HEVC，并日益成熟，性能较以往标准更是有了显著地改善与提高。保持图像质量不变的情况下，同时大大降低比特率。然而，块效应

28、却依旧会在解码图像中出现。消除块状影像以提高图像质量的视频编码系统是一个亟待被研发出来的。现阶段国内外针对编码标准中的环路去块效应滤波问题的研究主要是集中在H.264/AVC标准和HEVC标准，同时包括软、硬件方面的研究。针对视频编码标准中的环路去块效应滤波问题的现有研究有西安电子科技大学Shang等人提出的一种基于人类视觉系统（Human Visual System，简称HVS）的快速环路去块效应滤波算法，利用人类视觉系统的亮度、复杂度掩蔽效应进行模式分析、选择，对去块效应滤波的模式和滤波过程进行算法的改进；浙江大学Fang等人则是针对软件处理能力和兼容性设计两个方面存在的问题，对去块效应滤

29、波进行了算法优化，从而提出了高效的实现结构；浙江大学Yi等人针对环路去块效应滤波判定方法进行了研究，在保证视频质量的前提下降低了算法的复杂度。目前应用在HEVC编码标准HM软件中的自适应环路滤波器，是一种由Karczewicz10等人首先提出的空间域的维纳滤波器，通过将维纳霍普夫方程的滤波系数进行求解，再熵编码，最后将结果发送至解码器的单元。自适应环路滤波的执行，基本上代替了像素被滤波内核加窗加权的滤波操作，对于边界的像素，这种加权较内核中的非边界像素是可能会加重其平滑度的，为了避免存在这种不良的平滑化，权重是在考虑到像素亮度和色度分量的同时，更应该首先考虑到像素自身值。以上就是Manduch

30、i和Tomasi首先提出的双边滤波的核心思想11。从开创了这项工作以来，基于H.264/AVC编码器的很多文献提案都进行了集成环路滤波和双边滤波的研究工作，如Hu和Haan使用BLF替代了H.264/AVC中的去块效应滤波12，并指出BLF增强了解码视频的主观和客观的质量。Liu和Hao结合了BLF和维纳滤波进行联合滤波13。1.4 本文的主要内容及结构本文旨在对新一代的视频编码标准HEVC后处理技术进行研究和改善。本论文分为四章：第一章为绪论部分，主要介绍了课题的研究背景和意义。本章对视频编码的发展历程做了详尽的展开，简单介绍了当今国际上通用的视频编码标准，并对目前国内外对HEVC标准的研究

31、和改善进行了简要的介绍。第二章主要是对高效视频编码中的环路去块效应滤波技术的算法特点和具体算法进行介绍。根据视频编码中块效应产生的根本原因，考虑当前环路去块效应滤波的特点和算法，给出算法具有的优缺点，为以下章节进行算法改进打下了基础。第三章是从视频编解码过程中对色度和亮度分量滤波的角度，提出一种能够同时对色度和亮度进行滤波的算法，给出算法的原理、特点和算法执行的步骤，对该新算法与原有算法进行试验分析比较。第四章是对全文进行的总结，针对高效视频编码中环路滤波算法所存在的问题，提出了算法的改进方案，并对去块效应滤波技术中可以改进的方面进行了相应的展望，以促进HEVC编码标准的进一步发展。第2章 高

32、效视频编码中的环路去块效应滤波技术2.1 高效视频编码中环路去块效应滤波技术的特点在HEVC编码标准中主要定义了编码单元（CU）、预测单元（PU）和变换单元（TU）三种类型的单元格式。去块效应滤波用于去除图像边界、跨片边界或可直接编码的信号边界以外所有PU或TU边界相邻的像素中。让人关注的是，因PU边界在帧间预测CB中并不是总和TU边界对齐，因此PU和TU边界此时均需要被考虑到，在SPS和片头中有语法提示在跨片和头边界是否需要去块效应滤波。HEVC与H.264/AVC是存在不同的，二者的不同点在于后者只对44像素的块边界用去块效应滤波，而前者只对88像素块边界的亮度和色度使用去块效应滤波，因此

33、从运算角度上来说，HEVC在确保图像质量的同时可以降低计算复杂度，进而提高了并行处理效率。HEVC中控制去块效应滤波强度的参数和H.264/ AVC是相似，但参数个数却由原来的5个减少到了3个。设P 和Q为两个大小为88的相邻像素块，设其中一个为帧内预测图像块，滤波强度选择2；但是当满足下列任一情况时，滤波强度应选择 1，（1）P和Q至少有一个是非零变换系数；（2）P和Q的参考索引不相等；（3）P和Q的运动变量（MV）不相等；（4）P和Q的MV分量的差值大于或等于一个整像素；如果以上的条件都不成立的话，则滤波强度为0，这种情况就意味着不需要进行去块效应滤波处理。根据滤波强度和P、Q的平均量化参

34、数，可以在预定义的表中确定两个阈值：tc和；对于亮度像素，选择不同的代表不同的滤波强度，分别为：不滤波，强滤波和弱滤波。注意这个选择可以跨过四个亮度的行和列，如果第一和最后一行或列共用，可以用以减少计算的复杂度。对于色度像素，则只有不滤波和正常滤波两种情况；正常滤波只有在滤波强度大于1的情况下才会使用，滤波处理通过控制变量tc和来实现。图 2-1 为 SAO 中四种梯度模式。图2-1 SAO中的四种梯度模式在HEVC编码标准中，DBF的处理顺序是:先对整个图像的垂直边界进行水平滤波；再对水平边界进行垂直滤波。这种处理使并行处理结构中同时进行多水平行或垂直列滤波变得非常方便，同时还可以逐个CTB

35、块进行，以达到减少时延的目的。2.2 环路去块效应滤波的算法原理在HEVC标准中定义了两种用于重构图片的环路滤波技术，一种是去块效应滤波，另一中是采样自适应补偿滤波（SAO），本节会详细描述第一种环路滤波技术去块效应滤波。2.2.1 滤波判别（1）去块效应滤波的块边界独立编码块创建在块边界的不连续点上，如图2-2所示。当块边界的两侧相对平滑时，人类视觉系统就会很容易注意到块效应的发生，但若块边界两侧的信号变化比较多时，人们就很难注意到它的发生。此外，若贯穿于边界的原始信号是高变换度时，就很难判定重建信号的变化究竟是源于块效应还是原始信号。图2-2 一维块效应中块边界示例因此，去块效应滤波设计的

36、重点是首先判断是否需要进行去块效应滤波，其次是确定去块效应滤波的滤波强度。过度滤波将导致图像的细节过于平滑，即会丢失细节，而缺省滤波将造成主观视频质量的下降。是否进行块边界滤波取决于两相邻像素块重构像素值的特征和可能在编码过程中引起的块效应的编码参数。如图2-3所示，首先将图片分成88的像素块，该像素块中分别包含像素点，垂直和水平分块边缘和可并行处理的非重叠像素分块信息。当同时满足以下三个条件时，在块边界的四像素部分要执行去块操作，（1）块边界为预测单元或变换单元的边界；（2）边界强度大于零；（3）块边界两侧信号的变化低于指定阈值（如图 2.3）。当满足以上三点条件时，就进行强滤波操作。图2-

37、3 采样块边界示意图（2）边界强度（Bs）和边缘水平自适应性边界强度（Bs）的计算是为预测单元和变换单元的边界而进行的，边界强度一般有0、1和2 三个值，边界强度的定义如表2-1所示。对于亮度分量来说，边界强度只有1和2 两个值，这就意味着，当边界强度不为0时，表示不存在静态区域滤波。这样有助于避免后续图片间的像素残差为零的相同区域进行多次滤波，这种滤波将引发“过平滑”现象。对于色度分量，只有在边界强度等于2的情况下执行滤波操作，这就意味着至少在相邻边界有一个块为帧内预测块才能进行滤波操作。表2-1 两个邻近的亮度块边界Bs值的定义条件Bs边界两侧至少有一个是帧内预测块2边界两侧至少有一个块的

38、编码残差系数不全为零并且是转换块的边界1边界两侧图像运动矢量之差不小于一个亮度图像点距离1边界两侧的运动补偿参考帧不同或者两侧运动矢量数量不同1其他0（3）局部自适应性和滤波判定当边界强度（Bs）大于零时，增加的条件是检测亮度块的边缘，这个操作的目的是判断是否应用去块效应滤波。如图2-2所示，块效应的特点是块边界两侧低空间活动且不连续，因此，对于88像素的网格上的每个4-像素长度的块边界来说，满足上述条件，然后通过检测下列条件来判定是否应用去块效应滤波操作。（如图2-4 所示）图2-4 P和Q相邻两块4-像垂直边界|p20-2p10+p00|+|p23-2p13+p03|+|q20-2q10+

39、q00|+|q23-2q13+q03|(2.1)阈值取决于量化参量QP，QP是用来调整针对量化预测误差系数的量化步骤14。公式（2.1）用来评估块边界两边信号偏离直线的个数，这个直线为恒定水平信号或是斜线。以44的像素块为例，为了兼顾复杂度问题，仅对同一块中的第一行和第四行进行评估。为了叙述简便，在图2-4示例和公式（2.1）中，仅考虑了垂直边界的情况，可以通过将图片旋转 90从而改变方程中行、列的下标的方法将示例方法扩展到水平方向。当相关联的块边界强度大于0时，公式（2.1）成立，执行去块效应滤波操作，在HEVC编码标准中存在两种去块效应滤波模式，分别是普通滤波模式和强滤波模式。对于四像素长

40、度的每个块边界，去块效应滤波根据信号特征可以在普通和强滤波模式之间转换。（4）普通与强滤波的判定采用普通滤波还是强滤波进行去块效应滤波操作取决于四像素块边界的第一行和第四行（见图2-4）。下述表达式利用i=0和i=3进行评估，从而判定采用哪种滤波方式1415。|p2i-2p1i+p0i|+|q2i-2q1i+q0i|/8(2.2)|p3i-p0i|+|q0i-q3i|/8(2.3)|p0i-q0i|2.5tc (2.4)阈值参数tc由QP决定，是通过表定义的（详见2.3.5）。若第0行和第3行（即第1和第4行）满足不等式（2.2）、（2.3）、（2.4），则在块边界应用强去块效应滤波，否则就应

41、用普通滤波。公式（2.2）是用于检测块边界两侧的低空间活动性的（类似于公式（2.1），但阈值变小），公式（2.3）是用于检测块边界两侧的信号平坦度的，公式（2.4）用以检测块边界两侧像素的强度差确实是不超过阈值的，这是一个关于tc（QP ）（取决于QP）值的多重剪裁判定。将公式（2.1）至公式（2.4）对应条件（1）至条件（4）进行判定的流程如图2-5所示。图2-5 判定流程（5）普通滤波模式下的去块效应滤波判定普通滤波是由两种模式组成的，两者的区别在于块边界每侧被修改的像素个数的不同，一种模式是令每个边界满足以下两个条件16。|p20-2p10+p00|+|p23-2p13+p03|3/16

42、(2.5)|q20-2q10+q00|+|q23-2q13+q03|4(2.9)剪切操作请参考本节第（4）部分中的描述，如果忽略剪切操作，此滤波的脉冲响应为（3 7 9）/16。偏移量0对应块边界两侧最佳斜线的偏差信号，若信号在块边界形成一个斜线，则偏移量为D0。此外，当且仅当满足公式（2.10）时，对通过块边界的行、列像素点进行去块效应滤波操作。|0| 1）- p1 + D0 ）1(2.13)q1 = （q2 + q0 +1） 1）- q1 + D0 ）1(2.14)忽略剪切操作，滤波器的脉冲响应对应像素位置, p1被修改为(8 19 1 9 3)/32。与上文类似，将公式（2.5）、（2.

43、6）和（2.10）分别对应条件（5）、（6）和（10）,针对普通滤波模式中每行的像素，滤波判定顺序的总结如图2-6 所示。图2-6 4-采样段每行执行普通滤波判定（2）强滤波操作强滤波将影响块边界每侧更多的像素，类似于普通滤波，修改块边界每侧的三个像素点。偏移量D0s、D1s和D2s分别加在p0、p1和p2上，对应裁剪值为0s、1s和2s，如公式（2.15）和公式（2.17）所示。0s = （p2 + 2p1 - 6p0 + 2q0 + q1 + 4）3 (2.15)1s = （p2 - 3p1 + p0 + q0 + 2）2 (2.16)3s = （2p3 - 5p2 + p1 + p0 +

44、 q0 + 4）3(2.17)用于修改像素的偏移量q0、q1和q2是通过相应的将p转换到q得到的。若忽略裁剪操作，滤波器的脉冲响应对应像素的修改值，p0、p1和p2对应 (1 2 2 2 1)/8、(1 1 1 1)/4 和(2 3 1 1 1)/8。（3）色度去块效应如以上所述，仅存在一种色度去块效应，即Bs=2的情况。在这种情况下，不进行进一步的去块效应的判断，如公式（2.7）、（2.8）中所示，仅修正像素p0和q0的值。去块效应滤波根据由公式（2.18）得到偏移量c。c = （p0 - q0）3(2.18)其对应的脉冲响应为(1 4 4 1)/8的滤波器进行滤波。（4）裁剪为防止由于过度

45、滤波而引起模糊不清状况的发生，在进行去块效应滤波前，一般对其所依赖的参数QP进行裁剪操作。裁剪操作执行在计算后，修正像素值之前，根据公式（2.19）中将值剪裁到-c ,c之间，用以获得滤波的D值。剪裁增加了去块效应滤波的自适应性。D= Min(Max(-c，)，c) (2.19)其中，当进行普通滤波时，c等于p0 和q0中的tc(n)，等于p1 和q1中的tc(n)/2；当进行强滤波时，c =2tc(n)；当边界相邻两侧均为帧间预测块时，变量n=QP；当边界相邻两侧均为帧内预测块时，n=QP+2。参数tc与QP的关系如图2-7所示。去块效应滤波强度通常较帧内预测块大，因此，当Bs=2时，帧内块

46、较帧间块所修正的像素值要大。图2-7 、tc与QP的关系普通滤波后的像素值p0、q0，p1和q1，色度去块效应的p0、q0是通过深度N定义范围的，如公式（2.20）所示。p” = Min(Max(0, p), 2N 1)(2.20)2.2.3 序列和图像的水平自适应性不同的视频序列具有不同的特点，因此去块效应滤波强度也可以根据序列甚至是图片各自不同的特点进行调节。正如前面所提到的，块效应主要来源于变换和变化，因此它很大程度上取决于量化参数QP，所以在进行去块效应滤波判定时，需要考虑QP的值。阈值和tc的值由同一块边界相邻两块的QP平均值17所决定，而QP的值通常存储在相应的表格中，其关系如图2

47、-7所示。参数是用来对需要滤波的边界的位置、滤波强度的选择和普通滤波操作时块边界需要被修正像素的个数的参量进行控制的。从图2-7中可以看出，随这QP值的增加，高QP值较低QP值的去块效应滤波操作更为频繁，即粗量化较细量化的去块效应滤波操作更加频繁，甚至有时可以通过将和tc值设置为零，进而在低QP值时不进行去块效应滤波操作，这是一种典型的非线性操作。参数tc是用来控制对普通还是强滤波的选择，同时它还用来判定某些普通和强滤波操作的确定性QP的像素值所修正值的最大绝对值的参量，其有助于自适应地来限制去块效应滤波的模糊量。也就是说，tc和是QP和预测类型是去块效应滤波的自适应参数。然而，不同的序列或部

48、分相同的序列具有不同的特征，根据序列、图像甚至视频片的内容选择去块效应滤波的数量是非常重要的一个环节。因此，去块效应滤波调整参数，可以发送到图片参数设置（PPS）或视频片头，从而达到控制需要去块效应滤波操作的数量的目的。相应的参数为tc_offset_div2和beta_offset_div218。这些参数指定的偏移量（除以2）是已经被加到之前确定的tc和值上的了。参数beta_offset_div2是用来调整去块效应滤波应用像素的数量的，参数tc_offset_div2用来调整应用在前面的所确定的像素上的滤波的数量（包括自然边界）。2.2.4 结果与分析通过主观和客观的影响对去块效应滤波进行

49、实验分析。表2-2到表2-5说明了在 HEVC编码标准中通过禁用去块效应滤波各种配置而得到BD-rate19的。这些配置是：All-Intra，仅使用帧内预测；Random -Access，使用帧内图片的特定时间间隔和层次-B的编码结构；两种Low-Delay配置，一种是应用帧内图片Low-Delay B的配置，另一种是用于运动补偿预测前图片Low-Delay P的配置，Low-Delay P的配置是不使用双向运动补偿预测的。HEVC编码标准中的比特率是用来作为衡量在相同均方误差情况下比特率下降的平均值20的，正数表示在相同质量下所增加的比特率。在相同质量下HEVC编码标准中的去块效应滤波将导

50、致比特率平均下降 1.34-3.4%，对于某些序列而言，甚至可能达到6%。对比图2-8和图2-9的视觉效果，分别是开启和关闭去块效应滤波配置的效果。图2-8展示了从Basketball Drive 视频序列（1080p*50 fps）裁剪的一部分，应用随机存取编码方式，同时令QP=32。图2-9为Kristen and Sara (720p*60 fps)序列，应用Low-Delay B编码方式，令QP=37。通过以上两幅图像的比较，不难看出，去块效应滤波可以有效去除图像中存在的块效应。本实验是在HEVC参考软件HM-10.0的环境下进行。表2-2 相同质量下All Intra Main配置时

51、禁用去块效应滤波平均增加的比特率All Intra MainYUVClass A1.9%4.2%3.7%Class B1.7%4.5%5.1%Class C0.9%3.7%4.3%Class D0.7%3.0%3.4%Class E2.1%7.4%8.8%Class F0.6%1.9%1.8%Overall1.3%4.0%4.4%表2-3相同质量下Random Access Main配置时禁用去块效应滤波平均增加的比特率Random Access MainYUVClass A3.6%2.1%1.9%Class B3.2%1.9%1.9%Class C2.1%1.5%1.9%Class D1.5

52、%1.1%1.2%Class F1.2%0.9%0.9%Overall2.6%1.6%1.7%表2-4 相同质量下Low delay B Main配置时禁用去块效应滤波平均增加的比特率Low delay B MainYUVClass B3.3%1.3%1.6%Class C2.1%1.5%1.5%Class D1.3%0.8%1.6%Class E3.8%5.9%7.3%Class F1.3%0.4%0.0%Overall2.4%1.8%2.1%表2-5 相同质量下Low delay P Main配置时禁用去块效应滤波平均增加的比特率Low delay P MainYUVClass B4.9%

53、2.5%2.7%Class C2.6%1.5%2.1%Class D1.6%1.4%0.8%Class E6.2%7.8%9.0%Class F1.7%1.0%0.4%Overall3.3%2.5%2.7%图2-8 Basketball Drive视频序列，Random-Access，QP=32（a）禁用去块效应滤波操作，（b）开启去块效应滤波操作图2-9 Kristen and Sara视频序列，Low-Delay，QP=37（a）禁用去块效应滤波操作，（b）开启去块效应滤波操作2.3 本章小结本章主要介绍了HEVC编码标准中应用的环路去块效应滤波的特点，并对高效视频编码中的环路去块效应滤波的算法原理进行了详细的阐述。实验结果表明，在新一代的 HEVC编码标准中，环路去块效应滤波不仅提高了视频的质量，同时还对编码效率进行了改进。但对于HEVC编码标准中自带