（通信与信息系统专业论文）视频编码中去块滤波技术的原理与算法研究.pdf

浙江大学硕士学位论文 摘要 视频编码中基于块的混合编码是现在以及将来的一段时间内的主流。南于对于每个编码 块的相对独立处理，基于块的混合编码有一个最大的缺点就是在压缩比较厉害的时候会产生 明显的块效应。去块滤波技术能够有效的去处视频编码产生的块效应，从而明显的提高主观 效果，是很实用且重要的个技术。 本文首先介绍了人类视觉系统，并介绍了其与视频编码相关的一些特性，同时介绍了视 频编码中常见的主观误差效果：块效应、振铃效应和基模版现象。这些是去块滤波器设计的 基础，通过这些能够指导实际去块滤波方法的设计。 接着，分析了视频编码中块效应产生的原因，即对帧内预测和帧间预测残差的变换编码 和运动补偿预测块与块之间的不连续性。统计并分析了视频编码中误差分布的特征，以及其 及与视频编码其他部分的关系。 去块滤波器可以分为两大类：后处理去块滤波器和环路去块滤波器。4 ，5 两章详细的 介绍和分析了现有最先进的后处理去块滤波器m p e g 4 附录f 中定义的去块滤波器，和 现有晟先进的环路去块滤波器h 2 6 4 中的环路去块滤波器。从设计目的和原理出发，详 细地这两个环路滤波器的实现方法性能及特点。为第6 章中作者设计的a v s 中的去块滤波 器提供了重要的参考。 由第3 章统计的视频编码中压缩误差分析的规律，以及结合现有后处理去块滤波和环路 滤波方法的优点，第6 章中作者提出了一种简单有效的环路滤波方法，此方法在大大降低复 杂度的情况f ，能够提高图象的主观质量，客观p s n r 略有下降。a v s 标准第七部分采纳 了本环路滤波方案。 最后指出了去块滤波技术几个可能的发展方向。 关键词：块效应、去块滤波、主观效果、视频压缩、h 2 6 4 、a v s 浙江人学硕士学位论文 a b s t r a c t b l o c k - b a s e dh y b t i dc o d i n gi st h em a i ns t r u c t u r eo fv i d e oc o d i n gn o wa n di nt h en e a rf u r t h e r b e c a u s ei tc o m p r e s s e st h eb l o c k sr e l a t i v e l ys e p a r a t e d ，t h e r ei sab i gd i s a d v a t a n g eo f t h i ss t r u c t u r e ， t h a ti so b v i o u sb l o c k i n ga r t i f a c t sw i l la p p e a rw h e nt h ec o m p r e s s i o nr a t i oi sh i 曲d e b l o c k i n gf i l t e r c a nr e d u c e b l o c k i n g a r t i f a c t s e f f i c i e n t l y , t h u si m p r o v e t h e s u b j e c tq u a l i t ys i g n i f i c i a n t l y d e b l o c k i n gf i l t e ri sau s e f u la n di m p r o t i a n tt e c h n i q u ei sv i d e oc o d i n g i n t h i sp a p e r , w ef i r s t l yi n t r o d u c et h eh u m a nv i s u a l s y s t e m ( i i v s ) ，m a ds o m eo f i t s c h a r a c t e r i s t i c sw h i c hi sr e l a t e dt ov i d e oc o m p r e s s i o nt h e nw ei n t r o d u c et h em a i ns u b j e c t d i s t o r t i o n s ，w h i c ha r eb l o c k i n ga r t i f a c t s ，t i n g i n ga r t i f a c t sm a db a s i sp a t t e r nb r e a k t h r o u g h t h e s e a l eb a s i s e so f d e s i g n i n gad e b l o c k i n gf i l t e r n e x tc h a p t e r , w ea n a l y z et h er e a s o n sw h yb l o c k i n ga r t i f a c ti si n d u c e d w ef i n dt h a tt h e r ea r e t w om a i nr e a s o n s ： 1 t r a n s f o r mc o d i n go f t h ei n t r a i n t e rp r e i d i c t i o nc o e f f i c i e n t 2 d i s c o n t i n u e dm o t i o nc o m p e n s a t i o n i nt h i sc h a p t e lw ea l s oc a l c u l a t et h ed i s t r i b u t i o no ft h ed i s t o r t i o n ，a n di t sr e l a t i o n s h i pw i t h o t h e rc o d i n gp a r a m e t e r s t h e r ea r em a i n l yt w ot y p e so fd e b l o c k i n gf i l t e r ：p o s td e b l o c k i n gf i l t e ra n di n - l o o pd e b l o c k i n g f i l t e r c h a p t e r4 a n d5i n t r u d u c ea n da n a l y z et h es t a t e - o f - a r tt e c h n i q u eo ft h e s et w ot y p e d e b l o c k i n gf i l t e r i nc h a p t e r4 ，a na d v a n c e dp o s td e b l o c k i n gf i l t e r t h ed e b l o c k i n gf i l t e ri n m p e g 4 a p p e n d e xfi si n t r o d u c e da n da n a l y z e d i nc h a p t e r5 ，t h en e w e s ti n l o o pd e b l o c k i n gf i l t e r t h ed e b l o c k i n gf i l t e ri nh 2 6 4i ss h o w na n da n a l y z e d i nc h a p t e r6 ，b a s e do nt h ea n a l y s ei nc h a p t e r4a n d5c o m b i n e dw i t ht h er e s u l ti nc h a p t e r3 ， w ep r o p o s e das i m p l eb u te f f i c i e n ti n - l o o pd e b l o c k i n gf i l t e rf o ra v sp a r t7 e v e nt h o u g ht h e p r o p o s e dd e b l o c k i n gf i l t e r sc o m p l e x i t yi sl o w e rt h a nt h a to fh 2 6 4 sd e b l o c k i n gf i l t e r , i tc a n p r o v i d eh i 曲s u b j e c tq u a l i t y , a n do n l yal i t t l ep s n rl o s ei so b s e r v e d t h i st e c h n i q u ei sa d o p t e db y a v ss t a n d a r dp a r t7 i nt h el a s tc h a p t e lt h ep o s s i b l ef u r t h e rr e s e a r c hd i r e c t i o no fd e b l o c k i n gf i l t e ri sa l s op o i n t e d o u ti nt h i sc h a p t er k e yw o r d s ：b l o c k i n ga r t i f a c t s ，d e b l o c k i n gf i l t e r , s u b j e c tq u a l i t y , v i d e oc o m p r e s s i o n ，h 2 6 4 ，a v s i i 图标索引 图1 - 1 h 2 6 1 编码器框图 图1 - 2 h 2 6 4 编码器框图 浙江人学硕+ 学位论文 2 3 图1 - 3 后处理去块滤波模块在解码器中的位置。4 图1 - 4 环路去块滤波模块在编( 解) 码器中的位置5 图1 5 使用去块滤波器和不使用去块滤波器的主观质量比较。7 图2 1 人类视觉系统组成图 图2 2 振铃效应的例子 图2 3d c t 变换的基模版1 1 7 】 图2 - 4 视频编码中的典型的误差0 7 1 图2 - 5p s n r 与主观质量的关系1 1 7 l 图2 6 视频质量评估系统框图 图3 - 1 变换编码误差产生块效应的地址1 8 图3 2 一维情况下两种块效应产生原因的示意图 图3 - 3 运动补偿产生块效应示意图 图3 - 4q p 为3 4 时不同宏块类型的块的残差的分布情况 1 9 1 9 2 2 图3 - 5 块间误差的计算方法，块和其周围点2 5 图3 _ 6 块内编码误差与帧内预测模式的关系3 s 图4 - 1 与解码器有关的去块滤波器的原理图 图4 - 2 与解码器无关的去块滤波器的原理图4 0 图4 _ 弼8 块边界及滤波中可能甩到的点4 1 图4 - 4m p e g 4 附录f 中后处理去块滤波器框图 图4 _ 鲥点d c w 变换的基矢量 图4 - 6m e p g 4 附录f 中后处理去块滤波对于帧内快滤波的效果。【豁】 图5 - 1 环路滤波对预测的影响 v l 4 2 4 4 4 6 詹 n n 他 峙 ” 浙江大学硕士学位论文 图5 - 2 主观质量比较( a ) 滤波前( b ) 滤波后1 3 0 1 图5 - 3 滤波顺序1 5 6 1 图5 - 4 垂直边界附近的点 图5 - 5 水平边界附近的点 图5 - 6 典型的需要去块滤波的边界 图6 - i 宏块中需要滤波的边界示意图 图6 - 24 x 4 块水平或垂直边界样本 图6 - 3i 帧时本章提出的去块滤波器的主观性能 图6 - 4 p 帧时本章提出的去块滤波器的主观性能 图6 - 5h 2 6 4 环路滤波方法的判断树 图6 - 6 本章提出的环踌滤波方法的判断树 表3 - 1 4 4 块里面1 6 个点的顺序标记 表3 _ 2q p 为3 4 时不同宏块类型的块的块间误差的分布情况 表3 - - 3q p 为3 4 时相邻块有无残差的情况下块问误差的分布情况( p 帧) 表3 4q p 为3 4 时相邻块有无残差的情况下块同误差的分布情况( b 帧) 4 9 5 0 5 l 5 l 5 3 2 2 2 5 3 6 3 6 表3 5q p 为3 4 时相邻块有无运动矢量之差的情况下块同误差的分布情况( p 帧) 3 7 表3 - 6q p 为3 4 时相邻块有无运动矢量之差的情况下块问误差的分布情况( b 帧) 3 7 表5 - 1 滤波轻度参数与犏码模式的关系5 2 表孓2 阈值变量a 和b 与变量i n d e x a 和i n d e x b 的关系1 1 0 l 表5 3 限幅幅度与变量i n d e x a 和边界强度b s 的关系1 1 0 表5 - 4 在不同序列上去块r 2 6 4 环路去块滤波节省的码率 3 0 】 表6 - 1 块边界阈恤与i n d e x a 的关系 表6 - 2 滤波裁减参数c i 与i n d e x c i 的关系 v 5 4 5 6 5 8 6 l 6 2 砷 矾 矸 佗 记 浙江大学硕士学位论文 第1 章引言 多媒体技术发展至今，已成为世界性技术研究和产品开发的热点，有着广阔的应用前景。 多媒体信息中，视频信息是一种比较特殊的媒体，人类接受的信息大约有7 0 来自视觉， 因此它是人类最有效和最重要的信息获取形式，数据量极大。视频信息丰富，并以与时间密 切相关的流的形式存在，因此视频数据的表达、组织、存储和传输都有很大的难度。解决的 基础在于对视频数据进行压缩，所以高效的视频编码技术迅速发展起来。 视频数据压缩目前的主要目标是追求较大的压缩比、较快的压缩解压缩速度以及尽可能 好的图像还原质量，同时也在向压缩数据的处理如数据组织、检索、熏构等方向发展，力求 发展一个比较完整的图像压缩处理解决方案，因此在这方面仍有许多的工作要做，其中最基 本的就是要有比较合理且高效的压缩算法。 本文主要讨论视频编码中的核心技术去块滤波技术。从原理出发，探讨了去块滤波 技术的设计原理，设计方法并针对不同平台提出了一些去块滤波的技术。由下此技术能明显 的提高视频图像的主观质量，从主观质量的角度来说，相当于在同样主观质量下，降低了编 码码率，等价于提高了编码的效率。 本章的组织结构如下：1 1 节介绍了视频编码的基本框架，同时简略的介绍了视频编码 发展的历史；1 2 节介绍了目前国际上最先进的视频编码标准h 2 6 4 标准：1 3 节介绍了我国 国家标准a v s 标准；1 4 节介绍了去块滤波技术；1 5 节介绍本文的研究成果及全文的结构。 1 视频编码基本框架 1 8 8 9 年，j u l e sv e m e 写下了视频电话的思想f 1 1 1 2 1 。1 9 4 8 年，o l i v e r 提出p c m ( p u l s ec o d e m o d u l a t i o n ) 编码理论 3 。经过将近4 0 年的探索，c c i r ( i n t e r n a t i o n a lr a d i oc o n s u l t a t i v e c o m m i t t e e ) 组织于1 9 8 2 年通过了电视演播室数字编码的国际标准( c c i r6 0 1 号建议) 4 1 。 如今编码技术日趋成熟，目前的图像和视频压缩算法己有很多种。在实际应用中，常把若干 种方法混合使用，咀求得到更高的压缩比如i s o ( i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ) 和i e c ( i n t e r n a t i o n a l e l e c t r o n i c s c o m m i t t e e ) 下属的m p e g ( m o v i n g p i c t u r e s e x p e r t s g r o u p ) 组织制定的m e p g i 5 1 ，m p e g - 2 6 】，m p e g 一4 1 7 1 标准，i h ( i n t e m a t i o n a it e l e c o m m u n i c a t i o n u n i o n ) 制定的h 2 6 1 1 8 和h 2 6 3 1 9 标准，以及i s o i e c 下属的m p e g 和i t u 下属的v c e g ( v i d e oc o d i n ge x p e r t sg r o u p ) 共同成立的联合视频小组j v t ( j o i n tv i d e ot e a m ) 2 0 0 3 年完 成的h 2 6 4 标准即“m p e g 4a v c ( a d v a n c e dv i d e oc o d i n g ) ”，有时也被称为“m p e g - 4p a r t 1 0 ”【1 0 】。以及国内第一个针对音视频产业需求制定的标准a v s 1 1 【1 2 等都是基于混合编 码( h y b r i dc o d i n g ) 框架之上的。所谓混合编码框架是综合预测，变换以及熵编码的编码框 架，有以下几个主要特点： 1 、利用帧问预测来消除图像间的冗余，利用帧内预测来消除图像内的冗余。 2 、通过对预测残差进行变换和量化来消除图像内的视觉冗余。 3 、利用熵编码来消除统计上的冗余。 上述视频编码标准都具有帧内编码图像帧( i 帧) 和帧间编码图像帧( p 帧) ，i 帧和p 帧采用不同的编码方法。i 帧的编码过程如下：可采用基于频率域或空间域的帧内预测，用 浙江大学硕士学位论文 预测模式标记当前待编码块的参考值获得方法，然厉计算待编码块与其参考块之间的差值， 得到相应的残差数据块，对原始图像数据块或残差数据块进行2 维变换，然后在变换域中对 变换系数进行量化，最后进行熵编码，即采用变长编码或者算术编码等。p 帧的编码过程如 下：采用基于运动补偿的帧间预测，通过运动矢量来标记当前待编码块的参考块位置，然后 计算待编码块与其参考块之间的差值，得到相应的残差数据块，接着残差数据块进行2 维变 换，再对变换域系数进行量化，最后进行熵编码。比较新的视频编码标准( m p e g 1 ，m p e g 2 ， m p e g - 4 ，h 2 6 4 ，a v s 等) 中还包括双向帧间编码图像帧( b 帧) 。b 帧也是采用基于运动 补偿的帧间预测，与p 帧不同的是，b 帧可以使用前后两帧作为参考帧，同时支持双向预测。 在视频编码中，编码端只需要传输编码模式信息、运动矢量、重建图像块与其预测值残 著的变换量化系数即可。而在解码端，接收到了编码模式信息和运动欠量，即可对当前解码 块进行预测，获得其预测值，再对残差的变换量化系数进行反量化反变换，与预测值相加即 可得到重建图像块。图l l 是最早的视频编码标准h 2 6 1 的编码框图【1 】。斟1 2 是h 2 6 4 视频编码标准的基本框图【1 3 】。可以看见，经过l o 余年的发展，( h 2 6 1 发布于1 9 9 0 年， h 2 6 4 发布于2 0 0 3 年) 视频编码的框架几乎没有什么变化，虽然编码的效率提高了很多。 编码性能的提高主要来自于里面的模块和技术的改进。 传统的图像编码标准，如j p e g ( j o i n tp h o t og r a p h i ce x p e r t sg r o u p ) 【1 4 】标准，与视频 编码标准有着相近之处，变换、量化和熵编码也是其必须的部分之一+ 。 1 。 卜专 i ! 一上q i - = r - 查卜产 1“ 一 中 复用 枣 变换 置化器 反变换 反量化器 具有运动估计器和运动 补偿单元的图像存储器 环路滤波器 编码控制 d帧内，螂甸标志 t传送或不传送标志 q z量化器指示 口变挠系数量化索引 d运动矢量 f 环路滤波器的开，戈切换 图1 2 h 2 6 1 编码器框图 2 t q 盯峪p f 浙江大学硕士学位论文 图1 3 h 2 6 4 编码器框图 2 h 2 6 4 标准简介l l s l h 2 6 4 是最新一代的视频压缩标准，由i s o i e o 下属的运动图像专家组m p e g ( m o v i n g p i c t u r e se x p e r t sg r o u p ) 和i t u t 下属的视频编码专家组v c e gf v i d e oc o d i n ge x p e r t sg r o u p ) 共同成立的联合视频小组j v t ( j o i n tv i d e ot e a m ) 负责完成。 技术上，它集中了以往标准的优点，并吸收了标准制定中积累的经验。与h 2 6 3 + 或 m p e g 4s i m p l e p r o f i l e 相比，h 2 6 4 在使用与上述编码方法类似的最佳编码器时，在大多数 码率下最多可节省5 0 的码率。h 2 6 4 在所有码率下都能持续提供较高的视频质量。h ，2 6 4 能工作在低延时模式以适应实时通信的应用( 如视频会议) ，同时又能很好地工作在没有延时 限制的应用，如视频存储和以服务器为基础的视频流式应用。h 2 6 4 提供包传输网中处理包 丢失所需的工具，以及在易误码的无线网中处理比特误码的工具。 在系统层面上，h 2 6 4 提出了一个新的概念，在视频编码层v c l ( v i d e nc o d i n gl a y e r ) 和网络抽象层n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 之间进行概念性分割，前者是视频内容的核 心压缩内容之表述，后者是通过特定类型网络进行递送的表述，这样的结构便于信息的封装 和对信息进行更好的优先级控制。 3 a v s 标准简介 我国目前在音视频产业领域已经具备较强的产业基础，但由于不掌握核心技术标准，相 关企业长期受制于国外持有标准化专利与技术的企业和组织。a v s 标准是针对中国音视频 产业的需求，由中国数字音视频领域的科研机构和企业牵头，相关国际组织和企业广泛参与， 按照国际开放式规则制定的标准。a v s 标准是信息技术一先进音视频编码系列标准的 简称。其中第二部分和第七部分是视频压缩标准。 a v s 第二部分，俗称a v s i 0 1 1 1 1 ，是针对高分辨率的视频压缩标准，其编码效率是 3 浙江大学硕士学位论文 m p e g 2 视频的2 3 倍( 根据视频画而尺寸不同有所不同) ，逼近国际上的h 2 6 4 标准，而 h 方案简洁，实现复杂度明显比h 2 6 4 低，在高清晰度应用方面处于国际领先水平。a v s 将服务下高分辨率高质量的数字音视频“播、高密度数字存储媒体、多媒体通讯、互联网宽 带流媒体等重大信息产业应用【1 6 ，1 1 7 1 。 a v s 第七部分，俗称a v s m 1 2 1 ，是针对较低分辨率的移动视频压缩标准，服务于多 媒体信息、业务流媒体和广播、实时通讯、移动手持设备的采集编码和播放【1 8 。2 0 0 4 年 1 2 月完成了第一一阶段的制定工作。a v s m 第一阶段的标准主要将应用丁手持设备上的播放， 以及流媒体和无线传输。考虑到能量消耗以及丢包等情况，新的标准采用了较h 2 6 4 更简洁 的编码工具，如简化的帧内预测和熵编码，预缩放技术等。同时，与a v s l 0 相比，引入了 抗误码机制，如灵活参考帧，不作参考的p 帧，逐步解码刷新g d r ( g r a d u a l d e c o d i n g r e f r e s h ) 等。 关于a v s 视频部分的详细介绍，参见作者的论文f 1 9 。 a v s 在掌握数字音视频编解码关键技术并妥善解决专利问题的基础上，在国际先进水 平的研究开发工作基础上，制定山我国具有自主权的数字音视频编解码标准，推动音视频编 解码芯片、整机和软硬件系统的开发，为数字音视频产业解决后顾之忧，为我国数字音视频 产业的跨越式发展打开宽阔的大门。 4 去块滤波技术简介 前面所述的基于块的视频编码标准，有一个共同的缺陷，在压缩比比较高的时候，会出 现明显的块效应。这是因为，在基于块的视频编码方法中，各个块的编码是相互独立的，因 此在块与块的边界的地方，当量化比较大的时候就容易产生边界的不连续。在视觉上就有可 能导致块效应得出现。为了去除这些块效应，人们提出了很多去块滤波的方法。用于视频编 码中的去块滤波方法总的来说可以分成两类：后处理去块滤波( p o s td e b l o c k i n g f i l t e r ) 和环 路去块滤波( i n l o o pd e b l o c k i n gf i l t e r ) 。 4 1 后处理去块滤波技术 视频编码的后处理去块滤波技术，源于图像压缩的去块滤波技术。它把视频解码后的序 列，一帧帧的进行去块滤波。其主要特点是：去块滤波模块不在编( 解) 码环内，即给后面 帧做预测的帧是没有经过滤波的帧。由于其不影响编码结果，在编码器中一般没有此模块， 在解码器中一般在一帧解码完成送去显示之前，具体见图1 - 3 。由于不是解码器的必须部分， 而所有的视频编码标准都只规定解码流程，所以，视频标准中没有规定后处理滤波的方法。 文章1 2 0 1 2 8 中介绍了一些常见的视频编码后处理去块滤波的方法。m p e g 4 标准的附录f 中也规定了后处理去块滤波的方法。 图1 4 后处理去块滤波模块在解码器中的位置 4 浙汀大学项十学位沧文 m p e g 2 视频的2 - 3 倍( 根据视频画面尺寸不同有所不同) ，逼近国际上的h2 6 4 标准，而 且方雍简洁，实现复杂度明显比h 2 6 4 低，在高清晰度应用方面处于围际领先水平。a v s 将胀务于高分辨率高质量的数字音视频广擂、高密度数字存储媒体、多媒体通讯、互联网宽 带流媒体等重大信息产、m 应用 1 6 ， j 7 。 a v s 第七部分俗称a v sm 1 2 ，是针对较低分辨率的移动视频压缩标准，雕务于多 媒体信息、业务流媒体和广播、实时通讯、移动手持设备的采集编码和播放f 1 8 1 。2 0 0 4 年 1 2 月完成了第一阶段的制定工作。a v s m 第一阶段的标准主要将应用于于持设备上的播放 以及流媒体和无线传输。考虐到能量消耗以及丢包等情况，新的标准采用了较h2 6 4 更简洁 的编码工具，如简化的帧内预测和熵编码，预缩放技术等。同时，与a v s l0 相比，引入了 抗误码机制，如灵括参考帧，不作参考的p 帧，运步解码刷新g d r ( g r a d u a l d e c o d i n g r e f r e s h ) 等。 关于a v s 视频部分的详细介绍，参见作者的论文1 9 1 。 a v s 在掌握数字音视额编解码关键技术并妥善解扶专利问题的基础上在国际先进水 平的研究开靛r _ 作基础上，制定出我国具有自主权的数字音视频编解码标准，推动音视频编 解码芯片、整机和软硬件系统的开发，为数字音视频产业解决后顾之忧，为我国数字音视频 产业的跨越式发腥打开宽阔的大门。 4 去块滤波技术简介 前而所述的基于块的视频编码标准，有一个共同的缺陷，在压缩比比较高的时候，会出 现明显的块效应。这是冈为，在基于块的视频编码方法中，各个块的编码是相互独立的，因 此在块与块的边界的地方，当量化比较大的时候就容易产生边界的不连续。在视觉上就有可 能导致块效应得出现。为了去除这些块效应，人1 f ：j 提出了很多去块滤波的方法。用于视频编 码中的去块滤波方法总的来说可以分成两类：后处理去块滤波( p o s td e b l o c k i n g f i l t e r ) 和环 路去块滤波( i n 1 0 0 pd e b l o c k i n gf i l t e r ) 。 4 1 后处理去块滤波技术 视频编码的后处理去块滤波技术，源于图像压缩的去块滤波技术。它把视频解码后的序 列，一帧帧的进行去块滤波其主要特点是：去块滤波模块不在编( 解) 码环内，即给后面 帧做预测的帧是没有经过滤波的帧。由于其小影响编码结果，在编码器卒般没有此模块， 在解码器中一般在一帧解码完成送去显示之前，具体见图1 - 3 。由于4 ：是解码器的必须部分， 而所有的视频编码标准都只规定解码流程，所以，视频标准中没有规定后处理滤波的方法。 文章1 2 0 一1 2 8 1 中介绍了，些常见的视频编码后处理古块滤波的方法。m p e g 4 标准的附录f 中也规定，后处理去块滤波的方法。 中也规定了后处理去块滤波的方法。 图1 4 后处理去块滤波模块在解码器中的位置 4 4 2 环路去块滤波技术 浙江大学硕士学位论文 环路去块滤波指在编( 解) 码环内的去块滤波器。被滤波过的帧被用来给后面的帧做参 考，所以所有符合标准的解码器都应该正确的实现此环路玄块滤波，以保证和编码器的参考 帧的一致，从而保证正确解码。当然，如果需要的话，对于使用了环路去块滤波的解码器， 依然可以再如一个后处理去块滤波器。图1 - 4 给出了环路去块滤波器在编( 解) 码器中的位 置。文章 2 9 1 中提出一种有效的环路滤波方法，但其主要目的并不是为了去除块效应，而是 为了提高预测效果从而提高编码效率。h 2 6 4 是第一个采用环路去块滤波作为标准的一部分 的视频编码标准。 图1 5 环路去块滤波模块在编( 解) 码器中的位置 文章 3 0 1 详细迪介绍了h 2 6 4 的环路滤波的方法、原理和效果。文章指出，环路滤波器 相对于后处理滤波器主要有如下几个优点： 1 使用环路去块滤波能够保证一定的解码质量。这个是指，使用琢路去块滤波后。编 码器能够知道解码器解出来的质量是个什么水平。这对于现在的很多厂商提供各自不同的解 码的情况下，视频内容提供商能够保证自己提供的节目在用户那里是个什么结果。对于他们 来说，这是非常重要的。 2 使用环路去块滤波后，解码器不需要额外的帧存。在只使用后处理去块滤波的情况 f ，通常，解码帧被放到一个参考帧的帧存里面，弱滤波后的用来显示的帧则需要存储在另 外的帧存里面。而当使用使用环路去块滤波时，在解码时，去块滤波可以解完每个宏块就滤 波一次，滤波的输出结果被直接存到参考帧的帧存里砸。这样就节省了帧存的数目。 3 环路去块滤波相对于后处理去块滤波，不但能提高主观和客观质量同时还能明显 的降低解码器的复杂度。质量的提高主要是由于使用去块滤波后的帧做预测，能够带来更好 的运动补偿预测的效果。复杂度的降低主要是由于滤波的时候考虑至日前面的参考桢已经被滤 波过，则去块滤波器可以做相应得优化。 5 浙江大学硕士学位论文 文章 3 1 】中比较了后处理去块滤波和环路去块滤波。本文的后面章节在对这两个技术进 行讨论后也会有一些比较。 4 3 去块滤波技术的意义 去块滤波的技术的意义，主要不在于它能够提高多少p s n r ( 虽然通常情况r ，它能带 来一定的p s n r 的g a i n ) ，而在于它对于解码图像的主观质量的提高。这种主观质量的提高， 可以等价于码率的节省，而且效果很明显。 图1 - 5 给出了一个例子，图中给出了使用环路滤波技术的h 2 6 4 编码器在q p 为4 2 的 情况下编码重建的f o r e m a n 序列第4 帧( p 帧) 的图像，和不使用环路滤波技术的其他设置 一样的h 2 6 4 编码器在q p 为3 4 ，3 6 ，3 8 ，4 0 ，4 2 的情况下编码重建的f o r e m a n 序列第4 帧( p 帧) 的图像。我们可以看到，不滤波的q p 等于4 2 的熏建图像的质量明显差于滤波 时q p 等于4 2 的重建图像的质量。不滤波的q p 等丁3 6 的重建图像的质量和滤波时q p 等 丁| 4 2 的重建图像的质量类似。在主观质量作为评价标准的时候，我们可以认为这两个码流 的解码后效果是差不多的。但是使用环路滤波技术的编码器编码出来的码流的码率( q p 等 于4 2 ) 比不用环路滤波技术的编码器编码出来的码流的码率( q p 等于3 6 ) 要小5 1 2 。换 句话说，从主观质量的角度来说，使用去块滤波技术在此情况下，带来了5 0 的码率节省。 这个码率的节省比率远远的大于基于p s n r 的客观评价方法下算出的去块滤波技术的对码 流的节省量。而主观质量的评价，通常情况下更适合视频编码最后应用的情况，因为，使用 者对于视频编码好坏的评价来源于他们对视频质量的主观感觉，而不是客观的p s n r 值的多 少。从这个角度来看，去块滤波技术是视频编码中相当重要的一部分。 ( a ) 使用去块滤波q p = 4 26 6 ，5 3 k b i t s s ( b ) 不使用去块滤波q p = 3 4 1 7 6 8 3 k b i t s s 6 浙江大学硕士学位论文 ( c ) 不使用之块滤波q p = 3 61 3 6 4 6 k b i t s( d ) 不使用去块滤波q p = 3 81 0 81 7 k b i t s ( e ) 不使用去块滤波q p = 4 08 7 1 i k b i t s( f ) 不使用去块滤波q p = 4 27 1 3 4 k b i t s 图1 6 使用去块滤波器和不使用去块滤波器的主观质量比较 5 本文的研究成果及文章结构 本文主要根据作者参与国家标准a v s 第2 部分和a v s 第7 部分制定过程中的经历，从 人类视觉系统的感知原理和特性出发，探究了视频编码中去块滤波技术的原理、实现与应用。 其中结合了作者在a v s 中的提案以及相应的专利和论文，同时还包括了许多未公开的技术， 也提出了有待改进的方向。本文的主要贡献包括以下几点： 详细地研究了去块滤波的基本原理：本文首先介绍了人类视觉系统，并介绍了其与视 频编码相关的一些特性，同时介绍了视频编码中常见的误差的主观效果。用这些能够指导实 际去块滤波方法的设计。 详细研究了去块滤波器的发展：本文研究和介绍了后处理去块滤波器和环路去块滤波 器的基本思路及最新研究成果，即m p e g 4 附录f 中的后处理去块滤波器和h 2 6 4 中的环 路滤波器。分析比较了各自优缺点，指出了发展方向。 提出了一种简单有效环路滤波方法：本文通过统计视频编码中压缩误差分析的规律， 以及结合现有后处理去块滤波和环路滤波方法的优点。提出了一种简单有效的环路滤波方 法，此方法在大大降低复杂度的情况下，能够提高图象的主观质量，客观p s n r 略有下降。 a v s 第7 部分标准采纳了本环路滤波方案。 本文的第1 章是引言，给出了基本的背景。本文第2 章介绍了人类视觉系统以及视频编 码中误差的主观客观衡量方法。在第3 章中，本文通过统计的方法，分析了视频编码中块效 应产生的原因，及其程度，为后面提出简单有效的环路滤波方法提供了基础，也为进一步优 化现有方法提供了依据。第4 章介绍了去块滤波的一大类后处理去块滤波方法的原理及 其实现，此实现为m p e g 4 附录f 中的后处理去块滤波方法。第5 章介绍了去块滤波的另一 大类环路去块滤波方法的原理及其实现，此实现为h 2 6 4 中的环路去块滤波方法。第6 章提出了一种简单有效的环路滤波方法，并详细介绍了该设计方法在a v s 中的实现。最后 章，给出了环路滤波技术的意义和可能的发展方向。 7 浙江大学硕士学位论文 第2 章人类视觉系统及视频编码误差的客观和 主观衡量标准 1 人类视觉系统的构成及其特点介绍 视频编码的一个主要目标是在尽可能的降低码率的情况下得到用户( 或者观众) 认可的 视频质量。为了提高去块滤波技术的效率，我们有必要了解人类视觉系统( h u m a nv i s u a l s y s t e mh v s ) 毗及其与视频编码相关的一些特性。本节主要介绍人类视觉系统的构成及其 与视频编码相关的特性。 1 1 人类视觉系统的构成1 3 2 】 人类感知视觉信号的器官是眼睛( e y e ) ，视觉信号通过眼睛感知后由视觉神经传到大 脑。图2 - 1 是人类视觉系统的组成图，其中主要的部分包括： 眼睛( e y e ) ：视觉信号通过晶状体聚焦到眼睛的感光部分视两膜上面。眼部的肌 肉通过调节晶状体来调节焦距，而虹膜控制进入眼睛的光的量。 视网膜( r e t i n a ) ：视阿膜由一系列的排成矩阵的锥状体和柱状体构成。其中锥状体对 高亮度时的色度比较敏感，柱状体对低亮度是的亮度比较敏感。比较敏感的锥状体都集中在 视网膜的中间部分( 中央凹) 。这说明高分辨率的色度感觉只在中间很小的区域被感觉到。 视觉神经( o p t i cn e r v e ) ；把视觉信号从视网膜传到大脑。 大脑( b r a i n ) ：人类大脑在处理和认知视觉信号的时候部分依据收到的信息，部分依据 之前认识( 比如对于物体形状的认识) 。 晶状体 视觉神经 大脑 图2 ，1 人类视觉系统组成图 当然，人类的视觉系统是个很复杂的系统，其结构的具体分析超过了本文的内容。 8 浙江大学硕士学位论文 1 2 人类视觉系统的频率响应 研究发现：h v s 对视觉图形的敏感度是由图形的时间和空间频率成分决定的。在某些 中间的空间和时间频率上，视觉的敏感度是最高的。然后敏感度迅速下降，并在某些截止频 率上退隐。 1 3 3 】 h v s 的时间频率响应是指对不同频率的时间变化图形的视觉敏感。研究的结果表明， 观察者的时间响应决定于很多因素，包括观测距离、显示亮度和照明环境。k e l l y 3 4 的实验 表明：h v s 的时间响应类似于一个带通滤波器的响应，在某个中间频率点达到峰值，然后 响应迅速下降，直到大约4 5 倍的峰值频率。 人眼在较高的时间频率处敏感度降低的一个原因是人眼对图像的感觉能够保持。段短 的时间，即使这时实际图像已经移走。这种现象叫做视觉暂留。一方面，当图形变化速率比 h v s 的刷新率更快时，它会引起被观察图形时间上的模糊。另一方面，视觉暂留使视频信 号显示为一个连续的帧序列。只要帧间隔比视觉暂留周期短，则人眼就会感觉到一个连续变 化的图像。当帧间的比视觉暂留周期长时，人眼就会观察到闪烁频率。 h v s 的空间频率响应是指对于具有不同空间频率的静止空间图形的视觉敏感度。空间 频率响应同时间频率响应一样也有带通特性。这是因为，h v s 的冲激响应波形类似于高斯 函数的拉普拉斯运算，在视觉细胞附近是正的权重，而对于较远的细胞是负的权重。正的部 分起平滑作用，而负的部分有效地增强尖锐边缘。 前面的空间频率响应特性是在零时间频率响应的情况下得到的。同样，时间频率响应的 结论也是在零空间频率响应的情况下得到的。在时间频率和空间频率都不为零的时候，研究 发现如卜结果：在零时间( 空间) 频率附近，空间( 时间) 频率响应变化具有带通特性；较 高的时间( 空间) 频率上，空间( 时间) 频率响应变化的更像一个低通滤波器，当时问( 空 间) 频率增加时峰值响应下降。这表明当图像运动得很快时，人眼不能区分图像中很高的空 间频率。当图像静止时，人眼能分辨高得多的空间频率。类似的，在较高的空间频率上，时 间响应也变成低通，并且在较高的空间频率上过渡频率向下偏移。 1 3 人类视觉系统的其他特性1 3 2 】 前面一节分析了h v s 的频率特性，这一节介绍h v s 的其他特性，尤其是与视频编码相 关的特性。主要有： 1 h v s 对亮度细节比色度细节更敏感。因此，通常会在视频编码前采用色度降低采样 频率的办法。如常用的4 ：2 ：0 格式中，u 和v 两个色度分量都只有亮度一半的采 样频率。这样视频源信号的码率只有4 ：4 ：4 格式的一半。 2 h v s 对于大的对比度更敏感。因此，亮度变化快的地方及边界，往往是人们更关注 的地方。 3 h v s 对于空间上的低频分量比高频分量更敏感。因此，一些图象或者视频压缩的方 法中，往往会不传输或者少传输一些不太重要的高频分量( 但是，由于上面第2 条 特性，边界的信息是需要被很好的保留的) 。 4 h v s 对长时间存在的特征更敏感。因此，对于去块滤波来说，减小那些在连续几帧 都存在的物体块效应，比只在一帧里面存在的物体里面的块效应更重要。 5 对于运动比较缓慢的情况，使用2 0 一3 0 帧的帧率就够了。 6 不同的人的h v s 是不一样的。比如，有些人会很敏感视频序列里面的块效应，有 9 浙江人学硕士学位论文 些人则对去块滤波后产生的图像的局部模糊感到不舒服。 2 视频编码中的主要误差分类1 3 2 l 有损的视频编码算法( m p e g lm p e g 2m p e g 4 和h 2 6 1 ，h 2 6 3 ，h 2 6 4 ) 都会带来视频 信号的误差。高的压缩率通常会带来更人的误差。视频编码中的误差通常和编码的算法有很 大的关系。对于常见的基于d c t 视频编码算法( m p e g ，x 和h 2 6 x ) 中，编码的误差主要 来自于对于d c t 系数的量化。常见的误差主要有以下3 类。 2 1 块效应( b l o c k i n g ) 在基于块的编码方法中块效应是最为常见的误差。块效应也成为基丁块变换视频编码的 主要特征。主要表现为沿着4 4 或者8 x 8 块边界会有像素的不连续出现，在视觉上就像图 像被分成了一块一块一样。 块效应的产生主要有连个原因： 1 对直流系数的过度量化。直流系数