（通信与信息系统专业论文）基于dct的块效应消除算法研究.pdf

哈尔滨工程大学硕士学位论文 摘要 基于块的离散余弦变换( b d c t ) 以其优良特性被图像和视频的数据压 缩标准广泛采用，但它的一个主要缺点是在低比特率时，其恢复图像的块边 界上会出现明显可见的块效应，降低了图像的视觉质量。因此，研究性能良 好的去块效应算法具有重要意义。 近年来，学者们提出了许多去块效应算法。其中，去块效应的后处理技 术由于具有不改变编码过程，并保持编码压缩率的特点，成为了去块效应的 主流技术。本文将从两个方面入手研究去块效应算法，即基于偏微分方程 ( p d e ) 的去块效应算法和d c t 域的去块效应算法。 本文首先分析了块效应产生的原因，并对几类常见的去块效应算法进行 了介绍。然后，从两方面出发研究去块效应算法：一方面，把块效应产生的 原因理解为是由原始图像叠加了量化噪声所引起的，所以把去块效应看作是 一种去噪的过程，考虑到偏微分方程在图像去噪方面的应用，首先研究偏微 分方程去块效应算法。在深入分析几种常见的偏微分方程模型基础之上，本 文考虑人类视觉系统( h v s ) 的特征，提出一种基于h v s 的p m 扩散与相干 增强扩散加权的去块效应算法，实验仿真结果表明该算法能够有效地去除块 效应，同时又能保护图像的边缘信息。另一方面，块效应可以看作是由d c t 系数量化失真造成的，在分析几种典型的d c t 域去块效应算法的基础上，提 出了一种d c t 域自适应去块效应算法，该算法采用一种新的判断准则来判断 平滑块、边缘块和纹理块，边缘块闺值是自适应计算的，更加合理。经过仿 真证明该算法有效的去除了块效应，改善了图像的质量。 关键词：块效应；d c t ；相干增强扩散；人类视觉系统；p m 扩散 哈尔滨工程大学硕士学位论文 a bs t r a c t t h eb l o c k b a s e dd i s c r e t ec o s i n et r a n s f o r m ( b d c t ) i sw i d e l yu s e db yt h e s t a n d a r d so fi m a g e a n dv i d e oc o m p r e s s i o nf o r i t sb e t t e re n c o d i n gp e r f o r m a n c e o n eo ft h em a j o rd r a w b a c k si nb d c ti st h a ti tw i l la p p e a rt h eb l o c k i n ga r t i f a c t s s i g n i f i c a n t l ya tl o wb i tr a t e s w h i c hc a n d e c r e a s et h eq u a l i t yo fv i s u a li m a g e s oi t h a si n d e e de x t r e m e l ym e a n i n g f u lf o ru st or e s e a r c ht h ea l g o r i t h m so fd e b l o c k i n g a r t i f a c t s i nr e c e n ty e a r s ，s c h o l a r sp r o p o s e dm a n yd e b l o c k i n ga r t i f a c t sa l g o r i t h m s i n t h e s ea l g o r i t h m s ，t h ep o s tp r o c e s st e c h n i q u eb e c o m e st h em a i n s t r e a mt e c h n i q u et o d e b l o c k i n ga r t i f a c t sb yi t sc h a r a c t e r i s t i c st h a tc a nn o tc h a n g et h ee n c o d i n gp r o c e s s a n dm a i n t a i nt h ec o m p r e s s i o ne f f i c i e n c y t h i sp a p e rr e s e a r c h e st h ed e b l o c k i n g a r t i f a c t sa l g o r i t h m sf r o mt w oa s p e c t s ，n a m e l y ，p a r t i a ld i f f e r e n t i a le q u a t i o n s ( p d e ) t od e b l o c k i n ga r t i f a c t sa l g o r i t h m sa n dd c td o m a i no fd e b l o c k i n ga r t i f a c t s a l g o r i t h m s f i r s t l yt h i sp a p e ra n a l y s e st h er e a s o n sf o rb l o c k i n ga r t i f a c t s ，i n t r o d u c e s s e v e r a lk i n d so fa l g o r i t h m st or e d u c eb l o c k i n g a r t i f a c t s ，t h e nr e s e a r c h e st h e d e b l o c k i n ga r t i f a c t sa l g o r i t h m sf r o mt w oa s p e c t s ：o nt h eo n eh a i a d ，t h er e a s o n s c a u s i n g b l o c k i n g a r t i f a c t si sa st h e o r i g i n a li m a g es u p e r p o s i t i o n o ft h e q u a n t i z a t i o nn o i s e ，s ow ec a nt a k ed e b l o c k i n ga r t i f a c t s a sad e n o i s i n gp r o c e s s g i v e np d ec a nb eu s e dt oi m a g ed e n o i s i n g ，t h e nr e s e a r c h e sp d et od e b l o c k i n g a r t i f a c t sa l g o r i t h m s ，a n a l y z e ss e v e r a lc o m m o nm o d e l so fp d e t h i sp a p e rt a k e s h u m a nv i s u a ls y s t e m ( h v s ) i n t oc o n s i d e r a t i o n ，p r o p o s e sad e b l o c k i n ga r t i f a c t s a l g o r i t h m sb a s e do nh v sa n dp md i f f u s i o na n dc o h e r e n c ee n h a n c i n gd i f f u s i o n ， e x p e r i m e n tr e s u l t ss h o w ，t h ei m p r o v e da l g o r i t h mi nt h i sp a p e rc a l lr e d u c e st h e b l o c k i n ga r t i f a c t se f f e c t i v e l ya n dp r e s e r v et h eo r i g i n a le d g e sf a i t h f u l l y o nt h e o t h e rh a n d ，t h er e a s o n sc a u s i n g b l o c k i n ga r t i f a c t si s a sd c tc o e f f i c i e n t s q u a n t i f i c a t i o nd i s t o r t i o n ，s or e s e a r c h e st h ed c td o m a i no fd e b l o c k i n ga r t i f a c t s a l g o r i t h m s o nt h eb a s i so fa n a l y z i n gs e v e r a lc l a s s i c a ld c td o m a i na l g o r i t h m s ， 哈尔滨工程大学硕士学位论文 p r o p o s e sa l la d a p t i v ed c td o m a i nd e b l o c k i n ga r t i f a c t sa l g o r i t h m ，t h ea l g o r i t h m a d o p t san e wr u l et oj u d g es m o o t hb l o c k ，e d g eb l o c ka n dt e x t u r eb l o c k ，t h e t h r e s h o l do fe d g eb l o c ki sa d a p t i v et oc o m p m e ，i t sm o r es e n s i b l e 1 1 1 es i m u l a t i o n e x p e r i m e n tp r o v e st h ea l g o r i t h md e b l o c k i n ga r t i f a c t se f f e c t i v e l y ，s h o w st h a tw e g e ta b e t t e ri m a g ea f t e rp r o c e s s i n gb yt h en e wm e t h o d k e yw o r d s ：b l o c k i n ga r t i f a c t s ；d c t ；c o h e r e n c ee n h a n c m gd i f f u s i o n ；h v s ； p md i f f u s i o n 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导下，由 作者本人独立完成的。有关观点、方法、数据和文献的引用己在 文中指出，并与参考文献相对应。除文中已注明引用的内容外， 本论文不包含任何其他个人或集体已经公开发表的作品成果。对 本文的研究做出重要贡献的个人和集体，均己在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担2， 作者( 签字) ：并乳知识 b 孰： ) _ 舢鼋年喾只| f b 哈尔滨工程大学 学位论文授权使用声明 本人完全了解学校保护知识产权的有关规定，即研究生在校 攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨 工程大学有权保留并向国家有关部门或机构送交论文的复印件。 本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据 库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本 学位论文，可以公布论文的全部内容。同时本人保证毕业后结合 学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈 尔滨工程大学。涉密学位论文待解密后适用本声明。 本论文( 耐在授予学位后即可口在授予学位1 2 个月后口 解密后) 由哈尔滨工程大学送交有关部门进行保存、汇编等。 作者( 签字) ：割皇毛移 日期：二细罗年6 月j 7 日 导师( 签字) ： 支年6 只一日 哈尔滨工程大学硕士学位论文 第1 章绪论 1 1 本文研究背景及目的 人类可以通过听觉、嗅觉、视觉等感官从外界获取信息。但相比于其它 的感觉器官，视觉是人类从大自然获取信息的重要手段。据统计，有7 5 左 右的信息来自于视觉系统获取的图像信息，图像信息具有信息量大、直观性 强、易于被人们接受，能表达语音或文本信息难以表达的信息等特点，使得 图像信息倍受人们的欢迎。绝大多数图像是离散化的，并且以数字的形式进 行存储，称之为数字图像。随着现代通信技术与计算机技术的蓬勃发展，人 们对各种数字图像信息的需求也在与日俱增，互联网的出现不仅改变了人们 的生活方式，也使图像通信得到了迅速发展。目前图像通信已被广泛地应用 于电视广播、可视电话、会议电视、数字图书馆、远程教育、远程医疗和w e b 视频等领域。 图像通信系统【l 】所传输的主要是人类的视觉系统能够感知的图像信息， 包括自然景物、文字符号和动画图形等。图1 1 为数字图像通信系统的框图。 理后 图像 图1 1 数字图像通信系统框图 图中左端是发送端，右端是接收端。在发送端，输入的是数字图像信号 或模拟图像数字化以后的信号。信源编码的功能是尽可能地去除图像信息中 的冗余信息，压缩图像信号的频带或降低码率，以达到有效地传输或存储的 目的。经过压缩后的图像信号抗干扰性能较差，为了增强其抗干扰的能力， 要通过信道编码，如适当增加一些保护码( 纠错码) 等方法。经过信道编码 以后的图像信号为了能在特定的信道中传输，需要经过调制再传输。而接收 哈尔滨工程大学硕士学位论文 !iii i il u ；i ；i i ；j 端通过解调、信道解码、信源解码等过程获得传输的图像，这个过程是发送 端相应部分的逆过程。 由于数字图像的信息量很大，而数字图像通信系统中的带宽和存储空间 有限，这样数字图像通信就遇到了严峻的挑战。一方面，图像的通信依赖于 光纤宽带网的发展，然而这需要一定的时间；另一方面，可以将图像经过压 缩后再传输以减少带宽，因此在现有的带宽受限的情况下要实时的传输图像 信息必须采用图像压缩技术。要实现高效地处理、传输和存储图像数据，使 之适应当前信道条件和实时处理要求，如何从原始数据中去除大量的冗余信 息成为图像通信系统要解决的关键问题之一。 图像后处理技术是指在接收端，对信源解码后得到的失真图像进行处理， 其本质属于图像复原问题。其主要任务是对失真图像进行处理，使得恢复图 像能够让人眼视觉所接受。所有的后处理技术都是通过已经正确接收到的图 像信息或图像的先验知识，尤其是时间和空间上平滑的性质来恢复丢失信息。 图像后处理技术包括去块效应技术。 目前，大量的图像数据都是采用国际标准来进行压缩的，而j - p e g 和m p e g 等国际压缩标准都是以离散余弦变换( d c t ) 为基础的，基于块的离散余弦 变换具有压缩率高、计算复杂度低、易于实现等优点，但在低码率的情况下， 重构的图像中会出现严重的块效应现象，且比特率越低时块效应越明显，图 像的视觉效果也就越差。对于大多数图像的用户，主观质量显得格外重要， 更多的时候他们只注重图像的主观感受，其中哪怕很轻微的块效应也会影响 观看效果，特别是平坦区域、画面简单的区域，低频部分的块效应更是会大 大影响他们对图像质量的感觉。人们往往更倾向于获得图像较高的主观质量， 即可以更多的容忍图像稍微的时延或者停顿，也不希望图像中产生块效应， 如何有效地降低或者消除图像处理带来的块效应，和提高图像客观质量一样 重要。 由此可见，使用基于块的离散余弦变换压缩图像虽然提高了压缩率，但 会导致块效应，低码率和块效应之间的矛盾比较突出，二者之间需要找个平 衡点，在低码率下，可以通过消除或者减弱块效应，从而提高压缩率，保证 图像的质量，满足人们的视觉需求。因此，研究去除块效应算法具有很重要 的意义。 2 哈尔滨工程大学硕士学位论文 1 2 块效应问题 目前，图像视频压缩的国际标准均是基于图像块的d c t 变换编码，这 种变换先去除块内相邻像素间的空间冗余，再进行量化，可以有效地实现数 据压缩。从理论上讲，d c t 变换是无损的或误差是可以控制的，因此仅仅就 d c t 变换而言，是不会产生块效应的。但是，在对每块的d c t 系数进行编 码时，通过丢弃一些能量较小的频率分量以达到降低码率的目的，这样就会 导致块效应。例如，本来某两个块之间像素值是平滑变化的，但粗糙的量化 使它们落入不同的量化区间内，则在重建图像块的边界处会出现不连续的跳 变，形成伪块边界，即块效应。量化步长越大，块效应越明显，图像的视觉 效果也就越差【2 】。突出表现为：图像整体呈现分块组合，在分块的边界出现 跳跃，从而导致图像质量下降，严重影响最终的主观效果。在低码率情况下 块效应更为明显，严重影响了低比特率图像视频编码的性能。 随着图像内容的不同，块效应也有不同的表现形式，主要有以下两种： 梯形噪声和格形噪声。 梯形噪声出现在图像的强边缘处。在低码率下，d c t 的很多高频系数被 量化为零，结果与强边缘有关的高频分量在变换域内不能完全被体现。由于 图像块是分别进行处理的，可能会造成穿过块边界的强边缘的不连续性，导 致在图像边缘处出现锯齿状噪声，称之为“梯形噪声”。 格形噪声大多在图像的平坦区域出现。在变换域内，直流分量d c 系数 体现了图像块的平均亮度，所以这个系数包含了图像块的大部分能量。在平 坦区域，亮度的变化很小，但是如果有亮度的递增或递减，在量化取整时进 行了四舍五入，可能会导致d c 系数越过相邻量化级的判决阈值，造成在重 建图像中块边界处出现亮度突变，在视觉效果上表现为在平坦区域内出现的 片状轮廓，这种噪声称之为“格形噪声 。 因此，由于块效应的存在严重影响了接收端图像的主观质量p j 。在实现 高效图像压缩编码的同时，还必须合理的去除或者减弱块效应。有效地解决 这一问题将会大大提高图像的主客观质量，从而满足图像通信的需求，更好 的推动信息化进程。 哈尔滨t 程大学硕+ 学位论文 1 3 国内外研究现状 近年来，相关学者提出了许多去块效应的方法，主要分为前处理和后处 理两类。前处理方法实际上彻底改变了原有编码模式，通过对块变换编码框 架进行本质改变来彻底消除块效应；而后处理保持原有编码模式和编解码过 程，在解码端对解码图像进行处理以改进图像质量，例如解码后进行简单的 低通滤波等。后处理技术是在解码端进行的，而且与现有的压缩标准完全兼 容，所以成了去块效应的主流技术，国内外众多学者对后处理中块效应消除 的算法进行了广泛深入的研究。 去块效应后处理方法可以分为两类：基于图像增强的方法和基于图像恢 复的方法。前者注重于对图像块效应的平滑，而不是将每一像素恢复到其原 始值，主要有空域滤波和变换域滤波方法。早期的空间域滤波典型算法是用 简单的空间移不变滤波器进行滤波，没有考虑图像的局部特征，会使滤波后 的图像过度模糊。为了减少因滤波而带来的模糊，研究人员又进一步提出把 图像分成平缓区、纹理区和边缘区，并对不同区域采用不同的处理方法。在 d c t 域中处理块效应也是近年来的研究热点。其中一种在d c t 域减少块效应 的方法是对一些图像块的d c 系数应用零掩盖( z e r o m a s k i n g ) 技术去除方块 效应，这种方法简单，但是会导致高频信息丢失严重，且会产生新的方块效 应。另一种方案在d c t 域基于h v s 特性对块效应进行盲测量，把图像块边界 分类，对每类边界分别应用不同的方法去除块效应。近年来，也有作者研究 在小波变换域中去块效应，但这些方法与已有方法相比并没有体现出明显的 优越性。 后者将去块效应问题看作是对劣化图像的复原问题，有很多经典的图像 复原算法可利用。这类算法考虑到很多先验知识，包括凸集投影法( p o c s ) 、 最大后验概率( m a p ) 等经典的图像恢复算法。 基于偏微分方程( p d e ) 的图像处理方法是图像处理领域的一个重要分 支，p d e 能很好地兼顾噪声消除和特征保护，所以在去块效应方面得到许多 学者的重视，其标志性的工作是p e r o n a 和m a l i k 提出的各向异性扩散模型【4 】， 此后出现了很多改进算法。国内也有很多学者进行p d e 图像处理的相关研 4 哈尔滨工程大学硕十学位论文 究，如王正明教授及其学生的研究【5 1 。 由于块效应是由d c t 系数量化失真造成的，因此，在d c t 域中去除块 效应也是近年来学者的研究热点。 1 4 本文的研究内容 基于块离散余弦变换的图像和视频压缩一个主要缺点就是在低比特率 时，在块边界会出现明显的块效应。 本文从两个方面研究去块效应算法。一方面，我们把块效应产生的原因 理解为原始图像叠加了量化噪声所引起的，所以把去块效应看作是一种去噪 的过程，偏微分方程( p d e ) 在图像处理领域得到广泛应用，由于它能够平 滑噪声，同时保持图像的边缘信息，所以本文研究基于偏微分方程( p d e ) 的图像增强去块效应后处理算法，针对p m 扩散不能有效的去除边缘和纹理 区的块效应的缺点，本文提出基于h v s 的p m 扩散和相干增强扩散结合的 算法，而且对参数选取问题做了讨论。 另一方面，可以认为块效应是由d c t 系数量化失真造成的，因此本文研 究了d c t 域的去块效应算法，在分析几种典型的d c t 域去块效应算法的基 础上，提出了一种d c t 域自适应去块效应算法，并对算法的性能进行研究。 1 5 本文结构安排 本文共5 章，各章节内容具体安排如下： 第1 章：绪论 简要介绍了论文的研究背景及目的，说明图像处理中的块效应问题。然 后介绍国内外研究现状。最后，说明本论文的研究内容以及结构安排。 第2 章：去块效应算法概述 简要介绍去块效应算法。首先分析块效应产生的原因，从图像复原和图 像增强两方面介绍图像后处理技术中的去块效应算法，然后介绍块效应的评 价标准，分为主观和客观两方面。 第3 章：基于p d e 的图像增强去块效应后处理算法 哈尔滨工程大学硕士学位论文 在讨论几种常见的去块效应的偏微分方程模型的基础上，重点介绍p m 各向异性扩散模型和相干增强扩散模型，并通过仿真结果对比分析部分算法 的性能。 第4 章：基于h v s 的p m 扩散与相干增强结合的去块效应算法 在分析讨论一种p m 扩散与相干增强结合的去块效应算法的基础上，根 据人类视觉系统的特性，提出了基于h v s 的p m 扩散与相干增强结合的去 块效应算法。并通过仿真结果分析算法的性能。 第5 章：d c t 域自适应去块效应算法的设计 首先对典型的d c t 域去块效应算法进行研究。然后提出了一种d c t 域 自适应去块效应算法，并通过实验仿真分析算法性能。 最后对全篇论文的研究进行了总结，对后续工作进行了展望，提出了需 要进一步研究的问题。 6 哈尔滨工程大学硕士学位论文 第2 章去块效应算法概述 基于块的离散余弦变换( b d c t ) 广泛应用于现有的图像视频压缩领域， 为了达到较高的压缩效率，图像一般在低码率的情况下获得，此时，得到的 图像会出现严重的块效应现象。高压缩与块效应之间的矛盾突出，在实现高 效图像压缩编码的同时，还必须合理的去除或者减弱块效应，解决d c t 变换 编码引起的块效应问题由来已久。 去块效应算法的研究受到很多学者关注。本章首先分析块效应产生的原 因，然后介绍两类去块效应的算法：基于图像复原的去块效应算法和基于图 像增强的去块效应算法。最后，介绍图像块效应的评价标准，为各种去块效 应算法评估提供评价依据。 2 1 块效应产生的原因 块离散余弦变换( b d c t ) 是当今国际上大多数图像、视频压缩算法中 的核心部分，例如j p e g ，h 2 6 x 等。分析块效应产生的原因就必须了解d c t 变换压缩编解码过程，图2 1 表示d c t 变换压缩编解码框图，b d c t 把输入 图像划分成n n 的小块( 例如8 8 ) ，然后进行正变换，由于d c t 变换 以后的d c t 系数主要集中在低频区，越是高频区域系数值越小，结合人眼的 视觉特性，通过设置不同的量化级，可以将许多值较小的高频分量量化为0 ， 从而获得压缩效果。经过变长编码后完成压缩，解码过程是编码的逆过程。 图像 输入 图像 输出 ! 信道 逆变换 1 li d c t 反量化 幡一变长解码i l 图2 1d c t 变换压缩编解码框图 7 哈尔滨工程大学硕士学位论文 这种采用粗糙的量化以达到高效压缩和低码率目标的方法，没有考虑像素 在相邻块中的相关性，所以在低比特率编码时由于粗糙量化使得相邻块的 d c t 系数取样落在不同的量化区间。量化后的d c t 系数传输到解码端时经 过反量化和逆d c t 变换就会在恢复图像的块边界上产生图像块不连续的现 象，即方块效应，降低了图像的视觉质量。下面我们推导块效应形成的原因。 在采用基于d c t 变换的压缩编码中，一幅图像f 被分割为若干个8 8 的像素块，每个块经过d c t 变换，转换为6 4 个d c t 系数，变换后的d c t 系数i ( u ，v ) ，由下式表示： ，( 甜，v ) ：三日( 甜) 口( v ) 争y 7f ( z ，) ，) c o s ( 2 x + 1 ) u 7 rc o s ( 2 y + o v a - 1， 地，v)2百日(甜)口(v)善酝，yfc。s话一，x 叶 = o ”o 1 u - u 舯 町，：胁= 。a ( ，) = 2 【1 ，f 0 甜，1 ，= 0 ，7 ( 2 - 1 ) ( 2 - 2 ) 其系数矩阵经个8 8 的窗口加权，然后量化，结果如式( 2 3 ) ： l ( “，1 ，) ：甜，1 ，) ，( 掰，v ) ( 2 - 3 ) 经过量化后的系数可以表示为加权后的系数与量化噪声之和，表示如下： i ( u ，力= l ，d + 已 ，v )( 2 4 ) 其中e ( u ，v ) 表示量化误差。 在反量化之前先要进行反加权，得到的重建系数为： f ( 州) ：( 甜，+ 掣芒 ( 2 5 ) w l “，y ， 这样，经过反d c t 后，量化噪声p ( 雄，v ) w ( u ，v ) 将分散在图像域整个块 之内，由于不同的块分别处理，即迭加了不同的量化噪声，在块边界处将出 现不连续，即所谓“块效应 。见下式： f ( x ，力= 百1 口( “) 口( v ) 7 7 1 歹(掰，功c。s墨兰兰詈兰堡c。s玉兰兰孑塑竖+(26)x f ( x ，力= j 口 ) 口( v ) 歹( 掰，功c o s 兰兰 之芋竺c o s ! = = 竺旱乏竖+( 2 6 ) t = oy = o 1 uu 。 扣州萎7 丢7 器c o s 学c o s 譬竽= o ，一 哈尔滨工程大学硕士学位论文 其中( f ) 同式( 2 2 ) 。 由于基于d c t 压缩编码对图像的每个子块单独处理，破坏了图像在子块 边缘固有的相关性，因此当压缩比较高( 低于05 b i t p i x e l ) 、图像损伤严重时， 在图像子块的边缘部分就会出现块效应。这是分块变换编码最主要的缺点， 也是对低码率视频编码性能的晟主要限制。块效应主要是由于各变换块的单独 量化而引起的，而量化步长越大，块效应越明显，图像的视觉效果也就愈差吼 j p e g 编码中包含了d c t 压缩，因此j p e g 格式图片中块效应普遍存在， 特别是压缩率比较高时，图22 显示了不同比特率下j p e g 编码的l e n a 图像， 图像大小为5 1 2 5 1 2 。比特率为l b p p 时，方块效应很难觉察到，但是比特 率在0 2 1 l b p p 时存在严重的方块效应。 ( a ) l b p p c 0 1 02 1 1 b p p 图2 2j p e g 编码的l e n n a 图像在不同比特率下的块效应 22 块效应去除方法 针对图像中出现的块效应问题，近年来，学者采用许多方法来解决这一 问题。主要的方法有两类：( 1 ) 彻底改变原有编码模式，不再采用分块的处 理方法，例如基于纹理的编码、小波变换编码等，该类方法称为图像前处理 技术。( 2 ) 在现有分块解决方案的基础上采用一些新的处理方法，例如进行 低通滤波等，该类方法称为图像后处理技术。考虑到基于块编码方法的性能、 复杂度、兼容性和市场需求等，以及目前国际标准中采用的主要还是基于块 的编码方式，对块效应的消除大都采用图像后处理技术，优点是不改变编码 9 哈尔滨工程大学硕士学位论文 m i ii 过程，并保持压缩编码率【6 j 。 去块效应后处理技术可以分为两类：基于图像恢复的方法和基于图像增 强的方法。前者将块效应的去除看作是对劣化图像的复原问题，有很多经典 的图像恢复算法可利用，包括凸集投影法( p o t s ) 、最大后验概率( m a p ) 等经 典的图像恢复算法。基于图像增强的方法着重于对图像块效应的平滑，主要 有空间域滤波和变换域滤波。下面详细介绍这两类方法。 2 2 1 基于图像恢复的去块效应方法 1 p o c s 理论 属于图像复原类去方块效应最有影响力的是基于凸集投影( p o c s ) 理论 7 1 ， 它利用凸集投影理论把原始图像的每一种先验知识都定义成闭凸集，把解码 图像往这些闭凸集的交集上投影，通过反复迭代使得恢复图像尽可能地接近 原始图像，最后得到的解码图像能有效地消除块效应。 基于p o c s 的去块方法的应用关键是要寻求尽可能多的、能尽可能准确 的描述原始图像某种特性的先验信息，并表示为闭凸集。p o c s 方法的优点 是在消除块效应的同时可以在一定程度上保持图像的细节。但是，由于它是 一个迭代算法，所以算法的复杂度较高，不利于实时实现。而且，由于平滑 限制条件很难保证在消除块效应的同时不损伤原有图像的频率分量，存在收 敛性问题。 y a n g 8 】等人考虑将解码后的块效应图像往一系列平滑约束集上作连续投 影变换，但由于这一算法没有考虑到图像的局部特征，解码图像会丢失一部 分局部细节。y a n g 在后来的工作中虽然考虑了这一问题，但却大大地增加了 算法的复杂性。h p a e k 9 1 定义了一个d c t 域的平滑受限闭凸集和量化受限闭 凸集，然后采用p o c s 去块效应方法获得了良好的主观图像质量和高峰值信 噪比( p s n r ) 。该算法的不足之处在于需要经过多次迭代才能收敛，所以其 计算复杂度太高，不适合实时图像处理。 文献【l o 】提出一种符合人眼视觉特性的自适应滤波算法来改善p o c s 的收 敛速度，能节省5 0 左右的运算量。文献【l l 】介绍了一种基于d c t 域的凸集 投影块效应消除算法，该方法根据判断准则把新构成的子块分成平滑块、边 缘块和纹理块。对于平滑块，根据导出的块效应强度和平滑度对平滑块进行 1 0 哈尔滨工程大学硕士学位论文 i ；i ；- - i - - ；i ；i ；i ；i ；i i i i ；宣；宣；i ；i ；i 声；i ；i ；i ； 自适应滤波。对于强边缘和纹理块，采用s i g m a 滤波器对块边界像素进行平 滑滤波，具有较好的性能。 2 基于最大后验概率( m a p ) 的方法 在最大后验概率( m a p ) 方法中，利用似然条件将解码端收到的失真数 据与原始数据联系起来，对接收到的数据的保真度进行基于马尔可夫随机场 的最大后验估计度量。在利用m a p 方法消除图像的块效应时，使用不同的 似然条件和先验图像分布模型将得到不同的算法。 r o u r k e 和s t e v e n s o n 提出了基于统计学原理的马尔可夫随机场模型的算 法【1 2 j ，采用了最大后验概率( m a p ) 方法恢复图像。这种算法的缺陷是忽略了 图像的高频部分和低频部分的差别，造成了图像细节的模糊，不能很好地保护 图像的边缘信息。s t e v e n s o n 【1 3 l 基于统计学原理提出应用最大后验概率( m a p ) 去块效应算法。他们把图像建模成马尔可夫随机场( m r f ) ，然后应用最大后验 概率的方法对图像进行恢复以去除方块效应。基于m r f 的算法能够更好地 避免其它算法经常引起的振铃等损害图像质量的现象，在避免图像的模糊现 象方面也优于滤波类方法。但是，如果要求更好的块效应消除效果时，也会 引起图像的模糊。此外，算法复杂度较高，时间效率低于滤波类方法。文献 f 1 4 】提出一种基于马尔可夫随机场( m r f ) 的自适应块效应去除算法，利用人类 视觉系统对块效应有掩盖性的特点引进一个块效应可见度函数，根据块效应 可见度函数以及边缘信息自适应调整势函数。这既能有效地去除块效应，又 z 日。匕e , 1 4 k e t 好地保护边缘信息。 2 2 2 基于图像增强的去块效应方法 在大多数的图像视频通信中，人们主要关心的是图像的主观质量，而不 是客观上的质量，因此可以根据人眼的视觉特性来进行图像块效应的平滑。 在图像的平滑区域，人眼对块效应更敏感，而在纹理区域或图像的边缘区域， 由于人眼的掩蔽效应，人眼并不敏感。基于图像增强的方法着重于对图像块 效应的平滑，而不是将每一像素恢复到其原始值。在基于图像增强的去块效 应方法中，主要有空间域滤波和变换域滤波方法。 1 空域滤波 早期的空域滤波典型算法有文献 1 5 1 7 ，r e e v e s 和l i m 对块边界的像素 l l 哈尔滨工程大学硕士学位论文 应用3 * 3 的低通滤波器滤波【l5 1 ，这种简单的空域滤波器没有考虑图像的局部 特征，会使滤波后的图像过度模糊。为了减少因滤波而带来的模糊，文献 【1 6 ，1 7 】提出把图像分成平缓区、纹理区和边缘区。因为人类视觉对低频区域 的方块效应比高频区域的方块效应更加敏感，所以边缘和纹理区域通常不进 行滤波处理。 2 变换域滤波 在d c t 域中处理块效应也是近年来的研究a 黻 1 8 - 2 5 】。在文献 2 0 】中，z e n g 提出一种在d c t 域减少块效应的方法。他对一些图像块的d c t 系数应用零 掩盖技术( z e r o m a s k i n g ) 去除方块效应。这种方法简单，但会导致高频信息丢 失严重且会产生新的方块效应。l i u 2 3 】提出一种在d c t 域基于h v s 特性对块 效应进行盲测量，把图像块边界分成三类，对每类边界分别应用不同的方法 去除块效应。这种算法恢复的图像主观质量不太理想，而且算法的复杂度偏 高。l u oy i n g 2 4 】应用相邻块之间d c t 系数的相关性提出一种在平滑区采用二 维d c t 系数加权滤波，边缘区用空间滤波器的快速去块效应算法取得了很好 的主观质量效果。但是，这种算法没有对是否存在块效应进行判断，而且在 判断是否为平滑区域时采用的是经验值。p e r o n a 和m a i l i k 4 1 首次用各向异性 扩散作图像的多尺度描述、图像分割、边缘检测以及图像增强的有利工具之 后，各向异性扩散在图像处理方面的研究引起了人们的极大兴趣。文献 2 6 】 根据人类视觉系统的特性提出一个各向异性扩散系数模型，并且引进了扩散 速率因子，能有效地去除块效应，同时又能保护图像的边缘信息。文献 2 7 】 利用人类视觉系统对方块效应有活动性掩盖和亮度掩盖的特性定义了一个块 效应可见度函数，在此基础上提出一种应用一维的d c t 系数加权滤波和 s i g m a 空间滤波相结合的去块效应算法。该算法在去除方块效和保护边缘信 息上都有优越的性能。 2 3 图像块效应评价标准 去块效应的主要目的是为了改善图像的质量，一幅图像的好坏可以主客 观两个方面评价，因此，块效应消除效果可以从两个方面进行评价，即主观 质量评价和客观质量评价。 哈尔滨下程大学硕十学何论文 2 3 1 去块效应的主观质量评价 由于人眼是图像的最终信宿，图像质量的评价直接或间接的依赖于主观 评价。去块效应的效果采用观察者的主观感觉进行评价，评价结果和许多因 素有关【2 8 】，包括评价人员的经验、观看条件( 平均亮度、显示器对比度、图 像大小) 等，主观评价方法由于受到个人兴趣爱好、学识水平、专业经验等 诸多因素的影响，而使得评价的结果千差万别。 主观质量评价的优点在于考虑了具体的需求，能够与观察者交互，但是 其缺点是太具有随意性，很难给出定量的评价。 2 3 2 去块效应的客观质量评价 图像质量客观评价可以用数学计算方法得到，目前的客观评价方法主要 采取误差评价法，即通过去块效应后的图像与原始图像的误差来进行近似衡 量处理的效果。出于研究和比较的需要，人们通常以峰值信噪比( p s n r ) 作 为评价块效应消减效果的客观量化指标。 设原始图像为，( f ，) ，处理后的图像为，( f ，j ) ，( f ，j ) 表示图像坐标，图像 大小为mx n ，则p s n r 的计算如式( 2 7 ) 。 一1 0 l o g l 。l 2 5 5 2 磊西 ( 2 - 7 ) 一般来说，p s n r 越大所对应的图像质量越高，块效应不明显。但是图 像客观质量与真实的主观感受并不总是一致的【2 9 】，实际上，使用p s n r 评价 块效应有很大的局限性【3 0 】。p s n r 主要体现了重建图像与原图像之间的整体 差异，逐个像素考察重建图像与原图像是否相同，而消除块效应的目的并不 是完全让重建图像的像素值恢复到与原图像相同，只是要让重建图像内部相 邻像素间的偏移分布逼近原图像内部相邻像素间的偏移分布，消除视觉上带 给人的不良感受。如果用p s n r 来衡量块效应，它不能很好地反映图像处理 对重建图像带来的损伤，对于块效应这种数字图像处理特有的损伤它很难描 哈尔滨一i ：程大学硕十学何论文 述，通常是研究人员根据个人的主观评价来确定块效应明显与否。 针对上述情况，近些年来也提出了一些专门用于衡量块效应的评价标准。 例如斜率均方差【3 u ( t h em e a ns q u a r e dd i f f e r e n c eo f s l o p e ，m s d s ) ，它计算了在 两个块边界上水平或者垂直邻接的像素的梯度值。后来，g o p a ll a k h a n i 等 3 2 1 提出了扩展的m s d s 方法，增加量度对角方向上的块效应，利用图像的均方 误差来反映图像质量的好坏。 设a , b 是两个8 8 的存在方块效应的水平相邻块，由块a 的右边四列和 块b 的左边四列组成一个新的8 8 块c ，见图2 3 。 赫 图2 3 水平相邻块组成的边界块 图2 3 所示的两个水平相邻块之间的块效应大小m s d s h 的计算见式 ( 2 - 8 ) 。 m s d s h = 喜 螋型掣业塑 ( 2 - 8 ) 上式中的c ( f ，j f ) 代表该处像素的亮度值。同理可以计算出垂直相邻两个 块的m s d s v 。 那么，平均m s d s 定义为： msds：sum(msdsh)+sum(msdsv) ( 2 9 ) n h n v 其中s “历为求和函数，n h 与仇分别为水平相邻和垂直相邻的块的个数。 如果对整个图像进行低通滤波，必然会使m s d s 降低，但其实图像的质 量并不会很好，因为图像的很多细节部分都被模糊了。z h u o w a n g 提出了很多 图像的客观评价标准，针对块效应问题他提出了一种盲估算方法【3 3 1 ，这种方 1 4 中i l j 哈尔滨t 程大学硕十学1 1 f 7 ：论文 法不需要原始图像的数据，是一种无参考的评价标准。基本思想是将带块效 应的图像模拟成一个不带块效应的图像被叠加了一个纯的块效应噪声，其目 的就是在频域内利用功率谱估计检测和估算块效应噪声的功率。但是在频域 内估计有一个缺点就是对于每一幅图像都要进行多次f f t 变换，计算代价高 且占用存储空间。针对此问题，2 0 0 2 年，z h u o w a n g 又提出了一种低复杂度 的空域评价方法【3 4 1 。此方法也是一种无参考的评价标准，因为即使没有原始 图像数据，人眼也很容易区分压缩之后图像的质量的好坏，其具体思想是利 用梯度信息估计图像的块效应以及活动性并对他们进行加权，得到图像的客 观质量估计值s 。根据文章中的实验结果显示，此方法能很好的和人眼的主 观效果相匹配。 在这些方法中，p s n r 的计算需要参考图像，而m s d s 和文献 3 3 ，3 4 的 方法都不需要参考图像。因为对于去块效应而言，主观质量是非常重要的， 但又考虑到图像的整体效果，因此，本文选择平均m s d s 和p s n r 作为去块 效应实验结果的评价标准，平均m s d s 越低，表明图像的块效应现象越小、 主观感受越好，p s n r 越高说明经过去块效应算法后图像质量改善较好。 2 4 本章小结 块效应影响图像的视觉效果，我们的任务是使得恢复后的图像能够尽可 能满足人类视觉对图像质量的要求。对于块效应消除而言，本质上是一个滤 波的过程。然而，滤波过程必然会导致原始图像的一些边缘或细节信息变模 糊。因而，块效应消除的难点就是在去除块效应的同时要尽可能保护图像的 边缘信息。其次，对于实时性要求很高的通信场合，还要考虑算法的复杂度。 本章首先介绍了块效应产生的原因，然后回顾了去块效应的算法，主要 从图像增强或者恢复这两个角度考虑。最后，讨论了去块效应算法的评价标 准，并确定本文采用的评价标准。 哈尔滨t 程大学硕十学何论文 第3 章基于p d e 的图像增强去块效应后处理算法 近年来，使用偏微分方程( p a r t i a ld i f f e r e n t i a le q u a t i o n s ，p d e ) 解决图像 处理问题已经成为一个热门的研究课题，受到越来越多人的关注 3 5 - 3 8 】。由于