（信息与通信工程专业论文）图像与视频编码中消除编码效应的后处理算法研究.pdf

图像与视频编码中消除编码效应的后处理算法研究 摘要 图像和视频压缩技术在很大程度上减小了图像和视频的存储容量和传输带 宽，促进了图像和视频业务的广泛应用。但压缩也导致图像和视频中出现了编码 效应，如块效应、振铃、蚊子效应等。这些编码效应的存在破坏了原有图像的空 域平滑性，降低了解码后图像的主观和客观质量。图像和视频的后处理可以显著 地消除编码效应，提高图像的主观和客观质量。本文的主要工作是针对消除“d c t + 量化”过程所导致的编码效应，提出了一些后处理算法：本文首先研究了d c t 域块效应消除算法；然后提出了空域块效应消除算法；接着提出了振铃效应的消 除算法；最后提出了与解码器相结合的后处理方案，用于消除视频编码中出现的 块效应和振铃效应等编码效应。本文的主要创新成果包括： 提出了一种d c t 域渐进块效应消除算法( p d c t - b a r ) 。该算法根据解码d c t 系数块的频率特征参数来对偏移d c t 系数块中的系数进行限制，以消除块效应。 偏移的d c t 块中可能存在由块效应引起的高频系数，通过不断构造偏移的d c t 块，并且自适应地约束偏移块中的这些高频分量，从而达到了消除块效应的目的。 此外，在完成块偏移和系数收缩后，使用量化约束来修剪处理后的d c t 系数。与 其他使用偏移块的块效应消除算法不同的是，p d c t b a r 算法的每一次偏移过程 都构造了具有不同偏移位置的偏移块。实验表明，通过对多个偏移位置块的处理， p d c t b a r 算法不仅可以有效的去除块效应，而且能很好的保存图像本身的纹理 细节，处理后图像无论p s n r 质量还是视觉质量都令入满意。 提出了一种基于d c t 域自适应滤波的块效应消除算法( d c t - a f b a r ) 。在 d c t - a f b a r 算法中，首先推导出四组用于d c t 域滤波的系数矩阵，然后根据解码 块的频率特征参数来选取当前d c t 块滤波所使用系数矩阵，最后将相应的d c t 系 数块与选好的系数矩阵进行相乘，即得到消除了块效应的d c t 系数块。该算法的 优点在于避免了计算复杂度非常高的偏移d c t 系数块计算。为了进一步减小计算 复杂度，文中还测试了只对部分d c t 系数进行处理的情况，d c t - a f b a r 算法的性 能仍令人满意。实验表明：d c t a f b a r 算法无论是在图像主观、客观质量、还是 计算复杂度上都比同类算法有显著的改进。 提出了一种基于空域自适应滤波的块效应消除算法( s a f b a r ) 。s a f b a r 通过 对d c t - a f b a r 算法进行推导和改进，将d c t 域滤波转化为空域滤波。s a f b a r 算 法根据解码块的频率特征参数自适应地选取滤波器参数来进行滤波。为了避免真 实边缘被模糊。该块效应消除算法还联合多个块边界的梯度信息来区分块效应与 真实边缘。随后文中又对s a f b a r 算法进行简化得到m s a f b a r 算法。m s a f b a r 算法对s a f b a r 算法中的滤波器参数进行了简化，并将浮点型滤波运算变为整数型 滤波运算。为了避免在d c t 域计算解码块的频率特征参数，文中进一步提出使用 近似变换或梯度变化信息来计算解码块的频率特征参数。实验表明：在不同比特 率下，m s a f b a r 算法在p s n r 性能均优于其他算法。特别值得注意的是， m s a f b a r 算法不但在比特率非常低的时候能提升解码图像的p s n r ，而且当比特 率较高的时候也能提升解码图像的p s n r 质量。 结合厌度变换和低通滤波提出了一种新的振铃效应消除算法。该算法首先根 据解码块的频率特征参数来选取需要进行振铃效应消除的候选块；然后对块内象 素的灰度值进行分析，为该块的处理计算出相应的块级参数，包括一个加权系数 和两个目标灰度值；接着通过灰度变换将块内每个象素的灰度值向相应的目标灰 度值逼近，并同时采用低通滤波得到平滑结果，最后通过块级加权系数将灰度变 换和低通滤波的结果进行加权。为了防止象素被过度处理，还对处理后象索的取 值范围进行了限制。实验表明：对于振铃效应明显的图像，经过算法处理后，图 像的p n s r 质量和视觉效果得到了很大的提升。 针对视频压缩码流解码后视频序列中的编码效应，本文提出了与解码器相结 合的后处理方案。该方案利用了解码过程中的一些信息，并针对不同帧类型来计 算解码块的频率特征参数，然后利用该参数来指导块效应消除和振铃效应消除。 与同类算法相比，本文的算法对i 、p 、b 帧类型都取得了令人满意的效果。 关键词：图像编码视频编码后处理d c t 变换量化 块效应消除振铃效应消除m p e gj p e g s t u d i e so nt h ep o s t p r o c e s s i n ga l g o r i t h m a g a i n s tc o d i n ge f f e c t sr e d u c t i o ni ni m a g e a n dv l d e oc o d i n g a b s t r a c t i m a g ea n dv i d e oc o m p r e s s i o nt e c h n o l o g yc o u l dg r e a t l yr e d u c et h ei m a g e v i d e o s t o r a g ev o l u m ea n dt h et r a n s m i s s i o nb a n d w i d t h ，t h u sb o o s tt h ew i d e l ya p p l i c a t i o no f i m a g ea n dv i d e o h o w e v e r , t h ec o m p r e s s i o nt e c h n o l o g ya l s oi n t r o d u c e sc o d i n ga r t i f a c t s ， s u c ha st h eb l o c k i n ga r t i f a c t s ，t h er i n g i n ga r t i f a c t sa n dt h em o s q u i t oa r t i f a c t se r e t h e s e a r t i f a c t st os o m ee x t e n td e s t r o yt h es p a t i a ls m o o t h n e s so ft h eo r i g i n a lc o n t e n t ，a n d d e g r a d eb o t ht h eo b j e c t i v ea n dt h es u b j e c t i v eq u a l i t yo ft h er e c o n s t r u c t e di m a g e v i d e o i no r d e rt oa l l e v i a t et h ec o d i n ga r t i f a c t sa n di m p r o v et h eq u a l i t yo ft h er e c o n s t r u c t e d i m a g e v i d e o i ti se s s e n t i a lt oc o m b i n ep o s t - 1 l r o c e s s i n gw i mt h ed e c o d i n gp r o c e s so f i m a g e v i d e o t h i sd i s s e r t a t i o nf o c u s e s o i ls e v e r a la l g o r i t h m s r e d u c i n g t h ec o d i n g a r t i f a c t sc a u s e db yt h ec o n v e n t i o n a l d c tj 。q u a n t i z a t i o n i nt h ei m a g e v i d e o c o m p r e s s i o np r o c e d u r e f i r s t l y ，t h ed e b l o c k i n ga l g o r i t h mi nt h ed c td o m a i n ；s e c o n d l y t h ed e b l o c k i n ga l g o r i t h mi nt h es p a t i a ld o m a i n ；t h e nt h ed e r i n g r i n ga l g o r i t h ma n dl a s t l y t h ep o s t p r o e e s s i n gt or e d u c et h ec o d i n ga r t i f a c t si nv i d e o t h eo r i g i n a l i t yi n n o v a t i o n so f t h i sd i s s e r t a t i o ni n c l u d e s ： p r o g r e s s i v ed c td o m a i nb l o c k i n g a r t i f a c t s r e d u c t i o n ( p d c t - b a 鼬，t h i s a l g o r i t h mr e d u c e st h em o c k i n g a r t i f a c t sb yc o n s t r a i n i n gc o e f f i c i e n t si nt h es h i f t e dd c t b l o c k sa c c o r d i n gt of r e q u e n c yc h a r a c t e r i s t i cp a r a m e t e r so ft h ed e c o d e dd c tb l o c k s t h eu n d e s i r e dl l i g hf r e q u e n c yc o m p o n e n t s ，m a i n l yc a u s e db yt h eb l o c k i n ga r t i f a c t s ，a l e c o n s t r a i n e db yp r o g r e s s i v e l yc o n s t r u c t i n gt h es h i f t e dd c tb l o c k sa n da d a p t i v e l y s h r i n k i n gt h eh i 曲f r e q u e n c yc o e f f i c i e n t si nt h es h i f t e db l o c k s t h e nt h ed c t i i i c o e f f i c i e n t sa r ec l i p p e db yt h eq u a n t i z a t i o nc o n s t r a i n ts c t c o m p a r i n gw i t ho t h e r d e b l o c k i n ga l g o r i t h m sr e l a t e dw i t hs h i f t e db l o c k s ，t h ea l g o r i t h m si nt h i sd i s s e r t a t i o n c o n s t r u c t e ds h i l i l e db l o c k sw i t hd i f f e r e n ts h i f t i n gp o s i t i o ni ne a c hs h i f t i n g e x p e r i m e n t s s h o wt h ep d c t - b a ra l g o r i t h mc o u l db o t he f f e c t i v e l yr e d u c et h eb l o c k i n ga r t i f a c t sa n d h i 曲l yp r e s e r v et h ed e t a i l si nt h eo r i g i n a li m a g eb yt a k et h ea d v a n t a g eo fd i f f e r e n t s h i f t e db l o c k s t h ep o s t - p r o c e s s e di m a g e sg i v es a t i s f y i n gp s n ra n dv i s u a lq u a i i t y d c td o m a i na d a p t i v ef i l t e r i n go fb l o c k i n e s sa r t i f a c t sr e d u c t i o n ( d c t a f b a r ) f i r s t ，f o u rg r o u p so ff i l t e rc o e f f i c i e n t sm a t r i xf o rd c td o m a i nd e b l o c k i n ga r ed e d u c e d t h e nf r e q u e n c yc h a r a c t e r i s t i cp a r a m e t e r sa r ee x t r a c t e dt oi n s t r u c tt h es e l e c t i o no ft h e f i l t e rc o e f f i c i e n t sm a t r i x t h es e l e c t e df i l t e rc o e f f i c i e n t sm a t r i xm u l t i p l i e dw i t ht h ed c t c o e f f i c i e n t sa n dt h eb l o c k i n ga r t i f a c t si sa l l e v i a t e di nt h ef i l t e r e dd c tb l o c k s o n e a d v a n t a g eo f t h i sa l g o d t h mi st h er e d u c t i o no f h e a v yc o m p u t a t i o nb u r d e no f c a l c u l a t i n g t h es h i f t e db l o c k s b e s i d e ，i no r d e rt of u r t h e rr e d u c et h ec o m p u t a t i o nc o m p l e x i t y ，p a r t i a l p r o c e s st ot h ed c tb l o c ki sa l s ot e s t e di nt h i sd i s s e r t a t i o n , a n dt h er e s u l ti sa l s o a c c e p t a b l e e x p e r i m e n t ss h o w ：t h ed c t - a f b a ra l g o r i t h mo u t p e r f o r m st h es i m i l a r a l g o r i t h m sb o t hi no b j e c t i v e s u b j e c t i v eq u a l i t ya n dc o m p u t a t i o nc o m p l e x i t y s p a t i a la d a p t i v ef i l t e r i n go fb l o c k i n e s sa r t i f a c t sr e d u c t i o n ( s a f b a r ) s a f b a r i st h ed e d u c t i o na n di m p r o v e m e n to fd c t - a f b a r , t h ed c td o m a i nf i l t e r i n gi s t r a n s f o r m e di n t o s p a t i a lf i l t e r i n g s a f b a r e x t r a c t s f r e q u e n c y c h a r a c t e r i s t i c p a r a m e t e r st oi n s t r u c tt h es e l e c t i o no ff i l t e rc o e f f i c i e n t s t oa v o i db l u r r i n go ft h er e a l e d g e ，t h i sa l g o r i t h m a l s oc o m b i n e dt h e g r a d i e n ti n f o r m a t i o no fs e v e m l b l o c k b o u n d a r i e st od i s t i n g u i s ht h eb l o c k i n e s sa n dt h er e a le d g e m s a f b a ri sam o d i f i e d s a f b a fa l g o r i t h m ，t h ef i l t e rc o e f f i c i e n ti ss i m p l i f i e d s ot h a tt h ef l o a t i n gp o i n t c a l c u l a t i o ni sc o n v e r t e di n t oi n t e g e rc a l c u l a t i o n f u r t h e r m o r e ，t oa v o i dt h ed c t d o m a i nc a l c u l a t i o no ff r e q u e n c yc h a r a c t e r i s t i cp a r a m e t e r s ，a p p r o x i m a t et r a n s f o r mo r g r a d i e n tv a r i a t i o ni n f o r m a t i o na r eu s e dt oa p p r o x i m a t et h ef r e q u e n c yc h a r a c t e r i s t i c p a r a m e t e r s e x p e r i m e n t ss h o w ：m s a f b a ro u t p e r f o r m so t h e ra l g o r i t h m si np s n r u n d e raw i d er a n g eo f b i t r a t e s a r i n g i n ga r t i f a c t sr e d u c t i o na l g o r i t h mi sp r o p o s e d ，w h i c hc o m b i n e sg r a yl e v e l t r a n s f o r ma n dl o w - p a s sf i l t e r i n g t h i sa l g o r i t h ms e l e c t sc a n d i d a t eb l o c k sb yt h e f r e q u e n c yc h a r a c t e r i s t i cp a r a m e t e r s t h ep a r a m e t e r s f o rb l o c kl e v e l ，i n c l u d so n e w e i g h t i n gv a l u ea n dt w ot r a g e t e d 铲a yl e v e lv a l u e s t h eg r a y l e v e lt r a n s f o r m a p p r o x i m a t e st h eg r e yl e v e lv a l u e so fp i x e l st ot h et a r g e t e dv a l u e ；a n dt h el o wp a s s f i l t e r i n gg i v e sa n o t h e rs m o o t h e do u t p u t t h e nw e i g h t i n gt h eo u t p u to fg r a yl e v e l t r a n s f o r ma n dt h el o w - p a s sf i l t e r i n gt og e tt h er e s u rw i t h o u tr i n ga r t i f a c t s t oa v o i d e x c e s s i v ep r o c e s s i n g ，t h er e s u l ti sl i m i t e dt og i v et h eu n t i m a t er e s u l t e x p e r i m e n t ss h o w ： t h e p r o p o s e da l g o r i t h m i s e s p e c i a l l ye f f e c t i v ei np n s ra n dv i s u a lq u a l i t yo ft h e d e c o d e di m a g e s t h i sd i s s e r t a t i o na l s op r o p o s eas c h e m eo f p o s t - p r o c e s s i n gw i t hd e c o d e rt oa l l e v i a t e t h e c o d i n g a r t i f a c ti nt h ed e c o d e dv i d e ob i t s t r e a m t h i ss c h e m eu t i l i z es o m e i n f o r m a t i o n so fd e c o d i n gp r o c e s st oc a l c u l a t et h ef r e q u e n c yc h a r a c t e r i s t i cp a r a m e t e r s f o rd i f f e r e n tf r a m et y p e s ，t h e nt h ep a r a m e t e r sa r eu t i l i z e dt oi n s t r u c tt h ed e b l o c k i n ga n d d e r i n g r i n g t h ep r o p o s e da l g o r i t h mi ss a t i s f y i n gf o ri ，ba n dpf r a m et y p e sa sc o m p a r e d t ol i k ea l g o r i t h m s k e yw o r d s ：i m a g ec o d i n g ，v i d e oc o d i n g , p o s t - p r o c e s s i n g ，d c tt r a n s f o r m ，q u a n t i z a t i o n b l o c k i n ga r t i f a c t sr e d u c t i o n , r i n g i n ga r t i f a c tr e d u c t i o n ，m p e g ，j p e g v a t s c b d c t d c t d c t - m c d v b g o p h d t v h m r f g g m r f i d c t l s d b i s o i t u j p e g k l t m a p m b m m s e m p e g m s d s 英文缩略语 a d v a n c e dt e l e v i s i o ns y s t e m sc o m m i t t e e b l o c kd i s c r e t ec o s i n et r a n s f o r n l d i s c r e t ec o s i n et r a n s f o r m d c td o m a i nm o t i o nc o m p e n s a t i o n d i g i t a lv i d e ob r o a d c a s t i n g g r o u po f p i c t u r e s h i 曲d e f i n i t i o nt e l e v i s i o n h u b e rm a r k o vr a n d o mf i e l d g e n e r a l i z e dg a u s s i a nm a r k o v r a n d o mf i e l d i n v e r s ed i s e r e t ec o s i n et r a n s f o r i l l i n t e g r a t e ds e r v i c e sd i g i t a lb r o a d c a s t i n g i n t e r n a t i o n a ls t a n d a r do r g a n i z a t i o n i n t e m a t i o n a lt e l e c o m m u n i c a t i o n su l l i o n j o i n tp h o t o g r a p h i ce x p e r t sg r o u p k a r h u n e n l o e v et r a n s f o r i l l m a x i m u map o s t e r i o r i m a c r o b l o c kb 1 0 e k m i n i m u mm e a ns q u a r ee r r o r m o v i n gp i c t u r ee x p e r t sg r o u p m e a n s q u a r ed i f f e r e n c eo f s l o p e 先进电视系统委员会 分块离散余弦变换 离散余弦变换 d c t 域运动补偿 数字视频广播 图像组 高清晰度电视 h u b e r 马尔可夫随机场 广义高斯马尔可夫 随机场 逆离散余弦变换 综合业务数字广播 国际标准化组织 国际电信联盟 联合图像专家组 卡洛变换 最大后验概率 宏块 最小均方误差 运动图像专家组 均方梯度差 m v p o c s p s n r q c s r g b s m p t e t m 5 m o t i o nv e c t o r p r o j e c t i o no n t oc o n v e x s e t p e a ks i g n a l - t o - n o i s er a t i o q u a n t i z a t i o nc o n s t r a i n ts e t r e d g r e e n b l u e s o c i e t yo f m o t i o np i c t u r ea n d t e l e v i s i o ne n g i n e e r s t e s t m o d e l5 运动矢量 凸集投影 峰值信噪比 量化约束集 红绿蓝 电影电视工程师协会 测试模型5 附件四 上海交通大学 学位论文原创性声明 本人郊重声明：所节交的学位论文，是本人在导师的指导卜j ，独立进行研究i ：作所取得的 成果。除文中已经注明引川的内容外，本论文不包含任何其他个人或集体已经发表或撰写 过的作鼎成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：匙谊事乙 日期： ) 口0 7 年歹月ie l 附件五 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使_ h j 学位论文的规定，同意学校保留，f 向国家有 关部rj 或机构送交论文的复印什和i 乜子版，允许论文被存阅和借阅。本人授权上海交通人 学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采川影印、缩印或 扫描等复制手段保存和汇编本学位论文。 保密口，在一年解密后适用本授权书。 本学位论文属于 不保密目7 。 ( 请在以上方框内打“”) 学位论文作者签名：埏谊书t 指导教师签名： 日期：五一刁年岁月) 1 日 日期1 年厂月日 图像j 视频编码中消除编码效应的后处理算法研究第一章绪论 1 1 引言 第一章绪论 经过多年的发展，数字图像及视频技术已走进了寻常卣姓的生活中，特别是上世纪九十年 代以来，数字图像及视频技术已经应用到通信、多媒体、广播电视和计算机等各个领域。俗话 说，“百闻不如一见”，多媒体电脑、数码相机和数码摄像机等在家庭中的日益普及，方便了人 们随时记录和分享生活中的乐趣；而v c d 、d v d 和高清晰度数字电视进入寻常百姓家，更给人 们带来了高品质的视昕享受；同时，数字图像和视频技术还麻川到了远程医疗、可视电话和数 字图书馆等新的领域。数字图像及视频技术的广泛应川大大丰富了人类的生活，促进了通信、 多媒体、广播电视和计算机等各种产业的发展。 数字图像和视频的海量信息给存储和传输造成了困难，成为实际席刚中的瓶颈之一，但是 图像及视频中存在的冗余度又为数据压缩提供了可能性。对此学术界和产业界都投入了大量的 人力和物力进行研究，在一定的意义上，数字图像及视频应用的每一次推广，也是图像及视频 压缩技术的一个发展里样碑。进入九十年代以来，随着视频编码技术的日益成熟，国际标准组 织0 s o ) 和国际电讯联盟( i t u ) 相继推出了一系列图像和视频压缩编码的国际标准：j p e g 、 m p e g l 、m p e g - 2 、m p e g 4 、h 2 6 3 、h 2 6 4 等【1 h 9 1 。这些标准为数字图像及视频技术的普及作 出了极大的贡献；推动了数码相机、数字电视、网络视频流媒体、视频会议通信等的e 速发展， 具有重大的实际意义。 在图像及视频压缩标准中，变换编码是其中的一个重要环节，其中离散余弦变换( d c t ) 和离 散小波变换( d w d 得到了广泛的应用。由于分块d c t 变换具有很好的能量集中性、低计算复杂 度和易于硬件实现的优点，因此j p e g 、m p e g i 、m p f ：3 2 、m p e g - 4 、h 2 6 3 等标准中都使用 了8 x 8 分块的d c t 变换。在这些标准中都采用基于分块处理的“d c t + 量化”，首先将图像分 成许多互相不重叠的大小相同的块，然后对各块独立地进行d c t 变换以去除图像数据中的空间 冗余、接着对d c t 系数进行量化和熵编码。基于分块“d c t + 量化”的编码标准解决了视频数 据过大的问题，但是随着压缩比增大，基于分块“d c t + 量化”的操作不可避免地导致了各种 编码效应的出现【1 0 h 1 “，如块效应、振铃效应和蚊子效应等。这些编码效应的存在严重地损伤了 l ：海交通人学博i + 学位论文 解码图像的主观视觉质鼙。在目前上e 在全球推广的数字电视产业中，美国的a t s c 、欧洲的d v b 还是日本的i s d b 标准的信源编码都采用m p e g - 2 标准来对视频进行压缩。因此改善图像与视频 的主观质量，有效地消除( 抑制) 解码后图像中的编码效席就显得越来越重要。本文针对广泛 采用的分块“d c t + f g 化”所引入的编码效应，采用后处理技术米提高解码端的图像质量。本 文的主要研究内容包括：d c t 域块效应消除技术，空域块效应消除技术，振铃效应消除以及 m p e g 视频编码效应的消除技术等。 1 2 图像与视频的常见编码效应 在图像与视频编码系统中，为了实现对海量数据的压缩，对翻像进行变换，以将原始图像 的能量集中在尽可能少的变换系数上，从而达到去除每个编码块内象素问相关性的目的。因此， 对量化后的变换系数进行编码所需的比特数小于直接对原始闰像逐点进行量化编码所需要的比 特数，从而压缩了图像的数据量。变换完成了对图像信息恰当的分解与表征。将图像的能量在 变换域中集中，决定了量化编码的对象，是图像编码的核心部分。变换本身并不会引入失真， 也不会造成信息量的丢失，图像编码中引入失真的环节是量化过程。编码过程通过量化过程来 保留对人眼来说较为敏感的部分，而去除相对次要的部分。因此，量化过程中量化矩阵及量化 系数的选取将直接影响剑图像编码的质量。在j p e g 和m e p g 编码中，基丁分块处理的“d c t 变换+ 量化”造成了编码效应的出现，这些编码效应包括f 1 2 1 ：块效应、振铃效应，蚊子效应、 基图像效应、色度扩散等。 1 2 1 块效应 编码中的块效应是由于对d c t 系数进行量化造成的，由于分块编码，每个块中引入的量化 误差在程度和特性上都不相同，这种不同导致了相邻块在边界的不连续，如图1 - l 所示。量化不 但导致图像中原有细节信息丢失，还在块边界处引入了块效应。块效应的严重程度受到相邻象 索块中的一个或两个块的d c t 系数的租量化的影响。对于预测编码帧，由于运动补偿将导致块 效应的传播，因此块效应的位置不再是固定不变的。块效应消除的关键在于在消除块效应的同 时要保护块边界上的真实边缘。在块效应消除算法中，通常只是处理块边界附近的象素。 图像与视频编码中消除编码效脚的后处理算法研究第一章绪论 t a ) 原始的l e n a 图像( ”经j p e g 编码的图像( 比特率为0 2 1 7 b p p ) c ) 使用s o b e l 算子对( a ) 进行边缘检测( d ) 使用s o b e l 算子对( b ) 进行边缘检测 图1 1 含有块效应的图像及其对应的边缘检测结果 f i g 1 - l i m a g e w i t hb l o c k i n ga r t i f a c ta n d i t s e d g e d e t e c t i o nr e s u l t 解码图像中不同的区域所表现出的块效应程度有所不同，在图像的平坦区域块效应表现得 更为显著，低频d c t 系数，尤其是d c 系数起着更为重要的作用。而在纹理区，由于高频分量 的存在使块效应得到了掩蔽。块效应又可以细分为格形噪声和台阶噪声。 格形噪声：多在图像的平坦区域出现。在变换域内，直流分量d c 系数体现了图像块的平均亮 度，所以这个系数包含了图像块的大部分能量。在平坦区域，亮度的变化很小，但是如果有亮度递增 或递减的连续变化，那么量化就可能会导致原本比较相近的两个d c 系数处在不同的量化区间遣 3 - ：海交通大学博t 。学位论文 成在重建图像中块边界处出现亮度突变，在视觉效果上表现为在平坦区域内出现的片状轮廓。这 种噪卢称之为“格形噪声”。 台阶噪声：通常出现在图像的强边缘处。由t d c t 基函数不适合表达斜边缘，因此需要多 个高频基函数来表示斜边。而粗量化容易导致幅值较小的高频d c t 系数为零，结果与强边缘相 关的高频分量在d c t 域中不能完全被体现；此外由于图像是分块处理的，使得穿过块边界的强 边缘的连续性不能得剑保证，从而在图像强边缘出现台阶状，称之为“台阶噪声” 1 2 2 振铃效应 振铃效应是由于高频分量的粗量化造成的。当图像的强边缘所对应的高频分量出现量化误 差时，将在强边缘( 高对比度) 附近出现伪边界，如图1 2 所示( b i k e 图像的局部放大) 。振铃效应 消除算法的难点在于很难区分振铃和真正的边缘，常见的方法是对图像进行边缘检测，然后对 1 # 边缘象素进行低通滤波，从而达到消除振铃效应的目的。 ( a ) 含有振铃效应的图像( j p e g ，比特率为o 2 6 t o p p )( b ) 边界检测的结果( b c l 算子) 图1 - 2 舍有振铃效应的图像及其对应的边缘检测结果 f i g 1 - 2i m a g ew i t hr i n g i n ga r t i f a c ta n di t sc d g ed e t e c t i o nr e s u l t 1 2 3 其他的编码效应 除了块效应和振铃效应之外，文献【1 2 】中还介绍了其他类型的编码效应。尽管这些编码效应 的称呼不同，但归根结底都是由d c t 系数量化误差引起的，只是在不同的场合下有不同的体现。 图像与视频编码中消除编码效心的后处理算法研究 第一章绪论 d c t 基图像效应( d c tb a s i si m a g ee f f e c t ) ：对高活动性的区域进行粗量化，导致低幅度的 d c t 系数变为零，于是块内除d c 系数之，l - q 剩下单个a c 系数。含有基图像的块通常与相邻 块不匹配。 图像模糨j ( b l u r r i n g ) ：在具有中等或高空域活动性的区域，高频a c 系数的丢失所导致的空 域细节和边缘的锐度卜降。 色度扩散( c o l o rb l e e d i n g ) ：对色度信息粗颦化造成的后果，在色度变化1 常人的区域出现色 彩污点( 单个彩色污点与士彩色区的分离) ，它主要是由宏块中低频彩色a c 系数的量化误筹造成。 蚊子效应( m o s q u r oe f f e c t ) ：这种与高频火真相关的效应是编码效应在时间域上的体现，是 振铃效麻和运动补偿的不匹配预测误差造成。 运动闪烁；对运动图像，由丁二不同帧使用的晕化步匠、编码方式的不同以及物体的运动导 致了不同的编码效应，这些编码效应的不均匀性导致了运动闪烁。 1 3 现有的编码效应消除方法 减小编码效应的方法大致可以分为两类【1 3 1 ：类是在编码器端采用不同的编码方案，称之 为预处理；另一类是在解码器端进行，称之为后处理。预处理通过滤波等技术去除噪声或一些 次要的细节来减小编码所需的信息量，或者通过码率分配米保证感兴趣的图像区域能分配更 多的比特数。预处理通常需要相应地更改编解码器的结构，因此往往与现有的国际图像、视频 压缩标准不兼容。而后处理是针对编码后的图像，在解码端采用各种技术来改善解码后的图像 质量，因此基本上能与现有的压缩标准兼容。后处理的技术可以分为两类：一类是基丁：图像增 强的方法，另一类是基于图像复原的方法。 1 3 1 基于图像增强的方法 基于图像增强的方法是为了提高图像或视频的主观视觉质量，对处理后图像的客观保真度 ( 一般用p s n r 来度量) 通常不作严格的要求。在设计图像增强算法时，着重于考虑人眼的视 觉特性并利用编码效应所表现出的结构特征。图像增强的目的是对图像中的编码效应进行平滑， 而不是将每个象索恢复到它的原始值。由于“d c t + 量化”操作引起的块效应和振铃效应都表 现为图像中出现高频“赝像”，因此最简单直接的方法便是对出现编码效应的区域进行低通滤波。 r 海交通大学博l 学位论文 对编码效应的滤波x 可以分为空域滤波和d c t 域滤波。 在图像的平坦区域，块效表现更为显著；而在纹理区，由于高频分量的存在使块效应得到 了掩蔽。因此后处理算法通常先将图像分为不同的区域，然后对不同的区域使用不同的滤波方 式进行处理。低通滤波在消除编码效应的同时也会引起图像中真实边缘的模糊，因此滤波过程 中还要考虑对边界的保护。 “、空域自适应的滤波 早在1 9 8 4 年，r e e v e s 和l i m f ”1 便采用简单的空域滤波来进行块效应的消除，这种滤波并没 有考虑图像局部特性的变化，因此滤波通常会导致高频细节的丢失，从而导致整个图像变得模 糊。为了保持图像的细节，需要根据图像的局部特性来1 2 适应地选取相应的滤波器参数。因此， 许多算法采用1 2 适应的空域滤波技术来克服上述问题1 ”1 - 1 2 ”。通常，1 2 适应滤波技术使朋分类和 边缘检测来将象素分成不同的类，然后对不同类采用不同的滤波器( 线性或非线性) 来消除编 码效应。 r m n a m u r t h i 使用局部方差将图像分为边缘区和平滑区。k o n g 同样通过计算方差来对圈像 中每个象素进行分类，利川象素分类的结果来对每个8 8 的块进行分类1 2 0 l 。s d k i m 和1 钲通 过检测梯皮，将每个待处理的区域分为平坦区和复杂区【“1 1 2 2 。文献【2 3 】依据量化后位于同一块 内高频系数的和将块区分为平坦块或复杂块。文献 2 4 】通过计算d c t 系