（微电子学与固体电子学专业论文）h264抗块效应滤波器及fpga实现.pdf

摘要 摘要 h 2 6 4 协议中将图像像素分割成互不重叠的小方块进行编码，在对图像解码重 建的过程中会出现方块效应，严重影响了图像的主观效果，为了使图像更加清晰 流畅，协议中引入抗块效应滤波器，它是一种自适应滤波器，可以根据方块的不 同位置和性能做出不同强度和不同方式的滤波，明显提高图像的主观效果。 滤波按照宏块的排列顺序进行，先对垂直边缘滤波，接下来再对水平边缘滤波。 而在具体的硬件实现过程中，如果按照原来h 2 6 4 的滤波次序滤波，需要存储大 量的半滤波数据，而且在数据等待和传输过程中时钟周期浪费比较严重。本文在 抗块效应滤波器的硬件结构实现上对滤波器的原理算法进行优化，运用视频编码 的原理，每个宏块内部的子块在空间上具有一定的相关性，经过研究和分析这种 相关性，便于硬件上的实现，采用缩小处理单元，改变每一个子块的滤波顺序的 方法，在滤波速度上，一方面减少了滤波数据的等待和中间传输所消耗的时钟， 另一方面缩减了滤波结果输出到外部s d r a m 所需要的时钟周期，以及参考数据 准备所需要的时钟周期。在存储面积方面，硬件结构上的优化使得存储单元数量 只有原来的2 3 。运用这种方法设计出抗块效应滤波器的硬件系统，仿真结果一致， f p g a 输出结果表明设计的滤波器性能达到设计要求。 关键词：h 2 6 4 抗块效应滤波器宏块滤波次序 a b s t r a e t a b s t r a c t t h ep i x e l so fp i c t u r ew e r ed i v i d e di n t om a n yn o no v e r l a p p i n gb l o c k sf o re n c o d e ， a c c o r d i n gt oh 2 6 4 , s ot h ei m a g er e c o n s t r u c t e dm a yh a v eb l o c k i n ge f f e c to ne a c h b l o c k af i l t e ri sa p p l i e dt oe a c hd e c o d e dm a c r o b i o c kt or e d u c eb l o c k i n gd i s t o r t i o n t h ed e b l o c k i n gf i l t e ri sa p p l i e da f t e rt h ei n v e r s et r a n s f o r mi nt h ee n c o d e r ( b e f o r e r e c o n s t r u c t i n ga n ds t o r i n gt h em a c r o b l o c kf o rf u t u r ep r e d i c t i o n s ) a n da f t e rt r a n s f o r m i nt h ed e c o d e r ( b e f o r er e c o n s t r u c t i n ga n dd i s p l a y i n gt h em a c r o b l o c k ) t h ef i l t e r s m o o t hb l o c ke d g e sa n di m p r o v e st h ea p p e a r a n c eo fd e c o d e df r a m e s ，a n di m p r o v e s t h ea p p e a r a n c eo fd e c o d e df r a m e s f o re a c hm a c r o b l o c ka n de a c hc o m p o n e n t ，v e r t i c a le d g e sa r ef i l t e r e df i r s t ，s t a r t i n g w i t ht h ee d g eo i lt h el e f t h a n ds i d eo ft h em a e r o b l o c k p r o c e e d i n ga 1 1t h ee d g e st i l lt h e r i g h t - h a n ds i d eo ft h em a e r o b l o c k a f t e r w a r d st h eh o r i z o n t a le d g e sa r ef i l t e r e d ， s t a r t i n gw i t ht h ee d g eo nt h et o po ft h em a c r o b l o e kt i l lt h eb o t t o mo f t h em a e r o b l o c k b e c a u s et h ec u r r e n tb l o c ke d g e sn e c e s s a r i l yr e f e r e n c et h en e i g h b o u rb l o c k st ob e f i l t e r e d ，h o wt os t o r et h er e f e r e n c ed a t aa n da r r a yf i l t e ro r d e rw i l ld i r e c td e t e r m i n e c h i pa r e a , f i l t e rr a t ea n dr e f e r e n c ea c c e s s 丘e q u e n c yt os d r a m t h i sp a p e ra n a l y s e s t h ev i d e oe n c o d e ，c o n s i d e r i n gt h ec o r r e l a t i v i t yo f e a c hb l o c ki nam a c r o b l o c ko ns p a c e w ec h o o s ep r o c e s s i n gu n i ta sb l o c k sb u tn o tm a c r o b l o c k , t h e na d j u s tf i l t e r i n go r d e ro f e a c hb l o c k ，a tl a s tw ec h o o s eap r o p e rf i l t e r i n go r d e rf r o mam a c r o b l o c k sp o i n to f v i e w ，t om a k ea l lt h eb l o c k sf i l t e r e dw i t hv e r t i c a le d g e sf i r s t , a n dh o r i z o n t a le d g e s l a t e r s of i l t e r i n gs t a r t sw i t ht h ee d g eo nt h el e f t - h a n ds i d eo fam a e r o b l o c kt i l lt h e r i g h t h a n ds i d e ，a n dt h e ns t a r t sh o r i z o n t a le d g e sf r o mt h et o po fam a c r o b l o c kt ot h e b o t t o mi nt h e i rg e o m e t r i c a lo r d e r t h eh a r d w a r eo fd e b l o c k i n gf i l t e rw a sd e s i g n e d a c c o r d i n gt ot h er e s u l ts t u d y i n g , i nf i e l do ff i l t e rr a t e ，r e d u c e st h en u m b e ro fc l o c kt h a t t h ef i l t e rw a i t sf o rt h ef i l t e r i n gd a t aa n dt r a n s f e r sd a t a , a n dp r e p a r e st or e f e r e n c ed a t a f r o ms d r a m ，i nf i e l do fm e m o r y ，w es h o u l du s el e s sm e m o r ya sf a ra sp o s s i b l et o r e d u c et h eh a l ff i l t e r e dd a t au n d e rt h ep r e m i s eo fas a t i s f y i n gf i l t e r i n gr a t e ，a n dc u t d o w nt h em e m o r ya b o u t1 3t op r i m i t i v ef i l t e rs t r u c t u r e t h ef i l t e r i n gr e s u l t sa r ec o m p l e t e l yc o n s i s t e n t , f r o mr t ls i m u l a t i o n , s o f t w a r e p r o c e s s t h er e s u l tv e r i f y i n go nt h ef p g ai n d i c a t e st h a tt h es t r u c t u r eo fh a r d w a r e h 2 6 4 抗块效应滤波器及f p g a 实现 r e a c h e st h ed e m a n d k e y w o r d s ：h 2 6 4d e b l o c k i n gf i l t e r m i c r o b l o c k f i l t e r i n go r d e r 声明尸明 创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包括其他人已经发表或撰写过的研究成 果：也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 本人签名：熏鹏趁日期：至颦丝 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文：学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名： 导师签名： 日期：勘：麴 日期：皇兰2 ： ：主望 第一章绪论 第一章绪论 1 1 视频编码技术的发展历程 视频编码技术基本是由i s o d e c 制定的m p e g x 和i t u t 制定的h 2 6 x 两 大系列视频编码国际标准的推出。从h 2 6 1 视频编码建议，到h 2 6 3 、m p e g 1 、 m p e g 2 ：m p e g 4 等都有一个共同的目标，即在尽可能低的码率( 或存储容量) 下获得尽可能好的图像质量。而且，随着市场对图像传输需求的增加，如何适 应不同信道传输特性的问题也日益显现出来。于是i e 伽e c 和n u t 两大国际 标准化组织联手制定了视频新标准h 2 6 4 来解决这些问题。 h 2 6 1 是最早出现的视频编码建议，目的是规范i s d n 网上的会议电视和可 视电话应用中的视频编码技术。它采用的算法结合了可减少时间冗余的帧间预 测和可减少空间冗余的d c t 变换的混合编码方法。和i s d n 信道相匹配，其输 出码率是p x 6 4 k b i t s 。p 取值较小时，只能传清晰度不太高的图像，适合于面对 面的电视电话；p 取值较大时( 如p 6 ) ，可以传输清晰度较好的会议电视图 像。h 2 6 3 建议的是低码率图像压缩标准，在技术上是h 2 6 1 的改进和扩充， 支持码率小于6 4 k b i 饴的应用。但实质上h 2 6 3 以及后来的h 2 6 3 + 和h 2 6 3 + + 已发展成支持全码率应用的建议，从它支持众多的图像格式这一点就可看出。 如s u b q c i f 、o c i f 、c i f 、4 c i f 甚至1 6 c i f 等格式。 m p e g 1 标准的码率为1 2 m b i 伽左右，可提供3 0 帧c i f ( 3 5 2 x 2 8 8 ) 质量 的图像，是为c d r o m 光盘的视频存储和播放所制定的。m p e g 1 标准视频编 码部分的基本算法与h 。2 6 1 h 2 6 3 相似，也采用运动补偿的帧间预测、二维d c t 、 v l c 游程编码等措施。此外还引入了帧内帧( i ) 、预测帧( p ) 、双向预测帧( b ) 和直流帧( d ) 等概念，进一步提高了编码效率。在m p e g 1 的基础上，m p e g 2 标准在提高图像分辨率、兼容数字电视等方面做了一些改进，例如它的运动矢 量的精度为半像素；在编码运算中( 如运动估计和d c t ) 区分”帧”和”场”；引 入了编码的可分级性技术，如空间可分级性、时间可分级性和信噪比可分级性 等。近年推出的m p e g - 4 标准引入了基于视听对象( a v o ：a u d i o 一s u a lo 巧e c t ) 的编码，大大提高了视频通信的交互能力和编码效率。m p e g 一4 中还采用了一 些新的技术，如形状编码、自适应d c t 、任意形状视频对象编码等。但是m p e g 4 的基本视频编码器还是属于和h 2 6 3 相似的一类混合编码器。 h 2 6 4 抗块效应滤波器及f p g a 实现 总之，h 2 6 1 建议是视频编码的经典之作，h 2 6 3 是其发展，并将逐步在实 际上取而代之，主要应用于通信方面，但h 2 6 3 众多的选项往往令使用者无所 适从。m p e g 系列标准从针对存储媒体的应用发展到适应传输媒体的应用，其 核心视频编码的基本框架是和h 2 6 1 一致的，其中引人注目的m p e g - 4 的”基于 对象的编码”部分由于尚有技术障碍，目前还难以普遍应用。因此，在此基础上 发展起来的新的视频编码建议h 2 6 4 克服了两者的弱点，在混合编码的框架下 引入了新的编码方式，提高了编码效率，面向实际应用。同时，它是两大国际 标准化组织的共同制定的，其应用前景应是不言而喻的。 1 2h 2 6 4 介绍 h 2 6 4 是r r u t 的v c e g ( 视频编码专家组) 和l s 0 瓜犯的m p e g ( 活动 图像编码专家组) 的联合视频组( j v t j o i n t v i d e ot e a m ) 开发的一个新的数字 视频编码标准，它既是r r u - t 的h 2 6 4 ，又是i s o i e c 的m p e g - 4 的第1 0 部 分。1 9 9 8 年1 月份开始草案征集，1 9 9 9 年9 月，完成第一个草案，2 0 0 1 年5 月制定了其测试模式t m l - 8 ，2 0 0 2 年6 月的j v t 第5 次会议通过了h 2 6 4 的 f c d 板。2 0 0 3 年3 月正式发布。 h 2 6 4 和以前的标准一样，也是d p c m 加变换编码的混合编码模式。但它 采用”回归基本“的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好得多的压缩 性能；加强了对各种信道的适应能力，采用”网络友好”的结构和语法，有利于 对误码和丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及 不同传输( 存储) 场合的需求：它的基本系统是开放的，使用无需版权。 在技术上，h 2 6 4 标准中有多个闪光之处，如统一的v l c 符号编码，高精 度、多模式的位移估计，基于4 x 4 块的整数变换、分层的编码语法，抗块效应 环路滤波器等。这些措施使得h 2 6 4 算法具有很的高编码效率，在相同的重建 图像质量下，能够比h 2 6 3 节约5 0 左右的码率。h 2 6 4 的码流结构网络适应 性强，增加了差错恢复能力，能够很好地适应妒和无线网络的应用。 1 2 1h 2 6 4 的框架 h 2 6 4 标准分成三个框架( p r o f i l e ) ：b a s e l i n e 、m a i n ) 及e x t e n d e d ，代表了针 对不同应用的算法集及技术限定。其中，b a s e l i n e 主要包含了低复杂度、低延 时的技术特征；主要是针对交互式的应用；考虑到了恶劣环境下的容错性， b a s e l i n e 的内容基本都被其它更高级别的p r o f i l e 所包含。而m a i np r o f i l e 是针对更 第一章绪论 3 高编码效率的应用，如视频广播。e x t e n d e dp r o f i l e 的设计主要针对流媒体的应 用，所有容错技术和对比特流的灵活访问及切换技术都将包括其中瞄1 。 三个框架的关系如下图所示： e x t e n d e dp r o f f i e 圈1 1b a s e l i n e , m a i n 和c x l e n d e dp r o f i l e 1 2 2h 2 6 4 的性能比较 t m l - 8 为h 2 6 4 的测试模式，用它来对h 2 6 4 的视频编码效率进行比较和 测试。测试结果所提供的p s n r 已清楚地表明，相对于m p e g - 4 ( a s p ：a d v a n c e d s i m p l ep r o f i l e ) 和h 2 6 3 + + ( h l p ：h i g hl a t e n c yp r o f i l e ) 的性能，h 2 6 4 的结 果具有明显的优越性。 h 2 6 4 的p s n r 比m p e g - 4 ( a s p ) 和h 2 6 3 + + ( h l p ) 明显要好，在6 种 速率的对比测试中，h 2 6 4 的p s n r 比m p e g - 4 ( a s p ) 平均要高2 d b ，比h 2 6 3 ( h l p ) 平均要高3 d b 。6 个测试速率及其相关的条件分别为：3 2 k b i t s 速率， 1 0 舶帧率和q c i f 格式；6 4 k b i t s 速率、1 5 伪帧率和q c i f 格式； h 2 6 4 抗块效应滤波器及f p g a 实现 1 2 8 k b i t s 速率、1 5 f s 帧率和c i f 格式；2 5 6 k b i t s 速率、1 5 f s 帧率和q c i f 格式； 5 1 2k b i t s 速率、3 0 u s 帧率和c i f 格式；1 0 2 4 k b i t s 速率、3 0 f s 帧率和c i f 格式 1 2 4 1 。 1 3b a s e l i n ep r o f i l e 简介 1 3 1b a s e l i n ep r o f i l e 的主要技术特征 b a s e l i n e 的解码器只对is l i c e 及ps l i c e 进行操作h j ，对于帧问预测，相比以前 的标准，为了更精确的对图像的运动内容进行预测补偿，新标准允许宏块更进 一步划分为1 6 x 1 6 、1 6 x 8 、8 1 6 、8 x 8 、8 x 4 、4 x 8 、4 x 4 的子块；运动估计精确 到经由6 t a p 滤波器得到的1 4 象素位置；运动矢量由相邻块预测得到，其预测的 差值被编码传输。h 2 6 4 支持多参考帧的预测，规定运动估计使用的参考帧数最 多可达1 5 帧，多参考帧的使用大大提高了对图像传输的容错性，抑制了错误在 空问和时间上的蔓延。 对于所有的s l i c e 编码类型，h 2 6 4 支持两类帧内编码：4 x 4 与1 6 x 1 6 编码模 式。对于4 x 4 模式，每一个亮度4 x 4 块有8 种不同方向上的预测模式及d c 预测模 式。对于1 6 x 1 6 模式，每个1 6 x 1 6 亮度块有4 种帧内预测模式。而对于宏块的8 x 8 色度采样，采用与亮度1 6 x 1 6 几乎相同的预测模式。为了保证s l i c e 的编码独立性， 帧内预测是不允许跨越s l i c e 边界的。 对于变换、量化部分。不同于以前标准对预测参差值的交换编码使用d c t 变换，h 2 6 4 使用了简单的整数变换。这种变换与d c t ； f l 比压缩性能几乎相同且 有许多优势，其核心变换的计算只使用加减、移位运算，避免了精度的损失。 对变换参差系数的量化使用了5 2 级步长的量化器，而h 2 6 3 标准只有3 1 级。量化 步长以1 2 5 递增，量化步长范围的扩大似的编码器能够更灵活和精确的进行 控制，在比特率和图像质量之间达到折中。对熵编码部分。对于要传输的量化 变换系数，若使用基于上下文的变长编码( c a v i _ , c ) ，它是根据前面已编码传 输的量化交换系数值的大小来选择接下来系数编码要使用的变长编码表。由于 变长编码表的设计是基于相应的统计条件，所以其性能要优于使用单一变长编 码表。而对其它数据如头信息等，使用一种单一的变长编码表饵x p g o l o m b c o a e ) 。新标准仍然使用基于块的预测及重构方式，为了去除由此产生的影响图 像主观质量的方块效应，h 2 6 4 使用了去块效应滤波器。其主要思想是当块边界 上两边差较小则使用滤波器使差别“平滑”掉，若边界上图像特征明显就不使用滤 第一章绪论 5 波。这样既为减弱“块效应”的影响又避免滤掉图像的客观特征。同时在相同主 观质量下使得比特率减少5 1 0 1 1 3 1 。 另外，对图像数据的组织及传输。在h 2 6 4 标准中的图像宏块可以灵活的 宏块组织顺序( f m o 伐0 分为多个s l i c eg r o u p ；s l i c e 之间是相互独立的可以任意的 顺序传输到解码端( a s o ) 。而且在比特流中s l i c e 可以使用重复的方式( r s ) 传输， 这在s l i c e 数据出错的情况下可用来进行恢复，增强了图像传输的鲁棒性。同时 s l i c e 问的相互独立性抑制了错误的空问传播，因此提高了比特流的容错性。 1 3 2 基于b a s e l i n ep r o f i l e 的h 2 6 4 结构 图1 2b a s e l i n ep r o f i l e 的h 2 6 4 结构 6 h 2 6 4 抗块效应滤波器及f p g a 实现 1 4 论文主要内容安排 本文主要是根据h 2 6 4 协议标准中的d e b l o c k i n gf i l t e r 的原理，研究块效应 产生的原因，优化算法，设计抗块效应滤波器的硬件结构电路；并对仿真结果 进行对比，最后对设计电路做综合分析和f p g a 验证。具体内容安排如下： 第一章绪论主要介绍了h 2 6 4 的发展及特点，性能，h 2 6 4 的基本框架结 构；并详细的叙述了2 6 4 中的b a s e l i n ep r o f i l e 的特点和其所支持的内容，最后 给出了基于h 2 6 4b a s e l i n ep r o f i l e 解码的整体结构，对解码过程有一个初步了 解，为后面基于b a s e l i n ep r o f i l e 的滤波算法和硬件结构奠定了基础。 第二章抗块效应滤波器研究首先分析了图像中块效应产生的原因；第二节 给出了抗块效应滤波器的原理，并对原理中的滤波器的自适应做了分析，最后 针对抗块效应滤波原理中的滤波次序结合硬件实现做了深入分析，并给出四种 不同的滤波次序；第三节主要对原理中的具体滤波算法进行了介绍。 第三章硬件结构的实现根据整个h 2 6 4 解码系统的需要，硬件结构上采用 新的滤波方式( 交互滤波) ，不但提高了滤波速度，而且减少了存储单元的面积； 硬件上按照各个子模块的功能进行了划分，详细阐述了各子模块的内部结构和 功能，并给出了硬件r t l 级主要信号的仿真波形，仿真结果对比；最后对整个 抗块效应滤波器的硬件结构用s y n o p s y sd e s i g nc o m p i l e r 做了综合分析。 第四章f p g a 验证，本章主要是在f p g a 开发板上验证电路的性能，首先 介绍了所使用f p g a 开发板，以及板上的资源，接着简单介绍了s o p c 平台， 并搭建出验证基于s o p c 平台的具体结构，最后对比f p g a 输出结果，与仿真 结果，以及软件结果一致。 最后对全文做了总结，提出进一步需要完成的技术问题和对未来抗块效应 滤波原理的展望 第二章抗块效应滤波器研究 7 第二章抗块效应滤波器研究 2 1 分析块效应产生的原因 块效应是在视频编码中人眼察觉到的小块边界处的不连续，出现块斑的现 象。块效应的产生是由于视频编码中图像的分块处理造成的。 众所周知，当前视频编码都采用了基于d c t 变换的处理办法，这种变换使 得变换后的d c t 系数和图像中的每个像素都相关，对于去除图像内相邻像素间 的空间冗余，实现数据压缩是非常有效的。从理论上讲，d c t 变换是一种误差 可控的编码方式，因此如果对整帧图像作d c t 变换，将不会出现图像的块斑。 但是，对整帧图像作d c t 变换运算量将非常大，也不符合当前视频编码中的局 部运动估计补偿的原理。这样，现在采用的d c t 变换都是基于块的。即将图像 分成1 6 x 1 6 ，8 x 8 或者4 x 4 的像素块，然后对每块作d o r 变换得到2 5 6 ，6 4 或 1 6 个d c t 系数。由于这种分块变换，使得块与块之间的相关性被忽略了。在 对每块的d c t 系数进行量化的时候，是将d o t 系数除以量化步长后取整，这 种量化是有损编码，使得最后重建图像在块与块的边界处会出现不连续的跳变。 由于不同图像块做了不同的量化处理，有时是量化步长不同，有时是舍入 的高频分量不一样，这样就造成图像块之间的相关性被破坏，在块的边界处就 出现不连续或者整块的块斑现象。当这种现象被人眼识别到时就成为块效应。 当量化时采用的量化步长越大( 或者两个相邻块所用的量化步长差距越大) ，由 量化引起的失真越大，块效应越明显。 如下图所示由于量化步长不同所产生的块效应，及滤波前后的比较： 图2 1 原始帧 下面是步长为3 6 的重建后的图像滤波前后效果对比： 8 h 2 6 4 抗块效应滤波器及f p g a 实现 图2 2 滤波前图2 3 滤波后 步长为3 2 的重建后的图像滤波前后效果对比： 图2 4 滤波前 块效应随分块范围内图像内容的不同， 形噪声和格形噪声。 图2 5 滤波后 有两种不同的表现形式，主要为梯 梯形噪声：出现在图像的强边缘处。由于d c t ( 离散余弦变换) 的许多高 频系数被量化为零，使得强边缘在变换域内不能被完全数字化，又由于图像的 分块处理，使得穿过块边界的强边缘的连续性不能得到保证，从而在图像强边 缘处出现锯齿状噪声，使得视觉上有不自然的数据块边缘，称之为梯形噪声。 格形噪声：出现在图像的平坦区域。在图像的平坦区域，亮度有递增或者 递减的情况下，由于量化取整时进行了四舍五入，可能导致变换域的d c ( 直流) 系数越过了相邻量化级的判决门限，造成在重建图像中相邻两个块出现亮度突 变，使得视觉上出现片状轮廓，称之为格形噪声。 块效应也可以由时域的运动估计补偿产生。如果相邻两个块的参考帧不同、 运动矢量或者参考方块的差距过大，都会或多或少的引起块效应的出现【1 6 1 。 第二章抗块效应滤波器研究 9 2 2 1 概述 2 2 抗块效应滤波器的滤波原理 由图1 2 可以看到，在h 2 6 4 a v c 解码器中，去方块滤波器所处的位置是 在反d c t 变换之后。d c t 变换采用的方块大小是4 x 4 ，运动估计时采用的最小 块大小也是4 x 4 ，所以去方块效应滤波同样应用于大小为4 x 4 的方块边缘。根 据h 2 6 4 a v c ，滤波顺序是按照宏块( m i c r o b l o c k ) 顺序进行的( 从左至右，从 上到下1 一f r a r n e w i d d p 斗 图2 6 宏块滤波次序 每一个宏块单元又分为一个亮度子宏块和两个色度子宏块，亮度子宏块又 分成一组4 x 4 的子块，两个色度子宏块分别为蓝色度子宏块( c b ) 和红色度子宏 块( c o ，色度子宏块又分成一组2 x 2 的子块；每个子块是由一个4 x 4 的像素阵 列组成。如下图所示，粗黑线条代表宏块边缘，粗灰线条代表子块边缘，每一 个小方格表示一个像素点。 1 0 h 2 6 4 抗块效应滤波器及f p g a 实现 瓿1 董黝国幕】灌翔 亮度予宏块 图2 7 宏块结构 l l l 臼傺琵叫觇 6解踟解 “ 渤 r _ 色度子宏块( c r c b ) 各个宏块的亮度、色度数据都要进行滤波。在对每个宏块的垂直左边缘和 水平上边缘滤波时，可能需要参考与其相邻宏块的参数与像素值， 图2 8 宏块参考 按正常的滤波方式对c u r r e n t m b 宏块的左边缘( l e f t e d g e ) 傲滤波处理时需要参考 相邻宏块m b a v a i a 的像素值和参数，同理对c u r r e n t m b 宏块的顶部边缘 ( t o p e d 9 0 做滤波处理时需要参考相邻宏块m b a v a i l b 的像素值和参数。 宏块边缘及内部子块边缘的滤波先从左至右对竖直边界进行滤波，随后从 上至下对水平边界进行滤波，次序如下图 第二章抗块效应滤波器研究 l un a a bcd 图2 9 宏块内部滤波次序 k l o p 在对宏块边缘左边缘( a ，i ，m ) 进行滤波时，参与滤波的有当前宏块的像 素、其左侧宏块m b a v a i l a 中与当前宏块相邻的四个子块的像素( 部分边缘除 外) 。同样的，在对顶层边缘( e ，k ，o ) 进行滤波时，参与滤波的有当前宏块的 像素、其上方宏块m b a v a i l b 中与当前宏块相邻的四个子块的像素( 部分边缘除 外) ；在对内部边缘滤波时，参与滤波的有当前子块数据和相邻子块数据。子 块边缘像素点滤波方式，如图2 1 0 所示 p 3 d 0 p l p o水平边缘 q 0 q l 竖直边缘 q 2 p 3 口2 p lp oq oq lq 2q 3 q 3 图2 1 0 垂直和水平像素点滤波 田一田 h 2 6 4 抗块效应滤波器及f p g a 实现 2 2 2 滤波的自适应性分析 h 2 6 4 滤波系统可以根据当前宏块的参数特征和像素点值采用不同强度和 不同方式的滤波。根据当前宏块的参数，当前宏块可能处于物体轮廓边缘，s l i c e ( 切片) 边缘或系统要求不予滤波。 2 2 2 1 物体轮廓边缘 为了保证图像中物体边缘清晰，h 2 6 4 中对物体的边缘予以保留，但滤波 器并不知道当前宏块边缘或予块的边缘是否是物体的边缘，所以硬件系统内部 必须做出判断。宏块边缘的块效应可以根据当前宏块和参考宏块的参数来判断 出当前边缘该采用什么样的滤波强度( b s ) ，滤波处理时根据滤波强度做出不 同粒度和幅度的滤波。滤波强度共有五个等级，其值在0 到4 之间，判断依据 如下： 表2 1 滤波强度 边缘强度判断条件 边界强度( b s l 边界两边的子块咀【厨至少有一个是帧内预测 ，并且边界是宏快边界 4 边界两边的子块里面至少有一个是帧内预测 3 边界两边的子块里面至少有一个有残差2 边界两边的子块的运动矢量有一个方向( x 或 l y ) ，上相差大于卟整像素 边界两边的子块运动补偿的参考帧不同 1 其它0 在实际的硬件中，根据滤波强度的不同选择不同的滤波方式主要是两种，一种 是滤波强度为4 ，使用最强度的滤波方式；一种是滤波强度小于4 ，使用标准滤 波方式，其中滤波强度等于0 ，表示不对此边界进行滤波处理。 色度边界滤波的滤波强度值不另外单独计算，而是从相应的亮度边界滤波 强度复制过来。如上图2 9 宏块内部滤波次序，边界a i ，m 的滤波强度一样， 边界c j ，q 一样，边界e ，k ，o 一样，边界吕l ，p 一样。 第二章抗块效应滤波器研究 如果物体边缘位于宏块内部，块效应与真实图像边缘的检测用到了块边界 像素的梯度差。一般来说，真实的边界两侧像素值的梯度差要比量化误差造成 的虚假边界两侧像素值梯度差要大，由此滤波系统给出了两个门限值，用于判断 是否要对边界滤波。如果块边界闻或者块梯度差高于预先设定的门限就判定为 真实边界。该门限的取值取决于量化的大小。当量化值大的时候，量化误差也 大，随之块效应就明显，因此门限值随之变大。反之量化值小的时候门限值也 就变小。根据设定的门限值，可以有效检测块边界处虚假边界的同时尽可能地 保留了图像的细节。 为了区分虚假边界和真实边界，对任意子块边界的八个像素点，p 3 ，p 2 ，p 1 ， p 0 ，q 0 ，q 1 ，q 2 ，q 3 ，用于判断是否要对边界滤波，如下图 图2 1 1 典型虚假边界同 q 3 当边界滤波强度b s 不为0 时，滤波系统根据宏块参数给出两个门限值变 量a ，b 来检测对予块边缘是否滤波，若下面三个条件全都满足， p o q 0 a p l p o l a 2 0 一 a 3 0 一 a 0 1 一 a l l 一 a 2 1 一 a 3 1 一 a 0 2 一 a 1 2 一 a 2 2 一 a 3 2 一 a 0 3 一 a 1 3 一 a 2 3 一 a 3 3 ，水平边缘：b o o 一 b 0 1 一 b 0 2 一 b 0 3 一 b 1 0 一 b 1 1 一 b 1 2 一 b 1 3 一 b 2 0 一 b 2 1 一 b 2 2 一 b 2 3 一 第二章抗块效应滤波器研究 1 5 b 3 0 一 b 3 1 一 b 3 2 一 b 3 3 ；色度子宏块垂直边缘：a 4 0 一 a 5 0 一 a 4 1 一 a 5 1 一 b 4 0 一 b 4 1 一 b 5 0 一 b 5 1 ，水平边缘：a 6 0 一 a 7 0 一 a 6 1 一 a 7 1 一 b 6 0 一 b 6 1 一 b 7 0 一 b 7 1 。 捌畦拱手 + n ，斗n + “- 斗“卜 _ _ + 帔斗屺l + “叶一 寸5a 3 0 薹2 才 1 3 叶a 3 2 叫1 4a 3 3 亨一lia 3 l1 5 - 1 81 9 一悱一b 1 1 一 一1 7 901 6 掣l1 7 一b 5 一b 5 l _ - 1 9 刮；0 1 8 一订1 9 c h r o m a ： 图2 1 2 子块边缘滤波次序 2 ) 改进的滤波次序 h 2 6 4 中规定的滤波次序，在实际硬件实现中需要大量的数据缓冲存储器， 因为要对某一个边界滤波时，不仅需要当前子块的数据，还需要与其相邻子块 的数据。比如要对字块“o ”的垂直边缘和水平边缘滤波，首先对垂直边缘滤波， 需要与当前宏块左边相邻的宏块的子块“3 ”，即图2 1 2 中的“3 ”，这部分数据需 要预先从系统的s d r a m 中读到滤波系统里面寄存器r a m ， 在滤波时，把参考数据( 即子块- 3 ) 和将要滤波的数据0 输入到滤波器 中，按照它们所携带的参数，确定滤波强度进行计算，计算完成后，参考子块 可以被直接输出，但子块“矿还不能被直接输出，因为它的水平边界还需要被滤 波，所以子块“o 需要从滤波器输出后先要被存储在滤波系统里面的r a i v l ，进 行寄存。按照h 2 6 4 中的滤波次序，要等到对b o o 边的滤波，则需要对整个垂 直边缘都完成滤波后才能进行。那么依次类推，子块从“0 到“1 5 ”都要被暂存到 系统内部的r a m ，再加上预先存储的参考宏块的数据，这个开销比较大；还有 一点就是降低了滤波速度，因为系统内部在存储子块“0 ”到“1 5 ”的存储器在 滤波的过程中只能对系统内数据进行交换，而不能输出到外部的s d r a m ，必 须要等到所有的滤波结束后，才能对外部的s d r a m 输出，这样必然浪费了大 量的时钟周期在数据输出上。所以需要减少。半滤波数据”的等待时间，减少 数据的存储，减少硬件的开销，提高滤波速度。 1 6 h 2 6 4 抗块效应滤波器及f p g a 实现 改变滤波次序，首先要遵循不能改变滤波原理，滤波计算，否则可能会影 响滤波效果。h 2 6 4 中的抗块效应滤波器的滤波处理的基本单元是一个完整的 宏块，但在具体的硬件上，处理单元变成了一个子块( 4 x 4 像素) 甚至单个行 像素点，如图2 1 3 所示，所以在保证h 2 6 4 基本要求的滤波次序“先垂直后水 平”的前提下，调整每个子块的滤波顺序，并使得每个子块的边缘保持先垂直后 水平，这样不仅可以减少数据等待时间，提高滤波速度，而且还可以减少数据 存储量。 l 目卜l ，t 卜驴卜l t z l 私 - - 6 - 一 一 一| l一_- - _f ，- _ 一十 一1 二 _ - 一jl l “l 一0 一 一一- 导 ： - - _ - _ - - - _ - _ 黝徽 _ 一1_ k # 粼 - _ _ _ - _ _ _ j _ _ -_ 蓁 - _ _ - _ _ _ _- _ - _ - - _ - _ _ - 图2 1 3 宏块像素滤波 水平变换或垂直变换 ( 1 ) 水平变换滤波 如图2 1 2 ，保证垂直边缘“a i j ”的滤波次序不发生变化时，改变水平边缘 的滤波次序，以水平边缘“b o o 为例，原先要对水平边缘“b o o ”滤波，必须等垂 直边缘a 0 0 , a 1 0 ，a 2 0 ，a 3 0 ，a 0 1 ，a 3 3 都被滤波后才能进行，现在只要等到垂直边 缘滤波到达垂直边缘a l l 时，就先对水平边缘“b o o ”滤波，垂直边缘滤波到达 a 2 1 时，对水平边缘“b 1 0 滤波，依次类推。这样就减少了子块0 在存储器里 的等待时间。滤波次序为：a 0 0 a 1 0 a 2 0 a 3 0 a 0 1 b o o a 1 1 b 1 0 a 2 1 - b 2 0 - a 3 1 b 3 0 - a 0 2 b 0 1 a 1 2 b 1 1 a 2 2 b 2 1 a 3 2 b 3 1 a 0 3 - b 0 2 一 a 1 3 一 b 1 2 - a 2 3 b 2 2 一 a 3 3 b 3 2 - b 0 3 - b 1 3 一 b 2 3 - b 3 3 ； a 4 0 一 a 5 0 a 4 1 - b 4 0 - a 5 1 b 5 0 - b 4 1 一 b 5 1 ； a 6 0 一 a 7 0 - a 6 1 b 6 0 - a 7 1 b 7 0 b 6 1 b 7 1 滤波图如下： 第二章抗块效应滤波器研究 图2 1 4 改进滤波次序1 ( 2 ) 垂直变换滤波 类似于水平变换滤波的原理，垂直变换滤波是在保证h 2 6 4 基本的滤波次 序不发生变化的前提下，改变垂直的滤波次序而不改变整个水平的滤波次序。 以滤波边缘“b o o ”为例，要对水平边缘 b o o 滤波，可以先对垂直边缘 a 0 0 ，a 0 1 ，a 0 2 ，a 0 3 滤波，然后对水平边缘b 0 0 , b 0 1 ，b 0 2 ，b 0 3 进行滤波，依次类推， 这种方法比“水平变换”在硬件上实现更为容易，滤波次序也比较清楚：a 0 0 a 0 1 - a 0 2 - a 0 3 - b o o b 0 1 b 0 2 b 0 3 a 1 0 a 1 1 a 1 2 a 1 3 b 1 0