（通信与信息系统专业论文）h264去方块效应滤波器的fpga设计与优化.pdf

摘要 h 2 6 4 采用基于块的d c t 整数变换、量化和运动补偿等技术来实现视频数据 的压缩，而基于块的视频编码技术将不可避免的引入块效应，造成图像质量的损 伤，特别是在低码率条件下图像质量下降尤其明显。为了提高编码效率和图像的 主观质量，h 2 6 4 中引入去方块效应滤波模块。去方块效应滤波器是h 2 6 4 标准 中的一个重要选项，起着重要的作用。本文主要研究此模块的硬件设计与实现。 本文首先分析了视频编码技术和f p g a 技术的发展，详细介绍了h 2 6 4 去方 块效应滤波器的工作原理，这是本文研究的理论基础。进而在不改变滤波结果的 前提下提出了对此模块的设计优化思路：对滤波中间数据进行缓存，减少对外部 存储器的访问次数和数据总线的占用，加快滤波速度；在对4 x 4 子块间相关性进 行研究和分析的基础上，采用了便于硬件实现的滤波顺序；设计了数据的输入输 出方式，数据的输入顺序更符合改进的滤波顺序，能够减少中间数据的存储，数 据的输出采用9 种模式，有利于完成滤波的数据尽快输出；结合改进的滤波顺序 和输入输出设计提出一种并行计算结构，加快r 滤波速度。基于上述设计思路给 出了h 2 6 4 去方块效应滤波器模块的整体结构设计，详细讨论了内部功能模块的 划分，对硬件结构进行优化和改进并使用v e f i l o g 硬件描述语言对其进行了实现。 最后，利用m o d e l s i m 以及p l i 技术对整个模块和各个功能模块进行了仿真验 证；以去方块效应滤波器模块的软件实现为基准，验证了系统在逻辑上的正确性。 在v i r t e x5 系列的x c 5 v l x 3 3 0 t 硬件平台上利用i s e 的x s t 综合工具对系统进 行了综合验证，仿真结果表明，占用了约7 的r e g i s t e r s ，1 3 的l u t 。工作频 率可达1 0 4 m h z ，一个完整宏块滤波过程占用1 3 6 个时钟周期，与已有的设计相 比在滤波速度上优势较为明显。 关键词：h 2 6 4 f p g a去方块效应 a b s t r a c t a b s t r a c t d c t t r a n s f o r m ，q u a n t i z a t i o na n dm o t i o nc o m p e n s a t i o nb a s e do nb l o c k sa r eu s e d i nh 2 6 4t oc o m p r e s sv i d e od a t a t h i sk i l l do fv i d e oc o m p r e s s i o nt e c h n i q u e u n a v o i d a b l yb r i n g sb l o c k i n ga r t i f i c i a le d g e s ，w h i c hw i l ld e g r a d ei m a g eq u a l i t ya n d b l o c kt r a n s m i t t i n gu n d e rl o wc o d i n gr a t i o t oi m p r o v ei m a g eq u a l i t y , ad e b l o c k i n g f i l t e ri sa p p l i e di nh 2 6 4 a sa l le s s e n t i a lp a r ti nh 2 6 4 ，t h ed e b l o c k i n gf i l t e rp l a y sa n i m p o r t a n tr o l ei nr e m o v i n ga n n o y i n gb l o c k i n gd i s t o r t i o n i nt h i st h e s i s ，w ef o c u so n t h e h a r d w a r ed e s i g na n di m p l e m e n t a t i o no ft h em o d u l e t h i st h e s i sg i v e sa no u t l i n eo fv i d e oe n c o d i n ga n df p g at e c h n o l o g i e s ，a n a l y z e s t h ep r i n c i p l eo fh 2 6 4d e b l o c k i n gf i l t e r , w h i c hi st h et h e o r e t i c a lb a s i so ft h i st h e s i s a n dt h e np r o p o s e sa no p t i m i z e dd e b l o c k i n gf i l t e rw i t h o u tc h a n g i n gt h ef i l t e rr e s u l t s ： t h er e f e r e n c ed a t aa r es t o r e di nr e g i s t e r si no r d e rt os p e e du pt h ef i l t e ra n dr e d u c et h e a c c e s sf r e q u e n c yt os d r a m ；c o n s i d e r i n gt h ec o r r e l a t i v i t yo fe a c h4 x 4b l o c ki na m a c r o b l o c ko ns p a c e ，ap r o p e rf i l t e ro r d e ri sa p p l i e d ；w ea l s op r o p o s ean e wd e s i g no f d a t ai n p u ta n do u p u ts t r u c t u r e ，t h em o d eo fi n p u td a t ai sm o r ea d a p tt ot h ef i l t e ro r d e r , t h e r ea r e9m o d e so fo u t p u td a t a , w h i c ha r eg o o df o ro u t p u t t i n gt h ed a t aa ss o o na s p o s s i b l e ；a n dt h e nap a r a l l e lc o m p u t i n ga r c h i t e c t u r ei sp r o p o s e dt os p e e du pt h ef i l t e r b a s e do nt h ea b o v ed e s i g ni d e a s ，t h ei n t e r n a ls t r u c t u r ea n dt h el e v e lo fd i v i s i o no ft h e w h o l es y s t e ma l eg i v e n ，t h ed e t a i l e dd e s c r i p t i o na n di m p l e m e n t a t i o no ft h ed e b l o c k i n g f i l t e ra r em a d e ，a n dt h ew h o l es y s t e mi sr e a l i z e db yv e r i l o gh a r d w a r ed e s c r i p t i o n l a n g u a g e a tl a s t ，t h ef m a lt e s to ft h es y s t e mi sd o n eo nm o d e l s i m ，u s i n gp l it e c h n o l o g y w e a l s oe s t a b l i s h e dar e f e r e n c es o f e w a r em o d e l ，w h i c hi ss e p a r a t e df r o mx 2 6 4 w e c h o o s ev i a e x 5 x c 5 v l x 33 0 ta sh a r dd e v i c e t h es y n t h e s i sr e s u l t sb yi s ex s ta r e g i v e n ：7 r e g i s t e r sa n d13 l u ta l eu s e d ，10 4 m h zf r e q u e n c y c o m p a r e dw i t ht h e e x i s t i n gd e s i g nt h ef i l t e rs p e e dh a sb e e ni m p r o v e d ，f i l t e r i n ga w h o l em i c r o b l o c ko n l y n e e d s13 6c y c l e s s i m u l a t i o nr e s u l t ss h o wt h a tt h ed e b l o c k i n gf i l t e rh a sa c h i e v e dt h e e x p e c t e dd e m a n d k e yw o r d ：h 2 6 4 f p g a d e b l o c k i n gf i l t e r 第一章绪论 第一章绪论 1 1 视频压缩技术的发展概况 互联网的广泛应用，在不断的拉近人们之间的距离，改变着人们的生活方式。 多媒体信息作为互联网中人们获取信息的最主要载体，逐渐得到了人们的重视， 成为研究的热点，人们希望无论何时何地都能够方便快捷的获得语音、图像以及 视频等多媒体信息。传统的视频技术正在从专用领域走向大众化、普及化。而在 这一发展过程中，视频压缩技术的发展起着重要的作用，因而对视频压缩技术的 研究和改进有着重要的现实意义。 图1 1 视频编码标准的发展 自视频数字化概念提出至今，视频编码压缩技术已经经历了6 0 多年的发展， 在这6 0 多年的发展中，各种视频压缩编码技术如雨后春笋般层出不穷，并得到了 广泛的应用，包括视频会议、可视电话、数字电视、i p t v 、手机电视和数字特技 等。在推动多媒体技术产业化的过程中，一些国际标准化组织起到了功不可没的 作用，其中最重要的两个组织是运动图像专家组( m p e g ，m o t i o np i c t u r ee x p e r t g r o u p ) 和国际电信联盟电信部( i t u t ，i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n su n i o n t e l e c o m m u n i c a t i o ns e c t o r ) ，相继提出了h 2 6 1 、m e p g 1 、m p e g 一2 、h 2 6 3 、m p e g - 4 和h 2 6 4 等视频编解码标准，每个标准都有着各自的特点和应用领域，使人们对 多媒体技术即将带来的新生活方式寄予了美好愿望，因此2 l 世纪也被喻为多媒体 的世纪。图1 1 说明了这些主要视频编码标准的发展历程。 视频编码标准可以划分为不同的种类。按图像运动特性可以分为动态压缩和 静态图像压缩两大类：按照数据信息量是否有丢失可以分为有损压缩和无损压缩 2 h 2 6 4 去方块效应滤波器的f p g a 设计与优化 两大类。图1 2 展示了视频压缩的分类： 图1 2 视频压缩的分类 下面对一些主要的视频编码标准的特点进行简单的介绍，并对其技术特点进 行了比较。 m p e g 1 标准由i s o 于1 9 9 3 年8 月公布，是标准i s o 的第一个视频压缩标准， m p e g 1 是v c d 工业标准的核心，其码率在1 2 m b i t s 左右，可提供3 0 帧c i f ( 3 5 2 x 2 8 8 ) 质量的图像，适用于画面速率大约在2 4 h z 到3 0 h z 的非隔行的视频 信号【1 1 。其在2 0 世纪9 0 年代得到了广泛的应用，主要针对数字存储媒体，但它 也被应用于数字电话网络上的视频传输，如非对称用户线路( a d s l ) ，视频点播 和教育网络等。但不难发现，它所适用的视频信号的分辨率比较低，很难满足人 们的需求，尽管采用相应的技术( 例如内插法) 能提高它的分辨率，但效果差强 人意。 m p e g 2 制定于1 9 9 4 年，设计目标是高级工业标准的图像质量以及更高的传 输率【2 】。在m p e g 1 的基础上，m p e g 2 标准在提高图像分辨率、兼容数字电视 等方面做了一些改进，但它并不是m p e g 1 的简单升级，它在系统层和传送层方 面做了更加详细的规定和进一步完善。m p e g 2 的图像能够达到d v d 的标准， 画幅在n t s c 制式下可以达到7 2 0 x 4 8 6 ，传输速率在3 1 0 m b i t s 之间，使其应用 非常的广泛，是技术最成熟的视频压缩标准之一，广泛应用于数字电视、卫星电 视中，被指定为s d t v 和h d t v 的编码标准。 m p e g 4 标准将众多的多媒体应用集成于一个完成的框架内，旨在为多媒体 通信及应用环境提供标准的算法和工具，从而建立一种能够被多媒体传输、存储、 检索等应用领域普遍采用的统一格式。m p e g - 4 是基于内容的视频对象的视频编 码标准，更加注重于多媒体系统的交互性和灵活性，并扩充了编码数据类型，由 自然数据对象扩展到计算机生成的合成数据对象，采用合成对象自然对象混合编 第一章绪论 3 码的算法【3 】【4 】。m p e g - 4 可以随时加入新的有效算法模块，正是由于m p e g - 4 编 码系统的这种开放性和灵活性，使其对于专用集成电路的解决方案是很不利的。 h 2 6 1 公布于1 9 9 0 年，是最早出现的视频编码建议，目的是规范i s d n 网上 的会议电视和可视电话中的视频编码技术，编码码率较低，输出码率为p x 6 4 k b i t s ， 主要应用于双工视频会议，分辨率为c i f ( 3 5 2 x 2 8 8 ) 和q c i f ( 1 7 6 x 1 4 4 ) 1 5 j 。其 标准的提出被称为压缩编码的一个里程碑，其采用的编码算法成为以后各种视频 压缩编码的基础和核心。 h 2 6 3 主要是为了满足低码率视频通信系统对视频编码的要求而提出的1 6 j 。在 技术上是对h 2 6 1 的改进和扩充，综合使用帧内、帧间和变换编码，采用重叠的 方块运动补偿，支持码率小于6 4 k b i t s 的应用，但实质上h 2 6 3 和以后的h 2 6 3 + 、 h 2 6 3 + + 已经扩展为支持全码率。h 2 6 3 标准在视频会议的发展发面发挥了重要的 作用，逐渐取代了h 2 6 1 ，但其众多的选项往往令使用者无所适从。 a v s ( 先进音视频编码标准) 是基于我国自主创新技术和国际公开技术所构 建的标准，广泛应用于高清晰度电视和数字广播电视【7 】。其性能高，复杂度低， 专利授权模式简单，费用低，为我国数字音视频产业的跨越发展提供了契机，有 利于推动我国信息产业的发展，提高国际竞争力。a v s 编码效率与h 2 6 4 处于同 等水平，压缩性能也基本一致，复杂度低于h 2 6 4 ，具有一定的市场竞争力，主 要应用于高密度存储媒体，高清晰数字广播和移动媒体等。 h 2 6 4 ( m p e g 4 的p a r t l 0 ) 发布于2 0 0 3 年，是由i t u t 和i s o 共同制定的新 一代图像压缩标准，它既是i t u t 的h 2 6 4 ，也是i s o i e cm p e g - 4 的第1 0 部 分嘲【9 1 。作为面向电视电话、视频会议的新一代编码方式，吸收了以往各个标准 的优点，在数字视频的实现方面提出了诸多改进的方法，采用了很多的新技术。 h 2 6 4 也是混合编码模式，但去掉众多选项“回归基本 的简洁设计，比h 2 6 3 的压缩性能更好；“网络友好 的结构和语法，能够在适应各种信道的同时，提高 了对误码和丢包的处理能力；能够满足不同速率、不同解析度以及不同传输( 存储) 场合的需求，而且使用无需版权。这些优点使的h 2 6 4 的应用非常广泛，包括： d v d 视频，数码产品的视频应用，i n t e m e t 的视频应用，高清电视，低码率无线 应用等等。 其先进的技术特点主要体现在以下几个方面： 1 帧内预测：支持4 种1 6 x 1 6 ，9 种4 x 4 和9 种8 x 8 的帧内预测模式； 2 帧间预测：支持多种形状和大小的宏块、亚宏块分割，支持多帧参考和b 帧 权重参考，支持1 4 像素精度运动估计； 3 整数d c t 变换：4 x 4 和8 x 8 两种： 4 环路去方块滤波：采用基于图像内容的自适应环路去块效应滤波，位于编码 和解码环路内。 4 h 2 6 4 去方块效应滤波器的f p g a 设计与优化 5 熵编码：采用基于上下文的自适应编码c a v l c 和基于上下文的自适应二进 制算术编码c a b a c 。 除了以上技术改进，在码率和网络亲和性方面也有很多的改进，本文的研究 背景也正式基于h 2 6 4 标准的技术优势和广泛应用。表1 1 给出了以上这些主要 视频编码标准的特点比较【l o 】【l l 】： 表1 1 主要视频编码标准比较 编码标准 肝b g _ l肝b g _ 2l 母e g l 4h 2 6 11 t 2 6 3e2 6 4 宏块大小 1 6x1 61 6x1 61 6x1 61 6x1 61 6x1 61 6x1 6 块大小 1 6x1 61 6x1 6 1 6x1 61 6x1 61 6x1 61 6x1 6 8x88x88x1 6 1 6x8 8x8 8x 4 4x8 4x 4 d c t 变换 8x88x88x88x88x88x8 4x4 运动补偿 l 2ll 21l 2 1 ，4lll 21l 2l 4 精度 预测模式双向双向双向单向双向双向 环路滤波无无无无无有 熵编码 v l cv l cv l cv l cv l cc a v l c c a b a c 以上视频编码标准的发展，代表了视频压缩发展的历史，也反映出视频压缩 编码标准的发展方向。h 2 6 1 建议是视频编码的经典之作；h 2 6 3 是h 2 6 1 的发展， 在视频会议的发展中发挥了重要的作用；m p e g 系列标准从针对存储媒体的应用 发展到适应传输媒体的应用，其核心视频编码的基本框架是和h 2 6 1 一致的， m p e g 1 标准直接促成了v c d 的发展；m p e g 2 标准是d v d 和数字电视、h d t v 发展的前提，当然其中引人注目的m p e g - 4 标准已发了大量的i n e t e m e t 的应用， 但“基于对象的编码”部分由于尚有技术障碍，目前还难以得到普及应用。因此， 在此基础上发展起来的新的视频编码建议h 2 6 4 ，以其优越的性能得到了迅猛的 第一章绪论 发展，其应用前景是不言而喻的。 1 2f p g a 技术的发展 1 9 8 5 年，x i l i n x 公司推出了第一片现场可编程逻辑器件( f p g a ) ，随后便开 始了以f p g a 为代表的数字现场集成技术二十几年的飞速发展：从最初的1 2 0 0 个可利用门，发展到数百万门的单片f p g a 芯片，在功耗和成本降低的同时，容 量不断提升，不断朝着高密度、低压、低功耗方向发展，促使系统设计进入了“片 上可编程系统( s o p c ) 的新纪元。 图1 3f p g a 开发流程 f p g a 是特殊的a s i c 芯片，除了具有a s i c 的特点外，还具有开发周期短， 开发软件投入少，芯片价格不断降低，更高的集成度和更强大的逻辑实现功能， 用户可以反复编程、擦除、使用等优点【1 2 1 ，这些优点以及e d a 技术的飞速发展， 使得f p g a 的开发容易了很多。f p g a 的开发流程一般分为：设计输入，设计实 现，设计验证等几个步骤。先在操作平台上进行仿真模拟，进行功能和时序仿真， 设计完成后再写入芯片，进行实际的连接和调试。图1 3 是f p g a 的一般开发流 程。 作为世界上应用最普及的硬件描述语言，v e r i l o g 在数字系统的开发中表现出 强大的生命力。v e r i l o gh d l 创建于1 9 8 3 年【1 3 1 ，是在应用最为广泛的c 语言基础 上发展起来的。其几乎涵盖了各种硬件描述语言的功能，是一种全方位的硬件描 述语言，设计者既能够用结构描述也能够用高级行为描述创建和使用模块，本文 正是采用的v e r i l o gh d l 硬件描述语言。 1 3 研究动态与意义 视频压缩技术的发展主要表现在压缩算法的研究改进以及其编解码芯片的实 现上。f p g a 以其可重复使用、片内资源丰富、设计修改灵活、具有d s p 模块等 优势对视频压缩标准芯片的实现具有很大的推动作用。 6 h 2 6 4 去方块效应滤波器的f p g a 设计与优化 国内外对h 2 6 4 研究主要在两方面：算法研究和硬件实现【1 4 】。算法研究主要 包括各个模块快速算法的实现以及视频内容加密等方面。h 2 6 4 还没有完全替代 以前的编码标准尤其是应用广泛的m p e g - 2 ，所以转码的研究也比较多【l5 。硬件 实现方面，主要是在各种硬件架构上高速的实现视频的编解码，硬件平台包括 f p g a ，d s p ，a r m 等。 一 由1 1 和1 2 章节可以发现近些年来，视频编码标准和f p g a 等技术都有了很 大的发展，f p g a 库中的d s p 核不断增加，由于f p g a 的性能和灵活性，其已成 为数字通信和视频处理的优选解决方案。h 2 6 4 视频编码过程中不涉及到任何浮 点运算，特别适合硬件电路的实现。视频编码技术和f p g a 技术两者的结合具有 深远的意义和应用价值。 1 4 论文主要内容及章节安排 本文的目标是实现h 2 6 4 视频压缩标准中去方块效应滤波模块的算法设计和 f p g a 实现与优化，采用v e r i l o g 硬件描述语言完成其实现，并利用m o d e l s i m 、i s e 的x s t 等工具对系统进行综合分析与仿真验证。 论文的章节安排如下： 第一章绪论，介绍视频压缩编解码技术和f p g a 技术的发展概况，通过对两 大领域的研究动态的介绍，阐述了本课题的背景和研究意义，最后给出了论文的 研究内容和章节安排。 第二章对方块效应的产生原因、消除方法以及滤波器的种类进行了介绍，并 对h 2 6 4 的滤波原理进行详细的介绍，这是对h 2 6 4 去方块效应滤波器模块进行 f p g a 实现的理论基础。 第三章详细阐述h 2 6 4 去方块效应滤波算法的改进和优化思路，对多种改进 的滤波顺序进行分析；设计改进的符合滤波顺序的输入输出结构；结合滤波顺序 和输入输出方式设计了一种并行计算的滤波结构，为第四章硬件实现提供了设计 思路。 第四章给出h 2 6 4 去方块效应滤波系统的硬件设计，对整体模块以及各个模 块进行硬件实现。详述整体模块和各个模块的实现方法和使用说明，对硬件的内 部结构进行一定的优化，在提高滤波效率的同时尽可能的减少资源消耗。 第五章采用m o d e l s i m 对本文设计的去方块效应模块的v e r i l o g 代码进行仿真 和验证，利用x i l i n xi s e 的x s t 工具对代码进行综合，并对仿真和综合结果进行 分析，并对软件验证参考模型与硬件实现的结果进行比较。 第六章总结与展望，对全文进行总结，并提出本设计的不足之处和需要改进 的地方，对下一步即将研究的重点进行介绍。 第二章h 2 6 4 去方块效应滤波器的原理与算法概述 7 第二章h 2 6 4 去方块效应滤波器的原理与算法概述 2 1 块效应的产生、度量和消除 2 1 1 块效应产生的原因 视频编码标准在采用基于块的变换、量化以及运动补偿技术后，恢复的图像 在块边缘处会形成“虚假边界”，在主观视觉上产生不连续性，这就是块效应即常 说的马赛克现象，其对视频质量产生了严重的影响。 块效应是所有基于块的视频编码标准都存在的一个共同缺陷，在低码率高压 缩比的时块效应现象更加明显。如果对整幅图像做相应的d c t 变换，则变换后图 像的每个像素都是相关的，这样可以大大减弱块效应，但其运算量相当大，因此= 2 目前主流的视频编码标准都采用基于块的变换编码算法，这就必然导致在块的边 界处产生边界块效应，原因主要来自两方面：离散余弦变换和运动补偿。 基于块的视频编码标准，将图像分割成相互不重叠的图像块，然后对这些图 像块进行独立的d c t 变换、量化、运动补偿和编码。产生块效应主要来自两点： 其一，前文提到的基于块的d c t 变换会削弱图像之间的相关性，量化过程中对直 流分量系数和低频交流分量进行过度量化会损耗高频系数，从而在块之间引不均 ? 衡失真。其二，来自于运动补偿技术，运动补偿块的匹配并不是绝对准确的，在 复制块的边界处可能会产生不连续性。通常情况下帧内预测时产生的块效应更明 显，帧间预测的情况下会弱些，但也不能忽视，尤其是在低码率时。 块效应随着图像内容的不同主要有两种表现形式：( 1 ) 梯形噪声( 2 ) 格形噪 声【l6 】。梯形噪声主要发生在图像的强边缘处，而格形主要发生在图像的平坦区域。 对块效应的度量主要有边缘检测法和块间相邻像素的差值法i l 。 2 1 2 去方块效应滤波器的种类 块效应对视频质量的影响非常大，即使很轻微的块效应对人们主观视觉质量 的影响也非常大，特别是图像的平坦区域，往往消除或减弱块效应相对单单的提 高图像客观质量来说能够达到更好的效果。为了获得更好的视频质量就要采取办 法来消除块效应。消除块效应通常采用滤波的方法，根据滤波器在编解码器中位 置的不同，通常分为前置滤波器，后置滤波器和环路滤波器。前置滤波器是在图 像编码之前对图像进行处理，对子块之间重叠区域进行加权平均，这样过渡平滑 8h 2 6 4 去方块效应滤波器的f p g a 设计与优化 来减少方块效应，但是前置滤波的最大缺点是增加图像传输比特率，增大了编码 的负担。所以现在对块效应的消除大多采用图像后处理技术，因为此种方法可以 不改变编码过程，并保持压缩码率，后置和环路滤波器就属于此种方法。图2 1 和图2 2 分别表明了后置滤波器和环路滤波器在编解码器中的位置【1 8 】。 图2 1 后置滤波器的位置 图2 2 环路滤波器的位置 后置滤波器是在图像恢复后再对图像进行处理，滤掉块效应进行显示。优点 是不对编码过程进行改变，具有很大的灵活性，计算简单，不增加编码传输比特 和传输码流等，缺点是不能提高编码效率。 由图2 2 可知，环路滤波后的图像作为下一帧的参考，这样不但提高了编码效 率，而且还避免了误差积累，环路滤波主要在编解码环路中发挥作用，所以为了 编解码器同步，编解码器中必须包含统一的滤波器，才能保证解码器中正确解码。 编解码器中采用统一的环路滤波使得解码器中不需要增加额外的图像缓存来存整 副图像。图像滤波后再作为运动补偿和预测的参考帧，能够提高图像质量【1 9 1 。 实验表明：在三种滤波器中，采用环路滤波在一定程度上能够提高图像的主 观和客观质量，其优势明显。当然在要求较高的场合，为了得到更高的图像质量 可以在解码器中采用环路滤波的基础上，再在显示图像前加入一个后置滤波器来 进一步提高图像质量。 第二章h 2 6 4 去方块效应滤波器的原理与算法概述 9 2 2h 2 6 4 去方块滤波的原理 2 2 1h 2 6 4 编解码器中的环路滤波器 h 2 6 4 是第一个采用环路滤波器的视频编解码标准，其所处的位置在反d c t 变换之后。后文中提到所有滤波都是指h 2 6 4 中的去方块效应环路滤波。图2 3 和图2 4 说明了环路滤波在h 2 6 4 编解码器中的位置。 图2 3h 2 6 4 编码器 n a i 码流一 图2 4 h 2 6 4 解码器 h 2 6 4 编码器中引入了重构分支，其目的是确保编码器和解码器采用一直的参 考帧，以保证编解码器的同步，如果没有此分支的引入，编码器和解码器使用的 参考帧不同的会导致编解码器之间产生累计误差或“漂移”。 具体的滤波过程如下： 首先，根据边界两边的像素和参数，确定出边界滤波强度b s 值； l o h 2 6 4 去方块效应滤波器的f p g a 设计与优化 其次，根据b s 值和像素点值查表得到阈值； 最后，按照不同的滤波强度和阈值进行滤波。 2 2 2 滤波顺序 亮度宏块色度宏块 图2 5h 2 6 4 标准中的滤波顺序 h 2 6 4 中d c t 变换和运动估计与补偿所采用的最小块的大小为4 x 4 。所以去 方块效应滤波器的块大小同样采用4 x 4 。即每一个4 x 4 像素块的边界都要根据判 断结果自适应的进行相应的滤波处理( 包含不滤波情况) 。根据h 2 6 4 标准中的描 述，滤波顺序是按宏块顺序进行的。在一帧中参与滤波的宏块顺序为从左到右， 从上到下。每个宏块又分为亮度和色度j 在宏块之间和宏块内部的滤波顺序为先 亮度后色度，先垂直后水平，如图2 5 所示。 滤波过程中，宏块与宏块之间具有一定的相关性，例如图2 5 中的边界1 、2 、 3 、4 在进行滤波时，同时需要当前宏块和左侧相邻宏块的像素值，同理上边界1 7 、 1 8 、1 9 、2 0 滤波时，需要上侧相邻宏块的像素值。宏块内部的子块之间也具有很 强的相关性，例如对图2 5 中子块5 的左边界6 和上边界2 2 进行滤波时，同时需 要子块4 和子块1 的像素值。图2 6 分别表示垂直边界两侧的一行数据和水平边 界两侧的- - n 数据，p 3 - p 0 ，q 0 q 3 代表像素值。 一，一m一，一勰一n一驼一 蛤世，巨，雨世n雨世蛤 卜，太岁。广9一冬乡卜禽 墙一 。一殷一，一拍一9一一 b世。厘，还9匝b 卜ll一，9_礼-i|虱 第二章h 2 6 4 去方块效应滤波器的原理与算法概述 l i 垂直边界 p 3p 2p 1p 0q 0q lq 2q 3 p 3 p 2 p l p 0 q o q l q 2 q 3 图2 6 垂直边界和水平边界待滤波数据 2 2 3 边界强度和阈值 水平边界 2 2 3 1 边界强度b s 的判断 h 2 6 4 的去方块效应滤波器具有自适应性，主要体现在滤波器可以根据当前宏 块的参数和像素点值来判断是否进行滤波，若滤波采用何种边界强度和方式进行 滤波。边界强度( b s ) 有五个不同的等级，其值从0 到4 ，其判断依据如表2 2 。 表2 2 边界强度b s 值的判断 b s 值边缘强度判断条件 4 边界两边一个图像块为帧内预测并且边界为宏块边界 3 边界两边一个图像块为帧内预测 2 边界两边一个图像块对残差编码 l 边界两边图像块运动矢量差不小于1 个亮度图像点距离 l 边界两边图像块运动补偿的参考帧不同 o其它 当b s = 0 时，不进行滤波；当b s = 1 3 时，采用标准滤波模式；当b s = 4 时， 采用最强的滤波模式。由表2 2 可以看出编码中产生的残差的大小决定了边界强 度的值，由于帧内所能参考的像素少，通常情况下，帧内预测所产生的残差值比 帧间预测所产生的大，可能存在较强的虚假边界，因此b s 值较大。帧间编码相 对来说比较准确，所以残差较小，边界强度也较小。色度块的b s 值不需要进行 单独的计算，可以直接取自亮度块对应的边界b s 值。 2 2 3 2 虚假边界的界定 h 2 6 4 标准中引入去方块效应滤波器来去除块效应，但并不是所有的边界都要 进行滤波，有些边界本身正好是图像的边界，如物体的边界等，若对此边界也进 1 2 h 2 6 4 去方块效应滤波器的f p g a 设计与优化 行滤波的话就会造成新的误差，所以在滤波前要对边界是否为真实边界进行判断， 对于真实边界不进行滤波处理。假设边界两边的像素值分别为p 3 、p 2 、p l 、p 0 和q o 、q l 、q 2 、q 3 ，则如图2 7 所示的边界为典型的虚假边界 p 3 i p 2 ： q o 图2 7 典型的虚假边界 q 2 ：q 3 对于b s 0 的边界，标准中根据真实边界两边像素梯度值较大的特点引入 了两个门限值仅和卢来判断虚假边界，只有同时满足式2 - 1 的3 个条件时，此直 线上的滤波点才会进行滤波。 i p o - q oi a ( i n d e x 彳) l p l - p o l 邓( i n d e x b ) q l - q o f l ( i n d e x 县) ( 2 1 ) 其中a 为块间的门限值，卢为块内的门限值。标准中规定a 、卢的值通过量 化参数i n d e x 和i n d e x b 查表2 3 来获得，其中i n d e x 和i n d e x b 由式2 - 2 和式2 - 3 计算得到。由表2 3 可知位、卢的值随着q p 的增大而增大。 i n d e x 彳= m i n ( m a x ( o ，q p + o f f s e t a ) ，51 ) i n d e x b = m i n ( m a x ( o ，q p + o f f s e t s ) ，51 ) 表2 3 门限值的计算 ( 2 2 ) ( 2 - 3 ) i n d e x ( a ) o ri n d e x b ( 卢) 1 61 6 1 71 81 9 2 02 12 22 32 4 2 52 6 2 72 82 9 口 o 44567 891 01 21 3 1 51 7 2 0 2 2 第二章h 2 6 4 去方块效应滤波器的原理与算法概述 1 3 0222333344466 7 7 i n d e x 一( 口) o i i n d e x 占( 卢) 3 03 13 23 33 43 53 63 73 83 94 04 14 24 34 4 口 2 52 83 23 64 04 55 05 66 37 18 09 01 0 l1 1 31 2 7 9 88991 01 0l ll l1 21 21 31 31 41 41 5 i n d e x ( a ) 0 1 i n d e x b ( 卢) 4 54 64 7 4 8 4 95 05 1 口 1 4 41 6 21 8 22 0 32 2 62 5 52 5 5 卢 1 51 61 61 71 71 81 8 2 2 4 滤波过程 根据b s 值计算结果，滤波过程主要有3 种方式，其中土要用到判决条件有式 2 4 、式2 5 、式2 - 6 ，假定滤波前的数据和滤波后的数据分别为：b ，毋和鼽， g f ( ，= 0 3 ) 。滤波过程主要有以下3 种： l 见一p oi卢(2-4) 仍一g oi 2 ) + 2 ( 2 - 6 ) 1 b s = 0 时不需要滤波； 2 b s = 1 - 3 时进行标准滤波； 滤波运算可分为计算和限幅2 个阶段。滤波后的数据 p o = p o + o q o 。q o - a o( 2 7 ) p z2a + ，l 吼= g l + g i 式2 4 满足时才会对马进行滤波，同理式2 - 5 满足时才会计算g ，a 。由a 。，限幅 得到，j d l 、叮l 由a 加、a 和限幅得到。a o ，、加、和分别由下式计算得到： 1 4 h 2 6 4 去方块效应滤波器的f p g a 设计与优化 a 耐= ( 4 ( q o p o ) + ( p l - q 1 ) + 4 ) 3 a 加= ( 仍+ ( ( p o + q o + 1 ) 1 ) 一2 a ) 1 ( 2 8 ) a 础= ( q 2 + ( ( 吼+ 风+ 1 ) 1 ) 一2 q 1 ) 1 因为上述值直接应用于滤波计算，可能会使得滤波频率过低，出现图像不清 晰，因此需要对这些值进行限幅，将其限制在c 和c 之间，幅值c 的计算如表 2 4 所示，可以通过i n d e x 。和b s 值查表得到幅值c 。当对色度进行滤波时，幅值 为c 加1 。 表2 4 幅值的计算 l n d e x a 3 a = ( 见+ 乃+ 风+ 吼+ 2 ) 2 ( 2 - 9 ) 五= ( 2 p 3 + 3 见+ a + 风+ g o + 4 ) 3 =(2a+岛+ql+2)2po 2 2 【z a + 岛+ z j 2 3 国内外研究进展 ( 2 1 0 ) h 2 6 4 视频编解码标准的硬件实现，一直是国内外研究的热点。随着算法改进 和芯片工艺的发展，其取得了很大的进步，很多国内外公司尤其是i c 厂商，都积 极投入到此领域的研发中，相继推出了支持h 2 6 4 视频标准的编解码芯片，能对 视频影像甚至h d t v 标准的影像进行实时编解码。很多f p g a 公司也对标准内部 分模块进行实现，并以核的方式提供给用户。国内外的学者不断在此领域提出新 的算法，在计算速度不断提升的同时，尽量减少硬件资源的消耗，都取得了一定 的进展。例如针对h 2 6 4 中的去方块效应滤波模块，y u w e nh u a n g ，t o w e ic h e n 等提出了利用8 b i t 寄存器实现的高效v l s i 结构，能利用同一电路同时实现两个 方向上的滤波1 2 。 2 4 小结 本章首先介绍了块效应的产生原因，以及消除块效应所采用的不同种类的滤 波器。然后详细介绍h 2 6 4 标准中的滤波原理，包括滤波顺序，边界强度，虚假 边界的判断以及滤波算法。最后分析了当前国内外此领域的研究现状。h 2 6 4 去 方块效应滤波器的具体设计思路，算法改进以及硬件实现等，将在后续章节中进 行详细阐述。 第三章h 2 6 4 去方块效应滤波器的优化设计思路 1 7 第三章h 2 6 4 去方块效应滤波器的优化设计思路 尽管在编解码环路中加入去方块效应滤波器具有很多优点1 2 2 。，但是环路滤波 器存在的缺陷也是很明显的：首先，环路滤波算法比较复杂，即使在进行优化和 去掉乘除法处理后，其计算量仍是解码过程计算量的三分之一左右；其次，由于 块大小划分很小且每个边界两侧最多要8 个像素点参与滤波计算，几乎所有像素 点到要被输入滤波器一到两次，参与滤波的数据量很大；另外，计算过程中的分 支判断对硬件实现是一个很大的挑战。基于此模块对处理速度和数据吞吐量的高 要求【2 3 1 ，如果按照标准算法进行实现，即使硬件开销很大的情况下也很难达到实 时编解码要求，所以在原有算法基础上进行一定的优化和改进是非常必要的。本 章给出去方块效应滤波器的设计思路和优化的原则，对部分过程算法进行了详细 的分析与研究，并根据该模块的特点提出一些改进的算法，对第四章中各个模块 的具体硬件实现具有一定的指导作用。 3 1 设计改进的原则 综合对外部存储器读取次数、片内缓存占用大小、滤波速度、并行计算等几 方面的考虑，本文对滤波算法的改进和优化基于以下3 点设计原则： ( 1 ) 由滤波原理可知，每个4 x 4 块要完成4 个边界的滤波才得到最终的滤波结 果，为了尽量降低对外部存储器的读写次数，在滤波过程中，将未完全完成滤波 的中间数据即半滤波数据进行缓存，存储到片内存储器或寄存器中。只将最终滤 波结果进行输出，以减少对外部存储器的读取次数，提高滤波速度，从而减小外 部存储器总线宽度对处理能力的限制。 ( 2 ) 提出并研究多种改进的滤波顺序，详细分析其优缺点，相对于标准中的滤 波顺序，可以减少中间数据的存储量以及存储时间，从而充分利用存储资源，减 小电路规模。 ( 3 ) 在系统整体结构的设计过程中，尽量将对数据的输入输出与滤波计算、寄 存器更新等操作并行执行，从而来减少滤波过程中所需要的时钟周期数，提高滤 波速度，提升处理能力。 3 2 滤波顺序的改进 前文h 2 6 4 去方块效应滤波原理中已经介绍了标准的滤波顺序，即图2 5 “先 垂直后水平 的滤波顺序。为了在满足滤波速度的前提下，尽量减少对存储单元 的占用，滤波次序的研究非常关键，通过对滤波原理和块间相关性的研究可以发 现，某一个边界的滤波，既需要当前块的数据也需要邻块的数据，但只要保证每 个4 x 4 子块的边界滤波顺序为左垂直边界- 右垂直边界上水平边界的顺序，就 能保证滤波结果与采用标准中的顺序进行滤波的结果保持一致。基于此原则给出 图3 1 至图3 9 几种改进的滤波顺序。 亮度子宏块 色度子宏块 图3 1 改进滤波顺序l 亮度子宏块 色度子宏块 图3 2 改进滤波顺序2 母 母 一母，母，一 廿齄韭笋 母 母 一母 母 一 厂l卜l r掣_i l 第三章h 2 6 4 去方块效应滤波器的优化设计思路 1 9 亮度子宏块 图3 3 改进滤波顺 亮度子宏块 图3 4 改进滤波顺 亮度子宏块 色度子宏块 图3 5 改进滤波顺序5 2 0h 2 6 4 去方块效应滤波器的f p g a 设计与优化 亮度子宏块 图3 6 改进滤波顺