（通信与信息系统专业论文）h264中去块效应滤波器的研究及硬件设计.pdf

摘要 随着通信技术和计算机技术的迅速发展，数字视频在信息社会中发挥着越来越重要的作 用。图像和视频的传输与处理成为学术界和工业界研究的热点，u _ t 和i s o 先后提山了些 先进的国际标准，这些标准的推广使人们享受到了科技带来的便利。同时，超犬规模集成电 路技术( v l s l ) 、可编程逻辑器件( f p g a 等) 和嵌入式开发平台的发展使实时的视频压缩、传 输和操控成为可能。h 2 6 4 作为最新视频编码国际标准，代表了目前视频编码领域昂高的成就， 提供了比以往更高的压缩率。但与此相对应，在低码率条件下这类基于图像分块变换编码原 理的算法解码恢复出的图像会产生块效应，严重影响实际中的广泛应用。 首先，本文介绍了图像压缩技术的发展历史、现状及其应用，并简要介绍了现行的主要 视频编码标准，如h 2 6 1 、h 2 6 3 、m p e g l 、m p e g 2 、m p e g _ 4 、h 2 6 4 等。然后深入研究了 h r 2 6 4 建议的视频编码标准，并结合h 2 6 4 标准，分析了其中导致块效应产生及其消除处理等 环节，最i 彳在分析h 2 6 4 中环内滤波器的理论基础上，提出了一种基于f p g a 的h 2 6 4 环内 去块效应滤波器的硬件实现方法。实验表明本文提出的设计方法起到了很好的对图像块效应 的消除作用，效果明显。 关键词：视频编码h 2 舛去块效应滤波f p g a a b s t r a c t w i t h l er a p i dd e v e l o p m e n ti nt l l ea r e ao fc o m m u i c a i i o nt e c h n o l o g ya n dc o m p u t e r t e c h n o l o g y ， d i g i t a lv i d e op l a y sam o r ea n dt n o i ei m p o r t a n tr o l ei ni n f o m l a t i o ns o c i e t y 1 m a g e v i d e ot r a n s m i s s i o n a n dp r o c e s s 血gh a v eb e c o m eh o l u so fs t u d yi 1 1l h ef i d do fi n d u s t r ya n da c a d e m e 1 s oa n dl t u - t h a v ep u if o r w a r ds o 腓a d v a n c e ds t a n d a r d s c o m m o np e o p 】ee n j o yt h ec o n v e n i e n c em a d eb yt 1 1 e p o p u l a r i z a t i o no ft h e s es t a n d 盯d s ，w h i l ei h ed e v e l o p m e n io fv e i yh r g es c a l el n l e 掣a i ec i r c u i l ( v l s i ) a i l dp r o g r 啪m a b l el d 画cd e v i c e ( s u c ha sf p g ae t c ) m a k e sr e a l - i i m ev i d e oc o m p r e s s i o na n d t r a n s p o n a o p o s s i b l e h 2 6 4 ，t l l e w l yi i l l e m a t i o n a ln o 咖o nv i d e oc o d i n g ，s i a n d sf o r t h ch i g h e s t a c h i e v e m e n ti nt h ei m a g ec o m p r c s s i o nf k l d ，a n dp r o v i d e sm o r ee f f e c t i v ec o m p r e s s i o n b u tt h e m e t h o dh 2 6 4a d o p t e di sb a s e do b l o c kp a r t i t i o n 柚di tw mb r i n ga b o u t b l o c ka r t 赶h c t s i n r e c o n s t r u c l e dp i c t u r ew h e na p 蛐e di nl o wb i t 秘i ee n v 确e n t 1 强ea n i f a c t sm a y1 e a dt on l ed e d i n e o fi m a g eq u a l i t ya n di n n u e n t h ca c c 印i a d o fe ”sn o 咖a l l y w h i c hr e s 仃i c t si t sa p p l i c a t i o n e x t e n s i v d h f i r s t0 fa l i ，t h eh i s l o r ya n da c t u a l i t yo fi m a g ec o m p r e s s i o nt e c h n o l o g y 柚di t sa p p l i c a t i o na r e i n 仃o d u c e dj dt h i sp a p e ls o m ep o p u l a rv i d e oc o d i n gs l 柚d 盯d si n c l u d i n gh ，2 6 1 ，h 2 6 3 ，m p e g - 1 ， m p e g 2 ，m p e g 4a n dh 2 6 4a r ed i s c u s s e db r i e n y 1 1 l e ns o m ek e yt e c h n i q u e si nh 2 6 4 r e c o m m e n d a t i o n sa r es t l i d i e di d e t a i l m o r e o v e la c c o r d i l i gt ot h ep r o c e s s0 fv i d e oc o m p r e s s i o n u t i l i z e di nh 2 6 4 ，柚由s e st h et e c h n 0 1 0 9 y a t e dt 0a p p e a r a n c ea n de j i i i i i n a t i o fb l o c ka n i f a c li n d e t a i l a tl a s t ，w es t u d yi h el o 叩- f i l t e ri nh 2 6 4 n eh a r d w a mi m p l c m e n t a t i o o fi - 1 0 0 pd e b l o c k i n g f i l t e r b a s e do n 即g ai sp r o p o s e d s o m ei n c e n t i v ee x p e r i m e n t sd e m 伽s 仃a t ei h es y s t e mw i i hs t a b l e a n dg o o dp e r f o m l a n c e s k e y w o r d ：v i d e 0c o d i n g h 2 6 4 d e b l o c k i n gf i l t 盯 f p ( a y8 5 8 9 l ； 创新性声明 本人声明所呈交的论文是我个人在导师的指导下进行的研究：【作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中 不包含其它人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学 或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志所做的任何 贡献均已在论文中做了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名； 吼型：兰! ：仨 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印、或其它复制手段保存论文。( 保密的 论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名 导师签名 日期：上丛】止 日期：2 型： ! 世 第一章绪论 第一章绪论 1 1 图像压缩编码技术的发展历史与现状 未来的人类社会将是信息化社会，图像是多媒体中携带信息极其重要的媒体， 统计资料表明，人们获取信息的7 0 来自图像。数字化后的信息，尤其是数字化 后的视频和音频信息，具有数据海量性的特点，它给信息的存储和传输造成很大 的困难，成为阻碍人类有效获取和使用信息的瓶颈问题之一。因此，研究和开发 新型有效的多媒体数据压缩编码方法，以压缩的形式存储和传输这些数据将是最 好的选择。 在许多应用领域，都会遇到需要对大量图像数据进行传输与存储的问题。例 如，在传输方面：数字电视、遥感照片、军事侦察图像、可视电话、会议电视和 传真照片等；在存储方面：教育、商业、管理等领域的图文资料、医用图像、天 气云图等等，海量图象数据几乎涉及各个行业。为了在最短的时间传递尽可能多 的图片，或者为了利用有限的存储容量存储更多的图象信息，或者为了在有限的 带宽条件下传输尽可能多的活动图像，就要研究怎样才能最大限度的压缩图像数 据，并且保证压缩后的重建图像能够被用户所接受，这就是图像编码所要解决的 问题。 1 9 4 8 年提出电视信号数字化后，就开始了对图像压缩编码技术的研究工作， 至今已有5 0 多年的历史。5 0 和6 0 年代，限于客观条件，仅对帧内预测法和亚取样 内插复原法进行研究。1 9 6 6 年j b o n e a l 对比分析了d p c m 与p c m ，并提出了用于 电视的试验数据。1 9 6 9 年进行了线性预测编码的实际试验。1 9 6 9 年举行首届图像 编码会议( p i c t u r ec o d i n gs m p o s i u m ) 。7 0 年代开始进行帧间预测编码的研究。8 0 年代开始对运动补偿( m c ) 所用的运动估值( m e ) 算法进行研究。变换编码是1 9 6 8 年h c a n d r e w s 等人提出的，采用的是二维离散傅里叶变换。此后相继出现了其他 的变换编码方法，其中包括二维d c t 。对模型编码的研究始于8 0 年代初。进入9 0 年代以后，i t u t 和i s o 制定了一系列图像编码国际标准。如： 1 9 9 0 年为会议电视和可视电话制定的h 2 6 1 标准。 1 9 9 1 年为静止图像编码制定的j p e g 标准。 1 9 9 1 年为电视数字图像存储而制定的m p e g 1 标准。 1 9 9 3 年为活动图像及其伴音压缩而制定的通用编码国际标准m p e g 2 。 1 9 9 4 美国“大联盟”公布数字h d t v 系统的说明书草案。美国“先进电视系统委 员会”拟定噬女字电视标准”。 ! h 2 6 4 中去块效应滤波器的研究及硬件设计 1 9 9 6 年i t u t 为甚低码率视频编码而制定的h 2 6 3 标准。 1 9 9 8 年r r u t 拟定h 2 6 3v e r s i o n 2 草案，即h 2 6 3 + 。 1 9 9 8 年拟定m p e g 4 草案，首次在编码中引入了视频对象( v i s u a l0 b i e c t ) 和基于 内容编码的概念。 2 0 0 3 年5 月，1 t u t 和i s o 联合发布了h 2 6 4 ( m p e g 4 的p a n l 0 ) 。h 2 6 x 和m p e g 两大系列在h 2 6 4 上完成了统一。 这些标准的制定极大地推动了图像编码技术的实用化和产业化。会议电视等 各类使用图像编码技术的产品纷纷推出，数字激光唱盘( v c d 、d v d ) 等产品以百 万台的数量级走向市场，进入家庭，从而迎来了数字图像通信的黄金时代。 另一方面，图像编码技术产业化进程的加快也推动了图像编码技术以更快的 速度发展。目前的研究工作主要分为两个方向： 更好地实现现有的图像编码国际标准，研制出集成度更高、性能更好的图像 编码专用芯片( a s i c ) ，使编码系统成本更低，可靠性更高。几个国际标准的单片 或两片的系统级解码a s i c 均已推出，其中包括对运算速度要求很高的m p e g 2 解码 芯片。不久还将推出要求更高的h d t v 的单片视频解码芯片。符合m p e g 2 标准的 单片或多片视频编码a s i c 也已推出。 解决好现有的图像编码系统开发中的技术问题。例如：提高图像质量，提高 抗误码能力，以及在a t m 网等变速信道上的应用等。如果拿现在生产的的v c d 图 像质量和几年前m p e g - 1 刚制定时的v c d 图像质量相比，就可以看到虽然用的是同 一个国际标准和同样的数码率( 1 5 m b p s ) ，但图像质量大大提高了。这就是近几年 来对m p e g 1 编码器具体实现算法作深入研究的成果。国际标准的开放性结构为这 种深入的改进提供了条件，它允许人们在不影响兼容性的前提下发挥自己的创造 性，对标准中的开放部分进行改进。这些开放性部分包括运动估值和运动补偿方 法，自适应量化系数和缓存器控制策略等。在国际标准规定的约束下，对这部分 算法作更合理的细化有助于提高编解码器的性能。如：复原图像质量，提高抗误 码能力等。 除了上述在图像压缩编码应用和产业化方向的研究外，对图像编码理论和其 他图像编码方法的研究工作也在不断的深入。 传统的压缩编码是建立在香农信息论的基础上，它以经典的集合论为基础， 用统计概率模型来描述信源，但是，它未考虑信息接受者的主观特性及事件本身 的具体含义、重要程度和引起的后果。目前压缩编码的发展历程实际是以香农信 息论为出发点，不断完善的过程。已提出和正在进行研究的图像编码方法有以下 三类： 考虑信源的统计特性：预测编码方法，变换编码方法，向量量化编码方法， 子带一小波编码方法，神经网络编码方法等； 第一章绪论 考虑人眼的视觉特性：基于方向滤波的图像编码方法，基于图像轮廓一纹理 的编码方法； 考虑图像传递的景物特性：分形编码，基于内容的编码方法。 1 2 图像压缩编码技术的应用 图像编码系列国际标准的提出标志着图像编码技术已经成熟，开始由学术研 究转为产业化，前景十分诱人。早在1 9 9 1 年就有人预言，图像编码技术的突破具 有十分巨大的意义。其意义之大已到可以促使现有信息产业的结构发生巨变的程 度，它使通信，广播，计算机产业的界限变得模糊。近几年来的实践也证实了这 个预言。 图像编码技术对数字电视的发展起着至关重要的作用。数字电视具有图像质 量高、频谱利用率高、可以实现多种业务的动态组合和统计复用、易于加密、具 有可扩展性、可分组性和互操作性、可以灵活组成交互式电视系统等优点。这些 优点是模拟电视所无法比拟的。但是数字电视受到数据量庞大的约束，所以近几 年来图像编码研究主要集中在视频压缩上，以改进数字电视的性能，从而促使各 等级数字电视的成功实现，扩大其应用领域。这从今年来制定的图像编码国际标 准中视频压缩编码和静止图像编码国际标准的数量比例中即可窥见一斑。以分辨 率为基础，数字电视可分为四个等级：可视电话、会议电视、数字标准清晰度电 视和高清晰度电视饵d t v ) 。 图像编码技术在其它方面同样有很多应用，如： 电视计算机( t e l e c o m p u t e r ) 。它是介于电视与计算机之间的应用。它将个人计算 机和电视融为一体，构成一个多媒体工作站。 多媒体出版物，包括电子图书，电子报刊等。 各种图像信息系统，如指纹库，遥感图像数据库等。 图像压缩技术已经为开创新的应用领域提供了良好的技术基础。如m p e g - 4 专 家组为m p e g 一4 制定的功能目标指出，m p e g 4 的目标不仅是改进的可视电话，而 且应该满足广播，通信，计算机领域相互渗透的要求，以交互性，高压缩比以及 多种存储与通信信道相连为特色，从而构成现有的国际标准全新的视听应用标准。 总之，图像压缩技术为开拓全新的应用领域打下了坚实的基础。 1 3 现有的视频编码标准及其介绍 自8 0 年代以来，由于数字存储媒体、电视传播及通信等应用中对运动图像编 码方法需求的日益增长，仃u ，i s o 等国际组织都成立了专门的机构，致力于制订 ! h 2 6 4 中去块效应滤波器的研究及硬件设计 运动图像压缩编码的国际标准。到目前为止，已经开发和正在开发的运动图像压 缩标准有：h 2 6 l 、h 2 6 3 、m p e g 1 、m p e g 一2 、m p e g 4 、m p e g 7 、h 2 6 4 、和 m p e g 一2 1 。下面对这些标准分别做一简单介绍。 c c i t t ( 即后来的r r u l 第1 5 研究组于1 9 8 4 年成立了“可视电话专家组”，经过 1 9 8 5 1 9 8 8 三年的研究，提出了视频编解码器的的h 2 6 1 标准草案，以覆盖i s d n 基群信道，满足会议电视和可视电话业务r 益发展的需要。1 9 9 0 年7 月通过了该标 准，定名为“p 6 4 k b p s 视听业务的视频编码器”，其中p = 1 3 0 。为了满足近年来在 普通公用电话网或移动电话网上进行可视电话通信的需要，即视频压缩率低于 6 4 k b p s ，在诸如2 8 8 k b p s 等速率的信道上进行可视电话通信，r r u t 在h 2 6 l 标准基 础上进行了改进，于1 9 9 5 年提出了h 2 6 3 标准“甚低码率通信的视频编码”。 m p e g 1 制定于1 9 9 2 年，可适用于不同带宽的设备，如c d r o m 、v i d e oc d 。 他的目的是把2 2 1 m b p s 的n t s c 图像压缩到1 2 m b p s ，压缩率为2 0 0 ：1 。传输速率为 1 5 m b p s ，编码速率最高可达4 5 m b p s ，但随着速率的提高，其解码后的图象质量 有所降低。m p e g 一1 主要是针对数字存储媒体，但它也被用于数字电话网络上的视 频传输，如非对称数字用户线路( a d s l ) ，视频点播和教育网路等。 m p e g 2 制定于1 9 9 4 年，设计目标是高级工业标准的图象质量以及更高的传输 率。它所提供的传输速率在3 m 1 0 m b p s 。m p e g 2 技术就是实现d v d 的标准技术， 现在d v d 播放器已经在家庭中普及起来了，除了用于d v d 外，还可以为广播、有 线电视网、电缆网络以及卫星直播提供广播级的数字视频。 m p e g 4 旨在将众多的多媒体应用集于一个完整的框架内，为不同性质的视 频、音频数据制定通用的编码方案，提出基于内容( c o m e t b a s e d ) 的视频对象 ( v i d c oo b j e c t ) 的编码标准。它不仅针对一定比特率下( 4 8 0 0 一6 4 0 0 b p s ) 的视频、 音频编码，更加注重于多媒体系统的交互性和灵活性。为了达到这个目标，m p e g 一4 引入了对象基表达( o b j e c t _ b a s e dr e p r e s e n t a t i o n ) 的概念，用来表达视听对象 ( a u d j o v i s u a lo b j e c t s ，a v 0 ) ；m p e g - 4 扩充了编码的数据类型，由自然数据对象扩 展到计算机生成的合成数据对象，采用合成对象自然对象混合编码 ( s y n t h e t i c n a t u r a lh y b r j dc o d i n g ，s n h c ) 算法；基于内容的压缩编码是m p e g 研究 的热点。m p e g 4 的编码系统是开放的，为各种多媒体应用提供一个灵活的框架和 一套开放的编码工具，不同的应用可选取不同的算法。 m p e g 7 的工作于1 9 9 6 年启动，名称叫做多媒体内容描述接口( m u n i m e d i a c o n t e td e s c r i p t i o ni n t e r f a c e ) ，目的是制定一套描述符标准，用来描述各种类型的 多媒体信息及它们之间的关系，以便更快更有效地检索信息。这些媒体材料可包 括静态图像、图形、3 d 模型、声音、话音、电视以及在多媒体演示中它们之问的 组合关系。m p e g 7 的应用领域包括：数字图书馆( d i 酉t a l l i b m r y ) ，例如图像目录、 音乐词典等；广播媒体的选择，例如无线电频道，t v 频道等；多媒体编辑，例如 第一章绪论 个人电子新闻服务，多媒体创作等等。 h 2 6 4 ( m p e g 4 的p a n l 0 ) 发布于2 0 0 3 年，它是由l t u t 和i s o 共同制定的新一 代图像压缩标准，能提供比m p e g 4 和h 2 6 3 更高的压缩性能，使图像的数据量减少 5 0 ，有利于有限的空间存储更多的图像数据；对网络传输具有更好的支持，引入 面向数据包编码，有利于将数据打包在网络中传输，支持流媒体服务应用；具有 较强的抗误码特性，以适应在噪声干扰大、丢包率高的无线信道中传输；对不同 应用的时延要求具有灵活的适应性；编码和解码复杂度具有可扩展性，支持编码 和解码复杂度的不等分配和扩展。h 2 6 4 中引入了一些新的压缩方法，以提高压缩 效率，它具有如下特点：增强的运动补偿性能，采用更小块进行变换编码，采用块 间滤波器提高性能，高性能的熵编码，采用s p 和s i 帧支持视频流间切换等。 部分图像编码国际建议和标准 标准名称( 时间)应用领域特点 c c n t r t 4三类传真机文件压缩采用一维m h 和二维m r 编码 ( 1 9 8 0 ，1 9 8 4 ，1 9 8 8 ) c c rt 6四类传真机文件压缩无噪声编码，采用m m r 编码 ( 1 9 9 2 ) j p e gt 8 l 彩色或灰度静止图像压采用d c r 块变换、自适应量化、游长 i s o1 0 9 1 8缩编码和熵编码；基于d p c m 预测的 ( 1 9 9 1 ) 无失真压缩 j b i gt 8 2 二值和灰度图像( 比特无失真压缩，多分辨率结构和自适应 i s 0 1 1 5 4 4面) 和传真文件压缩预测，压缩比高于t 4 和t 6 ；适应累 ( 1 9 9 2 ) 进压缩 c c th 2 6 1数字基群传输会议电视图像尺寸为四或q c i f ，p 6 4 k b i “s ( 1 9 9 0 ) 和可视电话速率，编码方法为帧间预测运动补偿 + d c t m p e g i视频、数字存贮定义了l 、p 和b 帧进行预测以适应随 ( 1 9 9 1 ) 机存取的要求，速率小于1 5 m b i t ，s m p e g i 瑚2 6 2视频、h d t v 和数字存比特率扩大到6 0 m b i 佻，支持h d t v ( 1 9 9 4 ) 贮 格式，分级编码，分辨率和信噪比可 调 h 2 6 3低比特率视频传输综合使用帧内、帧间和变换编码，采 ( 1 9 9 6 ) 用重叠的方块运动补偿，图像尺寸为 c i f 或o c i f 等，速率= 6 4 l ( b p s ，半像 ! h 2 6 4 中去块效应滤波器的研究及硬件设计 索精度运动补偿 m p e g 一1 v声音一视频通信、多媒体基于内容的交互性，低比特率，高压 ( 1 9 9 8 ) 图像传输缩比，通用的存取，有灵活性和可扩 充性 h 2 6 4实时视频通信、i n t e m e t增强的运动补偿性能，采用更小块 ( 2 0 0 3 ) 视频传输、进行变换编码，采用块间滤波器提 视频流媒体服务高性能，高性能的熵编码，采用s p 和 s i 帧支持视频流间切换等 表1 。4 图像数据压缩的国际标准一览表 1 4 选题的目的和意义及作者所完成的工作 在当前的信息社会中，人们在交换图像、声音等媒体信息方面的需求越来越 大，对信息交换质量的要求也越来越高。信息是现代社会的主要特征，而人们传 递信息的重要媒介是图像，随着微电子、计算机和传感器等技术的高速发展。图 像、声音等媒体信息的记录、存储和传输正在朝着数字化方向前进，许多信息诸 如天气情报、地球资源分布情况、医疗图像都可以转化为数字图像的形式。因特 网作为一种信息交流的方法，在世界范围内日益普及，更是加速了数字化图像处 理的应用范围。在这些进行交流的信息当中，静态的图片和动态的视频作为一种 最基本的信息载体，已经融入了各行各业中的广泛应用中，发挥着越来越重要的 作用。 多媒体是进入九十年代发展起来的全新的计算机最热门的研究领域之一。多 媒体本身是一个先进计算机技术和视频、音频和通信等技术集成的产物。在目前， 多媒体计算机所涉及的数据来源包括文字、语音、音乐、声音、静止图像、电视 图像、电影、动画、图形等。在这些数据中，图像数据量尤其巨大。另一方面， 尽管光纤宽带网发展也很快，但是通信带宽的问题在相当长的时间内仍旧无法彻 底解决，比如，当前的因特网，因为历史和异构等原因，无法提供满意的宽带服 务，无线信道由于设备、技术等方面的原因同样无法提供宽带服务。因此受到通 讯带宽的限制，也必须对图像数据进行压缩以适应信道需求。如何高效的处理、 组织这些数据，提高处理、传输和存储的效率，使之能够适应当前信道需求和实 时处理等技术需求，如何从这些原始数据中去除大量的冗余信息成为多媒体计算 机技术所要解决的关键问题之一。在实际应用中，图像压缩在数字电视、网络多 媒体通信、会议电视、可视电话、遥感图像传送、图像数据库、自动指纹识别系 统的指纹存储等应用中都起着至关重要的作用。 第一章绪论 7 针对图像压缩技术的研究己经取得明显而又长足的进步，图像编码算法也己 经出现了诸多国际标准，图像压缩的效率越来越高。但由于目前国际流行发展的 图像压缩算法仍旧是基于图像分块的变换编码，因此，在低码率情况下，图像压 缩效率提高的同时必然产生另一负面的影响，这就是，分块处理的算法会在恢复 画面出现马赛克图像，也就是块效应，突出表现为，图像整体呈现分块组合，在 分块的边界出现跳跃，从而导致图像质量下降，严重影响最终的主观感觉。如何 有效的解决这一问题也是图像编码研究中很活跃的领域，并已经出现许多不同的 解决方法。由此可见，在实现高效图像压缩数据的同时，还必须合理的消除或者 减弱块效应。有效的解决这一现象，将会大大提高图像的主观评价质量，从而满 足很多领域中多媒体技术应用的需求，更好的推动信息化进程。 本文主要面向分块压缩算法中块效应消除部分的研究。主要内容基本可以分 为四部分。首先以图像压缩的发展和现状为起点，对图像压缩标准的演变进化进 行了较为系统的分析和研究。在此基础上，第二部分介绍了图像压缩的一般性原 理，并着重分析了针对h 2 6 4 最新国际标准中采用的图像压缩的基本原理。第三部 分阐述了h 2 6 4 标准中影响块效应产生、消除的技术。第四部分作为本文的重点， 研究了 l 2 6 4 中去块效应滤波器的硬件实现，对环内滤波处理算法在基于f p g a 上 的硬件实现上进行了详细的阐述。 第二章图像压缩编码基本原理及h 2 6 4 介绍 9 第二章图像压缩编码基本原理及h 2 6 4 介绍 2 1 图像压缩编码基本原理方法 2 1 。l 变换域编码 由于数字图像在空间域的特征有限，所以希望能够通过某种映射变换，从图 像中提取出一些新的特征，并利用这些特征来实现更有效的压缩编码。用于图像 处理的映射变换应满足三方面的要求：( 1 1 变换是可逆的。它必须保证图像经变换 后，还可以反变换回来；( 2 ) 变换必须有好处，也就是变换应有利于图像压缩或改 善图像质量；( 3 ) 变换算法不复杂，因为很多图像处理系统要求实时处理，算法要 保证一定的运算速度。目前，在图像编码中广泛应用的是二维正交变换。 1 、二维正交变换 假设f ( m ，1 1 ) 是一个m n 的矩阵，酞m ，n ；s ，t ) ，h ( s ，t ；m ，n ) 分别表示正反变换核，则 图像从空间域( 即m n 平面) 经某种正交变换转到变换域( 即s t 平面) 的运算可表达为： ，( s ，f ) = z ，n 涫，n ；s ，f ) ( 2 - 1 ) 其中，m 、n 和s 、t 都是整数，他们的取值范围为： 0 m ss m 一1 o s h ts 一1 相反的变换过程则可以表示为： ，( m ，n ) = f o ，f ) o ，f ；埘，n ) ( 2 2 ) 如果g ( m ，n ；s ，t ) 可表示成：甙m ，n ；s ，t ) = u ( m ，咖( n ，t ) 则称g ( m ，n ；s ，t ) 为可分离变换核。 这时式犯3 ) 就可以表示为： f ( 是d 2 磊l 荟，沏川p i x 芦)( 2 _ 3 ) 这样二维正交变换就可以分解为双重一维正交变换，即先以n 为变量，对图像 “m ，n ) 中的每一行逐行进行一维变换得到一个中间结果，( m ，n t ) ；在对中间结果以 m 为变量，逐行进行第二个维变换，得到最终的变换结果f ( s ，t ) 。上述过程也适用 于反变换。 目前，在各种图像编码系统中应用最广泛的二维正交变换就是离散余弦变换。 二维离散余弦( d c t ) 的表达式为： 咐) _ c ( 洲击薹蓦，( m c o s 【紊( 知忡s 【奇( 2 川纠( 2 _ 4 ) 其中，s = 0 ，1 ，m 1 ；t = o ，1 ，2 ，n 1 ；c ( s ) ，c ( t ) 为常系数； 竺 h 2 6 4 中去块效应滤波器的研究及硬件设计 巾如叫享蹦；i o 一， 相应的二维离散余弦反变换( i d c t ) 表达式为： ，( 坍川= 击蓦薯吣) c ( 咿( 蹦) c 。s 【素( 2 n + 卅c o s 【奇( 抽+ 1 ) s 】 ( 2 - 5 ) 另外，由于d ( 、t 的变换核是二维分离的，所以在工程领域中经常采用两个一 维d c t 来实现二维的d c t 的功能。通常的做法是：先对输入矩阵作行的一维d c t 运算，然后在对中间结果矩阵作列的一维d c t 运算并得到最后的结果。一维离散 余弦变换的表达式为； 坶，= 捂灿t 芝笋，嘲名，n - p s ， “0 ) 。者荟“曲 ( 2 7 ) 一维离散余弦反变换的表达式为： 砌) = 等+ j 麓娴酬号产】珈舭 ( 2 - 8 ) 二维离散余弦变换是从傅立时变换推导出的，它不仅具有d f r 的能量集中的特 性，而且所有运算均为实数运算，因此在工程领域中比较实用。 2 、量化 经过二维正交变换处理后的图像，在空间频率域表现出能量集中的特性即大 部分信号能量都集中在靠近低频分量的少数变换系数上，而只有一小部分能量分 散在高频变换系数上。因此，考虑人眼的视觉特性，我们可以采取定的措施去 除高频系数以达到压缩图像数据的目的，常用的措施就是量化。量化过程的一般 表达式为： 陋p 坩f ，_ ) ，) l 一0 r e c ，) ，) l 电“n 眦o ，y ) ( 2 9 ) 其中，r e c 为变换系数；i 刖d 为量化后的系数；q u a i l t 为量化电平；( x ，y ) 为空 间频率域坐标；【】表示截断取整。 可见，满足f r e c lc 跏n 行f 的变换系数都将变为零而被去除。当需要重建图像时， 首先应在反变换前进行逆量化，以恢复变换系数的实际大小。逆量化过程的一般 表达式为： j r e c ，删一陋e y e ? ，y ) i q 妇彻f 0 ，y )( 2 1 0 ) 在量化过程中不可避免地存在着量化误差，而且量化误差就是造成图像质量 下降的最主要的原因。此外，量化电平的大小对量化误差和压缩效率均有影响。 一方面，量化电平越大则量化误差越大；另一方面，量化电平越大则压缩效率越 高。因此造成图像质量与压缩效率之间的矛盾。如何处理这个矛盾也是一个实际 第二章图像压缩编码基本原理及h 2 6 4 介绍塑 问题。 经过量化后的空间域图像，呈现出稀疏矩阵的性质，即：除了少数非零系数 外，大部分系数都为零，这就为实现压缩提供了条件。压缩系数矩阵的方法是采 用游程编码。 3 、游程编码 游程编码的一般思想是：首先对系数矩阵进行扫描，然后用f 游程，系数) 组合 来代替扫描结果中出现的零和紧接着的非零系数，例如：扫描得到( o ，0 ，o ，o ，0 ，2 ) 的 情况，就可以用( 5 ，一2 ) 的组合来代替，它表示在连续的5 个零之后为一2 。显然，采用 游程编码后有效的压缩了数据。与游程编码紧密相关的问题是扫描顺序的问题。 理想的情况是，扫描后的零系数尽可能连续出现。因此，根据变换域编码后的图 像在空间域集中的特点，可以采用z i g z a g 方式进行扫描。z i g z a g 扫描方式如图所示： ， ， ， r ， ， ， ， 叶。 ， ， 05 oo0o 0 o 0 0o do 0o ooo肛o0oo 00o唾oo0 0 00 o 0 0ooo 0 0o o o00 0 0o oo0o0。忽 o6 oo0 1 0l0 图2 2 游程编码举例 图像经d c t 变换后，大部分为零，为了获得较长的连零值，有利于v l c ，对8 8 块中的系数采用z 字行( 见图2 2 ( a ) ) 的扫描顺序处理数据。以图2 2 ( b ) 中的数据为 例，图中显示了三个( 游程，幅值) 对( 1 ，5 ) 、( 3 ，- 1 ) 、( 5 6 ，1 ) ，其中1 、3 、5 6 分别是 游程，即连零的个数，5 ，1 ，1 分别为幅值，然后对这些数据进行v l c 编码，进一步 减少了编码的数据量。 由于经过正交变换后，非零系数大多集中在低频空间内，而在高频空间内多 为零系数，所以采用z i g z a g 扫描方式，就可以使零系数更加连续出现，保证了游程 编码的效率。 2 1 2 预测编码 由于在图像序列的相邻帧之间存在很强的相关性，所以通过简单的帧间预测 就可以去除它们之间的重复信息，面仅仅处理差别部分，最终达到压缩的目的。 预测器的原理框图如下： 兰二一 ! ：! 坚主圭垫塑堕鲨鎏墨塑竺壅墨堡壁堡生 xn + 图2 3 坝删器方框幽 预测编码分为帧内预测和帧问预测两种： 贮卫卜_ ( g 卜 _ _ 沪 吐i l j 一1 | j 一一一： 图2 4 帧f _ l ! | 预测x 0 时所用邻近像素的位置 1 、常用的帧内预测编码方案有： ( 1 ) 、前值预测，即用) ( 0 的同一扫描行中前面最邻近的亮度抽样值x l ( 如图 2 4 所示) 来预测x o ： j 。一x ，( 2 1 1 ) ( 2 ) 、一维预测，即用x 0 的同一扫描行中前面已知的几个抽样值来预测) ( 0 ： x o = 1 2 1 + 5 x 5 + 。( 2 - 1 2 ) ( 3 ) 、二维预测，即不但用) ( 0 的同一扫描行以前的几个抽样值( x 1 ，x 5 ) ， 还要用x o 的以前几行中的抽样值来预测) ( 0 。例如： z o = 1 并1 + 口2 x 2 + 口5 x 5 + 口4 2 4 ( 2 - 1 3 ) 2 、帧问预测方法 帧间预测可以采用过去帧中对应位置像素值来预测当前帧中相应位置的像 素。例如：对于如图2 5 所示的像素排列，为了预测像素z ，可以采用以下几种方法 进行预测： z = m z 一肘+ h 一 图2 5 帧间预测相邻像素位置 ( 2 1 4 ) ( 2 1 5 ) 第二章图像压缩编码基本原理及h 2 6 4 介绍 1 3 z ：日+ 掣一半 ( 2 - 1 6 ) zz 然而，当图像序列中存在运动时，设法对运动部分测定其位移量，以位移量 进行运动部分预测，并将此信息传送出去，这就是运动补偿。 常用的运动补偿方法是把图像划分成矩形子块。其主要过程：首先把图像划 分成m x n 的子块& ，然后从前一帧图像中搜索与其最匹配的子块只并以此检测 出各子块的位移的方向和大小( 即运动矢量) ，最后将误差信号s 。一& + 和运动矢 量作为编码端的数据一起输出。这种运动补偿的方法基于三个假设：( 1 ) 图像中的 物体只做平移运动，不包括旋转和变形：( 2 ) 物体在相邻帧之间的运动范围是有限 的；( 3 ) 匹配误差随物体远离最优匹配点而单调递增。 运动补偿中最重要的问题是：方块的匹配准则和搜索算法。 目前常用的匹配准则是最小绝对误差准则，该准则的表达式为： 肛4 d ( f ，) = z 芝陬o ，y ) 一& o + f ，y + f ) i ( 2 - 1 7 ) 其中，o ，) 表示运动矢量且( f ，) r ，t 表示搜索范围； 此外还有最小均方误差( m s e ) 准则： 1j i f - 1 一1 2 脚( ，护亩荟荟，y ) 一珊“y + ) i ( 2 1 8 ) 在已知匹配的情况下，如何按步骤搜索匹配误差最小的子块就是搜索算法所 要解决的问题。最简单的搜索算法就是全搜索算法。它需要考察落入搜索范围内 所有的方块，因而得到的结果也是理论上最优的。然而，全搜索算法的运算复杂 度太高，必须依赖专用的芯片才能实现。为了摆脱对硬件的依赖，人们提出了各 种快速搜索算法，例如：2 d 对数法、三步法、和四步法等。虽然快速算法得到的 结果不一定是最优的，但仍能得到较好的相似性，所以快速搜索算法是以牺牲搜 索精度来换取运算速度的。 2 1 3 变长编码 图像在经过变换域编码后，最终得到的是游程一系数组合。此时，应为每种 组合情况分配一个代表码字符号，这样在存储和传输时就可以直接传送这些码字。 我们可以采用等长码字，也可以采用不等长码字。 统计表明，各种组合出现的概率并不相等。根据信息论的理论，对概率( 每 秒出现次数) 大的信息符号用短码表示，对概率小的信息符号用长码，则平均码 长是最短的。 根据该定理，h u 硒m a i l 于1 9 5 2 年提出了一种最佳编码方法，被称为h u f f h l a n 编 旦 h 2 6 4 中去块效应滤波器的研究及硬件设计 码方法。由于其码长不固定，也称变跃编码法，即v l c ( v a r i a b l e k n 垂h c q d i n g ) 。 在实际应用中，由于很难预先准确的描述信源的统计特性，所以一般根据经 验概率来设计h u f f m a n 码表。实践证明，这种按照经验预先设计的h u f 加a n 码表也 能较好的发挥作用。 2 1 4 混合编码 以l 讨论了各种编码技术，但在具体应用时应将它们结合起来，才能达到良 好的压缩效果，这就是混合编码。通常，采用预测编码来消除相邻帧之间的时间 相关性，采用变换域编码来消除图像内部的空间相关性，最后采用变长编码以利 用码字的统计特性。这种混合编码方案己获得广泛应用。典型的混合编码方案如 图2 6 所示，m p e g 1 、m p e g 2 、h 2 6 1 及h 2 6 3 中就采用了混合编码方案。 = 磊粥圆厂恒至乎 + _ i 一。幽 旧屯母 图2 6 混合编码方案 2 2h 2 6 4 标准简介 2 2 1h 2 6 4 图像压缩策略 h 2 6 4 从h 2 6 3 的基础上发展而来，采用的仍然是经典的运动补偿混合编码算 法，具各良好的兼容性和可移植性。编码图像通常被分为3 种类型：i 帧、p 帧和b 帧。 i 帧为帧内编码帧，其编码不依赖于已经编码的图像数据。p 帧为前向预测帧，b 帧 为双向预测帧，编码时都需要根据己编码的帧即参考帧进行运动估计。除此之外， h 2 6 4 还定义了新的s p 帧和s i 帻，用以实现不同传输速率、不同图像质量码流间的 快速转换以及信息丢失的快速恢复等功能。h 2 6 4 的编解码基本原理参见图2 7 ，( a ) 为编码器框图， ( b ) 为解码器框图。 第二章图像压缩编码基本原理及h 2 6 4 介绍 ( a ) 编码器框图 ( b ) 解码器框图 图2 7h 2 6 4 编解码原理 1 、编码器端 编码过程中，原始数据进入编码器后，当采用帧内编码时，首先选择相应的 帧内预测模式进行帧内预测；随后对实际值和预测值之间的差值进行变换、量化和 熵编码，同时编码后的码流经过反量化和反变换之后重构预测残差图像，再与预 测值相加得出重构帧，得出的结果经过去块滤波器平滑后送入帧存储器。 采用帧间编码时，输入的图像块首先在参考帧中进行运动估计，得到运动矢 量。运动估计后的残差图像经整数变换、量化和熵编码后与运动矢量一起送入信 道传输。同时另一路码流以相同的方式重构后经去块滤波后送入帧存储器作为下 一帧编码的参考图像。 2 解码器端 当编码后的码流送入解码器时，首先根据语法元素进行判断。如为帧内编码， 则直接进行反量化、反变换加以重构；如果是帧间编码，所得到的为重构的残差图 illl m1m 一 噬呈 | 囟面 1 _ 暮 h 2 6 4 中去块效应滤波器的研究及硬件设计 像，此时需要根据帧存储器中的参考图像进