（微电子学与固体电子学专业论文）h264帧间预测算法研究与fpga设计.pdf

中文摘要 摘要：随着数字化技术的飞速发展，数字视频信号的传输技术更是受到人们的关 注。相比较其它类型的信息传输如文本和数据，视频通信需要占用更多的带宽资 源，因此为了实现在带宽受限的条件下的传输，视频源必须经过大量压缩。尽管 现在的网络状况不断地改善，但相对与快速增k 的视频业务而言，网络带宽资源 仍然是远远不够的。2 0 0 3 年3 月，新一代视频妪缩标准h 2 6 4 a v c 的推出，使视 频压缩研究进入了一个新的层次。h 2 6 4 标准中包含了很多先进的视频压缩编码方 法，与以前的视频编码标准相比具有明显的进步。在相同视觉感知质量的情况下， h 2 6 4 的编码效率比h 2 6 3 提高了一倍左右，并儿自巫女r 的网络友好性。然而，高 编码压缩率是以很高的计算复杂度为代价的，h 2 6 4h i l l 的计算复杂度约为h 2 6 3 的3 倍，所以在实际应用- ，必须对其算法进i ，优化以减低其计算复杂度。 本文首先介绍了h 2 6 4 标准的研究背景，分析了国内外h 2 6 4 硬件系统的研 究现状，并介绍了本文的主要工作。 接着对h 2 6 4 编码标准的理论知识、关键技术分别进行了介绍。 对h 2 6 4 块匹配运动估计算法进行研究，对经典的块匹配运动估计算法通过 对比分析，三步、二维等算法在搜索效率上优于全搜索算法，而全搜索算法在数 据流的规则性和均匀性有着自己的优越性。 针对块匹配运动估计全搜索算法的v l s i 结构的特点，提出改进的块匹配运动 估计全搜索算法。本文基于对数据流的分析，对硬件寻址进行了研究。通过一次 完整的全搜索数据流分析，改进的块匹配运动估计算法在时钟周期、p e 资源消耗 方面得到优化。 最后基于f p g a 平台对整像素运动估计模块进行了研究。首先对运动估计模 块结构进行了功能子模块划分；然后对每个子模块进行设计和仿真和对整个运动 估计模块进行联合仿真验证。 图6 0 幅，表6 个，参考文献4 2 篇。 关键词：h 2 6 4 ；f p g a ；q u a r t u si i ；帧问预测；运动估计；块匹配 分类号：t n 4 7 ；t n 9 1 9 8 1 = j 匕塞交道厶堂亟堂僮途塞垦曼! 基! a bs t r a c t a b s t r a c t ：w i t ht h eg r e a td e v e l o p m e n to ft h ed i g i t a lt e c h n o l o g y ，p e o p l eh a v ep a i d m o r ea t t e n t i o nt ot h et e c h n o l o g yo f d i g i t a l v i d e o s i g n a l t r a n s m i s s i o n v i d e o c o m m u n i c a t i o nr e q u i r e sm u c hm o r eb a n d w i d t hi nc o m p a r i s o nw i t ho t h e ri n f o r m a t i o n t y p e ss u c ha st e x ta n dd a t a t h u st oa d a p tw i t ht h eb a n d w i d t h l i m i t e dc h a n n e l s ，v i d e o s o u r c em u s tb ec o m p r e s s e de x t r e m e l y a l t h o u g hn e t w o r ke n v i r o n m e n th a sb e e n p r o g r e s s i n gg r e a t l y ，t h eb a n d w i d t hr e s o u r c ei ss t i l l l i m i t e da sf a ra st h ef a s tg r o w t ho f m u l t i m e d i aa p p l i c a t i o n si sc o n c e m e d i nm a r c h2 0 0 3 ，t h el a t e s tv i d e oc o m p r e s s i o n s t a n d a r dh a dl e dt h er e s e a r c hi nr e l a t e df i e l d s s e v e r a lc o d i n ge l e m e n t sc o n t r i b u t et ot h e g r e a ti m p r o v e m e n ti nc o m p r e s s i o ne f f i c i e n c y o ft h en e ws t a n d a r d t h es t a n d a r d i m p r o v e sc o m p r e s s i o ne f f i c i e n c yb yaf a c t o ra b o u tt w o ( o na v e r a g e ) o v e rh 2 6 3 h o w e v e r , t h ec o m p u t a t i o n a lc o m p l e x i t yo ft h eh 2 6 4 a v ce n c o d e ri sd r a m a t i c a l l y i n c r e a s e db e c a u s eo fi t so p t i m i z a t i o nt e c h n i q u e ，a n di sa b o u tt h r e et i m e so fh 2 6 3 s t h e ni ti s n e c e s s a r y t oo p t i m i z ei t s a l g o r i t h m sf o r t h ei m p l e m e n ti nr e a l - t i m e a p p l i c a t i o n s f i r s t l yt h ed e f i n i t i o no fh 2 6 4s t a n d a r da n dt h ee x i s t i n gh a r d w a r es y s t e m sa r e i n t r o d u c e d s e c o n d l y ，t h et h e o r ya n dm a i nt e c h n o l o g i e sa r ei n t r o d u c e di nd e t a i l t h i r d l y ，s e v e r a l k i n d so fb l o c k - m a t c h i n gm o t i o ne s t i m a t i o na l g o r i t h m sa r e a n a l y z e d ，s u c ha st h r e e - s t e pa n dt w o - d i m e n s i o n a la l g o r i t h m s t h ep a p e ri l l u s t r a t e st h e t h r e e s t e pa n dt w o d i m e n s i o n a la l g o r i t h m sa r em o r ee f f i c i e n tt h a nf u l l s e a r c ha l g o r i t h m ， w h i l ef u l l s e a r c ha l g o r i t h mi sb e t t e ri nt h ed a t af l o wa n dr e g u l a r i t y f o u r t h l y ，a c c o r d i n gt o t h ev l s is t r u c t u r eo fab l o c k - m a t c h i n ge s t i m a t i o n a l g o r i t h m ，t h ep a p e ri m p r o v e st h ea l g o r i t h mo nt h ed a t af l o wa n a l y s i sa n dh a r d w a r e a d d r e s s i n g t h r o u g ht h e d a t af l o w a n a l y s i s i ti s p r o v e d t h a tt h e i m p r o v e d m o t i o n e s t i m a t i o na l g o r i t h mi ss u p e r i o rt oo t h e rf u l l - s e a r c ha l g o r i t h m si nc l o c kc y c l e a n dp e c o n s u m p t i o n f i n a l l y ，t h ew h o l ep i x e lm o t i o ne s t i m a t i o nm o d u l ei sd e s i g n e d o nt h ef p g a p l a t f o r m t h em o t i o ne s t i m a t i o nm o d u l ei sd i v i d e di n t os u b m o d u l ea n dt h ew h o l e m o t i o ne s t i m a t i o nm o l u l ei ss i m u l a t e da n dv e r i f i e d k e y w o r d s ：h 2 6 4 ；f p g a ；q u a r t u si i ；i n t e r - p r e d i c t i o n ；m o t i o ne s t i m a t i o n ； b l o c km a t c h i n g c l a s s n 0 ：t n 4 7 ；t n 9 1 9 8 l v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研 究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得北京交通大学或其他教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示了谢意。 学位论文作者签名：乏文豸 签字门期： 口口夕年莎月夕日 6 7 学位论文版权使用授权书 本学位论文作者完全了解北京交通大学有关保留、使用学位论文的舰定。特 授权北京交通大学可以将学位论文的全部或部分内容编入彳j 火数捌库进i r 检索， 并采用影印、缩印或扫描等复制手段保存、汇编以供念i 瑚和借i 蒯。m 意学校向国 家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： j 螺 签字r 期：7 口口年易月憎日 导师签名：鹚力 签字同期：刎7 年石月c 旷日 致谢 在论文即将完成之际，谨向我的导师骆丽教授表示最诚挚的感谢! 本文的研 究工作正是在她的悉心指导下完成的。从选题、丌题以及论文的定稿审阅，骆老 师都付出了大量的心血和辛勤的劳动，并n 她严i 镰的治学态度雨i 科学的工作方法 在学习和生活上都给了我极大的帮助和影响。在此艇心感跗二年来骆丽老师对我 的关心和指导。 此外，还要感谢李哲英教授，他在论文丌题j n j 问给我提供了很多的指导和帮 助。李哲英教授一丝不苟的工作态度和严谨求实的治学风范给我留下了深刻的印 象。在此，向李哲英教授表示诚挚的谢意。 在实验室工作及撰写论文期间，金腾、张义恒、耿市华、胡海峰等同学对我 论文中的研究工作给予了热情帮助，乔；此向他们表达我的感激之情。 最后要感谢我的父母在学习和生活上给予我无私的支持，他们的理解和支持 使我能够在学校专心完成我的学业。 1 引言 图像是信息含节最为丰富的信息载体，由于图像处理的数据量巨大，因此高 效的图像压缩技术。 是人f f j 所致力研究的课题。进入九十年代，国际上致力于 标准化的工作。际标准化组织( i s o ) 和国际电信联盟( i t u ) 先后制定了一系列静止 和运动图像编码标准，包括静止图像压缩的j p e g 、面向i s d n 视频传输的h 2 6 1 、 用于数字视频和音频传输及存储的m p e g 1 、支持h d t v 等商品质数字视频和占 频传输与存储的m p e g 2 、适合与低码率视频传输的h 2 6 3 、基于对象的视频编码 标准m p e g 4 和致力一r 低码率高编码效率的h 2 6 4 a v c 1 】。这些【日际标准的建立 体现了图像和视频编码技术血十年的研究结果，推动了图像和视频技术的实用化 和产业化 2 】。 h 2 6 4 a v c 作为新一代的视频压缩标准它是由i t u t 的v c e g ( 视频编码专家 组) 和i s o i e c 的m p e g ( 运动图像编码专家组) 成立的联合视频小组( j v t ：j o i n t v i d e ot e a m ) 共同丌发的。h 2 6 4 a v c 仍然是采用运动补偿加变换编码的混合编码 模型。但它采用许多新技术，使编码效率和图像质量都比以前的标准有很大的提 高，在相同图像质量的情况下，h 2 6 4 a v c 的编码效率是m p e g 2 的两倍【3 】。 h 2 6 4 和以前的标准一样，也是d p c m 加变换编码的混合编码模式。但它采 用“回归基本”的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好的多的压缩性能【4 】； 加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢 包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及不同传输场合 的需求；它的基本系统是丌放的，使用无需版权。 对于h 2 6 4 编码标准的研究，目前国内外主要集中在运动估计，运动搜索算 法研究，帧内预测模式选择，码率控制等领域。为了更好地实现实时编码且编码 质量有保证，需要采用硬件架构。目前国际上采用的构架分为两种：一种是f p g a 结合d s p 软硬件结合架构；一种是单片纯f p g a 架构( 采用片内集成d s p 模块) 。 到2 0 0 4 年底，业内领先的一些半导体公司如：b r o a d c o m ，c o n e x a n t ，l s il o g i c ，s t m 也陆续发布了h 2 6 4 a v c 专用解码芯片的样片。进入2 0 0 5 年之后，h 2 6 4 a v c 的 应用研究更是突飞猛进。中芯联合微电子有限公司在2 0 0 5 年初发伟了支持 h 2 6 4 a v c 标准的多模高清视频解码i p 核o d m 3 p s 。 但是对于h 2 6 4 a v c 编码器方面的研究却相对较少，市场上还没有公司发布 了针对h 2 6 4 a v c 的编码芯片，国外的一些研究机构也只是针对整个h 2 6 4 a v c 标准中的某一部分进行优化或者f p g a 的实现，针对整个编码器的实现目前主要 还是在d s p 平台上做的优化。但是由于d s p 处理能力的瓶颈，在对高清格式，甚 至标清格式的视频处理时就不能够满足实时的要求，这就需要为h 2 6 4 a v c 编码 器设计专门的编码器电路，来满足应用的需要。 在传统概念中，f p g a 价格昂贵、设计门槛较高，多用于通信和高端工业控制 领域。最近几年，随着电子工艺的不断改进，低成本f p g a 器件也不断地推称出 新。半导体i 二艺的进步彳i 仪带来f p g a 成本的降低，还使得其性能显著提高，同 时不断集成了些新的硬件资源，如内嵌d s p 、内嵌r a m 、p l l 、d d r d d r 2 及 高速l v d s 接| l 等。作为一一个平台，f p g a 显然已经非常适合于高| ，仁能低成本的况 频应用。而u i i j 于h 2 6 4 视频编码过程中不涉及任何浮点数运算，非常适合于硬 件电路的实现f 5 1 。 本文在f f 细研究h 2 6 4 标准的基础上，重点研究了运动 引算法，在研究了 多种硬件实现结构毖础j ：提 n 了一种运动估计搜索算法的。史现结构，并仿真验i 矿 了其逻辑功能。论文的具体工作内容安排如下： 第一章，引占。介绍了h 2 6 4 标准的研究背景，分析了国内外h 2 6 4 硬件系 统的研究现状，并介绍了本文的主要工作。 第二章，h 2 6 4 编码标准。首先对h 2 6 4 编码标准的产_ i 过 翟、特点、名词解 释、分层结构、编解码过程、功能档次分别进行了介绍。接着对h 2 6 4 标准的关 键技术分别进行了介绍。 第三章，h 2 6 4 帧问预测运动搜索原理。首先对帧间预测的基本原理进行了介 绍。接着对运动估汁基本理论进行了介绍。最后对h 2 6 4 块匹配运动估计算法进 行了细致的研究，对经典的块匹配运动估计算法通过对比分析，三步、二维等算 法在搜索效率上优于全搜索算法，而全搜索算法在数据流的规则性和均匀性有着 自己的优越性。 第四章，改进后的全搜索运动估计算法设计。首先确定了论文的设计方案。 接着针对一种块匹配运动估计全搜索算法的v l s i 结构的特点，提出改进的块匹配 运动估计全搜索算法。最后基于对数据流的分析，对硬件寻址进行了研究。通过 一次全搜索的完整数据流分析，改进的块匹配运动估计全搜索算法在时钟周期、 p e 资源消耗上优于原先的全搜索算法。 第五章，整像素运动估计模块设计。首先对f p g a 器件进行了介绍。接着对 软件环境进行了介绍。然后基于f p g a 平台对运动估计模块结构进行了划分，对 划分后的每个功能子模块进行具体设计和时序仿真，对整个运动估计模块进行联 合仿真验证。最后在q u a r t u si i 软件内嵌的综合器上进行了综合，并对设计结果的 一系列指标如时序、功耗、资源利用等进行了分析和优化。 第六章，总结与展望。对本文所作的工作进行了总结，并指出下一步研究要 努力的方向。 2 2h 2 6 4 编码标准 自l9 8 9 年i t u t 发命第一个数字视频编码标准圳2 6 1 以来，已陆续发布 了h 2 6 3 锋视频编码标准及h 3 2 0 、h 3 2 3 等多媒体终端标准。i s o 下属的运动图 像9 家组【( m p e g ) 定义了m p e g 一1 、m p e g 2 、m p e g 4 等娱乐和数字电视压缩 纷诗f i ，5 【i l 幻： ，j ：准。 2 0 0 3 年3 ，j 份，i t u t 颁布了h 2 6 4 视频编码标准。它不仪使视频胍缩比 较以i 标准有明显提高，而且具有良好的网络亲和性，特别是对i p 互联网、无线 移动i 叫等埸误仍5 、易阻塞、q o s 不易保证的网络视频f 输性能仃i 刿娃的改善。具 体来说，h 2 6 4 支持二个不同档次的应用 6 ： ( 1 ) 牲夺档次：主要用于“视频会话”，如视频 乜视、 见l u 卒见、远程医疗、 远程教学等。 ( 2 ) 主要档次：主要用于消费类电子，如数字f 乜视广播、数! 视频存储等。 ( 3 ) 扩展档次：主要用于网络的视频流，如视频， i i 播。 2 1h 2 6 4 编码标准概述 2 1 1h 2 6 4 标准产生过程 在1 9 9 5 年i t u t 完成了视频电话的h 2 6 3 标准之后，该组织i t u t 视频编码 专家组v c e g 着手在两方面丌始进一步的研究 7 】：一是短期研究，努力在h 2 6 3 中增d f i i t ：多额外的特征，这就形成h 2 6 3 的第二版本h 2 6 3 + 和第三版本h 2 6 3 + + ； 二是长期研究，着手制定低比特率的视频通信新标准，这就是h 2 6 l 标准，它提 供比以前的i t u t 标准更为有效的视频压缩。h 2 6 4 标准制定的时问大致如下： 1 9 9 8 年2 月j v t 正式开始提案征集。 1 9 9 9 年8 月完成第一版草案和测试模型。 2 0 0 1 年9 月，在j v t 的第一次会议上形成h 2 6 4 的w d 2 ( w o r kd r a f t 2 ) 版，并推出测试模型t m l 9 ( t e s tm o d e ll o n gt e r mn u m b e r 9 ) 。 2 0 0 2 年7 月j v t 第四次会议上推出h 2 6 4 的c d ( c o m m i t t e ed r a f t ) 版。 2 0 0 3 年3 月公布了标准的最终草案，称作h 2 6 4 a v c 或者m p e g 4v i s u a l p a r t l0 。j 下式名称为i t u tr e c h 2 6 4ii s o i e c1 4 4 9 6 10a v c ( d r a f ti t u t r e c o m m e n d a t i o na n df i n a ld r a f ti n t e r n a t i o n a ls t a n d a r do fj o i n tv i d e o 3 s p e c i f i c a t i o n ) 。 2 0 0 3 年9 月公布了草案勘误表( d r a f te r r a t al i s tw i t hr e v i s i o n m a r k e d c o r r e c t i o n sf o rh 2 6 4 a v c ) 。 2 0 0 4 年7 月提交了v e r s i o n3o f h 2 6 4 a v c 。 2 1 2h 2 6 4 标准的特点 h 2 6 4 的标准草案已经于2 0 0 2 年5 月制定完成。它的编码算法的毖本构成延 续了原有标准中基于块的混合编码的基本特性，同时具有很多新的特性，其主要 。陀能如卜 8 】： 1 更高的编码效率：同h 2 6 3 + 或m p e g 4 棚比，在人多数的码率下，获得棚 n d 的7 7 嫩f 仁效果的情况下，能够平均节省人- f 5 0 的m 率。 2 高质量的视频画面：h 2 6 4 能够在所给的码率( 包括低码率) 条件f 提供 高质量的视频图像。 3 自适应的延时特性：h 2 6 4 可以工作于低延时模式下，用丁实时的通信应 用，如视频会议；也能用于没有延时限制的应用，如视频存储等。 4 错误恢复功能：h 2 6 4 提供了解决网络传输包丢失问题的工具，适用于在 高误码率传输的无线网络中传输视频数据。 5 h 2 6 4 和h 2 6 1 、h 2 6 3 一样，也是采用混合编码结构。同时，h 2 6 4 在混合 编码的框架下引入了新的编码方式，提高了编码效率，更贴近实际应用。 6 h 2 6 4 没有繁琐的选项，而是力求简洁的“回归基本”，它具有比h 2 6 3 + 更好 的压缩性能，又具有适应多种信道的能力。 7 h 2 6 4 的应用目标广泛，可满足各种不同数率、不同场合的视频应用，具有 较好的抗误码和抗丢包的处理能力。 8 h 2 6 4 的基本系统无需使用版权，具有丌放的性质，这对目前因特网传输多 媒体信息、移动网中传输宽带信息等都具有重要意义。 2 1 3h 2 6 4 标准基本概念解释 下面对场和帧、宏块和片的概念进行解释。 ( 1 ) 场和帧 视频的一场或一帧可用来产生一个编码图像。通常，视频帧可分为二种类型： 连续或隔行视频帧。在电视中，为减少大面积闪烁现象，把一帧分为二个隔行的 场。显然，这时场内邻行之间的时间相关性较强，而帧内邻行空间相关性较强， 4 因此运动量较小或静止的图像宜采用帧编码方式，对运动量较大的运动图像则采 用场编码方式。 ( 2 ) 宏块和片 宏块：一个编码图像通常划分为若干个宏块，以4 ：2 ：o 的图像采样格式为 例，一个宏块由一个1 6 x 1 6 亮度像素和附近的一个8 x 8c b 和一个8 x 8c r 色度像素 块组成。每个图像中，若干宏块被排列成片的形式。 片：一个视频图像可编码成一个或更多个片，每片包含整数个宏块( m b ) ， 【! | j 每”至少一个m b ，最多时每片包含整个图像的宏块。总之，一幅图像中每片的 宏块数不一定固定。设片的目的是为了限制误码的扩散和传输，应使编码片相匠 州f 5 i ：持独泣。某片的预测不能以其他j 中的宏块为参考图像，这样某，一；+ 中的预 测误差爿不会传播到其他片中去。h 2 6 4 l ，包括i ”、pj j 、b 片、s i 片、s pj j 。 i ”只他括i 宏块，p 片包括p 和l 宏块，bj | 可包括b 和i 宏块，s i j 。和s p 片鄙足用于码流问的切换用的。 i 宏块利用从当前片中已解码的像素作为参考进行帧内预测( 不能取其它片叶i 的已解码像素作为参考进行帧内预测) 。 p 宏块利用前面已编码图象作为参考图像进彳j ：帧内预测，一个帧内编码的宏 块可进一步作宏块的分割：即1 6 x 1 6 、1 6 x 8 、8 1 6 或8 x 8 亮度像素块( 以及附带 的彩色像素) ；如果选了8 x 8 的子宏块，则可再分成各种子宏块的分割，其尺寸 为8 8 、8 x 4 、4 x 8 或4 x 4 亮度像素块( 以及附带的彩色像素) 。 b 宏块则利用双向的参考图像( 当日订和未来的已编码图像帧) 进行帧内预测。 片的句法结构如图2 1 所示。其中片头规定了片的类型，该片属于哪个图像， 有关的参考图像等，片的数据包含一系列的编码m b ，和或跳编码( 不编码) 数 据。每个m b 包含头单元和残差数据。 图2 - 1 片的句法结构 f i g u r e2 - 1t h es y n t a xs t r u c t u r eo fs l i c e 5 2 1 4h 2 6 4 标准的分层结构 h 2 6 4 标准不同于其他标准的一大特点，其分为两层：视频编码层( v c l ) 和 网络提取层( n a l ) 。v c l 负责高效的视频内容表示；n a l 负责按照网络所要求 的适：与方式对v c l 数据的传输提供合适的负载方式和头信息。h 2 6 4 标准中从序 列剑像素点的层次包含结构关系为： 视频序列 图像 ( 片组) 片 宏块( 子宏块) 块 像素) ) ) ) ) ，而视频压缩工具t 要工作与片和片层以下的层次中，因此所有 片层以下的表示属于v c l 层的范围，而”以上的信息表示都足在n a l 层完成的， h 2 6 4 编码器分层结构图中的h 3 2 4 m 表示用于移动的h 3 2 4 系统，图2 2 给出 了f ：述两个层次的关系 9 1 0 ： 图2 - 2 视频编码层和网络抽象层 f i g u r e2 - 2v c la n dn a l h 2 6 4 的网络提取层( n a l ) 负责使用下层网络的分段格式来封装数据，包括 组帧、逻辑信道的信令、定时信息的利用或发序列结束信号等。n a l 包括网络提 取层的头信息、段结构信息和实际载倚信息，即上层的v c l 数据。n a l 提供适当 的映射方法将头部信息和数据映射到传输协议层上，可以减少在分组交换传输中 组帧和重同步所需要的资源丌销。在v c l 数据传输或存储之前，这些编码的v c l 数据先被映射或封装进n a l 单元中。n a l 单元序列的结构图如图2 3 所示。 n a l 头 l m s p n a l 头r 沪n a l 头l m s p 图2 3n a l 单元序列 f i g u r e2 - 3n a lu n i ts e q u e n c e 6 2 1 5h 2 6 4 标准的编解码过程 h 2 6 4 标准并没有明确定义一个编码器，而是定义了编码后的比特流格式和解 码的方式。它的基本编码过程可以分为4 个阶段 4 0 4 2 】。 1 j 备图像分为块。这样，对每帧图像的处理就转化为对块的处理。 2 通过对帧内编码的宏块进行预测、变换、量化、熵编码去除图像巾的空间冗 余。帧内预测是利用本图像内的已经编码过的块对待编码的块进行预测，对预测 后的图像和待编码块的图像的差值进行编码，以去除空间冗余。 3 通过对帧间编码的宏块利用相邻的帧进行运动估计和补偿去除图像中的时 问冗余。 4 对于残差块再进行变换、量化、熵编码来去除其中的空间冗余。 编码流程： 在图2 4 编码器框图中，f n 代表待编码的帧，这一帧图像被分成多个1 6 x 1 6 宏块进行处理，每个宏块按帧内或帧问的模式进行编码，不论在那种模式下，都 有一个基于参考帧重构出来的预测宏块p 。在帧内编码模式下，p 由当前帧中前面 已经经过编解码重构模块但是没有进行滤波的宏块u f 。预测得到；在帧问编码模 式下，p 由一个或多个参考帧进行运动补偿预测得到。参考帧用f 川表示，实际上 参考帧可以是过去或将来的第一帧或第二帧等已经编码重构的图像。 l 图2 _ 4h 2 6 4 编码流程框图 f i g u r e2 - 4t h ed i a g r a mo fh 2 6 4e n c o d i n gp r o c e s s 预测值p r e d 和当前块相减后，产生一个残差块d n ，经块变换、量化后产生 一组量化后的变换系数x ，重新排序并经熵编码，与解码所需的一些边信息( 如预 测模式量化参数、运动矢量等) 一起组成一个压缩后的比特流，经n a l ( 网络自 7 适应层) 供传输和存储用。在编码器中量化后的系数x 将被解码重构，以便对将来 的宏块进行编码时使用。系数x 将通过逆量化和逆变换产生一个差分宏块d ：。差 分宏块反和原始的宏块之间并不是完全一样的，因为经过量化运算后，会产生量 化误差。d n 与预测值p 相加，得到重构宏块u f n 。为了去除编码解码环路中产生 的噪声，为了提高参考帧的图像质量，从而提高压缩图像性能，设置了一个环路 滤波器，滤波后的输出f n 即重建图像可用作参考图像【l l 】。 从以上的编码流程中可以看出，编码器必须也捐j 有一个解码器来重构图像， 以保证与解码器端采用的参考图像足致的。预测产生的残差块的系数越小，那 么压缩效率越高，传输的码率也将越低。 重熵 排 | _ 编 序码 图2 5h 2 6 4 解码流程框图 f i g u r e2 - 5 t h ed i a g r a mo fh 2 6 4d e c o d i n gp r o c e s s 在图2 5 中，解码器物从n a l 层中接收到压缩后的比特流，对数据进行熵编 码，然后重新排序，恢复出来量化后的系数x ，x 再经过逆量化和逆变换得到d n 。 通过从比特流中解码出来的头信息，解码器产生一个预测块p ，p 的产生过程和编 码过程一样，p 和d n 相加得到一个u f 。，最后再经过滤波器得到恢复图像f n 。 2 1 6h 2 6 4 标准的功能档次 h 2 6 4 规定了三种档次，每个档次支持一组特定的编码功能，并支持一类特 定的应用 1 2 。 基本档次：利用i 片和p 片支持帧内和帧间编码，支持利用基于上下文的自适 应的变长编码进行的熵编码( c a v l c ) 。主要用于可视电话、会议电视、无线通信 等实时视频通信； 主要档次：支持隔行视频，采用b 片的帧间编码和采用加权预测的帧内编码； 支持利用基于上下文的自适应的算术编码( c a b a c ) 。主要用于数字广播电视与 数字视频存储； 扩展档次：支持码流之间有效的切换( s p 和s i 片) 、改进误码性能( 数据分 割) ，但不支持隔行视频和c a b a c 。主要用于流媒体应用 1 3 】【1 4 】。 图2 6 是h 2 6 4 的档次结构图。 图2 6h 2 6 4 的档次结构图 f i g u r e2 - 6t h es t r u c t u r eo fh 2 6 4p r o f i l e 2 2 h 2 6 4 标准的关键技术 在h 2 6 4 中，使用了和已有的许多编码标准相同的功能模块，如帧内预测、帧 间预测、变换和量化、熵编码等，但是h 2 6 4 的这些模块和其他的标准有很多细竹 上的不同。下面分别介绍h 2 6 4 d ? 的主要关键技术 3 2 3 9 。 2 2 1帧内预测 在图像编码中，一幅图像在的相邻宏块具有相似性，h 2 6 4 禾1 j 用相邻宏块的空 间相关性来进行帧内预测编码。对于一个给定的宏块，首先利用相邻的宏块对此 宏块进行预测，然后对实际宏块和预测宏块对应像素计算差值，并对此差值做变 换编码，就可以在一定程度上减少一个i 帧的数据量。h 2 6 4 的帧内预测一个特征是 帧内预测在空间域进行，而不像其他编码标准一样在变换域 1 5 。 h 2 6 4 对含有较多空域细节信息的宏块采用4 x 4 预测( 9 种模式) ，而对于较平 坦的区域采用1 6 x 1 6 预测模式( 4 种模式) ，另外还提供了不经预测和变换量化步 骤的i p c m 模式。 1 4 x 4 亮度块的预测 如图2 7 所示，把1 6 x 1 6 的亮度宏块划分成1 6 个4 x 4 的子块，每个子块的像素点 9 a 呻用与其相邻的上面和左面止经编码弗重建的像素采样点a m 进行帧内预测。圈 2 - 8 表示帧内预测模式的，j 阳。 mabcdef gh ! 7 制川缘求a m 对方块r l ，a d 像豢进”j q l 内4 x4 f m 测 f i g u r e 2 - 74x4 i n t r a p r e d i c t i o no f a p p i x e l i n t h e b l o c k b y t h e u s eo f a m p i x e l j 桊 7 0 5 圉2 8 帧内4x4 预测的预测方向 f i g u r e2 - 8 p r e d i c t i o nd i r e c t i o no f 4x4 i n t r ap r e d i c t i o n 21 6 x 1 6 亮度块的预测 对于1 6 x 1 6 亮度块，接有垂直、水平、d c 和平面4 种预测模式。 o ( 垂直)1 【木乎) 2 ( d c ) 3 ( 平面 翮攫萨 图2 - 9 1 6x 1 6 预测模式 f i g u r e2 - 9 1 6x1 6 i n i c a p r e d i c t i o n m o d e 3 8 x 8 色度块的预测 每个帧内编码宏块的8 x 8 色度成分由已编码左上方色度像素预测而得，两种 色度成分c r 和c b 常用同一种预测模式。4 种预测模式类似于帧内1 6 x 1 6 预测的4 种 预测模式，只是模式编号不同。其中d c ( 模式o ) 、水平( 模式1 ) 、垂直( 模式2 ) 、 平面( 模式3 ) 。 4 i p c m 预测模式 对于一些很不规则的图像，可以对其采用i p c m 模式进行直接编码。i - p c m 模 式不经过预测和变化量化的步骤，直接编码采样点的值并传送。这种模式的作用： ( 1 ) 使得编码端准确的表示采样点的值。 ( 2 ) 提供了一种准确表示不规则图像内容值的力法，而且没有显著的数据增加。 ( 3 ) 在不影响编码效率的情况下，为解码端设置一个同定的比特数极限值。 2 2 2 帧间预测 h 2 6 4 做了很多改进，比如：多尺寸的运动估计、多参考帧的运动补偿【1 6 】。 1 多尺寸的运动估计 h 2 6 4 支持7 种不同尺寸和形状的宏块( 1 6 x 1 6 ) 和子宏块( 8 x 8 ) 分割，分别 为：1 6 x 1 6 、1 6 x 8 、8 x 1 6 、8 x 8 、8 x 4 、4 x 8 、4 x 4 。在每个宏块中可包含有1 、2 、4 、 8 或1 6 个运动矢量。 m o d e = 2 8 x 4 m o d e = 4m o d e = 5m o d e = 6m o d e = 7 图2 一l o 宏块及子宏块分割 f i g u r e2 - 10m a c r o b l o c ka n ds u b - m a c r o b l o c kp a r t i t i o n 每个分割或子宏块都有一个独立的运动补偿。每个m v 必须被编码、传输， 分割的选择也需编码到压缩比特流中。对大的分割尺寸而言，m v 选择和分割类 型只需少量的比特，但运动补偿残差在多细节区域能量将非常高。小尺寸分割运 一螂一 d = n l 曲 嘶 | 喜 l 洳 啪 毡夏至堂鑫堂巫芏垃业堂丛2 4 掘毋捶韭 动补偿蛙差能量低，但需要较多的比特表征m v 和分割选择。 图2 1 1 显示了个残差帧。h2 6 4 编码器为帧的每个部分选择了最佳分割j t 寸，使传输信息昔晟小，并将选择的分割加到残著帧上。在帧变化小的区域( 残 差显示扶色) ，选择1 6 x 1 6 分割；多运动区域( 残差显示黑色或白也) ，选择盟 有效的小的几寸。 卜m 黪， 一齄一。嘉参善桊 赞 霹 妒叠豁l 鬟氍 1 l 錾 溺 ：；f i 一誊鞭嗣鬻戳 0 + e 嘲 - 7 熟獬 f 螺 土 一 工 霭i黥鞘甄j瀚 幽2 i i 贱著帧 f i g u r e 2 - 1 1 r e s l d m l f r a m e 2i 8 像素运动补偿 图2 - 1 2 所示为对像素进行插值其中人写字母表示拯像素的位置，数裘j i l 2 像素的插值，而小写字母表示l ，4 像素的位嗣。对f 一个复杂的系统，可以川l 8 像 素的插值。插值是通过二个独立的步骤得到的。首先在水平方向卜用6 抽头滤波器， 然后是垂直方向上，用一维的6 抽头滤波器进行插值。 aa1b b cd e1 - g 2 h3 i 4 j k1 mn c o5pd 幽2 - 1 2 分数像素插值 f i g u r e 2 - 1 2f r a c t i o n a l p i x e li n t e r p o l a t i o n 1 ，2 像素的插值是通过水平和垂直方向卜用二个6 抽头滤波器实现的。l ，4 像素 的插值是利用线性的二阶滤波器对已有的1 ，2 像素插值结果进行计算得到的。 3 多参考帧的运动补偿 h 2 6 4 采用了多假设多参考帧的运动补偿的概念。在b 帧预测时，整个过程包 括三步：首先在参考帧缓冲区内选取一个或多于一个的预测信息，然后将预测f 苦 息作平均，已完成编码的图像存储在参考帧缓冲区内，最后将这些得到的多假设 信息用作参考帧。 2 2 3 整数变换与量化 与先i i 订视频编码标准有所小同，h 2 6 4 引入了d c t 整数变换【1 7 】。其基本编码 特性与- 4 x 4 点的- 维d c t 变换相似，将二维整数变换分解为一维整数变换，先对行 进行整数变换，再进行列整数变换。根据残茬数据的小州，h 2 6 4 采川了三种整数 变换j f i 阵，如图2 1 3 所示。 l1 2 l ll l一2 ll l一2 1l 2一l 雕。 图2 13h 2 6 4 整数变换矩阵 f i g u r e2 1 3i n t e g e rt r a n s f o r m a t i o nm a t r i xo f h 2 6 4 在图像编码中，变换编码和量化从原理上讲是二个独立的过程。但是h 2 6 4 中， 将二个过程中的乘法合二为一，并进一步采用整数运算，减少了编解码的运算鼍， 提高了图像压缩的实时性。 2 2 4 环内去块滤波 基于块的视频编码系统因为将一幅图像分成多个小块，然后对各个块进行变 换，从而不可避免的产生了块效应。块效应的存在极大地降低视频重构后的主观 质量。这在量化步长较大时更加明显。原因在于：第一，舍弃了信号的高频分量； 第二，对某些系数采用了较粗的量化；第三，块虚像的存在。块虚像是指在相邻 块边界上人为造成密度的不连续情况，是最严重的干扰。在h 2 6 3 等标准中，采用 “事后处理”的办法，在解码端增加一个去方块滤波器来降低块效应。 对于亮度数据块，垂直边界的滤波顺序为a ，b ，c 和d ，水平边界的滤波顺序为 e ，f ，g 署1 h 。对于色度数据块，垂直滤波顺序为i 和j ，水平顺序为k 和l 。如图2 1 4 。 a b c d 1 6 x 1 6 亮度 2 2 5熵编码 1 j 8 x 8 色度 图2 1 4h 2 6 4 的滤波顺序 f i g u r e2 - 14f i l t e r i n go r d e ro fh 2 6 4 k 1 熵编码是一种比较理想的编码方法，它是一种可变长编码，也是一种无损编 码，能够无失真地恢复原来参数和残差数据信息。霍夫曼编码和算术编码都是常 用的熵编码方法。h 2 6 4 标准采用了二种类型的熵编码方法：变长编码( v l c ) 和 基于内容的自适应算术编码( c a b a c ) 。 编码过程分成3 步。第一步，根据相邻已编码符号的信息，为当前符号选择 合适的上下文模型，称之为上下文建模。第二步，将一个非二进制的符号转化成 相应的二进制符号串，即二进制化。第三步，将由第二步所得的二进制符号串逐 位送入自适应二