（通信与信息系统专业论文）基于mb86h51的h264视频编解码系统的设计与实现.pdf

摘要 随着信息技术的发展，人类进入了一个全新的多媒体时代，图像和视频传输 与处理作为多媒体通信中最重要的通信手段，也随着时代的发展取得了长足的进 步。i s o 和i t u t 制定了一系列的视频编码国际标准，目前，h 2 6 4 视频压缩编码 标准凭借高压缩比和图像质量已经成为一种新型的标准被广泛地接受。同时，超 大规模集成电路技术( v l s i ) 、可编程逻辑器件( f p g a ) 的发展和一些视频编解 码芯片的出现使实时的视频压缩和传输成为可能。因此，基于f p g a 和一些成熟 的视频编解码芯片进行系统设计具有重要的实际意义。 本文基于视频编解码芯片郴8 6 h 5 1 和f p g a 设计并实现了一套h 2 6 4 视 频编解码系统，并且搭建出一个系统平台使m b 8 6 h 5 1 芯片完成以d v i 作为视频输 入输出接口的h 2 6 4 视频编解码功能。m b 8 6 h 5 1 芯片是富士通( f u j i t s u ) 推出的 高清h 2 6 4 视频编解码芯片，它可以半双工地完成包括视频、音频和系统的 h 2 6 4 a v c 编码和解码。本文首先介绍了h 2 6 4 视频压缩编码的原理，并对其关 键技术进行了系统的分析；然后对视频编解码芯片m b 8 6 h 5 1 的功能特性和接口进 行了详细的介绍；最后，对基于m b 8 6 h 5 l 芯片和f p g a 设计实现的h 2 6 4 视频编 解码系统的设计方法和实现方案做了详细阐述。 经过验证，本文设计实现的这套h 2 6 4 视频编解码系统达到了实时编码和解 码的要求，并且极大地缩减了开发周期、降低了开发成本。 关键词：视频编解码m b 8 6 h 5 l h 2 6 4 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fi n f o r m a t i o nt e c h n o l o g y , m a nh a se n t e r e da b r a n d - n e wm u l t i m e d i aa g e i m a g e v i d e ot r a n s m i s s i o na n dp r o c e s s i n g ，a st h em o s t i m p o r t a n tw a yo fc o m m u n i c a t i o ni nm u l t i m e d i a , h a sp r o g r e s s e dq u i t eal o t i s oa n d i t u - th a v ep u tf o r w a r das e r i e so fi n t e r n a t i o n a ls t a n d a r do fv i d e oc o d e c a tp r e s e n t , b a s e do ni t sh i g hc o m p r e s s i o nr a t i oa n db e r e ri m a g eq u a l i t y , t h en e ws t a n d a r do fv i d e o c o m p r e s s i o n , h 2 6 4h a sb e e nw i d e l ya c c e p t e da n du s e di nm a n ya p p l i c a t i o n s a tt h e s a m et i m e ，t h ed e v e l o p m e n to f v e r yl a r g es c a l ei n t e g r a t ec i r c u i t ( v l s i ) a n d p r o g r a m m a b l el o g i cd e v i c e ( f p g a ) a n dt h ee m e r g e n c eo f v i d e o c o d e cl s ic h i pm a k e s i ti sp o s s i b l ef o rt h er e a l - t i m ev i d e oc o m p r e s s i o na n dt r a n s p o r t a t i o n t h e r e f o r e ，i ti so f g r e a ts i g n i f i c a n c et od e s i g nav i d e oc o d e cs y s t e mb a s e do nf p g aa n ds o m em a t u r e c h i p t h i sp a p e rd e s i g na n di m p l e m e n tah 2 6 4v i d e o c o d e cs y s t e mb a s e do nt h ec h i po f v i d e oc o d e c m b 8 6 h 51a n df p g a as y s t e mp l a t f o r mi sb u i l tt h a te n a b l e st h ec h i po f m b 8 6 h 51t oc o m p l e t et h ef u n c t i o no fh 2 6 4c o d e c 、析md v ia st h ev i d e oi n p u ta n d o u t p u ti n t e r f a c e s m b 8 6 h 51i sah 2 6 4v i d e oc o d e cc h i pm a n u f a c t u r e db yt h ec o m p a n y o ff u j i t s u i ti sah a l f - d u p l e xc o d e cl s ic h i pt h a te x e c u t e se n c o d i n ga n dd e c o d i n g p r o c e s s i n gi n c l u d i n gv i d e o ，a u d i o ，a n ds y s t e mp r o c e s s i n gi na nh 2 6 4 a v cs y s t e m t h i sp a p e rf i r s t l yi n t r o d u c e st h ep r i n c i p l eo ft h eh 2 6 4v i d e oe n c o d i n gs y s t e ma n d m a k e ss o m ea n a l y s i so ni t sk e yt e c h n i q u e s s e c o n d l y , i ti n 仃o d u c e dt h ef u n c t i o n , m a i n s p e c i f i c a t i o n sa n di n t e r f a c eo fm b 8 6 h 5 1i nd e t a i l f i n a l l y ，t h ep a p e ri n t r o d u c e dt h e d e s i g nm e t h o da n dt h er e a l i z e ds c h e m eo ft h eh 2 6 4v i d e oc o d e cs y s t e mb a s e do n m b 8 6 h 5la n df p g ai nd e t a i l t h i sh 2 6 4v i d e oc o d e cs y s t e mh a sb e e nv e r i f i e da n dm e e t st h er e q u i r e m e n t so f t h er e a l t i m ev i d e oc o d e c m o r e o v e r , i tr e d u c e st h ed e v e l o p m e n tc y c l ea n dc o s tg r e a t l y k e y w o r d ：v i d e oe o d e e m b 8 6 h 5 1 h 2 6 4 西安电子科技大学 学位论文独创性( 或创新性) 声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在 导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标 注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成 果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说 明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切的法律责任。 本人签名：到盗礓日期也坦：! ：! 鳘 西安电子科技大学 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。学校有权保 留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内 容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后 结合学位论文研究课题再攥写的文章一律署名单位为西安电子科技大学。 ( 保密的论文在解密后遵守此规定) 本学位论文属于保密，在一年解密后适用本授权书。 本人签名： 导师签名： 日期丝f q ：f ：l 幺 e 1 期盈丝：f 。i 星 第一章绪论 第一章绪论弟一早珀v 匕 1 1 引言 随着信息技术的发展和社会的不断进步使得人类对信息的需求越来越丰富。 多媒体信息已成为人类获取信息的重要载体，人们希望无论何时何地都能够方便 快捷地获得语音、图像等音视频多媒体信息，因此，多媒体信息的计算、传输等 技术成为人们研究的热点。 视频图像数据中因为存在着大量的冗余数据而具有数据海量性的特点，并且， 随着多媒体技术在各个领域不断普及，用户不断地要求新产品具有更大的图像容 量、更高的图像质量和更快的图像处理速度，这些都给图像的传输与处理造成了 很大的困难，成为阻碍人类有效获取和使用信息的瓶颈问题之一，解决办法就是 对图像进行压缩编码。近十年来，数字图像和视频的压缩技术取得了突破性的进 展，但是，大多数的图像压缩是在通用p c 或d s p 芯片上利用软件实现的，而软 件的串行性有时不能满足人们对图像处理速度要求较高的场合。于是，一种基于 f p g a 或一些成熟芯片实现硬件图像处理的技术应运而生，它在合理利用硬件资源 的基础上，充分挖掘图像处理算法中的并行性，实现了在较低主频下获得可观的 执行速度，极大缩减了开发周期，这是芯片中多个处理单元并行处理的结果。 1 2 图像压缩标准的介绍 8 0 年代以来，由于数字存储媒体、电视传播以及通信等应用中对运动图像编 码方法需求的日益增长，i t u ，i s o 等国际组织都成立了专门的机构，致力于运动 图像压缩编码的国际标准的制定。到目前为止，已经开发和正在开发的运动图像 压缩标准有：h 2 6 1 、h 2 6 3 、m p e g 1 、m p e g 2 、m p e g - 4 、m p e g 7 、h 2 6 4 、和 m p e g 2 1 。下面就这些标准分别做简单的介绍。 1 9 8 4 年c c t t ( 且i j 后来的i r u ) 第1 5 研究组发布了数字基群电视会议编码标准 h 1 2 0 建议，经过1 9 8 5 - 1 9 8 8 三年的研究，提出了视频编解码器的h 2 6 1 标准草 案，以覆盖i s d n 基群信道，满足会议电视和可视电话业务日益发展的需要，该标 准此后被称为视频压缩编码的一个里程碑。从此，i t u t ，i s o 等公布的基于波形 的一系列的视频编码标准的编码方法都是基于h 2 6 1 中的混合编码方式。1 9 9 0 年 7 月通过了该标准，并定名为“p x 6 4 k b p s 视听业务的视频编码器 ，其中p = l - - 一3 0 。 后来，为了满足在普通公用电话网和移动电话网上进行可视电话通信的需要，即 2 基于m b 8 6 h s i 的h 2 6 4 视频编解码系统的设计与实现 视频压缩率应低于6 4 k b p s ，在诸如2 8 8 k b p s 等速率的信道上进行可视电话通信， i t u t 在h 2 6 1 标准的基础上进行了改进，于1 9 9 5 年提出了h 2 6 3 标准“甚低码 率通信的视频编码”。 1 9 9 2 年制定了m p e g 1 标准，它适用于不同带宽的设备，如v i d e oc d 、 c d r o m 。他的目的是把2 2 1 m b p s 的n t s c 图像压缩到1 2 m b p s ，压缩率为2 0 0 ：1 ， 传输速率为1 5 m b p s ，编码速率最高可达4 5 m b p s 。但随着速率的提高，解码后的 图象质量有所降低。m p e g 1 主要是针对数字存储媒体，也被用于数字电话网络上 的视频传输，如非对称数字用户线路( a d s l ) ，教育网路和视频点播等。 1 9 9 4 年制定了m p e g 2 标准，设计目标是实现高级工业标准的图象质量和更 高的传输率。传输速率为3 m 1 0 m b p s 。m p e g 2 技术主要用于数字视频广播( d v b ) 、 家用d v d 的视频压缩及高清晰度电视( h d t v ) 。 m p e g - 4 标准草案拟定于1 9 9 8 年并于1 9 9 9 年正式成为国际音视频压缩标准， m p e g - 4 旨在将众多的多媒体应用集于一个完整的框架内，为不同性质的音频、视 频数据制定通用的编码方案，并提出基于内容( c o n t e n t b a s e d ) 的视频对象( v i d e o o b j e c t ) 的编码标准。它除了定义视频压缩编码标准外，还强调了在多媒体通信应 用环境中的交互性和灵活性。为了达到这一目标，m p e g - 4 引入了对象基表达 ( o b j e c t b a s e dr e p r e s e n t a t i o n ) 概念，用来表达视听对象( a u d i o v i s u a lo b j e c t s ，a v o ) ； m p e g - 4 还扩充了编码的数据类型，由自然数据对象扩展到由计算机生成的合成数 据对象，采用合成数据对象自然数据对象混合编码( s y n t h e t i c n a t u r a lh y b r i d c o d i n g ，s n h c ) 的算法。m p e g - - 4 的编码系统是开放的，它为各种多媒体应用提供 了一个灵活的框架和一套开放的编码工具，不同的应用可选取不同的算法。 m p e g 7 的工作于1 9 9 6 年启动，名称为多媒体内容描述接口( m u l t i m e d i a c o n t e n td e s c r i p t i o ni n t e r f a c e ) ，其目的是制定一套描述符标准，用来描述各种类型 的多媒体信息以及它们之间的关系，以便更快更有效地检索信息。这些多媒体材 料可以包括图形、静态图像、3 d 模型、声音、话音、电视及在多媒体演示中它们 之间的组合关系。m p e g 7 应用领域包括：数字图书馆( d i g i t a ll i b r a r y ) ，如图像目 录、音乐词典等；广播媒体的选择，如无线电频道，t v 频道等；多媒体编辑，如 个人电子新闻服务，多媒体创作等。 h 2 6 4 ( m p e g 4 的p a r t l 0 ) 发布于2 0 0 3 年5 月，它是由i t u - t 和i s o 共同制 定的新一代图像压缩标准，提供了比m p e g - 4 和h 2 6 3 更高的压缩性能，使图像 的数据量减少了5 0 ，有利于在有限的空间存储更多的图像数据；h 2 6 4 引入面向 数据包的编码，将数据打包后在网络中传输，对网络传输具有更好的支持，并且 支持了流媒体服务应用；h 2 6 4 具有较强的抗误码特性，能适应在噪声干扰大、丢 包率高的无线信道中传输：对不同时延要求具有灵活的适应性；编码和解码的复 杂度具有可扩展性，支持编码和解码复杂度的不等分配和扩展。h 2 6 4 中引入了一 第一章绪论 些新的压缩方法，以提高压缩效率，它具有以下特点：增强的运动补偿性能，采用 更小块进行变换编码，采用块间滤波器提高性能，高性能的熵编码，采用s p 和s i 帧支持视频流间切换等。 1 3 可编程逻辑器件 当今社会是数字集成电路广泛应用的社会，数字集成电路本身也在不断地进 行更新换代，它由早期的电子管、晶体管、小中规模集成电路、发展到超大规模 集成电路和许多具有特定功能的专用集成电路随着微电子技术的发展，设计和制 造，集成电路的任务己不完全是由半导体厂商来独立承担。系统设计师们更愿意 设计出专用集成电路芯片( a s i c ) ，希望a s i c 设计周期尽可能的短，最好在实验室 里就能设计出令人满意的a s i c 芯片，并立即投入实际应用中，因此，出现了现场 可编程门阵y l j ( f p g a ) 和复杂可编程逻辑器件( c p l d ) 。 f p g a c p l d 芯片都是特殊的a i s c 芯片，它们除了具有a i s c 的特点之外， 还具有以下几个优点： 随着超大规模集成电路工艺的不断提高，单一芯片内部可以集成上百万个晶 体管，f p g a c p l d 芯片的规模也越来越大，其单片逻辑门数己达到上百万门，它 所能实现的功能也越来越强，同时也可以实现系统集成。 f p g c p l d 芯片在出厂之前都做过了测试，不需要设计人员承担投片风险和 费用，设计人员只需在实验室里就可以利用相关的软硬件环境来完成芯片的最终 功能设计。所以，f p g a c p l d 的资金投入小，节省了许多潜在花费。 用户以反复编程、擦除、使用或者在外围电路不动的情况下利用不同软件就 可实现不同的功能。所以，用f p g a c p l d 试制样片，能以最快速度占领市场。 f p g a c p l d 软件包中有各种输入工具和仿真工具，及版图设计工具和编程器等全 线产品，电路设计人员在很短时间内就可完成电路的输入、编译、优化、仿真、 直至最后芯片的制作。当电路有少量改动时，更能显示出f p g a c p l d 的优势。使 用f p g a c p l d 进行电路设计时，电路设计人员不需要具备专门的集成电路的深层 次知识，f p g a c p l d 软件易学易用，可以使设计人员更能集中精力进行电路设计， 快速将产品推向市场。 f p g a 具备阵列型c p l d 的特点，结构又类似掩膜可编程门阵列，因而具有更 高的集成度和更强大的逻辑实现功能，使设计变得更加灵活和易实现。相对于 c p l d ，它还可以将配置数据存储在片外的e p r o m 或者计算机上，设计人员可以 控制加载过程，在现场修改器件的逻辑功能，同时f p g a 内部有丰富的触发器和 i o 引脚，可以做其他全制定及半制定a s i c 电路中的式样片，用户不需要投片生 产，就能得到合适的芯片，是a s i c 设计中开发周期短，研发费用最低，风险最小 4 基于m b 8 6 h 5 1 的h 2 6 4 视频编解码系统的设计与实现 的器件之一。正因为这些优点，f p g a 在视频编解码系统设计领域中占据着越来越 重要的地位，基于一些成熟芯片和f p g a 作为硬件平台来进行视频编解码器的硬 件系统设计成为一中快速有效的解决方案。以这种方式实现的系统，具有投入小、 开发周期短、风险低、设计需求变更灵活、稳定性好等特点，适合用小规模团队 的产品的快速实现。 1 4 论文内容及作者所完成的工作 本文简要介绍了视频压缩编码的原理和基本压缩方法，并在此基础上重点介 绍了h 2 6 4 a v c 视频压缩编码的标准，针对h 2 6 4 提出了基于富士通( f u j i t s u ) 公司的m b 8 6 h 5 1 芯片的编解码器的系统设计与实现。 本文作者参与了视频编解码系统方案的设计，主要负责f p g a 上一些主要功 能模块，如五路复合的码流控制和图像格式转换等外围设计的实现和验证工作。 论文具体章节安排如下： 第一章：绪论，介绍了视频图像压缩编码标准发展的历史和对现有视频编码 标准进行了简介，并介绍了可编程器件主要是c p l d 和f p g a 的特点，最后介绍 了作者的主要工作。 第二章：详述了h 2 6 4 a v c 视频编码标准的基本原理和框架以及h 2 6 4 a v c 的一些关键技术。 第三章：介绍了h 2 6 4 视频编解码芯片( m b 8 6 h 5 1 ) 的功能特性和接口。 第四章：在第二章和第三章的基础上，提出了基于m b 8 6 h 5 1 芯片和f p g a 的 视频编解码器的系统设计与实现，并对编解码器的性能进行分析。 第五章：结束语，对全文进行了总结，并在简要回顾论文的基础上对本文设 计的h 2 6 4 编解码系统提出了改进方法和建议。 第二章h 2 6 4 a v c 视频编解码标准概述 第二章h 2 6 4 a v c 视频编解码标准概述 1 9 9 6 年i t u t 在初步完成了h 2 6 3 视频编码国际标准的制定工作后，确定了 近期和长期的两个目标。近期目标是进一步扩展和增加h 2 6 3 标准的特色，增强 低比特率编码的能力，并产生了h 2 6 3 的增强版，即h 2 6 3 + 和h 2 6 3 + + 。长期目 标是制定一种新的视频编码标准，用更好的质量和更高的压缩比支持视频会议等 低比特率的应用，并由此产生了h 2 6 l 草案。2 0 0 1 年，m p e g 对h 2 6 l 草案进行 了评估并且认识到了h 2 6 l 潜在的优越性，于是由m p e g 和v c e g 的专家共同组 成了联合视频小组j v t ( j o i n t v i d e ot e a m ) ，进一步完善h 2 6 l 模型，共同制定了新 的视频编码国际标准，新标准的官方名称为：i t u tr e c h 2 6 4 和i s o i e cm p e g 4 p a r t1 0 a v c 。 这一标准的基本草案是在2 0 0 2 年1 0 月形成的，其最后的批准工作已在2 0 0 3 年3 月完成。h 2 6 4 n 1 在技术上集中了以往标准的优点，并吸收了标准制定过程中 积累的经验。与h 2 6 3 + 和m p e g - 4 相比，h 2 6 4 在使用与上述编码方法类似的最 佳编码器时，在大多数码率下最多可节省5 0 的码率。h 2 6 4 在所有码率下都能持 续地提供较高的视频质量，能工作在低延时模式以适应实时通信的应用( 如视频 会议) ，同时又能很好地工作在没有延时限制的应用中，如视频存储和以服务器为 基础的视频流式应用。h 2 6 4 提供包传输网中处理包丢失所需的工具，以及在易误 码的无线网中处理比特误码的工具。 h 2 6 4 的高压缩效率可以给视频实时通信、数字广播电视、可视电话、视频 存储等应用带来很多好处，提高了人们的视频欣赏质量。然而，与这种高压缩效 率相伴的是h 2 6 4 需要较高的实现复杂度，与m p e g 2 相比，虽然h 2 6 4 的压缩 性能提高了一倍以上，但h 2 6 4 的计算复杂度提高了两倍以上。h 2 6 4 获得优越性 能的代价是计算复杂度的大幅增加，例如分成设计、多帧参考、多模式运动估计、 改进的帧内预测等，这些都显著提高了预测的精度，从而获得了比其他标准好得 多的压缩性能。 2 1 1名词解释 2 1h 2 6 “a 、，c 的结构 2 1 1 1场、帧 视频中的一场或一帧可用于产生一个编码图像。一般情况下，视频帧可以分 6 基于m b 8 6 h 5 1 的h 2 6 4 视频编解码系统的设计与实现 为两种类型：连续视频帧和隔行视频帧。在电视中，为了减少大面积闪烁的现象， 把一帧分成两个隔行的场。显然，这时场内邻行之间的空间相关性较强，而帧内 邻近行之间的空间相关性较强强，因此，活动量较小或静止的图像宜采用帧编码 方式，而对活动量较大的运动图像则宜采用场编码方式。 2 1 1 2 宏块、片 l 、宏块( m b ) ：通常，一个编码图像可划分为若干个宏块，其中一个宏块由 一个1 6 1 6 亮度块y 和附加的一个8 8 c b 和一个8 8 c r 色度块组成。每个图像 中，若干宏块被排列成片的形式。 2 、片( s l i c e ) ：一个视频图像可以编码成一个或多个片，每个片至少包含一个 宏块( m b ) ，最多可包含整个图像的宏块，也就是说，一副图像中每片包含的宏 块数是不固定的。 设片的目的是为了限制误码的扩散和传播，应使编码片相互之间是独立的， 某片的预测不能以其他片中的宏块为参考，这样某片的预测误差就不会传播到其 他片中去。编码片有5 中不同的类型，i 片，p 片，b 片，s p 片和s i 片。 i 片只包含i 宏块，i 宏块利用当前片中已解码的像素作为参考进行帧内预测。 p 片包含p 宏块和i 宏块，p 宏块利用前面己编码的图像作为参考图像进行帧 内预测。一个帧内编码的宏块可进一步分割为：1 6 1 6 、1 6 x 8 、8 1 6 或8 x 8 亮 度块( 以及附带的色度块) 。如果选了8 8 的子宏块，则可再分成各种子宏块： 8 8 、8 4 、4 8 或4 4 亮度块( 以及附带的色度块) 。 b 片包含b 宏块和i 宏块，b 宏块利用双向的参考图像( 当前和未来的已编码 图象帧) 进行帧内预测。 s p 片( 切换p ) 包含p 和或i 宏块。用于不同编码流之间的切换，它是扩展 档次中必须具有的切换，其中还包含了一种特殊类型的编码宏块，即s i 宏块，s i 也是扩展档次中的必备功能。 片的句法结构有片头( s l i c eh e a d e r ) 和片的数据( s l i c ed a t a ) ，其中，片头规 定了片的类型，该片属于哪个图像和有关的参考图像等。片的数据包含了一系列 的编码宏块( m b ) 和或跳编码数据，每个宏块( ) 又包含头单元和残差数据。 2 1 1 3 参考图像 为了提高预测精度，h 2 6 4 编码器可从一组前面或后面已编码的图像中选出一 个或两个与当前图像最匹配的图像作为帧间编码的参数图像。这样，复杂度大大 增加，但多次比较的结果，使匹配后的预测精度显著提高。h 2 6 4 中最多可从1 5 个参数图像中进行选择，选出最佳的匹配图像。 第二章h 2 6 4 a v c 视频编解码标准概述 2 1 2 档次和级 h 2 6 4 支持三种不同的档次，每种档次支持一组特定的编码功能，并支持一类 特定的应用。 l 、基本档次( b a s e l i n ep r o f i l e ) ：利用i 片和p 片支持帧内编码和帧间编码， 支持利用基于上下文的自适应的变长编码进行的熵编码( c a v l c ) ，主要用于“视 频会话 ，如可视电话，会议电视，远程教学，远程医疗等； 2 、主要档次( m a i np r o f i l e ) ：支持隔行视频，采用b 片的帧间编码和加权预 测的帧内编码，支持利用基于上下文的自适应算术编码( c a b a c ) ，主要用于消 费电子应用，如数字电视广播，数字视频存储等； 3 、扩展档次( e x t e n d e dp r o f i l e ) ：支持码流间的有效切换，改进误码性能，但 不支持隔行视频和c a b a c ，主要用于网络的视频流，如视频点播等。 2 1 3h 2 6 4 的编码格式 h 2 6 4 制定的两个主要目标是高的视频压缩比和良好的网络亲和性。为此， h 2 6 4 的功能分为两层：视频编码层v c l ( v i d e oc o d i n gl a y e r ) 和网络提取层n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 。 v c l 数据表示被压缩编码后的视频数据序列，由于编码后的视频数据比特流 对于不同的传输网络和传输协议并不具有普遍的适应性，因此，h 2 6 4 a v c 在视 频编码层( v c l ) 的外部定义了网络提取层n a l 。每个n a l 单元包含一个原始字 节序列负荷( r b s p ) 和一组对应视频编码数据的n a l 头信息，n a l 单元序列的 结构如图2 1 所示。n a l 主要负责将视频编码层v c l 产生的视频编码数据正确的、 恰当的映射到不同的传输网络中去。当v c l 产生的编码视频数据比特流在某种特 定网络中传输时，n a l 针对这种网络及其传输协议的特性，对v c l 的视频码流进 行适合该网络及其传输协议的封装。这样，h 2 6 4 a v c 就可以在针对不同的传输 网络进行不同的封装，提高了网络适应性。 图2 in a l 单元序列的结构 2 2h 2 6 4 a v c 编解码器 同早期的视频编码标准一样，h 2 6 4 协议f 1 3 】并没有特意地定义编码器和解码 8 基于m b 8 6 h 5 1 的h 2 6 4 视频编解码系统的设计与实现 器，只是在协议文件中定义了编码视频比特流的语法和对这些比特流进行解码的 方法。在实际应用中，符合语法的编码器和解码器的实现留有很大的余地。h 2 6 4 协议中，基本的模块( 如预测、变换、量化、熵编码等) 与以前的协议( m p e g 1 、 m p e g 2 、m p e g - 4 、h 2 6 1 、h 2 6 3 ) 是一致的，关键的区别在于每个模块的细节 上，这也是h 2 6 4 之所以可以提高编码质量，降低码率的关键所在。 2 2 1 编码器的结构 h 2 6 舭a v c 编码器的结构原理图如图2 2 所示。 首先将输入的图像分成1 6 1 6 的宏块，每个宏块由三种元素组成：y 、c r 和 c b ，其中y 表示图像的亮度信息，c r 和c b 代表图像的色度信息，由于人的肉眼 对色度信息的敏感程度相对低于对亮度信息的敏感程度，所以色度空间采样格式 采用4 ：2 ：0 ，也就是说色度信息的采样率是亮度信息采样率的一半，因此采样后 得到的色度矩阵的高度和宽度都是亮度矩阵高度和宽度的一半。为了描述一个宏 块的信息，一般情况下，我们用1 6 1 6 的矩阵大小表示亮度信息，同时用两个8 x8 的矩阵大小表示色度信息。 从图2 2 中可以看出，此编码器包含两个通路，即“前向路径”和“重构路径。 在前向路径中，输入的当前预编码帧f n 是以宏块为单位被编码器处理的。首 先，每个宏块是按帧内( i n t r a ) 或帧间( i n t e r ) 预测编码模式进行处理。如果采用 帧内预测编码，由当前帧f 。已重建的采样点( u f n ) 构建的预测宏块p 。而在帧间 预测编码模式下，是根据参考帧f n 1 进行运动估计m e ( m o t i o ne s t i m a t i o n ) 和运动 补偿( m o t i o nc o m p e n s a t i o n ) 得到预测宏块p ，其中f 。1 是指过去或未来( 显示次序) 已经编码解码重建和滤波得到的多个参考帧。当前宏块与预测宏块p 做差得到残 差宏块d 。，再对该残差宏块进行d c t 变换t 与量化q 后得到得到一组量化后的 变换系数x ，然后对变换量化系数进行重排列，最后经熵编码，与解码所需的一 些边信息，如预测模式，量化参数，运动矢量等，一起组成压缩后的码流输出到 网络提取层n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 进行传输和存储。 重构路径中，变换系数x 经过反量化和反d c t 变换后得到残差宏块d 。，残 差宏块加上预测值p 得到u f 。( 未经滤波的帧) 。为了去除编解码环路中产生的噪 声，提高参考帧的图像质量，从而提高图像的压缩性能，设置了一个环路滤波器， u f 。经过去块滤波器去除块效应，最终得到重建图像f n ，它将被放入参考帧存储 器中作为下一帧或几帧编码的参考帧之一。 第二章h 2 6 4 a v c 视频编解码标准概述 9 图2 2h 2 6 4 a v c 视频编码结构图 从h 2 6 4 视频编码器的结构来看，h 2 6 4 a v c 与早期的视频编码标准饵2 6 1 ， m p e g 1 ，m p e g 2 ，h 2 6 3 ，m p e g - 4 ) 类似，也是建立在块匹配的混合编码框架上。 基本算法仍然是通过帧内帧间预测和运动补偿来消除视频序列中的时域冗余，通 过变换编码消除频域冗余。但是在一些局部的编码策略上，h 2 6 4 引入了一些新的 算法与特性，例如：从过去的d c t 变换，发展为整数变换，提高了精度；从传统 的单一的帧内编码，发展为更加高效、模式更加多样的帧内预测编码，进一步减 少了帧内编码的比特数；从以往使用的去块效应滤波器，发展为控制更加灵活的 去块效应滤波器，极大提高了图像的质量；从过去的单一参考帧，发展为多个参 考帧、不同块尺寸的运动估计进行帧间编码；在过去使用的i 帧、p 帧、b 帧为基 础，引入了s p 帧、s i 帧等新的编码类型，这些技术都增强了压缩能力，改善了对 传输错误的抵抗力，大大提高了h 2 6 4 压缩码流在信道中传输的可靠性，更加适 用于现在的无线多媒体和网络多媒体应用。 2 2 2 解码器的结构 h 2 6 4 a v c 解码器的结构原理图如图2 3 所示。 图2 3h 2 6 4 a v c 视频解码结构图 1 0 基于m b 8 6 h 5 1 的h 2 6 4 视频编解码系统的设计与实现 h 2 6 4 编码效率的提高是以计算复杂度的增加为代价的，与m p e g - - 4 相比， h 2 6 4 的解码复杂度提高了三倍。相对于编码器的结构而言，解码要简单一些。解 码器首先从网络提取层得到压缩的视频数据比特流，这些数据经过熵解码和重排 列得到量化后的一组变换系数x ，x 再经过反量化和反变换得到解码后的残差宏 块d 1 1 。由于在编码端编码的只是当前图像与参考图像的差值，所以在解码端就需 要将解码得到的残差图像与参考图像相加，以恢复原始图像。解码器利用从比特 流解码出的头信息得到预测宏块p ，这个预测宏块p 与之前编码器部分得到的预测 宏块p 是相同的，残差宏块d n 与预测宏块p 相加得到重建图像u f n ( 未经去块滤 波) ，重建图像经过环路滤波器的去块滤波后得到解码宏块f n 。其实接收端接收到 的图像与发送端发送的原始图像并不完全相同，存在一定的失真，但是这种失真 并不明显，以至于人的肉眼是感觉不到的。在实际应用中，接收端的用户并不可 能知道发送端发送的原始图像质量，所以只要将压缩的损伤控制在一定的范围内， 就能满足人们对图像通信的要求。 从以上论述可以看出，h 2 6 4 a v c 编码器中的重构路径是为了保证编码器和 解码器使用相同的参考帧构建出预测宏块p ，否则，编码器和解码器的预测宏块p 将不同，最终导致编、解码器间的误差累积和“漂浮( d r i f t ) 现象。 2 3h 2 6 4 a v c 的关键技术 2 3 1h 2 6 4 帧内预测编码 h 2 6 4 标准中，当编码帧内图像时可用帧内预测【1 8 j ，去除空间域上的冗余性， 进一步提高编码效率。在帧内预测模式中，预测值p 是基于已编码重建块和当前 编码块形成的。对于亮度像素而言，有两种预测模式：帧内4 4 和帧内1 6 1 6 。 其中，4 4 亮度子块有9 中可选的预测模式，独立地预测每一个4 4 亮度子块， 这种预测模式适合于带有大量细节的图像编码；1 6 1 6 亮度块有4 中可选的预测 模式，预测整个1 6 x1 6 亮度块，这种预测模式适合于平坦区域的图像编码。对于 色度块，也有4 中预测模式，类似于1 6 x1 6 亮度块预测模式。编码器通常选择使 预测块p 块和当前块差异最小的预测模式。 第二章h 2 6 4 a v c 视频编解码标准概述 2 3 1 1 4 4 亮度预测模式 q abcdefg h ? iabcdi ； ； 】ef g h l j k ； 重 j kl i lmno p i 图2 4 待预测像素和参考像素 心彦 刁7 1 8 6 图2 5 帧内4 4 预测的8 个预测方向 如图2 4 所示，4 x 4 亮度块a p 为待预测像素，其上方和左方的像素a q 为 已编码和重构的像素，用作编解码器中的预测参考像素。4 4 块( 除了边缘块特 殊处理以外) 每个像素都可用这1 7 个最接近的已编码的像素的不同加权和来预测。 图2 5 是帧内4 x 4 预测的九种种预测模式，其中模式2 是d c 预测，是根据a 们 中已编码像素预测，而其余模式只有在所需预测像素全部提供才能使用。 2 3 1 21 6 1 6 亮度块预测模式 1 6 1 6 整个亮度块可以整体预测，使用与当前宏块相邻的3 3 个像素生成亮度 分量的预测值。共有4 种预测方式：垂直预测，水平预测，d c 预测和平面( p l a n e ) 预测，分别利用当前宏块上方、左方和左上方己编码的像素来预测当像素值。 1 2 基于m b 8 6 h 5 1 的h 2 6 4 视频编解码系统的设计与实现 2 3 1 38 8 色度预测模式 每个帧内编码宏块的8x8 色度成分由已编码的左上方色度像素预测得到的， c b 和c r 两种色度成分通常用同一种预测模式。它的4 种预测模式类似于帧内1 6 1 6 预测的4 种预测模式，只是模式编号不同。其中d c ( 模式0 ) 、水平( 模式1 ) 、 垂直( 模式2 ) 、平面( 模式3 ) 。 2 3 2 帧间预测编码 对于视频图像来说，前一帧图像和后一帧图像之间有很多的相同( 相t v 2 ) 部分， 这种冗余信息叫做时间冗余。对于序列图像来说，这是最主要的一种冗余。我们 可以用前一帧图像中的相同( 相似) 部分的数据来预测当前帧中的数据，然后对于预 测数据与实际数据的差值进行编码压缩，能够大幅度的压缩视频数据。帧间预测 编码1 1 7 1 就是利用连续图像序列之间的相关性来进行压缩的。其中采用了多种运动 估计。 。 多宏块划分模式估计：h 2 6 4 的预测模式中，一个宏块可以划分1 6 1 6 、 1 6 8 、8 1 6 、8 8 、8 4 、4 8 和4 4 七种不同模式的尺寸，这种那 个多模式的宏块划分更切合图像中那个的实际运动物体的形状，于是每 个宏块中可包含有1 、2 、4 、8 、1 6 个运动矢量，提高了运动估计的运算 精度。 。 高精度估计：h 2 6 4 中采用了1 4 像素甚至1 8 像素的运动估计，即真正 的运动矢量的位移以1 4 甚至1 8 像素为基本单位，显然，运动矢量位移 的精度越高，则帧间剩余误差越小，传输码流越低，压缩率也就越高。 。 内插运算：h 2 6 4 中采用了6 阶的f i r 滤波器的内插获得1 2 像素位置的 值，当1 2 像素值获得后，1 4 像素值可以通过线性内插获得，对于4 ：l ： l 的视频格式，亮度信号的1 4 像素精度对应于色度部分的1 8 像素的运 动矢量，因此，需要对色度信号进行1 8 像素的内插运算。 。 多参考帧估计：h 2 6 4 中可采用多个参考帧的运动估计，即在编码器的缓 存中存有多个编码好的参考帧，编码器从其中选择一个参考帧( 此参考 帧给出了最好的编码效果) ，并指出是哪个帧被用于预测，这样就能获得 比只用上一个刚编码好的帧作为预测帧更好的编码效果。 2 3 3 整数d c t 变换和量化 在h 2 6 4 中，变换编码和量化过程中采用了整数d c t 变换【2 】，并将尺度调整 融合到量化过程中。由于变换过程仅通过加法和移位操作完成，用整数运算代替 第二章h 2 6 4 a v c 视频编解码标准概述 浮点运算，这不仅提高了变换速度，也解决了反变换的失配问题。h 2 6 4 采用标量 量化技术，它将每个图像样点编码映射成较小的数值。其优点如下： - 变换是一种整数变换，计算过程中不会出现浮点数，精度高； - 核心变换( 整数变换经过缩放后的一个变换，把其中的缩放矩阵放到量化 过程当中) 只需简单的加法和移位就能完成，减少了乘法运算的次数； - 量化与反量化过程也引人一些参数，作了相应的处理，只需查表及移位 就能够完成； 整数变换由于采用了精确的整数，所以能够消除编码与解码的不匹配问 题。 2 3 3 1 整数变换 h 2 6 4 标准中，整数d c t 变换是基于4 4 块的，并采用新的变换核： y = c x c roe = ll 2l 11 12 l1 12 一ll 21 x 12 11 l一1 12 l1 12 11 11 口2 a b 2 a 2 a b 2 a b 2 6 2 4 a b 2 6 2 4 其中，c 是核矩阵，x 是残差4 x 4 块的系数，e 是尺度调整矩阵，a = l 2 ，6 = 历， c x c r 称为核心变换，只需要用加法和移位运算就能实现。 由于变换块尺寸由8 8 降至4 4 ，但是能量集中性变差，故在h 2 6 4