（通信与信息系统专业论文）mpeg2视频编解码系统的硬件设计与实现.pdf

摘要 随着集成电路工艺技术的发展，f p g a 和专用集成电路( a s i c ) 越来越多地 应用到通信、图像处理和视频处理等领域。f p g a 逐渐向大容量高速度方向发展， 在逻辑密度、性能和功能上有了极大的提高。由于a s i c 的集成度越来越高，以及 片上系统( s o c ) 设计方法的迅速发展，使得许多以前无法在硬件上实现的算法 现在很容易实现。本文首先介绍视频压缩编码发展的概况：然后介绍基于变换编 码的视频压缩方法，并简要阐述m p e g 一2 标准的内容；随后给出了一利，基于专用 芯片的m p e g 2 视频压缩编解码器硬件实现方法。另外，针对视频在不可靠网络 中的传输问题，提出了一种基于m p e g 2 视频传输中的信道纠错编解码方案并给 出了具体的f p g a 硬件实现方法。 关键字：硬件实现视频压缩m p e g 2 纠错编码f p g a a b s t r a c t w i t ht h ed e v e l o p m e n to f i n t e g r a t e dc i r c u i t ，f p g aa n d a s i ch a v eb e e nw i d e l yu s e di nm a n y f i e l d ss u c ha st e l e c o m m u n i c a t i o n ，i m a g ep r o c e s s i n g ，v e d i o c o m p r e s s i o na n d s oo n f p g ai s d e v e l o p i n gi nl a r g e c o n t e n ta n dh i g h s p e e dw i t hi m p r o v e m e n t i nl o g i c - d e n s i t y ，c a p a b i l i t ya n d f u n c t i o nn o w , t h ei n c r e a s eo f c o m p l i c a t i o ni ns t r u c t u r ea n d f a s t - b r e a k i n go f s o cd e s i g nm e t h o d m a k es o m ea r i t h m e t i ce a s yt or e a l i z a t i o ni nh a r d w a r e t h e s u r v e yo f v i d i oc o m p r e s s e dc o d i n gi s i n t r o d u c e di nt h i sp a p e ra tf i r s t t h e nt h ev i d i oc o m p r e s s e dm e t h o db a s e do nt r a n s f o r mc o d i n ga n d t h ec o n t e n to f m p e g 一2s t a n d a r da r ep r e s e n t e d t h eh a r d w a r er e a l i z a t i o nm e t h o do f m p e g 一2v i d i o c o m p r e s s e dd e c o d e ri sg i v e ni nd e t a i l a tl a s t ，a i ma tt h ev i d i ot r a n s m i s s i o np r o b l e mi nu n c e r t a i n t y n e t w o r k ，as c h e m eo f c h a n n e le r r o rc o r r e c t i o nc o d i n g d e c o d i n gb a s e do nm p e g - 2v i d i o t r a n s m i s s i o na n di t sf p g ah a r d w a r er e a l i z a t i o na r ep r o p o s e d k e y w o r d s ：h a r d w a r er e a l i z a t i o n ，v i d e oc o m p r e s s i o n ，m p e g - 2 ， e r r o rc o r r e c t i o nc o d i n g ，f p g a 创新性声明 yr 8 弓8 8l 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中加以标注和致谢中所罗列的内容以外，论文中不包含 其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中做了明确的说明并表示了谢意。 本人签名 叠塑蛙 日期：罩型垒，：! 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或 部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文在解 密后遵守此规定) 本人签名 导师签名 4 亟投嗍巡毕 鹏嘲叫 第一章绪论 第一章绪论 1 1 图像压缩编码技术的发展历史与现状 在许多工程应用领域，都会遇到需要对大量图像数据进行传输与存储的问题。 例如，在传输方面：数字电视、遥感照片、由雷达、飞机等提供的军事侦察图像、 可视电话、会议电视和传真照片等；在存储方面：教育、商业、管理等领域的图 文资料、c t 机、x 射线机等设备的医用图像、天气云图等等，几乎涉及各个行业。 为了利用有限的存储容量存储更多的图片，或者为了在最短的时间内传递尽可能 多的图片，亦或是为了在有限的带宽条件下传输尽可能多的活动图像，就要研究 怎样才能最大限度的压缩图像数据，并且保证压缩后的重建图像能够被用户所接 受，这就是图像编码所要解决的问题。 1 9 4 8 年提出电视信号数字化后，就开始了对图像压缩编码技术的研究工作， 至今已有5 0 多年的历史。5 0 和6 0 年代，限于客观条件，仅对帧内预测法和亚取 样内插复原法进行研究。1 9 6 6 年j b o n e a l 对比分析了d p c m 与p c m 并提出了 用于电视的试验数据。1 9 6 9 年进行了线性预测编码的实际试验。1 9 6 9 年举行首届 图像编码会议( p i c t u r ec o d i n gs y m p o s i u m ) 。7 0 年代开始进行帧问预测编码的研究。 8 0 年代开始对运动补偿( m c ) 所用的运动估值( m e ) 算法进行研究。变换编码是 1 9 6 8 年h c a n d r e w s 等人提出的，采用的是二维离散傅里叶变换。此后相继出现 了其他的变换编码方法，其中包括二维d c t 。对模型编码的研究始于8 0 年代初。 进入9 0 年代以后，i t u t 和i s o 制定了一系列图像编码国际标准。如： 1 1 9 9 0 年为会议电视和可视电话制定的h 2 6 1 标准。 2 1 9 9 1 年为静止图像编码制定的j p e g 标准。 3 1 9 9 1 年为电视数字图像存储而制定的m p e g 1 标准。 4 1 9 9 3 年为活动图像及其伴音压缩而制定的通用编码困际标准m p e g 2 。 5 1 9 9 4 美国“大联盟”公布数字h d t v 系统的说明书草案。美国“先进电 视系统委员会”拟定“数字电视标准”。 6 1 9 9 6 年i t u t 为甚低码率视频编码而制定的h 2 6 3 标准。 7 1 9 9 8 年i t u - t 拟定h 2 6 3v e r s i o n 2 草案，即h 2 6 3 + 。 8 1 9 9 8 年拟定m p e g 4 草案，首次在编码中引入了视频对象( v i s u a lo b j e c t l 和基于内容编码的概念。 这些标准的制定极大地推动了图像编码技术的实用化和产业化。会议电视等 各类使用图像编码技术的产品纷纷推出，数字激光唱盘( v c d ) 等产品以百万台的数 m p e g 2 视频编码系统的设计和实现 量级走向市场，进入家庭，从而迎来了数字图像通信的黄金时代。 1 2 图像压缩编码技术的应用 图像编码一系列国际标准的提出标志着图像编码技术已经成熟，开始由学术 研究转为产业化，前景十分诱人。早在1 9 9 1 年就有人预言，图像编码技术的突破 具有十分巨大的意义。其意义之大已到可以促使现有信息产业的结构发生巨变的 程度，它使通信，广播，计算机产业的界限变得模糊了。近几年来的实践也证实 了这个预言。目前，国外已出现了有线电视公司和通信、计算机公司之间的相互 合作，如：美国最大的有线电视公司和软件公司合作开发交互式电视等。 图像编码技术对数字电视的发展超着至关重要的作用。数字电视具有图像质 量高、频谱利用率高、可以实现多种业务的动态组合和统计复用、易于加密、具 有可扩展性、可分组性和互操作性、可以灵活组成交互式电视系统等优点。这些 优点是模拟电视所无法比拟的。可以断言，下一代电视必定是数字电视。但是数 字电视受到数据量庞大的约束，所以近几年来图像编码研究主要集中在视频压缩 上，改进数字电视的性能，促使各等级的数字电视的成功实现，扩大其应用领域。 这从今年来制定的图像编码国际标准中视频压缩编码和静止图像编码国际标准的 数量比例中即可窥见一斑。以分辨率为基础，数字电视可分为四个等级：可视电 话、会议电视、数字标准清晰度电视和高清晰度电视( h d t v ) 。 图像编码技术在其它方面同样有很多应用，如： 1 电视计算机( t e l e c o m p u t e r ) 。它是介于电视与计算机之间的应用。它将个人 计算机和电视融为一体，构成一个多媒体工作站。 2 多媒体出版物，包括电子图书，电子报刊等。 3 各种图像信息系统，如指纹库，遥感图像数据库等。 图像压缩技术已经为开创新的应用领域提供了良好的技术基础。如m p e g 一4 专家组为m p e g 4 制定的功能目标指出，m p e g 4 的目标不仅是改进的可视电话， 而且应该满足广播、通信、计算机领域相互渗透的要求，以交互性、高压缩比以 及多种存储与通信信道相连为特色，从而构成现有的国际标准不支持的，全新的 视听应用标准。总之，图像压缩技术为开拓全新的应用领域打下了坚实的基础。 1 3 现有的视频编码标准及其介绍 自8 0 年代以来，由于数字存储媒体、电视传播及通信等应用中对运动图像编 码方法的需求日益增长，i r i u ，i s o 等国际组织都成立了专门的机构，致力于制订 运动图像压缩编码的国际标准。到目前为止，已经开发和正在开发的运动图像压 缩标准有：h 2 6 1 、h 2 6 3 、m p e g l 、m p e g 一2 、m p e g - 4 、m p e g 一7 和m p e g 2 1 。 第一章绪论 下面对这些标准分别做一简单介绍。 c c i t t ( 日p 后来的i t u ) 第1 5 研究组于1 9 8 4 年成立了“可视电话专家组”，经 过1 9 8 5 1 9 8 8 三年的研究，提出了视频编解码器的的h 2 6 1 建议草案，以覆盖i s d n 基群信道，满足会议电视和可视电话业务曰益发展的需要。1 9 9 0 年7 月通过了该 建议，定名为“p 6 4 k b p s 视听业务的视频编码器”，其中p = l 3 0 。为了满足近 年来在普通公用电话网或移动电话网上进行可视电话通信的需要，即视频压缩率 低于6 4 k b p s ，在诸如2 8 8 k b p s 等速率的信道上进行可视电话通信，i t u t 在h 2 6 1 建议基础上进行了改进，于1 9 9 5 年提出了h 2 6 3 建议“甚低码率通信的视频编码”。 m p e g 1 制定于1 9 9 2 年，可适用于不同带宽的设备，如c d r o m 、v i d e oc d 。 他的目的是把2 2 1 m b p s 的n t s c 图像压缩到1 2 m b p s ，压缩率为2 0 0 ：1 。传输速率 为1 5 m b p s ，编码速率最高可达4 5 m b p s ，但随着速率的提高，其解码后的图象 质量有所降低。m p e g 1 主要是针对数字存储媒体，但它也被用于数字电话网络f ! 的视频传输，如非对称数字用户线路( a d s l ) ，视频点播和教育网路等。 m p e g 2 制定于1 9 9 4 年，设计目标是高级工业标准的图象质量以及更高的传 输率。它所提供的传输速率在3 m 一1 0 m b p s 。m p e g 2 技术就是实现d v d 的标准技 术，现在d v d 播放器已经在家庭中普及起来了，除了用于d v d 外，还可以为广 播、有限电视网、电缆网络以及卫星直播提供广播级的数字视频。 m p e g 一4 旨在将众多的多媒体应用集于一个完整的框架内，为不同性质的视 频、音频数据制定通用的编码方案，提出基于内容( c o n t e n t b a s e d ) 的视频对象 ( v i d e oo b j e c t ) 的编码标准。它不仅针对一定比特率下( 4 8 0 0 - - 6 4 0 0 b p s ) 的视频、 音频编码，更加注重于多媒体系统的交互性和灵活性。为了达到这个目标，m p e g 一4 引入了对象基表达( o b j e c t b a s e dr e p r e s e n t a t i o n ) 的概念，用来表达视听对象 f a u d i o v i s u a lo b j e c t s ，a v o ) ；m p e g 4 扩充了编码的数据类型，由自然数据对象扩 展到计算机生成的合成数据对象，采用合成对象自然对象混合编码 f s y n t h e t i c n a t u r a lh y b r i dc o d i n g ，s n h c ) 算法；基于内容的压缩编码是m p e g 4 研 究的热点。m p e g 4 的编码系统是开放的，为各种多媒体应用提供一个灵活的框架 和一套开放的编码工具，不同的应用可选取不同的算法。 m p e g 一7 的工作于1 9 9 6 年启动，名称叫做多媒体内容描述接口( m u l t i m e d i a c o n t e n td e s c r i p t i o ni n t e r f a c e ) ，目的是制定一套描述符标准，用来描述各种类型的 多媒体信息及它们之间的关系，以便更快更有效地检索信息。这些媒体材料可包 括静态图像、图形、3 d 模型、声音、话音、电视以及在多媒体演示中它们之间的 组合关系。m p e g 7 的应用领域包括：数字图书馆( d i g i t a l l i b r a r y ) ，例如图像目录、 音乐词典等：广播媒体的选择，例如无线电频道，t v 频道等：多媒体编辑，例如 个人电子新闻服务，多媒体创作等等。 m p e g 2 视频编码系统的设计和实现 1 4 论文内容及作者所完成的工作 本文简要介绍了视频压缩编码原理和基本的压缩方法以及应用于视频传输的 信道纠错编码原理，并在此基础上重点研究了m p e g 2 视频压缩编、解码的标准， 提出了一种基于硬件的实现方案。并设计了基于此视频编解码器的包含差错恢复 的信道编解码方案，用现场可编程门阵列f p g a 实现了上述方案。 本文作者参与了整个系统方案的论证和设计，着重参与了m p e g 一2 视频压缩 编、解码器以及应用于视频的信道编解码器的设计与实现，并完成了相应部分的 硬件设计和调试。 论文章节安排如下： 第一章绪论对图像压缩编码技术发展的历史和现状作了简单的回顾，对图像 压缩编码方法在实际中的应用和现行的图像压缩编码标准作了简要的介绍，并介 绍了作者的主要工作。 第二章介绍了m p e g 一2 视频压缩编码国际标准。主要讨论了标准中的系统层 和视频编码部分。 第三章在简要介绍了m p e g - 2 视频编、解码系统结构的基础上，详细阐述了基 于m p e g 2 标准的视频压缩编码、解码模块的设计方案，并给出了系统的主要技 术指标和系统结构框图。最后给出相应的硬件实现电路。 第四章在简要介绍信道纠错编解码原理的基础上，阐述了一种应用于视频传 输的信道纠错编解码方案。并重点对其中的r s 编解码模块和卷积交织器和解交织 模块的实现方法作了详细的描述，最后给出了仿真和实现结果。 第二章m p e g 2 视音频压缩编码标准的介坌i ： 第二章m p e g 一2 视音频压缩编码标准的介绍 2 1m p e g 一2 标准的组成 m p e g 一2 标准是在m p e g 1 标准的基础上产生的。m p e g 2 标准是为了满足对 诸如数字存储媒体，电视传播以及通信等应用中对运动图像及相关音频一般的编 码方法的日益增长的需求而制定的，是针对大范围码率而定义的编码标准，最高 速率可至4 0 m b s ，压缩比已高达2 0 0 ：1 。m p e g 一2 标准除了可以对音频和视频进行 高效的、低比特率的压缩以外，还具有随机访问、特技模式、多点传送、多种音 频和视频、3 d 图像等特性。 m p e g 一2 标准的正式名称为“i s o i e c l 3 8 1 8 信息技术一活动图象和相关声音 信息的一般编码方法”。这个标准由以下1 0 部分组成： 第一部分- - i s o i e c l 3 8 1 8 - 1 ，s y s t e m ：系统。描述多个视频、音频和数据原始 流合成传输流和节目流的方式。 第二部分- - i s o i e c l 3 8 1 8 - 2 ，v i d e o ：视频。描述视频编码方法。 第三部分一i s o i e c l 3 8 1 8 - 3 ，a u d i o ：音频。描述与m p e g 一1 音频标准反向兼 容的音频编码方法。 第四部分- - i s o i e c l 3 8 1 8 - 4 ，c o m p l i a n c e ：兼容测试。描述测试一个编码码流 是否符合m p e g 2 码流的方法。 第五部分一i s o f l e c l 3 8 1 8 - 5 ，s o f t w a r e ：软件仿真。描述了m p e g 一2 标准第一、 二、三部分的软件实现方法。 第六部分- - i s o i i e c l 3 8 1 8 6 ，d s m c c ：数字存储媒体一命令与控制。描述交 互式多媒体网络中服务器与用户间的会话信令集。 第七部分- - i s o i e c l 3 8 1 8 7 ，n b c a u d i o ：描述不与m p e g l 音频反向兼容的 多通道音频编码。 第八部分- - i s o i e c l 3 8 1 8 8 ，1 0b i tv i d e o ：1 0b i t 视频扩展。 第九部分- - i s o i e c l 3 8 1 8 - 9 ，r e a lt i m ei n t e r f a c e ：传输流的实时接口。 第十部分- - i s o i e c l 3 8 1 8 。1 0 ：d s m c cc o n f o r m a n c e ，d s m - - c c 的一致性 扩展。 m p e g 一2 标准的核心内容是前三部分：系统、视频和音频。由于本文主要研究 视频编码方法，所以这里将主要介绍系统和视频部分。 m p e g 2 视频编码系统的设计和实现 2 2m p e g 一2 的系统层 m p e g 2 的系统部分为了使编码码流能够在卫星、电缆和地面频道等信道中传 输以及兼容m p e g 1 系统层码流，定义了两种码流结构：节目流( p r o g r a ms t r e a m ) 和传送流( t r a n s p o r ts t r e a m ) 结构。它们分别适用于不同的场合。典型的m p e g - 2 系统层结构如图2 1 所示 图2 1m p e g 2 系统层结构框图 原始的视频和音频信息经压缩编码后送到m p e g 2 系统层编码部分。系统层 先对压缩数据流进行打包，形成p e s 数据包。p e s 数据包是节目流和传送流共用 的一种数据结构，它除了含有压缩后的视频和音频信息外，还含有一些系统信息。 最后，p e s 数据包由复合器复合成系统节目流和传输流输出。 下面对节目流( p s ) 和传送流( t s ) 做一简要介绍 1 1m p e g 一2 节目流( p s ) 与m p e g - 1 系统流兼容。标准要求m p e g 2 节目 流解码器能够正确对m p e g 1 系统流进行解码。同m p e g 一1 系统流一样， m p e g 2 节目流适用于无误码影响的环境( 如磁盘存储器等) 以及基于 软件的解码处理。节目流( p s ) 的数据包通常比较长而且其长度不是固 定的。典型的节目流数据包长度在1 k 一2 k 字节范围内，其长度通常和磁 盘磁道的长度相匹配。节目流( p s ) 同样支持m p e g 2 标准的一些特性， 如随机访问、特技模式等。图2 - 2 是一个典型节目流解码器的结构框图。 数字存储媒体 图2 2 典型节目流解码器 第二章m p e g 2 视音频压缩编码标准的介绍 2 ) m p e g 一2 传送流( t s ) 是面向噪声信道定义的，它改善了传送码流对信 道噪声的鲁棒性。传送流数据包的长度为固定的1 8 8 个字节，因此，它 非常易于直接用硬件进行处理，也适合在各种信道( 如有线电视网、卫 星传输) 中传输。同时，传送流也支持将多个具有不同时间基准的节目 复合到一个传送流中。典型的传送流解码器如图2 3 所示。 图2 , 3 传送流解码器 2 3m p e g 2 视频编码方法 m p e g 2 视频编码较m p e g - 1 做了较大的改进。考虑到视频信号的隔行扫描 特性，m p e g - 2 专门设置了“按帧编码”和“按场编码”两种模式，并相应地对运 动补偿和d c t 方式做了扩展，从而显著提高了压缩编码的效率。 2 3 1 基于场的运动补偿 对于隔行扫描的视频信号，m p e g 2 标准定义了两种图像结构：f r a m e p i c t u r c s 和f i e l d p i c t u r e s 。f i e l d p i c t u r e s 由隔行扫描图像序列中单独的场组成，并以此为基 础进行宏块的划分和编码。f r a m e ，p i c t u r e s 由隔行扫描图像序列中相应的奇场和偶 场图像共同组成，并以合成图像为基础进行宏块的划分和编码。对于f r a m e - p i c t u r e s 来说，合成图像中相邻的行来自于不同的场。因此，当图形运动时，垂直方向上 相邻象素之间的相关性会减少。基于此m p e g 2 标准提出了几种新的运动补偿的 方式，以便更有效的提高运动补偿效率。下面简单介绍两种运动补偿方式： ( 1 ) f i e l d - p i c t u r e s 的按场预测方法 这种方式类似于f r a m e p i c t u r e s 的按帧预测。它的目标宏块的象素来自同一场 图像，预测宏块的象素也来自于同场图像，但这场图像可以是与目标宏块所在 场匹配的场也可以不是。对于p 场图像来说，预测宏块可以取自最近编码的i 场和 p 场图像。如图2 4 中的t 5 场，它的预测宏块可以来自于t 4 或b 4 ；b 5 的预测宏 m p e g 2 视频编码系统的设计雨j 实现 块可以来自于t 5 或b 4 场。同理，对于b 场图像来说，预测宏块可以取自最近编 码i 帧和p 帧。图中的t 2 场的前向预测宏块可以取自t 1 或b l 场，它的后向预测 帧可以取自t 3 或b 3 场。 参考场图像 8 场图乡一一、芝考场图像 。j j 1 一二乎7 一一卜、 卜，牟t 卜 )； ，宁 宁 ，i 牛工 ， )66 ( 2 ) f r a m e - p i c t u r e s 的按场预测 图2 4 场序列 参考场g - t 像p 场圈像 车一一丽 6 r | t 4b 4t 5b 5 45 图2 5 宏块的划分 在这种方式下，首先把f r a m e p i c t u r e s 中的目标宏块分为两个1 6 x8 的子块， 第一个子块由目标宏块中的奇数行组成，另一个子块由目标宏块中的偶数行组成， 然后分别对这两个子块单独进行按场预测。这与前面的f i e l d p i c t u r e s 的按场预测 有所不同，前一种方式是以1 6 1 6 的宏块为单位进行预测的，而这种方式是以1 6 8 的子块为单位进行预测的。对于p 帧来说，它的1 6 8 的预测块可以是最近解 码的i 帧或p 帧中的任一场，所以与目标宏块不会属于同一帧，这样它的每个目标 宏块会有两个运动矢量，分别对应两个不同的子块。对于b 帧来说，这种预测方 式会有两个或四个运动矢量。这种方式主要用于快速运动的图像。 表2 1 对标准中定义的几种运动补偿方式的性能进行了简单的比较。实验采 第二章m p e g 2 视音频压缩编码标准的介绍 用的是4 ：2 ：0 的图像序列、速率4 m b i t s s 、g o p 的长度为1 5 。从表中可以看出， 对于采用按帧场预测方法，图像的信噪比最高可以得到1 3 8 d b 的改善。对于运 动较 图象序列按帧琏明补偿 按场运动补偿按帧，场的运动补偿 ( 按帧d c t )( 按场d c t )( 按帧场的d c t ) 花网 2 9 0 3 2 8 9 9 ( 一0 0 4 )2 9 6 3 ( + 0 6 0 ) 手机 2 8 1 3 2 7 2 7 ( 一0 8 6 ) 2 8 2 7 ( + o 1 4 ) 足球 3 3 9 9 3 4 9 2 ( + o9 3 )3 5 1 2 ( + 1 1 3 ) 公共汽车 3 0 4 6 3 1 1 0 ( + 0 6 4 13 1 6 0 ( + 1 1 4 ) 表2 1 几种运动补偿方式性能对照( s n r ，d b ) 2 3 2 二维d c t 由于m p e g 2 标准定义了两种图像结构：f r a m e - p i c t u r e s 和f i e l d p i c t u r e s ，所 以它的二维d c t 变换分为基于场的d c t 和基于帧的d c t 两种方法。 基于f r a m e p i c t u r e s 的d c t 变换与m p e g 一1 中的变换方法是类似的。首先将 图像划分1 6 1 6 的宏块，然后以8 8 的象素块为单位将每个宏块划分为4 个子 块，最后直接对每一子块数据进行d c t 变换。 基于f i e l d - p i c t u r e s 的d c t 变换可分为两种情况。第一种情况下，图像以场为 单位，所以进行d c t 变换时与基于帧的变换方式基本相同。第二种情况下，图像 以帧为单位。这种方式在子块的划分上与基于帧的变换方式有所不同。每一帧图 像先被划分成1 6 1 6 的宏块，然后对宏块进行重新组合，按宏块中每一行所在的 场将宏块分成两个1 6x8 的子块，最后对每一子块中的两个8 8 的数据块进行 d c t 变换。重新组合的优点是增加相邻象素在垂直方向上的相关性，使能量在d c t 变换后更为集中，从而取得更好的压缩效果。 表2 2 对上述几种d c t 变换方法的压缩效果进行了简单的对比。实验采用的 是4 ：2 ：0 的图像序列、速率4 m b i t s s 、g o p 的长度为1 5 。表中数据是对隔行扫描 图像的亮度信号进行d c t 变换编码得到的。从表中可以看出：帧场的d c t 变换编 码比单纯的按帧编码可以提高大约0 3 2 d b 的信噪比；帧场的d c t 变换在图像运 动速度较快时对信噪比的改善更大，所以这种方式适合对快速图像序列进行处理。 图象序列按帧d c t按场d c t按帧，场d c t 花园 2 9 3 6 2 9 0 4 ( - 0 3 2 ) 2 9 3 8 ( + 0 0 2 ) 手机 2 6 6 6 2 5 8 7 ( - 0 7 9 ) 2 66 3 ( - 0 0 3 ) 足球 3 5 5 4 3 5 9 5 ( + 0 4 1 )3 6 0 4 ( + 05 0 ) 公共汽车 3 1 0 5 3 1 ，o o ( - o 0 5 )3 1 3 l 汁o 2 6 ) 表2 2 按帧，场编码与按帧编码的亮度信噪比对照表( s n r ，d b ) 0m p e g 一2 视频编码系统的设计和实现 2 3 3m p e g 一2 标准中的变长编码 由于视频信号的隔行扫描特性，m p e g 一2 标准对d c t 变换系数的变长编码方 法也做了一些改进，从而更进一步提高了数据压缩率。标准提出了一种新的系数 扫描方式一交替扫描( a l t e r n a t es c a n ) 。这种扫描方式是基于隔行扫描图像的垂直 相关性较逐行扫描图像要小的特性得到的。图2 6 显示了两种扫描方式的扫描顺 序。 ( a ) z i g z a gs c a n( b ) a 1t e r n a t es c a n 图2 6z i g z a g 扫描和a l t e r n a t e 扫描 实践证明：a l t e r n a t e 扫描方式对运动较快的图像序列可以取得更好的压缩效 果。表2 3 是z i g z a g 扫描方式和a l t e r n a t e 扫描方式的性能比较。 图象序列 z i g z a gs c a n a l t e m a t es c a n 花园2 9 3 6 2 9 6 l 卜 o 2 5 ) 手机2 8 2 0 2 8 2 4 ( + 0 0 4 ) 足球3 4 7 7 3 5 0 7 ( + 0 3 0 ) 公共汽车3 1 3 5 3 1 5 7 ( + 0 2 2 、 表2 3 z i g z a g 扫描与a l t e r n a t e 扫描方法的比较( s n r ，d a ) 实验采用的是4 ：2 ：0 的图像序列、速率4 m b i t s s 、g o p 的长度为1 5 、每3 帧中 有一个p 帧。从表中可以看出：对于隔行扫描的视频信号，运用a l t e m a t es c a n 方 法可提高0 2 0 3 d b 的信噪比。而且对于快速运动的图像序列来说( 如足球) 运用 a l t e r n a t es c a n 效果更加明显，对于有较小运动变化的图像序列手机来说，运用这 两种方法几乎没有太大的区别。 2 4m p e g 一2 视频的档次等级结构 m p e g 一2 作为一个通用的压缩标准，可以满足不同条件下的不同应用。不同的 条件是指不同的比特率、不同的传输信道和存储介质和不同的时延需求；不同的 第二章m p e g 2 视音频压缩编码标准的介绍 应用则包括广播电视、卫星电视、有线电视等传输系统，高清晰度电视，a t m 上 的视频点播、d v d 和c d - - r o m 等，这些应用对比特率，时延等都有不同的需要。 面临这种情况，m p e g 一2 引入了档次和等级结构，巧妙的解决了这问题。 m p e g 一2 定义了视频指标的一系列子集，按照不同的层和等组织起来。层定义 了涉及到的压缩过程和功能的数量，或者说，1 个层就是整个m p e g 2 语法的1 个子集；在每一层里，又按照编码参数的大小，如分辨率、码率等，分为不同的 等级。在一层内，不同等级的性能变化范围很宽。在m p e g - 2 中，共定义了四个 等级： 低等级( l o w l e v e l ) ，相当于c i f ( 公共中间格式) 的分辨率( 3 5 2 2 8 8 1 ； 主等级( m a i n l e v e l ) ，相当于标准清晰度电视的分辨率( 7 2 0 5 7 6 ) ； 1 4 4 0 等级( h i g h - - 1 4 4 0 l e v e l ) ，对应4 ：3 的高清晰度电视的分辨率( 1 4 4 0 1 1 5 2 1 ； 高等级( h i g hl e v e l ) ，对应1 6 ：9 的高清晰度电视的分辨率( 1 9 2 0 x1 1 5 2 ) ： 五种档次为： 简单档次( s i m p l e p r o f i l e ) ：只包含i 帧p 帧，没有b 帧，这样，一方面减少 了解码时的延时，另方面降低了对解码器中缓冲区( b u f f e r ) 大小的需求： 主档次( m a i n p r o f i l e ) ：这是应用最广泛的层，其中包含了b 帧； 下面3 个档次和可分级性( s c a l a b i l i t y ) 相关。可分级性就是通过部分解码可以 从一个编码数据流中得到不同分辨率和不同质量的图像。具体晚，在空间上可分 级性表现为允许我们从一个h d t v 的高质量的图象中解出一个普通质量的图象， 在时间上它表现为我们根据不同需求可改变帧的速率。可分级性能够使m p e g 2 适合满足更广泛的应用。具有可分级性的档次为： s n r 可分级档次( s n rp r o f i l e ) ，它是针对接收条件恶劣的情况下尽可能减 少图像退化的标准，保证了广播业务的鲁棒性( r o b u s t n e s s ) ，或称为强抗干扰性。 这样，当接收到的编码信号的信噪比s n r 低于一个固定值时，接收机就解码出 个低分辨率的图像，而不会导致整个图像的丢失。 空间域可分级档次( s p a t i a lp r o f i l e ) ，这一层使我们可根据需求接收不同分辨 率的图像，它包含s n r 层。 高档次( h i g hp r o f i l e ) ：它包含了s n r 和空间域档次，允许4 ：2 ：2 的格式。 4 ：2 ：2 为一种视频信号的格式表示每行色度信号o ，c 西的采样频率是亮度信号的 半，垂直方向上色度信号和亮度信号的采样频率一样。 以上所说的所有档次和等级，处于较高等级的档次和等级包含了处于较低等 级的档次和等级，这样，一个工作在个指定的档次和等级的解码器也一一定能解 码出比它低的档次和等级。 第三章m p e g 2 音视频编解码系统的硬件实现结构 第三章m p e g - 2 音视频编解码系统的硬件实现结构 众所周知，p a l 制模拟视频信号占用了较宽的带宽，并且，模拟信号很容易 受到噪声的影响，对于在传输和存储中叠；b n n 模拟信号上的加性噪声，很难采用 有效的方法将噪声完全去掉。数字信号与模拟信号相比有许多优点，便于传输和 存储。但是数字视频信号的数据量非常大，若要进行有效的传输和存储，必须对 原始的图像数据进行高效的压缩。m p e g 一1 标准的图像分辨率较低，对于一些对图 像质量要求较高的场合不适用，并且m p e g 一1 标准是针对数字存储媒体( d s m ) 制定的，没有考虑传输过程中误码的影响，所以m p e g 1 码流不适合在信道中传 输。m p e g 2 标准是针对大多数音频视频编码应用而制定的，它能满足大部分应 用场合的需要。m p e g 2 标准在制定时考虑了传输误码的影响，降低了系统码流对 误码的敏感度。m p e g 2 系统可以将多个节目流复合到一个传输流中，它同时也支 持a t m 网络，因此m p e g 一2 有很广的应用前景。 3 1m p e g 2 编解码系统设计目标 我们研制系统目的是，在模拟视频信号的输入条件下，将其变换成数字信号 并压缩成m p e g 一2 节目流或传输流，通过在接收端对接收到的m p e g 一2 节目流或 传输流进行图像语音解码并转换成模拟的视频信号，最终输出给终端用来显示。 具体的工作包括完成从模拟图像和声音输入信号经视频编码、a d 转换、图像语 音压缩编码、图像传输接口、图像，i 吾音解压编码、d a 转换、视频解码到图像监 视器和发声元件接口的全部软、硬件实现和能实现图像压缩编解码及传输演示的 模型样机。对于技术指标和参数具体有如下要求： 输入图像格式：p a l n t s c 可选 图像分辨率：最大不超过7 2 0 x 5 7 6 ( p a l ) 7 2 0 x 4 8 0 ( n t s c ) 图像格式：4 ：2 ：0 音频采样率：4 8 k h z 音频数据率：2 2 4 k b p s 压缩编码比特率：图像、语音、同步等业务的总比特率不超过1 0 2 4 k b s ( 速率 可调至3 8 4 k b p s ) 传输流码率：4 m b p s 一1 5 m b p s 编码数据输出格式：传输流、节目流 图像记录设备的接口应具有通用性，能实时存入p c 机硬盘。 模型机应为低功耗、小型化的设备。 本文作者参加了m p e g 2 编解码系统方案的论证和确定，进行了硬件系统的 m p e g 2 视频编码系统的设计和实现 设计和调试工作。 3 2 系统结构与模块 m p e g 2 编解码系统由压缩编码部分和压缩解码部分组成。其中编码部分由视 频输入接1 3 、音频输入接口、程序存储部分、编码模块、输出接1 3 、微控制器模 块组成，解码部分由输入接口、时钟恢复与同步模块、程序存储部分、编码模块、 视音频输出接1 2 1 组成。系统结构框图如图3 1 所示： 图3 1m p e g 一2 编解码系统结构 本系统中，m p e g 一2 编码、解码芯片是系统工作的核心部分。在编码：芯片中 集成了一片r i s c 处理器进行编码算法的计算、工作过程的控制和编码参数的设 置。系统上电以后，编码芯片会从闪存( f l a s hm e m o r y ) 中读取程序数据送给内 部的c p u 来执行。然后编码芯片在主控制器的控制下进行工作。m p e g 一2 视频、 音频编码部分根据i s o 的标准，对数字化的视频数据、音频数据作主类主级 ( m p 国m l ) 编码处理( 包括变换编码、量化、运动估计和运动补偿及v l c 编码) ， 并加入相应的标志信息，以输出统一的t s 或者p s 码流。解码芯片的工作过程与 编码芯片类似，芯片上集成的r i s c 处理器进行解码算法的计算，它把标准m p e g - 2 码流( 比如t s 流) 解释成普通的数字化视频信号，同时根据码流中的同步标志信 息，产生用于输出复合视频信号的行同步、场同步。 3 3m p e g 2 音视频压缩编码系统实现 关键芯片介绍： m b 8 6 3 9 0 a 是日本富士通( f u j i t s u ) 公司出品的一款m p e g 一2 编码器芯片。它 集成有音视频和系统编码器，并与系统控制器c p u 结合在一起，做到了业内首创。 此编码器可处理所有m p e g 一2 数据类型，包括传输、编程和分组基本数据流。这 使它很容易适配各种数字视频系统。m b 8 6 3 9 0 a 的结构如图3 2 所示： 第三章m p e g ，2 音视频编解码系统的硬件实现结构 1 5 图3 , 2m b 8 6 3 9 0 a 结构图 h o s l ，s d r a m 接口控制器管理主控器件及s d r a m ：串口控制器管理串行接 口；根r o m 存储启动程序；r j s c 处理器管理整个编码过程；t b c ( 时间基准校 正) 控制器管理视频数据的存放和读取，并插入时间标记：视频编码器压缩编码 原始视频数据，形成新的视频流；音频编码器压缩编码采样音频数据，形成新的 音频流：多路复用器组织视、音频数据流，产生m p e g 一2 格式数据流输出。 m b 8 6 3 9 0 a 对输入数字视频信号作m p e g 2 m p m l 编码，适应n t s c 、p a l 两种制式的输入，可以实时编码任意3 2 m 3 2 m 大小的图像，最大尺寸为7 6 0 5 7 0 。 同时可以实时编码最大采样率为4 8 k h z 的双声道音频信号。 由于m b 8 6 3 9 0 a 可以控制高达1 2 8 m b i t 的存储器。因而，有能力进行较复杂 的视频数据运动补偿编码，所配备的两个s d r a m 存储器h y 5 7 c 6 5 3 2 2 0 8 7 均具 有) 6 4 m b i t 容量，最高工作时钟达1 4 3 m h z 。执行宽范围的运动估计，沿水平方向 达到+ 一1 0 0 像素，沿垂直方向达到+ 一5 0 像素。而通常的运动估计范围为+ - - 3 2 像素。运动估计范围较大，就可以处理具有较大运动的场景，如电影画面巾 的武打动作、飞车场景。运动估计是影响视频编码的最关键因素之一。 根据m p e g 2 标准，视频编码执行基于块的运动估计、运动补偿，d c t 变换， 行程编码和h u f f m a n 编码。所谓“基于块的操作”，是指将图像分成个个1 6 x 1 6 大小的图像块，以块为单位执行操作。运动估计和补偿是在相邻的前、后图像中 寻找与图像块最相似的图像块，实现对当前图像的预测。相似图像块组成的预测 图像与当前图像的差进行d c t 变换。为提高d c t 变换效率，将1 6 x1 6 的块进一 步分成8 8 的图像块，d c t 变换在8 8 的块上进行。d c t 变换之后，根据m p e g 一2 标准提供的量化表执行变换系数的量化。并采用之字形扫描，对非零值做行程编 码，最后执行h u f f m a n