（信息与通信工程专业论文）多媒体soc中存储控制与片上通信的研究与实现.pdf

浙江大学硕士学位论文 摘要 集成电路设计技术和多媒体编解码算法的提高持续地刺激着消费类电子的 发展，改善着人类的生活质量。数字音视频内容由于直观性强、信息容量大、抗 噪声能力强等特点，已经被广泛的应用于数字电视、手机、便携式媒体播放器等 各种各样的场合。按照摩尔定律发展的集成电路技术使得这些优秀的多媒体算法 能够以低成本的方式实现。 本文立足于解决多媒体s o c 中存储控制和片上通信所面临的问题。多媒体具 有极高的数据率，对存储器的容量和片上通信机制能够提供的数据吞吐率都有严 格的要求。传统的片上通信采用的是总线，其实质上是一种时分复用的方式。由 于各种原因，在深亚微米集成电路的设计中，基于总线的片上通信方式已经不再 适用，取而代之的是片上网络技术。 本文首先以m p e 6 - - 2 标准为例，分析了视频解码算法在容量和吞吐率两个方 面对存储资源的需求。在分析了软件实现方式与硬件实现方式各自的优缺点后， 给出了基于软硬件协同设计的h 2 6 4 解码s o c 的结构框图。 s d r a m 具有物理体积小、价格便宜、速度较快的优点，是多媒体s o c 外部存 储器的理想选择。本文第三章详细的给出了s d r n d 控制器的设计。在控制通路中， 描述了如何利用s d r a m 的乒乓功能来提高总线吞吐率。在数据通路中，详细分析 了d d r 接口采用的源同步方法，并给出了一个有效的同步接口电路。 随着半导体工艺水平的不断提高，片上通信的难度在不断增加，对于实时性 强的多媒体s o c 而言尤其如此。本文第四章给出了一种可用于多媒体解码器s o c 中的片内总线结构，并将其与常见的总线进行了比较。给出了基于浮动优先级的 仲裁算法，分析了如何确定各个任务的优先级。简要叙述了为了解决深亚微米设 计中面i 临的互连线延迟增大带来的时序难以收敛的挑战，以及多核互连带来的片 上通信需求，而提出的下一代芯片设计技术片上网络。提出了一种基于包交 换的片上网络架构，详细说明了其包结构和通信协议。为从面向逻辑的设计向面 向互连的设计转变打下了基础。 关键字：多媒体s 0 c 存储控制d d r 总线仲裁片上网络 浙江大学硕士学位论文 a b s t r a c t t h ec o n t i n u a l d e v e l o p m e n t s o f i n t e g r a t e d c i r c u i tt e c h n o l o g ya n d m u l t i m e d i at e c h n o l o g yg i v ea ni m p o r t a n ti m p a c to nc o n s u m e re l e c t r o n i c sa n d h u m a nb e i n g sl 胞q u a l i t y d i g i t a la u d i o sa n dv i d e o sa r ew i d e l yu s e di nd i g i t a l t v _ m o b i l ep h o n ea n dp o r t a b l em e d i ap l a y e r , t h ei n t e g r a t e dc u r c u i t t e c h n o l o g y , o b e y i n gt h em o o r e sl a w , s u p p l i e sa l o wc o s ti m p l e m e n t a t i o nf o r t h e s ee x c e l l e n tm u l t i m e d i aa l g o r i t h m s i nt h i sd i s s e r t a t i o n ，w ef o c u so f ts o l u t i o n so fm e m o r yc o n t r o la n do nc h i p c o m m u n i c a t i o nl nt h em u l t i m e d i as o c t h e r ee x i s t sas t r i c ti i m i to ft h ev o l u m e o fm e m o r ya n dt h ec o m m u n i c a t i o nm e c h a n i s mo nm u l t i m e d i ab e c a u s eo ft h e h i g hd a t ar a t e t h ec l a s s i c a lw a yo fo nc h i pc o m m u n i c a t i o ni sb u s ，at i m e d i v i s i o n m u l t i p l e xm e t h o d ，w h i c h i sn o te f f i c i e n ta n ym o r eu n d e rd e e p s u v - m i c r o nd e s i g n i n s t e a d ，n o ct e c h n o l o g yw o u l db et h eo n l ys o l u t i o n t h ea d v a n t a g e so fs d r a ma r et h a ti ti sv e r ys m a l l ，v e r yc h e a pa n df a i r l y f a s t e r , s oi t i st h eb e s ts e l e c t i o no fe x t e r n a im e m o r y t h i sd i s s e r t a t i o n d e s c d b e st h ea r c h i t e c t u r ea n di m p l e m e n t a t i o no ft h es d r a mc o n t r o l l e r , i n c l u d i n gc o n t r o lm o d u l ea n dd a t ap a t hm o d u l e a st r a n s i s t o rd i m e n s i o n sa r er e d u c e d t h ei n t e r c e n n e c tp r o b l e m l s b e c o m i n gm o r ei m p o r t a n t t h i sd i s s e r t a t i o nd e s c r i b e sb u sa r c h i t e c t u r ea n d a r b i t e ra l g o r i t h ma d a p t e df o rm u l t i m e d i as o c i no r d e rt om a k es o m eb a s i sf o r t h ec h a n g ef o ri o g i c - c e n t x i cd e s i g nt oi n t e r c o n n e c t - c e n t d cd e s e r t ，t h ep a c k e t f o r n l a ta n dc o m m u n i c a t i o np r o t o c o lu s e di nt h en o ca r ee l a b o r a t e d k e y w o r d s ：m u l t i m e d i as o c ，m e m o r yc o n t r o l ，d d r ，b u s ，a r b i t e r , n e t w o r k o n - c h i p 浙江大学硕士学位论文 图目录 图2 1m p e g - 2 视频编码码流的分层结构 图2 - 2 视频访问单元，显示单元示例 图2 - 3m p e g 一2 解码器框图i 图2 - 4h 2 6 4 解码s o c 任务划分 图2 - 5 h 2 6 4 解码s o c 框图 图3 - l 存储芯片结构一 图3 - 2r a m 的一般功能模型图 图p 3 图3 - 4 图3 - 5 图3 - 6 图3 - 7 图3 8 9 。1 6 图3 曲p i n g - - p a n g 模式时序图 图3 1 0 利用预取来提高吞吐率 图3 - 1 1 控制器总体设计 图3 1 2s d r a m 控制通路模块 2 l 2 2 2 3 2 4 2 5 2 8 2 8 ：1 9 3 0 图3 1 3 伪随机序列产生器结构图 图3 1 4 重排后的命令 图3 - 1 5 d d r 源同步接口中d q 与o q s 的关系。 3 1 3 3 3 4 图3 - 1 6 信号的上升时问与传播时间。3 6 图4 - 1 片内同步总线结构一集中b u f f e r 图4 - 2 片内同步总线结构分布b u f f e r 图4 3 片内同步总线结构 图4 - 4 总线仲裁。4 2 图4 - 5t r e e 仲裁算法 图4 t s 的结构和行为 图4 7 浮动优先级仲裁算法 图4 - 8 浮动优先级仲裁电路图 图4 - 9 导线的r c 链模型。 图4 - 1 0c y c l o p s 6 4 体系架构 图4 - 11n o c 拓扑结构一蜘蛛网型、环型和2 d 网格型 图4 1 2i s o 七层模型和n o c 三层模型 图4 - 1 3 n o c 包结构 图4 1 4n o c 通信协议 4 5 4 7 4 8 5 0 5 l 浙江大学硕士学位论文 表目录 表3 - 1 不同i o 标准的比较 表3 - 2 伪随机序列发生器与顺序计数器资源比较 表3 - 3s d p , a m 命令映射规则表 表3 - 4s d r 舢i 接口采样窗口比较。 表4 - 1 不同总线的对比 3 0 3 1 一4 1 4 7 表4 - 2 导线属性的变化比例一 一v r 浙江大学硕上学位论文 第1 章绪论 本章为绪论。简要介绍了集成电路技术、多媒体技术和片外存储器技术，阐 明了课题的背景和意义，说明了本文的主要工作和章节安排。 1 1 集成电路设计技术 集成电路设计技术是目前蓬勃发展的高新技术之一。作为信息技术的基础， 它推动着计算机、通讯和消费电子产品的不断更新换代，但其历史却并不长久。 1 9 4 8 年，美国专利局批准了贝尔实验室三位科学家肖克莱、巴丁和布拉顿关于 晶体管的发明专利i l j 。1 9 5 9 年，世界上第一块集成电路在美国德州仪器公司( 1 r i ) 和美国仙童公司( f a i r e h i l d ) 诞生，这块集成电路上只集成了4 个晶体管。1 9 6 2 年世界上出现了第一块集成电路商品，1 9 7 0 年1 k b 的存储器问世，接着微处理 器于1 9 7 1 年投入市场，从此宣告集成电路生产进入大规模集成电路时代。集成 电路大大地促进了电子设备的小型化，与采用单个电子管和晶体管相比，采用集 成电路可以大大降低电子设备的功耗与故障发生率，使对复杂功能的电子系统的 设计制造成为可能。 今天，集成电路已覆盖信息、通讯、运输、军事、太空以及消费类电子等人 类生活的全领域。半导体产品充斥于人们周围，成为生活当中不可或缺的一部 分。集成电路产业为社会创造了极大的财富，推动的人类生活水平的不断进步。 基于集成电路的信息产业不仅改变了人们的生活方式，而且改变了人们的思考方 式，成为人类历史上最伟大的发明之一。 集成电路技术也是人类历史上发展最迅速的技术。1 9 7 9 年，i n t e l 创始人之一 摩尔预测，i c 上可容纳的晶体管数目，约每隔1 8 个月便会增加一倍，性能也将 提升一倍 2 1 。这就是支配着集成电路发展规律的著名的摩尔定律。摩尔1 9 9 8 年 感慨道：假如汽车工业也像半导体工业那样进步如此迅速的话，一辆劳斯莱斯跑 5 0 万英里将仅消耗一加仑油，并且丢弃它比将它泊在停车场来得便宜。集成电路 如此迅速的发展得益于采用了许多先进的设计技术。首先，基于抽象的层次化设 计方法和基于重用的模块化设计方法让设计工程师不必直接面对一个一个的晶 体管来设计上百万门的芯片。其次，c a d 工具的使用和大量智能化的逻辑综合 算法、布局布线算法以及先进的仿真验证算法的发明将设计工程师从大量重复性 的劳动中解脱，而专注于体系结构和高层次逻辑的设计，极大的提高了生产效率。 最后，经过实践验证的包括前端、后端各个步骤的设计方法学确保了芯片能够在 有限的资源下被正确无误的设计出来。 浙江大学硕士学位论文 工艺的进步促进了集成电路设计技术的提高，但是也给设计带来了各种挑 战。为了解决一个芯片上能够容纳的晶体管的数目与设计工程师的生产力之闻的 鸿沟，集成电路设计方法学中先后引进了硬件描述语言技术、s o c 技术和i p 核 技术等，这些技术有效地提高了设计生产力。今天，集成电路设计已经进入了深 亚微米( d s m ) 阶段和纳米阶段，6 5 纳米工艺开始量产，4 5 纳米等更为先进的 工艺也在成熟中。随着器件特征尺寸的减小，导线已经不能被视为等电位体，其 在功率、延迟和密度方面变得越来越重要和不可忽视。芯片上能够容纳的处理单 元越多，其处理能力就越强，但其对数据流动的带宽要求也就越大。所有这一切 都使得片上通信的设计变得越来越困难，如何有效的设计深亚微米芯片中的片上 通信网络是一个重要的研究课题。 1 2 多媒体应用 随着通信和信号处理技术的发展，越来越多的信息通过多媒体的方式呈现在 各类信息终端上。无论是作为家庭信息终端的电视机，或是作为个人信息终端的 p d a 手机m p 4 ，还是这几年出现在公共场所的信息终端，如车载电视，楼宇电视 等，都容纳进了更多的数字音视频内容。音视频数字化的好处除了本身可以提高 信号的质量和所含信息的容量外，还可以提供很多增值服务，在逐步的使用中这 些好处表现得淋漓尽致。这些发展很大程度上都得益于多媒体数据的压缩与解压 缩技术，使得海量的原始多媒体数据，可以在失真允许的范围内表示成现今通信 线路和存储媒介可以接受的数据大小。 多媒体数据之所以可以进行大比率的压缩，是因为其本质上存在着很多的冗 余和人类听觉和视觉对外界信息的感知上存在选择性。常用多媒体压缩方法有： 预测编码方法、变换编码方法、矢量量化编码方法、子带- d , 波编码方法、神经 网络编码方法等。其中预测编码是使用最广泛的方法，也是视频压缩中的运动补 偿的理论基础。 当代研究范围和应用范围最广的多媒体编解码标准当属l i p e g 标准系列，该 标准由1 9 8 6 年成立的运动图像压缩编码组织( m p e g ，m o v i n gp i c t u r ee x p e r t g r o u p ) 制定。这些标准包括m p e g li s o i e c1 1 1 7 2 ，m p e g - 2i s o i e c1 3 8 1 8 ， m p e g - 4i s o i e c1 4 4 9 6 以及h 2 6 4 a v c 。 随着国家数字电视地面传输标准的颁布，以及数字电视的整体迁移，多媒体 解码器的需求将进入又一个高潮，因此对应用m p e g 解码技术的多媒体s o c 芯片 的研究具有巨大的实用价值。 浙江大学硕士学位论文 1 3 片外存储器 任何一个数字系统，无论是微型计算机系统还是消费类嵌入式系统，都需要 存储器来存储数据和程序指令。存储器的制造技术代表着集成电路设计工艺最先 进的水平。 片外存储器主要是随着p c 行业的兴起而发展起来的，但是现在它也被广泛的 使用在需要大量存储数据的消费类嵌入式系统中。多媒体编码算法由于采用了预 测编码，在解码时，需要参考上一帧的数据，因此需要存储器来保存这些历史数 据。由于多媒体数据量是巨大的，一般都采用片外存储器的方式。 s d r a m 是使用最广泛的片外存储器，具有物理体积小、价格便宜、速度较快 的优点。由于多媒体数据流量巨大，片外带宽很容易成为系统的瓶颈。s d r a m 采 用的是一种同步接口技术，其单个管脚的数据率从l o o m b p s 到1 6 g b p s ，使用这 些高速数据线的芯片间通信线路很容易引起各种信号完整性问题、传输时序问题 和同步问题。如何设计一个高效的、鲁棒性强的s d r a m 接口控制电路具有重要的 研究价值。 1 4 主要工作 本文基于多媒体s o c 的存储控制和片上通信，主要工作可分为如下几个方面： 1 、在分析了多媒体s o c 对存储容量和吞吐率的需求和给出了基于软硬件协同设 计的h 2 6 4 解码s o c 总体框图的基础上，给出了s d r a m 控制器的总体设计框 图。介绍了如何利用s d r a m 的乒乓功能和基于块的多媒体处理算法特点，提 高多媒体s o c 中存储器的吞吐率。 2 、详细分析了d d r 存储芯片和多媒体s o c 芯片采用的芯片问通信方法，指出了 d d r 接口采用的是源同步方法，并提出了一种可靠的、适合a s i c 的d d r 数据 通路结构。 3 、为了保持总线的简单性和实用性，提出了一种可用于多媒体解码器s o c 中的 片内总线结构和仲裁算法，定性分析了仲裁优先级的确定。并采用a s i c 的设 计方法对其进行了实现。 4 、总结并提出了适用于深亚微米下多媒体s o c 设计的片上网络结构、传输包结 构和通信协议，为从面向逻辑的设计向面向互连的设计转变打下了基础。 1 5 本文结构 本文的结构安排如下： 浙江大学硕士学位论文 第一章：简要介绍了集成电路技术、多媒体技术和片外存储器技术，阐明了 课题的背景和意义，说明了本文的主要工作和章节安排。 第二章：以视频为例简述了多媒体算法的特点，详细分析了视频解码算法在 容量和吞吐率两个方面对存储资源的需求。在分析了软件实现方式与硬件实现方 式各自的优缺点后，给出了基于软硬件协同设计的h 2 6 4 解码s o c 的结构框图。 第三章：给出了多媒体s o c 中m e m o r y 控制器的总体结构设计。详细的给出 了控制通路和数据通路的设计。在控制通路中，描述了如何利用s d r a m 的乒乓 功能来提供总线吞吐率。在数据通路中，分析了d d r 接口的源同步方法，并给 出了一个有效的同步接口电路。针对芯片的应用环境，分析了接口信号在印刷电 路板上的信号完整性问题。 第四章：给出了一种可用于多媒体解码器s o c 中的片内总线结构和仲裁算 法。简要叙述了在目前深亚微米及超深亚微米设计中面临的互连线延迟增大带来 的时序难以收敛的挑战。提出了一种基于包交换的片上网络架构，详细说明了包 结构和通信协议。 第五章：对全文进行了总结，给出了有待提高和改进的地方。 浙江大学硕士学位论文 第2 章多媒体解码s o c 设计 本章以视频为例简述了多媒体算法的特点，详细分析了视频解码算法在容量 和吞吐率两个方面对存储资源的需求。在分析了软件实现方式与硬件实现方式各 自的优缺点后，给出了基于软硬件协同设计的h 2 6 4 解码s o c 的结构框图。 2 1 多媒体解码算法 多媒体在信息的表现方面具有直观性、确切性、高效性、广泛性等特点。但 是多媒体信息的数据量是非常巨大的，如果不经过任何的压缩，会给存储、传输 造成很大的困难。 1 9 8 8 年，国际标准化组织i s o 和国际电工委员会( i e c ) 联合成立了一个致 力于制定有关运动图像压缩编码的专家小组，这个小组就是运动图像专家组 ( m o v i n gp i c t u r ee x p e r t sg r o u p ) ，简称m p e g 。这个专家组的任务是为了对数字 存储媒质，电视广播，通信等方面的运动图像和伴音给出一种通用的编码方法。 符合这种编码方法的运动视频可以作为计算机数据的形式加以管理，可以存储于 各种存储媒体，可以在现有的或将来的网络上进行传送和接收。 m p e g 定义了存储和传送压缩数据的语法，而且定义了解压的过程。然而这 个标准并没有规定如何进行编码；编码方案被留给了编码系统的生产厂商。尽管 如此，所有可实现的编码器都必须提供能被任何一种i d p e g 解码器解码的有效的 m p e g 比特流。事实上，这种途径是m p e g 标准具有强劲生命力的表现。因为编码 器可以采用自己特有的算法，但必须符合标准，因此实现方法可以有多种。 m p e g 标准是为了把计算机系统和广播电视结合起来建立一个统一的信息网 络而制定的。它是一个包括图像，声音，存储和传输等四个方面的统一的标准。 m p e g 标准系列包括m p e g - 1 ，m p e g - 2 ，m p e g 一4 和m p e g 一7 等，其中每一个都适合予 一个或一组特定的应用。 夺m p e g l 最初实现是针对多媒体应用。m p e g 一1 算法基本上应用于比特率约为1 5 2 0 m b s 的磁盘。在具有每帧2 0 4 2 8 8 行，每秒2 9 9 7 和2 5 帧的连续帧扫描率 和每行3 5 2 个象素的连续信号格式中，m p e g - 1 支持5 2 5 和6 2 5 两种类型的信号 结构。快速动态信号的编码并不能达到特别好的效果。然而，正如预料的那样， 比特率的减少( 压缩比的提高) 导致了输出视频图像质量的逐渐下降。可用的比 特率压缩值对于6 1 d b s 的比特速率约是6 ：l ，而对于1 m b s 的比特率则是2 0 0 ： 1 。m p e g - 1 系统是非对称的。压缩过程比解压缩过程要复杂的多，代价也高的多， 浙江大学硕士学位论文 这就导致这种系统在广播类型的业务中特别理想。对于这种业务，它所用的解码 器比编码器要多很多。 m p e g 一2 m p h g 一2 的设计目标是高级工业标准的图象质量以及更高的传输率。m p e g - 2 所能提供的传输率在3 - l o m b i t s s e c 间，其在n t s c 制式下的分辨率可达 7 2 0 x 4 8 0 ，p a l 制式下分辨率可达7 2 0 x 5 7 6 。，m p e g 一2 能够提供广播级的视像和 c d 级的音质。 m p e g 一2 的音频编码可提供左右中及两个环绕声道，以及一个加重低音声道， 和多达7 个伴音声道( d v d 可有8 种语言配音的原因) 。m p e g - 2 解码器也可播放 m p e 6 1 格式的数据，如v c d 。m p e g - 2 除了做为d v d 的指定标准外，m p e g 一2 还可 用于为广播，有线电视网，电缆网络以及卫星直播( o i r e c tb r o a d c a s ts a t e l l i t e ) 提供广播级的数字视频。 m p e g 一2 的另一特点是，其可提供一个较广的范围改变压缩比，以适应不同 画面质量，存储容量，以及带宽的要求。 夺m p e g 一4 m e p g 一4 代表了最新的视听编码的突破，是针对低比特率的远程会议和要求 高比特率的相关应用的一个标准。它允许同时编码合成的和自然的物体、声音， 使服务提供者有更多的选择来创建游戏和其他多媒体应用。通过允许使用者操作 诸如景象和观看角度等方面，扩充了交互的可能性。 与m p e g 一2 一样，m p e g - 4 是一系列工具的集合，这些工具能够按照视频应用 的不同级别和不同侧重点来对视频信息分组。m p e g - 4 的视频编码结构范围从包 括了在5 k b s 和6 4 k b s 之间的数据率的算法和工具的v l b l ( 低比特率视频) 级 到i t u r 所定义的2 m b s 比特率的r e c 6 0 1 高质量视频值。m p e g - 4 本身并不直 接关心对某一特定信道是否要求错误保护( 比如说蜂窝比) ，但是它用排列有效 载荷比特的方法进行了改进，使得恢复能力更加强大。 杏m p e g 一7 继m p e g 4 之后，要解决的矛盾就是对日渐庞大的图像、声音信息的管理和 迅速搜索。针对这个矛盾，m p e g 提出了解决方案m p e g 7 。m p e g 7 力求能够快速 且有效地搜索出用户所需的不同类型的多媒体资料。该工作提议于1 9 9 8 年1 0 月提出，于2 0 0 1 年初最终完成并公布。m p e g 7 对各种不同类型的多媒体信息进 行标准化的描述，并将该描述与所描述的内容相联系，以实现快速有效的搜索。 该标准不包括对描述特征的自动提取，它也没有规定利用描述进行搜索的工具或 任何程序。其正式的称谓是“多媒体内容描述接口”。m p e g 7 可独立于其它m p e g 标准使用，但m p e g 4 中所定义的对音、视频对象的描述适用于m p e g 7 ，这种描述 是分类的基础。另外我们可以利用m p e g 7 的描述来增强其它m p e g 标准的功能。 浙江大学硕士学位论文 m p e g 7 的应用范围很广泛，既可应用于存储( 在线或离线) ，也可用于流式 应用( 如广播、将模型加入i n t e r n e t 等) 。它可以在实时或非实时环境下应用。 如：数字图书馆( 图象目录，音乐字典等) ；多媒体名录服务( 如黄页) ；广播媒 体选择( 无线电信道，t v 信道等) ；多媒体编辑( 个人电子新闻业务，媒体写作) 等。 m p e g 一2 1 随着多媒体应用技术的不断发展，有关多媒体的标准层出不穷，这些标准涉 及到多媒体技术的各个方面。各种不同的多媒体信息分布式地存在于全球不同的 设备上，通过异构网络有效地传输这些多媒体信息，必然需要综合地利用不同层 次的多媒体技术标准。但现有标准是否能真正做到配套衔接，以及在各个标准之 间是否存在缺漏，还需要一个综合性的标准来加以协调。这正是“多媒体框架 ( m u l t i m e d i af r a m e w o r k ) ”这一概念在1 9 9 9 年l o 月m p e g 墨尔本会议上被提出 的初衷。在1 9 9 9 年1 2 月的毛伊导会议上，这个新的工作方向被确定为m e p g - 2 1 。 m p e g 一2 1 的范围可以描述成是一定关键技术的集成，这些技术可以通过访问全 球网络和设备实现对多媒体资源的透明和增强使用。其功能包括：内容创建，内 容产品，内容发布，内容消耗和使用，内容表示，知识产权管理和保护，内容识 别和描述，财政管理，用户的隐私权，终端和网络资源抽取，事件报告等。 2 2m p e g - 2 视频概述 为了能适应广播电视，家电视听，计算机和不同的数字电视体系的需求， i s o i e c1 3 8 1 8 2 部分标准制定了5 个档次( p r o f i l e ) ，4 个等级( 1 e v e l ) “1 。 其中，p r o f i l e 用来规定编码所采用的算法子集，而l e v e l 则规定了一些和图像 相关的参数，比如图像的大小，帧率和码率等。本文所涉及的解码器主要针对 m p m l 级别。 本层次的语法可分为两类。一类是不可分级语法，不可分级语法的主要特点 是它有对隔行扫描的视频信号的额外压缩方法。第二类是可分级语法，主要特点 是可以从分块的比特流中分割重构出有用的视频信号，这可将整个比特流分成两 个或更多的层次来实现，从一个独立的基本层开始并逐渐加入一些附加的层。本 文所涉及的解码器主要涉及不可分级语法。视频的压缩比特流分6 个层次编码， 序列( s e q u e n c e ) 层，图像组( g r o u po fp i c t u r e ，g o p ) 层，图像( p i c t u r e ) 层，组块( s l i c e ) 层( 或称片层) ，宏块( m a c r o b l o c k ) 层，块( b l o c k ) 层。 除块层外，每层均设有头部信息。 1 视频序列层 编码的视频比特流的最高语法结构是视频序列。一个视频序列以一个序列头 浙江大学硕士学位论文 开始，后面可选的跟着一组图像的头和一个或更多的编码帧，视频序列以一个 s e q u e n c e e n d c o d e 终止。视频序列头包含基本的全局信息，比如图像的水平和 垂直尺寸，宽高比，帧速率，码率，缓存器大小和帧内帧问量化矩阵系数。一个 视频序列除起始处包含一个序列头外，在序列中间也可包含额外的序列头，任何 一个视频序列头可以作为解码进入点。 2 图像组层 两个或多个连续的图像可以组合成一个图像组( g o p ) ，以提供帧间图像编码 的边界和时间码的记录。一个图像组以一个图像组头开始，后面可选的跟着一个 或更多的编码帧，图像组头中包含视频快速搜索和随机访问的信息。g o p 的长度 是任意的，但至少要有一幅i 图。 3 图像层 图像层，包含多个被编码的帧。每帧含有多个组块。每帧以图像头起始，其 后跟随编码的数据。图像头中定义了图像类型( i ，p ，b ) 和在g o p 中帧的位置信 息等。 4 组块层 在同一行内有两个或更多的连续的宏单元组合在一起就形成了组块层，一个 组块包含的宏块数目任意。一个组块的宏单元的次序与传统的电视光栅扫描次序 一样均是从左到右。组块层是再同步单元，提供了一个方便的用于限制错误传播 的机制。因为被编码的比特流绝大多数包含可变长的码字，任何一个不正确的传 输错误将导致解码器失掉码字定位信息。每一个组块层是以组块层起始码开始 的。因为m p e g 2 编码字的排列保证了码字的非法结合能够模仿起始码，于是组块 层起始码就能被用于在一个错误发生后仍然获得码字定位信息。因此，当一个错 误在数据流中发生时，解码器到达下一个组块层的开始，并且继续进行正确的解 码。 5 宏块层 宏块，是运动补偿的最小单元。一般取1 6 1 6 的样点矩阵。包含了亮度分 量和空间相关的色差分量。当采用4 ：2 ：0 格式时，每个宏块由6 ( 其中4 个亮 度块和2 个色度块) 个b l o c k 组成。当采用4 ：2 ：2 和4 ：4 ：4 格式时，每个宏 块分别有8 个( 其中4 个亮度块和4 个色度块) 和1 2 个( 其中4 个亮度块和8 个色度块) b l o c k 。 6 块层 块，是作o c t 变换的最小单元，包含被编码的亮度，色度信号的d c t 系数， 设有块结束码( e o b ) ，一般取8 x 8 的样点矩阵。 一个视频序列的组织结构如下图2 1 所示： 浙江大学硕士学位论文 。一- 一一一一u 1 “， 。，一。 m k f 曲i 牲t ，e p a 0 1 c o d e d札m m 鞠e t 勘口垃 a 弛n t o o & 羽l 蹦n s 拍0 0 、a t m b 氐te 3 9 b ；诎；，。b 酗c b # ms h c el 赶牲l h 艇扛h c ，0 d e最a 驰 0 ， 畦l 、k 竺= 攀炉。冀一， 5 镕ml o p研 女0 9 c 曲籼教 0j 蕾l 。 ， 翘撼q 个p k t 麴g o p 爨甜懋 ，。，” 。1 ，_ * ，j f ，一_ 。+ 一 日m娜e n c e o p 啦 口i o 蠡k 口l e en g 湖t 他摊 口n 相口轴 拉l c o “ 0 描l 睫6 e n k 辑 1 黼z b a 辑端m n x 毯辐p 争g 印豹s 娜辩n c c 餮翁魅 图2 - 1m p e g 2 视频编码码流的分层结构 上图就是整个视频序列的完整结构。整个视频的编码码流由一个或者多个这 样的视频序列构成。如果序列头后没有跟序列扩展，那么此数据流将与i s o i e c 1 1 1 7 2 2 ( 即m p e g 一1 的视频部分) 完全一致。m p e g 一2 视频部分是完全前向兼容 的。 如图2 - 2 所示，比特流a 是未经压缩的视频图像序列。一幅视频图像称之为 一个显示单元( p r e s e n t a t i o nu n i t ) 。按i s o i e c1 3 8 1 8 2 的标准进行压缩后， 一个显示单元的压缩数据称为访问单元( a c c e s su n i t ) 。如图2 1 中下半部分所 示。在包含一组图像的第一幅编码图像的访问单元中，也包括此组图像的所有前 缀数据。如果显示单元是序列或图像组的第一幅图像，则序列头或图组头也是访 问单元的一部分。访问单元按特定的顺序排列连接，得到的就是符合i s o i e c 1 3 8 1 8 2 标准的视频躁始流。 浙江大学硕士学位论文 a c o m p r e 3 s e d 。r p i c t u r e 1 0 0k b y t e 3 ) c o m p l e s s e d 。b p jc t u r e f 1 2k b y t e s ) c o m p r e s 5 e d b p c o u r e n 2k b y t e s ) c o m p r q s s o d p 蚪e t u r e ( 3 3k h y t e s ) 图2 - 2 视频访问单元，显示单元示例 2 3 解码器存储资源需求 2 3 1 单路m p e c - 2 解码存储资源需求 m p e g 一2 解码器框图如下图2 - 3 所示，大方框内是m p e g - 2 解码器，外挂s d r a m 作为数据缓存区。 存储资源主要是指容量s 和带宽胄，其计算公式如下： s 。= s + s 。+ s 加。 ( 2 1 ) 式中： s 解码器需要的总的存储空间 和 ，视频e s 流需要的存储空间 。音频e s 流需要的存储空间 s 。帧存需要的存储空间 r ，唧一 = r 船+ r 。6 + r ，矿 + r d i x p l a p ( 2 2 ) 式中：j 乙。解码器需要的总的带宽 心e s 流需要的带宽 读参考需要的带宽 r 。同写需要的带宽 j 蛳显示需要的带宽 浙江大学硕士学位论文 下面将详细给出每部分的值。 m p e g 2 群码器 图2 - 3m p e g 一2 解码器框图 系统层解码模块接收t s 码流，完成系统层解码，提取出视频原始流e s v 和 音频原始流e s a ，存入s d r a m 的e s v 缓存区和e s a 缓存区。m p e g 一2 标准规定，e s v 缓存区大小瞩为 b s n = b s m 。+ b s 。+ b s o ht 2 - 3 其中：瞩。= 4 m s x k ；瓯= v b ，砜= ( 1 7 5 0 ) s x r 。，k 和 珊p 纛分别为最大视频比特流和最大v b v 大小“1b s 。= 4 m s x j t 。部分用于多 路复用的缓冲，剩下的尉k ，b 也可用于初始化多路复用。对于m p m l 级别的 视频，氏。为1 5 m b p s ，v b p r 咄为1 8 3 5 0 0 8 b i t s ，由此得出e s v 缓存空间最小为 1 9 1 8 8 9 4 b i t s 。对于音频，碱= b s m 。+ 觋。+ 嘁 = 3 5 8 4 字节。由此e s a 缓存 空间最小为3 5 8 4 字节。标准中这两个值是以解码器解码操作无延迟得到的，对 于实际的解码器而言，需要考虑解码延迟，因此，本文所设计的m p e g 一2 解码器 的e s v 和e s a 空间大小分别设为3 5 m b i t s 和3 2 k b i t s 。 音频解码模块和视频解码模块从s d r a m 中读取e s v 和e s a ，进行解码。视频 b 帧解码过程中需要参考前向帧和后向帧的内容，同时，对于实际解码器丽言， 解码后的数据不一定马上显示，因此当前解码帧的数据需要有帧存缓冲区。本解 码器设置了3 帧的存储空间，两帧空问作为参考帧，一帧作为当前帧的帧存空间。 对于m p m l 的视频，最大支持的分辨率为7 2 0 5 7 6 ，一帧的空问为7 2 0 5 7 6 浙江大学硕士学位论文 1 2 = 4 9 7 6 6 4 0 b i t s 。音频解码过程中，不需要参考以前帧的数据，同时，音频的 数据量较少，为了减少s d r a m 压力，音频解码后的数据不存入s d r a m ，直接利用 s r a m 作为音频的输出缓存，本解码器设置了两块6 4 1 6 b i t 的s r a m 作为输出的 缓存。 夺存储量的需求 根据上面的分析，e s v ，e s a 和一帧视频图像的存储量分别为瓯，= 3 5 m b i t s ， 。= 3 2 k b i t s ，s m 。= 4 9 7 6 6 4 0 b i t s ，共需存储三帧视频图像，所以，总共需要存 储空间为： s 哪。2 s m s 。+ s i 瑚i c 2 3 5 m + 3 2 k + 4 9 7 6 6 4 0 x 譬1 8 6 3 2 7 0 4 b i t s 2 2 2 2 m b y t e s 吞吐率的需求 对于m p m l 级别的视频，e s v 比特率上限为= l s m b p s 。 对于读参考数据，考虑最差情况：1 都是b 帧的，且每个宏块都有前向参考 和后向参考。2 没有跳过的宏块。3 亮度块和色度块都有水平半象素和垂直半 象素搜索。4 图像尺寸达到m p m l 级别的上限，即7 2 0 5 7 6 分辨率，2 5 f p s 或 者7 2 0 4 8 0 分辨率，3 0 f p s 。在这种最差情况下，读参考的数据量达到最大。 每秒钟共需参考4 0 5 0 0 个亮度宏块，4 0 5 0 0 x 2 个色度块，此时数据流量为 置w = 2 x ( 4 0 5 0 0 1 7 1 7 8 + 4 0 5 0 0 2 9 9 x 8 )= 2 9 2 2 4 8 0 0 0 b p s 前面乘上2 是考虑双向预测，一个前向一个后向，1 7 1 7 和9 x 9 分别是亮 度和色度信号在同时有水平半象素和垂直半象素搜索时，读参考数据时需要读取 的块的大小。 对于解码后的数据回写，同样考虑最差情况，即图像尺寸达到m p m l 级别的 上限。此时回写的数据量达到上限： r 2 4 0 5 0 0 x 1 6 x 1 6 8 + 4 0 5 0 0 x 2 x 8 x 8 8 = 1 2 4 4 1 6 0 0 0 b p s 对于解码后的图像的显示，数据流量为 k 2 7 2 0 x 5 7 6 x1 2 b i t 2 5 f p s = 1 2 4 4 1 6 0 0 0 b p s 音频的e s a 的回写和读取的数据量相对视频来说可以忽略不计。 因此，总的s d r a m 数据流量为： r 。m 。2r t s + r 呵+ r + r t 。田2 1 5 m b p s x 2 + 2 9 2 2 4 8 0 0 0 b p s - i - 1 2 4 4 1 6 0 0 0 b p s 4 - 1 2 4 4 1 6 0 0 0 b p s ：5 7 1 0 8 0 0 0 0 b p s 。 假设解码器系统时钟为1 0 8 m h z ，考虑1 6 b i t 位宽，b 女。= 1 6 8 7 5 g b p s 。总的 浙江大学硕士学位论文 吞吐率为 生：3 3 民“ 合理设计s d r a m 接口，完全可以达到此吞吐率，因此，吞吐率的限制可以忽 略。 2 3 2 双路m p e g - 2 解码存储资源需求 为了实现画中画效果需要同时解两路视频，对于m p e g 一2 格式的视频来说， 可以通过视频解码器的时分复用来完成。 在双路视频中，需要两个e s v 空间。在单路解码中，使用的是3 帧帧存，考 虑的解码器的时分复用会带来一定的解码延迟。所以在双路视频解码中采用4 帧帧存的方式。 存储量的需求 根据上面的分析，需要两块e s v 空间，8 帧视频图像存储空间，所以，总共 需要存储空问为： s 唧l 。2 s + s 啪+ s 栅t 2 3 5 m x 2 + 3 2 k + 4 9 7 6 6 4 0 x 8 = 4 5 0 0 0 7 5 m b i t s 5 6 3 m b y t e s 夺吞吐率的需求 同样考虑m p m l 级别的视频，同时解两路的情况下，视频部分所需要的带宽 为单路解码的两倍。 因此两路e s v 比特率上限为r 。= 1 5 m b p s x 2 = 3 0 m b p s 。 读参考数据的数据流量为： = 2 9 2 2 4 8 0 0 0 b p s x 2 = 5 8 4 4 9 6 0 0 0 b p s 解码后的回写的数据量为： 如= 1 2 4 4 1 6 0 0 0 b p s x 2 = 2 4 8 8 3 2 0 0 0 b p s 对于解码后的图像的显示，当设置为画中画功能时，虽然最终显示的象素与 单路视频一样，但是整个画面的数据还是都需要被读取，因此进行视频缩放时需 要用到这些数据。因此数据流量为 如咖2 1 2 4 4 1 6 0 0 0 b p s x 2 = 2 4 8 8 3 2 0 0 0 b p s 因此，总的s d r a m 数据流量