（信息与通信工程专业论文）视频编码芯片设计中的数据存储研究.pdf

浙江大学硕士学位论文 摘要 视频编码技术节省带宽，节约存储空间，在数字电视广播，多媒体通信等领 域有广阔应用背景。随着超大规模集成电路飞速发展，视频编码芯片为实时编码 提供了一种可行的解决方案。逻辑电路和存储单元是数字芯片两个主要组成部 分。存储设计除了在模块设计中实现局部优化，还要在系统层面做全局优化。 在综合考虑系统流水，总线带宽，模块硬件结构和数据处理吞吐率等因素的情况 下进行存储设计，对减少芯片总面积和降低功耗具有重要意义。 本文首先介绍视频混合编码框架，芯片设计流程和总线互联协议，回顾国内 外发展现状，明确视频编码芯片设计的存储设计研究内容。 在系统设计中，存储设计分成片外存储设计和片上存储设计。本文通过分析 常用片外存储器s d r a m 特点，利用s d r a m 多页结构，提出象素点信息和控 制信息在片外存储器存放格式，达到减少延迟，降低总线带宽的目的。在此基础 上提出多参考帧的帧存管理算法及其硬件实现结构，从而支持跳帧，实现j 帧插 入，随机访问点插入等扩展功能。 片上存储设计不是一个完全孤立的过程，和硬件模块的流水控制与片外存储 访问有紧密联系。硬件编码器工作在不同流水级的模块由于数据处理速度不同， 需要模块间的数据缓存。以视频采集模块f i f o 大小设计为例介绍不同数据率之 间匹配。以插值数据格式转换模块设计为例介绍双端口r a m 数据复用。 在模块设计中，存储设计必须考虑和速度与规模之间的相互联系，从而在满 足时钟约束条件下，使得总面积最小。利用这个设计思想，进行去块滤波模块设 计。通过调整滤波顺序，优化片上存储，提出适合标清应用和高清应用的两种硬 件结构，在没有显著增加存储面积和逻辑面积，并满足时钟频率的约束下，提高 了去块滤波算法的并行度。 最后从高清视频编码器的存储需求出发，设计高清分辨率图象在片外存储器 的存储格式，并且总结出一般情况下在不同规格的片外存储器上存放不同分辨率 图象的存储规则。 关键词： 视频编码，存储设计，总线带宽，存储格式 浙江大学硕士学位论文 a b s t r a c t v i d e oc o d i n gt e c h n o l o g i e sa r ew i d e l yu s e di nd i f f e r e n ta p p l i c a t i o n ss u c ha s d i g i t a lt vb r o a d c a s ta n dm u l t i m e d i ac o m m u n i c a t i o n w h i c hs a v et h eb a n d w i d t ha n d m i n i m i z et h ea m o u n to fs t o r a g e as i n g l ec h i po fv i d e oc o d i n gp r o v i d e saf e a s i b l e s o l u t i o nf o rr e a lt i m ev i d e oa p p l i c a t i o n t h ed i g i t a lc i r c u i ti sm a i n l yc o m p o s e do f l o g i ca n dm e m o r yu n i t i t sn e c e s s a r yt oo p t i m i z em e m o r yu n i tn o to n l yi ni n d i v i d u a l m o d u l e sb u ta l s oi nt h ew h o l es y s t e m i t si m p o r t a n tt oc o n s i d e rm e m o r yd e s i g n c o m b i n e dw i t ht h ep i p e l i n e ，b u sb a n d w i d t h ，t h ea r c h i t e c t u r eo fm o d u l e sa n d t h r o u g h p u ta n ds oo n t h eh y b r i dv i d e oc o d i n ga r c h i t e c t u r ei si n t r o d u c e di nt h ep a p e rf i r s to fa l l ， f o l l o w e db yt h ef l o wc h a r to fa p p l i c a t i o n s p e c i f i e d - i n t e g r a t e d c i r c u i t ( a s i c ) d e s i g n ， t h eb u si n t e r c o n n e c t i o n s p e c i f i c a t i o n s ，a n dt h ed e v e l o p m e n to fv i d e oc o d i n g t e c h n o l o g i e sb o t hd o m e s t i c a l l ya n da b r o a d t h e nt h ec o n t e n to fd a t am e m o r y o r g a n i z a t i o ni na s i cd e s i g no fv i d e o c o d e ri ss p e c i f i e d m e m o r yd e s i g nf a l l si n t ot w op a r t sa se x t e r n a lm e m o r yd e s i g na n do n - c h i p m e m o r yd e s i g nf r o mt h es y s t e mp e r s p e c t i v e a f t e rt h ef e a t u r eo fs d r amw i d e l y u s e de x t e r n a lm e m o r yi s a n a l y z e d ，m e m o r yo r g a n i z a t i o no fp i x e li n f o r m a t i o na n d c o n t r o li n f o r m a t i o ni sp r e s e n tb a s e do nm u l t i p l eb a n k sa r c h i t e c t u r eo fs d r a m i n o r d e rt om i n i m i z ea c c e s sl a t e n c ya n ds a v et h eb u sb a n d w i d t h t h ea l g o r i t h mo ff r a m e b u f f e rc o n t r o lf o rm u l t i p l er e f e r e n c ef r a m e si s p r e s e n ta sw e l la st h eh a r d w a r e a r c h i t e c t u r e ，w h i c hi sa b l et os k i pf r a m e s i n s e r tip i c t u r ea n di n s e r tr a n d o ma c c e s s p o i n ta n ds oo n p i p e l i n eo ft h eh a r d w a r em o d u l e sa n de x t e r n a lm e m o r ya c c e s sa r ei n v o l v e di n o n c h i pm e m o r yd e s i g n t h ed a t af o rd i f f e r e n tm o d u l e sa r eb u f f e r e dd u et od i f f e r e n t p i p e l i n es t a g e so ft h em o d u l e s d i f f e r e n td a t ar a t em a t c h i n gi sd i s c u s s e di nt h e e x a m p l eo ft h ef i f od e s i g no fv i d e oc a p t u r em o d u l e d a t ar e u s ei nd u a lp o r tr a mi s d i s c u s s e di nt h ee x a m p l eo ft h eh a r d w a r ed e s i g no fi n t e r p o l a t i o nd a t ao r g a n i z a t i o n m o d u l e m e m o r yu n i ti sc o n s i d e r e dw i t ht h r o u g h p u ta n dl o g i ca r e ai ni n d i v i d u a lm o d u l e s t w oh a r d w a r ea r c h i t e c t u r eo fd e b l o c k i n gf i l t e rf o rs da n dh da p p l i c a t i o ns e p a r a t e l y i sp r e s e n t e d ，w h i c hm e e t st h ec o n s t r a i n to ft h ew o r k i n gf r e q u e n c ya n da c h i e v et h e h i g ht h r o u g h p u tw i t h o u tl o g i ca n dm e m o r ya r e as i g n i f i c a n t l yi n c r e a s e ，b a s e do n m o d i f i e dd e b l o c k i n go r d e ra n dl o c a lm e m o r ya c c e s so p t i m i z a t i o n m e m o r yo r g a n i z a t i o nf o rh da p p l i c a t i o ni sd i s c u s s e do nt h eb a s i so ft h e b a n d w i d t hr e q u i r e m e n t t h ec o n c l u s i o nf o rp i c t u r e sw i t hd i f f e r e n tr e s o l u t i o n si n e x t e r n a lm e m o r yi sd r a w ni nt h ee n d k e yw o r d s ：v i d e oc o d i n g ，m e m o r yd e s i g n ，b u sb a n d w i d t h ，m e m o r yo r g a n i z a t i o n l l 浙江大学硕士学位论文 图目录 图1 1 视频混合编码框架1 图1 2 云团寄存器4 图1 3w i s h b o n e 总线逻辑结构6 图1 - 4a m b a 总线逻辑结构6 图1 5c o r e c o n n e e t 总线逻辑结构7 图2 1 s d r a m 多页结构9 图2 2 一个参考帧，多帧编码框架12 图2 3 降低带宽压缩参考帧编码框架1 2 图2 - 4 图象在s d r a m 中存储格式1 3 图2 5 七帧图象在s d r a m 存放位置1 4 图2 - 6 宏块对1 4 图2 7 宏块在四个b a n k 中位置一1 5 图2 8 帧存管理模块硬件结构2 0 图2 - 9 六帧帧存存储两种方案2 2 图2 1 0 宏块亮度部分在四个b a n k 排列方式2 3 图2 1l 宏块色度部分在四个b a n k 排列方式2 4 图3 1 单口r a m 面积和位宽关系2 8 图3 2 单口r a m 面积和深度关系2 9 图3 3 单口r a m 和双口r a m 面积比较( 位宽6 4 比特) 2 9 图3 - 4 单口r a m 和双口r a m 面积比较( 深度5 1 2 字节) 。3 0 图3 5 编码器系统框图31 图3 - 6 总线任务时间片分配3 3 图3 - 7 消隐时间和有效信号时间3 4 图3 8 亮度插值一3 6 图3 - 9 插值数据转换模块流程图3 7 图3 1 0 插值数据格式转换模块硬件结构3 8 图4 1b s 推导( 4 ：2 ：o 格式) 【1 】。4 0 图4 2b s 推导( 4 ：2 ：2 格式) 【l 】。4 0 图4 3 8 x 8 块水平或垂直边界样本【l 】4 1 图4 4 滤波顺序4 l 图4 5 d f 硬件结构4 4 图4 6 计算b s 流程图4 4 图4 7 调整后的滤波顺序4 6 图4 8 滤波器运算阵列4 6 图4 9 乒乓操作4 8 图4 10 l o p 存放格式4 8 图4 1 l 亮度数据存储。4 8 图4 1 2 色度数据存储4 9 图4 13 去块滤波存储访问。5 0 图4 1 4 高清去块滤波硬件结构5 2 图4 15 边界滤波器。5 3 v 浙江大学硕士学位论文 图4 16 去块滤波b s = i 流水5 4 图4 1 7 调整后的滤波顺序5 5 图4 18 子边界滤波( a x b ) ( c ) ( d ) 5 6 图4 19 子边界滤波( e ) ( f ) ( 曲( h ) 5 7 图4 2 0 去块滤波流水示意图5 8 图5 1h 2 6 4 编码器结构框图6 0 图5 - 2 帧图象重新压缩流程图6 l 图5 3 高清存储格式6 4 v i 浙江大学硕士学位论文 第1 章绪论 随着视频编码技术飞速发展，编码效率显著提高，同时编码复杂度大幅提高，对软硬件 性能提出更高要求。借助于超大规模集成电路技术的优势，编码器的硬件实现得到工业界认 同并被广泛采用。存储设计是视频编码专用芯片设计中核心问题之一，对芯片总面积，功耗 和性能有重要影响。本文基于a v s 标清硬件编码器设计，着重从系统层面的片外存储设计， 片上存储设计，以及模块内部存储设计三个方面进行存储设计。本章先介绍视频混合编码框 架，基于混合编码框架的最新标准，专用集成芯片设计流程和总线互联协议等研究背景，并 回顾国内外发展现状。 1 1 视频混合编码框架 以信息论为理论基础发展的数据压缩技术分成无损压缩和有损压缩。无损压缩包括变换 编码，词典编码，熵编码和游程编码等。变换编码本身不对数据压缩，通过变换，得到大量 0 ，结合游程编码和量化，达到压缩目的。词典编码对重复出现的字符串编码，不同于对单 个字符编码的方式，主要分成两种类型：第一种用前面已经出现字符串代替重复出现的字符 串，第二种建立索引表，用索引表示重复出现的字符串。l z w 算法及其各种改进算法都是 第二种词典算法。有损压缩包括预测编码，基于模型编码，分形编码和子带编码等。有人把 以预测编码和变换编码为核心的基于波形的编码技术称作第一代编码技术，把基于模型的编 码技术称作第二代编码技术。基于模型编码包括语义编码和基于物体编码等，在人脸模型等 场合应用。分形编码利用整体和局部自相似性压缩数据。 图1 - 1 视频混合编码框架 随着各种技术的融合，逐渐形成了目前的视频混合编码框架。最新的标准m p e g 4 ，h 2 6 4 和a v s 都是基于这个混合编码框架的。图1 1 是a v s 视频混合编码框架。原始视频信号和 浙江大学硕士学位论文 预测数据相减得到的残差进行变换和量化，量化后的量化系数进行熵编码，产生码流；同时 量化系数经过反量化和反变换，加上预测数据得到重建数据。预测数据由帧内预测或者帧间 预测产生。帧内预测使用去块滤波前的重建数据作为参考象素点。帧问预测使用去块滤波后 的参考图象作为参考象素点。帧间预测首先进行运动估计，在多帧参考图象中搜索和原始图 象最匹配的宏块，选择最佳宏块模式，再对最佳宏块模式进行运动补偿产生预测数据。 视频混合编码框架综合预测编码，变换编码以及熵编码等多种技术。有三个主要特点： 1 预测编码分成帧间预测和帧内预测。帧间预测利用图象时间上相关性去除冗余。帧 内预测利用图象空间上相关性去除冗余。 2 变换编码利用图象在高频分量系数较小，量化后出现较多连续的0 ，从而有利于使 用游程编码，达到压缩目的。 3 熵编码利用残差量化系数游程编码后统计规律，通过变长编码，进一步压缩数据。 1 2 视频编码标准简介 a v s 标准中涉及视频压缩编码的有两个独立部分：a v s 第二部分( a v s p 2 ) 即a v s i o 1 】 和a v s 第七部分( a v s p 7 ) 【2 】。a v s l 0 主要针对高清晰度数字电视广播和高密度存储媒体应 用；a v s - p 7 主要针对低码率、低复杂度、较低图像分辨率的移动媒体应用。a v s 标准的 制定不仅考虑的编码性能，还着重考虑了标准的实现复杂度，在保证性能的基础上对多项技 术进行了简化。2 0 0 6 年2 月2 2 日，国家标准化管理委员会颁布通知：信息技术先进音视 频编码第二部分视频于2 0 0 6 年3 月1 日起开始实施，a v s l 0 正式成为中华人民共和国国 家标准。本文中除非特别声明，a v s 即指a v s i 0 。a v s 标准支持多种视频业务。考虑到不 同业务之间的互操作性，a v s 标准定义了档次( p r o f i l e ) 和级别( 1 e v e l ) 。档次是a v s 定义 的语法、语义及算法的子集；级别是在某一档次下对语法元素和语法元素参数值的限定集合。 为了满足高清晰度、标准清晰度数字电视广播、数字存储媒体等业务的需要，a v s 视频标 准定义了基准档次( j i z h u np r o f i l e ) 和4 个级别( 4 0 、4 2 、6 0 和6 2 ) ，支持的最大图像分 辨率从7 2 0 x 5 7 6 到1 9 2 0 x 1 0 8 0 ，最大比特率从1 0m b i t s 到3 0m b i 珧。 m p e g - 4 3 是1 9 9 9 年5 月建议并于1 9 9 3 年7 月确认。【4 】其目标是甚低数码率的音视频 压缩编码，适用于固定和移动网络的多媒体业务。相比较以前的标准，它有以下三个特点： 基于内容的交互性( c o n t e m b a s e di n t e r a c t i v i t y ) ：基于内容的操作与比特流编辑支持无需编 码就可进行基于内容的操作与比特流的编辑；自然与合成数据混合编码提供将自然视频图像 同合成数据有效结合的方式，同时支持交互性操作；增强时间域随机存取，m p e g - 4 将提供 有效的随机存取方式。压缩性能高( c o m p a s s i o n ) ：在相同的码率下，m p e g - 4 提供更好的 主观视觉质量的图像，使之能应用于迅速发展中的移动通信网络。同时，m p e g 4 能对同一 景物提供有效多视角编码，加上多伴音声道编码及有效的视听同步。存取方式灵活( u n i v e r s a l a c c e s s ) ：在错误易发的环境中，m p e g - 4 能够提供较高的抗误码能力( e r r o rr o b u s t n e s s c a p a b i l i t y ) ，尤其是在易发生严重错误的环境下的低比特应用中( 如移动通信环境) 。此外， 给予内容的尺度可变性( c o n t e n t b a s e ds c a l a b i l i t y ) 是m p e g - 4 的核心，因为一旦图像中所 含对象的目录以及相应的优先级确定后，其他的基于内容的功能就比较容易实现了。 h 2 6 4 1 5 1 是i t u - t 视频编码专家组( v c e g ) 和i s o d e c 活动图像编码专家组( m p e g ) 的联 合视频组( j v t ) 开发的一个新的数字视频编码标准，它既是i t u t 的h 2 6 4 ，又是i s o h e c 的m p e g 4 的第l o 部分。h 2 6 4 的压缩率比m p e g 2 高2 - - 一3 倍，1 m b s 速率的图像效果接 2 浙江大学硕士学位论文 近m p e g 2 中d v d 的图像质量，是目前手机电视中最为理想的信源压缩编码标准。h 2 6 4 标准采用主要技术有多参考帧，可变块大小，c a b a c 算术编码；高精度、多模式的帧间预 测；基于4 x 4 块的整数变换；分层的编码语法等。这些使得h 2 6 4 算法具有很高的编码效率， 在相同的重建图像质量下，能够比h 2 6 3 降低5 0 左右的码率。h 2 6 4 的码流结构网络适应 性强，增强了差错恢复能力，能够很好地适应i p 和无线网络应用。 1 3 芯片设计流程 最新的视频编码标准在压缩效率显著提高的同时，计算复杂度大幅提高。由于硬件实现 具有并行性高特点，硬件加速广泛应用于实时视频编码。e d a 已渗透于芯片设计的各个阶 段，整个设计流程具体可以分为如下几个阶段： 行为级描述在完成系统性能分析与功能划分的基础上，对于各个电路功能模块，用 h d l 语言( v e r i l o g h d l v h d l ) 完成行为级( b e h a v i o r l e v e l ) 描述。 行为级优化与r t l 级转化进行行为级算法优化与功能仿真，同时完成向寄存 器传输级( r t l ：r e g i s t e rt r a n s p o r tl e v e l ) 描述的转化。进行这一步转化工作的原 因在于现有的e d a 工具只能接受r t l 级描述的h d l 文件进行自动逻辑综合。 s y n o p s y s 提供的b e h a v i o rc o m p i l e r 就是专门完成这一工作的工具。 逻辑综合与逻辑优化( l o g i cs y n t h e s i s & l o g i co p t i m i z a t i o n ) 选定工艺库，确 定约束条件，将r t l 级的h d l 代码映射到具体的工艺加以实现。它的前提是得到 包含相应工艺参数的逻辑综合库的支持。在设计一个系统时，总有对应的设计指标， 典型的如时钟频率、芯片面积、端口驱动能力等，自动综合工具将这些设计指标作 为综合过程的约束条件，在给定的包含工艺参数的综合库中选取最佳单元，实现综 合过程。对于比较复杂的设计，通常需要考虑测试问题d f t ( d e s i g nf o r t e s t ) ，可 通过测试综合工具在逻辑电路里安排相应的测试电路。 门级仿真实际上，在e d a 设计的每一个阶段都需要模拟仿真，以便尽早发现 并改正错误，保证设计过程的正确性。与前面的行为级仿真和r t l 级仿真不同的 是，完成逻辑综合后的门级仿真包含了门单元的延时信息，因而门级仿真需要相应 工艺的仿真库的支持。 测试生成完成逻辑综合后，可产生相应的网表文件( n e t l i s t ) ，但在将设计提 交下一步进行布局布线时，同时应当提供相应的测试文件。测试分为功能测试 ( f u n c t i o nt e s t ) 与制造测试( m a n u f a c t u r et e s t ) 两部分。功能测试就是为了检验 线路的逻辑，时序等是否正确。前面讲到e d a 设计过程的每一步模拟仿真都是围 绕电路的功能进行的，因而都属于功能测试的范畴。制造测试则是针对半导体工艺 而设计的，目的是实现高的故障覆盖率，通常称之为测试向量。对于较复杂的时序 电路而言，高故障覆盖率的测试向量必须借助于测试综合才能完成，可以自动生成 测试矢量a t p g ( a u t o m a t i ct e s tp a t t e r ng e n e r a t i o n ) 。 布局布线这一步借助于版图综合的自动布局布线工具，在相应的工艺版图库支 持下完成，通常称之为后端设计。 参数提取在前面完成的逻辑综合所产生的门级网表文件中，已经包含了门级单 元本身的工艺参数，完成版图综合后，由于布局布线都已确定，可以从版图进一步 提取出连线电阻、连线电容等分布参数。 3 浙江大学硕士学位论文 后仿真将上一步中提取的分布参数再反标到原来的门级网表中，进行包含门 延，连线时延的门级仿真。这一步主要是进行时序模拟，考察在增加连线时延后， 时序是否仍然满足设计要求。如果不能满足，通常需要回到第三步重新确定约束条 件，进行优化迭代。有时候也可能要回到第二步，从算法实现上加以调整。 制版流片在利用e d a 工具完成设计后，交付半导体厂商进行投片生产。 行为级描述阶段必须注意可综合的编码风格【6 】【7 】【8 】，保证前仿真和综合后电路一致性。 常用的可综合状态机编码风格如下。 可综合的状态机编码风格一： 1 有限状态机( f s m ) 编码。编码方法有独热码( o n e h o t ) ，格雷码( g r e y ) 或者二进制码( b i n a r y ) 等。f p g a 生产商推荐使用独热码。因为在f p g a 上实现独热码有限状态机速度快，面 积小。 2 使用两个a l w a y s 语句f s m ，一个用于时序，一个用于组合逻辑。 3 时序电路使用非阻塞赋值” w i s h b o n e 总线 w i s h b o n e 总线是s i l i c o r e 公司推出的片上总线协议，现在已被移交给o p e n c o r e s 组织维 护。由于其开放性，现在已有不少的用户群体，特别是一些免费的i p 核，大多数都采用 w i s h b o n e 标准。w i s h b o n e 总线规范是一种片上系统i p 核互连体系结构。它定义了一种i p 核之间公共的逻辑接口，降低了系统组件集成的难度，提高了系统组件的可重用性、可靠性 和可移植性，加快了产品市场化的速度。w i s h b o n e 总线规范可用于软核、固核和硬核，对 开发工具和目标硬件没有特殊要求，并且几乎兼容已有所有的综合工具，可以用多种硬件描 述语言来实现。w i s h b o n e 总线规范的目的是作为一种l p 核之间的通用接口，因此它定义了 一套标准的信号和总线周期，以连接不同的模块，而不是试图去规范i p 核的功能和接口。 w i s h b o n e 总线提供了四种不同的l p 核互连方式： 1 点到点( p o i n t - t o - p o i n t ) ，用于两l p 核直接互连； 2 数据流( d a t af l o w ) ，用于多个串行l p 核之间的数据并发传输； 3 共享总线( s h a r e db u s ) ，多个i p 核共享一条总线； 4 交叉开关( c r o s s b a rs w i t c h ) ，同时连接多个主从部件，提高系统吞吐量。 其中点对点方式可以最简单的将一个m a s t e r 和一个s l a v e 相连；数据流方式可以 实现数据传输的流水；共享总线方式将多个m a s t e r 和s l a v e 相连，不过任何时刻只能 有一个m a s t e r 占据总线；交叉开关则可实现多个m a s t e r 和多个s l a v e 之间同时传输 数据。 w i s h b o n e 总线主要特征如下：所有应用适用于同一种总线体系结构。图1 3 是一种简 单、紧凑的逻辑i p 核硬件接口，只需很少的逻辑单元即可实现；时序非常简单；主从结构 的总线，支持多个总线主设备；8 嘲位数据总线；支持所有常用的总线数据传输协议，如 单字节读写周期、块传输周期、控制操作及其它的总线事务等；支持多种i p 核互连网络， 如单向总线、双向总线、基于多路互用的互连网络、基于三态的互连网络等；支持总线周期 的正常结束、重试结束和错误结束；使用用户自定义标记( t a g ) ，确定数据传输类型、中 断向量等；仲裁器机制由用户自定义。 5 浙江大学硕士学位论文 w i s h b o n 图1 - 3w is h b o n e 总线逻辑结构 a m b a 总线 先进的微控制器总线体系结构a m b a 1 0 规范定义了三种总线： a h b ( a d v a n c e dh i g h p e r f o r m a n c eb u s ) ：用于连接高性能系统模块。它支持突发数据 传输方式及单个数据传输方式，所有时序参考同一个时钟沿； a s b ( a d v a n c e ds y s t e mb u s ) ：用于连接高性能系统模块，它支持突发数据传输模式； a p b ( a d v a n c e dp e r i p h e r a lb u s ) ：是一个简单接口支持低性能的外围接口。 一个典型的基于a m b a 的微控制器同时集成a h b ( 或a s b ) 和a p b 接口，如图1 _ 4 所 示。a s b 总线是旧版的系统的总线，而新版的a h b 总线增强了对性能、综合及时序验证的 支持。a p b 总线通常用作的局部的第二总线，作为a h b 或a s b 上的单个从属模块。 图1 - 4 棚队总线逻辑结构 高性能系统总线a h b ( a d v a n c e ds y s t e mb u s ) 是目前a m b a 实现的主要形式。在系统级 芯片设计中，a m b a 系统架构得到广泛的应用，特别是用在基于a r m 处理器内核的系统芯 片中，a m b a 在芯片模块互联中的不断成熟促使它逐渐成为s o c 设计中主要系统架构。 c o r e c o n n e c t 架构 c o r e c o n n e c t 拥有完备的一整套技术文档，在技术上可行性较强。i b m 公司的 c o r e c o n n e c t 连接总线还提供了三种基本类型连接功能块，即处理器内部总线p l b ( p r o c e s s o r l o c a lb u s ) 、片上外围总线o p b ( o n c h i pp e r i p h e r a lb u s ) 和设备控制总线d c r ( d e v i c ec o n t r o l r e g i s t e 0 ，含有两个总线桥路模块：p l bt oo p bb r i d g e 和o p bt op l bb r i d g e ，两个仲裁模 块：p l ba r b i t e r 和o p ba r b i t e r , p l b 为宽带宽、高速度的总线模块，它所连接的外围设备一 般是性能高、速度快的外围设备；o p b 则连接速度较低的外围设备。 c o r e c o n n e c t 总线的逻辑结构如图1 5 所示，清楚地定义了所有的系统构成部件以及它 们是如何连接的。 6 浙江大学硕士学位论文 图1 - 5c o r e c o n n e c t 总线逻辑结构 1 5 国内外发展现状 硬件实现方式有可编程实现和专用实现。可编程实现在同一硬件结构运行不同但是相似 的任务，具有一定灵活性，在支持多种标准的编解码芯片中较为常见。灵活性的代价牺牲了 一定性能，功耗和硬件代价。专用实现是对某个任务设计，在芯片面积，功耗和性能等方面 做最大优化，缺点是可扩展性差。 全球排名前列的半导体公司和无晶园厂的半导体公司相继推出视频编解码芯片。2 0 0 4 年1 2 月以来的3 个月间，各大公司推出了四款高清解码芯片产品的样片。它们分别是： b r o a d c o r n 公司的b c m 7 4 1 1 、c o n e x a n t 公司的c x 2 4 1 8 x 、s t m i c r o e l e c t r o n i c s 公司的s t b 7 1 0 0 和p h i l i p s 公司的p n x l 7 0 0 。大多数产品都能兼容m p e g 2 和h 2 6 4 ，有些产品还能兼容 w m v 9 ：部分产品除了支持单路高清解码外，还支持双路标清解码。到2 0 0 7 年为止，a v s 解码端芯片已经比较成熟，a v s 编码端芯片也处在测试阶段。a v s 产业联盟确定选取i p t v 、 手机电视和卫星传输等三个领域作为标准产业化重点突破的方向，推动产业链上的厂商推 出完全商用化满足不同应用的不同产品。s v 6 1 l l 是展讯推出的高清a v s 解码芯片，它同 时还支持m e g p 2 的m p e g 2 ：h l ：龙晶的d s l 0 0 0 解码芯片也是可同时支持高清a v s 和 m p e g 2 两种标准。【1 2 】提出一种h 2 6 4 基准档次高清编码器芯片，其片上存储s r a m 大 小3 4 7 3 k b ，工作频率1 0 8 m h z 。【1 3 1 提出一种存储优化的m p e g 4 编码器设计。业界高清 编码器产品有三星公司的s u m a v i s i o n9 0 1 0h 2 6 4 高清编码器，l s i 高清晰实时编码器( 支 持h 2 6 4 ，m p e g 一2 和v c 1 压缩格式) ，t a n d b e r gh 2 6 4 a v cm p l 4 0 编码器，a m b a r e l l a 的a 2 单芯片h 2 6 4 编解码器( 支持1 0 8 0 i ) 等。 1 6 本文研究意义和内容安排 本文研究内容是a v s 视频编码芯片的存储设计。逻辑电路和存储单元是数字芯片两个 主要组成部分。存储设计除了在模块设计中实现局部优化，还要在系统层面做全局优化。在 综合考虑系统流水，总线吞吐量，模块结构和占用节拍等因素情况下进行存储设计，具有研 究意义。视频编码芯片需要存储的数据分成两大部分控制信息和象素点信息。象素点信息包 括原始图像，参考图像，上边界象素行，宏块行和左边界宏块的象素点存储。控制信息包括 参考图像，上边界宏块行，左边界宏块的运动矢量，r e fi n d e x ，p i c t u r ed i s t a n c e 等。本文基 于a v s 标清硬件编码器设计，着重从系统层面的片外存储，片上存储设计，以及模块内部 存储设计三个方面进行存储设计，内容安排如下： 7 浙江大学硕士学位论文 第一章介绍视频混合编码框架，芯片设计流程，用于i p 核互联的总线协议，回顾国内 外发展现状，明确视频编码芯片设计的存储设计研究内容。 第二章分析常用片外存储器s d r a m 特点，利用s d r a m 多页结构，提出象素点信息 和控制信息在片外存储器存放格式，提高总线带宽有效利用率。在此基础上提出多参考帧的 帧存管理算法，从而支持跳帧，实现i 帧插入，随机访问点插入等扩展功能。 第三章结合硬件模块的流水控制与片外存储访问，进行片上存储设计。以视频采集模块 f i f o 大小设计为例介绍f i f o 大小设计和不同数据率之间匹配；以插值数据格式转换模块 设计为例介绍双端口r a m 数据复用。 在模块设计中，存储设计必须考虑和速度与规模之间的相互联系，从而在满足时钟约束 条件下，实现总面积最小。第四章利用这个设计思想介绍去块滤波模块的设计实例。分析去 块滤波算法硬件实现难点，调整滤波顺序，优化存储访问，从而优化了流水控制；提出适合 标清应用和高清应用的两种硬件结构，在没有显著增加存储面积和逻辑面积，并且满足综合 的时钟频率约束的情况下提高了去块滤波算法并行度。 第五章从高清视频编码存储需求出发，设计高清分辨率图象在片外存储器的存储格式， 并且总结规律，推广到一般情况下在不同规格的片外存储器上存放不同分辨率图象的存储规 则。 8 浙江大学硕士学位论文 第2 章片外存储设计 存储单元按所处位置可以分为片上存储和片外存储。片外存储速度低、延迟大、代价低， 适用于存储量大分布比较规整的数据；片上存储速度快、延迟小、代价高，适用于存储对速 度要求较高，但存储量不大的数据。本章介绍常用片外存储器特性，利用这些特性，结合参 考文献中的带宽优化和片外存储格式优化方法，提出了编码器象素点信息和控制信息存储格 式的多种设计方案，并且在此基础上提出多参考帧的帧存管理策略，从而实现了支持跳帧， i 帧插入和随机访问点插入等扩展功能。 2 1d r a m 存储器 片外存储常用的存储器件是动态随机存储器d y n i m i cr a n d o ma c c e s sm e m o r y ( d r a m ) 。 d r a m 需要每隔一段时间刷新一次，才能保证数据不丢失，这跟静态随机存储器s t a t i c r a n d o ma c c e s sm e m o r y ( s r a m ) 上电后不需要刷新，数据不会丢失不同。d r a m 存储器优点 是集成度高，容量可以做的比s r a m 大很多；缺点是目前不能集成在芯片上，访问速度比 s r a m 慢。使用时钟信号同步读写操作的d r a m 叫做s y n c h r o n o u sd r a m ( s d r a m ) 。单 数据率同步动态存储器s i n g l ed a t ar a t es y n c h r o n o u sd r a m ( s d rs d r a m ) 和二倍数据速 度同步动态存储器d o u b l ed a t ar a t es y n c h r o n o u sd r a m ( d d rs d r a m ) 是目前广泛使用的 两种s d r a m 存储器。 s d r a m 一般采用多页( b a n k ) 结构。如图2 1 ，s d rs d r a m 芯片w 9 8 6 4 3 2 d h 有四个 b a n k ，每个b a n k 有2 0 4 8 行( r o w ) ，每行有2 5 6 个歹0 ( c o l u m n ) 存储单元，位宽3 2 比特，每个 列存储单元存放3 2 比特数据，行列存储单元的地址线复用。本文中提到的存储格式就是指 图象如何存放在s d r a m 多页的存储单元中。 图2 - 1 s d r a m 多页结构 s d rs d r a m 读写数据的主要控制命令是激活( a c t i v e ) 、读取( r e a d ) 、写入( w r i t e ) 、 预充电( p r e c h a r g e ) 。激活命令激活b a n k 的行地址，读取命令选择b a n k 的列地址读出数 据，写入命令选择b a n k 的列地址写入数据，预充电命令关闭激活的b a n k 。两次激活命令之 间，激活命令与读写命令，读