（通信与信息系统专业论文）视频后处理芯片中模块的设计与探索.pdf

浙江大学硕1 二学位论文y5 8 1 5 1 7 摘要 数字视频后处理是面向数字电视业务的多样性而产生的数字处理技术。在很 长的一段时间内，电视机要同时对模拟电视信号和数字电视信号实现兼容，不同 电视信号制式之间的转换将是电视芯片比不可少的功能之一。同时为了提高视觉 观赏的效果，利用数字视频处理技术对电视信号进行处理也是电视芯片要处理的 一个问题。 本文以视频后处理芯片为立足点，对外部存储器s d r a m 的控制器和经过视 频后处理算法后的多种视频显示格式产生做了深入的研究，介绍了它们的设计方 法，并为后续版本提供了进一步的探索。 数据量庞大、速度要求高和视频显示格式复杂是视频后处理所要面对的主要 问题。 s d r a m 具有物理体积小，价格便宜、速度较快的优点，是视频后处理芯片 外部存储器的理想选择，s d r a m 存储着整个视频后处理过程所需要的数据，它 是一一切工作得以顺利进行的基础。为了解决数据量庞大、速度要求高的问题， s d r a m 控制器的设计非常关键。因此，本文在介绍s d r a m 基本操作方法的基 础仁，详细介绍了针对我们目前版本的视频后处理芯片s d r a m 控制器的设计方 法，同时，为了能在视频后处理芯片实现的后续版本中节省人力和时间，本文在 已有s d r a m 控制器的基础上，探索实现了- - ；f t 适用性很强的s d r a m 通用控 制接口。 视频后处理算法只针对几种典型的输入制式进行隔行变逐行的转换，而多达 2 1 种的视频显示格式主要通过视频显示模块来完成，因此，本文在介绍多种视 频显示格式的基础上，详细介绍了针对我们目前版本的视频后处理芯片视频显示 模块的设计方法，并且为了在视频后处理芯片的后续版本中，进一步提高视频显 示的质量，本文对图像插值的方法也进行了探索，通过比较和分析目前多种流行 的图像插值方法，得到了后续版本图像插值方法选择的方向。 关键词：去隔行，帧率变换，s d r a m ，s c a l e r 擀者、导师同意 勿全文公布 浙江人学硕l 学位论文 a b s t r a c t d i g i t a lv i d e op o s t p r o c e s s i n gi sak i n do fd i g i t a ls i g n a lp r o c e s st e c h n o l o g y t h a tf a c e dt od i v e r s i t yo fd i g i t a lt e l e v i s i o nf o r m a t s a n a l o ga n dd i g i t a lv i d e o s i g n a lw i l i c o e x i s ti nal o n gt i m e ，s ot h et vs e tm u s tb ec o m p a t i b l ef o rb o t h k i n d so ff o r m a t s h e n c e ，t h ec h i pi nt h et vs h o u l dh a v et h ea b i l i t yt oc o n v er t f o r m a t sb e t w e e ne a c ho t h e ra n dt oe n h a n c et h ev i s i o ne f f e c to ft h et v p i c t u r e i nt h i sd i s s e r t a t i o n ，b a s i n go nd i g i t a lv i d e op o s t - p r o c e s s i n gc h i p ，w ef o c u s o nt h e f o l l o w i n gt w o f i e l d s ：e x t e m a lm e m o r ys d r a mc o n t r o l l e ra n d g e n e r a t i o n o fv i d e o d i s p l a y f o r m a t w en o to n l yi n t r o d u c et h e i rd e s i g nm e t h o d s ，b u ta l s od o s o m ef u r t h e rr e a r c hw o r kf o r f o l l o w i n ge d i t i o n i nv i d e op o s t - p r o c e s s i n g ，t h em a i np r o b l e mt h a tw ef a c ei s ：e n o r m o u sd a t a f l o w ，h i g hs p e e da n dc o m p l i c a t e dv i d e od i s p l a y f o r m a t t h ea d v a n t a g e so fs d r a ma r et h a ti ti sv e r ys m a l l ，v e r yc h e a pa n df a i r l y f a s t e r ，s o i ti st h eb e s ts e l e c t i o no fe x t e r n a l m e m o r y s d r a ms t o r e sa l l t h e r e q u i r e dd a t ad u r i n gt h ew h o l e v i d e op o s t - p r o c e s s i n g i ti sab a s ef o ra l lw o r kt o g oo nw h e e l s i no r d e rt os o l v et h ep r o b l e mo fe n o r m o u sd a t af l o wa n dh i g h s p e e d ，t h ed e s i g no fs d r a m c o n t r o l l e ri sv e r yp i v o t a l ，s ow e p r o v i d et h ed e s i g n m e t h o do fs d r a mc o n t r o l l e ri nd e t a i lb a s e do nt h e i n t r o d u c t i o n o f s d r a m b a s i co p e r a t i o n a tt h em e a nt i m e ，i no r d e rt os a v e m a n p o w e ra n d t i m ei nt h e f o l l o w i n ge d i t i o n ，w er e a l i z eau n i v e r s a ls d r a m c o n t r o l l e rw i t hh i g h a p p l i c a b i l i t yi nt h i sd i s s e r t a t i o n o u rv i d e op o s t - p r o c e s s i n ga l g o r i t h mc a ro n l yc o n v e r ts e v e r a l t i p y c a lt y p e s o fi n t e r l a c e ds i g n a l st od e i n t e r l a c e ds i g n a l s ，w h i l et h e2 1t y p e so fv i d e od i s p l a y f o r m a t sm u s tb ea c h i e v e d b yv i d e od i s p l a ym o d u l e i nt h i sd i s s e r t a t i o n ，w e p r o v i d et h ed e s i g nm e t h o do fv i d e od i s p l a ym o d u l ei nd e t a i lb a s e do nt h e i n t r o d u c t i o no fm u l t i p l i c a t ev i d e od i s p l a yf o r m a t s a tt h em e a n t i m e ，i no r d e rt o i m p r o v ei m a g eq u a l i t yf u r t h e r ，b ya n a l y z i n ga n dc o m p a r i n ga v a r i e t y o f c u r r e n t l yp o p u l a ri m a g es c a l e rm e t h o d s ，w ep r o v i d eaa l t e r n a t i v e w a yf o r s e l e c t i n ga p p r o p r i a t ei m a g es c a l e rm e t h o d s k e y w o r d s ：d e - i n t e r l a c e ，u p c o n v e r s i o n ，s d r a m ，s c a l e r 浙江大学硕1 一学位论文 第1 章序论 数字电视是当前蓬勃发展的一个产业，是目前发达国家争夺激烈的一个技术 制高点，反映了一个国家i t 产业的综合实力。 数字电视实际e 是一个系统t 程，它从数字电视节目源到信号处理手段，以 及相应的接收、显示设备，都是数字化。数字电视可以提高电视清晰度，其图像 质量可以达到电视演播室的质量水平或胶片质量水平，使我们可以看到更高质量 的画面，提高视频点播效果。随着数字传输和处理技术的发展，数字电视相对于 传统模拟电视的优势体现得越来越明显，数字电视将是今后电视业发展的方向。 第1 节视频后处理概述 1 1 1视频后处理的意义 数字电视接收机中，主要包括信道解调、信源解码、视频后处理三个核心芯 片，其中信道解调芯片的开发有待于国家标准的确定；信源解码国际上统一采用 m p e g - - 2 标准；数字视频后处理芯片则由于数字电视出现后，各种新业务的不 断加入以及各类新颖显示终端的出现，目前尚无定型产品，因而是当前最有市场 开发价值的数字电视核心芯片之一。 数字视频后处理芯片项目是基于数字高清晰度电视的业务多样性提出来 的。通过数字信号处理方法把众多格式的视频信号转换成统一格式的输出信号， 从而在数字域实现多种信号到电视显示器件之间的无缝连接，大大降低对显示器 件及其扫描等周边电路的性能要求，降低数字电视机的设计成本。同时，后处理 芯片的数字处理功能可以方便地实现精确的伽玛校正、抗锯齿、运动补偿、轮廓 增强等图像处理算法，实现消除闪烁，提升图像观赏质量和视觉效果。 1 1 2 视频后处理的必要性 l j 数字视频后处理芯片项目相关的产业涉及数字电视( 包括基于模拟电视系 统的数字处理电视) 、数字摄录设备p j , a 各类新颖显示设备，是整个数字电视产 浙江大学硕十学位论文 业链中不可或缺的一个重要环节。 数字视频后处理芯片项目是基于数字高清晰度电视的业务多样性提出来的， 同时也适应了当前消费类电子产品对低功耗，小型化的追求，逐步用t f t - l c d 取代阴极射线管的发展需求。业务多样性将是未来数字电视产业发展的一个非常 明显的特点。 首先，m p e g | | 标准( i s o i e c1 3 8 1 8 ) 已经成为数字电视广播( 包括高清 晰度电视广播) 的视频编解码部分的标准，它本身支持多种视频信号格式，对于 高清晰度电视而言主要有1 9 2 0 x 1 0 8 0 ，1 2 8 0 x 7 2 0 ，7 2 0 x 4 8 3 等图像分辨率， 2 4 h z ，2 5 h z ，3 0 h z 逐行，5 0 h z ，6 0 h z 隔行等扫描方式。高清晰度电视机必 须能够支持这些信号格式，由此决定了其业务格式本身就是多样的。 其次，随着生活水平的提高，数字化摄录设备将逐步走进普通家庭，数字电 视可以不失真地还原数字摄录设备的影像，与模拟电视相比有着天然的优势。但 是数字摄录像设备所遵循的信号输出格式并不一定符合数字高清晰度电视的标 准，而且可能是按照模拟电视接口或计算机的接口标准。可以预计，未来家庭的 娱乐中心将是计算机，这是计算机的普及和信息化时代发展的必然结果。因此， 支持多种各个输入的显示设备将是未来显示设备的主流。 再次，高清晰度电视虽然正在不断成熟和发展过程中，但是模拟电视并不会 马上消失，未来若干年内将是由模拟电视向数字电视的过渡期，这个过渡使其可 能还比较长。在这个转型时期，模拟电视，标准清晰度电视，高清晰度电视将相 互并存。为了覆盖所有的标准，电视产品必然是多功能的，并能兼容各种清晰度。 数字化时代本身为多样性提供了条件，数字电视必须能够适应其业务的多样 性的要求，这是数字电视本身以及外部环境使然。但是从另一个方面来说，这对 电视机的核心部件一一显像管及其周边电路提出了很高的性能和工艺要求。具体 表现在，电视机的行频变化范围非常大，从15 k 到4 0 k 甚至更高，变化范围相 差数倍。 数字视频后处理芯片可以把众多格式的视频信号通过数字信号处理的方法 转换成统一格式的输出信号，在数字域实现多种业务信号到显像管之间的无缝连 接。不论输入的是何种视频信号，通过该芯片处理后的视频信号的格式是统一的， 显像管所工作的扫描频率是单一的，这将大大降低对显像管及周边电路的性能要 浙江大学硕士学位论文 求，降低设计成本，简化生产测试。该芯片除了为显像管提供信号转换外，还可 以很方便地实现精确的伽玛校正和枕形失真修正，其准确度是采用模拟方法所无 法达到的。对于一些特殊效果，如画中画，淡入淡出，轮廓增强，无闪烁处理等 都可以在该芯片内实现，不但可以增强数字电视接收机的功能，还可以应用到演 播室设备。 阴极射线管( 普通显像管) 将逐渐被淘汰，转而采用t n l c d 平板显示器。 这是由于经过近3 0 年来的发展，t f t _ l c d 平板显示器的性能价格比和阴极射线 管已经可以一较长短了。数字电视也将随着t f t - l c d 的发展朝着小型化、平板 化发展，t n l c d 功耗低，体积小，而阴极射线管存在采用模拟高压工作方式， 功耗大、体积大等缺点，所以t f t _ l c d 取代阴极射线管只是个时间问题。由于 原有的各种视频信号格式都是面向长余辉阴极射线管的，数字化以后不能很好地 和t f t _ l c d 匹配( 主要是刷新频率太低，闪烁比较明显) 。而在数字视频后处理 芯片罩，可以方便地实现对t f t _ l c d 的驱动。视频后处理芯片既可以使用在普 通显像管的数字电视，又可以使用在t f t l c d 的“轻薄”型数字电视。 1 1 3视频后处理芯片市场前景 数字视频后处理芯片项目的开发，所具有的经济市场前景和经济效益是巨大 的。彩电业经过近2 0 年的发展我国不但是彩电的消费大国，也是彩电的生产大 国和出口大国。有专家估计，未来5 年我国城市市场对彩电的预期需求量约1 亿台，2 0 0 0 年出口彩电已达1 0 0 0 万台之多，加入“、 厂r o ”后彩电业估计是最 不担心入世的中国产业之一，入世将可以打破许多国家的贸易壁垒，给我国彩电 出口带来更大的机遇。 随着世界经济的发展和民众生活水平的提高，消费者对彩电产品的要求非常 高，追求多样化、时尚化、个性化。当前彩电厂家只有生产出符合它们需求的具 有高科技含量的彩电新品，才能得到市场的普遍青睐。数字电视作为数字化信息 技术革命的产物，已经逐步成为电视业发展的方向，它通过数字信息的传输方式， 为，“大观众提供更大的屏幕、更清晰的图象和光盘质量的立体声音响。通过数字 电视，人们不但能收看高清晰画质的电视节目，还可以借助网络机顶盒实现上网、 视频电话、收发电子邮件、家庭购物、教育、娱乐等许多功能。数字电视已经不 一3 一 浙江大学硕1 一学位论文 是传统意义上的电视机了，它变成了一种可以随机获取信息和服务的媒体。 根据有关产业发展规划，到2 0 1 0 年我国东部相对发达地区将普及数字电 视，2 0 1 5 年以前推广至中西部地区，2 0 0 5 年，全国四分之一的电视台将发射和 传输数字电视信号，数字电视后处理芯片的年销量将增至1 5 0 0 万片，年产值达 到3 0 亿元。目前国外两家公司，t d d e n t 和n d s p ，在国内的月销售量约为l5 万片，远不能满足市场需求。 综上所述，数字视频后处理芯片项目的开发，将加快数字电视的产业化发展 进程，对整个电子行业的发展起到很好的推进作用。因此，本项目产品市场前景 广阔。 第2 节本文主要工作和章节安排 1 。2 1本文的主要工作 本文主要工作可分为下面几个方面： 在介绍了视频后处理芯片整个系统和相关算法的基础上，给出了外部存储器 选用s d r a m 的原因，并且在介绍s d r a m 基本特点、基本操作和命令时序 的基础上，根据视频后处理芯片中对s d r a m 控制模块的功能要求，详细介 绍了s d r a m 控制模块的设计实现方法。 为了方便后续版本s d r a m 控制模块的实现，设计了一种适用于多种场合的 s d r a m 通用控制接口，并说明它的应用场合、设计时序和使用方法。 根据视频后处理芯片中对视频显示模块的功能要求，详细介绍了视频显示模 块的设计实现方法。 考虑到现有视频显示模块中尺度变换方法的弊端，在介绍了多种目前流行的 尺度变换方法基础上，通过m a t l a b 仿真对它们尺度变换的效果进行了比 较，给出了后续版本尺度变换方法选择的方向。 1 - 2 _ 2 本文的章节安排 本文的章节安排如下： 第一章介绍视频后处理芯片的意义，必要性以及市场前景，视频后处理所要 4 浙江人学硕j ：学位论文 实现的技术目标和系统方案。 第二章介绍视频后处理相关算法，以及视频后处理芯片总体系统框图和各子 模块的功能。 第三章首先介绍了外部存储器的比较和选取，然后在介绍s d r a m 基本特点、 基本操作和命令时序的基础上，根据视频后处理芯片中对s d r a m 控制模块 的功能要求，详细介绍了s d r a m 控制模块的设计实现方法，并说明了硬件 验证的方法。 第四章介绍了一种适用于多种场合的s d r a m 通用控制接口设计方法，为后 续版本提供了方便。 第五章根据视频后处理芯片中对视频显示模块的功能要求和多种视频显示 格式的要求，详细介绍了视频显示模块的设计实现方法。 第六章考虑到现有视频显示模块中尺度变换方法的弊端，介绍了多种目前流 行的尺度变换方法，并通过m a t l a b 仿真对它们尺度变换的效果进行了比 较，给出了后续版本尺度变换方法选择的方向。 第七章对整个视频后处理芯片的系统方案和主要技术特点进行了较系统的 介绍。 第八章对全文进行总结。 5 浙江大学硕士学位论文 第2 章视频后处理项目系统介绍 第1 节视频后处理算法介绍 基于人类的视觉系统对闪烁的细节并不像大面积闪烁那么敏感的特点，电视 广播标准采用了隔行扫描的视频格式，但隔行扫描的方式使很多图象处理任务复 杂化了，尤其使扫描格式之间的转化复杂化了。随着高清晰度电视，可视电话， i n t e r n e t ，在p c 机上视频的出现，许多扫描格式都增加到广播模式中，这种转 化更加迫在眉睫了，采用怎样的视频处理算法进行高质量的视频格式转化成为业 内研究的重点。 下面我们来分别介绍视频处理算法中的几个重要部分。 2 1 1 降噪 降噪目的是降低噪声对输入信号的影响。降噪的公式可以表述如下： 设当前输入点亮度为d e n _ r a m l r d d a t a ，前一帧对应位置亮度为 d e n _ r a m 0r d d a t a ，降噪后的当前输入点亮度为d e n _ r a m 2 一r d d a t a ，令 k = a b s ( d e n r a m l 一r d d a t a - d e n _ r a m 0r d d a t a ) ，i f ( k l ) k = l ： 贝u 砌九耵砣wdata：kxden_raml r d data+(l-k)xden_ramo r d d a t a 一一一 上 其中l 为降噪的容限值，可以由1 2 c 配置。 2 。1 2 边沿检测 边沿检测是对图像中的边沿进行检测，得到图像的边沿信息，供后续运动补 偿去隔行模块使用。 2 1 3 运动补偿 现在最先进的去隔行算法采用运动补偿技术。和之前的许多算法类似，基于 运动补偿的算法也是试图沿着最大相关的方向进行插值。在已经获得运动矢量的 浙江人学硕士学位论文 情况下，插值就是沿运动轨迹的方向进行的。我们在此假设已经获得了运动矢量， 暂且不讨论运动估计，因为运动矢量有可能出错，而去隔行算法的鲁棒性是至关 重要的，因此，为了提高算法的鲁棒性，一些保护是必须的，b e l i e r s 提出了选 择性中值滤波器，滤波器只是在比较恶劣( 运动估计不容易做准) 的情况下列1 工 作。 目前比较好的去隔行运动补偿技术有时间反向投影( t b p ) 的方法、时间递归 ( t r ) 的方法、基于g s t 的方法等。 2 1 4 帧率变换 现在的显示设备必须能够显示一系列高质量的视频格式，所以需要进行帧率 变换，普通的电视摄像机采用的帧率为5 0 或6 0 h z ；电影的帧率为2 4 、2 5 或 3 0 h z ，而电视机或p c 显示器的刷新率一般在5 0 到1 2 0 h z 之间。 帧率变换的方法主要有重复帧率变换、线性插值帧率变换和更复杂的利用运 动估计和运动补偿进行的帧率变换。 2 1 5 空间缩放 如果输入图像和需要显示的输出图像的每行像素数或者每帧行数不同，那么 必须采用空间缩放技术。图像的空间缩放( 即图像插值) 可以实现图像的放大或 者缩小，处理图像缩小图像质量损失不大，处理相对简单；图像放大通常损失图 像的高频分量，降低图像质量，所以，一般插值算法的研究重点大都放于图像的 放大上。 目前比较常用的图像空间缩放方法有：最邻近插值、双线性插值、s i n c 函数 截短插值、s i n c 函数加窗插值、c u b i cb 样条插值、c u b i c 插值、米切尔插值和 高斯插值等，在后面会详细介绍。 2 1 6 画质增强 画质增强是对去隔后的图像再进行处理，得到更清晰、更明亮的图像。主要 包括：亮度调节、色度调节、对比度，饱和度调节、黑电平扩展、自适应动态峰 浙江大学硕十学位论文 化、亮度边沿改善、色度边沿改善、动态扫描速度调节和g a m m a 校f 。 进行黑电平扩展主要是因为在实际电视信号传输过程中，黑电平是幅值较低 的信号，容易受到各种干扰，容易被下限幅( 二极管等的单向导通性) 。人眼对 于暗梯度变化也比亮的梯度来的更为敏感。所以有必要对黑电平进行扩展，增大 它变化的梯度。亮度瞬态增强和动态峰值都是通过改变亮度的频谱分量来实现增 强物体轮廓的作用，黑电平扩展则是通过提高图像的对比度来改善画质。 进行动态峰化是因为由于信号在传输过程中，由于信道频率响应的非线性， 不可避免的会造成高频和中频信号的衰落，使得图像的清晰度下降。p e a k i n g 是在整个频率范围内对信号进行补偿。 亮度边缘改善是对输出视频的亮度信号进行勾边处理，色度边缘改善是对输 出视频的色差信号进行勾边处理。 动态扫描速度调制是从亮度信息得到s v m 信息，调制电子枪扫描速度。 第2 节视频后处理项目系统介绍 2 2 1系统功能描述 视频后处理芯片g x 2 0 0 1 ，采用了边沿检测和自适应运动补偿算法实现对数 字视频信号的去隔行、帧率变换及画质增强。g x 2 0 0 1 支持多种视频信号输入， 兼容p a l 制和n t s c 制信号。进过变换g x 2 0 0 1 将它们转化成逐行视频信号输 出，输出信号既可以是模拟信号也可以是数字信号，满足模拟和数字显示设备的 驱动要求。 g x 2 0 0 1 集成了噪声抑制、去隔行、内存控制、彩色空间变换、图像增强和 d a 变换等多项功能。输入信号通过降噪处理和边沿检测，利用自有补偿算法对 图像进行内插，产生低噪声、无锯齿的逐行图像。 g x 2 0 0 1 是一个功能强大的视频处理芯片，它可以与多款视频解码芯片相配 合，实现对数字视频信号丰富、有效的处理，从而获得更高品质的画面效果。 - 8 - 浙江人学硕士学位论文 2 2 2总体系统框图 图2 1 视频后处理芯片总体系统框图 2 2 3 各子模块功能简介 2 2 3 1 输入单元 输入单元接收解码后的电视信号，通过同步信号，正确的读取有效数据，利 用f i f o 将数据进行缓存和整理。当存满一行有效数据后，通知总控模块将数据 读出。同时，模块提供状态位供后续模块使用。 2 2 3 2 存储单元 存储单元将为计算单元提供存储空问。主要包括 s d r a m 接口 浙江大学硕士学位论文 c a c h e 控制 内部c a c h e 2 2 3 3 显示单元 显示单元模块将去隔行后的图像，转换成要求的格式，然后经过画质增强模 块对图像进行再处理，得到更清晰、更明亮的图像，最后输出。 2 2 。3 4 运算单元 运算单元将输入的图像经过运算得到低噪声的逐行图像。主要包括 降噪 边沿检测 去隔行 帧率变换 2 2 3 5 时钟单元 时钟单元为系统提供稳定的时钟。主要包括： 锁相环 晶振电路 2 2 3 。6 可编程单元 通过两线串行总线( 1 2 c ) 接口，提供用户编程接口，用以根据用户的实际 需求对芯片进行适当的配置。 2 2 3 7d i a 变换器 通过标准的数模变换器，将数字信号变换成模拟信号，显示输出。 浙江火学硕士学位论文 第3 节本章小结 视频后处理所要实现的主要功能就是对视频格式的转换。整个视频后处理算 法包括降噪、边沿检测、运动补偿、帧率变换、尺度变换和画质增强等很多部分， 本章在介绍视频后处理算法几个重要部分的基础上，给出了整个视频后处理芯片 的系统框图，并对各个子模块作一简单介绍，为以后章节给出s d r a m 控制模块 和视频显示模块的设计方法进行理论上的铺垫，并对它们与其他模块的关系有一 个总体上的认识。 浙江大学硕士学位论文 第3 章s d r a m 控制接口设计实现 第1 节外部存储器的选择方案 3 1 1几种常用r a m ( 随机访问存储器) 的介绍 r a m ，即随机访问存储器，它可以直接访问到任何需要的位置，可以更为 迅速的获得数据，但是断电后在r a m 中存储的数据将全部丢失。一般用在存储量 不大，需要迅速读写，并且不需要长期记忆数据的场合。 r a m 的一般功能模型可由图3 1 表示： 地址 刷新 、la01 lh 地址锁存器卜- + | 列地址解码 行地址译码 br j - 1 3 卜数据流 控制流 存储器单元 阵列 传感放大器 刷新逻辑 写驱动器 数据寄存器 g 数据输出数据输入 图3 - 1r a m 的一般功能模型图 读写和 片选使能 【注】对于s r a m ，没有刷新逻辑模块。 在介绍功能模型之前，我们需要了解存储单元阵列d 在外部组织与内部组织 之间的差异。以1 m b i t 芯片为例，在逻辑上( 就像我们在外部看到的一样) ，我 们可以认为是1 b i t 位宽的字按1 m 来寻址。而物理上( 即芯片内部) ，可以将所 有包含1 b i t 数据的存储单元组织成一个矩阵或是许多个矩阵，例如，可以是一个 浙江大学硕十学位论文 1 k 1 k b i t s ( 1 k 行，每行1 k 个b i t s ) 的矩阵，或者是4 个5 1 2 5 1 2 b i t s 的矩阵， 或者是8 个1 2 8 1 k b i t s 的矩阵等等。在每一次读写操作时，在内部都是一整行 被读写，而我们从外部看到的仅仅只有1 b 1 。 模块a ，即地址锁存器，顾名思义，就是锁存地址的地方。地址的高几位与 模块b ( 行地址解码器) 相连，模块b 是用来从模块d ( 存储单元阵列) 中选择 需要的行。地址的低几位与模块c ( 列地址解码器) 相连，用来选择需要的列。 被选择列的数目取决于芯片的数据位宽，也就是说，芯片的数据线的数目决定了 在一个读操作或写操作的过程中可以访问多少比特数据。 如果读，写控制线标识一个读操作，那么在存储单元阵列中被选中的单元中的 内容将通过模块f ( 传感放大器) 被放大，并存入模块g ( 数据寄存器) 中，随 后出现在数据输出总线上。而在一个写操作中，在数据输入总线上的数据被存入 模块g ( 数据寄存器) 中，然后通过模块e ( 写驱动器) 写入存储单元阵列中。 在通常情况下，为了减少芯片的管脚数， 成一个双向数据总线。 一般片选使能信号会将数据寄存器， 会把数据输出总线和数据输入总线合并 连同读，写控制线和写驱动器一起使能。 当刷新信号被激活时，列地址解码器将选择当前行中所有的列，行地址解码器选 中的行由地址锁存器给出，这时，被选中行中的所有的比特数据都同时被读，同 时被刷新。在刷新的过程中，模块h ( 刷新逻辑) 会使数据寄存器无效。 3 1 1 1s r a m 即静态r a m ，其每一个完整的存储单元都是一个双稳态电路，能够被驱动 而处于0 状态或1 状态，并且在去掉驱动激励后，仍然可以保持这种状态。所以 它不用刷新，只要不断电，数据就会一直保持，所以访问速度很快。 目前在芯片设计过程中，经常被用到的s r a m ，其每个存储单元具有6 个 c m o s 晶体管，具体电器模型如图3 2 ： 它包括四个n m o s 增强型晶体管：q 1 ，q 2 ，q 5 ，q 6 和两个p m o s 增强 型晶体管：q 3 ，q 4 。这种结构使得存储单元在保持当前逻辑值的过程中，除了 e 4 的漏电流外，几乎不消耗其他能量。但也存在一些缺点，这种c m o s 技术 山于n m o s 和c m o s 晶体管的存在，使得处理过程需要更多的步骤。 浙江大学硕士学位论文 。南。 凿 图3 2s r a m 存储单元电器模型 存储单元的寻址是通过一个包含行地址和列地址的二维寻址方案来实现的。 在r a m 的功能模型中，模块b ( 行地址解码器) 每次只允许选中一行，是通过 激活特定行的w l 信号来实现的，这个w l 信号与这一行中的所有存储单元的传 递晶体管的所有门都相连。模块c ( 列地址解码器) 选中这一行中的特定存储单 元，是通过激活一组b l 信号来实现的。 将w l 拉高，b l 和b l 给出数据补码值，就可以实现数据写操作。因为驱动 b l 线比存储单元保持当前信息需要消耗更多能量，所以，强制存储单元保持出 现在b l 和b l 上的数据状态。在写操作时，特定的行也是由w l 选中，被选中 行的内容通过b l 和b l 传送到相应的传感放大器上，在模块c ( 列地址解码器) 的控制下，模块d ( 数据寄存器) 从传感放大器上选择需要的数据。 正因为每个s r a m 存储单元中包括有6 个晶体管，使得它的物理体积相对 于d r a m 来说大好多，难于集成，所以与d r a m 相比价格比较昂贵。 3 1 1 2d r a m 即动态i r a m ，它的存储单元具有体积小，功耗低的优点，其逻辑值是通过 存储在一个电容器中的电荷来表示的，通常这个电容是g s 电容( 寄生在一个晶 体管的源级和栅极) ，存储在这个电容中的电荷可达到1 0 6 个电子的电量。由于 反偏结点漏电流的影响，电容中的电荷值将随会不断减少，需要周期性的补充丢 失的电荷，以保证数据的完整性，这个过程通常被称为刷新操作。 目前，最常用的一种d r a m 存储单元包括一个增强型晶体管和一个单独的 浙江大学硕士学位论文 电容器，具体电器模型如图3 3 ： 图3 - 3d r a m 存储单元电器模型图 单器件存储单元包含一个增强型晶体管和一个独立的电容器，存储单元的逻 辑值决定了电容器是否被充电。执行一个读操作需要将b l 线预充电到传感放大 器的闽值( 介于逻辑0 和逻辑1 之间的一个值) ，然后将w l 拉高，这样，电荷 就会通过电容器c 传到b l 上，这会导致b l 上的电压摆动，电容器c 和b l 的 电容的比值决定了电压摆动的幅度，如果这个比值很小，那么需要非常灵敏的传 感放大器。这种电荷的传递使得读操作是具有破坏性的，所以为了恢复原来的电 荷，需要一个写回操作。将w l 拉高，在b l 上给出希望的值，就可以实现一个 写操作。 d r a m 比s r a m 慢，但同时也比s r a m 便宜得多，而且，由于每个存储单 元只包含一个晶体管，所以，占用的物理空间小，在容量上也可以做得更大。 d r a m 中较常用的有s d r a m 和d d rs d r a m ，下面分别介绍。 s d r a m ! 这是目前使用最为广泛及普通的一种存储器类型。就如其名字所示，它是同 步的，也就是其工作速度与系统总线速度是同步的。虽然速度比s r a m 慢，但 早就超过了1 0 0 m h z ，存储时间达到5 8 n s 毫不费力。 d d r s d r a m ： 是目前s d r a m 的更新产品，d d r 的核心建立在s d r a m 的基础上，但在 速度和容量上有了提高。相对于现在使用的s d r a m ，理论上d d r 存储器可提 供双倍于s d r a m 的速度，这样也将带来双倍的性能。与s d r a m 一样，d d r 也是与系统总线时钟同步的，不同点在于d d r 在时钟的上升沿与下降沿时都进 行数据处理与传输，而s d r a m 只在时钟的上升沿对读取数据，因此不需要提高 时钟的频率就能加倍提高s d r a m 的速度，但控制相对复杂。 浙江人学硕上学位论文 3 1 。2视频后处理项目对存储器的要求 3 1 2 1 存储量要求 在实现视频后处理算法的过程中，需要用到当前输入场亮度数据，前一场亮 度数据，算法得到的当前帧亮度数据，前一帧亮度数据和对应的4 场色度数据， 这些数据都要存储。 以标准p a l 制为例，计算需要的存储量： 两场亮度数据：2 2 8 8 7 2 0 8 b i t s = 3 3 1 7 7 6 0 b i t 两帧亮度数据：2 5 7 6 7 2 0 8 b j t s = 6 6 3 5 5 2 0 b i t 四场色度数据：4x2 8 8 7 2 0 8 b i t s = 6 6 3 5 5 2 0 b 1 总共：3 3 17 7 6 0 + 6 6 3 5 5 2 0 + 6 6 3 5 5 2 0 = 1 6 5 8 8 8 0 0 b j l s 2 m b y t e s 如果输入非标信号，那么需要的最大存储量为： 四帧亮度数据：4 5 7 6 7 2 0 8 b i t s = 1 3 2 7 1 0 4 0 b i t 四帧色度数据：4 5 7 6 7 2 0 8 b i t s = 1 3 2 7 1 0 4 0 b i t 总共：1 3 2 7 1 0 4 0 + 1 3 2 7 1 0 4 0 = 2 6 5 4 2 0 8 0 b i t s 2 5 m b y t e s 3 1 2 2 吞吐率要求 我们以5 0 赫兹隔行视频转化为7 5 赫兹逐行和6 0 赫兹逐行视频为例，进行 分析：所有的工作以一场时间为步进，在一场的时间内要 分配时间r a m 写入一场5 0 赫兹隔行视频数据。 分配时间从r a m 中读出3 ( 7 5 赫兹逐行，1 5 倍帧率变换) 或2 4 场( 6 0 赫兹逐行，1 2 倍帧率变换) 的数据。 分配时间为实现算法部分读入，写进数据。为了在后续芯片实现中节省内部 存储器，在f p g a 实现中，尽量减少内部c a c h e 的使用，这样，相应加重 了外部r a m 的负担，若在在每个算法时间片计算1 1 2 行，内部c a c h e 3 0 k 的情况下，r a m 需要读写5 场的数据，在完成这些块的计算后在一场的余 下时间内停止计算直到下一场开始再次开始计算。 最多总共：1 + 3 + 5 = 9 场数据 浙江大学硕上学位论文 我们以1 6 b i t s 位宽的r a m 和1 0 8 m h z 时钟为例，计算r a m 需要的吞吐率： 一场内的时钟数：1 0 8 m h z 5 0 h z = 2 1 6 0 0 0 0 读写8 场p a l 制数据需要的时钟数：9 x 2 8 8 x1 4 4 0 x 8 b i t s 1 6 b i t s = 1 8 6 6 2 4 0 需要的吞吐率：1 8 6 6 2 4 0 ，2 16 0 0 0 0 = 8 6 4 3 1 3外部存储器的选择 在视频后处理芯片项目中，我们需要2 m b y t e s 的存储器，如果都放在芯片 内部，采用静态r a m ，那么1 6 m 个包含6 个晶体管的存储单元和相应的外围电 路会使芯片面积增加很多，相应的成本也会增加很多，因此，放在芯片内部不可 取。我们需要在芯片外部补以外部存储器。 从系统时钟来考虑，目前，我们的芯片的系统时钟是1 0 8 m h z ，对于s r a m ， s d r a m 和d d rs d r a m ，这个时钟都很容易达到，所以，时钟的限制可以忽 略。 从吞吐率来考虑，目前要求的吞吐率为8 6 4 ，虽然s d r a m 较s r a m 和 d d rs d r a m 的吞吐率都低，但我们在合理的运用s d r a m 高效率的工作模式 下，完全可以达到9 5 上的吞吐率，所以，吞吐率的限制可以忽略。 从成本来考虑，在同等容量的存储器中，s r a m 的成本要比d r a m 的成本 高很多。 从控制的复杂度来考虑，s r a m 的控制最简单，不需要刷新操作，其次是 s d r a m ，它的控制难点在于需要刷新操作，控制最复杂的是d d rs d r a m ，它 在时钟的上升沿和下降沿都要进行数据传输。 综上所述，我们从成本，时钟，吞吐率，控制复杂度几方面综合考虑，s d r a m 是最佳选择，它的优点是成本低，速度和吞吐率也完全可以满足我们的要求，虽 然控制比s r a m 要复杂一些，但在可接受的范围之内，况且，与成本的降低相 比，这一点完全可以忽略了。 第2 节s d r a m 基本介绍 随着数据处理技术的进一步发展，对于存储器的容量和性能提出了越来越高 的要求，于是s d r a m ( s y n c h r o n o u sd y n a m i cr a n d o ma c c e s sm e m o r y ) 应运而 一1 7 浙江人学硕l 学位论文 生，顾名思义，s d r a m 即同步动态随机存储器，它与系统时钟同步，支持高速 总线时钟频率，在大容量数据存储中得到了广泛的应用，性能，价格比很高，成 为e d od r a m 之后的主要内存。 s d r a m 是一种带同步接口的高速动态随机存储器，这种同步接口和全部为 p i p e l i n e 的内部结构，使它具有非常高的数据传输率。s d r a m 也采用了多体 ( b a n k ) 存储器结构和突发模式，能传输一整块而不是一段数据。每一个b a n k 通 过行列来寻址。b a n k 的数量以及行列地址的位数主要取决于存储器的容量。 针对4 - - b a n k s x l m - - w o r d 1 6 b i t s 的s d r a m ，我们给出s d r a m 的功能 框图： 图3 - 4s d r a m 的功能框图 d 0 【15 ：0 】 似眦 洲洲洲叫m洲mm蹴测黼黼 浙江大学硕，i j 学位论文 3 2 1s d r a m 的状态框图 图3 - 5s d r a m 的状态框图 3 1 2 - 2 s d r a m 的主要控制信号和命令组合 s d r a m 的主要控制信号有 c s n ：片选势能 浙江人学硕上学位论文 c a s n ：列地址选通信号 r a s n ：行地址宣统信号 w e n ：写使能信号 c a s n ，r a s n 和w e _ n 的逻辑组合就组成了s d r a m 的主要操作命令， 见表3 - 1 懑鬻鬻黼鬻鬻黼鬻瀚熊麟鬻麟醺麟烈黼黼隧渤燃麟 n o o p e r a t i o n ( n o p ) hhh a c t i v e ( a c t )lhh r e a d ( r d )hlh w r i t e ( w r )hll b u r s lt e r m i n a t e ( b t )hhl p r e c h a r g e ( p c h ) lhl a u t o r e f 帕s h ( a r f )llh l o a dm o d er e g i s t e r ( l m r )lll 表3 - 1s d r a m 主要操作命令表 3 2 3 s d r a m 的时间参数和主要操作 3 2 3 1s d r a m 的时间参数 l _ | 甄黼黼 镕鬻鞣| 1 | 瀚 壤爨麓黪燃g 淤燃l 黎 戮戮i 獭醺g瀚灞麟i瀚黼i黎麟 l 洲c l kc y c l et i m e ic l = 291 01 3 lc l = 36781 0 l c hc l kh i o hp u l s ew i d t h253335 hc l kl o wp u l s ew i d t h253335 ht r a n s i t i o nt i m eo fc l k11 0