（信号与信息处理专业论文）视频图像几何校正卡的设计与实现.pdf

电子科技大学硕士论文 摘要 大视场可视化系统被用在越来越多的场合，就虚拟场景而占，当观察者的余 光被场景全部包围后，观察者会自然地产生一种身临其境的感觉。众所周知，利 用摄像机拍摄真实场景时，其视野总是有限的，为了获得一个更大范围的场景图 像时，就需要拍摄多方位的场景并进行拼接，最后投影到屏幕上显示。 由于屏幕尺寸很大，只有在特制的曲面屏幕上才能使细节得到充分地展现。 如果投影图像为一矩形平面图像，屏幕为曲面，就会造成投影图像在屏幕上会产 生几何变形，为了在曲面屏幕上显示正确的图像，需要在投影前对图像进行几何 校正。本课题的主要内容就是设计一个能对投影前的视频图像进行实时几何校i e 的硬件系统。 论文首先对图像的几何校正原理进行了简单介绍，然后提出了一种视频图像 几何校正卡的系统实现方案。围绕该方案，先介绍了s i ) r a m 的基本操作时序，系 统的d v i 接口和p c i 接口以及其实现方法，然后介绍了f p b a 中功能模块的划分， 并针对双线性插值算法的特殊性，介绍了在f p g a 中用并行处理实现对s d r a m 的 快速随机读写操作的设计思路，最后简单介绍了高速p c b 板的布局，布线方法。 实验结果表明，作者设计的系统已经达到了对视频图像迸行实时处理的目 标。 【关键词】视频图像，几何校正，d v i ，p c i ，s d r a m ，f p g a 一一旦王登墼盔堂堡尘鲨奎 a b s t r a c t l a r g ef i e l do fv i e wp a n o r a m i ci m a g es y s t e mh a sb e e na p p l i e dt om a n yd i f f e r e n t a r e a sm o r ea n dm o r e w i d e l y i nt h ea r e ao fv i r t u a ls c e n e ，t h ea u d i e n c e sw o u l dh a v ea f e e l i n go f b e i n gp e r s o n a l l yo nt h es c e n ew h e nt h e i rs i g h th a sb e e ni nt h es c e n ef u l l y i t i sw e l lk n o w nt h a tt h e r ei sl i m i tv i e wi nt h ei m a g es h o tb yac o m m o n c a m e r a , a n da w i d e rr a n g ev i e wo fi m a g ei sn e e d e d f o rc o n s t r u c t i n g al a r g e rf i e l do fv i e w p a n o r a m i ci m a g e ，o n es c e n es h o u l db es h o ta td i f f e r e n to r i e n t a t i o n sa n dt h em o s a i c i m a g e i sp r o j e c t e do n t ot h es c r e e n t h ep a n o r a m i ci m a g ec a n o n l yb ed i s p l a y e dw e l la tas p e c i a lc u r v ep l a n es c r e e n t h eg e o m e t r i cd i s t o r t i o nw i l l a p p e a ri fan o r m a lr e c t a n g l ei m a g ei sp r o j e c t e dt oa c u r v e p l a n es c r e e n ，a n dt h ed i s t o r t i o n e a r lb ec o r r e c t e db yt h e i m a g eg e o m e t r i c c o r r e c t i o n t h em a i nt a s ko f a u t h o ri st od e s i g nah a r d w a r e s y s t e mw h i c h c a l lp r o c e s s t h ei m a g e s t i m e l yw i t h t h eg e o m e t r i cc o r r e c t i o na r i t h m e t i c a tt h ef i r s t ，t h et h e o r yo ft h ei m a g eg e o m e t r i cc o r r e c t i o ni si n t r o d u c e di nt h i s p a p e r a f t e rt h a t ，t h es y s t e ms c h e m e f o rv i d e oi m a g e g e o m e t r i cc o r r e c t i o nc a r di sp u t f o r w a r d t oi l l u m i n a t et h es c h e m e ，t h eb a s i co p e r a t i o nt i m i n go fs d r a m t h ed v i i n t e r f a c ea n dt h ep c ii n t e r f a c ea r er e p r e s e n t e d t h e nt h ef u n c t i o nm o d u l eo f f p g ai s i n t r o d u c e d o nt h ep o i n to ft h es p e c i f i c a t i o no fb i l i n e a ri n t e r p o l a t i o na r i t h m e t i c ，t h e i d e aa b o u tp a r a l l e l p r o c e s s i nf p g af o r q u i c k l yr a n d o ma c c e s s i n gs d r a mi s d e m o n s t r a t e d a tt h ee n d ，t h em e t h o do f l a y o u tf o rh i g h - s p e e dp c b i si n t r o d u c e d t h er e s u l to ft h ee x p e r i m e n t a t i o ni n d i c a t e st h a tt h es y s t e mh a sa c h i e v e dt h e o b j e c to f p r o c e s s i n g t h ev i d e oi m a g e st i m e l y k e y w o r d s v i d e oi m a g e ，g e o m e t r i cc o r r e c t i o n ，d v i ，p c i ，s d r a m ，f p g a i i 电子科技大学硕士论文 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：茎墨终日期：2 a d 年f 月1 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：童邀导师签名：丁荣乞 日期：如j 年 月 1 日 电子科技大学硕士论文 第一章绪论 1 1 大视场、高临场感可视化系统简介 大视场、高临场感可视化系统的概念最早由s g i 公司提出并称为r e a l i t y c e n t e r ，以后r e a l i t yc e n t e r 这一名称就成为大视场可视化系统的代名词。所 谓r e a li t yc e n t e r ，是指一种可供多人同时使用的大屏幕交互式可视化系统， 该系统以高沉浸感、实时性、交互性为特点，是支持群体决策、群体可视化的重 要手段。 心理学研究表明，就虚拟场景而言，当观察者的余光被场景全部包围后，观 察者会自然地产生一种身临其境的感觉。r e a l i t yc e n t e r 正是利用了视觉的这 一特点，采用大尺寸屏幕，利用图形服务器强大的图形能力及专业投影机的诸多 特殊功能，实时地将大视场视景显示在观察者面前，从而使他们“沉浸”在虚拟 场景之中，并能与之即时地交互。由于屏幕尺寸很大，在普通显示器上不易展现 的细节能够在特制的曲面屏幕上得到充分地展现。 r e a l i t yc e n t e r 主要由图形服务器、投影系统、屏幕及相关附属设备组成。 图形服务器负责实时生成多通道同步图像，投影系统负责将这些图像正确地投射 到屏幕上。附属设备一般包括信号转换接口及放大器、高质量信号线、矩阵交叉 开关及音响系统等，负责保证信号在传输中的质量、信号的切换以及为系统提供 音响、灯光控制等功能。 图形服务器是r e a l i t yc e n t e r 系统的核心，其作用是根据虚拟场景数据库 中的场景几何造型及观察者视觉信息实时生成虚拟场景的图像。一个高端 r e a lit yc e n t e r 系统对图形服务器有如下要求： 第一，提供高质量图像。高质量图像的含意极为广泛，主要包括图像分辨率、 抗混叠效果、色彩逼真度及纹理真实感等内容。高质量的图像首先要求有较高的 分辨率，一般要求在x g a ( 1 0 2 4 7 6 8 ) 以上。高端r e a l i t yc e n t e r 往往要求图形 服务器具有输出定制分辨率刷新率图像的能力，如一些应用需要输出 1 0 2 4 1 0 2 4 6 0 h z 的图像；而另一些应用则可能对图像刷新频率有较高要求，如 6 4 0 4 8 0 1 5 0 h z 等。 抗混叠效果是高质量图像的重要标准。所谓图像混叠，是指由图形部件分辨 率( 图形缓存、z b u f f e r 等) 引起的图像中物体边缘的锯齿现象。图像混叠会严 重破坏图像的真实感，直接影响使用者的视觉美感和沉浸感。消除图像混叠的过 程叫做抗混叠( a n t 卜a l i a s i n g ) ，抗混叠效果的好坏直接决定着图形服务器的质 电子科技大学硕士论文 量。在r e a l i t yc e n t e r 系统中，仅仅做点和线的抗混叠是不充分的，必须实施 全屏抗混叠( f u lls c r e e na n t i a li a s i n g ，简称f s a a ) ，由于f s a a 需要对每一 个像素进行处理，其代价要比点线的抗混叠高得多。因此，f s a a 的效果及效率 是评价图形服务器的重要指标。 色彩和纹理精度是影响场景真实感的重要因素。对于色彩，比较理想的是每 像素采用4 8 b i tr g b a 进行色彩计算，而不是普通的3 2 b i t 。对于纹理，高精度 纹理需要较大的纹理内存，目前业界拥有最大纹理内存的图形部件是s g i 的i r 4 ， 每个i r 4 图形流水线具有1 g b 的纹理内存，这样大的纹理内存对提高场景的真实 感无疑是极为有益的。 第二，提供多通道图像。出于r e a l i t yc e n t e r 系统视场较大，往往需要由 多幅图像拼接而成，因此需要图形服务器能够提供多通道图像。需要注意的是， 这些图像必须达到严格的同步。图像同步有两个含义：一是s w a p 同步，即各通 道同时翻转图像缓存；二是g e n l o e k ，即视频扫描线级的同步。一个高端图形服 务器必须同时实现这两种同步，以确保各图像通道不丢帧且绘制时同步严格。 第三，提供较强的实时性。图形服务器的实时性包括i o 实时响应和图像实 时刷新。高端图形服务器一般在操作系统级提供硬实时，包括c p u 分离以实时响 应中断请求，图形系统提供d v r 等手段与软件配合实现帧频率的硬实时等。 第四，处理大数据量复杂数据。高端图形服务器往往需要处理大规模数据， 这需要较大的内存、较高的i o 及系统带宽作为保证。其中几何校正边缘融合 器的主要任务是对投射在屏幕上的图像进行几何校正，并对相邻投影图像的重叠 区域进行融合，以得到一幅几何正确、无缝拼接的图像。由于投影图像为一矩形 平面图像，屏幕为曲面，这就造成了投影图像在屏幕上会产生几何变形，为了得 到正确的图像，需要进行几何校正。另一方面，为了获得最佳的显示效果，r e a li t y c e n t e r 系统不同显示通道间有一定的重叠率，而不是硬拼接的，造成重叠区亮 度高于非重叠区，需要用边缘融合技术进行处理以消除这种影响。 1 2 本课题的提出 虽然高端的图形服务器功能强大，性能优越，但在一些不追求很高图像质 量的大视场可视化系统场合用这种功能复杂，价格昂贵的服务器就有点不合适 了。随着计算机的不断普及和计算机显卡性能的不断增强，一种用计算机加上图 像处理卡的解决方案随之被提出。图像处理卡把计算机显卡输出做为信号源，将 输入的图像信号做几何校正和边缘融合处理后输出到数字投影机，最终把图像投 影到曲面屏幕上形成虚拟场景，如图卜1 所示。这种方案的优缺点如下： 优点：成本很低，可实现大视场可视化系统的基本功能。 2 电了科技大学硕士论文 缺点：通常一台计算机只有一张显卡，所以要实现多通道图像处理则需要 多台计算机做信号源，体积较大。 1 3 作者的主要工作 图卜l 投影的曲面屏幕 本论文的主要工作是设计一个硬件系统，实现r e a l i t yc e n t e r 中图形服务 器的图像几何校正和边缘融合的功能，以及对输入图像进行实时采集等功能。作 者的主要工作如下： 1 参与整个系统方案的讨论，完成芯片的选型。 2 完成原理图和p c b 板的绘制。 3 完成f p g a 内部所有程序。 4 负责电路板的调试。 电子科技大学硕士论文 第二章图像几何运算原理 几何运算可改变图像中各物体之间的空间关系。这种运算可以看成是将各物 体在图像内移动。其效果正如在一块橡皮板上画图，拉伸该橡皮板，并在不同的 的点固定该橡皮板。当然，一个几何变换实际要比这更为一般化，因为由于输入 图像中的任何点可以移动到输出图像中任意位置，这样一种不受限制的几何运 算，十有八九会弄乱图像的内容，因此对几何运算往往需作一些限制以保持图像 的外观顺序。 一个几何运算需要两个独立的算法。首先，需要一个算法来定义空间变换本 身，用它描述每一个像素如何从其初试位置“移动”到终止位置，即每个像素的 “运动”：同时，还需要一个用于灰度级插值的算法，这是因为，在一般情况下， 输入图像的位置坐标( x ，_ y ) 为整数，而输出图像的位置坐标为非整数，反过来也 是如此。 2 1 空间变换 如果用f ( x ，y ) 来表示输入图像的灰度函数，用g ( x ，y ) 来表示输出图像的灰 度函数，那就可以方便的用数学方法来描述输入，输出图像点之间的空间关系。 几何运算的一般定义为： g ( x ，y ) = f ( x ，y ) = f a ( x ，y ) ，b ( x ，y ) 】 ( 2 1 ) 这里 f x = 口( x ，j ，) 1 ，= 6 ( x ，_ y ) ( 2 2 ) 唯一的描述了空间变换，若它们是连续的，则几何变换保持图像的连通性。 如果令( 2 2 ) 式中 a ( x ，y ) = c x + a y + e b ( x ，y ) = s x + t y + ， 其中c t s d 0 ，就得到图像的简单空间几何变换。用矩阵形式表示为 珂批 。， 当c ，d ，s ，t ，e ，r 取某些特殊值时，就可以得到常用的图像平移，旋转和缩放等 变换。 4 电子科技大学硕士论文 例如图像的平移变换 图像的旋转变换： 批 阡篇篇蚓 粼黼 阱m 习 而图像的平移，旋转和放缩的复合变换可以写为： ：? 茹捌匀 2 2 灰度级插值 几何运算的第二个要求是进行灰度级插值的运算。在输入图像中，灰度值仅 在整数位置( 工，y ) 处被定义。然而，在式( 2 1 ) 中，g ( x ，y ) 的灰度值一般由处于非 整数坐标上的f ( x ，y ) 的值来决定。所以，如果把几何运算看成一个从，到g 的映 射，则f 中的一个像素会映射到g 中几个像素之间的位置；反过来也是如此。我 们可以采取如下两个办法来获取g 的像素灰度值： 向前映射法( 如图2 - 1 ) 。可以把几何运算想象成将输入图像的灰度一个一个 像素地转移到输出图像中，所以又叫像素移交映射。如果一个输入像素被映射到 四个输出像素之间的位置，其灰度值就按插值算法在四个输出像素之间进行分 配。 j ，7 v ，一 酉素移交映射 l f ，n ，y 3 整型 反而力 力非整型 图2 - 1 向前映射法 由于许多输入像素可能映射到输出图像的边界外，故向前映射算法有些浪 费。而且每个输出像素的灰度值可能要由许多输入像素的灰度值来决定，因而涉 及多次计算。如果空间变换包含缩小处理时，会有四个以上的输入像素来决定输 电子科技大学硕士论文 出像素的灰度值；如果含有放大处理，则一些输出像素可能会被漏掉( 如果没有 输入像素映射到它们附近位置的情况下) 。而当所进行的空间变换即包含缩小变 换又包含放大变换，或者是不同局部区域的放大倍数或缩小倍数严重不一致时， 就会在输出图像中引起严重的灰度畸变，这种情况应该极力避免。 向后映射法( 如图2 2 ) 。在这里输出像素一次一个地映射回输入图像中，以 便确定灰度级，所以又叫像素填充映射。如果一个输出像素被映射到四个输入像 素之间，则其灰度值由灰度级插值决定，向后空间变换是向前变换的逆a 向后映射算法是逐像素，逐行地生成输出图像。每个像素的灰度级由最多四 个像素参与的插值所唯一确定。当然，输入图像必须允许按空间变换所定义的方 式随机访问，因而可能有些复杂。尽管如此，像素填充法对一般的应用更为切实 可行。 x x i像素填充映射 弋 j ， f q 。7 、 ( z ，y ，) 非整型 g ( 墨y ) ( x ，y ) 整型 图2 2 向后映射法 输出像素通常被映射到输入图像中的非整数位置，即位于四个输入像素之 间。因此，为了决定与该位置想对应的灰度值，必须进行插值运算。下面介绍一 些常用的灰度插值算法。 2 2 1 最近邻插值 最简单的插值方法是所谓零阶插值或称为最近邻插值，即令输出像素的灰度 值等于离它所映射到的位置最近的输入像素的灰度值。最近邻插值方法的计算十 分简单，在许多情况下，其结果也可令人接受。然后，当图像中包含像素之问灰 度级有变换的细微结构时，最近邻插值法会在图像中产生人为的痕迹，如锯齿形 的边缘等。 2 2 2 双线性插值 双线性插值又叫一阶插值，和零阶插值法相比可产生令人满意的效果，只是 程序稍微复杂一些，运行时间稍微长一些。由于通过四点确定一个平面是一个过 电子科技人学硕上论文 约束问题，所有在一个矩形栅格上进行的一阶插值就需要用到双线性函数。 令f ( x ，y 1 为两个变量的函数，其在单位正方形顶点的值已知。假设我们希 望通过插值得到正方形内任意点f ( x ，y ) 值。可令由双线性方程： f ( x ，y ) = 麟+ b y + c r y + d ( 2 4 ) 来定义的一个双曲抛物面与四个已知点拟合。 从a 到d 这四个系数须由已知的四个顶点的f ( x ，y ) 值来选定。有一个简单的 算法可产生一个双线性插值函数，并使之与四个顶点的f ( x , y ) 值拟合。首先， 我们对上端的两个顶点进行线性插值可得： f ( x ，o ) = f ( o ，o ) + x f ( 1 ，0 ) - - f ( o ，0 ) ( 2 5 ) 类似地，对底端两个顶点进行线性插值有： f ( x ，1 ) = f ( o ，1 ) + x f ( 1 ，1 ) 一f ( o ，1 ) ( 2 6 ) 晟后，做垂直方向的线性插值，以确定： f ( x ，y ) = f ( x ，o ) + y e f ( x ，1 ) - f ( x ，o ) 1 ( 2 7 ) 将式( 2 - 5 ) 、( 2 - 6 ) 代入( 2 7 ) ，展开等式并合并同类项可得： f ( x ，y ) = 【f ( 1 ，o ) - f ( o ，o ) k + 【厂( o ，1 ) 一f ( o ，0 ) l y ，、 + ，( 1 ，1 ) + f ( o ，o ) - f ( o ，1 ) 一f ( 1 ，o ) x y + f ( o ，0 ) 显然，( 2 8 ) 类似与( 2 4 ) ，应此确是双线性的。通过验证即可知，式( 2 8 ) 确实满足已知的单位正方形四个顶点的f ( x ，y ) 值，如图2 3 所示。 图2 3 双线性插值示意图 当对相邻的四个像素进行双线性插值时，所得表面在邻域边界处是吻合的， 但斜率却不吻合。这样，一个由分段双线性插值产生的表面是连续的，但起导数 在邻域边界处通常是不连续的。 电子科技人学硕士论文 2 2 3 高阶插值 在几何运算中，双线性灰度插值的平滑作用可能会使图像的细节产生退化， 尤其是在进行放大处理时，这种影响将更为明显。而在其他应用中，双线性插值 的斜率不连续会产生不希望得到的结果。这两种情况都可以通过高阶插值得到修 正，当然这需要增加计算量。一个类似于式( 2 4 ) ，但要比式( 2 4 ) 复杂，并且有 四个以上系数的函数，可适当拟合多于四个点的邻域。 如果系数的个数与点的个数相等，则插值表面可以与所有点吻合。如果点的 个数多于系数的个数，则可使用曲线拟合或最小误差法。高阶插值通常用卷积来 实现，使用高阶插值函数的例子有：三次样条、l e g e n d r e 中心函数和s i n ( a x ) a x 函数。 2 3 几何运算的应用 在本课题中，应用几何运算的主要目的是将矩形平面图像产生人为的几何 变形后输出到数字投影仪，使之能够完整地投影在一个曲面的屏幕上。因为屏 幕为曲面的，如果不对输出图像进行几何校正而直接输出到数字投影仪，就会 造成投影图像在屏幕上会产生严重的几何变形，为了得到正确的图像，必须在 图像输出前进行几何校正。 如图( 2 - 4 ) 为一幅正常的矩形图像，图( 2 5 ) 是把图( 2 - 4 ) 做几何校正后得 到的平面图像。 图2 4 原始图像 图2 - 5 几何校正后的图像 电子科技大学硕士论文 第三章系统的方案设计 3 1 图像处理系统的基本组成与基本原理 图像处理系统中一般由a d ，数字信号处理，d a 以及存储器等几个主要部分 组成，如图3 - i 所示。图中的系统控制及数字信号处理部分是系统的核心，它通 过对a d 转换器或解码器的控制，对输入图像信号进行采样或解码，然后把得到 的数据暂存在外部存储器中，根据实际需求对该采集获得的数据进行各种所需的 处理，最后把处理后的数据送给d a 或编码器，并控制它们的输出。 输入 图像 输出 图像 图3 一l图像处理系统的一般组成 在本系统中，对系统的处理速度有严格的要求。因为系统是实时的，如果要 及时处理输入的每一帧图像。在图像信号源是1 0 2 4 x 7 6 8 9 6 0 h z 的情况下，处理 一场图像的时间只有1 6 6 6 m s ，也就是计算一个像素的时间为2 1 n s ，在这段时间 内需要完成1 2 次乘法( r ，g ，b 三色各需要四次乘法) 。 影响系统的处理速度的因素主要是数字信号处理器的运算速度，以及访问外 部存储器的速度。下面对数字信号处理器和外部存储器的选择做一个简单分析， 并介绍系统的外部接口。 3 2 数字信号处理器的选择方案 通常数字信号处理可以有通用处理器( g p p ) ，d s p 处理器以及f p g a 等几种选 择方案，一般来说，通用处理器不是设计出来做密集乘法任务的，通常做一次乘 法需要多个指令周期来完成。而在本系统中要实现的双线性插值算法需要用到大 量的乘加运算，所以选用通用处理器不能满足要求。下面对d s p 和f p g a 做一个 简单的比较。 d s p 作为可编程超大规模集成电路( v l s i ) 器件，是通过可下载的软件或固 件来实现扩展算法和数字信号处理功能的，其最典型的用途是实现f i r 滤波器和 f f t 算法。在硬件上，d s p 最基本的构造单元是被称为m a c 的乘加器。它通常被 9 电子科技大学硕上论文 集成在数据通道中，这使得指令周期时间可以跟硬件的算术周期时间相同。此外， d s p 芯片还有若干个独立的片内存储器、r o m 、r a m 、并行功能单元、锁相环( p l l ) 、 振荡器、几条8 位或1 6 位的总线、时钟中断电路等。为满足无线便携式器件无 电保存数据的要求，d s p 芯片还采用了诸如闪速存储器、铁电存储器等技术。当 前，大多数的d s p 芯片采用改进的哈佛结构，即数据总线和地址总线相互分离， 使得处理指令和数据可以同时进行，提高了处理效率。另外还采用了流水线技术， 将取指、取操作数、执指等步骤的指令时间可以重叠起来，大大提运算速度。 f p g a 指的是现场可编程门阵列，它的基本功能模块是由1 3 输入的查找表， 存储数据的触发器等组成。将查找表和触发器用可编程的布线资源连接起来，就 可以实现不同的组合逻辑和时序逻辑。由于f p g a 内部结构的特点，它可以很容 易的实现分布式的算法结构，这一点对高速数字信号处理十分有利。因为数字信 号处理中通常都需要大量的滤波运算，而这些滤波函数往往需要大量的乘和累加 操作，而通过分布式的算术结构，f p g a 可以有效地实现乘和累加操作。 随着技术的进步，d s p 芯片的速度不断提高，其硅片面积逐渐缩小，并且功 耗也在减小。尽管如此，在高速信号处理中对d s p 的要求仍然难以达到，因为 i ) s p 程序是串行执行的，所以即使采用多处理器结构进行负荷分担，其速度也不 会有很大程度的提高。 由于f p g a 器件实现的各功能块可以同时工作，从而实现指令级、比特级、 流水线级甚至是任务级的并行执行，从而大大地加快了计算速度。由f p g a 实现 的计算系统可以达到现有通用处理器的数百甚至上千倍。并且，由于f p g a 可动 态地配置，系统的硅片面积不再是所支持无线接口数的线形函数，因此有可能在 很少的几片甚至一片f p g a 中集成一个支持所有标准的系统。不过，由于现有的 f p g a 的开发系统几乎都是为a s i c 的原型验证而设计的，导致这些开发系统在节 省工程开发时间上效率非常高，而在f p g a 资源的利用效率方面却比较差。h d l 语言可大大提高设计能力，但在最大限度地发挥器件性能方面h d l 的设计方法还 有一定的局限性，还不能提供f p g a 布局布线的优化和约束。 实时视频处理对系统性能的要求极高，因此几乎所有只具最简单功能的通用 d s p 都不具备这项功能。可编程逻辑器件允许设计人员利用并行处理技术实现视 频信号处理算法，并且只需单个器件就能实现期望的性能。基于d s p 的解决方案 通常需要在单板上嵌入许多d s p ，以得到必需的处理能力，这无疑将增加程序资 源开销和数据存储器资源开销。 例如v i s i c o m 公司发现，在中值滤波器应用中，d s p 处理器需要6 7 个时钟 周期执行算法，而f p g a 只需工作在2 5 m h z 频率下，因为f p g a 能并行实现该功能。 1 0 电子科技大学硕士论文 实现上述功能的d s p 必须工作在1 5 g h z 频率下，可见在此特定应用中，f p g a 解 决方案的处理能力可以达到i o o m h zd s p 处理器的1 7 倍。 许多实时图像和视频处理功能均适合于用f p g a 器件来实现，包括：图像旋 转、图像缩放色彩校正和色度校正、阴影增强、边缘检测、直方图功能、锐化、 中值滤波器和斑点分析等。 f p g a 现有的面向信号处理的工具和i p 模块还比不上发展较为成熟的d s p 所 有拥有的工具和软件。这些综合因素形成了f p g a 的一个重大缺点：b d t i 公司的 分析表明，优化f p g a 复杂信号处理功能所花费的时间是优化d s p 的5 倍。尽管 存在这种缺点，f p g a 的巨大性能优势还是使其成为一些高端信号处理应用的技 术选择。 鉴于以上比较，本系统采用f p g a 来实现系统控制和数字信号处理模块。 3 3 外部存储器的选择方案 3 3 1 外部存储器的介绍 外部存储器通常用r a m ( 随机访问存储器) 来实现。r a m 可以快速的存储数 据，但断电后存储的数据将全部丢失。一般用在存储量不是很大，需要迅速读写， 并且不需要长期记忆数据的场合。一般分为s r a m 和d r a m 两种，下面分别介绍： s r a m s r a m 即静态r a m ，其每一个完整的存储单元都是一个双稳态电路，能够被驱 动而处于0 状态或1 状态，并且在去掉驱动激励后，仍然可以保持这种状态。所 以它不用刷新，只要不断电，数据就会一直保持，所以访问速度很快。 目前在芯片设计过程中，经常被用到的s r a m ，其每个存储单元具有6 个c m o s 晶体管，具体电器模型如图3 2 ；一。 巾泓 潸 图3 2s r a j i 存储单元电路模型 它包括四个n m o s 增强型晶体管：q l ，q 2 ，q 5 ，q 6 和两个p m o s 增强型晶体 电予科技大学硕十论文 管：q 3 ，q 4 。这种结构使得存储单元在保持当前逻辑值的过程中，除了很小的漏 电流外，几乎不消耗其他能量。但也存在一些缺点，这种c m o $ 技术由于n m o s 和c m o s 晶体管的存在，使得处理过程需要更多的步骤。 存储单元的寻址是通过一个包含行地址和列地址的二维寻址方案来实现的。 在r a m 的功能模型中，模块b ( 行地址解码器) 每次只允许选中一行，是通过激活 特定行的w l 信号来实现的，这个w l 信号与这一行中的所有存储单元的传递晶体 管的所有门都相连。模块c ( 列地址解码器) 选中这一行中的特定存储单元，是通 过激活一组b l 信号来实现的。 将w l 拉高，肌和b l 给出数据补码值，就可以实现数据写操作。因为驱动日 线比存储单元保持当前信息需要消耗更多能量，所以，强制存储单元保持出现在 舭和舭上的数据状态。在写操作时，特定的行也是由w l 选中，被选中行的内 容通过b l 和舭传送到相应的传感放大器上，在模块c ( 列地址解码器) 的控制 下，模块d ( 数据寄存器) 从传感放大器上选择需要的数据。 正因为每个s r a m 存储单元中包括有6 个晶体管，使得它的物理体积相对于 d r a m 来说大好多，难于集成，所以与d r a m 相比价格比较昂贵。 d r a m d r a m 即动态r a m ，它的存储单元具有体积小，功耗低的优点，其逻辑值是通 过存储在一个电容器中的电荷来表示的，通常这个电容是g s 电容( 寄生在一个晶 体管的源级和栅极) ，存储在这个电容中的电荷可达到1 0 6 个电子的电量。由于反 偏结点漏电流的影响，电容中的电荷值将随会不断减少，需要周期性的补充丢失 的电荷，以保证数据的完整性，这个过程通常被称为刷新操作。 目前，最常用的一种d r a m 存储单元包括一个增强型晶体管和一个单独的电 容器，具体电路模型如图3 3 ： w l 图3 - 3d p - a i ! 存储单元电路模型图 单器件存储单元包含一个增强型晶体管和一个独立的电容器，存储单元的逻 辑值决定了电容器是否被充电。执行一个读操作需要将b l 线预充电到传感放大 器的阈值( 介于逻辑0 和逻辑1 之间的一个值) ，然后将w l 拉高，这样，电荷就 会通过电容器c 传到b l 上，这会导致b l 上的电压摆动，电容器c 和b l 的电容 的比值决定了电压摆动的幅度，如果这个比值很小，那么需要非常灵敏的传感放 电子科技大学硕士论文 大器。这种电荷的传递使得读操作是具有破坏性的，所以为了恢复原来的电荷， 需要一个写回操作。将w l 拉高，在b l 上给出希望的值，就可以实现一个写操作。 d r a m 比s r a m 控制起来要麻烦的多，但同时也比s r a m 便宜得多，而且，由 于每个存储单元只包含一个晶体管，所以，占用的物理空间小，在容量上也可以 做得更大。 d r a m 中较常用的有s d r a m 和d d rs d r a m ： s d r a m 指的是s y n c h r o n o u sd r a m ，是目前使用最为广泛及普通的一种存储器 类型。就如其名字所示，它是同步的，也就是其工作速度与系统总线速度是同步 的，工作时钟周期最小可为5 n s 。 d d rs d r a m 指的是d o u b l ed a t ar a t es d r a m ，是目前s d r a m 的更新产品，d d r 8 d r a m 的核心建立在s d r a m 的基础上，但在速度和容量上有了进一步的提高。 相对于现在使用的s d r a m ，理论上d d rs d r a m 存储器可提供双倍于s d r a m 的速 度，这样也将带来双倍的性能。与s d r a m 一样，d d rs d r a m 也是与系统总线时 钟同步的，不同点在于d d rs d r a m 在时钟的上升沿与下降沿时都进行数据处理 与传输，而s d r a m 只在时钟的上升沿对读取数据，因此不需要提高时钟的频率 就能加倍提高s d r a m 的速度，但控制相对复杂。 3 3 2 系统对存储量的要求 在实现图像几何校正算法的过程，需要用到当前输入的图像所有像素值和相 应的参数值。 一帧图像所需要的存储量如下： i 0 2 4 7 6 8 分辨率1 0 2 4 7 6 8 8 x 3 = 1 8 8 7 4 3 6 8b i t = 2 2 5 mb y t e s 1 2 8 0 1 0 2 4 分辨率1 2 8 0 x1 0 2 4 8 3 = 3 1 4 5 7 2 8 0b i t = 3 7 5 mb y t e s 考虑到图像的几何校正算法中，采用向后映射法逐像素，逐行地生成输出图 像，这样就对每一个输出象素点有相应的一组参数，参数的数据格式设计如下： x ，y 为每次计算一个新的像素点所需要四个原始像素数据中的左上角像素的 坐标值，各为1 6 位无符号数，共占3 2 位。 s 1 s 4 为4 个采样点的采样权值，8 位无符号整数； 计算一帧图像所需要参数的存储量如下： 1 0 2 4 7 6 8 分辨率 1 0 2 4 7 6 8 x 6 4 = 5 0 3 3 1 6 4 8b i t = 6 mb y t e s 1 2 8 0 1 0 2 4 分辨率 1 2 8 0 1 0 2 4 6 4 = 8 3 8 8 6 0 8 0b i t = 1 0 mb y t e s 皇士登垫盔堂堡主丝兰 3 3 3 存储器的选择 在该系统中，我们至少需要容量为4 mb y t e s 的存储器来做为一帧图像的缓 存，由于需要的容量太大，不可能存放在芯片内部的r a m 中，所有必须使用外部 存储器来解决。 从系统时钟来考虑，目前，设计的系统时钟在1 3 3 m h z1 6 6 m h z 之间，对于 s r a m ，s d r a m 和d d rs d r a m ，这个时钟都可以满足，所以，时钟的限制可以忽略。 从成本来考虑，在同等容量的存储器中，s r a m 的成本要比d r a m 的成本高很 多。 从器件体积考虑，单片g r a m 的容量很小，需要多片来组合，这样体积就比采 用d r a m 的要大很多。 从控制的复杂度来考虑，s r a m 的控制最简单，不需要刷新操作，其次是s d r a m ， 它的控制难点在于需要刷新操作，控制最复杂的是d d rs d r a m ，它在时钟的上升 沿和下降沿都要进行数据传输。 综上所述，从单片容量，时钟，体积，控制复杂度几方面综合考虑，s d r a m 是最佳选择，它的优点是成本低，速度和体积也完全可以满足我们的要求，虽然 控制比s r a m 要复杂一些，但在可接受的范围之内，况且，与成本的降低相比， 这一点完全可以忽略了。 鉴于s d r a m 在系统中处于至关重要的地位，并且控制相对复杂，下面对s d r a m 的操作时序进行简单介绍。 3 4 s d r a m 基本介绍 随着数据处理技术的进一步发展，对于存储器的容量和性能提出了越来越高 的要求，于是s d r a m ( s y n c h r o n o u sd y n a m i cr a n d o ma c c e s sm e m o r y ) 应运而生， 顾名思义，s d r a m 即同步动态随机存储器，它与系统时钟同步，支持高速总线时 钟频率，在大容量数据存储中得到了广泛的应用，性能价格比很高，成为e d o d r a m 之后的主要内存。 s d r a m 是一种带同步接口的高速动态随机存储器，这种同步接口和全部为 p i p e li n e 的内部结构，使它具有非常高的数据传输率。s d r a m 采用了多块( b a n k ) 存储器结构和突发模式，每一个b a n k 通过行列来寻址。b a n k 的数量以及行列地 址的位数主要取决于存储器的容量。 针对4 b a n k s ，8 m e g x1 6 的s d r a m ，功能框图如下： 1 4 电子科技大学硕上论文 图3 4s d r a m 的功能框图 3 4 1s d r m i 的主要控制信号和命令组合 s d r a m 的主要控制信号如下 c s # ：片选使能信号 r a s # ：行地址选通信号 电子科技大学硕士论立 c a s # ：列地址选通信号 w e # ：写使能信号 c s # ，r a s # ，c a s # ，w e # 这几个信号的逻辑组合构成了s d r a m 的主要操作命令 如表3 1 所示： 表3 - 1s d r 麒的主要操作命令 n o p ： 表示空操作，可以用来在空闲或等待状态防止其他的命令被执行。 a c4 l l v e ： 在对s d r a m 进行读、写操作之前，需要进行操作的行必须处于“打开”的状 态，这就需要用a c t i v e 命令来完成。 a c t i v e 命令用来激活特定b a n k 中的某一行，为接下来的操作做准备。b a o 和b a l 的值用来选择需要激活的b a n k ，地址线a 0 一a 1 l 的值用来选择相应的行。 当激活一行以后，r e a d 或w r i t e 命令至少需要等待f 的时间才能被有效执行。 r 。被时钟周期整除后得到r e a d 或w r i t e 在a c t i v e 命令后需要等待的时钟个数， 例如，。，。为1 8 n s ，在时钟频率1 6 6 m l i z ( 6 n s 的周期) 的情况下为3 个时钟周期， 典型的时序操作如图3 5 所示。 图3 - 5a c t i v e 的典型时序图 1 6 囫d o n i c & r e 电子科技大学硕士论文 当一个b a n k 中有一某行被激活时，如果没有p r e c h a r g e 命令对该b a n k 进行 操作，那么被激活的行会一直保持激活状态，如果要想激活同一个b a n k 中的其 他行，就必须先对该b a n k 进行p r e c h a r g e 操作。 r e a d 在个b a n k 被激活后，经过i r c d 时间就可以执行读操作了。在r e a d 命令发 出的同时，b a o 和b a l 的值用来选择要操作的b a n k ，地址线a 0 一a 8 ( 1 6 位数据的 情况) 的值用来选择开始的列地址。a i o 的值决定是否需要自动p r e c h a r g e 这个 功能，如果选用，那么在读完后芯片会自动执行内部p r e c f t a r g e 的命令，在这个 内部p r e c h a r g e 命令没有执行完之前，对该b a n k 的任何操作( r e a d ，w r i t e ， p r e c h a r g e ，a c t i v e ) 都是无效的：如果不选用自动p r e c t t a r g e ，那么被访问的行 在读完后仍保持“打开”的状态可供下次读写。 在发出r e a d 命令后，要等待c a s 延时后有效数据才会出现在数据线上，c a s 延时一般为两个或三个时钟周期。如图3 6 所示。 图3 - 6 读操作的典型时序图 w l u i e ： 与r e a d 命令相同，在一个b a n k 被激活后r 。经过时间，就可以执行写操作 了。如果是连续写数，在发出w r i t e 命令的同时，b a o 和b a l 的值用来选择要操 作的b a n k ，地址线a o - a 8 ( 1 6 位数据的情况) 的值用来选择开始的列地址。a i o 的值决定是否需要自动p r e c h a r g e 这个功能，如