（模式识别与智能系统专业论文）基于fpga的图像处理加速研究.pdf

硕士论文 基于f p g a 的图像处理加速罚里塞 摘要 随着微电子技术的高速发展，实时图像处理在多媒体、图像通信等领域有着越来 越广泛的应用。f p g a 就是硬件处理实时图像数据的理想选择，基于f p g a 的图像处理专 用系统的研究将成为信息产业的新热点。 本文详细介绍了一种实时监控图像处理系统的设计方案，实现了具有前端视频采 集系统、图像预处理功能系统、图像显示系统。该系统采用a l t e r a 公司的f p g a 芯片作 为中央处理器。由视频采集模块、异步f i f o 模块、视频解码模块、i 配置接口模块、 图像帧存控制模块、图像预处理模块、视频编码模块和f p g a 配置电路模块等组成。模 拟视频信号由c c d 传感器送入，经视频a d 芯片s a a t l l 3 转换成数字视频信号后，送入 到异步f i f o 中缓冲。视频解码模块采用对视频数据流识别的方法获得图像数据，然后 送入s d r a m 图像帧存。图像预处理模块预处理图像数据并经视频d a 芯片s a a t l 2 1 转换 模拟视频信号送显示器输出。 本文通过采用f p g a 实现图像算法快速处理与采用传统的软件优化相比较，说明 f p g a 实现图像算法快速处理是一种有效，简便、经济的方法，因此该课题具有广阔的 应用前景和市场价值。 关键词：f p g a1 2 c 总线视频采集异步f i f o 中值滤波 硕士论文 基于f p g a 的图像处痘加速研究 a b s t r a c t w i t l lt h ef a s td e v e l o p m e n to fe l e c t r o n i ct e c h n o l o g y , r e a l t i m ei m a g ep r o c e s s i n gi s w i d e l yu s e di nt h ef i e l ds u c h m u l t i m e d i aa n di m a g ec o m m u n i c a t i o n f p g an o wh a s b e c a m ea l li d e a lc h o i c eo fh a r d w a r ei nr e a l - t i m ei m a g ep r o c e s s i n g ，w h i l et h er e s e a r c h a b o u tt h ei m p l e m e n t a t i o no fd i g i t a li m a g ea l g o r i t h m sb a s e do nf p g aw i l lb et h en e w k e y - p o i n ti ni n f o r m a t i o ni n d u s t r y t h i sp a p e rd e t a i l e d l yi n t r o d u c e das o l u t i o no fi m a g ep r e - p r o c e s s i n gs y s t e mi nv i d e o d e t e c t i o ns y s t e ma n di m p l e m e n t e daf p g as u b s y s t e mw h i c hh a dt h ef u n c t i o no fv i d e o c a p t u r e a n d i m a g ep r e p r o c e s s i n ga n di m a g ed i s p l a y i n g t h es y s t e mu s e da l t e r s c o r p o r a t i o n sf p g aa st h ec e n t r a lp r o c e s s o r i tw a sc o m p o s e do fv i d e oc a p t u r e m o d u l e ，a s y n c h r o n o u sf i f om o d u l e ，v i d e od e c o d em o d u l e r c c o n f i g u r a t i o nm o d u l e ，i m a g e f l a m es t o r i n gc o n t r o lm o d u l e ，i m a g el o w l e v e lp r o c e s s i n gm o d u l e ，e n c o d em o d u l ea n d f p g ac o n f i g u r a t i o nc i r c u i t t h ea n a l o gv i d e os i g n a lw a sc a p t u r e db yc c ds e n s o ra n d c o n v e r t e dt ot h ed i g i t a lv i d e os i g n a lb yv i d e oa dp r o c e s s o rs a a 7 1 1 3 d i g i t a lv i d e os i 刚 w a ss e n tt ot h ea s y n c h r o n o u sf i f ob u f f e r v i d e od e c o d em o d u l eu s e dt h em e t h o do f i d e n t i f i c a t i o nt h ed i g i t a lv i d e od a t as t r e a mt oa c q u i r et h ei m a g ed a t aa n dt h e ns t o r e dt h e m i nt h es d r a mf t a n em e m o r y i m a g el o w l e v e lp r o c e s s i n gm o d u l ep r e p r o c e s s e dt h e i m a g ea n ds e n tt h ew o r k e dd a t at 0t h el a t t e rm a g ed i s p l a y i n gs y s t e mf o rd i s p l a y i n gb y v i d c o d a p r o c e s s o rs a a 7 1 2 1 t h ea d v a n t a g e so ff p g aw e r ei l l u s t r a t e dt h r o u g i ac o m p a r i n gt h et r a d i t i o n a l so f t w a r e a n df p g a f p g am e t h o di sa ne f f e c t i v e c o n v e n i e n ta n de c o n o m i cm e t h o dt o w a r c i m a g ea r i t h m e t i c t h e r e f o r et h i sp a p e rh a st h eb r o a da p p l i c a t i o np r o s p e c ta n dt h em a r k e t v a l u e k e y w o r d s = f p g a1 2 cb u s v i d e oc a p t u r e a s y n c h r o n o u sf i f o m e d i a n f i l t e r n 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：五旦堡缓 冲6 月爿日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名： 五丝缓冲g 月嬲日 硕士论文基于即g 的图像处理加速研究 1 1 课题背景 第一章绪论 图像处理“3 是信号与信息处理学科的一个部分，也是诸多计算机领域中最为活跃 的一个领域。随着计算机、集成电路等技术的飞速发展，图像处理无论是在算法、系 统结构上，还是在应用上以及普及程度上都取得了长足的进展。图像处理技术发展到 今天，许多技术己经相当成熟，在各个领域如工业生产、工程、军事、医学以及科学 研究等中都有着广泛的运用，并取得了巨大的成功和显著的经济效益。 人们在图像处理领域的研究很多，取得了相当多的成果，研究出了很多适用的算 法，例如中值滤波、高通滤波等。因为图像在生成过程中常常会受到各种噪声源的干 扰和影响而使图像的质量变差，为了抑制噪声，改善图像质量，必须对图像进行滤波、 平滑等预处理。由于底层的图像预处理算法处理的数据量大，用一般的软件来实现会 比较慢，并且对于一些实时性要求比较高的系统，如视频图像实时处理系统。1 ，处理 速度往往是要考虑的关键要素，因为一旦速度跟不上，实时性也就无从谈起。 、 随着数字信号处理器( d s p ) 和大规模超大规模集成电( l s i v l s i ) 以及大规模可 编程逻辑器件( c p l d f p c a ) 的商速发展和广泛应用，实时图像处理也得到了非常迅速 的发展。为了提高图像处理的速度，满足系统实时要求，可以用硬件来实现对图像的 处理，f p g a 芯片便是目标硬件的理想选择之一，同时f p g a 的应用也为提高图像处理速 度提供了新的思路和解决方法“1 。 f p g a 嵌入式系统有两种基本的实现方式：软件和硬件。一般来说，软件比硬件灵 活，成本低，而专用硬件提供了更高的性能。为了达到成本和性能的最佳结合，兼顾 速度和灵活性，越来越多的嵌入式系统设计采用软硬件配合方式实现系统功能。为了 在软硬件混合系统设计中统一考虑硬件和软件效率，9 0 年代以来提出了新的软硬件 联合设计方法，它是软件和硬件使用统一的设计方法和设计工具进行描述、综合、验 证的设计方法。相比传统方法，软硬件联合设计协调软硬件开发过程并行开展，一方 面可以在早期发现软件和硬件集成方面的问题，缩短设计周期，另一方面可以根据系 统各个部分的特点和设计约束。选择软件或者硬件实现方式，得到高性能、低代价、 可编程的优化设计方案。 该课题属f p g a 嵌入式系统设计，数字图像处理等学科的典型运用。本文的主要 研究内容就是基于f p g a 的监控系统的构建以及图像处理算法的实现。 硕士论文基于f p g a 的图像处理加速研究 1 2 图像处理实用技术分类 对于图像算法的处理可以用软件或者硬件来实现。通常来说，出于简便和成本考 虑，一般利用软件来实现大部分操作，除非需要更高的速度以满足性能指标。软件可 以优化，但有时是不够的。如果需要更高的速度，利用硬件来处理算法是一个不错的 选择。图像处理的硬件设计有两种技术方案，一是全定制的专用集成电路( a s i c ) ，二 是半定制的数字信号处理器( d s p ) 以及现场可编程门阵列( f p g a ) ，它们在设计中的运 用都可以大大加快对信息的处理速度。 一般来说，图像处理速度的提高，主要有两种手段，一是改变图像处理算法，使 算法更简单。但最为耗时的图像低级处理算法己相当成熟，其运算的复杂性也相对固 定，所以改变算法同时又能够保证精度是非常困难的。二是改变实现算法的手段。目 前，实现图像处理算法的手段针对不同的应用需求主要有以下几种： ( 1 ) 通用计算机 通用计算机是基于冯诺依曼结构的，通过高级语言( c ，c + + 等) 编写程序代码， 经过编译后转换成指令代码，每一条指令代码又包括许多条微指令，每条微指令都需 要数个机器周期。虽然现在通用计算机技术发展非常快，但通用计算机属于标准串行 机，大部分工作是存储器和a l u 之间交换数据，整个过程是单指令单数据的串行处理 过程，在很多情况下该系统结构上的局限性使它对低级图像处理不能够满足实时高速 的要求。因此，基于通用计算机，采用高级语言编程，它适合各种图像处理算法的验 证，适用于一些实时性要求不高的场合。 ( 2 ) 并行处理 在许多场合下，单个c p u 不能够实现实时数据处理的时候，采用多个c p u 同时工作 的并行处理为解决此问题提供了可能。各国学者在这方面作了大量的工作，并已经研 究出多种并行结构和编程语言，它克服了单个处理器在硬件上串行工作的局限性，提 高了系统的性能。虽然对并行处理进行了大量的研究，但这个领域仍不成熟。处理单 元负载不均衡，并行算法编程困难，理论上并行处理所应达到的性能和实际性能相比 有较大差距。 ( 3 ) 专用集成电路 专用集成电路“1 ( a s i c ) 是针对于某一固定算法或应用而专门设计的硬件芯片。许 多图像处理算法采用通用处理器和d s p 来实现难以满足速度需要，而必须采用a s i c 来 实现，在各种算法实现方案中使用a s i c 来实现是最快的。但是，a s i c 在实际应用中也 有其缺点：a s i c 从设计到应用需要较长的时间周期；a s i c 因为属于专用硬件芯片，所 以需求数量较少，成本也就非常高；由于a s i c 是为专用目的设计的，当设计成型并且 芯片成功就不能改动，所以在设计中当算法因故需要改交时就要设计者重新设计芯片 2 硕士论文基于即g 的图像处理加速研究 和硬件电路；当a s i c 里存在硬件设计的错误时，并且在投入生产前未能发现的话，唯 一解决的办法是把产品回收，而这样做的后果往往是芯片商付出沉重的经济代价。 a s i c 极低灵活度往往使其局限于非常有限的应用中并容易产生性能瓶颈，因此由a s i c 构建的图像处理系统，缺乏灵活性。 ( 4 ) 数字信号处理器 数字信号处理器”1 ( d s p ) ，是专门为快速实现各种数字信号处理算法而设计的、 具有特殊结构的微处理器，通常使用c 语言进行编程，其处理速度可达至u 2 0 0 0 m i p s ， 比最快的c p u 还快1 0 一5 0 倍。数字信号处理器的内部采用专用硬件实现一些数字信号处 理常用的运算，所以它进行这些运算速度非常快。如乘加( m a c ) 运算只需要一个时钟 周期。 但是从根本上来说，d s p 只是对某些固定的运算提供硬件优化，其体系仍是串行 指令执行系统，并且这些固定优化运算并不能够满足众多算法的需要，这使得它的使 用受到限制。v i s i c o m 公司的一份技术报告指出：在中值滤波实现中，d s p 处理器需 要6 7 个周期完成该算法，采用f p g a 器件只需要运行在2 5 m h z ，因为f p g a 可并行实现该 功能，而d s p 要达到同样的性能则需要运行在超过1 5 g h z 频率。在这一特定的应用中， f p g a 解决方案比一个i o o m h z 的d s p 处理器要强大约1 7 倍。 ( 5 ) 现场可编程门阵列 现场可编程门阵列埘( f 陷a ) 器件是当今运用极为广泛的可编程逻辑器件，也被称 为可编程a s i c 。f p g a 器件在结构上具有逻辑功能块排列，可编程的内部连线连接这些 功能模块来实现一定的逻辑功能。f p g a 器件的功能由逻辑结构约配置数据决定。工作 时，这些配置数据存放在片内的s r a m 。使用s r a m 的f p g a 器件，在工作前需要从芯片外 部加载配置数据，配置数据可以存储在片外的e p r o m 或其他存储体上，设计者可以控 制加载过程，在现场修改器件的逻辑功能，即所谓现场编程。利用它用户不仅可以方 便地设计出所需的硬件逻辑，而且可以进行静态重复编程和动态在系统重配置，使系 统的硬件功能可以像软件一样编程来修改，从而可以实时地进行灵活而方便的更新和 开发，大大提高了系统设计的灵活性和通用性。与此同时，f p g a 自身也在迅速发展， 其集成度、工作速度不断提高，包含的资源越来越丰富，可实现的功能也越来越强。 f p g a 能在设计上在实现硬件并行和流水线( p i p e li n e ) 技术9 1 ，面这些都不能在 d s p 上实现。因此，对于实时图像处理而言，与本质上仍然是依靠串行执行指令来完 成相应图像处理算法的d s p 系统相比，f p g a 有很强的灵活性，可以根据需要进行重构 配置，有较强的通用性，适于模块化设计：同时其开发周期短，系统易于维护和扩展， 适合实时的信号处理，能够大大地提高了图像数据的处理速度，达到了系统的实时性 要求，因此采用f p g a 器件是个不错的选择。 硕士论文基于f p g 的图像处理加速研究 1 3 基于f p g a 的图像处理的发展现状 图像处理系统的结构受多方面因素的影响，特别是c p u 、计算机总线、操作系统、 网络数据库和集成电路水平的影响。8 0 年代开始出现以图像帧存为中心的图像处理结 构，如图1 3 1 所示，随着新型p c i 总线的问世，9 0 年代出现了以计算机内存为中心的 图像处理系统，为了提高速度，又增加一些硬件处理，如图1 3 2 所示。硬件处理的 功能包括卷积运算、图像分割和灰度变换等。 图1 3 1 以图像帧存为中心的图像处理结构 摄 件 母 内显 像 硬 处 机 存存 理 图1 3 2 以计算机内存为中心的图像处理系统 低价位微处理技术支持的并行处理技术、低成本的图像传感器以及低成本技术的 新的存储技术的发展进一步推动了图像处理技术的发展，图像处理无论在算法上还是 体系结构上都有了很大的发展，数字信号处理器以及大规模、超大规模可编程器件在 图像处理上有广泛的应用。随着微电子技术的迅猛发展和芯片制造工艺的提高，f p g a 凭借其在处理速度上等众多优势被越来越多的在实时图像处理系统中所采用。 综上所述，与其他实现方式相比，利用f p g a 来实现图像处理有其独特的优越性： f p g a 芯片的可编程和强大的处理能力，使其可以很好的运行和分析各种图像处理算 法；并且它的高集成度，使可设计出较小巧的系统。 4 硕士论文基于f p g a 的图像处理加速研究 1 4 研究内容 本文对以下内容进行研究： 1 f p g a 器件的结构及工作特点f p g a 芯片是本系统的核心部件，对其进行深入分析是 进行系统设计的前提条件。本文对可编程器件，特别是对f p g a 进行了比较全面的 分析和比较。 2 硬件模块结构对基于f p g a 的实时监控图像处理系统硬件平台的组成进行功能模块 结构划分、各模块间的连接和整体布局进行研究。完成基于f p g a 的实时监控图像 处理系统硬件平台的设计与实现。 3 视频编码解码技术视频图像信号是本系统的处理对象，只有了解了编码和解码技 术的相关知识，才能明确如何选用编码和解码芯片，因此对视频编码和解码技术 相关知识的研究也是设计硬件电路的基础。 4 基于1 2 c 总线的视频解码( a d ) 和视频编码( d a ) 芯片的初始化研究，主要包括对视 频解码和编码芯片的工作模式、输出行、场同步参考信号的时序关系以及输出数 字信号的格式等进行设置。 5 本文提出了适合在硬件上实现的快速中值滤波算法并取得了理想的效果。最后， 本文给出f p g a 硬件实现图像处理算法的性能指标和总结分析。 硕士论文基于f p g a 的图像处理加速研究 第二章f p g a 概述 f p g a 是现场可编程门阵列，具有很强的灵活性，可以通过软件，根据需要无限 次的更改其内部硬件逻辑，改变芯片功能，因此可以将原来由软件顺序执行和实现的 图像处理以及视觉检测算法，改变为由f p g a 实现的基于门电路的硬件算法。目前，f p g a 芯片在集成度、容量和速度方面都达到了较高的水平，已经能够完成复杂的逻辑运算， 这为基于f f g a 的可重构视觉检测系统提供了硬件基础。这种采用硬件实现算法处理， 运算速度接近于专用集成芯片，能够满足实时图像处理的要求。 2 1f p g a 的发展 可编程逻辑器件自7 0 年代初期主要用于解决各种类型的存储问题，后来逐渐转向 为各种逻辑应用，经历了以下三个主要发展阶段”“： ( 1 ) 早期的可编程逻辑器件，如可编程只读存储器( p r o m ) 、紫外线可擦除只读存 储器( e p r o m ) 和电可擦除只读存储器( e e p r o m ) 三种，由于结构的限制，它们只能完成 简单的数字逻辑功能； ( 2 ) 结构上稍为复杂的可编程芯片，即可编程逻辑器件( p l d ，p r o g r a m m a b l el o g i c d e v i c e ) ，产品主要为p a l ( 可编程阵列逻辑，p r o g r a m m a b l ea r r a yl o g i c ) ，g a l ( 通用 阵列逻辑，g e n e r i ca r r a yl o g i c ) 和p l a ( 可编程逻辑阵列，p r o g r a m m a b l el o g i c a r r a y ) ，它们的设计具有很强的灵活性，但也只能实现较小规模的电路； ( 3 ) 2 0 世纪8 0 年代中期出现了类似于p a l 结构的复杂c p l d ( c o m p l e xp r o g r a m m a b l e l o g i cd e v i c e ) 和与标准门阵列类似的f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ，它们 都具有体系结构和逻辑单元灵活、集成度高以及适用范围广等特点。这两种器件兼容 了p l d 和通用门阵列的优点，可以实现较大规模的电路，编程也很灵活，与全定制和 半定$ 0 a s i c 相比，它们又具有设计开发周期短、设计制造成本低、开发工具先进、标 准产品无需测试、质量稳定以及可实时在线检验等优点，因此被广泛应用； 目前，f p g a 芯片已经具备了许多功能“1 1 ： ( 1 ) 支持d a 和a d ，包含达到5 0 0 m h z 以上的差分接口： ( 2 ) 采用片内锁相环，在支持高速时钟的同时减少信号的畸变和实现时钟的复用； ( 3 ) 在提供更丰富的布线资源的同时，对逻辑和i o 功能快做了进一步的简化； ( 4 ) 为满足用户对不同规模的r a m 的要求，在芯片内提供分布r a m 和块r a m ； ( 5 ) 简化的逻辑功能块包含独立的快速进位逻辑，提供专门的乘法电路可满足d s p 等应用的要求； ( 6 ) 逻辑功能块的局部布线和相互间的通用布线，可以精确的预测网线的延时； 6 硕士论文 基于f t g a 的图像处理加速研究 ( 7 ) i o 功能块有快速的i o 驱动、寄存的输入输出、三态使能控制、可编程控制 的上拉和输入延时等控制特性。 此外，随着芯片线宽的减小，芯片工作电压相应降低，i o 块具有兼容几种电压 标准的能力，例如，1 5 v 的芯片，内芯和i o 使用不同的电压，在保证降低内部功耗 的同时能与3 3 v 和5 v 的器件连接。 2 2f p g a 基本原理与结构 f p g a 的结构大致分为两种“”，一种是基于乘积项( p r o d u c t t e r m ) 的p l d 结构，这 种p l d 基本都是由e e p r o m 和f l a s h - f 艺制造的，一上电就可以工作，无需其他芯片配合。 另一种是基于查找表( l o o k - u p t a b l e ) 的结构。由于本文中所用到的f p g a 属于后者， 所以只对基于查找表( l o o k - u p t a b l e ) 的结构的f p g a 进行介绍。 2 2 。l 查找表的原理与结构 查找表( l o o k - u p t a b l e ) 简称为l u t ，l u t 本质上就是一个r a m ，目前f p g a 中多使用 4 输入的l u t ，所以每一个l u t 可以看成一个有4 位地址线的1 6 xl 的r a m 。当用户通过原 理图或 d l 语言描述了一个逻辑电路以后，p l d f p g a 开发软件会自动计算逻辑电路的 所有可能的结果，并把结果事先写入r a m ，这样，每输入一个信号进行逻辑运算就等 于输入一个地址进行查表，找出地址对应的内容，然后输出即可，下面是一个4 输入 与门的例子，如表2 2 1 所示： 表2 2 1 输入与门例子 实际逻辑电路l l 玎的实现方式 7 硕士论文基于f p g a 的图像处理加速研究 2 2 2 查找表结构的f p g a 逻辑实现原理 a e c d c 【k 以图2 2 1 逻辑电路为例说明f p g a 逻辑实现原理。 o 档 o l ，r 图2 2 1 四输入逻辑电路 a b ，c ，d 由f p g a 芯片的管脚输入后进入可编程连线，然后作为地址线连塑j l u t ， l u t 中已经事先写入了所有可能的逻辑结果，通过地址查找到相应的数据然后输出， 这样组合逻辑就实现了。该电路中d 触发器是直接利用l u t 后面d 触发器来实现，时钟 信号c l k 由z o 脚输入后进入芯片内部的时钟专用通道，直接连接到触发器的时钟端， 触发器的输出与i o 脚相连，把结果输出到芯片管脚，这样f p g a 就完成了图2 2 1 所示 电路的功能。 这个电路是一个很简单的例子，只需要一个l u t 力i 上一个触发器就可以完成。对 于用一个l u t 无法完成的电路，就需要通过进位逻辑将多个单元相连，这样f p g a 就可 以实现复杂的逻辑。 2 2 3 基于查找表的f p g a 的结构 f p g a 是现场可编程逻辑阵列，由于门阵列中每个节点的基本器件是门，用门来 组成触发器而构成电路和系统，其互连远比p l d 的与或加触发器的结构复杂，所以在 构造f p g a 时改用了单元结构。即在阵列的各个节点上放的不是一个单独的门，而是门 触发器等做成的逻辑单元，并在各个单元之间预先制作了许多连线。编程就是安排逻 辑单元与这些连线之闯的关系，实现各逻辑单元之间的互连，从而实现设计的逻辑功 能。图2 2 2 是a l t e r a 公司c y c l o n e 系列基于查找表结构的f p g a 芯片内部结构图。 毫 硕士论文基于f p g 的图像赴理加遽研究 图2 2 2f p g a 内部结构图 在编程技术方面，芯片上集成的多次编程功能是通过s r a h 存储的数值控制器件中 可编程节点的通断来实现的。同时，采用系统内可再编程技术，使得系统内硬件的功 能可以像软件一样来编程配置，从而可以实时的进行灵活而方便的更改和开发，甚至 可以在系统运行过程中进行再配置，这样，同样的硬件可以按不同时段实现不同的功 能，提高了系统的效率。这种软硬件的全新的设计概念，让新一代电子系统具有极强 的灵活性和适应性，它不仅使得电子系统的设计和开发以及产品性能的改进和扩充变 得十分简单和方便，而且为实现许多复杂的信号处理和信息提供了新的思路和方法。 2 3f p g a 的基本特点 f p g a 的基本特点主要有“”： ( 1 ) 采用f p g a 设计a s i c 电路，用户不需要投入生产，就能得到合用的芯片。 ( 2 ) f p g a 可做其它全定制或半定皋4 a s i e 电路的中试样片。 ( 3 ) f p g a 内部有丰富的触发器和i o g 脚。 ( 4 ) f p g a 是a s i c 电路中设计周期最短、开发费用最低、风险最小的器件之一。 ( 5 ) f p g a 采用高速c m o s t 艺，功耗低，可以与c m o s ，t t l 电平兼容 可以说，f p g a 芯片是小批量系统提高系统集成度、可靠性的最佳选择之一。 2 4f p g a 的设计方法与流程 完整的f p g a 设计流程“”“”分为电路设计与输入、功能仿真、综合、综合后仿真、 实现、布局布线后仿真、配置下载与调试等主要步骤，设计流程如图2 4 1 所示： 9 硕士论文 基于f p g a 的图像处理加速研究 图2 4 1 完整的f p g a 设计流程 ( 1 ) 电路设计与输入 电路设计与输入是指通过某些规范的描述方式，将电路构思输入给e d a t 具。常 用的设计输入包括使用硬件描述语言h d l 、原理图设计和状态图设计等方法。目前h d l 设计方式是设计大规模数字集成电路的良好形式，其中影响最为广泛的h d l 语言是 v e r i l o g h d l 和v h d l 。它们共同特点是利于自顶向下的设计，利于模块的划分与复用， 可移植性好，通用性好，设计不因芯片的工艺与结构不同而变化，利于向a s i c 移植。 ( 2 ) 功能仿真 功能仿真是指使用仿真工具对已实现的设计进行完整测试。验证电路功能是否符 合设计要求，功能仿真有时也被称为前仿真。通过仿真能及时发现设计中的错误，加 快设计进度，提高设计的可靠性。 1 0 硕士论文 基于f p g a 的图像处理加速研究 ( 3 ) 综合优化 综合优化是指在满足待实现电路的约束条件下，将h d l 语言、原理图等设计输入 翻译成由与，或、非门、r a m ，触发器等基本逻辑单元组成的逻辑连接，再通过计算 机对速度和面积进行逻辑优化，输出e d f 和e d n 等标准格式的网表文件，获得一个能满 足要求的电路设计方案。综合优化后产生的f p g a 网表文件，以供厂家的布局和布线器 进行实现。 ( 4 ) 综合后仿真 综合完成后需要检查综合结果是否与原设计一致，做综合后仿真。在仿真时，把 综合生成的标准延时文件反标注综合仿真模型中去，可估计门延时带来的影响。综合 后仿真的主要目的在于检查综合器的综合效果是否与设计输入一致。 ( 5 ) 布局布线 综合优化产生的逻辑网表与芯片实际的配置情况还有较大差距。利用f p g a 厂商 提供的工具软件，根据所选芯片的型号，将综合输出的逻辑网表适配到具体f p g a 目标 器件中，这个过程称之为实现过程。在实现过程中最主要的过程是布局布线：布局是 指将逻辑网表中的硬件原语或者底层单元合理的适配到f p g a 内部固有硬件结构上，布 局的优劣对设计的最终实现结果影响很大。布线是指根据布局的拓扑结构，利用f p g a 内部的各种连线资源，合理正确连接各个元件的过程。 ( 6 ) 时序仿真与验证 将布局布线的时延信息反标注到设计网表中，所进行的仿真就叫时序仿真或布局 布线后仿真，简称后仿真。布局布线之后生成的仿真时延文件包含的时延信息最全， 不仅包含门延时，还包含实际布线延时，所以布线后仿真最准确。布局布线后仿真能 检查设计时序与f p g a 实际运行情况是否一致，确保设计的可靠性和稳定性。 ( 7 ) 下载配置、调试 下载配置是指在时序仿真正确的前提下，将形成的配置文件下载到具体的f p g a 中。可以直接由计算机经专用下载电缆配置或者由外围配置芯片进行上电自动配置。 整个f p g a 设计一般就是按照上述的流程进行开发，任何仿真或验证步骤出现问题，就 需要根据错误定位返回到相应的步骤进行更改或者重新设计。 2 5 课题中f p g a 的软、硬件开发平台 2 5 1 本课题f p g a 芯片选型 美国a l t e r a 公司是世界上最大雕j p l d 供应厂商之一。c y c l o n e 系列芯片是该公司推 出的低价格、高容量的现场可编程门阵列( f i e l dp r o g r a m m a b l eg a t ea r r a y ，f p g a ) 硕士论文 基于f p g a 的图像处理加速研究 器件，该系列芯片以其较低的价格、优良的特性及丰富的片上资源在消费类电子、计 算机、工业和汽车领域得到广泛的应用。 c y c l o n e 系列f p g a 是a l t e r a 公司中等密度的f p g a 产品，基于s t r a t i x 架构，采用 1 5 v ，0 1 3 微米、全铜s r a m 3 ：艺，覆盖门数从5 万门到3 0 万门，主要有e p i c 3 ，e p i c 4 ， e p l c 6 ，e p i c l 2 和e p l c 2 0 几种型号“”。该芯片逻辑资源丰富，逻辑单元数量最大可达 2 0 0 6 0 个，内置m 4 k 嵌入式阵列块( e a b ) ，最大r a m 数位2 8 8 k b i t s ，可以达到2 0 0 m h z 的工 作频率。该系列还具有多时钟系统所必需的锁相环( p l l s ) 路；用于d d r s d r a m 和f c r a m ( f a s tc y c l er a m ) 的双倍速率传输接口；支持包括3 1 1 m b p s 低电压l v d s 接口在内的多 种i 0 标准；支持6 6 b 4 z ，3 2 位的p c i 标准；支持多种i p 核；支持采用低成本串行配置器 件( 如e p c s i ，e p c s 2 等) 对f p g a 进行配置。c y c l o n e 系列f p g a 平面布局如图2 5 1 所示： i 黝竣 逻辚 跨剃 l a b 馕榻矫 p l l 存甓嚣 m 4 k 一 ” jy；。 篡 jn 。$ v 。，1 。 ；i 。一 爨 j 。 巍“鬟h 成 毫。t 瑟i ? ：一瓤5 螽! 墨玮器“曦， 势嗲一： 囊瞄l 毒 v 浚拳一譬。 _ _ _ l r * 一 了 r “ ，黧强丽 1 + i 。：、 豳隧 r 。 岛r t 一 ?；* # 5 ；s ，采n ：奠 一一， 一7 ? i ? j ” 图2 5 1c y c l o n e 系列f p g a 平面布局( e p i c 6 ) 目前市场上提供的c y c l o n e 系列的f p g a 如表2 5 1 所示： 特性 e p l c 3e p l ( 4e p l c 6 e p l c l 2e p l c 2 0 逻辑单元 2 9 1 0 4 0 0 05 9 8 01 2 0 6 02 0 0 6 0 m 4 kr a m1 31 7 2 05 26 4 锁相环l22 22 最大用户i 0 1 0 43 0 l 1 8 52 4 93 0 1 注：每块r a m 为4 k b i t ，可以另加一位奇偶校验位 最后本课题采用的芯片为c y c l o n e 系列中的e p l c 6 ( 2 4 0 一p i np q f p 封装) ，采用 a l t e r a 款芯片的原因为：( 1 ) a l t e r a 公司q u a r t u s l i 开发环境非常友好、直观， 硕士论文 基于f p g a 的例像处理加速研究 并提供了多种针对c y c l o n e 芯片的1 p 核，为整个系统的开发提供了极大的方便；( 2 ) 该f p g a 片内逻辑资源、1 0 端口数和r a m 容量处于中等，等效门数在十万门左右，速度 快，可以满足要求，且有一定升级空间。 2 5 2f p g a 的软件开发工具 随着电子制造技术的发展，可编程器件纷纷超越百万门级，设计者面临的产品性 能与设计效率的挑战也越来越大，因此必须合理选择各e d a 厂家提供的软件开发工具 来加速设计，才能在较短的时间内设计出高效稳定的产品。根据上文所述f p g a 设计流 程与功能划分，e d a t 具主要分为设计输入工具、综合工具、仿真工具、实现与优化 工具和辅助设计工具等五类“”。 q u a r t u s1 1 5 o 是a l t e r a 公司最新版本的f p g a 设计软件，界面直观、友好，支持 a l t e r a 的全系列芯片，为f p g a 设计提供了最高效和最快速的实现途径，与传统高密度 f p g a 设计流程相比，其设计效能显著提高。q u a r t u s1 1 5 o h 成的e d a 开发工具可以分 为两类，一类是a l t e r a 自己提供的软件工具，另一类是其他e d a 厂商提供的软件工具， 后者统称为第三方工具，q u a r t u s1 1 5 o 中集成了与这些设计工具的友好接口，可以 直接调用这些开发工具。 ( 1 ) 设计输入工具 设计输入是工程设计的第一步，常用的设计输入方法有h d l 语言输入、原理图输 入，i p 核输入等。q u a r t o s1 1 5 o 集成的输入工具主要包括文本编辑器( t e x te d i t o r ) ， 原理图编辑器( s c h e m a t i ce d i t o r ) 。i p 核生成器( m e g a f u n c t i o n s m e g a w i z a r d ) 等， 其中常用的文本编辑器还有u l t r ue d i t ，其也可以支持彩色语法显示。在q u a r t u s 1 1 5 0 中适当使用i p 核输入能大幅度减轻设计工作量，提高设计质量。 ( 2 ) 综合工具 q u a r t u s1 1 5 o 虽然集成了综合工具，但与主流的综合工具相比还是有所欠缺。 s y n p l i c i t y 公司的s y n p l i f y s y n p l i f yp r o 是目前使用较多的一种综合工具，其作为 新兴的综合工具在综合策略和优化手段上有较大幅度的提高，特别是其先进的t i m i n g d r i v e n ( 时序驱动) 和b e s t ( 行为级综合提取技术) 算法引擎，使其综合结果往往面积较 小，速度较快，在业界口碑很好、如果结合s y n p l i c i t y 公司的a m p l i f y 物理约束功能， 对很多设计能大幅度地减少资源，优化面积达n 3 0 以上。 s y n p l i f y 的综合过程包括两个内容，一是对h d l 源代码输入进行编译与逻辑层次 上的优化，二是对编译结果进行逻辑映射与结构层次上的优化，最后生成逻辑网表。 另外，s y n p l i f y s y n p l i f yp r o m 嵌3 h d l 编辑器，也可完成h d l 语言的源代码编辑与 语法检错的功能。 硕士论文基于f p g a 的图像处理加速研究 ( 3 ) 仿真工具 在f p g a 设计流程中，设计仿真包含在设计过程的每一环节中，以保证设计的正 确性。q u a r t o si f 5 0 集成环境中可以调用m o d e l s i m 仿真工具来进行仿真。m o d e l s i m 是业界最流行的仿真工具之一。其主要特点是仿真速度快，仿真精度高，不仅可以完 成设计的功能验证( r t l 级) ，也可实现逻辑综合后的门级仿真以及布局布线后的功能 与时序验证。m o d e l s i m 支持v h d l 和v e r i l o g 的混合仿真，图形化界面友好，而且具有 结构、信号、波形、进程、数据流等窗口。在仿真时可以编写鼬d l 激励文件或执行组 模式方式。在仿真过程中可以执行性能分析与代码覆盖分析。这些功能给设计者带来 很大的方便。 ( 4 ) 实现和优化工具 q u a r t u s1 1 5 o 集成的实现工具主要有约束柬编辑器( a s s i g n m e n te d i t o r ) 、逻 辑锁定工具( l o g i cl o c k ) 、布局布线器( p o w e rf i tf i t t e r ) 、时序分析器( t i m i n g a n a l y z e r ) 、布局规划器( f l o o r p l a ne d i t o r ) 、底层编辑器( c h i pe d i t o r ) ，设计空间 管理器( d e s i g ns p a c ee x p l o r e r ) 和检查设计可靠性( d e s i g na s s i s t a n t ) 等。 ( 5 ) 辅助设计工具 q u a r t u s1 1 5 o 集成的辅助设计工具主要有编程文件生成工具( a s s e m b l e r ) 、下 载配置工具( p r o g r a m m e r ) 和p o w e rg a u g e ( 功耗仿真器) 。a s s e m b l e r 是用于完成f p g a 配置文件的生成。p r o g r a m m e r 用于对f p g a 下载配置。p o w e r g a u g e 用于估算设计的功耗。 除了上述的软件开发工具外，常见的软件工具还有：s y n o p s y s 公司的f p g a e x p r e s s 、m e n t o r 公司的l e o n a r d o s p e c t r u m 两款综合工具和a l d e c 公司的a e t i v e h d l 、 c a d e n c e 公司的v e r i l o g x l 两款仿真工具。 在本课题设计中，除了选择q u a r t u si i5 o 软件作为设计工具外，鉴于s y n p l i f y ， m o d e l s i m 的优越性能和学习资料较多，采用s y n p l i f yp r o7 6 作为综合工具，m o d e l s i m 6 o 作为仿真工具。 2 6 本章总结 本章主要对f p g a 的发展，基本原理与结构、特点等作了较深入的研究，还详细 分析了f p g a 的设计方法与流程。同时对本课题所