（电路与系统专业论文）基于fpga的实时影像监控系统的研究与实现.pdf

d i s s e r t a t i o ns u b m i t t e dt oh a n g z h o ud i a n z iu n i v e r s i t y f o rt h ed e g r e eo fm a s t e r r e s e a r c ha n d i m p l e m e n t a t i o no f t h er e a l - - t i m e i m a g i n ga n dm o n i t o r i n gs y s t e mb a s e d o nf p g a c a n d i d a t e ： z h a n gx i n s h u s u p e r v i s o r ：p r o f h uj i a n p i n g n o v e m b e r ，2 0l o i 杭州电子科技大学 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得 的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过 的作品或成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名： 害叶 日期：加7 年， 月i7 日 l 学位论文使用授权说明 本人完全了解杭州电子科技大学关于保留和使用学位论文的规定，即：研究生在校攻读 学位期间论文工作的知识产权单位属杭州电子科技大学。本人保证毕业离校后，发表论文或 使用论文工作成果时署名单位仍然为杭州电子科技大学。学校有权保留送交论文的复印件， 允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其 它复制手段保存论文。( 保密论文在解密后遵守此规定) 论文作者签名： 指导教师签名： 日 日 77 月 月 f 年 年 ， 洲 少 期 期 日 日 杭州电子科技大学硕士学位论文 摘要 影像信息是人类获取的最重要的信息之一，对实时影像的监控在动态检测、图像识别的 基础应用领域十分广泛。近年来，随着数字技术的发展以及可编程芯片的普及，实时影像监 控系统的设计方式也出现了新的发展，同时根据在安防产品、医疗仪器、军工产品、工业自 动化控制等各领域的不同应用，对系统的集成度、体积功耗、成本、小型化和运行速度方面 的要求越来越高。本设计的主要工作是采用f p g a 控制实现了实时的图像采集显示。本文首 先对实时影像采集显示系统的研究现状及其意义进行了介绍，然后详细介绍了该系统的总体 结构设计，主要集中在对整个系统进行硬件平台架构、对软件系统各功能模块进行逻辑设计 并且进行编程。在设计此系统时，我们以a l t e r a 公司f p g a 芯片e p 2 c 3 5 f 6 7 2 c 8 n 作为硬件 平台的核心器件，结合美国镁光公司的c m o s 传感器芯片m t 9 m 1 1 1 ，进行数据的采集、预 处理及传输，以统宝公司的3 6 寸液晶屏t d 0 3 6 t h e a 3 ，进行图像的显示。在硬件设计中， 主要包括各主要芯片的选定、p c b 版图的设计、电源模块的设计、时钟和复位电路的设计和 f p g a 配置的设计；在软件设计上，使用硬件描述语言v e r i l o gh d l 在q u a r t u si i 软件中实现 对c m o s 传感器控制单元、实时影像采集单元、s d r a m 控制器和液晶显示等功能单元的编 写，完成整个f p g a 部分编程、布局布线及下载配置。最后对整个系统的硬件部分、f p g a 模块部分及其集成部分进行了测试。本文中实现的系统其主要优点是：硬件平台核心器件的 运行速度及对图像数据格式转化算法的简化等都保证了系统具有实时性和高效性；同时系统 硬件核心芯片选择了f p g a 保证了整个系统的低功耗、低成本，实现了系统的小型化。经过 实验测试证明，本文实现的实时影像监控系统具有很高的稳定性，良好的扩展性。 关键词：图像采集显示，c m o s 传感器，f p g a ，v e r i l o gh d l 杭州电子科技大学硕士学位论文 a b s t r a c t i m a g ei n f o r m a t i o ni so n eo ft h em o s ti m p o r t a n ti n f o r m a t i o nt h a th u m a nb o n g sc o l l e c t a r e a l - t i m ei m a g i n gs y s t e mh a saw i d er a n g eo fa p p l i c a t i o n si nd y n a m i ci m a g i n gm o n i t o d n gd i 西t a l i m a g ep r o c e s s i n ga n di m a g er e c o g n i t i o n w i t ht h ed e v e l o p m e n to fd i ：g i t a lt e c h n o l o g ya n dt h e p o p u l a r i z a t i o no fp r o g r a m m a b l ec h i p s ，t h e r eh a sb e e nn e wd e v e l o p m e n ti nt h ed e s i g nc o n c e p ta n d m e t h o d sf o rar e a l - t i m ei m a g ec o l l e c t i n ga n dd i s p l a y i n gs y s t e m ；a n dt h e r eh a v eb e e nh i g h e r r e q u i r e m e n t sf o ras y s t e m si n t e g r a t i o n , e f f i c i e n c y , c o s t s , s i z e ，a n ds p e e da c c o r d i n gt ot h es y s t e m s d i f f e r e n ta p p l i c a t i o n si nt h ef i e l d so fs e c u r i t y , m e d i c a l ，m i l i t a r y , a n di n d u s t r i a la u t o m a t i c sc o n t r 0 1 t h ep r i m a r ye f f o r ti nt h i sd e s i g ni st or e a l i z er e a l t i m ei m a g ea c q u i s i t i o na n dd i s p l a yw i t hf p g a c o n 仃0 1 t h ep a p e rf i r s ti n t r o d u c e st h ec u r r e n tr e s e a r c hi ni m a g ea c q u i s i t i o na n dd i s p l a ys y s t e m s ，a s w e l la ss u c hr e s e a r c h ss i g n i f i c a n c e ；t h e ni te x p l a i n si nd e t a i lt h eo v e r a l ls t r u c t u r a ld e s i g no ft h e s y s t e mw i t haf o c u so nc o n s t r u c t i n gt h ew h o l es y s t e m sh a r d w a r ep l a t f o r m , d e s i g n i n gt h em o d u l e s o ft h es o f t w a r es y s t e m ，a n dp r o g r a t m n i n g i nt h i sd e s i g n ，w eu s ea l t e r a sf p g ae p 2 c 3 5 f 6 7 2 c 8 n a st h eh a r d w a r e p l a t f o r m sc o r ec o m p o n e n t so ft h es y s t e m ；m i c r o n sc m o s s e n s o rc h i pm t 9 m11 1 a st h ec o m p o n e n tf o rd a t ac o l l e c t i o n ，p r e - p r o c e s s ，a n dt r a n s m i s s i o n ；a n dt p o s3 6 - i n c hl c d s c r e e nt d 0 3 6 t h e a 3a st h ei m a g i n gd i s p l a y t h eh a r d w a r ed e s i g ni n c l u d e st h em a i nc h i ps e l e c t i o n , t h ep c b g r a p hd e s i g n ，t h ep o w e rm o d u l ed e s i g n ，t h ec l o c ka n dr e s e tc i r c u i td e s i g n ，a n dt h ef p g a c o n f i g u r a t i o nd e s i g n a sf o rt h ep r o g r a m m i n go ft h ed e s i g n ，w eu s ev e r i l o gh d l i nq u a r t u si it o p r o g r a mc m o sc o n t r o lu n i t , r e a l t i m ei m a g ea c q u i s i t i o nu n i t ，s d r a mc o n t r o l l e ra n dl c d m o n i t o r i n gu n i ts oa st oc o m p l e t et h ep r o g r a m m i n go ff p g au n i t ，d i s t r i b u t i o n ，a n dd o w n l o a d c o n f i g u r a t i o n t h e n ，w ep e r f o r mt e s t so ft h eh a r d w a r ep a r to ft h ew h o l es y s t e m ，t h ef p g am o d u l e p a r ta n di t si n t e g r a t e dp a r t s t h ec o m p l e t e ds y s t e mh a ss o m em a j o r a d v a n t a g e s t h eh i g h p r o c e s s i n gs p e e do ft h ec o r ec o m p o n e n t si nt h eh a r d w a r ep l a t f o r ma n dt h es i m p l i f i e da l g o r i t h m u s e df o ri m a g ed a t ac o n v e r s i o nb o t hc o n t r i b u t et ot h es y s t e m se f f i c i e n c ya n de f f i c a c y m e a n w h i l e ， b yu s i n gf p g aa st h eh a r d w a r ep l a t f o r m sc o r ec o m p o n e n t so ft h es y s t e m ，w em a k et h es y s t e m m o r ee f f i c i e n t ，l e s se x p e n s i v e , a n ds m a l l e r e x p e r i m e n t a lt e s t sp r o v et h a tt h er e a l t i m ei m a g i n ga n d m o n i t o r i n gs y s t e mi nt h i sd e s i g nh a sa c h i e v e dv e r yg o o ds t a b i l i t ya n ds c a l a b i l i t y k e y w o r d s ：i m a g ea c q u i s i t i o na n dd i s p l a y ，c m o ss e n o r , f p g a ，v e r i l o gh d l 杭州电子科技大学硕士学位论文 目录 摘要i a b s t r a c t i i 第一章绪论1 1 1 课题背景1 1 2 国内外研究现状l 1 3 本文研究主要内容：一3 1 4 论文结构4 第二章实时影像监控系统的总体设计5 2 1 系统总体方案5 2 1 1 系统的需求分析5 2 1 2 系统的总体结构。5 2 2 系统硬件平台总体设计6 2 2 1f p g a 技术介绍6 2 2 2 硬件结构框图7 2 3f p g a 设计介绍8 2 3 2v e r i l o gh d l 及q u a r t u s l i 简介1 0 ”2 4 本章小结11 第三章实时影像监控系统的硬件平台。1 2 3 1 系统主要芯片介绍1 2 3 1 1c m o s 图像传感器芯片简介1 2 3 1 2 液晶屏t d 0 3 6 t h e a 3 简介一1 4 3 1 3s d r a m 芯片简介1 5 3 1 4f p g a 芯片简介1 6 3 2 系统电路板设计技术研究l7 3 2 1 电磁干扰来源一1 7 3 2 2 电路板设计l7 3 2 3 高速布线信号完整性分析1 9 3 3 电源设计2 1 3 4f p g a 芯片的配置2 2 3 5 系统时钟和复位电路2 3 3 6 本章小结2 4 1 1 1 杭州电子科技大学硕士学位论文 第四章实时影像监控系统f p g a 模块设计与实现。2 5 4 1 系统功能设计。2 5 4 2 实时影像采集模块的实现一2 5 4 2 11 2 c 总线接口模块2 5 4 2 2c m o s 图像传感器寄存器配置一31 4 2 3 数字影像数据采集模块3 2 4 3 图像数据格式转换模块设计3 4 4 3 1 图像色空间3 4 4 3 2 格式转换算法分析3 5 4 3 3 转换模块的实现3 6 4 4 图像数据缓存模块设计。3 8 4 4 1s d r a m 控制时序分析3 9 4 4 2 图像缓存模块的实现4 3 4 5 液晶屏显示模块设计5 3 4 5 1t d 0 3 6 t h e a 3 控制时序分析5 3 4 5 2 显示控制模块的实现5 3 4 6 系统综合报告5 5 4 7 本章小结5 6 第五章实时影像监控系统的测试5 7 5 1 系统调试过程5 7 5 1 1 硬件调试5 7 5 1 2 软件调试5 7 5 2 调试过程中遇到的问题和解决方法6 0 5 3 系统调试结果6 1 5 4 本章小结6 2 第六章总结与展望6 3 6 1 总结6 3 6 2 展望6 3 1 i ! i ! 谢6 1 ； 参考文献一6 6 附录6 8 i v 杭州电子科技大学硕士学位论文 第一章绪论 1 1 课题背景 近年来，随着各行业技术的不断进步，人们对实时影像的采集显示需求越来越多，同时 对实时影像监控系统小型化，便携化，对图像显示质量以及系统运行速度也要求越来越高， 实时影像的处理技术在这种需求下不断进步，在机载监控、安防监控、医疗仪器、工业生产 控制等领域有着越发广泛的应用。由于图像处理数据量比较庞大，处理速度成为了制约实时 影像采集处理系统发展的瓶颈之一，随着集成电路的发展，图像采集处理系统正向着高速、 高分辨率、高集成化、高可靠性方向发展。 实时影像监控系统的关键是图像的实时采集、处理和显示，通常来说，一般采用软件来 实现图像的算法处理，但是在实时高速度，运算量大的情况下，采用硬件来处理是一个必然 的选择。 目前实时图像处理方案的选择主要有：专用集成芯片a s i c 、d s p 或者现场可编程门阵列 f p g aj j n 多, b 围电路组成。其中a s i c 从设计到应用周期长，成本相对较高，因此构建的实时图 像处理系统缺乏足够的通用性和可移植性。d s p 是专门为快速实现各种数字信号处理算法设 计【l 】，但是尽管如此，在高速信号处理中d s p 仍然难以达到实时性的要求，因为d s p 程序 仍旧是串行执行的，所以即使采用多处理器结构进行负荷分担，其速度也不会有很大程度的 提高。 近年随着f p g a 技术的不断成熟以及性价比的不断提升，f p g a 已经成为当今主流的大 规模可编程专用集成电路，它不仅可以和a s i c 芯片一样使电子系统小型化、低功耗，还具 有高速、高可靠、开发周期短、质量稳定、现场可编程一系列优点【2 1 。而且f p g a 在图像处 理方面有自己的独特优势：基于f p g a 的算法具有专用集成芯片的运算速度，可以满足高速 图像处理的需要；f p g a 具有并行处理数据的能力，能快速大数据量的处理数据；同时还能 使用f p g a 实现如图像采集、图像显示的外围逻辑控制，提高系统的集成度。 在这样的背景下，本论文提出采用高性能f p g a 芯片作为图像处理系统的核心，搭配 c m o s 图像传感器和外置存储芯片来构建图像采集处理系统，通过研究硬件平台的设计、系 统输入输出接口资源的搭配，搭建了基于f p g a 的实时图像采集显示系统，实现对实时影像 的采集、存储与显示。本论文构建的基于f p g a 实时影像处理系统能够很好的解决系统体积、 速度、成本在实际应用中的问题，满足图像实时处理的要求，具有一定的社会经济效益，在 工业控制、安防监控、军事侦查等领域有广阔的应用前景。 1 2 国内外研究现状 近年来数字技术、可编程芯片都已经到了较为成熟的发展水平，而这些技术对于实时影 杭州电子科技大学硕士学位论文 像监控的发展来说也带来了新的契机，由于经济和社会发展的需要，实时影像监控技术的市 场领域也在不断的开拓，在安防产品、医疗仪器、军工产品、工业自动化控制产品方面都有 广泛应用，市场规模如图1 1 所示。国内外市场上出现了比较多的图像监控类产品，通常有 数字控制的模拟图像监控和数字图像监控两类。前者发展早，目前看来相对比较成熟，而后 者是新晋，但是对于前者的部分不合理之处进行了改进，运用数字技术，所以其市场潜力相 对较大【3 1 。 美元( 十亿) 2 0 0 7 2 0 0 8 2 0 0 9 2 0 1 02 0 l l2 0 1 2 中园税频监控市场规模2 0 0 7 - z 0 12 图1 1 中国视频监控市场规模 国内外对基于不同芯片核心的实时图像采集处理系统都做过很多相关研究：( 1 ) 美国 p s u 大学设计过基于p c i 总线的f p g a 图像采集显示系统平台【4 】，功能强，能快速处理高分 辨率图像，但是成本高，系统复杂，应用面受限；( 2 ) 西门子公司研究所曾分别应用f p g a 和d s p 来搭建图像处理平台【5 】，实验结果表明f p g a 在复杂图像处理方面优于d s p 芯片；( 3 ) 2 0 0 7 年大连海事大学结合a r m 和f p g a 设计了c c d 图像采集显示系统【6 】，系统具有小型化 优势，实现c c d 图像的实时显示，但是运用两种芯片结合，提高了成本；( 4 ) 近年上海中 科院微系统所研究出一种医疗监护仪器p o c t 7 ，其中实现了一种基于f p g a 的实时图像采集 显示系统，研发结果证明了f p g a 和小尺寸平面液晶屏在实现高精度，小型化，高质量的实 时影像监控系统构硬件架构方面有极大优势。 从资料来看传统的图像处理硬件平台实现方法包括采用数字信号处理器d s p 、专用集成 电路a s i c 等，虽然有一定的效果，但局限性很大，分析如下： 1 、d s p 内部利用专用硬件实现数字信号处理中的常用算法，因此运算速度很快。但是 d s p 采用单指令执行系统，并且仅对某些固定的运算可以极大的优化，但是不能满足大量算 法的需要，因此灵活性不够。 2 、专用集成电路a s i c 针对专门的算法和专门应用，虽然速度很快，但是从设计都量产， 整个开发周期很长，并且由于针对性强，因此成本很高；如果需要更改算法，必须重新进行 设计，因此灵活性也不强瞄j 。 。 2 如 m o 杭州电子科技大学硕士学位论文 综上所述，本次研究采用f p g a 搭建实时影像监控系统，系统采用软硬件协同设计，易 于集成，结构简单，成本低，体积功耗小，运行不需要p c 机介入，更可以增加配置模块， 便于后期提升系统性能。以f p g a 为核心不仅降低了图像处理的时间开销，而且f p g a 设计 灵活，在开发阶段可以多次对程序进行修改，编程技术成熟，能够满足实时影像处理的多种 需要，具有很高的适应性。这一系统充分满足实时影像采集显示的要求，有小型化、便携化 的优点，可以广泛应用于自动化监控系统，监护防盗系统，医疗监护系统等很多领域。 1 3 本文研究主要内容 本论文应用新一代高性能f p g a 作为图像处理系统的核心，搭建基于f p g a 的图像采集 处理与显示系统，结合f p g a 的流水线技术和并行处理的特点，设计了图像采集模块、图像 存储控制模块以及l c d 显示控制模块等功能模块，最后对系统进行调试，使系统在规模、可 靠性、体积、功能、性能指标等多方面实现最优化，能够提供高速度、高质量的实时影像显 示，满足了民用和军用系统利用最新技术的要求。 系统主要由c m o s 图像传感器、f p g a 、液晶显示屏和s d r a m 存储构成。c m o s 图像 传感器主要用于实时影像的采集，并可根据实际环境进行调整；f p g a 主要用于接收实时影 像信号，对影像的数据格式进行转换、处理以及输出，同时对c m o s 图像传感器进行配置； 高速大容量s d r a m 用于存储采集数据；液晶显示屏用于完成对采集影像的实时显示。 本文的主要研究内容包括： l 、研究实时影像监控系统的总体设计方案 本次设计考虑到影像监控的实时性，包括对总体设计的确定。其中，由于实时动态影像 处理数据量大、实时性高，在硬件布板中需要考虑到电磁干扰以及高速布线的信号完整性问 题；在系统模块搭建过程中，考虑到各主要器件的选择、相互间的接口设计；以及f p g a 各 个主要功能块的功能设计。 2 、设计硬件电路板 由于本次硬件设计频率比较高，因此从传输线效应、串扰、旁路与去耦方面进行考虑了 信号的完整性；对于整个系统中芯片封装的选择、合理的p c b 布局、电源网络和时钟网络的 设计进行了详细的分析；同时，对于t m 9 m 1 1 1 图像传感器、液晶显示屏、s d r a m 芯片 i s 4 2 s 1 6 4 0 0 b 、电源设计、f p g a 芯片的配置和系统时钟和复位电路进行了讨论。 3 、研究c m o s 图像传感器的配置与输出格式 分析了c m o s 图像传感器的结构、原理以及输出格式，总结其控制的方式以及结构。由 于c m o s 图像传感器采用多种视频输出格式，需要充分了解各种输出格式的配置以及输出数 据格式，因此了解其工作时序成为控制关键。 4 、研究s d r a m 存储控制 研究s d r a m 的结构特性，包括激活、读写、预充电操作时序，根据需要选择在何时 刷新，即定时刷新，或集中刷新，实现图像的采集、存储和显示之间的同步。 3 杭州电子科技大学硕士学位论文 5 、研究l c d 的显示以及控制 研究l c d 的控制时序，以及模式的选择，设计出l c d 的控制接口，保证采集与显示的 同步性。 1 4 论文结构 本文主要分为六个章节。 第一章：绪论。主要介绍了文章写作背景、项目研究的现状及其意义和目的、主要研究 内容； 第二章：介绍了实时影像监控系统的总体设计，包括系统的需求分析、系统的总体架构、 系统的硬件平台结构和f p g a 模块设计，并且对采用f p g a 进行控制进行了详细的描述； 第三章：介绍了实时影像监控系统的硬件平台。对所选择的各主要芯片进行了详细深入 的介绍，并且在p c b 设计过程中，考虑了高速p c b 的结构设计。 第四章：详细介绍了f p g a 控制的设计与实现，对1 2 cc o n t r o l l e r 模块、c m o sc a p t u r e 模块、c o n v e r t r a w 模块、s d r a mc o n t r o l l e r 模块、l c mc o n t r o l l e r 模块等设计进行详细的 分析。 第五章：主要介绍了实时影像监控系统的测试，包括硬件测试、f p g a 各模块测试以及 整体的测试。 第六章：总结与展望，是研究工作的一个小结和对未来这个研究内容的展望。 4 杭州电子科技大学硕士学位论文 第二章实时影像监控系统的总体设计 2 1 系统总体方案 实时影像监控系统用于实时接收、处理视频图像，主要包括软件和硬件两部分实现。 从硬件方面考虑，主要采用嵌入式处理器作为核心控制部分。目前世界上嵌入式处理器 多达1 0 0 0 多种，从单片机、d s p 到f p g a ，功能越来越强，速度越来越快，价格也越来越低。 其中，单片机的片上外设资源一般比较丰富，适合于控制，是目前嵌入式系统工业的主流； d s p 处理器是专门用于信号处理方面的处理器，其在系统结构和指令算法方面进行了特殊设 计，具有很高的编译效率和指令的执行速度，在数字滤波、f f t 、谱分析等各种仪器上d s p 获得了大规模的应用；而f p g a 内部有丰富的触发器和v o 引脚资源，同时凭借最短的设计 周期、低廉的开发费用，成为a s i c 电路设计中最有优势的器件之一，用户不需要投片生产， 就能得到合用的芯片【9 1 。本次设计采用f p g a 作为核心控制部分，实现数据的接收、缓存和 显示控制等功能。 从软件方面考虑，采用v e f i l o g 语言进行编程，可以实现不同层次的逻辑设计，同时可以 完成数字系统的逻辑综合、时序分析和仿真验证，极大地简化了对外围器件的控制。 2 1 1 系统的需求分析 考虑到本次设计用于实时监控影像，采用c m o s 摄像头输出1 2 8 0 9 6 0 有效像素点，采 用1 6 位色3 2 0 * 2 4 0 点阵液晶屏进行显示，并且每秒必须达到2 5 帧以上，才能够对影像进行 实时监控；同时，可以根据实际环境的需要，提供摄像头曝光时间、显示输出进行设置，提 高了系统的操作性；由于实时传输，因此图像的存储非常重要，本次设计采用相对便宜的高 速大容量s d r a m 进行帧存储，满足了实时采集的速度要求。 2 1 2 系统的总体结构 图2 1 系统总体结构框图 系统总体结构框图设计如图2 1 所示。f p g a 选用a l t e r a 公司c y c l o n ei i 系列的 5 杭州电子科技大学硕士学位论文 e p 2 c 3 5 f 6 7 2 c 8 ，c m o s 摄像头采用m i c r o n 公司的m t 9 m 11 l ，可以采集实时影像，并且可以 通过寄存器配置进行调节；l c d 采用统宝的t d 0 3 6 t h e a 3 ，可以实现1 6 位色3 2 0 * 2 4 0 点阵液晶 屏进行显示；存储采用i s s i 公司的s d r a m ，可以实现高达6 4 m b ( 即8 m b ) 的1 6 位字宽数据的 存储。f p g a 通过对c m o s 摄像头的配置，接收实时影像数据，并且对影像数据格式进行转换， 存储于s d r a m ，通过控制s d r a m 中b a n k 的切换完成视频数据在l c d 的显示。 2 2 系统硬件平台总体设计 2 2 1f p g a 技术介绍 如图2 2 所示，f p g a 芯片通常可编程i o 单元、基本可编程逻辑单元、内嵌r a m 块、丰 富布线资源、底层内嵌功能单元和特殊用途硬核( h a r dc o r e ) 等6 个部分构成肛1 2 1 。 醋霞嚣屠 鳃圈圈拥噩雪吕置三圈腭鞴震 一黜o o o o 寻z 固2 图2 2f p g a 芯片内部结构 ( 1 ) 可编程i o 单元( i n p u t o u t p u t 单元) 此单元主要功能是对于不同电气特性下的输入输出信号进行驱动和需求的匹配。单元中 的f p g a 可以对i o 单元进行编程，使其进入较为灵活的可编程程序，适应不同的电气标准 与i o 物理特性；这种输入输出单元功能多元化，比如通过上下拉电阻去调整匹配阻抗特性； 可以调整输出驱动电流的大小等。这个单元的电气标准是l v t t l 、l v c m o s 、s s t l 、h s t l 、 l v d s 、l v p e c l 、p c i 等，而且目前随着工艺的进步，一般而言，出现的a s i c 工艺已经可 以对于可编程i o 支持的最高频率也比较的充沛，能够适应更高的数据速率要求。 ( 2 ) 内嵌r a m 块 嵌入式r a m 可以分为单口r a m 、双端口r a m 、伪双端口r a m 、c a m 、f i f o 等常用 存储结构进行灵活配置，且都配置有一个c a m 即c o n t e n ta d d r e s s a b l em e m o r y ，内容地址储存 器。其内部一般都有内嵌的比较逻辑装置，把内部存储的数据和写入c a m 数据进行比较， 并且对于内部已经存在的数据地址进行返回和剔除，为下一个步骤提供了较好的基础。 由于内嵌块r a m 的结构非常多样，不同供应商提供的产品，内部结构都会有很大的差 异。x i l i n x 常见的块r a m 大小是4 k b i t 和1 8 k b i t ，而a l t e r a 的高端器件中可能同时含有m 5 1 2 r a m ( 5 1 2 b i t ) ，m 4 kr a m ( 4 k b i t ) ，m r a m ( 5 1 2 k b i t ) 三种不同容量的r a m 块。 6 杭州电子科技大学硕士学位论文 ( 3 ) 基本可编程逻辑单元 f p g a 是基于s r a m 工艺的一种可编程单元，尽管其型号可能有所差异，但是其基本可 编程逻辑单元几乎都是由查找表( l u t ，l o o ku pt a b l e ) 和寄存器( r e g i s t e r ) 组成的。很多的 设计者目前都是将f p g a 从根本上针对低成本进行设计，采用相同方法在尽可能小的裸片面 积下构建了c y c l o n e 系列。本设计中可编程单元采用全铜层、低k 值、1 2 伏s r a mi 艺设 计，裸片尺寸被尽可能最小的优化。采用3 0 0 毫米晶圆，以t s m c 成功的1 3 0 r i m 工艺技术为 基础，c y c l o n e 器件提供了4 , 6 0 8 到6 8 ，4 1 6 个逻辑单元( l e ) ，并具有一整套最佳的功能， 包括嵌入式1 8 比特x 1 8 比特乘法器、专用外部存储器接口电路、4 k b 嵌入式存储器块、锁相 环( p l l ) 和高速差分i o 能力【13 1 。由于设计是针对实时影像的监控的，所以更加需要关注 f p g a 在成本敏感性、大批量应用领域的影响力。 ( 4 ) 丰富的布线资源 f p g a 内部所有单元的连接都是依靠丰富的线路资源来实现的，连线的长度和工艺决定 着信号在连线上的驱动能力和传输速度。这些线路资源分为长线和短线两种，分别用于完成 器件b a n k 间的一些高速信号和一些第二全局时钟信号的互连，以及实现l e 之间的逻辑互连 与布线；另外，在l e 内部还有着各种用途的布线资源和专用时钟、复位等控制信号线。 ( 5 ) 底层嵌入功能单元 p l l ( p h a s e1 0 c k e dl o o p ) 、d l l ( d e l a yl o c k e dl o o p ) 、d s p 、c p u 等可被称为底层嵌入 功能单元，可以通过编写约束文件中的约束属性来完成时钟模块，f p g a 产品很多都已经包 含d s p 或c u p 等软核，从而f p g a 将由传统的硬件设计手段逐步过渡为系统级设计平台。 ( 6 ) 内嵌专用硬核 通用性相对较弱，不是所有f p g a 器件都包含硬核【1 4 】。目前只有a l t e r a 的s t r a t i x 系列、 x i l i n x 的v i r t e x 系列以及l a t t i c e 的s c 系列和e c p 2 m 系列含有硬核。 2 2 2 硬件结构框图 图2 3 硬件结构框图 硬件架构如图2 3 所示，模块包括了c m o s 摄像头m t 9 m i1l 、a l t e r af p g a 、统宝液晶 屏t d 0 3 6 t h e a 3 、s d r a m 、时钟复位模块和配置模块。结构图中c m o s 摄像头用于实时接 7 杭州电子科技大学硕士学位论文 收外部影像信号；l c d 用于实时显示视频数据；时钟复位模块用于提供相应的系统时钟和复 位信号；s d r a m 用于缓冲数据，由于f p g a 为易失性器件，即上电后需要从外部读入程序 才能进行功能控制，配置f l a s h 器件用于缓冲程序；f p g a 用于控制数据的接收、处理及显示 功能。 2 3f p g a 设计介绍 2 3 1f p g a 的设计流程 一般来说，f p g a 设计通常是7 个步骤，包括设计输入、功能( 前) 仿真、综合优化、 设计实现、时序( 后) 仿真、时序分析、配置下载 1 s j ，设计七步流程图如图2 4 所示。 图2 a f p g a 设计流程 l 、设计输入 设计输入的三种方式是状态图、硬件描述语言h d l 与原理图。目前应用最为广泛的是 h d l 设计。 一般的情况下，f p g a 厂商软件都会兼容第三方软件，可以导入第三方设计文件进行处 杭州电子科技大学硕士学位论文 理。在布局布线后，可再将生成的相关文件交给第三方进行后续处理。 2 、功能仿真 在设计阶段性结束时用设计软件包通过模拟实际物理工作环境对相应模块进行仿真测 试。而其中对于功能仿真仅对逻辑功能进行测试模拟，以便了解这些程序达成的功能是否满 足原设计的要求。 3 、综合优化 对于电路实现功能和其实现过程中的约束条件，要通过计算机将其优化，比如通过优化 速度、功耗、成本及电路类型来获得一个能满足系统设计要求的电路设计方案。 4 、设计实现 设计的实现通常通过转换、映射等步骤来进行的，就是系统利用实现工具把逻辑映射到 目标器件结构的资源中，决定逻辑的最佳布局，选择逻辑与输入输出功能连接的布线通道进 行连线。通常可分为以下步骤【1 6 】： ( 1 ) 转换：我们所说的转换就是将多个文件合并到一个文件库中去，而这个过程中就蕴 含了转换的步骤。 ( 2 ) 映射：网表中包含了很多的逻辑门，如果我们想把逻辑设计分到可编程逻辑阵列内 的可配置模块和输入输出模块及其它资源，那么网表中的逻辑门要能够映射成物理元素。 ( 3 ) 布局与布线：布局是指从把映射定义的逻辑和输入输出块分配到f p g a 内部的物理 位置的这一过程。在集成的全局设计流程中，精确的r c 和交叉耦合电容要在布线后提取，然后， 时序分析工具产生时序窗口以识别可同时切换的节点，再结合交叉耦合的寄生和时序窗口计 算受到影响的节点的增量延时偏移。分析完毕，就可以修复由新增延时偏移引起时序紊乱的节 点，修复时布线工具可采用插入缓冲器、加大间距或屏蔽布线等方法。所有布线后的校正操作 要十分谨慎，否则会引发更多问题。最新的布局和布线工具支持布线后插入缓冲器及其它修复 措施，对其它节点的影响可以降到最小程度。如果不具备这些功能，布线中试图解决信号完整性 问题就可能会引起新的时序或信号完整性问题。 5 、时序仿真 完成布局布线后，需要提取时序参数，包括器件和连线的延迟等全部参数，再次验证电 路的时序，它是接近真实器件运行的仿真。 6 、时序分析 时序分析在整个设计的实现中非常重要，其功能在很多环节得以体现，比如在映射环节 以后时序分析对一个设计的实际功能块的延时和估计的布线延时实现功用；然后布局布线完 成以后，静态时序分析也会对实际布局布线进行功能块延时的静态分析。在f p g a 设计中， 静态时序分析是相当重要的一个步骤，通过静态时序分析，设计人员可以得到所有关键路径 的分析报告，以便进一步调试系统。 7 、配置下载 9 杭州电子科技大学硕士学位论文 一旦功能仿真与时序仿真正确，那么就可以进行配置下载了，将综合后形成的位流下载 到具体的f p g a 芯片中，所以很多书上也把芯片的下载叫做芯片的配置。这个过程般是经 由专用下载线通过j t a g 在线配置或者通过e p c s