（电子科学与技术专业论文）基于fpga的图像预处理单元的设计与实现.pdf

顶i ：学位论文 a b s t r a c t w i t ht h ef a s td e v e l o p m e n to fe l e c t r o n i ct e c h n o l o g y ，r e a l t i m ei m a g ep r o c e s s i n gi s w i d e l yu s e di nt h e 行e l ds u c ha sm u l t i m e d i aa n di m a g ec o m m u n i c a t i o n f f ，a gn o wh a s b e c o m ea ni d e a lc h o i c eo fh a r d w a r ei nr e a l - t i m ei m a g ep r o c e s s i n g ，w h i l et h er e s e a r c h a n dt h ei m p l e m e n t a t i o no fd i g i t a l i m a g ea l g o “t h m sb a s e do nf p g ai st h en e w k e y - p o i n t i ni n f o r m a t i o ni n d u s t r y t h e i m a g ep r e p r o c e s s i n gu n i t ( p p u ) i sp a r to f s p e c i n cc h i pf o r v i d e oi m a g ep r o c e s s i n gb a s e do nu s b 2 o t h i st h e s i ss t u d i e sa s o l u t i o nt od e s i g na n di m p l e m e n ta n i m a g ep r e p r o c e s s i n gu n i t t h a tu s e si m a g e p r e p r o c e s s i n ga l g o r i t h m sw i t hl o wp r i c e t h ei m a g ep r e p r o c e s s i n gu n i to ft h i st h e s i si sc e n t e r e do nt h ef o l l o w i n gt h r e e p a r t ：a c o n v e r t a n i m a g e f r o mt h ey c b c r 4 ：2 ：2 f o r m a tt oay c b c r 4 ：4 ：4 f o r m a t ；b c o n v e r ta ni m a g ef r o mt h er g b 5 6 5f o r m a tt oar g b 8 8 8f o r m a t ；c c o r r e c t t h eb a dp i x e lo ft h eb a y e r d a t aa n dc o n v e r ta ni m a g ef r o mt h eb a y e rf o r m a tt oa r g b 8 8 8f b r m a t c o n s i d e r i n gt h ec o s to fp r o d u c t i o n ，p a r tcp l a y st h em o s ti m p o r t a n t r o l ei nt h ep p u c o m b i n e dw i t hs i x - s t a g ep i p e l i n ea n dt w os i m p l ed u a lp o r tr a m s ，i t p e r f o r m sb a dp i x e lc o r r e c t i o nv i aa3 x 5w i n d o wa n df o r m a tc o n v e r s i o nv i aa3 x 3 w i n d o w i nt h ed e s i g no ft h ep p u ，i m p r o v e dm u l t i p l i e ri s g i v e n ，t h i sn e wa r c h i t e c t u r e c a ns a v em o r er e s o u r c eo ff p g a s i m u l a t i o na n dv e r i f i c a t i o na r ea n o t h e ri n l p o r t a n ts t e p si nt h eh a r d w a r ed e s i g n w i t ht h eh e l po fm a t l a b ，i t c o m p l e t e ss i m u l a t i o na n dv e r m c a t i o no ft h ei m a g e p r e p r o c e s s i n gu n i ti nt h ee n v i r o n m e n to ft h ed e v e l o p m e n tt o o li s ef o u n d a t i o nl0 1 a n dm o d e l s i mx ei i i6 3 c t h ed i s c o v e r yd e m o n s t r a t e st h a tt h ei m a g ep r e p r o c e s s i n gu n i tc a ns u c c e s s f i u l l y p r o c e s s6 4 0 x 4 8 0 ( v i d e og r a p h i c sa r r a y ，v a g ) p i x e l sw i t hd e s i r a b l er e a l t i m er e s u l t s i t w o r k sf a s ta sf o rt h ep i p e l i n et e c h ，w h i c hl a y sf o u n d a t i o nf o rt h ep r o c e s s i n go fi m a g e d a t aw i t hh i g h e rr e s o l u t i o n k e yw o r d s ：i m a g ep r e p r o c e s s i n gu n i t ；f o r m a tc o n v e r s i o n ；b a dp i x e lc o r r e c t i o n ；f i e l d p r o g r a m m a b leg a t ea r r a y 硕 ：学位论文 第1 章绪论 1 1 选题背景 数字图像处理是信号与信息处理学科的一部分，也是众多计算机领域中最 为活跃的一个领域。随着计算机、集成电路等技术【2 j 的飞速发展，数字图像处理 无论在算法、系统结构，还是应用上都有了长足的发展。数字图像处理技术发展 到今天，许多技术已经相当成熟，在各个领域如工业生产、工程、军事、医学以 及科学研究等都有着广泛的应用，并取得了巨大的成功和显著的经济效益。 人们在数字图像处理领域的研究很多，取得了相当多的成果【3 1 ，研究出很多 实用的算法，例如格式转换、坏点修正、滤波等。但由于底层的图像处理算法处 理的数据量非常大，一般由软件实现起来会比较慢，很难满足一些对实时性要求 较高的系统。 随着数字信号处理器、大规模集成电路以及超大规模集成电路的高速发展和 广泛应用，实时图像处理技术也得到了迅速的发展。为了提高图像的处理速度， 满足系统实时性要求，采用硬件来对图像进行处理是一种不错的解决方案。f p g a 便是目标硬件的理想选择之一，同时它的应用也为提高图像处理速度提供了新的 思路和解决方法1 4 j 。 f p g a 嵌入式系统有两种基本的实现方式：软件和硬件。一般来说，软件比 硬件灵活，成本低，而专用硬件则提供了更高的性能。为了达到成本和性能的最 佳结合，兼顾速度和灵活性，越来越多的嵌入式系统设计采用软硬件配合方式实 现系统功能。和传统方法相比，软硬件联合设计有利于软硬件开发过程并行开展， 一方面可以在早期发现软件和硬件集成方面的问题，缩短设计周期，另一方面可 以根据系统各个部分的特点和设计约束，选择软件或者硬件实现方式，得到高性 价比、可编程的优化设计方案i ”。 本课题来源于深圳市淇达骆电子有限公司，主要研究内容是基于f p g a 的图 像预处理单元的设计与实现。 1 2 图像处理技术发展现状 图像处理算法通常可以用软件或者硬件来实现，一般而言，出于对成本和灵 活性的考虑，大部分的操作用软件来实现。如果需要更高的速度，利用硬件来实 现算法也是个不错的选择1 6 】。图像处理的硬件实现方案主要有两种，一种是全定 制的专用集成电路，另一种是半定制的数字信号处理器、现场可编程门阵列以及 复杂可编程逻辑器件，它们在设计中的应用都可以大大加快对数据的处理。 幕于f p g a 的图像预处理单元的设计实现 通常来说，图像处理速度的提高，主要依靠两种手段，一是改变图像处理算 法，使算法更简单。但在实际中，最为耗时的图像底层处理算法已经相当成熟， 其运算的复杂度也相对固定，所以改变算法的同时又要保证精度是非常困难的。 二是改变实现算法的手段。目前，实现图像处理算法的手段在不同的应用领域主 要有以下几种： ( 1 ) 通用计算机 通用计算机是基于冯诺依曼结构的，通过高级语言( c ，c + + 等) 编写程序代 码，经过编译后转换成指令代码。每一条指令代码又包括许多条微指令，每条微 指令又需要多个机器周期来完成。虽然现在通用计算机技术发展非常快，但通用 计算机属于标准串行机，大部分工作是存储器和a l u 之间交换数据，整个过程是 单指令单数据的串行处理过程。在很多情况下，系统结构上的局限性使它对底层 图像数据的处理不能够满足实时性方面的要求。因此，基于通用计算机，采用高 级语言编程，不太适用于实时性要求较高的场合。 ( 2 ) 多c p u 并行处理机 在很多场合下，单个c p u 不能够实现实时数据处理的时候，采用多个c p u 并 行处理，也是一种可行的选择。目前，各国学者在这方面作了大量的工作，并已 经研究出多种并行结构和编程语言，它克服了单个处理器在硬件上串行工作的局 限性，提高了系统的性能。虽然目前对并行处理进行了大量的研究，但这个领域 仍不成熟。处理单元负载不均衡，并行算法编程困难，理论上并行处理所应达到 的性能和实际性能相比有较大差距。 ( 3 ) 专用集成电路 专用集成电路( a s i c ) 是针对某一固定算法而设计的硬件芯片。目前，各种算 法实现方案中使用a s i c 来实现是最快的，所以许多图像处理算法采用a s l c 来实 现。但是，a s i c 在实际应用中也有缺点：a s i c 从设计到应用需要较长的时间周 期：a s i c 属于专用硬件芯片，所以需求数量较少，成本也就高；a s i c 灵活性不 高，当设计成型并且流片成功后就不能改动，所以在设计中当算法因故需要改变 时就要设计者重新设计芯片：当a s i c 里存在硬件设计的错误时，并且在投入生产 前又未能及时发现，这将给芯片制造商带来重大的经济损失。因此，由a s i c 构建 的图像处理系统，难以满足在实际应用中多元化的要求。 ( 4 ) 数字信号处理器 数字信号处理器( d s p ) ，是专门为快速实现各种数字信号处理算法而设计的、 具有特殊结构的微处理器。通常在开发时，使用c 语言进行编程，其处理速度可 以达到2 0 0 0 m l p s ，比最快的c p u 还快1 0 到5 0 倍。数字信号处理器采用专门硬件实 现一些常用的算法，所以它的运算速度非常快，如乘加( m a c ) 运算只需要一个时 钟周期。但是从根本上来说，d s p 只是对某些固定的运算提供硬件优化，其体系 2 硕f 等 位论史 仍是串行指令执行系统，并且这些固定优化运算并不能够满足众多算法的需要， 这使得它的使用受到限制。 ( 5 ) 现场可编程门阵列 现场可编程门阵列( f p g a ) 1 7 j 是当今运用极为广泛的可编程逻辑器件，也被称 为可编程a s i c 。f p g a 在结构上具有逻辑功能模块矩阵，可编程的内部连线连接 这些功能模块来实现一定的逻辑功能，f p g a 器件的功能由逻辑结构的配置数据 决定。工作时，这些配置数据存放在片内的s r a m 。使用s r a m 的f p g a 器件，在 工作前需要从芯片外部加载配置数据，配置数据可以存储在片外的e p r o m 或其他 存储体上。设计者可以控制加载过程，在现场修改器件的逻辑功能，即所谓现场 编程瞵j 。利用它用户不仅可以方便地设计出所需的硬件逻辑，而且可以进行静态 重复编程和动态在系统重配置，使系统的硬件功能可以像软件一样编程来修改， 从而可以实时地进行灵活而方便的更新和开发，大大提高了图像处理算法的硬件 实现速度。与此同时，f p g a 自身也在迅速发展，其集成度、工作速度不断提高， 包含的资源越来越丰富，可实现的功能也越来越强。f p g a 能在设计上，实现硬 件的并行运行和流水线( p i p e l i n e ) 技术【9 1 ，大大的加速了对数据的处理，而这些很 难在d s p 上实现。因此，对于实时图像处理而言，f p g a 有很强的灵活性，可以 根据需要进行重构配置，适于模块化设计；同时其开发周期短，系统易于维护和 扩展，适用于实时信号处理，能够大大地提高图像数据的处理速度，达到系统的 实时性要求，因此采用f p g a 来实现图像算法是个不错的选择。 1 3f p g a 的发展简介 可编程逻辑器件( p r o g r a m m a b l el o g i cd e v i c e ) 是一种数字电路，它可以由用户 来进行编程和配置，利用它可以解决不同的逻辑设计问题。可编程逻辑器件在二 十世纪七十年代初期主要运用于各种存储问题的解决，后来逐步转向各种逻辑问 题的解决，经过近4 0 年的发展，在结构、工艺、集成度、功能、速度和灵活性方 面都有很大的改进和提高，主要经历了以下三个阶段： ( 1 ) 早期的可编程逻辑器件 七十年代初期的p l d 主要用于解决各种类型的存储问题，如可编程只读存储 器( p r o m ) 、紫外线可擦除只读存储器( e p r o m ) 和电可擦写可编程只读存储器 ( e e p r o m ) ，由于结构的限制，它们只能完成简单的数字逻辑功能。 ( 2 ) 结构上较为简单的可编程：醛片 七十年代末到八十年代初，a m d 公司和l a t t i c e 公司先后推出了可编程逻辑器 件，产品主要为可编程阵列逻辑( p a l ) 、通用阵列逻辑( g a l ) 和可编程逻辑阵列 ( p l a ) 。这一类p l d 在设计上有很强的灵活性，可以实现速度特性较好的逻辑功能， 但由于结构简单，它们只能实现规模较小的电路。 3 綮于f p g a 的图像预处理瞥冗的设计j 实现 ( 3 ) 功能齐全、编程灵活的可编程逻辑器件 八十年代中期，a i t e r a 公司和x i i i n x 公司推出了复杂可编程逻辑器件( c p l d ) 和现场可编程门阵列( f p g a ) ，它们都具有体系结构优化、逻辑单元灵活、集成度 高以及适用范围宽等特点，可以实现较大规模的电路。 现在，随着工艺技术的发展和市场需要，超大规模、高速、低功耗的新型 f p g a c p l d 不断推陈出新。新一代的f p g a 甚至集成了中央处理器( c p u ) 或数字 信号处理器( d s p ) 内核，在一片f p g a 上进行软硬件协同设计，为实现片上可编程 系统( s o p c ，s y s t e m0 np r o g r a m m a b l ec h i p ) 提供了强大的硬件支持。 1 4 基于f p g a 的图像处理技术 图像处理系统的结构受多方面因素的影响，特别是c p u 、计算机总线、操作 系统、网络数据库和集成电路水平等。二十世纪八十年代，开始出现以图像帧存 为中心的图像处理结构，如同1 1 所示。随着新型p c i 总线【lo 】的问世，九十年代 出现了以计算机内存为中心的图像处理系统，为了提高速度，在原来的基础上又 增加了一些硬件处理，如图1 2 所示。硬件处理的功能包括卷积运算、图像分割 和灰度变换等。 低成本的图像传感器、低价位微处理技术支持的并行处理技术以及相关存储 技术的发展进一步推动了图像处理技术的进步，使得图像处理无论在算法上还是 体系结构上都有了很大的发展。近年来，随着微电子技术的迅猛发展和芯片制造 工艺的提高，f p g a 凭借其众多的优势被人们越来越多的应用在实时图像处理系 统中。 图1 1 以图像帧存为中心的图像处理结构 图1 2 以计算机内存为中，d 的图像处理系统 基于f p g a 的数字图像处理系统在汽车电子产品中得到广泛应用，例如车载 会议电视、车载可视电话、车载机器视觉等。由于f p g a 技术的大量采用，图像 处理在硬件结构方面也发生了重大变化，它已由基本的串行结构发展成并行处理 结构，由单片f p g a 处理器发展成多f p g a 处理器系统，或带阵列f p g a 的高速处 4 硕l j 学位论文 理系统。 在数字电视的信号处理中，f p g a 已经越来越广泛的被运用。在图像显示、 图像压缩、图像格式转换、色彩空间转换【i 、输入输出接口中都使用f p g a 器件 进行处理。作为标准芯片组间的“联结逻辑”是f p g a 的强项，许多图像处理任务 ( 如色彩空间变换) 以及网络接口( 如l e e e l 3 9 4 ) 现在也可用低成本可编程逻辑 器件实现。 随着f p g a 技术不断发展，使用f p g a 处理图像信息已成为图像处理领域中 的一个发展趋势，特别是在对图像处理速度有较高要求的实时图像处理系统中， f p g a 将更能体现其在速度与灵活性方面的优势。 1 5 本文研究的主要内容 基于u s b 2 0 的视频图像处理芯片中1 2 】【l3 1 ，图像处理方面的硬件主要有图像 预处理单元和图像处理单元。本文的主要工作是完成图像预处理单元的设计，其 具体内容包括以下四个方面： ( 1 ) 对图像传感器输出的y c b c r 4 ：2 ：2 数据，设计出相应的格式转换模块，使得它能 够完成y c b c r 4 ：2 ：2 格式到y c b c r 4 ：4 ：4 格式的转换； ( 2 ) 对图像传感器输出的r g b 5 6 5 数据，设计出相应的格式转换模块，使得它能够 完成r g b 5 6 5 格式到r g b 8 8 8 格式的转换； ( 3 ) 对图像传感器输出的b a y e r 数据，设计出相应的模块，使得它能够完成b a y e r 数 据坏点修正以及b a y e r 格式到r g b 8 8 8 格式的转换； ( 4 ) 对设计出来的硬件模块进行验证。以m a t l a b 产生测试输入激励，以l s e 调用 m o d e l s i m ，在主时钟频率为1 0 0m h z 的情况下，完成硬件模块的仿真，然后利 用m a t l a b 对仿真出来的数据进行验证，最后再把这些数据以图像的形式显 示出来。 各章的主要内容安排如下： ( 1 ) 第一章介绍了选题背景、图像处理技术发展现状、f p g a 发展简介以及基于 f p g a 的图像处理技术等。 ( 2 ) 第二章介绍了f p g a 的结构、f p g a 的开发流程、现代数字系统的设计方法以 及图像传感器方面的基础知识。 ( 3 ) 第三章介绍了“基于u s b 2 0 视频图像处理芯片”总体设计方案【1 4 】，以及芯片内 部各个模块的功能。 ( 4 ) 第四章详细介绍了基于u s b 2 0 视频图像处理芯片【1 5 l 【1 6 】，中图像预处理单元所 采用的算法。 ( 5 ) 第五章详细介绍了基于f p g a 的图像预处理算法的硬件实现。 5 幕于f p g a 的例像预处理单兀的设计j 实现 ( 6 ) 第六章完成预处理单元的时序仿真，以及对仿真出来的数据进行分析。 ( 7 ) 最后对全文进行总结，对存在的问题提出下一步解决方案。 6 硕二 ：学位论文 第2 章图像处理模块技术基础 数字图像的算法通常由软件来完成，但随着v l s i 技术的发展，用硬件来对图 像进行实时处理已经成为一个新的发展趋势。目前，f p g a 芯片在集成度、容量 和速度方面都达到了较高的水平，已经能够完成较复杂的逻辑运算，这就为基于 f p g a 的图像处理系统的设计提供了硬件基础。同时采用f p g a 技术可以缩短设计 周期，减少硬件投资风险，且设计灵活，程序和模块的移植性强，因此，f p g a 技术被越来越广泛地运用在图像处理领域。 2 1f p g a 的结构 f p g a 同c p l d ( c o m p l e xp r o g r a m m a b l el o g i cd e v i c e ，复杂可编程逻辑器件) 一样都是可编程逻辑器件，它是在p a l 、g a l 等逻辑器件的基础上发展起来的。 同以往的p a l 、g a l 等相比，f p g a 的规模更大，它可以替代几十甚至几千块通用 i c 芯片。这样的f p g a 实际上就是一个子系统，这种芯片受到世界范围内电子工 程设计人员的广泛关注和普遍欢迎。经过2 0 余年的发展，许多公司都开发了自己 的可编程逻辑器件，比较典型的是x i l i n x 公司的f p g a 器件系列和a l t e r a 公司的 c p l d 器件系列。它们开发比较早，占据了较大p l d 市场份额。目前，全球范围内 的p l d 产品有6 0 以上都是a l t e r a 和x i l i n x 公司提供的，可以说是a l t e r a 和x i l i n x 共 同决定了p l d 的发展方向。当然，在p l d 市场，也还有许多其它类型的器件，如 l a t t i c e 、v a n t i s 、a c t e l 、q u i c k l o g i c 、l u c e n t 等。 f p g a 、c p l d 和其他类型p l d 的结构各有其特点和长处，但它们都属于可编 程逻辑器件这个大家族，概括起来它们都是由以下三部分组成： ( 1 ) 一个二维的逻辑块阵列； ( 2 ) 输入输出块； ( 3 ) 逻辑块之问的连线资源。 图2 1 给出了x i l i n x 公司f p g a 芯片基本结构组成，下面结合s p a r t a n3 e 系列的 f p g a 芯片，对其内部资源进行简要的介绍： ( 1 ) 可编程输入输出单元( i o b ) 这是芯片与外界电路的接口部分，完成不同电气特性下对输入输出信号的驱 动与匹配要求。f p g a 内的i o 按组分类，每组都能够独立支持不同的i o 标准。 ( 2 ) 可配置逻辑块( c l b ) 这是f p g a 内的基本逻辑单元，c l b 的实际数量和特性会依据器件的不同而不 同，但是每个c l b 都包含一个可配置开关矩阵，可以对其进行配置以便处理组合 逻辑、移位寄存器或r a m 。 7 基于f p g a 的图像颅处理单冗的设计j 实现 ( 3 ) 数字时钟管理模块( d c m ) 业内大多数f p g a 均提供数字时钟管理( x i l i n x 的全部f p g a 均具有这种特 性) 。x i l i n x 推出最先进的f p g a 提供数字时钟管理和相位环路锁定。相位环路锁 定能够提供精确的时钟综合，且能够降低抖动并实现过滤功能。 ( 4 ) 嵌入式块r a m ( b r a m ) 大多数f p g a 都具有内嵌的块r a m ，这就大大拓展了f p g a 的应用范围和灵活 性。块r a m 可被配置成单端口r a m ，双端口r a m ，内容地址存储器( c a m ) 以 及f i f o 等常用存储结构。 ( 5 ) 硬核乘法器 硬核是相对底层嵌入的软核而言的，每一个硬核本身等效于一个a s i c 电路。 为了提高f p g a 的处理能力并降低功耗，x i l i n x 公司在s p a r t a n3 e 内部集成了数目 不等的硬核乘法器。 ( 6 ) 丰富的布线资源 布线资源连通f p g a 内部的所有单元，而连线的长度和工艺决定着信号在连 线上的驱动能力和速度。f p g a 芯片内部有着丰富的布线资源，根据工艺、长度、 宽度和分布位置的不同可以划分为4 个不同类别。第一类是全局布线资源，第二类 是长线资源，第三类是短线资源，第四类是分布式的布线资源。 2 2f p g a 的特点 f p g a 芯片从某种角度来看是一种特殊的a s i c 芯片，它们除了具有a s i c 的特 点之外，还具有以下优点： ( 1 ) 随着v l s i ( v e r yl a r g es c a l ei c ，超大规模集成电路) 工艺的不断提高，单一芯 片内部可以容纳上百万个晶体管，f p g a 芯片的规模也越来越大，其单片逻辑门 数已达到上百万个，它所能实现的功能也越来越强，同时也可以实现系统集成。 ( 2 ) f p g a 芯片在出厂之前都做过百分之百的测试，不需要设计人员承担投片风险 和费用，设计人员只需要在自己的实验室旱就可以通过相关的软硬件环境来完 成芯片的最终设计，所以，f p g a 的资金投入少，节省了许多潜在的花费。 ( 3 ) 用户可以反复地编程、擦除、使用，或者在外围电路不动的情况下用不同的软 件实现不同的功能，所以，用f p g a 的试制样片能以最快的速度占领市场。 f p g a 软件包中有各种输入工具和仿真工具，以及版图设计工具和编程器等全 线产品，电路设计人员在很短的时间内就可以完成电路的输入、编译、优化、 仿真，直至最后芯片的制作。当电路有少量改动时，更能显示f p g a 的优势。 电路设计人员使用f p g a 进行电路设计时，不需要具备专门的i c 深层次的知识。 f p g a 软件易学易用，可以使设计人员更集中精力进行电路设计，快速将产品 推向市场。 8 硕上学位论文 综上所述，f p g a 既继承了a s i c 的大规模、高集成度、高可靠性的优点，又 克服了a s i c 设计周期长、投资大、灵活性差的缺点，逐步成为硬件电路设计的首 选。除此之外，现在的f p g a 更是突出了如下特点：保密性好、易学易用、开发 工具功能强大，可完成从输入、综合、实现到配置芯片等一系列功能。目前，很 多开发工具都可以实现对设计的仿真、优化、约束、在线调试等功能，大部分新 型的f p g a 内嵌c p u 或d s p 内核，支持硬件协调设计，可以作为片上可编程系统的 硬件平台。 0 r 口口 口口口 】口口 圆 i l j1 1 j园 绒通道 围圆囤囡 圆醴型圈囤 国国囡回 n 广1广1 门广1 厂_ 1广1f _ 1 摧ff p g a 的幽像预处理学7 亡的设计j 实现 e d i t o r 对内部m e m o r y 进行直接编辑置入数据。在实际项目的开发过程中，设计 人员常以h d l 语言为主，原理图为辅进行混合设计，以发挥二者各自的特点。 通常，f p g a 厂商的软件与第三方软件设有接口。通常使用的方法是，利用 f p g a 厂商的软件进行电路设计，然后调用第三方软件进行后续处理。如q u a r t u s 与f o u n d a t i o n 都可以把e d i f 网表作为输入网表进行布局布线，布局稚线后，可 再将生成的相应文件交给第三方进行后续处理。 2 3 2 设计综合 否 是卜一一一一是 综合优纯：_ ： 晷一是。， 一 。 至菱 实现 i ：。，二：二i 是 否j 图2 2 完整的f p g a 开发流程 综合就是根据h d l 语言、原理图等设计输入和相关的约束条件，如速度、 功耗、成本及电路类型等，通过计算机进行优化处理，获得一个能够同时满足上 述要求的电路设计方案。也就是说，综合的依据是逻辑设计的描述和各种约束条 件，综合的结果则是一个硬件电路的实现方案，该方案必须同时满足预期的功能 和约束条件。对于综合来说，满足要求的方案可能有多个，综合工具将产生的一一 个最优的或接近最优的结果。因此，综合的过程也就是设计目标的优化过程，最 后获得的结构与综合工具的：i ：作性能有关。 1 0 l|否 一 一 | | 一 | 否 一 硕：l ：学位论文 f p g ac o m p i l e ri i 是一个完善的f p g a 逻辑分析、综合和优化工具，它从h d l 形式未优化的网表中产生优化的网表文件，包括分析、综合和优化三个步骤。其 中，分析是采用s y n o p s y s 标准的h d l 语法规则对h d l 源文件进行分析并纠正语 法错误，综合是以选定的f p g a 结构和器件为目标，对h d l 和f p g a 网表文件 进行逻辑综合，而优化则是根据用户的设计约束进行逻辑优化，产生一个优化的 f p g a 网表文件，以供f p g a 布局和布线工具使用，即电路优化与特定厂家器件库 有关，而独立于硅特性。 2 3 3 仿真验证 从广义上讲，设计验证包括功能仿真、时序仿真和电路验证。仿真是指用软 件包对已实现的设计进行完整测试，模拟实际物理环境下的工作情况。前仿真是 指仅对逻辑功能进行测试，以了解其实现的功能是否满足原设计的要求，前仿真 时没有加入时序信息，不涉及具体器件的硬件特性，如延时特性。而在布局布线 后，提取有关的器件延时、连线延时等时序参数，并在此基础上进行的仿真称为 后仿真，它是接近真实器件运行的仿真。 2 3 4 设计实现 实现可以理解为利用实现工具把逻辑映射到目标器件结构资源中，决定逻辑 的最佳布局，选择布线通道进行连线，并产生相应文件。通常可分为如下五个步 骤： ( 1 ) 转换，即将多个设计文件进行转换，并合并到一个设计库文件中。 ( 2 ) 映射，即将网表中的逻辑门映射成物理元素，即把逻辑设计分割到构成可编程 逻辑阵列的可配置逻辑块与输入输出块及其他资源中的过程。 ( 3 ) 布局与布线，即布局是指从映射取出定义的逻辑和输入输出块，并把它们分配 到f p g a 内部的物理位置上，通常基于某种先进的算法，如最小分割、模拟退 火和一般的受力方向张弛等来完成。布线是指利用自动布线软件使用布线资源 选择路径，试着完成所有的逻辑连接。最新的设计实现工具是由时序驱动的， 即在器件的布局布线期间对整个信号通道执行时序分析，因此可以使用约束条 件操作布线软件，完成设计规定的性能要求。在布局布线过程中，可同时提取 时序信息形成报告。 ( 4 ) 时序提取，即产生一个目标文件，供后续的时序仿真使用。 ( 5 ) 配置，即产生f p g a 配置时需要的位流文件。 2 3 5 时序分析 实现过程中，在映射后需要对实际功能块的延时和估计的布线延时进行时序 分析。而在布局布线后，也要对实际布局布线的功能块延时和实际布线延时进行 幕于f p g a 的图像颅处理单兀的设计j 实现 静态时序分析。从某种程度上来讲，静态时序分析可以说是整个f p g a 设计中最 重要的步骤。它允许设计者详尽地分析所有关键路径并得出一个有次序的报告， 而且报告中包含详细的调试信息，比如每个网络节点的扇出或容性负载等。静态 时序分析器可以用来检查设计的逻辑和时序，以便计算各通路性能，识别可靠的 踪迹，检测建立和保持时间的配合。时序分析器不要求用户产生输入激励和测试 矢量。虽然x i l i n x 与a l t e r a 在f p g a 开发套件上均拥有时序分析工具，但在拥有 第三方时序分析工具的情况下，仅利用f p g a 厂家设计的工具进行布局布线，而 使用第三方时序分析工具进行时序分析。一般f p g a 厂商在其设计的环境下都有 与第三方时序分析工具的接口，设计者可以利用f p g a 开发软件调用相应的第三 方软件。s y n o p s y s 公司的p r i m et i m e 是一个很好的时序分析工具，利用它可以达 到很好的效果。将综合后的网表文件保存为d b 格式，可以在p r i m et i m e 环境下 打开。利用此软件查看关键路径或设计者感兴趣的通路时序，并对其进行分析， 再对原来的设计进行时序约束，可以提高工作主频或减少关键路径的延时，与综 合过程相似，静态时序分析也是一个重复的过程，它与布局布线步骤紧密相连， 这个操作通常要进行多次，直到时序约束得到很好的满足。 在综合与时序仿真过程中交互使用p r i m e t i m e 进行时序分析，满足设计要求 后即可进行f p g a 芯片投片前的最终物理验证。 2 3 6 下载验证 下载是在功能仿真和时序仿真正确的前提下，将综合后形成的位流下载到具 体的f p g a 芯片中，也叫芯片配置。f p g a 设计有两种配置形式：直接由计算机 经过专用下载电缆进行配置；由外围配置芯片进行上电时自动配置。因f p g a 具 有掉电信息丢失的性质，因此可以在验证初期使用电缆直接下载位流。使用电缆 下载时有多种下载方式，如对x i l i n x 公司的f p g a 下载可以使用j t a g p r o g r a m m e r 、h a r d w a r ep r o g r a m m e r 、p r o mp r o g r a m m e r 三种方式，而对a l t e r a 公司的f p g a 可以选择j t a g 方式或者p a s s i v es e r i a l 方式。因f p g a 大多支持i e e e 的j t a g 标准，所以使用芯片上的j t a g 接口是常用的下载方式。将位流文件下 载到f p g a 内部后进行实际器件的物理测试即为电路验证，当得到f 确的验证结 果后，就证明了设计的正确性。电路验证对f p g a 投片生产具有重大的意义。 上面介绍的设计流程并不是固定不变的，结合不同的设计工具，设计流程或 多或少都有一些差异。 2 4 现代数字系统的设计方法 传统的电子系统设计基本上采用自底向上( b o t t o m u p ) 的设计方法，利用 s p i c e 完成模拟验证，这种方法要求设计者具有丰富的设计经验。大部分电子系 1 2 硕i j 学位论文 统的设计工作需要设计专家人工完成，同时任何一次设计方案的修改都意味着一 次详细设计过程的重复，再加上模拟验证速度较慢，因此无论是设计时间还是设 计精度都难以令人满意。因此，采用人工的自底向上设计方法，已很难满足当今 电子系统的设计要求。而现在e d a 所采用的自顶向下( t o p d o w n ) 的设计方法， 圉囤圈 图2 3 电子系统自动化设计流程 则有效地实现了设计周期、系统性能和系统成本之间的最佳权衡。这是一种层次 化的设计方法，设计在尽可能高的层次上进行，从而使设计者可以在更大的空间 内进行设计搜索，理解整个系统的工作状态，完成设计的权衡和相关的设计决策。 自上而下的设计方法首先从系统设计入手，从顶层进行功能方案图划分和结构设 计，这时的设计与工艺无关。在方框图级先进行仿真和纠错，用h d l 语言对高层 次的系统行为级进行描述，并在系统级进行验证。然后，用逻辑综合优化工具生 成具体的门级逻辑电路的e d l f ( e l e c t r o n i cd e s i g ni n t e r c h a n g ef o r m a t ，电子设计转 换格式) 网表，对应的物理实现级可以是p c b 板或者是a s i c 芯片。设计的主要仿 真和调试过程是在高层次上完成，这一方面有利于早期发现结构设计上的错误， 避免设计工作的浪费，另一方面也减少了逻辑仿真的工作量。目前，一般的硬件 平台已经可以支持系统设计的c a d 软件的运行。自顶向下的设计方法方便从系统 级划分和管理整个项目，简化设计队伍的管理，减少不必要的重复，提高设计的 一次成功率。同时，自顶向下的设计方法还提供了整个设计过程中的各设计阶段 的统一规范管理，包括系统的测试和各层次的模拟验证。图2 3 给出了一个电子系 1 3 崮宙囱 基于f p g a 的图像预处理单冗的设计o j 实现 统自动化设计流程。 随着集成电路制造业的飞速发展，传统的设计方法受到了越来越严峻的挑战。 每年设计技术的进步大约滞后制造技术2 0 ，在器件的特征线宽进入深亚微米以 后，这个矛盾显得越来越突出。主要表现在系统的集成度越来越高，使得单个芯 片的复杂度成倍提高，随之而来的设计周期无限制增加，时序的收敛问题更加棘 手，从而使得i c ( 集成电路) 的设计不能够满足制造的需要。为了弥补这两者的 鸿沟，一系列崭新的设计方法被提了出来。业界很多人认为有以下四个方面值得 引起大家的关注：i p 的导入令传统的自顶而下的设计方法受到挑战；c c + + 语言 被越来越多地引入到i c 系统设计中；物理设计转向c o t 设计方法；e d a 向e d o 的 转变。 现代数字系统的发展得益于现代e d a 技术的发展，v l s i 设计方法的每一次进 步，都伴随着e d a 技术的飞跃。可以说e d a 技术是电子信息技术发展的杰出成果， 它的发展与应用正引发一场工业设计和制造领域的革命。最新的一种观点认为， 在电子设计的前端和后端，传统的e d a 设计方法已经发生了若干变化，它们正在 重塑传统的e d a 工业。e d a 已不能准确地反映出这一工业界当前的变化，一个更 精确的词将是e d 0 ( 电子设计最优化) 。它要求设计人员要学会不要把自己的 设计局限在某些具体的工艺上，而要能够更多地把自己从设计的具体实现中解放 出来，学会从整体上去考虑问题。设计人员对于设计工具的依赖程度将更高，设 计的优化程度和可靠性直接取决于设计工具。 2 5 图像传感器综述 目前，图像传感器1 1 8 j 主要有两类，一类是电荷耦合器件( c h a r g ec o u p l e d d e v i c e 简称c c d ) ，另一类是互补金属氧化物半导体器件( c o m p l e m e n t a r ym e t a l o x i d es e m i c o n d u c t o r ，简称c m o s ) 。c c d 于l9 6 9 年在贝尔试验室研制成功，之后 由日本公司开始量产，其发展历程己经将近4 0 多年。c c d 图像传感器结构相对比 较简单，工艺容易实现，但这种器件耗能较大，不易高度集成。c c d 是用模拟方 式进行信息交换的。c m o s 图像传感器发明于8 0 年代，由于当时c m o s 工艺制程 的技术不高，以致于该传感器在应用中的杂讯较大，商品化进程一直较慢。随着 c m o s 集成电路工艺技术的成熟以及固体图像传感器技术的研究成果，c m o s 图 像传感器技术到九十年代初才开始快速发展，至今已研制出三大类c m o s 图像传 感器：c m o s 无源像素传感器，c m o s 有源像素传感器和c m o s 数字像素传感器。 随着集成电路设计技术和工艺水平的提高，c m o s 图像传感器过去存在的缺点， 现在都可以找到办法克服j 而且它固有的优点是c c d 器件所无法比拟的，因而它 再次成为研究的热点。国外各大公司和科研机构己经开发出多种类型的c m o s 图 像传感器和以c m o s 图像传感器为核心的摄像系统。c m o s 图像传感器的集成度 1 4 硕i j 学位论文 较高，可以把整个系统集成在单片上，但信号处理线路复杂，对工艺的要求比较 苛刻，与c c d 器件相比还不够成熟。不过，随着c m o s 工艺水平的不断提高，使 得在单片上集成大量晶体管成为可能，因此c m o s 图像传感器正日益受到人们的 重视。 在未来发展趋势上，c c d 由于技术相对比较成熟，更多的是在应用方向上 的发展。c m o s 图像传感器作为新兴图像传感器，更多的是朝着高分辨率、高动 态范围、高灵敏度、超微型化、数字化、多功能化的方向发展。目前，用于手机 摄像头的c m o s 图像传感器的分辨率己达5 0 0 万像素。相信在不久的将来c m o s 图像传感器将赶超c c d 而成为固体图像传感器的主流。 2 6 图像传感器结构及其基本工作原理 2 6 1c c d 图像传感器结构及其基本工作原理 构成c c d 图像传感器最基本的单元是m o s ( 金属一氧化物半导体) 电容器，或 称m o s 结构。c c d 最基本的结构，是由彼此非常靠近的一系列m o s 电容器所组成。 这些电容器用同一半导体衬底制成，衬底上面生长均匀、连续的氧化层，只是各 个金属化电极互相绝缘，但只相隔极小的距离。 c m o s l m a g e s e n s o f 图2 4c m o s 图像传感器结构 c c d 的基本工作原理：在图像传感器的半导体绝缘表面上紧密排列着许多电 容器，它可以用来贮存和转移以电荷包形式出现的信号。硅半导体有光电效应， 当它受光照射时，产生的自由电子与光强成正比，故由许多光敏单元组成的c c d 可作为传感元件。c c d 感光元件的表面为透光部分，位移寄存器的表面为遮光部 分。每一光敏单元产生的电荷正比于光强和光积分时间。当转移栅有控制脉冲时， 各电荷包并行转移至c c d 位移寄存器。若按适当顺序对着c c d 位移寄存器的电极 加上脉冲，则通过位阱形状的变化，就会使电荷包转移，如果能串行输出各单元 信号，就成了c c d 面阵传感器。 1 5 堆十f