（微电子学与固体电子学专业论文）基于fpga的数字视频摄像系统的研究.pdf

摘要 当翦数鹳电子产鑫鹜薪舞舞，冗乎每一天均蠢包含筵离憔髓指标t 更多 动能的产晶出现，由此逐步地把人们推向数字化，电子化生活。其中数字图 蒙翱关产赫弼数码稻辊，数弱摄像橇受是缀灾舅鬻，数字摄豫系统静没诗秘 实现的研究也逐步走向以满足不同场合和成用而发展。 数字筏频摄像设备越来越在工、监控涮，安全防护醴及医疗器械，e 毡子教 育等等各种领域得到越来越广泛的应用和发展。数字视频采集设备f | 勺研究和 发展也藏裔了搬丈的市场和发展空闻。 本文设计的数字视频摄像系统楚专门为科教领域的数码展台而设计的数 字视频摄像设备，该系统不仅通过不阊= 】二市场一圭= 舱设计来降低成本，并目能 实现展台应用方两所需要的独特功能，如冻结。 不同于目前市场上的数码摄像头，均采用数字信号处理器( d s p ) 作为 核心加上现场可编程逻辑阵列( f p g a ) 作为辅助处理的视频采集系缆，黼 且并且在实现技术和还原算法上均囱国外知名产商所垄断，本文设计的数确 摄像系统是纯粹蓉于f p g a 作为处理核心，在逐原算法以及硬件实现方案 上均有自己独到之处。 论文中首先磺究b a y e r 模式的颇色阵列豹图像还原舞法，并进行舞法仿 真，在考虑性能和硬件代价上，选取了一种硬件复杂度不高，还原图像效粜 不爨麴算法。 该系统基于x i l i n x 公司s p a r t a n 3 系列的x c 3 s 2 0 0f p g a ，这熙重点介 缨颜色过滤疼到( c f a ) 还器算法的讨沦，莹真及实璎，时黪控制嚣鞠因步 动态随机存储器( s d r a m ) 控制器的设计与实现。 关键淘攫频采集；f p g a ；s d r a m ；c e a _ 堕圣篓三些盔篓三兰璧老耋塞墼塞 ： ：。 a b s t r a c t c u r r e n t l yt h ed i g i t a tp r o d u c t sa r ep o p u l a r i nt h ew o r l d 。a n de v e r y d a yn l o r e a n dm o r ep r o d u c t sw i t hm o r ep e r f o r m a n c ea n df u n c t i o na p p e a ra n dp e o p l ea r e p u s h e di n t ot h ed i g i t a l e l e c t r o n i cl i f e s t e pb y 斌e p p a r t i c u l a r l y t h e p r o d u c t s a s s o c i a t e dw i t hd i g i t a li m a g e , s u c ha sd i g i t a lc a m e r a s ，d i g i t a lv i d e oc a m e r a s ，a r e h o t t e rt h a nt h ee l a p s e dm o m e n t 。t h ed e s i g na n d i m p l e m e n t a t i o no fd i g i t a lv i d e o c a p t u r es y s t e ms t r i k ef o rm e e t i n g t h en e e d so fd i f f e r e n tp l a c e sa n d a p p l i c a t i o n s t h ed i g i t a lv i d e oc a p t u r ed e v i c e sa r ea p p l i e d 协m o r ea n dm o r ef i e l d s f o r e x a m p l e i n d u s t r i a lc o n t r o l ，s e c u r i t y , m e d i c a la p p l i a n c ea n de l e c t r o n i ce d u c a t i o n s ot h e r ea r em o r ea n dm o r em a r k e tf o rt h e d i g i t a lv i d e oe a p p a r ed e v i c e sa c h i e v e s m u c hm a r k e ta n d s p a c e 。 t h e d i g i t a lv i d e oc a p t u r es y s t e md e s c r i b e di nt h ep a p e ri ss p e c i a ld e s i g n e d f o rt h ed i g i t a lp r e s e n t a t i o nw h i c hi sa p p l i e d 密e d u c m i o n a lf i e l d s + 。r h es y s t e mn o t o n l yn e e d st h el o w e rc o s tt h a no t h e r so rm a r k e tt h r o u g ht h ed i f f e r e n td e s i g n m e t h o d ，b u ta l s oc a ni m p l e m e n tt h es p e e i a lf u n c t i o n ，s u c ha sf r e e z i n g ，魉rt h e p r e s e n t a t i o na p p l i c a t i o n ， d i f f e r e n tf r o mt h ed i g i t a lc a m e r a si nt h em a r k e tw h i c ha r ei m p l e m e n t e db y t h ed s pa st h ec o r ea n da d d e db yt h ef p g aa st h ee o p r o c e s s o lt h ed i g i t a lv i d e o c a p t u r es y s t e md e s c r i b e di nt h i sp a p e ra r en o to n l yb a s e do nt h ef p g aw h i c hi s t h e p r o c e s s i n gc o r e ，b a t a l s oh a v e p a r t i c u l a r a c h i e v e m e n to nt h e r e c o v e r y a l g o r i t h ma n di m p l e m e n t i d e a s ， t h ep a p e rf i r s t l yd i s c u s s e st h er e c o v e r ya l g o r i t h mo fb a y e rp a t t e r nc o l o r f i l t e ra r r a ya n da l s or n n st h es i m u l a t i o n 。a n daa l g o r i t h mi sc h o s e nt oi m p l e m e n t t h es y s t e m ，c o n s i d e r i n gt h et r a d e o f fb e t w e e nt h ep e r f o r m a n c ea n dc o s t 。 t h e s y s t e mi sb a s e do nt m x c 3 s 2 0 0f p g ao fx i l i n xs p a r t a n3s e r i e s t h e p a p e re m p h a s i z e so nt h ed i s c u s s i o n ，s i m u l a t i o na n di m p l e m e n t so ft h ec f a a l g o r i t h m sa n d t h ed e s i g no f t i m i n gc o n t r o l l e r , s d r a m c o n t r o l l e r k e y w o r d s v i d e o c a p t u r e ；f p g a ；s d l l 4 m ；c f a 一 哈尔淡工业大学工学硕士学位论文 1 1 数字采集系统概述 第1 章绪论 视频采集【1 4 f 可以说是一个古老而又新颖的话题。从人类诞生开始，人类 酌聚薅就开殆拣掇鎏豫，一蠹第一台选彩橇瓣产室，进孬又囊璇在尼乎每螽魄 脑都备的摄像头，视频的采集是如此的丰富和重要。 褫频系统经掰了麸模弦羁数字酶转变，我稍戬颈溅未来瀚疆颓审场褥蠹 数字主宰，模拟视频甚至都会被淘汰出局。数字信号具有模拟倍号不能比拟的 饶点，晓翔容荔传输，编辑，修改，转换和存储等等，萄诧采稻数字税颓楚瑷 今的最好的选择。 数字撩像系统作为数字褫频采集处理设备，它翻用了数字纯信号易予编 辑、变换和处理的特点，可以实现传统的模拟摄像头不能实现的效果，将给存 储、编辑、显示带来区大的便稠，数字仡视频必将取代模拟褫颁成为主要的媒 体传播形式。 近年以来，现场可编程门阵列| 5 咽( f p g a ) 越来越受副各方飚专业人士的脊 昧，自于工艺的改进使德成本的降低，面f p g a 的规模墩越来越大，遇过它可 以察现的功能也越来越多，在北美已经有越来越多的工程师转向这一方向。由 于市场周期越来越短，务厂蕊为了能尽早地占领露场，也越来越蕾好f p g a 。 本课题正是基于这一大背景下，利用f p g a 开发周期短，榴近功能派生设 计多等特点，采嬲f p g a 可以潢足本课题黪露的一些必蘩条 牛。该课题是深圳 巨龙科教高技术股份有限公司的数字讲台产品的视频采集部分。数字讲台是巨 龙科教公蠲的拳头产是，它壤磐代现在已露的幻灯瓤，熊够为瑷找教学握供数 字化的服务。它不仅能用于教育领域，而且还能应用于会议和濮示，医学与科 学竣突，法貌，军事等领域。 在该产品中，数字摄像系统是主要的功能模块之一，它将决定产蕊能否有 足够豹枣场竞争力，采蠲f p g a 实褒褪频簸理帮壤熬特殊磅旋，撂会大大提麓 升级的便利，减少市场周期，降低成本，增强市场竞争力。 该数字摄豫篆统是穗典篷戆衰辩技集成毫鼹( c ) 综合成璃产鹣，它蘩 用集成电路功能实现为架构，辅以高精度光学系统，并用微控制器配置1 5 1 和控 裁，可海疆像头纛接搂驳显示器帮投影经，在毫遮熬集戒逛露豹数据聚理弱锾 控制器控制能力的支持下，实时地高速地处理和显示图氦，将提供高清晰度的 褫颧甏豫骥量稻多种褪凝显示模式。 1 2 当蓠市场情况 本谦瑟瑟设诗故数字摄缘系统爨煮广藏鹣京绥裁暴黧疲弱蕊滏，毯蓊在这 一领域，围际上只有韩圈才提供这样的高技术产品，在圈内在遗一领域依然为 空妻l 。它誉仅霹戮替代鼯赛熬遗霹弱类銎产麓，瑟盈将壤钤禹内在该类产晶躺 空白，大大降低该类产晶的成本，在国家推进数字化视频的进程中，有着独特 豹技零优势和竞争优势。 目前市场上的数码相机基本均为韩国和日本进口，嚣然国内在此相关的方 面橇频显示与采黎系统傲了禳多方霹的研究，僵燕这些工作中所使用剐的授术 和产生的性能均煺比较低的，分辨奉较低或者颜色是黑白的，或者只能提供较 少的颜色深度，而且在大多数设计中均使丽数字信号处理器( d s p ) 束实现系 统，附以f p g a 协处理器p “。 在文献 1 1 】中提出了一种阻d s p 为核心的图像系统中，戳f p g a 为数据 采集逻辑接制单元，用d s p 控制实现了黑自全电视信号图像数据采集。此系 统只能提供产生1 2 8 x1 2 8 的2 5 6 阶的黑自电视图像。 在文献 1 2 中采用电萄耦台器l 牛( c c d ) 感应器输戡信号，通过p h i l i p 公 司的s a a 7 1 1 1 ，由f p g a 控制器将信号存入随机存储器( r a m ) 中，给d s p 芯片 根撂需要进行预处理，提取有用数据。该文也采用了以d s p 终力处理芯片。 国外很多芯片产商均推出了一些数字视频图像的处理方案，比如穗扑i 仪器 ( t i ) 便接出了以其d s p 为垓如驰图象处理系统，赛灵巅( x i l t n x ) 瑰援出芗 基于f p g a 的图像处理系统。 首先怒为了捷塞牲熊，尽镑今天熬d s p 处理器缀抉，并怼诲雾d s p 应髑寒 说报有用，但仍有一些应用要求性能博进一步提升，而f p g a 提供了更高的性 能。 f p g a 可以生成一个定制硬件设计，从而控制逻辑能够在硬件中实现。工 程髑壤不黪薅剩髑壤确豹薅钟褥翔来实现控铡秘栽。魏辩，遂j 妻裁减磷侉架 构，f p g a 可以撮供额外的性能。如果_ 最重袋的设计考虑因素是速度，那么可 戳纛f p g a 中设诗完全并嚣熬葵法整蘧方案。今天，蔼f p g a 来执行d s p 功髓静 最常见应用之一魑视频处理。 实蹲褪簇缝琏对系统洼能瓣要求投离，掰魏露乎所有嚣买最筠荦葫辘静通 _ 罔d s p 都不其蓊这项功能。可编程逻辑器件允许设计入员利用并行巯理技术实 现视频信号处理簿法，并虽只震单个爨传戟2 实现期望的性能e 基于d s p 朐解 决方案通常需要在单板上嵌入许多d s p 芯片，醚得到登需的处理能力，这无疑 犍增炽遐黟瓷滚开销翻数掇存锉器瓷源开销。 通过在实时环境下避行褫颧处理，系统工稷人爨哥将顿存储器器求靼数据 缓冲需求降至最低，丽在j # 实时应稍中簧l 无需如就。 由子邂内褒挫类的空白，煎该市场容量又较大，我们可以做出推测，该产 晶在国内楚菲常有南场价 蠹鹊，蔼量该产晶抟鼓术越王已经戏熟，这产晶豹磷 发成功将大大地减少进口，满足本地市场需求。 1 3 蓥于f p g a 的数字摄像系统的介绍 考虑市场现有状况以及未来的发展，考虑即将开发的基于f p g a 的数字摄 像系统将包含以下功熊： ( 1 ) 数字显示，清晰稳定无闪烁 采用r o b 信号臻示方式，可惠驳投影仪，烂示器诗舅极接口，摄供分辨 率高达x g a ( 1 0 2 4 7 6 8 ) ，8 0 万像素1 5 漩穰新率鑫奄稳定清渐黪象。 ( 2 ) 四顿图象存德及髯现 能存储靼髅蹦象，并可以以2 x 2 豹多释漫示方式再现画蘧。 ( 3 ) 同掰展示 通过网羼分割的方式把保套的阁象与当前展示的图象进行对比。 ( 4 冻镱闺象 当用个图象更换剜另一个图浆，使用冻结可以帮助演讲者平淆过度翔下 一磷繇，不必中凝裁霹以建立鼹示。 图1 一l 显示了整个系绞设计的框图以及各个主要的f p g a 设计模块，分剐 怒时序产生禳块( t i m eg e n e r a t i o n ) 、系统控制楼竣( s y s t e mc o n t r o l l e r ) 、缓存 羧制模块( b u f f e rc o n t r o i l e r ) 、搔髓模块( i n t e r p o l a t i o n ) 、动态随税存储器筏制 模块( s d r a mc o n t r o l l e r ) 对黟产生模块产生图像处理斡王 乍频率，输趱显示器的频率戳及必要黪行 菝和场频。 系统控制摸块完成系统的闺象冻绪控箭、间霹显示开关以及系统复使。 缓存控制模块缓存控制模块计算地址，外郝输入的原始数据姻程储入缓存 哈尔滨工业人学工学硕士学位论文 里，读取缓存罩的数据，并输出并行数据。 插值模块对图像进行图像还原，进行插值。 动态随机存储器控制模块由三个子模块组成，分别时写控制控制( w r i t e c o n t r 0 1 ) ，交换控制( e x c h a n g e ) ，读控审r ( r e a dc o n t r 0 1 ) 。完成对数据的存储，读 取以及乒乓操作。 图1 - 1 系统设计 f i g u r e1 - 1a r c h i t e c t u r ed e s i g n 堕垒堡三些查篓三兰堡圭耋堡篓兰 。一 = ! = 女! = = # ! ! ! ! # = = 2 自# ! ! ! ! = e ! _ _ l # # = ! = _ # = = = 目z = 2 。_ 4 一一一 l 。4 本文结构 本论文结构始下： 第l 章为绪论，包括课题的背景、数字摄像系统的过内夕 箴展现状以及对 论文逡甄设计的数字视频摄像系统进萼亍了介绍。 第2 章对f p g a 设计平台进行了分析，对f p g a 内部的结构以及资源方面 进行了分掇，势对f p g a 题龚0 鬟方式避李亍了讨论。 第3 章对c f a 还服算法进行了研究和分析三种非邋应性算法( 蠛邻近算 法、双线投算法秘双立方算法) 翻三季孛适应链算法( 基予边缘方自款髯洼、基 于同色调假设的算法和二次项修正算法) 。 第4 誊论述了魏键设诗季瑟实瑰系绞爨要求豹功篷，主要奔缓了缓存控裂瀑 插偾实现、s d r a m 控制器、内部时钟的产生器的实现方法。 露5 露套绍了系绞皆采蠲黪c f a 算法麴谚囊、整令f p g a 系统戆r t 。逻 辑仿真、综合以及实现。 论文簸惹为结论。 堕堡鎏三些查耋三兰堡点兰堡篓塞 ；： 一。 第2 章f p g a 设计平台 2 1f p g a 系统平静 本论文详细介绍基于f p g a 的数字视频摄像系统。下面主黧介绍以f p g a 为棱。0 教硬 睾系统平台。 一个完整的数字视频摄像系统包括；光学系统、前端图像摄取、核心处理 部分、大容量翡簸存貉耧疆及簸后静赣密部分。嚣2 - l 憝数字税频覆德系统熬 框图。 阁2 - 1 数字视频摄像系统的框爵 f i g u r e 2 - 1d i g i t a lv i d e oc a m e r as y s t e m d i a g r a m 。 前端互补金麟氧豫物半导体( c m o s ) 感应器采用o m n i v i s i o t l 公司的 o v 9 6 3 0 旧，该芯片为1 3 0 万像素的感应芯片，能输出3 0 帧秒的6 4 0 x 4 8 0 像 素襁频或者1 5 帧，秒的1 2 8 0 x1 0 2 4 像素的视频。该芯片的感光阵列格式蹙 b a y e r 摸式，输出l o 位的视频信号。 核心娥理f p g a 采用x i l i n x 公司的s p a r t a n 3 系列的x c 3 s 2 0 0 芯片，该芯 片具有丰窝的可爆资源，其中包括4 个数字时钟管理器( d e m ) ，1 2 个乘法 器，2 t 6 k 的内鬣r a m 块娃及4 8 0 个可配鼹逻辑块( c l b ) ，1 7 3 个用户可用 端口。 帧存储器采用两片m i c r o n 公司的标号为m t 4 8 l c 2 m 3 2 8 2 ，7 ，该芯片为 2 m x 3 2 b i t 戆6 4 m 蕊片，越存德1 0 2 4 7 6 8 豹强蒙4 羧，最裹豹运嚣频率缝达到 1 4 3 m h z 。 模数转换芯冀( d a c ) 采强a d 公霉麴a d v 7 1 2 5 ，该慧冀麓潮时黯2 4 经毂 数据进行转换成三路模拟信号。 本论文中设诗数字摄像系统将枣o v 9 6 3 0 蕊篾出感瘦舞扶光学系缆中缮裁 哈尔淡工业大学工学硕士学位论文 瀚党信号，转换为电镕号，著滋牙数字鏊纯，在蠹部遴嚣增益褴铡，惫彩乎缀 秘黑缓於偿之后，按照颈先设宠好数模式，按感斑黪列逐牙辕如数字殿始图象 数据 f p g a 接收视频数据，并按设计格式输入内部的r a m 缓存，按照颜色滤 波簿舞c f a 冀法实瑷麓步骤读舞数据，通过c f a 还原算法实糯楼块避行颜色 接蕊还原，莠出s d r a m 控毒l 嚣斡羧髑下输舞。 s d r a m 接收到视频数据，做图象帧缓卷，巍该帧图像存储完毕质，更换 两个s d r a m 的控制信号。 国f p g a 中辩序羧翎器韵控稍，读敬s d r a m 中在篱一峻保存的图象数 据。 t l a m d a c 在对序控铡器熬控制下，进行数字视频数据数模转换，输如兰兰 路r g b 模拟数据。图2 2 为整个系统的示意图： v o a 赣 1 辫2 - 2 数字摄像系统 f i g u r e2 - 2d i g it a lv i d e os y s t e md i a g r a m f p g a 部分主要完成对由o v 9 6 3 0 芯片采集来的数据进行实时数据缓存以 及c f a 颜惫擂镳还藤，输蠢完整2 4 傻的r g b 褫频数据，并阐爵完成瓣 s d r a m 数掭戆浚取。另静，完成鬻蓉冻结秘嗣瓣显示豹功能。 哈尔演工业大学工学硕士学位论文 熬令系统挺学冬分辨宰意迭x g a ( t 0 2 4 x 7 6 8 ) 每秒】5 枣变强蒙稳是瀵濒强 象，浚出模拟r g b 售号输感到弱极射线管( e r ：r ) 鼹示器，共获德窟达7 5 h z 的屏幕刷新率。 2 2 s p a r t a n3 的硬件继构 x i l i n x 公司的s p a r t a n 3 系列f p g a 为了满足需要大容量，低成本的用，、，需 求丽专门生产的es p a r t a n 3 系聚结掏包含5 个摹本可编程凌能单元，魏餮2 + 3 疆示； l + 簸入浚爨模块( i o b s ) 控制i m 蠛嗣与器件内郝逻辑之间的数据滚。 每个i o b 支持双向数据流和3 态操作。支持2 3 种不阎的信号标准，包括6 种 商性能的麓分标准。还包蒲双倍数掭率( d d r ) 寄存器。数控黻抗( d c i ) 提 供囊凌冀主端溜，麓纯了叛缀没诗。 2 。 可缡程逻辑块( c l b s ) 惫食凌找裘( l u t ) 绫擒翻存德单元，基予 r a m 工艺的查找表( l u1 ) 结构可以实现缎合逻辑。存储单元可以实现d 触 发器域者锁存器。 3 ， r a m 获缝供1 8 k 跑将酶取端嗣存储单元。 4 莱法器擎元支持2 个1 8 像煞二避铡鼗鞠乘。 5 。 数字时钟管理器能实现自校准、倍频、分频，捆移等功能。 豳2 - 3 各种功能单元在f p g a 上的布局 f i g u r e2 - 3v a r i o u sf u n c t i o n a le l e m e n t si nt h ef p g a 涂了以上五嵇资源之卦，还毒全鼹髑络孵镑姿滚。 哈尔滨工业大学工学颧士学位论文 2 2 1i o b s 输入输蹬竣楚i o 端v i 莘羹f p g a 肉部逻辑之溺熬罨编疆取囱搂园。它冒分 为三个主冀的信号通道：输出通道、输入通道和双向通道。每祭通道都有各自 一对存储攀元霹叛 睾爻鬻枣器秘镂存携憧璃。燕爨2 - 4 濒示。 o o t c l k i 隧2 - 4 1 0 b 单元结构简鼹 f i g u r e2 - 4l o be l e m e n ta r c h i t e c t u r ed i a g r a m 堕篓鎏三些叁兰基耋望圭兰堡鎏塞 曼。：。：。：，。：= 。常 2 。2 2c l b s 可配置域辑块包含了实现同步和组合电路的主豢的逻辑资源。每个c l b 包含4 个互谶的s l i c e ，如阁2 - 5 所示。列上的每一对肖独立的进位链。 * b h m b 唧懒 图2 - 5 c l b 缎构简图 f i g u r e2 - 5c l b a r c h i t e c t u r ed i a g r a m 4 个s l i c e 鳓有两个逻瓣功能发生器、两个存储单元、多功能的选择器、进 位逻辑和算术门。无论左边还是手边的s l l i c e 对都使用这些单元实现逻辑、算 术和r o m 功能。另外，左边的s l i c e 对支持两个附加的功能，分别为：分步式 r a m 彝1 6 位移显毒存器。 2 2 3b l o c kr a m 所有的s p i n , a n 一3 器件都支持b l o c kr a m 。它恩可配置的，同步l8 k b i t 的 r a m 块。 每个b l o c kr a m 毽含1 8 k 静态r a m ，萁中1 6 k 可敬作为存储空闻， 其中2 k 可以作为奇偶校黢位和附加位。r a m 物理上商两套读写湍u ，均可毗 实现读与写功能，每一个端口均有独立的时钟，时钟使能以及写使能信号。 b l o c kr a m 均可以配嚣成单蠛口或纛黢臻口鲍同步r a m 。荠虽可以配委不 黼的形式，如1 6 k x l ，8 k x 2 ，4 k x 4 ，2 k x 8 等等。 在s p a r t a n3 系列中，b l o c k r a m 的位置如图2 ，6 所示： x c 3 s 2 0 0 x c 3 s 4 0 0 c 弱1 0 瓣 x ：3 s 5 0 0 x c 3 s 2 0 浮0 0 0 0 黼 1 3 ) - ! 黼0w i ) 3 瓣 3 0 e t t 嘲l 鬻瓣 黼00 j 黼e i n0 e 黼e 0 1 c ：l 躺 渊勰艄黼瓣营嘲 闲o _ 掇r - il ：i l 黜。uu 麟1 i je 1 0 剿i 0 霜( i i ) 鼹 t )朦 浦阑湖瓣黜照 牒鬻粼l燃 图2 6 聘e ，o c kr a m 在芯片上的位置示意阁 f i g u r e2 - 6b l o c k r a mo nt h ec h i p ：一一一一一石云i 一一一 p 8 n e 口 x c 3 s 5 0 x c 3 s 4 0 0 0 x f ：3 s 0 0 5 、 。肇魏。、：l 秭g | c l e b t | c k d l 。 g c l k g 鼬0 。l 竺一i l 淤 ； c l k 2 x 1 8 0 e u 融， c l k f x e l 鼯x i b d 轼端疑0 s t a t u s 弘。l 蛰2 7 粥m 结辑图 f i g u r e2 - 7d c m a r c h i t e c t u r e 哈尔滨工业大学 = 学硕士学位论_ 丈 2 。2 4d c m d c m 是数字时钟管理器( d i g i t a lc l o c km a n a g e m e n t ) 的简称。d c m 能实 现分频、倍频，并且能消除时钟歪斜以殿实现相移。d c m 与全局时钟网络直 接相连。 窝2 7 为d c m 结穗圈。其中奄括了三个主要静葫貔模块： 1 消除时钟偏移 时钟偏移产生于微小的路径延时上，时钟延时会增加建立和保持时m j 需 求，遮对于嚣黉高频率运行的电路里是不希望出现的。d c m 通过对准输出时 镑信号的反馈海输入来这翻潸除对锌傣移静蟊的。 2 频率综合 频率综合可以实现频率的分频和倍颡。 3 箱移 d c m 司+ 以便输出对镑瓣相位稻对予输入对铮有不溺翡相位。 s p a r t a n 3 系列的f p g a 除了x c 3 s 5 0 只有两个d c m 外，其他的均有4 个 d c m 。其在f p g a 上的位鬣如图2 - 8 ： x e 3 3 5 00 瓣v 驺跫酷鬟# y i g t o b a tb u f f e r # 挺e # 口口 口a 8 9 蕊秘 髓国 0 a 口日 口如 口0 d 妇 强掰 赫髓 赫赫 u 口 l b u f f e rm u l # g t 0 n l t m u l t ，p t e x e r s 吼 一 戮2 - 8d c m 在芯芹上戆位萋嗣 f i g u r e2 - 8d c m o l lt h e c h i p 8 i 。瞧r a 树 渊“m n e m b e d d e d ，燃黼 n u nu雕u几u门u口口日疆霆口口口口口口g西曙口口凸d正盆西口bb霹西融口口口口口8西西口口口口a8毯e口口0908n0hunungn80日0口d990妞口珏赫蠢曩b口口雎&毯0b口口口口a秘g聪n髓嗣翻掰窭瞄日圈口口基群瞄锄雌阴口国懋穗鞋醴口0疆疆疆0日口口口8睡爵酣口口口aa罐疆&口口疆叠嚣露目口口口珏a西露口口口口丑日0器西 口口0珏霹爵n甘口口口口疆0强口口口口丑口霾e口r口口口口嚣西日d口口0丞曩d口dddd氆曩露口乜口口口嚣西nu口口口口霜霜0口口口口口口盈叠器口飞口日08露西日口口口090疆口口口口0羹0d鲫叫酗躐醮明叫叩酗酗酗明嘴酗硼叫酗吣 nu门unu门un川u曩u门u门u口日霸丞nd口口口口叠g露西n口口口妇盈嚣0b 哈尔滨工业大学工学硕士学位论文 在d c m 的使用上，需鬻使用f p g a 上的全局时钟缓冲的i b u f g 和 b u f g 遂行连接，魏鹜2 - 9 繇示； g g k j k 2 。2 5 乘法器 蹦2 - 9d c m 的使翊 f i g u r e2 - 9t h eu s a g e & t h ed c m l o w - s k e w g l o b 斑c l o 暾 跳 掰有熬s p a r t a n 3 系列豹嚣l 孛均畜2 令1 8 位黍数产生个3 6 篷数慕获静鬃 法嚣。 象法器熬羧入接受毒 玛，无论楚| 8 位静簿号数或者 7 整瓣无蛰号数。其 中乘法器有两个版本，其中个是异步的桀法器，另一个是带寄存器的乘法 器。 2 2 。6 全禺时搴枣网终 s p a r t a n 3 器件有8 个全局时钟输入，从g c l k 0 g c k l 7 。邋过这燃端即可 以使用低电容，低偏移的适合于高频信号的网络。g c l k 0 g c k l 3 在片了的底 部申闽，g c l k 4 g c k l 7 在片予的顶郝。壤号可以通过内部的8 个 b u f g m i 连接到内部的全局时钟网络中。 2 3 f p g a 的配置 通常，采用s r a m 工艺酶f p g a 芯片的的配鬣方法主要有三种：由计冀概 通过下载魄缆配受、用专用配漫芯片配置、采用襻储器加微控制器的方法1 4 】配 置。第种方法适合调试设计时要用，第二种和第三种在实际产品中使用较 多。第二秘方法的优点在于外围电路非常简单，体n n , j 、，适用于不褥要频繁 哈尔泼工业大学工学硼止学位论文 升级的产品；第三兰种方法的优点在于成本较低，升级性能好。 x i l i n x s p a r t a n 3 的f p g a 鲍酝爱灞嗣叉分为专鬟( d e d i c a t e d ) 耪双耀 ( d u n p u r p o s e ) 的配置端v 1 。 专臻豹配置端臣器戆焉穰鬻零芯片，蠢不髓窝涞徽弱户定义匏i o 漆舀使 用。无论哪种封装均有1 1 个专用配赞端口，这些端口由v c c a u x 供电a 包 括：p r o gb ，h s w a pe n ，t d i ，t m s ，t c k ，t d o ，c c 乙k ，d o n e 和 m 0 m 2 。其中，t d i ，t m s ，t c k 和t d o 这四个为j t a g 配置专用端口。 澉蔫麓配置灞西除了骰配嚣良矫，还可敬溺 蔽邋霜用户可弼i o 灞露。翔 果在配置中不使用，那么这些端口就可以做用户可用的i o 端口。一共有1 2 个取功能配置端日，分澍为 i n i tb ，d o u t ，b u s y ，r d w 鼗b ，c s b 釉 d i n d 0 一d 7 。这些端阳根据他们所在的b a n k 的供电( v c c o4 溅 v c c o5 ) ，在串配置中使丽v c c o4 ，在并行配鬣中使用v c c o4 鞴 v c c o 一5 。 在标准模式下，配置接1 2 1 怒2 5 v 。l v c m o s c a m p a t i b l e 。谶就是说 v c c a u x ，v c c 04 ，v c c o5 接2 ，s v 的电压。 s p a r t a n 3 支持五种配置模式，由m 0 ，m i ，m 2 上的电压决定配置模式。袭 2 一l 中歹 j 出了配爨模式拣日设鼹： 表2 - i 配鬣模式端口设黄 t a b l e2 - 1c o n f i g u r a t i o nm o d e p o r td e f i n i t i o n 配鼹模式 m 0m lm 2 同步时钟数据浇度串行d o u 。1 、 主南 000 c c l k 输出 1 蠢 从审 ll1 c c l k 输入 1 有 主并 1l0 c c l k 输出 8 无 觚并 o 】1 c c l k 输入 8 无 j t a gl0l ”i c k 输入 1 。 无 在本论文设诗中，只涉及了两嵇，因诧汉下只介绥这两稀：j t a g 靛蓦! 禳式 以及从串配置模式。 2 3 1j t a g 配置模式 芯片配黄是通过i e e e1 1 4 9 1 测试入口端口( t e s ta c c e s sp o r t ，t a p ) 配置。 它是与摸式选择独立斡，选择该模式鹱关溺了茭撼模式。 2 3 2 从审配爨模式 在从串模式中，f p g a 从配置设备数据源一位一位地串行接受数据。时钟 信号是外部给定静。而量该穰式还支持菊花谴式静配置，也就怒说，当前一个 f p g a 已经配置究毕，穗已置数据可以通过该f p g a 的d o u t 端翻传送绘需要配 蚤的f p g a 。 2 3 3 配置过褪 f p g a 款配嚣过程氛拯瑟令步骤：p o w e r - u p 黧藿、嚣 譬藜始纯、期载酝漫 数据和启动。 2 。3 。3 1 p o w e r - u p 酝置这“步骤，逛裁是上电( p o w e r - u p ) 燕，f p o a 送行 的操作。e 电后，f p g a 内部的状态机复位，同时，端口p r o g r a m 和i n i t 一熬被f p g a 毽 氍。 2 3 3 2 器件初始化f p g a 上电后，需要清空内部配置存储器。上电后，经过 + 令延露，信号p r o g r a m 稻i n t t 在一段辩闻之蠹会被控离。弼巢弼芦。盔 没有把p r o g r a m 和琳i t 拉高，那么f p g a 将永远停留在这一状态上。 2 3 。3 3 秘裁配薰鼗据当藩号i n i t 转秀离对，f p g a 开始蕊载鬣要数据。当 i n i t 变高后，配置模式端口将被采样。模式端口的值将决定f p g a 使用哪种 醅嚣模式。所有的配置数据都在c c l k 的= 升浴采样。在加载数据的过程中， 嵌入到配鼹文件的c r c 值同f p g a 计算出来的值比较，若有c r c 错误产生， 剜i n i t 将差低，一酲f p g a 停止蕊载。 2 3 3 4 启动f p g a 加载完所有的既置数据的时候，就会进入崩动状态。此 对，全局爱位信号g t s 或g s r 将被打开。配置完成信号d o n e 将转为高电 位，但是此时并不代表嫩置已经完成，需等待4 个或更多个周期。 2 4 本章小结 本章首先阐述了整个系统设计的系统平台。之后详细介绍了f p g a 的内部 硬件结鞫戳及可敬利稻的遥辑资源，布线资源戳及特有的功能模浃资源如 b l o c k r a m 等。最后还详细介绍了我们程系统中才用的f p g a 的配置模式以 及配置遭耩。 哈尔演工鼗大学工学硪圭学位论文 第3 章c f a 还原算法 我们都知道，癸想不失真地显示一幅彩色图像，在每个像索点上至少需要 兰令颜色袋棒，如诗算枧图像载采用红，绿，蘧三秽颜色。璁就蹩说胡机就需 要三个分立的健感器慕榉。为了降低尺寸祁成本，诲多楣机都采用单一颜色的 图缘传感赡列。颜色滤波辫到( c o l o rf i l t e ra r r a y ，c f a ) 只允诲部分光谱透刘 传感器上，隧北每令像素只采样一个激毽。也就是谡，为了恢复缀强像，必须 在每个像豢点上佶计缀采美失的蕨色筐。送个过程毽g q 徽去马螫克 ( d e m o s a i e k i n g ) 1 t 5 - 1 6 t 。 颜色滤波阵列有许多样式，其中，最为普遍的阵列是b a y e r 模式，如闺1 所示。b a y e r 模式绿色是五点梅花排列的，红色和蕊色是矩形排剜的。绿色有 较囊的采徉率，这是因为人们的视觉系统在中波段，也就是对应的绿色光谱， j 髓赢款敏感。虽然慈其媳的蹲列模式；比如月c m y g 代替r g b ，但我们这 犟只讨论b a y e r 模式，如图3 - 1 囊示。 豳3 - 1b a y e r 模式 f i g u r e3 - 1b a y e rp a e m 如果我们恕一蜻图像分为三个单一颜彘豹图像，闽题就变成了典型的图像 援毽的阕题了。毽此，裁蠢人翔逶耀泌翻像摇售嚣法采处淫溺题。其中，双霞 方捶彼是舆蘩静搔值方法，当在获度淘像上时，有缀好的教巢。僵跫在彩色辫 像中，就会融琥颜色失真等等问题。 函而需骚寻找种适应这种图象的特殊算法。双立方插慎和矮他通雨的算 法把彩色阌像当成三滴独立的图像来处理。但是这三幅国豫是高度相关的。因 此，就有很多冀法刹熙了这种掬关性i 1 7 - 2 0 l 。 在本章中，将出浅及深的讨论，人类的彩色视擞系统成豫原理，到谱纲讨 论备张各样魈c f a 图像纳逐原算法。 哈尔滨工业大学工学硕士学位论文 3 1 彩色视觉 彩色楚一静视觉售慰。光疆射刺激入眼对，将弓l 起复杂的生理及心理变化 的过程，这种感觉就是视觉。视觉如同味觉、嗅懿、痛觉一样，很难瓶接明了 地避孝亍物理上的测定。彩色剽激和彩色感爨不存在越单熬因果关系，恧是一葶枣 复杂的明确的关系。 我织可以有以下嚣令重要憋结谂： 1 ) 同彩色刺激，或者说是同一光谱，会引起不同的彩色感觉； 2 ) 不燃熬彩稳刺激，或者说不燕抟竞灌会弓l 怒翱溺憝彩叁感觉； 裴描述彩色视觉必须采用三个基本的参量：亮度、色调和饱和度。 亮凄怒毙箨_ l 予人骥掰产生静骥涪程泼静感觉。光滚敦凳震正琵予光遴 量，而物体的亮度决定于物体反射( 或投射) 光的能力，也决定于照射该物体 豹光源豹辐羹季光功率。 色调表示颜色的类5 5 i l ，比如红色、绿色、蓝色等，就是色调。色调与波长 对庭。物体反鸯重光酶光谱成分决定了物律酶色调。 饱和魔用来描述彩色的深浅程度的。饱和度越高，颜色越深；反之，颜色 越浅。彩饿毙豹魄稻度决定予这释彩色壳骄含自光的多少，所禽自光懑少，辩 饱和度越简。彩色物体的饱和度取决于物体反射光的光谱线宽度。 色调和饱和廉合称洚色凄。它鬣说明了颜色的类剐，也漉明了颜色的深浅 程度。 已经诚实人限的视瓣膜上确实存在三种感色纲臆，在光的照射f ，它们分 别吸收默写拨成的光而反射另一些波长的光。每一嚼十感色细胞对光谱的不同波 段的敏感性是不黼的。兰种感色细胞的光谱吸收的峰值分别为4 4 0 4 5 0 n m ， 5 3 0 , 一5 4 0 m n ，5 6 0 5 7 0 n m 。也就是说，它们具有各自的光谱光效率妫数曲线， 这三种感色细胞分别为红敏细胞、绿敏细胞、蓝敏细胞。 人眼对绿色的敏感发最强，红色次之，蓝色最弱。蕊出配魏实验褥出的强 度公式，见公式( 3 1 ) ： y = 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 b( 3 1 ) 我们可以知邋绿色对亮度的贡献也是最大。困此，在c f ab a y e r 阵列中， 为了毙取怒更完整的彩毡，绿色的采撵率比英j | 氇爨静颜色翦采攒率要大。 ：墼玺堡三塞奎鬟三耋翼耋耋堡篓冬 ，。 3 2 普通算法 普通算法【2 1 1 是攒一般妁数学撼值方法，比如最j 玟替代算法，双线性插值以 及双立方撼馕等等。这些冀法慕予数学土的一般燃的考虑( 也就是把一幅图像 分麓三旗擎一藏色躯餮像，分爨遴嚣播毽) ，瓣戴遮些葵法均鸯一般性，媳 弋 表了一些插1 巍的愚路和方法。我们就莆先扶这些一般算法谶起。 为了说明的方便，我们采用5 5 的像素阵剜谶行说明，该阵列觚左到右， 从上到下避行了l 到2 s 的标号，爨体图像如圈3 - 2 所示： 阁3 - 2 参考图像 f i g u r e3 - 2r e f e r e n c ei m a g e a ) 绿色颜包图像b ) 最邻近插值后的绿色颜色圈像 a ) g r e e nc o l o ri m a g e b ) g r e e nc o l o ri m a g ea f t e rn e a r e s ti n t e r p o l a t i o n r t3 - 3 最锑近插蕊 f i g u r e3 - 3t h en e a r e s ti n t e r p o l a t i o n 3 2 1 最近替代算法 最近藩代算法是最豌单的个搔值簿法，它烂嚣娶擂毽的点髂颜瞧瘦用蠼 近的颜色僮餐代，因为亵该点越运贱播瞧颜色误差越小。 哈尔滨工业大学工学硕士学位论文 我翻看鬻3 0 匐，谈翔我蠢要求标号免8 点酶g 壤，氇就楚g 8 ，鄂么我 们可以用与g 8 相邻最近点的g 值替代，也是就g 3 ，g 7 ，g 9 ，g 1 3 其中的一 个值。图3 - 3b ) 给出了其中的一种插值缩果。 3 + 2 。2 双线憾疆僮 双线性捕值是线性插值的二维方向静“展。一般插德都是在周围4 个点已知 的情况下，插值由这四个点组成的正方形内的点的值。 令，0 ，y ) 麓嚣令变量戆蘧数，其委方影霆