（动力机械及工程专业论文）基于usb20和fpga的图像采集、存储系统研究.pdf

大连理工大学硕士学位论文 摘要 图像信号的采集和处理在科学研究、工农业生产、医疗卫生、公共安全等领域得到 了越来越广泛的应用，而这些工作都需要一套高速的图像系统来完成。同时图像采集也 是进行图像处理、图像压缩、图像识别的基础，所以图像采集系统的研制有着重要的现 实意义和价值。要对图像进行采集就需要一种高速的，能进行长时间、大吞吐量数据传 送的计算机接口。u s b2 0 接口就是一种符合图像采集要求的计算机接口。同时u s b 接 口还具有支持热插拔、占用系统资源少、易于扩展、使用方便等优点。当前，计算机的 许多外围设备都采用了u s b 接口来实现与计算机间的数据通信。 本课题“基于u s b 和f p g a 的图像采集、存储系统研究 ，就是要设计一套高速 的图像采集、存储、传输系统，通过f p g a 控制图像的采集，把数据存储到f l a s h 中， 当需要查看数据时，通过该系统上的u s b 2 0 接口来实现高速的数据传输，将数据送到 计算机中进行储存或显示。在本课题中，设计了图像采集系统的硬件电路，制作了p c b 板，并对图像采集系统的软件部分进行了开发。该图像采集系统由五大部分组成：c m o s 图像传感器( o v 7 6 2 0 ) 电路、f p g a ( e p l c 6 t 1 4 4 c 8 ) 控制电路、高速缓存( a l 4 2 2 b ) 电路，f l a s h 存储器( k 9 f 1 2 0 8 ) 电路、基于u s b 2 0 ( c y 7 c 6 8 0 1 3 ) 接口的数据传输部 分。 在硬件设计方面，论文提出了图像数据采集系统总体方案，设计了图像采集系统的 工作原理，介绍了采集系统中用到的主要芯片以及系统硬件电路中主要模块的设计、 f p g a 内部逻辑设计和p c b 设计等内容。 在软件设计方面，论文讲述了采集系统的f p g a 程序的设计开发过程；还在u s b 2 0 协议的基础上提出了采集系统的c y 7 c 6 8 0 1 3 固件程序的设计思路。在完成采集系统固 件程序开发的基础上，论文对固件程序中主程序、初始化函数、端点配置以及g p i f 接 口设计等内容进行了论述。w d m 驱动程序是实现访问和控制硬件的软件接口，应用程 序为用户提供界面并最终将u s b 数据传输的结果提供给用户，论文叙述了采集系统的 u s b 接口w d m 驱动程序和应用程序的开发。论文实现了从f p g a 到计算机的数据传 输，并给出显示数据传输的结果。 关键词：图像采集；u s b 2 0 ；f p g a ；f l a s h 基于u s b 2 0 和f p g a 的图像采集、存储系统研究 t h e s t u d yo fi m a g ea c q u i s i t i o na n ds t o r a g es y s t e mb a s e d o nu s b i n t e r f a c ea n df p g a a b s t r a c t t h ea c q u i s i t i o na n dp r o c e s s i n go fi m a g es i g n a la r eu s e dw i d e l yi nt h ef i e l d so fs c i e n t i f i c r e s e a r c h ， i n d u s t r i a la n da g r i c u l t u r a lp r o d u c t i o n ，m e d i c i n ea n ds a n i t a t i o n ，p u b l i cs e c u r i t y a n ds oo n a n dt h e s ew o r k sc a n tb ec o m p l e t e dw i t h o u tas e to fh i g h s p e e di m a g ea c q u i s i t i o n s y s t e m m e a n w h i l ei m a g ea c q u i s i t i o ni s t h eb a s i so fi m a g ep r o c e s s i n g ， c o m p r e s s i n ga n d r e c o g n i z i n g ， s ot h er e s e a r c ho ni m a g ea c q u i s i t i o ns y s t e mi sv e r yi m p o r t a n ta n dv a l u a b l e i n o r d e rt oa c q u i r ei m a g e ， ak i n do fh i 曲一s p e e dc o m p u t e ri n t e r f a c es u p p o r t i n gl o n gt i m ea n d l l i 曲t h r o u g h p u td a t at r a n s f e r r i n gi sn e e d e d u s b2 0i n t e r f a c ei sac o m p u t e ri n t e r f a c et h a t m e e t st h en e e do fi m a g ea c q u i s i t i o n i na d d i t i o n ， u s bi n t e r f a c eh a st h ea d v a n t a g e so fh i g h t r a n s f e r - r a t e ，h o tp l u ga n dp l a y ，l e s sr e s o l r c er e q u i r e m e n t ，b e i n ge a s i l ye x t e n d e da n du s e d a tp r e s e n t ， m a n yp e r i p h e r a ld e v i c e so fc o m p u t e ru s eu s b i n t e r f a c et oa c c o m p l i s hd a t a c o m m u n i c a t i o nw i 也c o m p u t e r s t h er e s e a r c ho f t h es t u d yo fi m a g ea c q u i s i t i o na n ds t o r a g es y s t e mb a s e do nu s b i n t e r f a c ea n df p g a i st od e s i g nah i 曲- s p e e di m a g ea c q u i s i t i o n ， c a r da c q u i r i n ga n d p r o c e s s i n gi m a g ed a t a ， a n dt h e nt r a n s f e r r i n gt h ed a t at oc o m p u t e rb yu s b 2 0i n t e r f a c e ，t o d i s p l a ya n ds t o r et h ed a t ao nc o m p u t e r t h eh a r d w a r ec i r c u i to f t h es y s t e mw a sd e s i g n e da n d p c bb o a r dw a sp r o d u c e d t h es o f t w a r eo ft h ec a r dw a sd e v e l o p e dt o o t h ei m a g ea c q u i s i t i o n c a r dc o n t a i n st h ef o l l o w i n gf i v ep a r t s ：c m o si m a g es e n s o rc i r c u i t ，f p g ac o n t r o lc i r c u i t ， s r a ms t o r a g e ，d i g i t a ls i g n a lp r o c e s s o ra n dd a t at r a n s f e r r i n gp a r tb a s e do nu s b 2 o i n t e r f a c e f o rt h eh a r d w a r ec i r c u i td e s i g n ，t h ec o n c e p t u a ls c h e m eo fi m a g ed a t aa c q u i s i t i o n s y s t e mw a sp r o p o s e d ， a n dt h e nt h ep r i n c i p l eo fi m a g ea c q u i s i t i o nc a r dw a sd e m o n s t r a t e d l a s t l y ，i t se x p a t i a t e dt h a tt h em a i nc h i p su s e di nt h ea c q u i s i t i o ns y s t e m ，t h em a i n m o d u l e s o f h a r d w a r ec i r c u i t ，t h ef p g a1 0 9 i cd e s i g na n d 也ep c bd e s i g ne t c f o rt h es o f t w a r ed e s i g n 。t h ed e v e l o p m e n to ff i f op r o g r a mi 1 1t h ea c q u i s i t i o ns y s t e m w a si n t r o d u c e d a tt h es a n l et i m e ，t h ed e s i g ns c h e m eo fc y 7 c 6 8 0 13 sf i r m w a r ew a sg i v e n a n dt h e 右l r n l w a r ew a sd e v e l o p e d i ti sd i s c u s s e db a s e do nf i r l n w a l ed e s i g nt h a tt h ed e s i g n m e t h o d ，d e v e l o p i n g s t r u c t u r e ，m a i np r o g r a m ，i n i t i a lf u n c t i o n ，a n de n d p o i n tc o n f i g u r e i i 大连理工大学硕士学位论文 a n dg p i fd e s i g no fc y 7 c 6 8 013f l l m w a r ep r o g r a m w d md r i v e ri st h es o f t w a r ei n t e r f a c et o a c c e s sa n dc o n t r o lh a r d w a r e ，a n da p p l i c a t i o np r o v i d e su s e r sw i t hi n t e r f a c ea n dt h eu s b d a t a t r a n s f e r r i n gr e s u l t s ot h ed e v e l o p m e n to fw d m d r i v e ra n dt h ea p p l i c a t i o no ft h ea c q u i s i t i o n s y s t e mw e r ei n t r o d u c e d l a s t l y ，t h ed a t at r a n s f e r r i n gr e s u l t sb e t w e e n t h ea p p l i c a t i o na n d f i f ob yu s bi n t e r f a c ew e r cd e m o n s t r a t e d k e yw o r d s ：i m a g ea c q u i s i t i o n ；u s b ；f p g a ；f l a s h 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：基王! 曼垦2 ：q 盘里里鱼叁的图速丞篡：壶篮丕统丑究 作者签名： 主达逛 日期： 坦基年- 上三月丑日 大连理工大学硕士研究生学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：垄王唑塑短瞄鱼囵篮叁篡垒! 重耋! 篓叠塑 作者签名：丛日期：塑年兰月三l 日 导师签名：之灶j 喜毒乒。日期：碑年一上月卫日 大连理工大学硕士学位论文 1 课题方案的选择 1 1 图像采集系统的发展现状 图像采集系统的发展已有几十年的历史。早期的图像系统处理速度较慢，分辨率 较低，这给图像识别带来了困难。随着科学技术的发展，图像采集系统已有了长足进步。 从处理静止图像到处理运动图像，从传送1 6 位数据到传送3 2 位及更多位数据，从p c 机总线到i s a 总线及到p c i 总线，己都取得了明显进步。分辨率从4 8 0 4 8 0 到1 0 2 4 1 0 2 4 ，输入图像范围可大可小。噪声影响也有一定的改善。基木能满足实时性的要求。 图像质量也有了进一步的提高。 目前，基于p c i 的仍然是主流。基于p c i 总线的图像采集系统向更高性能方向发 展，在我国，已有许多家单位在生产图像卡。其中中国科学院大恒图像公司的d h - v t l 4 2 ， 四路复合图像同时输入同频显示，最大平均有效传输速率：4 7 6 8 x 5 7 6 x 2 4 b i t 同时传 输，相当于1 8 0 m b p s ( 依赖于主机传输速率) ，同时d h v t1 4 2 为用户提供了自行加密的 手段，可以保护用户知识产权不受侵犯。d h c g m p e g 可将两路图像按m p e g 1 或 m o t i o nj p e g 压缩并全动态显示，同时可实时采集两路音频。同采集系统加压缩卡的 方案相比更方便系统连接，节约了资金，增加了系统稳定性。支持两路p a l ，n t s c 图 像信号同时输入同时显示。图像分辨率最高p a l7 6 8 5 7 6 2 4 b i t ，n t s c6 4 0 x 4 8 0 2 4 b i t 。国外图像卡在我国占较大市场的是加拿大m a t r o x 公司，数据宽度已达6 4 位， 分辨率达16 0 0x1 2 0 0 ，卡上有d s p 处理硬件，并可直接接在显示器上显示，但是这些 图像采集系统的速度普遍的很高。 u s b 2 0 的数据传输速率可高达4 8 0 m b p s ，虽然比p c i 总线速率低，但是完全满足 传输一路图像的要求，同时由于系统设计难度相对较低，使用方便，价格低，基于u s b 2 0 的图像采集系统成为研究的热点。 1 2 课题要求 本课题要求能采集多种分辨率( 6 4 0 x 4 8 0 ，8 0 0 6 0 0 ，1 0 2 4 7 6 8 ，1 2 8 0 1 0 2 4 ) 下的图像信号，目前国外有很多实现该功能的采集卡，而且达到的性能指标也很高。对 于1 0 2 4 x 7 6 8 的图像，每秒钟输出的帧率可达到1 6 帧。但是，国外高速图像采集卡的 价格也非常昂贵，通常的费用都在万元以上，限制了其在国内的应用。课题要求，该图 像采集卡不但能进行电脑视频g a ) 图像的采集，而且最关键的是要求图像能将图像传 感器采集到的图片，储存到外部的f l a s h 中，在需要查看的情况下，通过p c 控制， 可将图片数据上传到上位机( p c ) 进行显示。 基于u s b 2 0 和f p g a 的图像采集、存储系统研究 1 3 课题方案的确定 我们选用f p g a 作为图像处理的芯片，u s b 2 0 作为图像向上位机传输的接口芯片， 目的是要设计一个图像采集，存储系统，将采集到的图像数据在f p g a 中进行处理后， 存储到大容量的f l a s h 中，在需要查看数据的情况下，f p g a 控制从f l a s h 中读出图 像数据，再通过u s b 接口送到p c 机上进行存储或显示。 该系统由c m o s 图像传感器o v 7 6 2 0 、可编程逻辑器件器件e p l c 6 t 1 4 4 c 8 ，高速 缓存器件a i a 2 2 b ，f l a s h 储存器k 9 f 1 2 0 8 ，u s b 2 0 控制器c y 7 c 6 8 0 1 3 组成，系统原 理图1 1 如下： p c t = =u s b 2 0 | 图像传感器 f la s hc 二e p l c 6 t 1 4 4 c 8 、0 v 7 6 2 0 图1 1 系统原理框图 f i g 1 1t h eb l o c kd i a g r a mo f t h es y s t e m 系统中，e p l c 6 t 1 4 4 c 8 的时钟使用了图像传感器的输出时钟p c l k ，这是为了保证 系统在时序上的同步。图像传感器h r e f 信号为水平窗口参考信号，高电平时有效。 系统的工作流程为：上电后，o v 7 6 2 0 按设定方式工作，自动输出数据和行同步时 信号和时钟信号，f p g a 接收图像数据。0 v 7 6 2 0 每一个p c l k 上升沿就有一个输出数 据。当h r e f 为高电平时，输出的数据为有效数据。f p g a 就是利用p c l k 和h r e f 从 o v 7 6 2 0 接收数据。紧接着f p g a 将接收到数据送到f i f o 高速缓存内，同时f p g a ( 时 钟为1 0 分频后) 控制将f i f o 内的数据转存到大容量的f l a s h 中；在需要察看图像的情 况下，f p g a 通过u s b 接口，将图像数据传送到p c 机，这里考虑到o v 7 6 2 0 输出数据 一2 - 大连理工大学硕士学位论文 和f l a s h 写数据的速度问题，由于f l a s h 的读写速度比较慢，而数据的输出速度很 快，所以在设计中加入了高速的f i f o ，作为数据缓冲使用。上传图像数据时，c y 7 c 6 8 0 1 3 工作在s l a v ef o 模式，当c y 7 c 6 8 0 1 3 收到来自f p g a 的数据后，自动将数据打包， 再通过u s b 总线，将数据送给计算机进行存储或显示，完成整个数据处理和传送过程。 1 。4 课题任务和论文的内容 本课题的主要研究任务是设计一个基于u s b 2 0 和f p g a 图像采集、存储系统。课 题要求在u s b2 0 规范的基础上，对采集系统的硬件和软件进行设计和开发，通过u s b 2 0 接口将图像数据采集到p c 机。 论文的内容： ( 1 ) 介绍了图像采集系统的发展现状，课题要求，设计方案的确定及论文的内容。 ( 2 ) 阐述了基于f p g a 和u s b 的硬件设计方案，对主要芯片和芯片间的连接进行介 绍。 ( 3 ) 介绍了f p g a 的特点和开发流程，主要对f p g a 控制f l a s h 的状态机进行了介 绍。 ( 4 ) 介绍了本系统中u s b 的固件程序设计。 ( 5 ) 介绍了u s b 设备的驱动程序和应用程序设计。 基于u s b 2 0 和f p g a 的图像采集、存储系统研究 2 采集系统的硬件电路设计 2 1 主要应用芯片选择 2 1 1f p g a 芯片的选择 在目前市场上的图像采集处理系统中，用作系统的核心器件一般有f p g a ，数字信 号处理器( d s p ，d i g i t a ls i g n a lp r o c e s s o r ) 以及特定用途集成电路( 专用a s i c ，a p p l i c a t i o n s p e c i f i ci n t e g r a t e dc i r c u i t ) 芯片。 f p g a 作为当今主流的大规模可编程专用集成电路，可以实现系统集成，具有实现 宏函数的嵌入式阵列及实现普通功能的逻辑阵列，提供异步的“乘积项”或者“和项” 构成的寄存器的置位复位信号；对于i o 驱动能力强的器件，可以在印刷线路板上直接 驱动总线，每个i o 引脚都有一个独立的三态输出使能控制，从而可以方便地实现总线 结构，另外每个i o 引脚都有漏极开路选择，还有单独的、可编程的输出电压摆率控制 位，可配置成高摆率或低摆率输出，大多数的f p g a 器件都具有符合i e e e1 1 4 9 1 技术 规范的边界扫描测试c t a g 电路，可以方便地进行芯片和板级的测试。还可以根据后期 现场的需要进行现场编程，可擦写多次。 图像信号处理类的低层信号处理运算主要面向图像象素操作，核心算法部分是乘加 等算术逻辑运算和最值运算、二值分割、绝对值等非线性运算，特点是数据量大但运算 简单机械，适于采用f p g a 并行操作流水线方式实现，虽然d s p 有专用的硬件乘法器， 但与f p g a 相比较，在此类算法上，f p g a 有更大的数据吞吐量。 本课题中，实时图像采集和处理对系统性能的要求极高，数据流量比较大，因此几 乎所有只具最简单功能的通用d s p 都不能在图像采集处理系统中达到所需的性能要求。 基于f p g a 的算法具有专用集成芯片的运算速度，可以满足高速图像处理的需要； f p g a 现场可编程，使检测系统具有良好的柔性，满足不同检测需求；f p g a 的编程技 术发展成熟，算法实现简单，编程容易，具有很好的可移植性和继承性。 因此，结合国内图像采集和处理系统的现状，我们采用f p g a 作为核心器件代替 d s p 或者a s i c 芯片来实现图像采集和处理，研发出基于f p g a 的高速高分辨率图像采 集处理系统。 e p l c 6 t 1 4 4 c 8 是触_ 一t e r a 公司c y c l o n e 系列f p g a 中的一款，是基于成本优化的， 全铜工艺的1 5 vs r a m 工艺，相对竞争对手的f p g a 仅一半的成本，依然提供强大的 功能。最高达2 0 ，0 6 0 个逻辑单元和2 8 8 k 位的r a m ，除此之外，c y c l o n e 系列的f p g a 大连理工大学硕士学位论文 还集成了许多复杂的功能。c y c l o n e 管理和专用i o 接口，这些接口用于连接业界标准 的外部存储器件。 c y c l o n e 系列器件提供低成本f p g a 解决方案，具有无与伦比的灵活性和高性能的 系统集成性，具体表现在以下几个方面： ( 1 ) 成本优化的架构：c y c l o n e 器件具有多达2 0 0 6 0 个逻辑单元，容量是以往低成本 f p g a 的四倍。 ( 2 ) 嵌入式存储器：c y c l o n e 器件中m 4 k 存储块提供2 8 8 k b i t 存储容量，能够被配置 来支持多种操作模式，包括r a m 、r o m 、f i f o 及单口和双口模式。 ( 3 ) 外部存储器接口：c y c l o n e 器件具有高级外部存储器接口，允许设计者将外部单 数据率( s d r ) s d r a m ，双数据率( d d r ) s d r a m 和d d rf c r a m 器件集成到复杂 系统设计中，而不会降低数据访问的性能。 ( 4 ) 支持l v d s ：c y c l o n e 器件具有多达1 2 9 个兼容l v d s 的通道，每个通道数据率 高达6 4 0 m b p s 。 ( 5 ) 支持单口i o ：c y c l o n e 器件支持各种单端i o 接口标准，如3 3 v 、2 5 v 、1 8 v 、 i v n l 、l v c m o s 、s s t l 和p c i 标准，满足当前系统要求。 ( 6 ) 时钟管理电路：c y c l o n e 器件具有两个可编程锁相环( p l l ) 和八个全局时钟线， 提供健全的时钟管理和频率合成功能，实现最大的系统性能。c y c l o n e 的p l l 具有多种 高级功能，如频率合成、可编程相移、可编程延迟和夕 部时钟输出。这些功能允许设计 者管理内部和外部系统时序。 ( 7 ) 接口和协议：c y c l o n e 器件支持诸如p c i 等串行、总线和网络接口，可访问外部 存储器和以以及拥有多种通信协议如以太网协议。 ( 8 ) 热插拔和上屯顺序：c y c l o n e 器件具有健全的片内热插拔和顺序上电支持，确保 上电顺序无关的正常工作。这一特性在上电前和上电期间起到了保护器件的作用并使 i o 缓冲保持三态，让c y c l o n e 器件成为多电压系统及需要高可用性和冗余性应用的理 想选择。 ( 9 ) d s p 实现：c y c l o n e 器件位在f p g a 上实现低成本数字信号处理( d s p ) 系统提 供了理想的平台。 ( 1 0 ) 串行配置器件：c y c l o n e 器件能用a l t e r a 新的串行配置器件进行配置。 ( 1 1 ) n i o si i 系列嵌入式处理器：c y c l o n e 器件的n i o si i 系列嵌入式处理器能降低成 本，增加灵活性，非常适合于替代低成本的分离微处理器。 ( 1 2 ) 支持工业及温度：部分c y c l o n e 器件提供工业级温度范围4 0 摄氏度至+ 10 0 摄 氏度的产品，支持各种工业应用。 基于u s b 2 0 和f p g a 的图像采集、存储系统研究 ( 1 3 ) 扩展温度支持：部分c y c l o n e 器件达到扩展温度范围- - 4 0 摄氏度至+ 1 2 5 摄氏 度。这些器件是需要扩展温度范围和高质量产品的i n c a b i na u t o m o t i v e 应用的理想选择。 在本系统中，系统硬件电路板需要实现以下功能： ( 1 ) 控制图像数据的采集：f p g a 将图像传感器输出的图像数据采集出来。 ( 2 ) 处理算法的实现：f p g a 对图像传感器采集到的图像数据进行预处理和可行的后 期处理 ( 3 ) 控制图像数据的储存：f p g a 将处理过的图像数据储存到f l a s h 中。 ( 4 ) 图像数据向上位机的传输：通过f p g a 将处理后的图像数据通过向u s b 接口芯 片传输，实现向上位机的图像数据的传输。 ( 5 ) f p g a 配置芯片的设计：实现f p g a 的自动上电配置。 2 1 2u s b 芯片的选择 数据采集系统的发展离不开数据传输方式的发展。外设与p c 机通信的方式很多， 如i s a 接口、p c i 接口、p s 2 接口、串行接口、并行接口等。表2 1 是u s b 和其他常用 计算机接口的比较。 表2 1 常用计算机接口的性能对比( 典型值) i l 】 t a b 2 1c o m p a r i s o no fp ci n t e r f a c e si nc o m m o nu s e ( t y p i c a lv a l u e ) 1 】 对于本课题的设计，由于图像的数据量很大，要进行图像数据的传输必须使用 4 8 0 m b p s 的高速传输才能满足要求，所以要选择能够支持高速传输的u s b 芯片。在硬 件资源上，要易于和f p g a 实现连接和控制，所以选择了带有m c u 的u s b 芯片，较大 一6 一 大连理工大学硕士学位论文 的存储器也可以方便系统的开发。本课题选择c y p r e s s 公司的e z u s bf x 2 系列芯片 c y 7 c 6 8 0 1 3 ，符合传输速度和硬件资源上的要求。 c y p r e s s 公司的e z - u s bf x 2 系列芯片产品是世界上第一款支持u s b 2 0 协议的微控 制器。它支持1 2 m b p s 的全速传输和4 8 0 m b p s 的高速传输，可使用全部的u s b 传输方 式。图2 1 为c y 7 c 6 8 0 1 3 芯片的内部结构图。 图2 1c y 7 c 6 8 0 1 3 内部结构 f 远2 1b l o c kd i a g r a mo f c y 7 c 6 8 0 1 3 c y 7 c 6 8 0 1 3 是c y p r e s s 公司推出的e z u s bf x 2 系列产品之一。c y 7 c 6 8 0 1 3 内部 集成了u s b 2 0 收发器、智能串行引擎( s ) 、增强型8 0 5 1 控制器、通用可编程接口 ( g p i f ) 、8 5 k b 的r a m 和4 k b 的f i f o 存储器，具有很高的性价比。f x 2 系列的独创 性设计最大限度的满足了u s b 2 0 的总线带宽，而它的内部使用的仍是低成本的8 0 5 1 控制器。下面对c y 7 c 6 8 0 1 3 芯片内的主要部分简单介绍【4 j 。 ( 1 ) 增强型8 0 5 1 内核，c y 7 c 6 8 0 1 3 中的增强型8 0 5 1 与标准的8 0 5 1 相比，具有更 快的速度、更强的功能，且其指令集和标准8 0 5 1 完全兼容：该内核的一个总线周期为4 个时钟周期，而标准8 0 5 1 的一个总线周期由1 2 个时钟周期组成；增强型8 0 5 1 的默认 工作频率为4 8 m h z ，需要在芯片外部接2 4 m h z 晶振，经过内部振荡电路和锁相环( p l l ) 倍频电路，产生4 8 m h z 的时钟；c y 7 c 6 8 0 1 3 内部8 5 k _ b 的r a m 可以兼做程序存储器 基于u s b 2 0 和f p g a 的图像采集、存储系统研究 和数据存储器，增强型8 0 5 1 的固件代码就存储在该区域内；固件代码可以通过u s b 总 线进行下载，也可以通过1 2 c 总线从外部e e p r o m 下载。 ( 2 ) 智能串行引擎( s m ) ，c y 7 c 6 8 0 1 3 芯片内串行接口引擎负责完成u s b 协议的 有关功能，包括数据的编解码、差错控制、位填充等。这样就将m c u ( 增强型8 0 5 1 ) 解放出来，从而简化了固件代码的开发。 ( 3 ) 通用可编程接口( g p i f ) ，在c y 7 c 6 8 0 1 3 中还有一个通用可编程接口( g p i f ) ， 它支持几乎所有通用的总线标准，可以由软件来编程输出读写控制波形。 图2 2c y 7 c 6 8 0 1 3 的数据传输模式 f i g 2 2d a t at r a n s f e rm o d eo fc y 7 c 6 8 0 1 3 “) f i f 0 芯片中有一个大小为4 k 的f i f o 存储器，u s b 接1 2 1 和外围电路直接共享这 个f i f 0 存储器。图2 2 为f i f o 的传输模式示意图。 从图中可以看出，与外围电路的数据传输可以在没有8 0 5 1 固件干涉的情况下完成， 8 0 5 1 也可以通过f i f o 或r a m 的方式访问所传输的数据。f i f o 存储器与u s b 之间的 传输是以数据包的形式实现的，而不是一次只传输1 字节，这种处理被称为“量子f i f o ”， 它较好地解决了u s b 高速模式下的带宽问题【l 】，非常适合于大容量的数据传输。如果芯 片时钟频率为4 8 m h z ，使用f i f o 存储器进行数据传输，最高速率可以达到9 6 m b y t e s 。 2 1 3 图像传感器芯片的选择 图像传感器( i m a g i n gs e n s o r ：i s ) 的功能是把光学图像信号转换为电信号，即把入 射到传感器光敏面上按空间分布的光强信息( 可见光和不可见光) ，转换为按时序串行输 出的电信号一视频信号，而视频信号能再现入射的光辐射图像。 固体图像传感器主要有三大类型，一种是电荷耦合器件( c h a r g ec o u p l e dd e v i c e ： c c d ) 、第二种是c m o s 图像传感器，又称为自扫描光电二极管列阵( s e l fs c a n n e d p h o t o d i o d ea r r a y ：s s p a ) 、第三种是电荷注入器( c h a r g e1 1 1 i e c t i o nd e v i c e ：c d ) 。目前， 前两种用得比较多。 大连理工大学硕士学位论文 c m o s 图像器根据像元的小同又分为：线列阵、面列阵以及特殊列阵等。 另外，与c c d 相比，c m o s 的体积小，耗电量小到c c d 的1 1 0 ，售价也比c c d 便宜1 3 的优点。c m o s 是标准工艺流程，可利用现有半导体设备，不需要额外投资设 备，且品质可随着半导体技术的提升而进步。同时，全球晶圆厂的c m o s 生产线较多， 以后进行批量生产时也有利于成本的降低。 c m o s 传感器的最大优势是己具有高度系统整合的条件。理论上，所有图像传感器 所需的功能，例如垂直位移、水平位移寄存器、时序控制、c d s ，a d c 等，都可放在 集成在一颗晶片上，甚至于所有的晶片包括后端晶片( b a c k e n dc h i p 、闪存( f l a s hm e m o r y ) 等也可集成到一块品片上构成片上系统。 c m o s 图像传感器一般由光敏像元阵列、行选通逻辑、列选通逻辑、定时控制电路 和片内模拟信号处理器( a s p ) 等组成。数字式c m o s 图像传感器还集成有片内的模数转 换器( a d c ) 。c m o s 图像传感器的光敏像元有无源像素结构和有源像素结构两大类。后 者主要有光敏二极管和光栅型两种。行选通逻辑和列选通逻辑可以是移位寄存器，也可 以是译码器。定时和控制电路决定信号的读出模式、设置积分时间、控制数据输出速率 等。在片模拟信号处理器完成信号积分、放大、取样和保持、相关双取样、双取样等 功能。在片模拟数字转换器是在片数字成像系统所必需的，c m o s 图像传感器可以是 整个成像阵列有一个a d c 或几个a d c ( 每种颜色一个) ，也可以是每个成像阵列各有一 个a d c 。 o v 7 6 2 0 是o m n i v i s i o n 公司推出的一款高集成度、高分辨率( 6 4 0 4 8 0 ) 、逐行 隔行扫描、彩色黑白c m o s 数字图像传感器芯片。它的数字视频口支持多种输出格式， 包括：6 0 h z 的1 6 位8 位y c r c b4 ：2 ：2 格式，z v 口输出格式、r g b 原始数据1 6 位8 位输出格式和c c 取6 0 1 c c 瓜6 5 6 格式。可以很容易地通过内置的s c c b ( s e r i a lc a m e r a c o n t r o lb u s ) 接口来控制芯片的功能。其原理框图见图2 3 。 o v 7 6 2 0 主要的性能参数有： 单片数字式彩色黑白图像传感器； 逐行扫描隔行扫描方式： 成像面积：4 8 6m i n x 3 6 4 m m ； 像素尺寸：7 6 9 r n x 7 6 岫： 基于u s b 2 0 和f p g a 的图像采集、存储系统研究 图2 3o v 7 6 2 0 原理框图 f i g 2 30 v 7 6 2 0b l o c kd i a g r a m 总有效像素单元：6 6 4 ( 水平方向) 4 9 2 ( 垂直方向) ； 缺省像素单元：6 4 0 ( 水平方向) 4 8 0 ( 垂直方向) ； 1 0 位双通道a d 转换器，8 位1 0 位数据输出； 数字视频输出格式：可选择y c r c b 的1 6 b i t 模式或8 b i t 模式 6 0 h z1 6 b i ty c r ( = b4 ：2 ：2 6 4 0 x 4 8 0 6 0 h z8 b i ty c r c b4 ：2 ：2 6 4 0 x 4 8 0 叫c i r 6 0 1 c c i r 6 5 6 标准视频格式； 支持q v g a ( 3 2 0 x 2 8 0 ) 格式； s c c b 总线接口，支持4 0 0 k b i t s 快速模式； 自动增益和自动白平衡控制； 能对亮度、对比度、饱和度、y 校正等多种功能进行调节； 大连理工大学硕士学位论文 输出帧频可编程( 范围为0 5 到3 0 帧秒) ； 4 8 脚l c c 封装。 在进行s c c b 寄存器的设置时，要注意如下问题：o v 7 6 2 0 支持单片或多片( 最多可 支持8 片) 工作，可以通过在复位时设置它的引脚c s 2 0 1 来设置每一个芯片的i d 值。 如果o v 7 6 2 0 是单片工作，那么它的d 值为4 2 h ( 写s c c b 寄存器) 和4 3 h ( 读s c c b 寄 存器) 。在进行读写s c c b 寄存器时，s c c b 线上第一个字节为0 v 7 6 2 0 的m 值。在写 周期，s c c b 总线上的第二节为用来选择片上寄存器的子地址，第三个字节是写入寄存 器的数据；在读周期，第二个字节返回的是上次访问的子地址的数据。如图2 4 为o v 7 6 2 0 工作在8 位输出格式下的时序图。 p c l k h i r e f 图2 4 位像素数据输出时序( y 格式输出) f i g 2 4p i x e ld a t a8 - b i tt i m i n g f vo u t p u t ) 其中，在p c l k 的上升沿锁存数据。图中的p c l k 为像素时钟周期，当o v 7 6 2 0 的 系统时钟为2 7 m h z 时，t c l k = 7 4 n s ；t s u 是h r e f 的建立时间，最大为1 5 n s ；t h d 为h r e f 的保持时间，最大为1 5 n s 。 2 1 4k 9 f 1 2 0 8 的结构与工作原理 k 9 f 1 2 0 8 是三星公司生产的6 4 m x 8 b i tn a n df l a s h 存储器，工作电压为2 7 3 6 v ， 内部存储结构为5 2 8 字节3 2 页x 4 0 9 6 块，可实现页的读取、写入、擦除等操作。k 9 f 1 2 0 8 由存储阵列、输入输出缓冲及锁存、命令寄存器( 保存外部设备对存储器操作的类型) 、 地址锁存与译码( 保存被访问的地址并产生相应的译码选通信号) 、控制逻辑及高电压发 生器等五部分组成，其结构如图2 5 所示。外部电路通过8 位i o 端口分时访问k 9 f 1 2 0 8 的命令寄存器、地址寄存器和数据寄存器，完成对芯片内部存储体的访问。 k 9 f 1 2 0 8 采用4 8 p i nt s o p 封装形式，但有效引脚只有1 7 个，其功能如下。 c l e ：命令允许( 锁存) ，平时为低电平。当c l e 为高电平时，在w e 的上升沿将i 0 端口上的命令信息输人并锁存到命令寄存器。 基于u s b 2 0 和f p g a 的图像采集、存储系统研究 v o c v 誊暑 图2 5 功能结构图 f i 9 2 5f u n c t i o n a lb l o c kd i a g r a m l 怒0 婚7 a l e ：地址锁存，平时为低电平。当a l e 为高电平时，在w e 的上升沿将i o 端 口上的地址信息输人并锁存到地址寄存器。 c e ：片选，低电平有效，用于器件的选择控制。当c e 变为高电平时，器件返回 到备用( 未选中) 状态注意：当器件处于写操作或擦除操作的“忙状态时，c e 的变高 将被忽略，不会返回到备用状态。 w e ：写控制，平时为高。在w e 的上升沿，将f o 端口上的命令、地址和数据信 息分别输人到相应寄存器。 r e ：读控制，平时为高，在它的下降沿t r e a 时间后，f o 端口上的榆出数据有效， 同时内部列地址自动加1 。 i o 端口：用于命令、地址和数据的输人及读操作时的数据输出。当芯片未选中时， i o 端口为高阻态。 w p ：写保护，低电平有效。当它为低电平时，内部的高电压发生器将停止工作， 实现禁止写和擦除操作。 r b ( 准备好忙) ：当前器件的工作状态，当它为低电平时，表示正在进行写、