（物理电子学专业论文）面阵ccd的图像采集与信号传输的研究.pdf

硕士论文 面阵c c d 的图像采集与信号传输的研究 摘要 基于c c d 成像芯片构建的图像采集与数据传输技术在高性能图像拼接和机器视觉 检测中均有着重要的应用价值。前者可以方便控制多个成像芯片的同步问题，从而有利 于高速运动场合的图像拼接使用。后者可以满足一些对体积、接口或传输速率有着特殊 要求的场合，如与a r m 的接口问题。本课题将基于f p g a 设计面阵c c d 的驱动电路 和图像数据的传输电路。并利用该电路获取高质量、高分辨率的图像，为后续的图像处 理作准备。 本课题选用x i l i n x 公司的f p g a 为核心控制器件，使用v h d l 硬件描述语言来完 成整个模块的驱动。先驱动c c d 正常工作，然后通过a d i 公司的模数转换芯片a d 9 8 2 4 把c c d 的模拟信号转化为数字信号，方便数据的存储和传输。为了保证一帧图像的完 整性，选用了三星公司的1 2 8 m b 的s d r a m 芯片k 4 s 2 8 1 6 3 2 k 作为存储器件，把图像 一帧一帧地连续地写入s d r a m 中，然后再一帧一帧的读出来。后端采用赛普拉斯公司 的6 8 0 1 3 a 芯片通过u s b 线将数据传输到p c 机上。6 8 0 1 3 a 芯片集成了u s b 协议，支 持u s b 2 0 协议，最高的传输速度理论上能达到4 8 0 m b s 。不仅如此，在6 8 0 1 3 a 的内部 还挂有一个8 0 5 1 单片机的核，方便固件程序的修改，实现与主控器件f p a g 的无缝连 接。 在软件调试方面，采用模块化的设计。先相应的完成c c d 的驱动，a d 9 8 2 4 的寄存 器配置，s d r a m 的读写操作，u s b 的接受与发送。然后再两个或者三个模块联合调试， 调试好了，再将所有模块联调。最终实际测试结果表明，系统工作比较稳定，能够很好 的显示图像，并可以在p c 机端控制前端c c d 的曝光时间，最短曝光时间为1 0 0 u s 左右， 达到了项目预期的目的。同时系统还具备具有很好的可扩展性，可以在此基础上继续挖 掘新的功能，比如c c d 的基准时钟可以设置的更高，那么一秒发送的图像将更多。还 有传送的图像大小是可调等等。 关键词：i l x 2 0 5 a l ，a d 9 8 2 4 ，双端1 2 1r a m ，s d r a m ，c y 7 c 6 8 0 1 3 ，v h d l a b s t r a c t 硕士论文 a b s t r a c t b a s e do nc c d i m a g i n gc h i p ，t h et e c h n o l o g yo fi m a g ea c q u i s i t i o na n dd a t at r a n s m i s s i o ni s v e r yi m p o r t a n ti nh i g h p e r f o r m a n c ei m a g es t i t c h i n ga n dm a c h i n ev i s i o ni n s p e c t i o n 1 1 1 e f o r m e rc a l le a s i l yc o n t r o lt h es y n c h r o n i z a t i o no fm u l t i p l ei m a g i n gc h i p s ，t h u sc o n t r i b u t i n gt o t h ei m a g es t i t c h i n gi nt h eh i g h - s p e e dm o v e m e n to c c a s i o n s t h el a t t e rc a nm e e tan u m b e ro f o c c a s i o n sw i t ht h es p e c i a lr e q u i r e m e n t so fs i z e ，i n t e r f a c e ，t r a n s f e rr a t e ，s u c ha sp r o b l e m so f i n t e r f a c e 、析t ht h ea r m ，n l i sp r o j e c tw i l ld e s i g nt h ec i r c u i to fa r e ac c dd r i v ea n dd a t a t r a n s f e rb a s e do nf p g ai no r d e rt oo b t a i nh i g h - q u a l i t y , h i 鲈r e s o l u t i o ni m a g e sw h i c hl a yt h e f o u n d a t i o nf o rs u b s e q u e n ti m a g ep r o c e s s i n g m t o p i c sw i l ls e l e c tf p g a 嬲t h ec o r ed e v i c e sp r o d u c e db yx i l i n x , i n e ，u s i n gt h e h a r d w a r ed e s c r i p t i o nl a n g u a g eo fv h d lt oc o m p l e t et h ed r i v e ro ft h ec c d t of a c i l i t a t ed a t a s t o r a g ea n dt r a n s m i s s i o n , a n a l o gs i g n a l ，w h i c ho u t p u tf r o mc c d ，s h o u l db ec o n v e r t e dt o d i g i t a ls i g n a la d 9 8 2 4p r o d u c e db ya d i ，i n e a n dt h e n ，d i g i t a ls i g n a lw h i c he n s u r et h e i n t e g r i t yo fa ni m a g e ，w i l lb ew r i t t e ni n t os d r a mc o n t i n u o u s l ya n dr e a do u t ，b ys a m s u n g s 12 8 m bo fs d r a mc h i p sk 4 s 2 816 3 2 k i nt h eb a c k - e n d ，u s i n gt h ec y p r e s s6 8 013 ac h i p ， d i g i t a ls i g n a lc o u l db et r a n s f e rt op ci nt h ef o r mo fu s b 6 8 0 13 ac h i pi n t e g r a t e st h eu s b p r o t o c o l ，s u p p o r t i n gu s b 2 0a n d4 8 0 m b sw h i c hc o u l dr e a c ht h eh i g h e s tt r a n s m i s s i o ns p e e d t h e o r e t i c a l l y m o r e o v e r , t h e6 8 0 13 a si sa l s oc o n t a i na8 0 51c o r ei n t e r n a l ，i no r d e rt of a c i l i t a t e t h em o d i f i c a t i o no ft h ef m n w a r ea n da c h i e v eas e a m l e s sc o n n e c t i o nw i t ht h em a s t e rd e v i c e f p i a g i ns o f t w a r ed e b u g g i n g ，w ec a nu s em o d u l a rd e s i g n f i r s t ，c o m p l e t et h ec c dd r i v e r , c o n f i g u r a t i o na d 9 8 2 4r e g i s t e r ，m a n i p u l a t i o nt h er e a da n dw r i t eo fs d r a m ，a n da c c e p ta n d s e n dd a t ab yu s b t h e n , t w oo rt h r e em o d u l e sd e b u gi nc o m b i n a t i o n a tl a s t ，a l lm o d u l e s d e b u gi nt h ef b i t h ef i n a la c t u a lt e s tr e s u l t ss h o wt h a tt h es y s t e mi sr e l a t i v e l ys t a b l e ，a n dt h e f r o n t e n dc c de x p o s u r et i m ec a l lb ec o n t r o l l e do nt h ep cs i d e ，a n dt h es h o r t e s te x p o s u r et i m e i sa b o u t10 0 u sw h i c ha c h i e v et h ei n t e n d e dp u r p o s eo ft h ep r o j e c t t h es y s t e ma l s oh a sag o o d s c a l a b i l i t ya n dt a i lc o n t i n u et ot a pt h en e wf e a t u r e so nt h i sb a s i s ，f o re x a m p l e ，i ft h ec c d r e f e r e n c ec l o c kc a l lb es e th i 曲e r , t h ei m a g ew i l lb es e n tm o r ei no n es e c o n d ，a n dt r a n s m i t t e d i m a g es i z ec a n b ea d j u s t e d k e yw o r d ：i c x 2 0 5 a l ，a d 9 8 2 4 ，d o u b l er a m , s d r a m ，c y 7 c 6 8 0 1 3 ，v h d l 硕士论文面阵c c d 的图像采集与信号传输的研究 1 绪论 1 1 研究背景与意义 目前在图像传感器当中，应用最广泛的有c c d 和c m o s 两种类型的传感器。将二 者相比，由于他们使用的是相同感光材料，因而光照后产生电荷的机理是一样的，所以 也具有相同的光谱特性。但是，他们的电荷读取过程是不同的。在同步信号和时钟信号 脉冲的共同配合下，c c d 中的电荷是以帧或行的方式转移，因此整个电荷传输系统比 较复杂：而c m o s 电路相对简单，类似d r a m 的方式读出电荷。另外，c c d 的外围 控制和处理模块较多，很难将其与c c d 共同集成到一个片上。通常可有若干芯片组合 实现。并且还需要多种电压提供给特殊的时钟信号来驱动c c d 正常工作。与c c d 相比 较，c m o s 图像传感器的集成度要远远高于c c d ，可以容易地把许多外围模块集成到 芯片内部，高度集成的c m o s 芯片仅有指甲大小。此外，c c d 一般需要多种电源供电， 所以其功耗较大。还有其系统比较复杂并且很难集成，因此体积也比较大【l 】；相反，c m o s 只需一个单电源供电，因此其功耗较小，约为c c d 的1 1 0 。 到目前为止，应用在数码相机领域的c c d 固体摄像元件的最高像素仅仅在8 0 0 万 左右，而像素最高为1 6 8 0 万的c m o s 图像传感器已经在开发t 2 1 。总体来说，c c d 的 性能还是优于c m o s 图像传感器。( 1 ) c m o s 本身的结构决定了其感光面积要远小于 其本身的探测元面积，因此对相同像素面积的c m o s 和c c d 传感器，c c d 的灵敏度要 高于c m o s 传感器 3 1 。( 2 ) c c d 采用势阱来存储电荷，而c m o s 传感器仅靠感光二极 管存储信号，因此其c c d 的动态范围和探测弱光的能力要高于c m o s 传感器。( 3 ) 在 c m o s 传感器中每个感光二极管的输出一般要搭配一个放大器，在整个阵列中每个放大 器的性能一致性很难保证。而c c d 只有一个放大器放在芯片输出端，因此c m o s 传感 器的图像均匀性要差，大大地影响图像的品质【4 l 。 根据目前科研任务的需要，在详细分析和比较了几款c c d 和c m o s 摄像芯片性能 的基础上，我们选定s o n y1 2 寸i l x 2 0 5 a l 黑白c c d ，研制其数据采集与传输系统。 具体目标要求如下：( 1 ) 整个系统通过p c 机可以进行摄像分辨率、曝光时间的设定； ( 2 ) 系统具有一定的采集数据实时存储能力，根据需要可以进行采集帧数的设定。( 3 ) 采集的图像数据可以快速传输到p c 机完成各种后续任务处理【5 】。 在目标明确的情形下，我们进行了调研处理，发现满足目前任务使用要求的摄像系 统也可以直接购置，但基于以下几个方面的考虑，最终仍决定自行研制：( 1 ) 体积因素。 自行设计研制的摄像采集系统，摄像前端和驱动采集可以分离，满足特殊场合的安装要 求；( 2 ) 核心技术因素。摄像芯片的驱动与数据采集技术是摄像系统的核心技术之一， 作为该专业的研究人员，有必要掌握之；( 3 ) 相关研究因素。自行研制的摄像系统，在 l l 绪论 硕士论文 采集系统中可以加入特定算法，直接进行视频图像处理研究，在板级就可完成特定的视 频处理任务。 1 2 研究现状 精确的c c d 驱动时序是确保c c d 正常工作的必要条件，它实质上是一组周期性的、 关系比较复杂的、具有特定电压电平的时序脉冲信号。如何设计和实现可靠的c c d 驱 动时序电路是本文的关键内容之一【6 】。总结各种c c d 的时序驱动方法，主要可分为四 种：( 1 ) 直接数字电路驱动法。该方法采用分立数字逻辑电路组成，电路体积较大，目 前很少使用；( 2 ) e p r o m 驱动法。该方法将时序信号预先编程存储在e p r o m 中，计 数电路产生e p r o m 地址，从而e p r o m 输出预先设定的时序，该方法不适合大面阵 c c d ；( 3 ) 可编程逻辑器件驱动法。该方法是目前比较常用的方法，采用f p g a 或c p l d 产生所需的时序逻辑，具有在线编程和便于修改的特点。( 4 ) 专用i c 驱动法1 7 j 。很多面 阵c c d 具有配套的专用时序脉冲电路驱动芯片，采用这些芯片进行设计，电路简单、 调试方便、可靠性高和功耗低等特点，但与后续采集电路的配合灵活性不够。 目前大部分c c d 驱动方案采用第三种方法实现，也有采用第四种方法实现。考虑 到我们系统中有数据采集与传输的要求，我们选用第三种基于f p g a 实现的驱动的方 法，实际是以f p g a 为核心，产生所有驱动、数据采集、数据传输所需的所有控制信号。 摄像机与计算机的接口主要有c a m e r al i n k 、i e e e13 9 4 、u s b 和g i g a b i te t h e m e t 干兆网四种方法。 c a m e r al i n k 是采用低压差分信号技术l v d s 进行数字视频传输的一种通用视频接 口标准，由驱动器和接收器对组成嗍。驱动器是数据发送端的一个芯片，可发送2 8 个单 向的数据信号和一个单向的时钟信号，将数据按7 ：1 串行输出，即2 8 个数据信号用4 对信号线按l v d s 传输，时钟信号通过第5 对信号线传输。接收器将接收到的4 组信号 数据和时钟信号还原成2 8 个数据信号。c a m e r al i n k 数据传输速率至少可达2 5 5 m b s ， 通过配置可达6 8 0 m b s 。 i e e e1 3 9 4 是高速串行总线标准，包括两对传输信号的双绞线、一对电源线。它定 义了多种视频传输格式，包括分辨率、帧率和传输的像素格式，还规定了标准的方法来 进行摄像机控制的设置，如曝光时间、光圈、增益，外触发等。i e e e1 3 9 4 定义了异步 传输和等时传输两种数据传输模式，前者主要用于控制信号，后者用于数字视频信号的 传输【9 】。对一个6 4 0 4 8 0 的图像，可支持最高帧频1 0 6 帧s 。 u s b 是一个通用串行总线，最新版本u s b 2 0 支持的传输速率可达4 8 0 m b s t l 0 j 。由 于每个计算机本身就包含u s b 接口，因此在数字视频传输中有很大的应用面。u s b 是 轮询总线，每一个设备接到总线上时，就会从主控制器申请一定的带宽，主控制器周期 性查询所有设备【1 1 j 。 2 硕士论文 面阵c c d 的图像采集与信号传输的研究 千兆网，顾名思义，就是速率达到1 g b s 的以太网【1 2 1 。利用它，同样可用快速的将 数字视频信号传输到计算机上。它是目前广泛应用的数字视频的标准接口之一。g i g e v i s i o n 定义了称作g v c p ( g i g ev i s i o n 控制协议) 的应用层协议来控制摄像机。g i g e v i s i o n 标准定义的摄像机最多可用有4 个网络接口，这样在一定的条件下数据速率可以 相应的增加4 倍。 我们最终选择采用u s b 进行视频数据的传输是基于以下几个原因：( 1 ) 我们对u s b 的使用已有一定的技术基础；( 2 ) 时间不允许花太多的精力在g i g e t h e m e t 千兆网的资 料消化上；( 3 ) u s b 的传输速率满足我们实际使用的要求。 1 3 论文主要工作和内容安排 本论文的主要研究内容是s o n yi 2 寸i l x 2 0 5 a l 黑白c c d 驱动时序和驱动电路、 视频数据采集与存储和基于u s b 的数据传输设计。具体内容包括以下几个方面： 1 、驱动时序和驱动电路设计。 选用x i l i n x 公司的f p g a 为控制核心器件，使用v h d l 硬件描述语言，来完成前 端的c c d 的时序驱动和数据的传输。 2 、数据采集、存储与传输设计。 使用a d i 公司的模数转换芯片a d 9 8 2 4 把c c d 的模拟信号转化为数字信号，方便 数据的存储和传送。为了保证一帧图像的完整性，选用了三星公司的1 2 8 m b 的s d 洲 芯片k 4 s 2 8 1 6 3 2 k 作为存储器件，图像一帧一帧地连续地写入s d r a m 中，然后再一帧 一帧的读出来。后端采用赛普拉斯公司的6 8 0 1 3 a 芯片以u s b 的形式完成数据到p c 机 的高速传送。6 8 0 1 3 a 芯片集成了u s b 协议，支持u s b 2 0 ，最高的传输速度理论上能 达到4 8 0 m b s 。不仅如此，在6 8 0 1 3 a 的内部还挂有一个8 0 5 1 单片机的核，方便固件程 序的修改，实现与主控器件f p a g 的无缝连接。 3 、系统软件设计和调试。 在软件调试上，采用模块化的设计，先相应的调好c c d 的驱动，a d 9 8 2 4 的寄存器 配置，s d r a m 的读写操控，u s b 的接受与发送。然后两个或者三个模块组合调试，调 试好了，再所有模块联调。最终实际测试结果表明，系统工作比较稳定，可以在p c 机 端控制前端c c d 的曝光时间，最短曝光时间为1 0 0 u s 左右，达到了项目预期的目的。 同时系统还具备具有很好的可扩展性，可以在此基础上继续挖掘新的功能，比如c c d 的基准时钟可以设置的更高，那么一秒发送的图像将更多。还有传送的图像大小是可调 等等。 论文整个结构和内容安排如下： 第一章绪论介绍本课题的研究背景和意义，阐述了本课题的研究目标和选定技术方 案所考虑的因素。 3 l 绪论 硕士论文 第二章面阵c c d 驱动与数据传输系统的硬件设计。 第三章f p g a 的逻辑设计，详细介绍了系统中与f p g a 相关联的四个部分的v h d l 逻辑设计和功能实现，给出了部分代码和调试波形。 第四章应用程序的设计，介绍如何接收从6 8 0 1 3 芯片发来的数据，以及如何在p c b 机上显示图像。 最后对论文工作进行了总结，指出了设计中的不足之处和改进措施。 4 硕士论文面阵c c d 的图像采集与信号传输的研究 2 面阵c c d 驱动与数据传输系统的硬件设计 由第一章的相关介绍可知，整个系统以f p g a 为核心构建，f p g a 完成c c d 工作时 序的产生、c c d 视频信号采集、s d r a m 控制数据存储与读出、u s b 的驱动等等。本 章将对硬件电路的各个模块进行阐述。 2 1 面阵c c d 驱动及信号传输电路系统方案 整个面阵c c d 驱动、信号采集与数据传输系统的总体框图如图2 1 所示，整个电路 系统包括c c d 芯片电平转换电路、a d 转换电路、f p g a 、s d r a m 、u s b 接口电路、 电源电路和时钟电路。 图2 1 系统总体框图 整个系统的信号流程为：f p a g 产生1 0 路的时序信号，驱动前端c c d 工作。c c d 正常工作后，产生模拟视频信号，经过a d 转换后，变成数字信号。然后把数字信号送 入f p g a ，再由f p g a 完成数据的搬移，把数据调入到缓存s d r a m 中，s d r a m 的作 用是保证一帧图像的完整性。在s d r a m 中缓存三帧图像，然后采用乒乓操作，把数据 送给u s b 发送芯片。再由u s b 发送芯片将数据传输到p c 机上，在p c 机上显示图像。 2 2i c x 2 0 5 a l 图像传感器的功能与电路实现 i c x 2 0 5 a l 是日本s o n y 公司生产的一款黑白的面阵c c d ，有效像素是1 3 9 2 x 1 0 4 0 。 全像素逐行扫描输出时可达7 5 帧s ，低分辨率输出时可达3 0 帧s 。具有可调的电子快 门，最短曝光时间可达1 0 0 u s 左右。整个内部结构和引脚说明分别如图2 2 和图2 3 所 示1 1 ”。 5 3 面阵c c d 图像采集与信号传输电路系统的软件设计硕士论文 妻 是2暑望竺爹霎霎爹 莹 是 量 竺 善 竺 罗 量 量兰 图2 2i c x 2 0 5 a l 芯片内部结构示意图 p i n n o s y m b o ld e s c r i p t i o n p i n n o s y m b o lo e s c n p t i o r i v 铆 v e r t i c a lr e g i s t e rt r a n s f e rc l o c k1 v d d s u p p qv o l t a g e 2呦 v e d d c a lr e g i s t e rt r a n s f e rc l o c k1 2g l q dg n d 3v 赴基v e r t i c a lr e g i s t e rt r a n s f e rc l o c k1 3惦u bs u b s t r a t ec l o c k 4v 如v e r u c a lr e g i s t e rt r a n s f e rc l o c k1 4n c 5n c1 5c s u 8s u b s t r a t eb i a s * l 6 n c 1 6 n c 7g n dg n d1 7v lp r o t e c 蕾v et r a n s i s 自0 l b i a s 8m c1 8嘏gr e s e tg a t ec l o c k 9g n dg n d1 9 h q l h o r i z o n t a lr e g i s t e rt r a n s f e rc l o c k 1 0v o r r s 嘧n a lo u t p u t 2 0 h 钯h o r i z o n t a lr e g i s t e rt r a n s f e rc l o c k 图2 3i c x 2 0 5 a l 的引脚功能 c c d 的驱动时序是以水平驱动频率为基准的，其值大小为是1 4 3 1 8 m 。场同步信号 v d 和行同步信号h d 是为了方便同步其他信号而引入的控制信号，分别标志着一帧图 像的输出开始和一行图像的输出开始。 c c d 的工作周期包括两部分：启动周期和转移周期。在启动周期中，首先在v o l 、 v 毗a 、b 和v 们的作用下，完成将1 0 5 0 个感光阵列所对应的垂直移位寄存器中的残 留电荷转移掉。接着v m 2 a 、b 形成长度为5 0 个时钟周期的脉冲，将c c d 表面感光 阵列的电荷转移到垂直移位寄存器中。注意，v ) c 囊冀7 v c c o 丽v c c q 口w 琶) 晰秘 v c c o i 眶v c c q 喇器稳 兰 d q 艇 ：兰l d o l _ hv s s o v s s o 器耋嚣器赘。d 弘一一h k o ， 翼 n d 、b s o n o 弘v s s o v s s m ，笏一住盏 n cv s s cv s s 图2 1 4s d r a m 电路原理图 硕士论文 面阵c c d 的图像采集与信号传输的研究 2 6u s b 电路实现 u s b ( u n i v e r s a ls e r i a lb u s ，通用串行总线) 是用于计算机领域的一种通信接口技术，最 早是由c o m p a q ，i n t e l 等多家公司共同提出的。由于其方便灵活，即插即用以及高速等 优点，所以本课题采用了u s b 接口与计算机互连，来将完成c c d 的数字信号传输到计 算机上，以便进一步的处理【2 3 】。u s b 本身的协议比较复杂，一般有两种办法来实现： 一是在f p g a 内部编写u s b 的协议，完成数据的收发；二是采用已经集成了u s b 协议 的现成芯片。第一种办法，难度比较大，开发周期比较长。第二种办法相对比较容易， 一般只需在现成的框架下进行修改，即可完成u s b 的通行，所以开发周期比较短。本 文采用的是第二种办法。 u s b 接口芯片有很多，一般可以分为两大类，一种是将m c u 和u s b 通信协议集成 到芯片的内部。例如，赛普拉斯半导体公司的e z u s b ，f x 2 l p