数字图像叠加技术研究

1、I摘摘 要要随着半导体技术的飞速发展，具有图像功能的嵌入式应用愈来愈多。从数码相机、可视电话、多功能移动电话等消费产品到门禁、数字视频监视等工业控制及安防产品，图像采集和处理已成为重要的组成部分之一。本文所描述的数字图像中叠加十字叉丝技术，是用于采集后的图像目标位置的标定，运用了数字图像叠加技术标定图片中目标的位置，并在该位置标画出十字叉丝。随着超大规模数字集成电路的飞速发展，采用复杂可编程逻辑器件(CPLD)来进行电路设计，由于该器件主要通过软件来实现其功能，因此设计过程将更加灵活快捷。CPLD 因为具备了功耗低、体积小、集成度高、速度快及可重复编程和擦写等优点，所以基于 CPLD 的图像叠

2、加研究有非常重要的现实意义和实际价值。论文最后给出了图像目标位置叠加的试验结果。关键词：叠加关键词：叠加 可编程逻辑器件可编程逻辑器件 图像传感器图像传感器 AbstractWith the rapid development of semiconductor technology, with the image features more and more embedded applications. From digital cameras, video telephony, multi-function mobile phones and other consumer products

3、to access, digital video surveillance and other security and industrial control products, image acquisition and processing has become an important component of that. This paper describes the digital image in the stack Cross Fork wire technology, is used to collect the images of the calibration targe

4、t location, using a digital image overlay target in the picture calibration technology to locate and position in the standard cross painted silk fork .With the ultra-large-scale rapid development of digital integrated circuits, use of complex programmable logic devices (CPLD) for circuit design, as

5、the device through software to achieve its features, so the design process will be more flexible faster. CPLD because with the low power consumption, small size, high integration, high speed and re-programming and erase the advantages, based on the CPLDs image is superimposed on a very important pra

6、ctical significance and practical value. Finally, the paper image of the target location stack test results and its simple analysis.Key word: Superimposition Complex pogrammable logic device Image sensorII目目 录录摘 要.IABSTRACT.I目 录.II第一章 绪 论.- 1 -1.1 引言.- 1 -1.2 图像叠加技术研究的意义 .- 1 -1.3 叠加技术研究的背景 .- 1 -1.

7、4 基于 CPLD 的数字图像叠加十字线研究的主要内容 .- 2 -第二章 CMOS 图像传感器原理 .- 3 -2.1 CMOS 图像传感器像元结构的种类 .- 3 -2.2 CMOS 图像传感器 OV7620.- 4 -2.3 可编程逻辑器件.- 7 -2.3.1 固定逻辑与可编程逻辑 .- 7 -2.3.2 PLD 的发展.- 7 -第三章 图像叠加电路硬件组成.- 10 -3.1 硬件系统设计 .- 10 -3.2 EPM7128 芯片 .- 10 -3.3 AVR 单片机 AT90S8515.- 11 -3.4 USB 接口器件 PDIUSBD12.- 13 -3.5 静态存储器 H

8、M628512 .- 13 -第四章 图像叠加软件原理分析.- 15 -4.1 OV7620 的参数 .- 15 -4.2 设计方案及实验结果.- 16 -第五章 硬件电路设计及测试结果.- 20 -5.1 硬件电路设计.- 20 -5.2 测试结果.- 21 -结 论.- 24 -参考文献.- 25 -III致 谢.- 26 -附 录.- 27 - 1 -第一章第一章 绪绪 论论1.1 引言引言叠加技术是图像处理技术中的一个重要部分，在生产应用中发挥着重要的作用。目前生产生活中应用最广泛的是字符叠加技术。就是在图像上叠加字符图形，及时给出和增加了原画面无法表达或明确表达的信息，使画面图文并茂

9、、实用醒目。比如，在视频监控系统中，监控设备不仅能实时的显示监控场景的状况，还能实时叠加检测到数据，有的还需要附加动、静态图像说明，都属于图像叠加的范畴。在叠加领域中，目标锁定与跟踪也是一个重要应用方面。比如，在火控系统中，检测追踪目标并在图像上显示出目标的各项参数，提示操作员做相应的反映，这是非常重要的技术应用；同时，图像叠加在电视跟踪、雷达跟踪、红外跟踪等各种跟踪过程中也有非常重要的应用。随着大规模集成电路技术和工业化计算机应用技术的发展，图像叠加已经广泛应用于高速公路、公共场所、智能楼宇等民用设施中。1.2 图像叠加技术研究的意义图像叠加技术研究的意义随着监控一类系统的广泛应用，传统的叠

10、加设计，存在集成度低，灵活性差（不利于调试和修改设计） ，不适合设计高速叠加等缺点，所以基于模拟信号的叠加技术已经不再适应图像叠加的发展要求。基于数字信号的叠加技术应运而生。本设计采用大规模可编程逻辑阵列来实现控制，电路可靠，器件延时时间短，大大减小了电路板的体积，降低了电路功耗，增加了可靠性，大幅提高小系统的数据处理能力和运算能力，为后续系统的工作提供有力支持。论文中涉及到的关于这款芯片的使用方法，CMOS 图像传感器的时序设计流程以及硬件电路设计方法对今后的设计工作有一定的借鉴意义。1.3 叠加技术研究的背景叠加技术研究的背景 叠加技术经历了三个不同的发展阶段。第一阶段是“图解现实控制”即

11、 GDC 阶段。它是利用中小规模数字集成电路来实现各部分所要求的严格的时序关系，并将形成的字符信号与视频信号在预定的时间关系上混合并显示在屏幕上。在这种方式中。字符的产生有两种方法：专用字符发生器：它是一种专用的 ROM，常用的有- 2 -MK36000、MCM6670P、MN1217 等。他们将字符或数字以点阵的方式存入存储器中，外加恰当地址后便能输出相应的数据信号。该方式一旦选定了某种器件，所显示的字符也就确定了，缺乏灵活性，且不能显示图形，通常称此为“文本方式” 。“图形方式”：在这种方式中，是用 EPROM 来存储字符或图形的点阵数据其点阵形式由设计者自己决定，具有更大的灵活性。第二阶

12、段是用 CRT 控制器这类专用集成电路的阶段。常用的有M6237、MC6845 等，它将“图解显示控制方式”中的中小规模集成器件构成的电路集成化。字符（或图形）等以点阵方式存储在外围的 ROM 或 RAM 中。它使电路大为简化，而且使用较为方便。第三阶段是垫片“屏幕现实”器件阶段：因为在与电视有关的产品上，并不需要显示很多的字符或图形，因此将以上 CRT 控制器中的外部存储器与其集成在一起而形成所谓单片屏幕现实器件。1.4 基于基于 CPLD 的数字图像叠加十字线研究的主要内容的数字图像叠加十字线研究的主要内容本文主要研究了基于 CPLD 的数字图像叠加技术方面的问题，基于对可编程逻辑器件 C

13、PLD 芯片和相关软件的学习，实现用 CPLD 控制在数字图像中目标位置叠加十字线。文中利用 CPLD 设计了一个十字线叠加的位置计数器，计数器包括对行方向位置的计数和对场方向位置的计数。行方向计数器根据目标的 Y 坐标，对采样脉冲计数，决定是十字线中心的纵坐标位置。像素方向计数器根据目标的 X 坐标，对像素时钟计数，决定十字线中心的横坐标位置。- 3 -第二章第二章 CMOS 图像传感器原理图像传感器原理2.1 CMOS 图像传感器像元结构的种类图像传感器像元结构的种类 已设计出的 CMOS 图像传感器像元结构有光电二极管型无源像素（MOS-PPS）结构、光电二极管型有源像素（PD-CMOS

14、-APS）结构和光栅型有源像素（PG-CMOS-APS）结构等三种类型。 1. MOS-PPS 的像素结构 光电二极管型 CMOS 无源像素传感器（CMOS-PPS）的结构自从 1967 年Weckler 首次提出以来，实质上一直没有变化。它由一个反向偏置的光电二极管和一个开关管构成。当开关管开启，光电二极管与垂直的列线连通。位于列线末端的电荷积分放大器读出电路保持列线电压为一常数，并减少 KTC 噪声。光电二极管受光照将光子变成电子，通过行选择开关将电荷读到列输出线上。当光电二极管存贮的信号电荷被读出时，其电压被复位到列线电压水平。与此同时，与光信号成正比的电荷由电荷积分放大器转换为电荷输出

15、。光电二极管型 CMOS-PPS 的像素时钟结构见图 2.1。 2. CMOS-APS 的像素结构 几乎在 CMOS 无源像素传感器（CMOS-PPS）像素结构发明的同时，人们就很快认识到在像元内引入缓冲器或放大器可以改善像元的性能。光敏二极管型有源 CMOS 图像传感器通过复位开关和行选择开关将放大的光电产生的电荷读到感光阵列外部的信号放大电路。每个像元内部都包含一个有源单元，既包含有一个或多个晶体管组成的放大电路，在像元内部先进行电荷放大，再被读出到外部放大电路。在像元内部对电荷信号进行放大，并且可以像 DRAM 那样被单独选址和读出。光电二极管型 CMOS-APS 的像素结构图见图 2.

16、2。光电二极管列输出线行选择开关图 2.1 光电二极管型 CMOS-PPS 的像素结构图 - 4 -CMOS 图像传感器具有的一个很大的优点是它只要求一个单电压来驱动整个装置。不过设计者仍应谨慎地布置电路板以驱动芯片。根据一般的实际要求，数字电压和模拟电压之间应尽可能地分离开以防止有害的串扰。因此良好的电路板设计、接地和屏蔽就显得非常重要。尽管这种图像传感器是一个 CMOS 装置并具有标准的输入/输出（I/O）电压，但它实际的输入信号相当小，而且对噪声也很敏感。到目前为止，已设计出高集成单芯片 CMOS 图像传感器。设计者力图使有关图像的应用更容易实现。许多功能包括自动增益控制（AGC） 、自

17、动曝光控制（AEC） 、伽玛校正、背景补偿和自动黑电平校正。所有的彩色矩阵处理功能都被集成在芯片上。CMOS 图像传感器允许片上的寄存器功能可以通过I2C 总线编程来实现参数设定功能，有很宽的动态范围，抗浮散且几乎没有拖影。 2.2 CMOS 图像传感器图像传感器 OV7620OV7620 是 OMNIVISION 公司生产的高度集成的 1/3 英寸单芯片 CMOS 图像传感器。它是基于线线传输的场积分读出系统和以像素同步读出为原理的电子快门。此设备合并了一个帧频高达每秒 30 帧的 640 480 分辨率的图像阵列，一个模拟信号处理器，双向 10 位 A/D 转换器，模拟视频开关、数字编译器

18、和视频口、I2C 总线及其寄存器，数字控制电路。OMINVISION 公司所有的传感器产品均利用先进的算法去除 FPN（固定图形噪声） ，消除拖尾效应，彻底的减小光晕。通过串行 I2C 总线控制包括曝光，增益，白平衡，色彩饱和度，色调控制，开窗口等功能。此器件可通过编程选择输出 16 位图像数据还是 8 位图像数据。数字相机绝大多数的信号处理是在模拟处理模块中实现的，它可以实现颜色分离、矩阵转换、AGC、系数矫正、色彩矫正、色彩平衡、黑电平校准、复位键光敏二极管DD行选择开关列输出线图 2.2 光敏二极管型 CMOS-APS 的像素结构图- 5 -平滑、光圈矫正、照度和色度图像的控制、抗混淆滤

19、波。模拟视频信号是根据下式定义的：Y0.59G+0.31R+0.11B；其中 R、G、B 是每个像素中的相应的颜色成分UR-Y VB-Y另一种输出数据模式是 YCrCb，它的公式如下： Y0.59G+0.31R+0.11BCr=0.713（R-Y）Cb=0.564（B-Y)YCrCb/RGB 原始数据信号送入两个 10 位 A/D 转换器，一个转换器供Y、R、G 通道使用，另一个供 CrCb 和 BG 通道共用。A/D 转换数据线安装在数字编码器内部，数据视频口具有 16 位或 8 位数据开关。OV7620 为黑白图像传感器。在黑白工作模式下，UV 端口被置于三态，所有的数据均从 Y 端口输出

20、。OV7620 支持编程交换 Y/UV 或 RGB 输出字节的重要性。Y7Y0 默认的顺序是：Y7 是最重要的，Y0 是最不重要的。交换后，Y7 就是最不重要的，Y0 是最重要的，其余位按对应位置交换。OV7620 提供标准的视频时钟信号如：VSYNC、HREF、PCLK、FODD、CHSYNC。前三种信号对电路的设计起重要的作用。 （如图 2.3 所示） 。PCLK HREF PIXEL DATA a水平时序图 VSYNCHREF b垂直时序图- 6 - 图 2.3 OV7620 的水平及垂直时序中的行场同步信号 VSYNC：垂直同步脉冲，即帧（场）同步时钟。它的一个上升沿来临时，HREF

21、有效。当下一个上升沿来临时，标志着一整帧图像结束。HREF：水平有效数据窗口。亦称行同步，标志水平方向的有效数据。即当HREF 为高时，PCLK 有效。当 HREF 为低时，PCLK 无效。PCLK：像素时钟信号。用于锁存有效数据，数据上升沿锁存。场（帧）同步信号表明新一帧图像数据输出的开始，行同步信号则保证在其有效时输出的是指定窗口内的像素图像数据，每个像素时钟周期内输出一个像素的图像数据。在默认状态下，CMOS 图像传感器在像素时钟的下降沿更新输出图像数据（8 位灰度图像） ，并在上升沿稳定下来。CMOS 图像传感器 OV7620 产生的时序图如图 2.4 和图 2.5：图 2.4 相机的

22、行同步 HREF(CH1)和像素时钟 PCLK(CH2)在图 2.4 中，CH1 为行同步 HREF 波形图，CH2 为像素时钟 PCLK 波形图，通过对 OV7620 的学习，可以得知在每一个行同步信号有效时间内有 640 个像素时钟信号。- 7 -图 2.5 相机的帧同步 VSYNC(CH1)和行同步 HREF(CH2)时钟 在图 2.5 中，CH1 为帧同步 VSYNC 波形图，CH2 为行同步 HREF 波形图，通过对 OV7620 的了解，在两个场同步信号之间有 480 个行同步信号，这种数据对应关系对以后基于可编程逻辑器件叠加十字线起着重要的作用。2.3 可编程逻辑器件可编程逻辑器

23、件在数字电子系统领域，存在三种基本的器件类型：存储器、微处理器和逻辑器件。存储器用来存储随机信息，如数据表或数据库的内容。微处理器执行软件指令来完成范围广泛的任务，如运行文字处理程序或视频游戏。逻辑器件提供特定的功能，包括器件与器件间的接口、数据通信、信号处理、数据显示、定时和控制操作、以及系统运行所需要的所有其它功能。2.3.1 固定逻辑与可编程逻辑固定逻辑与可编程逻辑逻辑器件可分为两大类:固定逻辑器件和可编程逻辑器件。一如其名，固定逻辑器件中的电路是永久性的，它们完成一种或一组功能，一旦制造完成，就无法改变。另一方面，可编程逻辑器件（PLD）是能够为客户提供范围广泛的多种逻辑容量、特性、速

24、度和电压参数的标准成品部件，而且此类器件可在任何时间改变，从而完成许多种不同的功能。 对于固定逻辑器件，根据器件复杂性不同，从设计原型到最终生产所需要的时间可从数月至一年多不等。而且，如果器件工作不合适，或者如果应用要求发生了变化，那么就必须开发全新的设计。设计和验证固定逻辑的前期工作需要大量的非重发性设计成本（NRE）。NRE 代表在固定逻辑器件最终从芯片制造厂制造出来以前客户需要投入的所有成本包括工程资源、昂贵的软件设计工具、用来制造芯片不同金属层的昂贵光刻掩膜组以及初始原型器件的生产成本。这些 NRE 成本可能从数十万美元至数百万美元。 对于可编程逻辑器件，设计人员可利用价格低廉的软件工

25、具快速开发、仿真和测试其设计。然后，可快速将设计编程到器件中，并立即在实际运行的电路中对设计进行测试。原型中使用的 PLD 器件与正式生产最终设备（如网络路由器、DSL 调制解调器、DVD 播放器、或汽车导航系统）时所使用的 PLD 完全相同。这样就没有了 NRE 成本，最终的设计也比采用定制固定逻辑器件时完成得更快。采用 PLD 的另一个关键优点是在设计阶段中客户可根据需要修改电路，直到对设计工作感到满意为止。这是因为 PLD 基于可重写的存储器技术，要改变- 8 -设计，只需要简单地对器件进行重新编程。一旦设计完成，客户可立即投入生产，只需要利用最终软件设计文件简单地编程所需要数量的 PL

26、D 就可以了。2.3.2 PLD 的发展的发展20 世纪 80 年代迅速发展起来的可编程逻辑器件（PLD），是可由用户编程、配置的逻辑器件。PLD 适宜于小批量生产的系统，或在系统开发研制过程中采用。因此在计算机硬件、自动化控制、智能仪表、数字电路系统等领域中得到了广泛应用。它的应用和发展不仅简化了电路设计，降低了成本，提高了系统的可靠性和保密性，而且给数字设计方法带来了重大变化。现在的 PLD 产品比较起来无论是集成度还是灵活性都很高。随着双极性TTL 工艺向 CMOS 技术的转移，PLD 器件在 80 年代得以迅猛发展，至今已经历了大致四个阶段：第一阶段包括可编程只读存储器 PROM 和可

27、编程逻辑阵列 PLA 器件。第二阶段开发了可编程阵列逻辑 PAL 器件。第三阶段出现了 CMOS 电路可擦型器件，先后研制成功紫外线可擦和电可擦的可重复编程器件，其主要代表为通用阵列逻辑器件 GAL。第四阶段出现完全不同于 PROM 和 PAL 结构的 PLD 器件。例如逻辑单元阵列LCA、宏单元可编程逻辑器件 MPLD 以及现场可编程门阵列 FPGA 和在系统可编程ISP 逻辑器件等。早期的可编程逻辑器件只有可编程只读存贮器(PROM)、紫外线可擦除只读存贮器(EPROM)和电可擦除只读存贮器(EEPROM)三种。由于结构的限制，它们只能完成简单的数字逻辑功能。其后，出现了一类结构上稍复杂的

28、可编程芯片，即可编程逻辑器件(PLD)，它能够完成各种数字逻辑功能。典型的 PLD 由一个“与”门和一个“或”门阵列组成，而任意一个组合逻辑都可以用“与一或”表达式来描述，所以，PLD能以乘积和的形式完成大量的组合逻辑功能。这一阶段的产品主要有 PAL(可编程阵列逻辑)和 GAL(通用阵列逻辑)。PAL由一个可编程的“与”平面和一个固定的“或”平面构成，或门的输出可以通过触发器有选择地被置为寄存状态。PAL 器件是现场可编程的，它的实现工艺有反熔丝技术、EPROM 技术和 EEPROM 技术。还有一类结构更为灵活的逻辑器件是可编程逻辑阵列(PLA)，它也由一个“与”平面和一个“或”平面构成，但

29、是这两个平面的连接关系是可编程的。PLA 器件既有现场可编程的，也有掩膜可编程的。在 PAL 的基础上，又发展了一种通用阵列逻辑 GAL(Generic Array Logic)，如 GAL16V8，GAL22V10 等。它采用了 EEPROM 工艺，实现了电可擦除、电可改写，其输出结构是可编程的逻辑宏单元，因而它的设计具有很强的灵活- 9 -性，至今仍有许多人使用。这些早期的 PLD 器件的一个共同特点是可以实现速度特性较好的逻辑功能，但其过于简单的结构也使它们只能实现规模较小的电路。 为了弥补这一缺陷，20 世纪 80 年代中期，Altera 和 Xilinx 分别推出了类似于 PAL 结

30、构的扩展型 CPLD(Complex Programmable Logic Device)和与标准门阵列类似的 FPGA(Field Programmable Gate Array)，它们都具有体系结构和逻辑单元灵活、集成度高以及适用范围宽等特点。这两种器件兼容了 PLD 和通用门阵列的优点，可实现较大规模的电路，编程也很灵活。与门阵列等其它ASIC(Application Specific IC)相比，它们又具有设计开发周期短、设计制造成本低、开发工具先进、标准产品无需测试、质量稳定以及可实时在线检验等优点，因此被广泛应用于产品的原型设计和产品生产(一般在 10,000 件以下)之中。几乎所

31、有应用门阵列、PLD 和中小规模通用数字集成电路的场合均可应用FPGA 和 CPLD 器件。- 10 -第三章第三章 图像叠加电路硬件组成图像叠加电路硬件组成本系统主要应用到单片机 CPLD 逻辑控制器件 EMP7128，静态存储器HM658512，单片机 AT90S8515，USB 接口芯片 PDIUSBD12 等，由这些器件组成的硬件电路实现对数字图像的十字线叠加。3.1 硬件系统设计硬件系统设计下面将具体对各部分器件结构及其原理进行简单的介绍，系统框图如图 3.1所示：图 3.1 硬件系统框图 在图 3.1 这个系统图中，可以在上位机上输入叠加十字线的位置数据。这时上位机通过 USB 接

32、口把命令发给单片机，单片机再控制可编程逻辑器件CPLD 开始叠加；同时经上位机通过 USB 接口把一幅图像的灰度值数据存储在静态存储器 HM658512 中，当单片机收到上位机发出命令时，控制可编程逻辑器件 CPLD，开始在图像中对应位置叠加十字线，同时读取静态存储器里的图像灰度值，并由数据输出口输出。3.2 EPM7128 芯片芯片CPLD 是一种整合性较高的逻辑元件。由于具有高整合性的特点，故其有性能提升，可靠度增加，PCB 面积减少及成本下降等优点。CPLD 元件，基本上是由许多个逻辑方块（Logic Blocks）所组合而成的。而各个逻辑方块均相似于一个简单的 PLD 元件（如 22V

33、10）。逻辑方块间的相互关系则由可编程的连线架构，将整个逻辑电路合成。 USB 接口器件PDIUSBD12CPLD 逻辑控制EMP7128上位机单片机AT90S8515静态存储HM628512图像传感器OV7620- 11 - Altera 公司作为全球最大的可编程逻辑器件供应商之一，可提供MAX7000S(E)、MAX7000A(AE)、MAX7000B、FLEX6000A、FLEX10KA、FLEX 10KE 等系列产品。这些产品可用于组合逻辑、时序、算法、双端口 RAM、FIFO 的设计。在加 ALTERA 公司的 MAX+PLUS II 10.2 开发软件集设计输入、处理、校验和器件编

34、程于一体，集成度高，开发周期短。 EPM7000 系列 CPLD 器件的性能特点:以第二代多阵列矩阵（MAX）结构为基础，是一种高性能 CMOS EEPROM 器件； 通过 JTAG 接口可实现在线编程（ISP）； 逻辑密度为 6005000 个可用编程门电路，128 个宏单元； 引脚到引脚的逻辑延时为 5.0ns，计数器工作频率可达到 178MHz； 有集电极开路选择，可编程宏单元触发器； 具有专有的清除、时钟、输出使能控制； 包括一个可编程的程序加密位，全面保护专利设计。 EPM7128SL84-15 的各项参数: 可用门数目:2500 宏单元数目:128 逻辑阵列块数目:8 最大用户 I

35、/O 数目:100 tPD(ns):6 tSU/ns:5 tFSU/ns:2.5 tC01/ns:43.3 AVR 单片机单片机 AT90S8515AT90S8515是基于增强的AVR RISC结构的低功耗的8位CMOS微控制器。由于其先进的指令集以及单时钟周期指令执行时间，AT90S8515的数据吞吐率高达1MIPS/MHz，从而可以缓减系统在功耗和处理速度之间的矛盾。下面是特性简介：高性能、低功耗的 8 位 AVR 为处理器RISC 结构130 条指令大多数指令执行时间为单个时钟周期- 12 -32 个 8 位通用工作寄存器全静态工作工作于 16MHz 时性能高达 16MIPS只需两个时钟

36、周期的硬件乘法器非易失性程序和数据存储器8K 字节的系统内可编程 Flash 擦写寿命：10000 次具有独立锁定位的可选Boot代码区通过片上Boot程序实现系统内编程真正的读写内操作512字节的EEPROM檫写寿命：100000次512字节的片内SRAM达到64K字节的可选外部存储器空间可以对锁定位进行编程以实现用户程序的加密 外设特点具有独立预分频器和比较器功能的8位定时器/计数器一个具有预分频器、比较功能和捕捉功能的16位定时器/计数器三通道PWM可编程的串行USART可工作于主机/从机模式的SPI串行接口具有独立片内振荡器的可编程看门狗定时器片内模拟比较器 特殊的处理器特点上电复位以

37、及可编程的掉电检测片内经过标定的RC振荡器片内/片外中断源三种睡眠模式：空闲模式、掉电模式及Standby模式 I/O和封装35个可编程的I/O口线40引脚PDIP封装，44引脚TQFP封装，44引脚PLCC封装与44引脚MLF封装 工作电压：AT90S8515：4.5-5.5 速度等级0-16MHz AT90S8515- 13 -3.4 USB 接口器件接口器件 PDIUSBD12PDIUSBD12 是一个性能优化的 USB 器件，通常用于基于微控制器的系统并与微控制器通过高速通用并行接口进行通信，也支持本地 DMA 传输。该器件采用模块化的方法实现一个 USB 接口，允许在众多可用的微控制

38、器中选择最合适的作为系统微控制器，允许使用现存的体系结构并使固件投资减到最小。这种灵活性减少了开发时间、风险和成本，是开发低成本且高效的 USB 外围设备解决方案的一种最快途径。PDIUSBD12 完全符合 USB1.1 规范，也能适应大多数设备类规范的设计，如成像类、大容量存储类、通信类、打印类和人工输入设备等。因此，PDIUSBD12 非常适合做很多外围设备，如打印机、扫描仪、外部大容量存储器（Zip 驱动器）和数码相机等。现在用 SCSI 实现的很多设备，如果用 USB 来实现可以直接降低成本。 PDIUSBD12 挂起时的低功耗以及 LazyClock 输出符合 ACPI、OnNOW

39、和USB 电源管理设备的要求。低功耗工作允许实现总线供电的外围设备。PDIUSBD12 还集成了像 SoftConnect、GoodLink、可编程时钟输出、低频晶振和终端电阻等特性。所有这些特性都能在系统实现时节省成本，同时在外围设备上很容易实现更高级的 USB 功能。 3.5 静态存储器静态存储器 HM628512一般对图像帧存储器有如下要求：（1）高速存取，（2）存储量大，（3）非同步输入输出的存取。存储一帧或一场的图像的存储容量可以用下式计算： 存储容量1 帧（或一场）的扫描行数1 行的取样数量化位数 在系统中，一帧采集的图像为 640480 点阵，所以需要的存储容量为300KB 左右

40、。 本设计中使用的存储器是 HITACHI 的 HM628512，它可以满足上述存储容量的要求。HM628512 是 512K 的 SRAM，它具有高密度、高性能、低功耗的特点。它的特性和指标如下： 高速访问周期：55/65/70ns（max） 低功耗：备用：10uw操作：75uw 5V 供电 完全的静态存储 通用输入输出数据端口：三态输出 - 14 - TTL 兼容，支持电池供电 HM628512有5种工作方式，方式的选定是由三个信号的状态决定的。当/CS为高时，片子未被选中，不工作；当/CS为低时，读写功能就由/WE、/OE的状态决定。为了使得读写控制易于实现，实验中将/CS引脚接地，片子

41、的读写实现就是由两个信号来决定，WE为高，OE为低的时候，实现读功能；WE为低，实现写功能。设计上，系统工作时，把一幅完整的图像写入 SRAM 中。可编程逻辑器件CPLD 接到单片机的执行命令后，开始按位读取像素单元的灰度值数据。用可编程器件实现的系统功能比较简单易行、可靠，所以存储器的片选信号，地址产生信号都是由可编程器件（CPLD）产生的。- 15 -第四章第四章 图像叠加软件原理分析图像叠加软件原理分析4.1 OV7620 的参数的参数OV7620是一种数字输出的图像传感器芯片，不需外接控制器就可以直接输出数字视频信号，芯片同时输出标准时序信号VSYNC（垂直同步信号）、HREF（水平同

42、步信号）和PCLK（像素时钟），用作外部电路读取图像数据的参考信号。 它具有如下显著特点： (1)640480的标准VGA图像分辨率，且输出高保真的数字化图像； (2)可逐行扫描或隔行扫描输出； (3)输出视频数据格式可为YCrCb 4:2:2、GRB4:2:2或RGB原始数据； (4)可输出标准NTSC或PAL制式时序； (5)通过I2C总线可灵活实现对OV7620各种工作模式的程控； (6)1500倍的自动曝光范围；(7)自动增益和白电平平衡控制； (8)能进行亮度、对比度、饱和度等多种调校功能； (9)输出窗口可从44640480之间任意调整（电子变焦）； (10)可输出单帧图像或单行图

43、像；(11)单5V供电，工作功耗200mW，待机功耗100W。 如图 4.1 所示，OV7620 的时序图。图 4.1 OV7620 的时序图HREF：行同步PCLK：像素时钟VSYNC：帧（场）同步在接口时序中，帧（场）同步信号表明新一帧图像数据输出开始，行同步信号则保证在其有效时（高电平）输出的是指定窗口内的像素图像数据，每个像素时钟输出一个像素的图像数据。在默认状态下，CMOS 图像传感器OV7620 在像素时钟的下降沿更新输出图像数据，并在上升沿稳定下来。因此，可以将像素时钟脉冲信号作为顺序地址发生器的时钟输入及静态 RAM 的写入控制信号。每一个像素单元的灰度值数据将顺序在静态存储器

44、 HM628512 的每- 16 -一个单元中，每读出一个灰度值数据地址加一，直到帧（场）同步来个高脉冲，一场的图像读取完毕。基于 CMOS 图像传感器的这种时序输出，结合 OV7620 的性能，我们将在可编程逻辑器件内对 CMOS 图像传感器输出的图像进行十字线叠加。4.2 设计方案及实验结果设计方案及实验结果通过对CMOS图像传感器OV7620的学习，结合本设计要求对输入的数字视频的信号进行处理，来具体研究本设计。 本系统主要由应用到单片机 CPLD 逻辑控制器件 EMP7128，静态存储器HM658512，单片机 AT90S8515，USB 接口芯片 PDIUSBD12 等部分组成。 附

45、录是系统的电路图。波门、十字丝和字符是系统提示信息的主要手段。系统波门在搜索和跟踪状态中分别以四角虚框和矩形实框提示。在搜索状态中，波门的作用它只是大概的框住目标，而要更为精确的定位，就需要十字丝的辅助。十字丝位于波门的正中央，其中心点指示了当前目标的跟踪点位置。任何信号，要想在屏幕上显示出来，就必须叠加到视频信号中。在本设计中所用的图像传感器输出的是标准的数字视频信号，从对其的介绍中可以看出，数字视频信号的显示是把二维空间图像按行延展成为一维的时间信号，再配以区分行、场开始的同步信号。因此，如果要在已有的数字视频信号中加入标志或者文字，就要按照视频信号的时序在适当的时刻将相应点的像素灰度值替

46、换为“255” ，以实现叠加的功能，在本设计中，只要求叠加十字丝。十字丝产生电路十字丝就是显示在显示器屏幕上的两条垂直相交的直线，如图 4.2 所示。6464图 4.2 十字丝外观- 17 -首先。对显示器屏幕做如下定义。定义屏幕的左上角为坐标原点，向右是横坐标正方向，向下是纵坐标正方向。横坐标以像素点为单位，纵坐标以行为单位。在对显示器的屏幕进行定义之后，再来讨论十字丝的产生。当十字丝的大小固定时，比如 6464 像素，仅需要提供十字丝中心的点坐标(X,Y)就能够完全定位该十字丝，详细见下文介绍。十字丝的坐标由上位机通过 USB 接口提供的信号来确定。单片机负责将坐标值通过 SPI 总线写入

47、到 CPLD，CPLD 根据此坐标值在相应的位置叠加十字丝，以实现设计功能。下面以图像的方式介绍十字丝信号的产生。 1 X-31 X+32 480 1 Y 640a b 图 4.3 十字丝横向线条产生波形 十字丝产生实际上可以看作两个分立的部分。一部分是一条横向的线条，另一部分是一条纵向的线条。先看横向的线条。因为是在一行中持续 64 个点的线条，所以横向线条的波形应该如图 4.3 中的 a 所示，从 X-31 列到 X32 列中像素的灰度值被替换为”255” ，而在其他列中的像素保持原始的灰度值。如果不加其他控制的话，这样的长度为 64 像素的横向线条将在画面上从上到下显示成为带状，因此需要

48、加以控制，使横向线条只在规定的行显示出来。这个控制信号就是图 4.3 中的 b。可以看出，控制信号将第 Y 行中像素的灰度值被替为”255” ，而其他行中的像素保持原始的灰度值。将图 4.3 中的 a 和 b 两个信号做“与”逻辑运算。就可以得到这样的结果：从第一行到第 Y-1 行 b 为低电平，输出为低电平；在第 Y 行 b 为高电平，从第 X-31 列至 X32 列 a 也变为高电平，输出为高电平；从 Y1 到 Y32 行，b 为低电平，输出为低电平；如果在输出为高电平的时候将相应的像素的灰度值替换为“255” ；在输出为低电平的时候相应的像素保持原始的灰度值，就实现了横向线条的显示。再来

49、看纵向的线条。因为视频信号是按行扫描的，所以要列显示要比行显- 18 -示复杂。图 4.4 中 a 是要显示的波形，b 是控制波形。 1 Y-31 Y+32 640 1 X 480a b 图 4.4 十字丝纵向线条产生波形再来看纵向的线条。因为视频信号是按行扫描的，所以要列显示要比行显示复杂。图 4.4 中 a 是要显示的波形，b 是控制波形。从 a 可以看到，在每行的第 X 列，为高电平，即显示一个灰度值为“255”的点。如果不加任何控制，这个信号将会显示为在 X 列的一条从上到下的完整的纵向线条。如果需要显示十字丝的纵轴，则要像显示横向线条时一样加入控制信号。控制信号如图 b 所示。在 Y

50、-31 行到 Y32 行中，b 为高电平，其他时刻为低电平。将图 4.4 中的a 和 b 两个信号进行“与”逻辑运算，就可以得到这样的结果：从第 Y 行到第Y63 行，在每行的第 X 和第 X63 列处信号为高电平，其它时刻都为低电平。如果在输出为高电平的时候将相应的像素的灰度值替换为“255” ；在输出为低电平的时候相应的像素保持原始的灰度值，就实现了纵向线条的显示。观察图 4.3 和图 4.4 中的波形，可以发现，两组波形在外形上是完全一样的，所不同的是时间单位和信号作用。图 4.3 中的 a 是显示波形，b 是控制波形；图 4.4 中 a 是显示波形，b 是控制波形。不同形状的波形在两图

51、中的作用是不同的。另外相同形状的波形在两图中的单位也是不一样的。要显示十字丝信号，关键在于实现上述的两组波形。这样的波形用计数器实现最为方便。因为信号的波形完全一致，只是时间单位不一样，也就是计数器的输入脉冲不同。所以产生横向和纵向线条可以用一样的计数器；所以本设计在 CPLD 中构造了这个专用的计数器。这个计数器实际上是一个简单计数器和一个逻辑表的组合。计数器按照锁存器中设定的坐标值计数，当计数至最大值而清零时，开始按照逻辑表的逻辑产生所需的波形。如图 4.5 行内点计数的 A 端产生图 2.6a 的波形，场内行计数 B 端产生图 4.3b 的波形。同理产生 4.4a 和 4.4b 的波形。

52、对两组显示和控制波形分别进行逻辑“与”操作，并将两个“与”操作的结果进行“或”操作，就得到了一个完整十字丝所需的信号。- 19 -图 4.5 十字丝产生逻辑设计图- 20 -第五章第五章 硬件电路设计及测试结果硬件电路设计及测试结果5.1 硬件电路设计硬件电路设计本章根据要实现的模拟 CMOS 图像传感器时序的设计要求，以及前几章对各种应用器件的原理与结构的学习与了解，针对 OV7620 图像传感器设计了图5.1 电路原理路： 图 5.1 OV7620 图像传感器的外围电路- 21 -由于可编程逻辑器件 CPLD 要模拟多种 CMOS 图像传感器产生的时序图，并且为了控制每一种图像传感器的模拟

53、输出，把模拟产生的数据与上位机相连接，这里用到了单片机 AT90S8515 及 USB 接口芯片 PDIUSBD12，如图 5.2 是这两个芯片与可编程逻辑器件连接的硬件电路图：图 5.2 单片机和 USB 接口芯片在本硬件电路设计中，上电后由单片机对图像传感器芯片通过 IIC 总线进行初始化配置，之后图像传感器就会自动的输出像素时钟，行同步，场同步；并在有效输出时间内，在每个像素时钟的下降沿，将相应的像素的灰度值输出，这些视频数据和同步信号全部接入到 CPLD 中，CPLD 在没有收到叠加数据的时候会将一帧图像中的每个像素点的灰度值依次存入 SRAM 中，每接到场同步信号的时候就会将存储在

54、SRAM 中的图像数据更新，当收到单片机发出的叠加位置的命令时，CPLD 就会在存储数据图像时对像素时钟，行同步等信号进行计数，以用“255”来代替需要显示十字丝位置处的像素灰度值，并将其存入 SRAM 中。当上位机发出采集图像命令的时候，单片机就将存在 SRAM 中，已经叠加十字丝的图像通过 USB 口传输到上位机显示，从而完成了十字丝的叠加和显示。5.2 测试结果测试结果以下是试验得到的结果图片， - 22 - 23 - 24 -结结 论论通过三个多月的学习与实践，完成了基于可编程逻辑器件 CPLD 对 CMOS图像传感器的学习，并深入的了解了数字相机的基本理论，从中获益良多。得出如下结论

55、：对于设计课题基于 CPLD 的数字图像十字线叠加的研究，其设计主体是利用可编程逻辑器件 CPLD 实现对 CMOS 数字相机摄取的图像中叠十字线。本设计用 CPLD 芯片取代了原有的用数字元件组合搭建的逻辑控制这部分复杂电路，从而简化了电路的设计。同时，由于 CPLD 的可编程、配置的特点，也使系统的可靠性和保密性得到了提高。基于上述研究发现，CPLD 在图像传感器 OV7620 的图像叠加中实现叠加控制是完全可行的，设计达到了既定要求。并且其性能还能有很大的提升空间。比如可以把 2500 逻辑门的 EPM7128 换成 10000 逻辑门的 FPGA，能实现更高速高效的数据传输。基于上述阐

56、述可知，随着集成芯片技术的发展，可编程逻辑器件的集成逻辑门将越来越多，其实现的功能也将越来越强。由此可知，可编程逻辑器件将在更大程度上将单片机宝贵的资源解放出来做其它更有用的工作，可编程逻辑器件也将在越来越多的电子产品领域中得到广泛应用。数字图像叠加系统的整体设计纷繁复杂，由于时间匆促，本文仅对数字图像中叠加十字线进行了研究，很可能有不少地方考虑不周，文中难免出现错误和不足之处，望各位老师和同学给予批评和指正。- 25 -参考文献参考文献1 潘松,王国栋.VHDL 实用教程.电子科技大学出版社.2 宋建国,钱正,雷超.AVR 单片机原理及应用.北京航空航天大学出版社.3 吴继华,王承.Alte

57、ra CPLD/FPGA 设计.人民邮电出版社.4 黄任. AVR 单片机与 CPLD/FPGA 综合应用入门.北京航空航天大学出版社.5 樊京,郭俊生.单片机+CPLD 结构体系在电子设计中的应用.河南理工学院.6 赵龙宝，范天翔.基于 OV5017 和 CPLD 的图像采集显示系统.微机算计信息2005.第 21 卷第 7 期7 CMOS图像传感器OV7620使用说明书.OmniVision公司. 8 金春林，邱慧芳.AVR系列单片机C语言编程与应用实例M.北京：清华大学出版社，2002. 9 耿德根，宋建国.AVR高速嵌入式单片机原理和应用M.北京：北京航空航天大学出版社，2003. 1

58、0 USB接口器件PDIUSBD12使用说明书.PHILIPS公司. 11 周立功.PDIUSBD12 USB器件原理、固件编程及其驱动开发M.广州：广州周立功单片机发展有限公司，2003. 12 Lipton A, Fujiyoshi H and Patil R. Moving target classification and tracking from real-time videoJ. In: Proc IEEE Workshop on Applications of Computer Vision.Princeton,NJ.1998,8-14. 13 Kilger M. A shad

59、ow handler in a video-based real-time traffic monitoring systemM. In: Proc IEEE Workshop on Applications of Computer Vision ,Palm Springs,CA.1992,1060-1066. 14 Wren C, Azarbayejani A, Darrell T and Pentland A. Pfinder: real-time tracking of the human bodyM.In:IEEE Trans on Pattern Analysis and Machi

60、ne Intelligence.1997, 780-785. 15 Nioxon R H,Kemeny S E,pain B et al.256*256CMOS active pixel sensor camera-on-a-chip IEEE Journal of solid State Circuits.- 26 -致致 谢谢经过三个多月的动手实践及理论积聚，本设计得以完成。在此设计期间，我巩固了以前曾学过的电子线路、数字电路、模拟电路、单片机接口技术及VHDL 等各学科的知识，学会了将各科知识融合贯通，加深了理解，同时也学到了可编程逻辑器件和硬件描述语言等许多新的知识，拓宽了知识面并培养