（信号与信息处理专业论文）基于线阵+ccd的匀速物体识别系统.pdf

独独 创创 性性 声声 明明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 摘要 i 摘 要 本文深入探讨了在工业自动化大环境下，智能识别技术的发展概况及智能识 别技术在实际生产中的发展概况。在此基础上，在文中分析了不同图像采集手段 的差异，采用面阵摄像机作为常用图像识别技术的前沿图像采集手段，虽然在技 术和扩展方案方面都比较完善，但一定环境下的即时图像识别还是存在不可避免 的硬伤。在采集和识别过程中，不仅运算量很大，且无法做到即时识别。 因此本课题设计中，在类似传送带的应用环境下，采用线阵 ccd 摄像机作 为图像采集手段的识别系统就具有很大的优势，它能做到按行与行间的信号特征 进行连续识别，在物体通过后的短时空白内做出判决，即时性大大提高。针对采 用线阵 ccd 作为图像的识别系统，本人在查阅大量资料后，学习、总结并推导 得出线阵 ccd 完整图像不失真采集的综合公式， 以作为系统 vga 连续显示和不 失真完整图像获取的数学模型参考，并举例说明其使用方法。 在本课题设计基于线阵 ccd 的匀速物体识别系统过程中，以高精度的线阵 ccd 作为系统前端匀速物体的图像采集板核心器件，经 adc 编码后上传给处理 开发板的 fpga 进行数据处理并存储。按课题设计，将数据的处理分为两部分： vga 连续显示的数据多级缓存处理，和图像识别的比较数据存储。在参考线阵 ccd 不失真采集综合公式后，完成了基于 verilog hdl 的 vga 显示控制模块并 在 quartus ii 下完成调试。在完成显示功能的基础上，设计并识别过程的程序 模块，并设计了验证用模块。 与传统面阵图像识别系统相比， 线阵图像识别系统单周循环数据处理量更小， 速度更快，且成本价格便宜，结构简单，有利于应用研究的升级和开发。较之普 通线阵摄像机和处理系统，本课题引入了匀速条件下的 vga 连续显示思路，既 方便系统开发和升级的调试，又有利于直观的人为监测。经过学习和试验证实， 本课题提出的基于线阵 ccd 的匀速物体识别系统设计方案可行。 关键词：关键词：线阵 ccd，图像识别，vga，fpga abstract ii abstract the present study has discussed the development of intelligent recognition technology and its practicability in practical production, which during the popularization of industrial automation. then, the study analyzes the difference between different image collection means. as the common used image collection means in image recognition techniques, plane array camera is nearly perfect both in techniques and extended scheme. however, there also exist some inevitable weak points in certain environment of image recognition, which is heavy computation and can not be recognized immediately in the process of image collection and recognition. in some application environment, similar as the object moves on the conveyer belt in uniform speed, the use of linear array camera recognition system has a lot of advantages as a means of image collection. it can recognize the signal characteristics line by line continuously, and obtain the judgment promptly when the target just moves out the camera sight area. focuses on the use of linear array ccd as the image recognition system in the present project, the comprehensive formulae of distortionless full image collection of linear array ccd has been deduced by the author, and it provides referential mathematic scheme for continuously display in vga system and the distortionless full image obtaining, and its application method will be illustrated in the study also. in the design of present projectuniform speed target recognition system based on linear array ccd, it uses the high precision linear array ccd as the core device in image acquisition board of forward system of uniform speed target, then it uploads the digital data to the development board fpga processor to take the data storage processing after coding by ad. according to the project design, the data processing is composed of two parts: the continuous display of data multi-cache processing in vga, and the comparative data processing of image recognition. by consulting the comprehensive formulae we have mentioned above, the author designs and adjust the vga display control module design on the soft of quartus ii. based on the job of vga display, design and finish the module procedure for recognize process. abstract iii compare with the plane array system, the single cycle processing capacity of the linear array ccd recognition system is smaller, faster, and cheaper, and the simple structure is beneficial to the research of upgrading and development in the application conditions. different from the common linear array camera and processing system, our project bring the thoughts of continuous display of vga in the uniform speed condition, not only convenient for the system development and the upgrade debugging, but also beneficial to the visual monitoring by human. the experiment confirms that the project design has the characteristics of feasibility and practicability. key words: linear array ccd, image recognition, vga, fpga 目录 iv 目 录 第一章第一章 引言引言 . 1 1.1 线阵图像匀速采集识别系统分析 . 1 1.2 ccd 器件的特点 . 2 1.3 ccd 器件的国内外发展概况 . 2 1.4 相关技术应用 . 4 1.5 课题内容及本文结构 . 4 第第二章二章 系统原理概述系统原理概述 . 7 2.1 前端图像信号获取部分 . 7 2.2 线阵图像不失真采集理论 . 8 2.3 vga 显示及图像识别算法结构分析 . 9 2.3.1 线阵图像 vga 显示介绍 . 9 2.3.2 识别算法结构 . 10 2.4 fpga 系统构建 . 11 第三章第三章 线阵图像不失真采集及线阵线阵图像不失真采集及线阵 ccd 原理原理 . 12 3.1 线阵图像不失真采集算法 . 12 3.1.1 采集过程失真要素分析 . 12 3.1.1.1 线阵 ccd 的选用及控制过程 . 12 3.1.1.2 光学设计 . 13 3.1.1.3 采集频率及图像分辨率要求 . 14 3.1.2 算法综合公式推导 . 16 3.2 线阵 ccd 结构及原理 . 18 3.2.1 基本工作原理 . 18 3.2.2 性能参数 . 18 3.3 本系统设计理论要求 . 19 3.4 器件系统要求分析 . 20 3.4.1 tcd2561d 的基本结构 . 20 3.4.2 tcd2561d 的性能参数 . 21 3.4.3 tcd2561d 驱动电路分析 . 22 目录 v 第四章第四章 系统硬件电路设计系统硬件电路设计 . 24 4.1 前端图像信号采集板设计 . 24 4.1.1 线阵 ccd 驱动电路 . 25 4.1.2 a/d 转换电路设计 . 25 4.1.3 电平转换 . 28 4.1.4 电源设计 . 29 4.1.5 采集板原理图设计 . 30 4.2 图像信号后端处理电路要求 . 31 4.3 de2-70 开发板选用及介绍 . 31 第五章第五章 线阵图像线阵图像 vga 显示及识别算法显示及识别算法 . 33 5.1 线阵图像连续 vga 显示过程分析 . 33 5.1.1 系统乒乓存储控制结构概述 . 33 5.1.2 显示存储系统分析 . 35 5.1.2.1 线阵 ccd 输入数据缓存 . 36 5.1.2.2 vga 图像数据缓存控制器 . 37 5.1.3 sdram 存储过程 . 39 5.1.3.1 vga 显示分辨率与 sdram 读取地址变化 . 39 5.1.3.2 sdram 读写过程分析 . 41 5.2 算法识别实现概述 . 43 5.2.1 数据获取及比较过程控制 . 44 5.2.2 数据的特征识别及参数获取 . 44 5.2.2.1 识别过程的时延需求分析 . 46 5.2.2.2 特征识别特征参数矩阵建立 . 47 5.2.3 圆形物体识别过程 . 47 5.2.3.1 圆形物体的线阵特征分析 . 48 5.2.3.2 特征参数要求 . 49 5.2.3.3 圆形物体识别方案 . 49 第六章第六章 fpga 系统程序设计系统程序设计 . 52 6.1 采集板信号及数据控制模块 . 53 6.2 系统 vga 显示存储控制 . 55 6.2.1 系统 vga 显示多级缓存结构 . 55 6.2.1.1 线阵数据缓存控制模块 . 57 目录 vi 6.2.1.2 sdram 缓存过程控制模块 . 57 6.2.1.3 vga 行信号缓存控制模块 . 58 6.2.2 sdram 读写控制模块 . 59 6.2.3 vga 显示模块 . 61 6.3 圆形识别算法实现过程 . 61 6.3.1 初始及比较数据获取模块 . 61 6.3.2 特征识别及参数提取模块 . 62 6.3.3 圆形识别算法实现模块 . 64 第七章第七章 调试情况调试情况 . 67 7.1 完整存储系统 vga 显示 . 68 7.2 采集板工作情况 . 69 7.3 采集图像并显示 . 70 7.4 算法模块验证 . 72 第八章第八章 总结与展望总结与展望 . 74 8.1 总结 . 74 8.2 系统改进 . 75 8.2.1 配置镜头 . 75 8.2.2 识别算法的实物检验 . 75 8.2.3 rgb 全色显示 . 75 8.2.4 采集电路板改进 . 75 致谢致谢 . 76 参考文献参考文献 . 77 附录一附录一 . 79 附录二附录二 . 80 作者攻硕期间取得的研究成果作者攻硕期间取得的研究成果 . 82 第一章 引言 1 第一章 引言 1.1 线阵图像匀速采集识别系统分析 机器视觉系统作为对被测物信息的一种精确采样、检测手段，在各行业内应 用越来越广，产值巨大。构成视觉系统的众多传感器中，ccd、cmos、psd 类 似光电转换器件以其高精确度、高速、低噪声等众多特性，在视觉系统的应用中 占有很大份额。光电转换器件的重要分支线阵器件，相对于面阵，结构更加简单、 价格便宜，单帧采样速度快，且可调节等许多特点，随着器件性能的不断提高， 在生产线上应用越来越广泛。线阵光电器件目前的应用主要集中在，对所采集单 帧信号进行比较检测，多用于计量性质的检测。而对实际图像全幅的取图检测主 要靠面阵，线阵光电转换器件在完整图像采集及图像识别方面的进一步开发还有 待深入1,2。 自动识别系统的即时性要求系统设计和算法设计上都应遵循快速、简单、准 确的原则。理论上，在基于面阵的图像采集系统即时获取信息速度能力就远远低 于线阵系统；面阵光电器件工艺上要求比线阵器件复杂得多，应用环境要求更高； 而且在特定识别条件下，比如处于匀速移动情况下连续取图、即时识别时，面阵 图像信息采集处理量也将大得多，其缺点主要表现为： (1)物体很大，摄像头水平视场不够，无法取下全图。 (2)视场足够大，在多个物体通过该视场时，个别图像的不完整。 (3)图像信息采集不完整，或者重复采集。 这些缺点，在面阵识别条件下，都需要做较复杂的筛选或拼接。相对而言线 阵采集过程就具有很大优势，线阵图像采集系统能在这种相对匀速移动情况下完 整、不重复、以一定分辨率扫描完整地获取图像。并且可扩展扫描、并存储较长 的目标图像。 线阵图像信号采集可以快速的获取每帧的即时信号，且可更容易的有选择存 储或显示图像，在特征算法设计上也只需要针对行的特征取样，在匀速条件下， 高精度的线阵器件理论上，能使行的特征取样精度达到面阵完整图像采集的效果。 当然作为目前线阵光电器件的主要用途，如高精测径、色亮测算、通过物体 监测等，都变相说明了用线阵手段采集、获取完整图像的不足：通过单行信息构 电子科技大学硕士学位论文 2 成完整的、不失真图像的操作性问题。但在如匀速监测的环境下，线阵采集过程 不但能实现面阵的功能，且具有面阵所不具有的功能3。 线阵器件具有环境适应度高、价格便宜、结构简单、高精度、高速等优点。 可以预见，在解决线阵图像不失真图像采集的理论和实际问题后，线阵器件在图 像获取和智能识别方面的情景是广阔的。 1.2 ccd 器件的特点 cmos 和 ccd 是目前最常见、流行的光电感光器件，各有所长。作为七十年 代发展起来的物性型传感器，ccd 器件的工艺比 cmos 器件更加成熟，利用了材 料的光电物理效应，减少了转换环节，使敏感组件与转换组件合为一体，实现了 固体化，具有结构牢固、体积小、重量轻、响应速度快、可靠性高等优点。 cmos 器件的高度可集成生产技术，在减小了体积和降低功耗和一定成本的 同时， 也引入了更多电磁干扰， 降低了输出信噪比， 相同象素图像效果远逊于 ccd 器件。ccd 器件具有固定的像元结构，像元的几何尺寸固定，几何位置精度高(优 于 lm)，因此 ccd 用于测量或定位时可以获得很高的精度。 在自然光条件下，ccd 器件同样具有很高的光电灵敏度和大的动态范围，特 定高敏感型号的 ccd 器件在特定条件下与微光象增强器的输出端相耦合，甚至可 以测得一个光电子。此外，单独 ccd 器件的工作电压和功耗都很低，方便电路设 计，配合 adc 很容易实现数据传输和上位机处理； 目前 ccd 在光电器件中技术最为成熟，各种型号及衍生产品最多。由 ccd 器件构成的系统维护简便，成本低廉；作为光电传感器可用于对人体有害的、危 险的地方，在非接触的光学信号获取方面不失为最佳选择4。 1.3 ccd 器件的国内外发展概况 伴随着 ic 集成工艺的迅猛发展，电荷耦合器件 ccd(charge coupled devices) 这种集光电转换、电荷存贮、电荷转移为一体的传感器件，从性能到应用环境都 在不断发展。全球主要的生产商有 sony、toshiba、nec、sharp、panasonic、 尼康、柯达、奥林巴斯等。型号很多，主要分为线阵和面阵两类，感光类型从普 通白光衍生发展到 x 射线、红外、电子束成像。面阵 ccd，适合静止、瞬时情况 下的全幅取图。其使用环境从目前较普遍的手机摄像头、照相摄像机的几十至数 第一章 引言 3 百万象素，到军事侦查、天文探测应用条件下的上亿象素不等。而线阵 ccd 虽然 普通民用较少见，但在其高精度、高敏感的性能光环下，各种特殊环境下的用途 也很多。不同的 ccd 视用途需求、器件集成度不同区别很大。 从发展角度来看，ccd 是 20 世纪 70 年代初发展起来的新型半导体集成光电 器件，其发展历程经历了着整个 it 行业的黄金年代，目前整个技术已趋于成熟。 ccd 的设计框架由美国贝尔电话实验室的 w.s.boyle 和 g.e.smith 于 1970 年首先 提出的， 在经历了一段时间研究之后， 建立了以一维势阱模型为基础的非稳态 ccd 理论，并且构思出了一维线阵 ccd 的数学模型。很快这个设想被实验所证实，并 演示出世界上第一个电荷转移器件模型。 鉴于美国 mos 器件工艺及硅材料研究的 雄厚基础，这个新型器件的设想在美国本土很快得到实现。不久二维面阵 ccd 也 研制成功。 1973 年， 第一次国际 ccd 应用研究学术会议在美国举行， 标志着 ccd 应用技术已成为电子及光电学科的一个重要分支。至 1974 年，美国 rca 公司的 512320 像元面阵 ccd 摄像机首先面世，标志着 ccd 产业的蓬勃兴起。随着超 大规模集成电路工艺的不断完善和发展，其它一些国家如日本，也相继赶上，研 制成功了各种 ccd 器件和各种卓有成效的 ccd 结构，其中以日本的 sony、 toshiba、nec、panasonic 为代表，几家公司拥有全球 ccd 技术半数的专利权。 同时它们不断的研发投入也促进了 ccd 应用领域的进一步发展， ccd 应用技术的 研究在全世界范围内普遍开展5,6。 线阵 ccd 较面阵结构简单得多，因此帧采集速度更快。线阵 ccd 精确度区 别很大，从黑白 256 象元到目前较高的彩色 213603 象元甚至更高。动态范围越 来越大，对不同光照条件的下的适应性越来越强。市面有售的线阵 ccd,时钟可高 达 100mhz 以上，单帧采集速度在较低象素情况下甚至可达每秒 10000 次以上。 美国是最早开展 ccd 应用技术研究的国家，也是目前投入人力、物力和财力 最大的国家之一，美国的投入主要集中在军事、科研探测、医疗商的高端应用， 因此在 ccd 技术的高端产品主要出至美国，同时全球最大的影像公司柯达的也是 从美国本土发展起来的。美国在 ccd 应用领域一直保持领先的地位。同时日本也 是目前 ccd 产品的生产大国，其产量居世界之首，拥有最多的 ccd 民用专利技 术，占据了中低档民用 ccd 的广大市场，半数以上的数码摄像器材的感光元件都 产至日本。英、法、德、荷兰等国家也在 ccd 技术的研究与开发方面投入了巨资。 我国研制 ccd 的单位也较多，其中以中国电子科技集团公司第 44 研究所和第 13 研究所水平较高，但与国外相比差距较大7,8。 电子科技大学硕士学位论文 4 1.4 相关技术应用 无论面阵还是线阵 ccd，在性能不断提高的同时。所应用的领域也从民用摄 像、监视，发展到如今工业自动化检测控制；科研观察、探测；军事跟踪、测控， 夜视侦察等不同领域。ccd 性能参数的提高和 ic 集成工艺的发展，使得 ccd 在 实际应用中得到了很好的发展。目前 ccd 主要应用于以下几个方面： (1)计量检测。这方面主要是各种工业及生产中尺寸的测量，各种需要非接触 式、长距离上的测物测量。包括检测零件合格率，测量工件的长度，厚度等尺寸。 基本原理为相对固定被测物体与线阵 ccd 的距离，通过透镜放大被测物，用光源 或自然光条件下使光影投射给 ccd。所得到信息通过对比标准尺寸情况下的转换 信息，就可得到被测物体的尺寸信息。 (2)物体信息的光学采集。如物像拍摄、红外 ccd 测量火焰温度、光谱能量测 量、坏点检测、实时的图像处理等。这一类应用主要与信号处理、图像处理等技 术相集合，透过 ccd 采集所得信息，进行实时快速的被测物各类信息提取。 (3)自动化生产的探测。在自动化生产线上，控制自动化设备工作的关键，除 了固定的生产模式外，还有检测时的中断操作。在半导体行业中，要求对精度、 检测速度和处理速度要求非常高的环境中，类似高精度线阵 ccd 这类传感器件的 应用就相当广泛。 目前 ccd 的特种应用面不断扩展，特别是在医疗设备、精密电子生产工艺检 测、天文电子望远镜等高要求应用环境中，高精 ccd 的应用越来越多5,6。 1.5 课题内容及本文结构 线阵 ccd 器件价格便宜，环境适应性强，易于开发的特点，使得开发线阵 ccd 系统适合于要求尽量控制成本的工业生产实际要求，因此可以考虑，在类似 传送带的匀速扫描过程中，作为产品的一种检测手段，以 ccd 为光学器件的摄像 识别系统比其它同类型光电转换器件更符合价格低廉、性能稳定的要求。且线阵 ccd 的图像信息是按单帧采集，图像的识别算法只需要按每帧，即完整图像的每 行，进行特征提取算法的设计，因此在程序识别的即时性上，线阵 ccd 理论上将 比面阵器件更加快速。而且解决匀速条件下不失真采集完整图像的基础上，线阵 ccd 摄像系统能通过程序的调整改进，实现即时的不同分辨率下的连续监测，和 有选择的智能存储。 第一章 引言 5 以相对匀速为条件的系统框架如图 1-1 所示。 数据处理 视频编码 识别算法 特征参数获取 图 1-1 线阵 ccd 识别系统示意图 如图中，本课题拟定系统以匀速滚动的传送带为载体，在传送带上载有产品 或物体通过时，线阵 ccd 采集电路通过在相对速度下扫描下物体的图像信息，数 字化后传输给控制及处理电路部分进行数据处理。 本课题的本文基本结构包括以下几个章节： 第一章为引言，介绍课题选定背景，国内外相关工艺发展情况、应用情况， 最后介绍课题内容及问题。 第二章概述系统的基本轮廓，给出示意图，介绍工作流程，将系统设计工作 分为四个部分：信号采集电路；图像信号选取存储；vga 的连续显示设计；图像 的判决识别。 第三章完整介绍线阵 ccd 的工作原理、结构及其作为选取依据的性能参数理 解，并介绍其驱动电路原理。 第四章介绍系统的硬件设计，设计包括两个部分：前端的线阵 ccd 图像采集 电路，和后端的 fpga 控制及数据处理电路。 第五章，通过综合分析各种影响图像不失真采集的主要因素，提出线阵 ccd 图像不失真采集算法。并说明线阵 ccd 基本原理。 电子科技大学硕士学位论文 6 第六章详细说明系统中，vga 连续扫描图像的实现，以及算法识别的实现概 述。包括多级的乒乓存储操作、地址的变换算法、图像识别的特征提取方法。 第七章为 fpga 系统程序的设计说明，给出系统设计中的各个主要模块的设 计流程及状态转换图。 第八章将展示系统的调试情况，给出调试结果的 vga 效果图，电路的工作信 号波形图，并分析不足之处，提出解决方案。 第九章作为总结，概述系统最终实现的一些功能，并指出有待改进的一些地 方。 第二章 系统原理概述 7 第二章 系统原理概述 如前文所述，通过对现行图像采集识别技术的