（精密仪器及机械专业论文）视觉检测中智能视觉传感器的研究(精密仪器及机械专业优秀论文).pdf

中文摘要 现代自动化生产技术的飞速发展，需要现代化的检测技术来保证其生产质 量。基于计算机视觉理论发展起来的视觉检测技术，以其高精度、非接触性、自 动化程度高等优点，满足了现代生产过程对在线检测的要求，应用日趋广泛。随 着现代工业生产技术的发展，现代化大生产的节拍不断加快，对视觉检测系统的 测量速度提出了更高的要求。本文在课题组研制成功的“汽车车身尺寸激光自动 检测站”基础上，提出了视觉检测系统中智能视觉传感器的实现方案。目的是提 高视觉检测系统的测量速度，使其满足于现代化高速生产节拍条件下的1 0 0 实 时在线检测。本课题得到了天津市自然科学基金项目“视觉检测中高速图像处理 技术研究”的资助。 本文针对以下三个方面进行研究并取得了积极的成果： ( 一) 智能视觉传感器硬件实现方案 为了满足现代工业生产过程对视觉检测系统测量速度的新要求，提出了智能 视觉传感器的总体实现方案，将f p g a 引入智能视觉传感器。在系统任务分割的 前提下，完成了基于f p g a 的智能视觉传感器硬件设计。 ( 二) 智能视觉传感器中图像采集 根据视觉检测系统所需图像的特点，采用v h d l 设计了f p g a 中图像采集 模块的时序控制与存储管理的逻辑电路，实现了智能视觉传感器对视频图像的采 集与存储。 ( 三) 智能视觉传感器中低级图像处理 针对视觉检测中的低级图像处理，在将f p g a 内部资源合理利用的前提下。 采用v h d l 进行了二维中值滤波等低级图像处理算法的设计，并在硬件板上做 了相关的验证，取得了满意的结果。 关键词：视觉检测图像采集图像低级处理智能视觉传感器f p g ac a n a b s t r a c t t h e r a p i dd e v e l o p m e n t o fm o d e ma u t o m a t i o n t e c h n o l o g y n e e d sm o d e m i n s p e c t i o nt e c h n o l o g i e st og u a r a n t e et h eq u a l i t yo fp r o d u c t s t h ev i s i o ni n s p e c t i o n t e c h n o l o g y ，b a s e do nt h et h e o r i e s o fc o m p u t e rv i s i o n ，m e e t st h er e q u i r e m e n t so f m o d e mi n d u s t r yi no n l i n ei n s p e c t i o na n dh a sb e e na p p l i e dw i d e l y ，w i t hi t sm a n y a d v a n t a g e ss u c h a sn o n c o n t a c t ，h i g hp r e c i s i o na n da u t o m a t i o n w i t ht h ed e v e l o p m e n t o fm o d e mi n d u s t r yt e c h n o l o g y , t h er h y t h mo fm o d e m m a n u f a c t u r i n gq u i c k e n sal o t a n dm u c hh i g h e rd e m a n d so nm e a s u r e m e n tv e l o c i t yi nv i s i o ni n s p e c t i o ns y s t e ma r e p u t f o r w a r d b a s e do nt h e p r o j e c t o f “t h el a s e ra u t o i n s p e c t i o n s t a t i o no n d i m e n s i o n so fa u t o m o b i l eb o d y ”，t h er e a l i z a t i o ns c h e m eo fi n t e l l i g e n tv i s i o ns e n s o r i s b r o u g h tf o r w a r di n t h i s p a p e r t h eo b j e c t i v e o ft h ep r o j e c ti st o h e i g h t e nt h e m e a s u r e m e n t v e l o c i t yi nv i s i o ni n s p e c t i o ns y s t e ma n d t of u l f i l l10 0 r e a lt i m eo n - l i n e m e a s u r e m e n to nt h ec o n d i t i o no f f a s tr h y t h mo f m o d e m m a n u f a c t u r i n g t h i sp a p e rf o c u s e so nt h et h r e ea s p e c t sb e l o wa n da c h i e v e sp o s i t i v er e s u l t s ： h a r d w a r e p r o i e c to fi n t e l l i g e n tv i s i o ns e n s o r t om e e tt h en e wd e m a n d so fm o d e m i n d u s t r yf o rm e a s u r e m e n tv e l o c i t yi nv i s i o n i n s p e c t i o ns y s t e m ，a r e a l i z a t i o np r o j e c to f i n t e l l i g e n tv i s i o ns e n s o ri sb r o u g h tf o r w a r d ， i n t r o d u c i n gf p g ai n t oi n t e l l i g e n t v i s i o ns e n s o r w i t ht h ep r e c o n d i t i o no ft a s k s d i v i s i o n ，t h eh a r d w a r ed e s i g no fi n t e l l i g e n tv i s i o ns e n s o rb a s e d o nf p g ai sf u l f i l l e d i m a g ec a p t u r i n g i ni n t e l l i g e n tv i s i o ns e n s o r a c c o r d i n gt ot h ec h a r a c t e r i s t i c so fi m a g e si nv i s i o ni n s p e c t i o ns y s t e m ，d e s i g n l o g i cc i r c u i t so fs e q u e n t i a lc o n t r o la n d a c c e s sm a n a g e m e n to f i m a g ec a p t u r i n g m o d u l e i nf p g a ，a n dr e a l i z et h ev i d e oi m a g ec a p t u r i n ga n da c c e s si n i n t e l l i g e n t v i s i o n s e n s o 【 l o w - l e v e li m a g e p r o c e s s i n g i ni n t e l l i g e n tv i s i o ns e n s o r a i m i n ga t l o w l e v e l i m a g ep r o c e s s i n gi nv i s i o ni n s p e c t i o n ，u t i l i z i n gt h ei n n e r r e s o u r c eo ff p g ae f f i c i e n t l y , d e v i s ep a r to fl o w l e v e l i m a g ep r o c e s s i n ga l g o r i t h m s u c ha sm e d i a nf i l t e ri nv h d l e x p e r i m e n t si nt h eh a r d w a r eb o a r dp r o v et h a tt h e r e s u l ti ss a t i s f a c t o r y k e y w o r d s ：v i s i o n i n s p e c t i o ni m a g ec a p t u r i n gi n t e l l i g e n t v i s i o ns e n s o r l o w l e v e li m a g e p r o c e s s i n g f p g ac a n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤盗盘鲎或其他教育机构的学位或证 书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：李艚炙 签字目期：如。2 年j 2 月了口日 学位论文版权使用授权书 本学位论文作者完全了解墨生盘茔有关保留、使用学位论文的规定。 特授权墨注盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅_ 和借阕。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 学位论文作者签名：奈埔丈 导师签名 签字日期：1 神声年f 2 月，o 日 签字日期：z 细年肛月；d 日 步从”z b 弘 第一章绪论 1 1 引言 第一章绪论 工业自动化生产技术的飞速发展，对现代质量检测技术提出了新的要求。 传统的检测手段已经不能满足于现代化生产的需要。计算机技术、数字图像处 理技术、c c d 技术以及视觉测量理论的发展和完善，使视觉检测技术逐步成 熟，并逐渐走进工业现场。视觉检测采用了大量的自动化、智能化技术，利用 计算机进行识别和控制，整个测量过程可以自动地完成。由于视觉检测具有高 精度、非接触性、高速性、自动化程度高等优点，使其在现代工业生产的测量 领域得到了广泛的应用。视觉检测技术应用的普及，促进了其本身的发展，使 其不断完善，应用范围日趋广泛。目前，视觉检测系统已经开始成为现代化大 生产中质量体系的有力保障。 现代工业生产技术的不断发展，加快了现代化工业大生产的生产节拍，为 了使视觉检测系统满足于现代化大生产的高速生产节拍，实现1 0 0 的实时 在线检测，视觉检测系统在测量速度方面有待于进一步的提高。在目前的视觉 检测系统中，多个视觉传感器输出的图像分时传送到计算机，由计算机中的图 像采集卡对图像逐一进行采集，并利用高级语言编写的程序对每幅图像进行处 理。视觉检测中的图像处理大致可以分为低级处理和高级处理：低级处理的数 据量大，算法简单，潜在着较大的并行性；高级处理的算法复杂，数据量小。 对于图像低级处理，在计算机中利用软件来实现是一个很耗时的过程，如果利 用硬件实现，就可以对大的数据量并行处理，能够极大地提高处理速度。而对 于图像高级处理，利用计算机软件来实现则具有较高的性能价格比。因此，采 用高速的硬件系统来实现图像采集和图像低级处理是提高视觉检测系统测量 速度的有效方法。 微电子技术和集成电路制造技术的发展，特别是现场可编程门阵列f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ) 的发展，为视觉检测系统中测量速度的提高 提供了新的解决思路和方法。智能视觉传感器的设计方案就是在这种条件下提 出的。智能视觉传感器在c c d 摄像机的基础上，嵌入了图像采集模块、图像 低级处理模块以及通讯接口模块，其中图像采集和处理模块是以f p g a 为核 心设计实现的。智能视觉传感器以f p g a 为核心，采用v h d l 进行f p g a 内 部的逻辑设计来实现所需要的功能。由于f p g a 设计灵活、编程方便，易于 第一章绪论 实现并行运算和流水线结构。所以，基于f p g a 的智能视觉传感器的运算速 度快、现场可编程，具有良好的适应性。 在视觉检测系统中采用智能视觉传感器的设计方案，根据图像低级处理和 高级处理的不同特点进行分工，实现了图像低级处理的硬件化，并且使所有智 能视觉传感器的图像采集和图像低级处理可以并行进行，极大的提高了视觉检 测系统的测量速度，使其能够满足于现代工业生产对检测系统的要求。 1 2 视觉检测及智能视觉传感器 1 2 1 计算机视觉与视觉检测“1 1 计算机视觉就是将人眼的视觉功能用计算机来实现，即利用计算机通过一 幅或多幅二维图像来研究和提取出三维景物的物理结构。计算机视觉是图像处 理、模式识别和人工智能技术相结合的手段，它着重于一副或多副图像的计算 机分析。计算机视觉的研究目的有两个方面：一是提供人类视觉的计算模型； 二是利用计算机来设计与发展某种适度的视觉系统，并提供具有良好性能价格 比的专用系统。其中，前者是关于计算机神经科学的基础性研究，后者往往涉 及到很强的应用性和工程性问题。计算机视觉的研究范围很广泛，它包含了图 像处理的绝大部分内容，如图像增强与恢复，图像分割，模式识别等。 视觉检测理论来源于计算机视觉，是计算机视觉技术在物体外形尺寸检测 方面的应用。视觉检测是对已经加工好的机械零部件的几何量进行测量，并评 价其与预先设置的标准量符合程度。所以，视觉检测不仅要能够定量地确定景 物中物体的空间性质，更重要的是能够精确描述被测景物的三维尺寸。 基于视觉检测理论发展起来的视觉检测技术，是一项新型的工业测试技 术，它具有非接触性、实时在线性、精度高、自动化程度高、信息量丰富等优 点。随着计算机技术以及电子器件水平的飞速发展，视觉检测的优势正在得到 充分发挥，目前已经被认为是实现在线精密测试的一种有效手段。 1 2 2 智能视觉传感器 随着现代社会先进制造业的不断发展，现代化大生产的节拍也不断加快， 对视觉检测系统的测量速度也提出了更高的要求。为了使视觉检测技术能够很 好地满足于现代化大生产的要求，实现1 0 0 在线检测，在视觉检测系统中采 用了智能视觉传感器的实现方案。它的特点是：单元相对独立，智能视觉传感 第一章绪论 器内部具有管理单元，可以独立工作；具有较高的运算速度，在速度上能够满 足实际应用的需要；具有较强的适应性，能够满足于视觉检测系统中不同的测 量要求。 传统视觉传感器的主要组成部件是c c d 摄像机，输出信号为标准的模拟 视频信号，模拟视频信号传送到计算机后经过图像采集卡将模拟信号转化成数 字信号，然后再进行数据处理。这种方式的传感器网络化困难、图像处理速度 缓慢，这无疑会影响其应用范围。智能视觉传感器在c c d 摄像机的基础上， 嵌入了图像采集模块、图像低级处理模块以及通讯接口模块等。c c d 摄像机 是智能视觉传感器的直接信息来源，用于获取原始的视频图像。图像采集模块 是由视频输入处理器、图像缓存以及利用f p g a 设计的接口电路组成的。它 的主要功能是将c c d 摄像机获取的模拟视频信号转换为数字图像信号，并将 数字图像信号传输给图像低级处理模块进行图像数据的低级处理。图像低级处 理模块是计算机的辅助处理器，由f p g a 内部的逻辑电路来实现。它实现了 算法的硬件化，可以实时高速地完成各种低级图像处理算法，减轻了计算机的 处理负荷，提高了整个视觉检测系统的速度。计算机是整个视觉检测系统的核 心，它控制着整个系统的各个模块的正常运行，并以纯软件的方式进行图像数 据的高级处理。 智能视觉传感器通过f p g a 实现了图像低级处理的硬件化，使图像底层 处理算法可以并行执行，大大减少了传输的数据量，使计算机从图像低级处理 的大量数据中脱离出来，减轻了计算机的负荷。在很大程度上提高了视觉检测 系统的效率，使视觉检测系统能够满足于现代化生产的1 0 0 在线检测。 1 3 微电子技术促进了智能视觉传感器的发展 微电子技术和集成电路制造技术的飞速发展，为智能视觉传感器的发展提 供了非常广阔的空间。一方面，随着集成电路技术的迅速发展，视频a d 转 换、视频信号处理、同步信号分离、时钟信号锁相等功能被集成在一个芯片中， 形成了视频输入处理器，从而为研制专用的图像采集系统提供了新的手段和方 法。例如，p h i l i p s 公司的s a a 7 1 1 1 芯片，将模拟视频信号处理和视频a d 转 换等许多功能集成在一起，解决了采用分立元件设计图像采集系统的困难，降 低了图像采集系统设计的难度“1 。 另一方面，大规模可编程逻辑器件( f p g a j c p l d ) 的出现给数字电路设 计带来了新的思路和实现方法。现场可编程门阵列( f p g a ) 是目前应用非常 广泛的可编程专用集成电路( a s i c ) ，利用它可以在芯片内部设计出所需要的 第一章绪论 硬件电路，由于f p g a 还具有静态可重复编程和动态可重构的特性，使得硬 件的功能可以象软件一样通过编程来修改，提高了系统设计的灵活性和通用 性。由于结构和工艺的不断改进，f p g a 芯片上包含的资源越来越丰富，可实 现的功能越来越强，已经成为系统集成化的重要手段。 由于f p g a 既可用于数字电路的接口逻辑设计，又可用于实现数字信号 处理的各种算法，而且还具有i s p ( 在系统可编程) 的能力，即可以在不改变 系统硬件设计的基础上，完成对所设计的逻辑电路的修改。因此，高速度、大 容量f p g a 的出现，为实现智能视觉传感器中图像信号的采集与实时处理提 供了可行方案。 随着电子技术的飞速发展，e d a 技术已经成为电子系统设计的重要手段。 对于f p g a 的所有设计工作，都需要在计算机上借助于e d a 软件工具进行。 在e d a 软件的支持下，设计者只要完成对系统功能的描述，就可以由计算机 进行处理得到设计结果，修改设计非常方便。利用e d a 设计工具，设计者可 以通过功能仿真和时序仿真来预知设计结果，从而减少了设计的盲目性，提高 了设计效率。用硬件描述语言进行设计是当前e d a 技术的一个重要特征。与 传统的原理图设计方法相比，硬件描述语言更适合于规模日益增大的电子系 统。硬件描述语言编程灵活，可读性强，移植性好，设计非常方便。目前最常 用的硬件描述语言有v h d l 和v e f i l o g h d l ，它们都已经成为i e e e 标准“1 。 1 4 本文的主要工作 本文的研究内容是在课题组研制成功并已经在现场使用的“汽车车身激 光视觉检测站”基础上，根据现代化高速生产节拍条件下的视觉检测系统发展 要求，致力于提高1 0 0 实时在线视觉检测系统的数据处理速度，在理论上和 实践上进行了深入的研究。主要进行了以下工作： 1 、 在课题组现有的“汽车车身激光视觉检测站”的基础上，结合现 代化高速生产节拍条件下实现1 0 0 实时在线检测所面临的测量 速度问题，提出了智能视觉传感器的硬件实现方案。 2 、 针对视觉检测系统中智能视觉传感器的实际应用，提出了设计完 整的智能视觉传感器所需要的三个步骤：基于f p g a 的智能视觉 传感器；基于c a n 总线的网络控制系统；构建完整的智能视觉传 感器。在此基础上，完成了基于f p g a 的智能视觉传感器的硬件 设计。 3 、 针对智能视觉传感器中的图像采集模块，采用v h d l 在f p g a 中 4 第一章绪论 设计了图像采集模块时序控制和存储管理的逻辑电路，在智能视 觉传感器中成功地实现了视频图像的采集与存储管理等。 根据视觉检测系统中图像处理的特点和要求，结合f p g a 内部的 可用资源，用v h d l 编写了图像低级处理的部分算法，完成了功 能仿真之后，在硬件电路上做了相关的验证。 第二章智能视觉传感器硬件实现及工作原理 第二章智能视觉传感器硬件实现及工作原理 视觉检测系统以计算机为中心，由视觉传感器、高速图像采集系统和专用 图像处理系统等模块构成。视觉传感器是整个系统信息的直接来源，用于获取 视觉检测系统所要处理的原始图像，其主要部件是c c d 摄像机。现有的c c d 器件和图像采集设备基本上能够满足多数应用场合在采样速度方面的要求。因 此，图像处理的速度直接影响了视觉检测系统的性能，提高图像处理的速度就 能提高视觉检测系统的工作速度。目前的视觉检测系统中，多个视觉传感器输 出的模拟视频信号，由计算机控制，分时传送到图像采集卡进行图像采集，然 后在计算机上利用由高级语言编写的程序对图像进行处理。 视觉检测系统根据被测对象的需要，常常要测量几十个点，因此需要几十 个视觉传感器，要采集和处理的图像数据量相当大。目前市面上的图像采集卡 多为p c i 总线架构，足以满足实时传输的要求。但是，如果采用通用图像采 集卡进行图像采集，则图像采集只能在计算机的控制下串行地逐一获取图像数 据，不能并行实现。而且图像数据的低级处理和高级处理都要由计算机来实现。 图像的低级处理与高级处理在算法、操作数等方面上有很大的差别，低级处理 数据吞吐量大、算法简单，存在较大的并行性。如果在计算机上用高级语言来 实现图像的低级处理，将是一个很耗时的过程。此外，对几十个视觉传感器中 图像的采集也将占用许多宝贵的时间。如果在通用图像采集卡基础上再配以通 用图像处理卡进行图像处理，则图像数据从采集卡到计算机，再到图像处理卡 的传输过程将更不能满足本系统的实时性要求。 综上所述，采用通用的图像采集卡和图像处理卡构成的多传感器视觉检测 系统，不能满足某些现代化大生产的高速生产节拍，给视觉检测系统在1 0 0 在线检测方面带来了局限性。因此提出了本课题：视觉检测中智能视觉传感器 的研究。在智能视觉传感器内部嵌入了图像采集模块和图像低级处理模块。以 现场可编程门阵列( f p g a ) 为核心，实现图像低级处理算法的硬件化。智能 视觉传感器具有智能化、高速化、易于网络化的特点，可以提高视觉检测系统 的测量速度，使其满足于现代化大生产的高速生产节拍。 2 1 智能视觉传感器设计思路 智能视觉传感器主要包括c c d 摄像机、图像采集模块、图像低级处理模 块和通讯接口模块。基于f p g a 的智能视觉传感器的设计，主要是图像采集 6 第二章智能视觉传感器硬件实现及工作原理 模块和图像低级处理模块的设计。由于智能视觉传感器要处理的数据量很大， 为了满足1 0 0 在线检测的要求，图像数据的获取以及图像的低级处理必须 在较短的时间内完成，即采集和处理都必须是实时的，这里所说的实时是指整 个系统的处理速度能够满足被测对象所属系统的生产节拍。 目前的图像采集技术已经相当成熟，主要由视频输入处理器( v i p ) 、数 据存储器、接口控制器等组成。本系统采用视频输入处理器s a a 7 1 1 1 处理c c d 摄像机输出的模拟视频信号，数据存储器采用5 1 2 k x8b i t 的s r a m 。 图像处理技术是视觉检测系统的关键技术之一，图像处理的速度直接影响 着整个视觉检测系统的速度。因此，设计高效的图像低级处理模块对智能视觉 传感器来说是至关重要的。传统上图像处理实现手段主要有以下几种：一、通 用计算机；二、并行处理；三、数字信号处理器( d s p s ) ；四、专用集成电路 ( a s i c ) 。上述各种方法都取得了一定的成就，但每种方法都存在一定的局限 性，下面将分别介绍： 一、通用计算机 目前的通用计算机是基于冯诺依曼结构的，其软件的执行过程是单指令 单数据的串行处理过程。一般通过高级语言( c ，c + + 等) 代替汇编语言编写程 序代码，经过编译后最终转换成机器码执行，其特点是在任一时刻只能有一条 指令在执行。这是目前视觉检测系统经常采用的图像处理手段。虽然现在的通 用计算机技术发展非常快，由i n t e l 公司生产的p e n t i u m 系列c p u 主频已经达 到2 g ，但是，由于其串行地指令执行，使得它在很多情况下对低级图像处理 中的大数据量处理不能够满足实时高速的要求。对于视觉检测中的图像高级处 理，它在性能价格比上则有一定的优势。 二、并行处理 在许多场合下，当一个c p u 不能够对数据进行实时处理的时候，采用多个 c p u 同时工作的并行处理可能会解决这个问题“1 。各国学者在这方面作了大量 的工作，并且已经研究出了多种并行结构“1 和编程语言”1 。并行处理克服了 单个处理器在硬件上串行工作的局限性，提高了系统的性能。但是，由于这个 领域的发展尚不成熟，并行处理算法的编写比较困难，处理器间的理想协调关 系还处在不断地研究之中，实际上并行处理所能达到的性能和理论上的性能相 比差距较大”1 。 三、数字信号处理器( d s p s ) “1 数字信号处理器( d s p ) 是专门针对于数字信号处理而设计的处理器，其 内部采用哈佛结构，利用专用硬件来实现一些数字信号处理中的常用算法，所 第二二章智能视觉传感器硬件实现及工作原理 以它进行这些运算的速度非常快。例如，当流水线满的时候，乘加( m a c ) 运算只需要一个时钟周期就可完成。随着需求的增大。d s p 的发展非常迅速， 如t i 公司的t m s 3 2 0 系列，从c 2 x 到c 6 x ，无论定点还是浮点，功能都在不 断完善。现在许多高端工作站为了提高系统性能都增加了d s p 模块，采用d s p 作为协处理器。但是，d s p 仅仅是对某些固定的运算提供硬件优化，它的内 部仍然是单指令的执行系统，并且这些固定优化运算并不能够满足众多算法的 需要，因此使系统的灵活性受到了限制。 四、专用集成电路( a s i c ) “” 专用集成电路( a s i c ) 是为了某种固定需求而专门设计的硬件芯片，在 各种算法实现中a s i c 的速度是最快的。如果采用通用微处理器和d s p 都不 能满足速度要求时，可以采用专用集成电路( a s i c ) 来实现。但是，a s i c 从 设计到投入使用，需要较长的开发周期，并且由于它是为专门应用而设计的， 需求量一般较小，所以成本也较高。另外，由于a s i c 是为了专用目的而设计 的，当需要改变算法时就不得不重新设计芯片和硬件电路。所以采用a s i c 构 建的图像处理系统，灵活性不好。 在视觉检测系统中，对于图像处理的要求是速度快，灵活性高，能够适应 多种图像处理的要求。从以上分析中可以看出，上述的各种方法在速度、灵活 性以及性能价格比等方面都各有缺点，不能够满足要求。 现场可编程门阵列f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ) 是随着集成电 路制造技术的发展而产生的一种芯片，它可以在不改变系统硬件设计的基础 上，改变芯片内部硬件的逻辑实现，从而改变芯片所实现的功能。随着f p g a 技术的发展，现在的f p g a 已经发展到上百万门可编程资源，采用f p g a 完 全可以实现一些比较复杂的算法。目前，一些标准的d s p 功能都可以在f p g a 中以d s p i p 的形式来实现。 如果用f p g a 处理图像数据，可以实现图像处理算法的硬件化，能够大大 降低图像处理的时间开销；而且f p g a 的编程技术成熟，算法通用性好，易 于移植，还会使系统具有良好的柔性。正是因为f p g a 既具有类似于软件的 灵活性，又具有接近于专用硬件的高速性，同时还有很高的性能价格比，所以 选择了f p g a 进行图像数据的低级处理。采用这种实现手段，能够在速度上 满足1 0 0 在线检测的需要，并且由于f p g a 现场可编程，可以在不改变硬 件设计的条件下改变图像处理的算法，能够满足视觉检测中的多种需要，使系 统具有很好的适应性。 由以上分析可知，智能视觉传感器中图像采集模块中的接口时序控制、初 第二章智能视觉传感器硬件实现及工作原理 始化和存储管理等功能，以及图像低级处理模块都是采用f p g a 来实现的， f p g a 在智能视觉传感器中起着关键的作用。在智能视觉传感器中，采用x i l i n x 公司的s p a r t a ni i 系列x c 2 s 1 5 0 芯片，它是一种性能价格比很高的f p g a 。智 能视觉传感器中的图像采集模块框图如图2 - 1 所示。 图2 - 1智能视觉传感器的图像采集模块框图 2 2 智能视觉传感器总体实现方案 2 2 1智能视觉传感器的网络化 智能视觉传感器应用于视觉检测系统，由于被检测对象一般包含几十个被 测点，而每个被测点需要一个智能视觉传感器，所以视觉检测系统中一般包含 几十个智能视觉传感器。在视觉检测系统中，所有智能视觉传感器处于同一级 别，它们在计算机的控制下进行工作。在智能视觉传感器网络化方面，采用 c a n 总线来组建视觉检测系统的网络。c a n 总线是一种应用非常广泛的串行 通讯总线，它具有高抗电磁干扰性、高保密性、通信速率高、自动解决总线竞 争、实时性好、纠错能力强等诸多优点“”。视觉检测系统模型如图2 2 所示。 图2 - 2 视觉检测系统模型 计算机是视觉检测系统的控制中心，每个智能视觉传感器在计算机的控制 第二章智能视觉传感器硬件实现及工作原理 下进行图像采集与低级处理，然后将处理后的数据传送给计算机，所有的数据 传输都是通过c a n 总线来完成的。采用c a n 适配卡使计算机与c a n 总线网 络相连，该适配卡可以在市面上购买，主要由带有c a n 控制器的p 8 7 c 5 9 2 单 片机、p c a 8 2 c 2 5 0c a n 收发器、8 2 5 5 a 可编程外围接口芯片组成。p 8 7 c 5 9 2 单片机内部集成了c a n 控制器，符合c a n 2 0 a 标准，并行接口采用8 2 5 5 a 可编程外围接口芯片，c a n 转换主要由p 8 7 c 5 9 2 单片机控制。为了使智能视 觉传感器连入c a n 总线网络，同样需要c a n 控制器和c a n 收发器两个器件。 这时有两种选择，其一是选用内部带有c a n 控制器的单片机和c a n 收发器 组合；其二是选用单纯的c a n 控制器和c a n 收发器组合。由于单纯的c a n 控制器引脚数目较少，如果选择第二种方法，会节省线路板空间，但c a n 控 制器的接口控制部分就要由智能视觉传感器中的f p g a 来实现，需要占用 f p g a 内部资源，会给系统带来额外的工作量。为了减少系统的设计工作，又 考虑到芯片的性能，选用内部带c a n 控制器的单片机p i c l 8 f 2 4 8 和c a n 收 发器m c p 2 5 5 l 组合，将它们嵌入到智能视觉传感器中。 2 2 2 智能视觉传感器模型 智能视觉传感器的主要功能是通过c c d 摄像机获取模拟视频信号，用视 频输入处理器实现视频信号的处理，处理后的数据为数字信号。视频输入处理 器输出的信号包括图像数据、亮度信号、色度信号、点时钟信号、行场同步信 号以及行场参考信号等。根据视频输入处理器提供的同步信号和参考信号，由 f p g a 实现接口逻辑控制，将一幅图像数据存储到s r a m 中。然后由f p g a 对存储在s r a m 中的数据进行低级处理，整个智能视觉传感器需要两片f p g a 芯片。图像低级处理之后的数据通过c a n 总线传送到计算机中，为了将智能 视觉传感器接入c a n 总线，需要在智能视觉传感器中嵌入c a n 接口模块， 该模块主要由带有c a n 控制器的单片机和c a n 收发器组成。 根据智能视觉传感器的功能，可以将智能视觉传感器分为以下几个模块： c c d 摄像机；图像采集模块；图像低级处理模块；c a n 接口模块。这样就完 成了整个智能视觉传感器的方案设计。智能视觉传感器模型如图2 3 所示。 第二章智能视觉传感器硬件实现及工作原理 智能视觉传感器模型的建立，改变了视觉检测系统中的传感器加计算机 的工作模式，由智能视觉传感器实现图像采集以及大数据吞吐量的图像低级处 理，由通用计算机实现算法复杂、但数据量较小的高级处理，充分利用各种技 术的长处，实现了视觉传感器的智能化和网络化，提高了视觉检测系统的测量 速度，对视觉检测技术具有重要意义。 23 基于f p g a 的智能视觉传感器硬件设计 2 3 1f p g a 的发展及x c 2 s 1 5 0 芯片 现场可编程门阵列f p g a 是一种现场可编程的专用集成电路。它具有类 似于半定制门阵列的通用结构，由逻辑功能块排列成阵列，并由可编程的互连 资源连接这些逻辑功能块来实现所需要的设计。在某种意义上说，f p g a 是一 种将现场可编程特性与门阵列的通用结构结合于一体的新型器件，它具有集成 度高、通用性好、设计灵活、丌发周期短等优点。最早的f p g a 是由x i l i n x 公司推出的，其典型的产品均采用c m o ss r a m 工艺制造，可以反复的编程。 由于f p g a 采用了类似门阵列的通用结构，规模可以做得较大，可实现的功 能强，设计的灵活性也很大。f p g a 中包含丰富的触发器资源，有些还具有片 上r a m 、内部总线等许多系统级的功能，可以用于实现片上系统的集成。f p g a 的突出特点是系统内可重构特性。系统内可重构是指可编程a s i c 在置入用户 系统后仍具有改变其内部功能的能力。按照实现途径的不同，系统内重构可分 为静态重构和动态重构两类。系统内可重构技术，不仅使电子系统的设计和功 能扩充十分简便，而且使所设计的系统具有很强的灵活性“1 。 f p g a 内部的逻辑设计可以在专用的开发系统中完成，f p g a 的配置有串 行主模式、串行从模式等多种模式。在串行主模式中，系统上电时f p g a 自 动将配置代码读入由s r a m 构成的配置存储器，并由各个配置存储单元控制 f p g a 中的可编程资源，实现用户的专用设计。在串行从模式中，必须由外部 控制器产生配置时序，完成对f p g a 的配置。 根据智能视觉传感器的功能特点，在分析各公司的f p g a 芯片的基础上， 选用了x i l i n x 公司的x c 2 s 1 5 0 芯片。x c 2 s 1 5 0 是x i l i n x 公司生产的第二 代商i 生能f p g a ，在s p a r t a ni i 系列中容量是最大的，每个芯片含有1 5 万 个逻辑门，可以进行无限次编程，具有很高的性能价格比。s p a r t a ni i 系列 芯片采用v e r t e x 系列内核。内部时钟能够达到2 0 0 m h z ，具有两种片内r a m ， 为高速计算设置专用进位逻辑。s p a r t a ni i 系列f p g a 主要包括5 个可配置 第二章智能视觉传感器硬件实现及工作原理 部分：可配置逻辑块( c l b ) ，用于实现大部分逻辑功能：在c l b 的四周分布 着可编程的输入输出块( i o b ) ，提供封装引脚与内部逻辑之间的连接；丰富 的多层互连结构：片上随机存取内存( s e l e c t r a m t m ) ：d l l 时钟控制块。 在图像处理模块中，采用x c 2 s 1 5 0 芯片作为处理单元相对于其它f p g a 芯片具有以下优点：一、容量大，x c 2 s 1 5 0 具有1 5 万个等效逻辑门，能够满 足一个比较复杂的图像处理算法的需要：二、内部含有1 2 个大容量r a m 块， 可用于存储中间数据，能够提高存取速度，节省i o 口资源；三、时钟频率高， 处理速度快，能够满足高速图像处理的需要。 2 3 2 硬件设计及工作原理 智能视觉传感器是一个比较复杂的系统，其硬件设计中包含着许多需要解 决的问题。首先是系统中使用了较多的新器件，如s a a 7 1 1 1 ，f p g a ，高速 s r a m ，c a n 控制器与收发器等，各个芯片之间的接口、内部时序逻辑以及 协调工作是一个难点。其次，构建一个完善的智能视觉传感器将是一个巨大的 工作。在芯片之间存在着大量的数据线、地址线、控制信号线以及时钟线等， 这对多层线路板设计是一个较大的考验。因为对于时钟频率较高的数字系统， p c b 布局与布线直接影响着系统的性能。在整个系统调试时，要包括插在计 算机中的c a n 适配卡，所以还需要一些额外的工作。为了便于硬件设计和调 试，在构建硬件方案时，将智能视觉传感器分割为两大子系统：图像采集和低 级处理子系统：网络控制子系统。在硬件实现上，将智能视觉传感器的设计分 为三个步骤。第一步：设计基于f p g a 的智能视觉传感器：第二步：设计基 于c a n 总线的网络控制系统；第三步：在前两步的基础上，构建完整的智能 视觉传感器。 本文所做的是第一步工作，设计基于f p g a 的智能视觉传感器。为了便 于系统的调试，在实验板上设计了p c i 总线接口和u s b 总线接口，同时预留 了串行通讯口和并行数据线与控制线。可以将图像数据传送到计算机，也可以 实现与其它系统的通讯，例如可以连接网络控制系统进行实验。基于f p g a 的智能视觉传感器基本功能如下：利用c c d 摄像机获取图像信息，经过光电 转化，输出模拟视频信号，用可编程视频输入处理器s a a 7 1 1 1 进行视频信号 处理，s a a 7 1 1 l 内部集成了强大的图像色度、亮度处理功能以及多种输出格 式。它有3 2 个工作寄存器，在系统复位时，必须通过f p g a 的1 2 c 总线模块 对其进行初始化，以设置其内部寄存器。s a a 7 1 1 1 输出的图像数据通过f p g a 芯片进行采集，并将其存储在c y 7 c 1 0 4 9 v 3 3 中，它是容量为5 1 2 kx8 b i t s 第二章智能视觉传感器硬件实现及工作原理 的高速s r a m 。图像采集完成之后，由两片f p g a 芯片以流水线方式进行图 像低级处理，低级处理结束之后，将图像数据存储到s r a m 中。根据系统调 试的需要，可以利用预留的通讯口将数据传送到计算机观察图像处理的结果， 或者将数据传送到其它系统进行实验。基于f p g a 的智能视觉传感器结构模 型如图2 - 4 所示。 通讯口 图2 - 4 基 二f p g a 的智能视觉传感器结构模型 系统加电以后，首先进行f p g a 程序的自行加载。在程序加载过程中， f p g a 处于配置状态。两片f p g a 芯片具有不同的程序，其中f p g a l 包括初 始化、图像采集、图像处理与数据传送部分，f p g a 2 仅为图像处理与数据传 送部分。两片f p g a 的程序存储在串行s p r o m 芯片中。f p g a 程序的加载采 用串行主从模式。f p g a l 采用串行主模式，f p g a 2 采用串行从模式，由f p g a i 从s p r o m 中读取配置数据，完成自身配置，并完成对f p g a 2 的配置。系统 完成f p g a 程序加载后，f p g a 芯片便进入工作状态。由f p g a l 的1 2 c 总线 模块对s a a 7 1 1 l 初始化，初始化结束后等待采集图像的命令。初始化成功后， s a a 7 1 l l 实时处理模拟视频信号，输出亮度和色度信号，同时输出点时钟信 号，行、场同步信号，行、场参考信号，奇、偶场标志信号等。由于本系统使 用灰度图像，没有使用色度信号，所以数据线为八位。 当系统接收到采集图像的命令时，启动f p g a l 的采集同步模块。采集同 步模块发出采集标志信号，采集一帧图像，通过写数据模块产生写地址和写信 号将数据存储到s r a m l 中。采集结束时，采集标志信号撤消，采集同步模块 复位，等待下一次采集命令。采集标志信号撤消时，f p g a l 读取s r a m l 中 的图像信息，这是通过读数据模块产生读地址和读信号来实现的。然后由 f p g a l 和f p g a 2 以流水线的方式分别对所采集的图像进行低级处理，两片 f p g a 的流水线方式是通过以s r a m 2 为中介实现的。f p g a l 从s r a m l 中读 第二章智能视觉传感器硬件实现及工作原理 取数据，处理后存入s r a m 2 中，当f p g a l 继续读取s r a m l 中数据并进行 处理的同时，f p g a 2 读取s r a m 2 中经过f p g a l 处理过的数据进行后续处理， 处理后存储到s r a m 3 中。这样以流水线的方式实现了不同算法的并行执行， 缩短了图像处理的时间，提高了系统的效率。基于f p g a 的智能视觉传感器 实验板如图2 5 所示。实验板的p c b 布局图和p c b 布线图在附录b 。 2 4 本章小结 图2 5基于f p g a 的智能视觉传感器实验板 本章从提高视觉检测系统的图像处理速度，使视觉检测系统能够满足于现 代化大生产的高速生产节拍这一根本目的出发，提出了智能视觉传感器的设计 思路，使视觉检测系统中的低级图像处理在智能视觉传感器中由f p g a 来完 成。在分析了现有图像处理技术与实现手段的基础上，构建了智能视觉传感器 的模型。根据现场可编程门阵列f p g a 的优良特性，在系统任务分割的前提 下，完成了基于f p g a 的智能视觉传感器硬件设计，实现了图像处理算法的 硬件化，大大提高了视觉检测系统的测量速度，满足了实际需要。 第三章图像采集