（测试计量技术及仪器专业论文）视觉传感器中高速图像处理的研究.pdf

摘要 中文摘要 现代化大生产的迅猛发展，对保证其产品质量的检测技术也提出了越来越高 的要求，许多传统的检测手段已不能满足现代化大生产的需求。在计算机视觉理 论基础上发展起来的视觉检测技术以其高精度、非接触、自动化程度高等优点能 够满足了现代生产过程在线检测的要求，得到了广泛的应用。随着现代生产节拍 的不断加快，以及控制网络日趋复杂化，高速化，视觉检测系统的测量速度和控 制能力也受到了挑战。在视觉检测系统中，要实现1 0 0 实时在线检测最好能使 视觉传感器智能化。通过提高图像的处理速度，简化整个系统网络结构，从而提 高整个视觉检测系统的处理速度。因此本文提出c m o s 摄像机与f p g a ( f i e l d p r o g r a m m a b l eg a t e a r r a y ) 相结合的智能视觉传感器方案，利用外围f p g a 结构与 嵌入式c p u 软硬件协同工作的传感器设计。以加快图像处理速度，简化系统网 络结构，达到生产节拍的要求。 本文针对以下三个方面进行研究并取得一定的成绩： ( 一) 智能视觉检测传感器硬件解决方案的研究 通过分析现有的视觉检测系统的优缺点，提出了c m o s 摄像机和现场可编 程逻辑器件f p g a 技术的智能视觉检测传感器的方案，并构建了其硬件平台。对 方案的可行性进行了论证。 ( 二) 基于c m o s 器件的图像采集 采用c m o s 摄像机作为系统的图像采集部分，实现图像信号直接数字化， 文章对c m o s 摄像机的使用进行了讨论。 ( 三) 基于f p g a 的图像处理的研究 分析图像处理的特点及其基本的方法，初步研究了基于f p g a 的图像低层次 处理的硬件化方法的实现。对内嵌在f p g a 内部的p o w e r p c 处理器的使用进行 了初步的讨论和验证。 关键词：视觉检测c m o sf p g ap o w e r p c 低层次图像处理 摘要 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fm o d e ma u t o m a t i o nm a n u f a c t u r e ，i ti sn e c e s s a r y t od e v e l o pn e wi n s p e c t i o nw a y st oe n s u r et h eq u a l i t yo f t h ep r o d u c t s m a n yt r a d i t i o n a l m e a s u r i n g m e t h o d sa l en o ts u i t a b l ef o rm o d e mi n d u s t r i a lp r o d u c ta n ym o r e h o w e v e r , v i s u a li n s p e c t i o nb a s e do nc o m p u t e rv i s i o nm e e tt h ed e m a n d s v i s u a li n s p e c t i o n e q u i p m e n t sc a no f f e rn o n c o n t a c t ，h i g h - p r e c i s i o n ，a u t o m a t i c ，a n d10 0 一p e r c e n t - o n - l i n e m e a s u r e m e n t s ，s on o wi th a sb e e nu s e di nm o n i t o r i n ga n dm e a s u r i n gi ni n d u s t r i a l f i e l d t h es p e e do fi n s p e c t i o nn e t w o r kc a nb ei n c r e a s e db ys i m p l i f y i n gi t ss t r u c t u r e a n di m p r o v i n gt h es p e e do fi m a g ep r o c e s s i n g i nt h i sp a p e r , t h ei d e ao fs m a r tv i s i o n s e n s o ri sp r e s e n t e d ，w h i c hi sb a s e do nt h ec o m sc a m e r ac h i p s a n df p g a t e c h n o l o g y i ta i m st oi m p r o v et h ei n s p e c t i n gv e l o c i t yo f t h ev i s i o ni n s p e c t i o ns y s t e ma n dm a k ei t t of u l 6 l l1 0 0 r e a lt i m eo n - l i n ei n s p e c t i o n t 1 1 i sp a p e rf o c u s e so nt h et h r e ea s p e c t sb e l o wa n da c h i e v e ss o m er e s u l t s t h es t u d yo nt h eh a r d w a r ea r c h i t e c t u r ed e s i g no f t h es m a r tv i s i o ns e n s o r b ya n a l y z i n gt h ea d v a n t a g e sa n dd i s a d v a n t a g e so ft r a d i t i o n a lv i s i o ni n s p e c t i o n s y s t e m ，t h es y s t e mb a s e do nc m o sc a m e r aa n df p g a i sb r o u g h tf o r w a r d a n dt h e s c h e m a t i cd e s i g nh a sb e e nf i n i s h e d n e s t u d yo ni m a g e c o l l e c t i o nu s i n gc m o sc a m e r a t h es y s t e mu s e sc m o sc a m e r aa si t se y e s t h i sp a p e rd i s c u s s e sh o wt ou s et h e c a m e r aa n dg i v e sav h d lm o d e lt oi n i t i a l i z et h ec a m e r a t h es t u d yo nl o w - l e v e li m a g ep r o c e s s i n gi nf p g a o nt h eb a s i so fa n a l y z i n gt h em a i nw a y so fi m a g ep r o c e s s i n ga n dt h er e s o u r c eo f f p g a ，s o m er e a l - t i m el o w - l e v e lh a r d w a r ei m a g ep r o c e s s i n ga l g o r i t h ms u c ha s m e d i a nf i l t e ri nv h d li sp r e s e n t i ta l s od i s c u s s e dt h eu s a g eo ft h ec p uw h i c hi s e m b e d d e di nf p g a k e y w o r d s ：v i s i o ni n s p e c t i o nc m o sf p g al o w - l e v e li m a g ep r o c e s s i n g i l 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤盗盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：责建梅签字f i 期：硼年j 月f ；同 学位论文版权使用授权书 本学位论文作者完全了解盘洼盘堂有关保留、使用学位论文的规定。 特授权叁盗盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：簧建梅 导师签名： 签字r 期：剐年1 月j ；日 第一牵绫论 1 1 弓i 言 第一章绪论 随着现代化大生产的发展，检测技术成为现代制造业的基础技术之一， 是 保证产品质量的关键。近几十年来，制造业在新材料、新正艺、新设备等方面 取褥了垂大遴多，译多传统熬捻溅技零已不能满足现代锈造建静需要，表瑰在： 现代制造产品种类有很大的扩充，许多新型产品没有相应的检测方法；现代爨4 造 强调实时、在线、非接触检测，确保对制造过程实现企面撩制，提高生产效率 窥产鑫静含格率，这是许多传统检溺簪段无法提供豹；现代产品酌稍造精度大大 提麓，要求楣废高糟度的检测方法。 先进制造业的迅猛发展，对伴随其发展的质疑检测技术提出了更商的要求。 鑫动亿铡造过程中静完整旗量缣漳系统必须其有1 0 0 在线稔溺的能力，具备可 扩充性和霾构性。1 0 0 的在线检测对于提瘫产品鲍质爨、降低成本有蓑重要黪 意义。通过实时的在线检测，可以及时的发现不会格的产品，把废品消灭在生产 过稷中，还能够穰侠发现加工中产品翁交化趋势，通道及时调整设备，预防不合 格产品的燃现，从焉实现零废最。实孵在线检测要求测量的速度要快，测量豹糖 度要高，测量设备抗干扰性要强，可以工作在生产现场，还要求设备具柯较高的 智能亿藕自动化，减痧入为因素的影响，保证测擞的精度。：辩矫，测量设备的体 积要适瘟予生产现场，应当具备灵活馕，易子进露修改秘维修，这榉方缝保诞生 产过程的连续性。 视觉检测技术舆有菲接触、速度快、精度合适、现场抗干扰能力强等突出 的谯点，悲 韪好地满足现代制造业黪嚣求， 在实际孛显示爨广麴懿应爆蘸鬃。 视觉检测技术魑建立在计算机视觉研究基础上的一门新兴检测技术，和计算机视 觉研究的视觉模式识涮、税觉理解等内容不同，视觉检测技术是利用计算机视觉 骚突成果，重点疆究貔髂黪足键足砖及物体在空闼位姿瓣三绦测塞技术。隧着计 算机技术、数字图像处理、成像技术以及视觉测量理论的发展和完善，视觉检测 技术逐步成熟，并逐步走谶工业现场。 从技零本身塞漤，粳觉检测采翅了大量鑫动偬、簪缝链鼓拳，逶逑麓戆设备 对检测过程进行控制，测量过程只需很少的人工予预就可完成，从而保诫了测量 的精度，掇高了自动纯的程度。识随着视觉检测技术应用的酱及，成用范围的日 第一章绻论 1 1 弓i 言 第一耄绪论 随着现代化大生产的发展，检测技术成为现代制造业的基础技术之一，是 保证产品质量的关键。近几十年来，制造业在新材料、新工艺、新设备等方面 取得了巨大进步，许多传统的戆测技术已不能满足现代裁造鸵豹需要，表现在： 现代制造产品种类有很大的扩充许多新型产品没育相应的检测方法；现代常4 造 强调实时、在线、非接触检测，确保对制造过程实现全面控制，提高生产效率 和产晶的含辖睾，这是许多传统检测簪段无法提供的；现代产品的制造精度大大 提离，要求相应高精度的捡i 5 4 方法。 先进制造业的迅猛发展，对伴随其发展的质量检测技术提出了更高的要求。 自动蚀涮造过程中的完整质量僚障系统必须其有1 0 0 在线检涮的能力，其备可 扩充性和霪构性。1 0 0 的在线捡测对于提商产品鲍质霪、降低成本有蓑重要黪 意义。通过实时的在线检测，可以及时的发现不合格的产品，把废品消灭在生产 过程中，还能够役使发现加工中产品静变纯趋势，通过及对调整设备，预防不合 格产品蚱出现，从而实现零废品。实噼在线检测要求测量的速度要快，测量的精 度要高，测量设备抗干扰性要强，可以工作在生产现场，还装求设备具有较高的 智熊纯和自动化，减少入为因素的影响，保证测爨的精度。搦乡卜，测量设备的体 积要适应予生产现场，应当具各灵活性，易于进行修改和维修，这样才能保谨生 产过程的连续性。 视懿检测技术舆有非接触、速度快、精度含适、现场抗干扰能力强等突出 的侠点，能很好地满足现代制选业的霈求，在实际中显示如广润的应褥蘸景。 视觉检测技术是建立在计算机视觉研究基础上的一门新兴检测技术，和计算机视 觉研究的祝觉模式识别、榄觉理解等内容不同，视觉检测技术是利用计算机视觉 疆究成果，重点骚究物体的几何足寸及物体在空阈位姿熬三维测量技术。随着计 算机技术、数字图像处理、成像技术以及视觉测量理论的发展和完善，视觉检测 技术逐步成熟，并逐步走避工业现场。 跌技米本身采谫，槛觉检澳4 采用7 大量自动他、蟹挠j 化技术，遁过智能设备 对检测过程进彳亍控制，测量过程只需很少的人工干预就可完成，从而保诋了测量 的精度，提高了自动化的程度。倪随着视觉枪测拽术应用的普及，应用范围的日 第一摹绪论 趋广泛，检测对象的多样化，自动化生产效率的避一步提高，现有的视觉检测系 统在灵懑榷程捡溅速度方瑟浆不足逐步鹩暴露魏寒。寝觉捡溺凌溪量速疫方瑟仍 有待于进一步提高。c m o s 成像技术的发展，为视觉检测中的成像系统提供了新 的选择；集成电路的发臌，可编程逻辑性能的提离为解决灵活性和速度问题提供 了有利豹凝鲍方案。 1 2 视觉检测和智熊传感器 重- 2 耋撬觉检蔫 计算机视觉就是利用各种成像系统代替视觉器官作为输入敏感手段，由计算 辊来代替大脑完成处壤辍解释。计算机褪觉的最终骥突囊标裁怒使诗算机能像入 器祥逶过视觉鬣察和毽鳃邀界，具有翱主适应环境豹能力。计箨税视觉溉楚工程 领域，也摄科学领域中的一个富有挑战性的重要研究领域。计算机视觉是一门综 合性的学科，研究的范阐十分的广泛，包括图像处理、模式识别、景物分耄盱、图 像理舞等。诗算捉撬爨始予国年我裙，在8 9 年鼹孛数霉了诲多重要逶震，葵孛 m a r r 的关予视觉的系统理论对计算机视觉的研究起了巨大的推动作用。 视觉检测是计算机视觉应用的个方面，是计黧机视觉理论与工程实践相结 合鹁产物，它的理论来源予 算机税觉，是计算钒援踅技术在岁 澎尺寸捡溺方嚣 的应霜。橇觉检测的任务是对已蕊誓豹工俘或装配纷的几何量避行测量以评价与 相应预置标准量的相符穰度。所以，视觉检测不仪骚求能够定墩的确定景物中物 体的空间憾展，更重要的是对被测景物进行精确的三维尺寸的描述。相对于计算 辍撵觉荬象方嚣戆应爰滋，视觉缎溅经理嚣瑟豫存在大量黪宠验麓谖，被娥理 的场景相对简单。因此，视觉检测的雉点不是识别物体，而在予高精度高速艘的 测量出被测物体的三维尺寸。所以，利用视觉技术进行检测，尤其是进行在线检 溺，关键怒瑟禳据生产瑗场设计遗会逡浆褪觉传感嚣，以及选辑满足要求戆黼像 处理的算法。 在近三十年中，视擞检测技术有了迅猛的发展。机器视觉系统的特点是可以 提高生产豹柔性耜自动化稷度。在一皴不适合人工作业的危险冀传环境或入z 视 觉难菝满懋要求戆场含，第蘑氛器筏魏来替代久麓税觉；勇静，在丈援量王藏生 产过程中，用机器视觉系统检查产品质量显然要比人工方式速度快，精度高，而 且可以大大提高生产效率和生产自动化程度。机器视髓系统便予信息集成，怒实 瑷瑷健王救蠡动铯斡基皴技本。由于魏器援觉系绞霹 冀快速获数大量售怠势巍动 送行数据处理，易于同设毒 信息及加工控制信息集成，因此，我现代自动纯缀产 2 第一章绪论 趋广泛，检测对象的多样化，自动化生产效率的进一步提高，现有的视觉检测系 统在灵活性和检测速度方面的不足逐步的暴露出来。视觉检测在测量速度方面仍 有待于进一步提高。c m o s 成像技术的发展，为视觉检测中的成像系统提供了新 的选择；集成电路的发展，可编程逻辑性能的提高为解决灵活性和速度问题提供 了有利的新的方案。 1 2 视觉检测和智畿传感器 1 2 1 视觉检测 计算机视觉就是利用各种成像系统代替视觉器官作为输入敏感手段，由计算 机来代替大脑完成处理和解释。计算机视觉的最终砑究目标就是使计算机能像人 那样通过视觉观察和理解世界，具有自主适应环境的能力。计算机视觉既是工程 领域，也是科学领域中的一个富有挑战性的重要研究领域。计算机视觉是一门综 合性的学科，研究的范围十分的广泛，包括图像处理、模式识别、景物分析、图 像理解等。计算机视觉始于6 0 年代初，在8 0 年代中取得了许多重要进展，其中 m a r r 的关于视觉的系统理论对计算机视觉的研究起了巨大的推动作用。 视觉检测是计算机视觉应用的一个方面，是计算机视觉理论与工程实践相结 合的产物。它的理论来源于计算机视觉，是计算机视觉技术在外形尺寸检测方面 的应用。视觉检测的任务是对已加工的工件或装配件的几何量进行测量以评价与 相应预置标准量的相符程度。所以，视觉检测不仅要求能够定量的确定景物中物 体的空间性质，更重要的是对被测景物进行精确的三维尺寸的描述。相对于计算 机视觉其它方面的应用来说，视觉检测处理的图像存在大量的先验知识，被处理 的场景相对简单。因此，视觉检测的难点不是识别物体，而在于高精度高速度的 测量出被测物体的三维尺寸。所以，利用视觉技术进行检测，尤其是进行在线检 测，关键是要根据生产现场设计出合适的视觉传感器，以及选择满足要求的图像 处理的算法。 在近三十年中，视觉检测技术有了迅猛的发展。机器视觉系统的特点是可以 提高生产的柔性和自动化程度。在一些不适合人工作业的危险工作环境或人工视 觉难以满足要求的场合，常用机器视觉来替代人工视觉；另外，在大批量工业生 产过程中，用机器视觉系统检查产品质量显然要比人工方式速度快，精度高，而 且可以大大提高生产效率和生产自动化程度。机器视觉系统便于信息集成，是实 现现代工业自动化的基础技术。由于机器视觉系统可以快速获取大量信息并自动 进行数据处理，易于同设计信息及加工控制信息集成，因此，在现代自动化生产 2 第一章绪论 过程中，机器视觉系统被广泛用于工况监视、成品检验和质量控制等领域。例如： 药片包装生产线上，视觉检测技术用于检测次品；现在i c 芯片的封装越来越小， 人的肉眼根本无法分辨，视觉检测技术可以用于检测瑕疵。图1 1 是台湾中华大 学研制的用于检测b g a 镀金去瑕疵的彩色视觉检测系统。 图1 1 随着视觉检测系统的广泛应用，视觉检测技术也逐步的成熟起来。机器视觉 正逐步取代人类视觉，在生产检测领域发挥巨大的作用。 1 2 2 智链视觉传感器 视觉检测系统中，图像采集部分是关键，所有检测需要的图像信息都必须通 过系统的眼睛图像传感器获得。而图像处理部分的速度决定了整个系统的响 应速度。检测系统中的传感器智能化，就是说传感器不仅仅承担信息采集的任务， 还必须对数据进行分析，甚至在未来，对分析的结果产生响应，使整个测量系统 形成一个闭环系统，最后，达到生产的完全智能化。 传统视觉检测系统中利用c c d 成像器件采集图像，将标准视频信号传输入计 算机，利用图像采集卡转换为数字信号后再进行处理。在这种结构的系统中，计 算机作为控制中心，控制图像采集卡和传感器。传感器本身只进行数据的采集。 这种结构往往导致信号传输的困难，在每一个时间只有一路传感器的信号被转换 处理，系统响应速度低。智能视觉传感器利用c m o s 摄像机，直接获得数字信 号，并在传感器内部利用集成的f p g a 电路，对采集的数据进行处理后才送出传 感器进行系统分析或是备份。也就是说，智能传感器不仅仅是起到眼睛的功能， 还具有简单的认知功能。这种架构的传感器可以减小整个检测系统的体积，减小 传输的数据量，简化网络。利用智能视觉传感器构成的视觉检测的网络系统，仍 然可以用计算机作为控制中心，只是此时，计算机的作用更多是用来对数据进行 3 第一章绪论 存储，和对整个系统进行分析，即可以从全局上对生产过程进行监控。 目前，智能传感器在消费类电子领域中发展得比较迅速。尤其是在国外，由 于c m o s 技术与集成电路工艺的发展，用于消费类的智能传感器数不胜数。以 基于c m o s 摄像机与f p g a 的图像传感器为例，实际上，国外已经有用于消费 类的成品出现。它是i n s e c i dl i s b o a 研发的一款v i d e op l a t f o r m ，其中主要包括音 频和视频信号的处理和传输。我国集成智能传感器的水平还有待进一步的提高， 首先是在工艺上，然后是在应用领域。我国的电子技术与国外还有一定的差距， 我们应该使集成智能传感器的研制与生产具有一定功能模块化的能力，积累新的 技术，建立起坚实的技术基础。 对于应用于生产现场的智能传感器，不同的生产线，不同的生产领域定义不 同。为了在工业生产中实现l o o 在线检测，视觉检测系统中的智能视觉传感器 应该具有以下的特点：单元相对独立，智能视觉传感器内部具有管理单元，可以 独立工作；具有较高的运算速度，在速度上能够满足实际应用的需要；具有较强 的适应性，能够满足视觉检测系统中不同的测量要求。 针对以上的特点，微电子技术和集成电路制造技术的飞速发展，为智能视觉 传感器的发展提供了解决方案。首先是图像采集器件。随着集成电路工艺水平的 提高，c m o s 图像传感器逐渐克服了其填充率低，响应速度慢等缺点，飞速发展 起来，并且以其集成度高，结构简单，体积小，处理功能多，成品率高，价格低 廉等优点为智能视觉传感器，尤其是小型智能视觉传感器的构建提供了很好的解 决方案。 另一方面，大规模可编程逻辑器件( f p g a c p l d ) 的出现给数字电路设计带 来了新的思路和实现方法。现场可编程门阵列( f p g a ) 是目前应用非常广泛的 可编程专用集成电路( a s l c ) ，利用它可以在芯片内部设计出所需要的硬件电路， 由于f p g a 还具有静态可重复编程和动态可重构的特性，使得硬件的功能可以像 软件一样通过编程来修改，提高了系统设计的灵活性和通用性。特别是x i l l n x 公司的i p 植入技术的发展，使得f p g a 内部不断的集成各种功能模块，如i b m 的p o w e r p c 4 0 5 内核，这样，f p g a 芯片向平台级发展，能够提供更强大的设计 功能和更灵活的设计选择。 f p g a 具有的i s p ( 在系统可编程) 的能力，即可以在不改变系统硬件设计 的基础上，完成对所设计的逻辑电路的修改，可以提供方便的调试。而且e d a 工具越来越完善，可以为用户提供从单个功能模块到系统级的模拟仿真功能，也 方便了f p g a 的开发，减少了设计的盲目性，提高了设计效率。对于f p g a 掉电 程序丢失的问题，现在，其配置技术也在不断的改进，将来，可能会出现集成片 上存储器的f p g a 芯片。另外，硬件描述语言v h d l 和v e r i l o g h d l ，都已经成 4 第一章绪论 为i e e e 标准，对于设计人员的交流和系统的开发提供了方便。与传统的原理图 设计方法相比，硬件描述语言的使用，使得大规模电子系统的实现成为可能。现 在，还出现了基于c 语言的s y s t e mc ，使f p g a 的开发更加容易。而且，综合 工具的不断完善，让设计人员完全可以放心采用高级语言来编程。 c p u 模块的内嵌，使f p g a 更适合于做s o p c ( s y s t e mo nap r o g r a m m a b l e c h i p ) 系统，这与我们智能传感器的设计思想完全一致。 1 3 本文的主要工作 本文的研究内容是根据现代化高速生产节拍条件下的视觉检测系统发展要 求，致力于提高1 0 0 实时在线视觉检测系统的数据处理速度，在理论上和实践 上进行了深入的研究。主要进行了以下工作： 1 、通过分析传统视觉检测系统存在的问题，在系统分割、任务分割的前提下， 在简化系统结构，减轻主控计算机任务的思想指导下，提出了智能视觉传感 器的硬件实现方案。 2 、在分析视觉检测系统的体积要求和速度要求的情况下，选择了系统的器件， 完成了基于c m o s 摄像机和f p g a 芯片的硬件平台的方案设计，并重点讨论 了平台级f p g a 芯片的电源和配置方案。并对系统网络化的可能性进行了分 析。 3 、在现有的实验条件下，针对智能视觉传感器中的图像采集模块，采用v h d l 语言在f p g a 中进行了传感器初始化模块的设计，并做出了相关验证。 4 、根据视觉检测系统中图像处理的特点和要求，将图像处理划分为低级处理、 中级处理、高级处理，结合f p g a 内部资源，分别利用逻辑资源对低级算法 进行了实现和验证；利用内嵌的c p u ，对部分算法进行了讨论。 5 第二章系统的硬件设计 第二章系统的硬件设计 实时的在线检测是实现零废品的关键环节。要实现实时的检测，检测设备 的检测时间应小于被测对象在一个工位上停留的时问，也就是说，检测的节拍应 该同生产的节拍保持完全的一致。对于视觉检测而言，从图像的采集，到图像的 处理，再传给上位机做出反应，这整个的周期应该与生产的节拍是一致的，这样 才能够完成在线的视觉检测。对于一个小型系统，传感器数量少，需要处理的数 据量也少，易于实现在线测量；但对于一个大型系统，传感器数量多，需要处理 的数据量大，再加上现在自动化生产的效率的提高，实现在线检测的困难就比较 大。由于测量的时间主要是图像处理的时间，因此要提高系统的测量速度，必须 提高图像处理的速度。 计算机是视觉检测系统的核心，传统的视觉检测系统一般采用视觉传感器+ 图像采集卡+ 计算机的结构。视觉传感器是整个系统的信息来源，用于获取视觉 检测系统所要处理的原始图像，其主要的部件是c c d 摄像机。现有的c c d 器件 和图像采集设备基本上能够满足多数应用场合在采样速度方面的要求。传统的视 觉检测系统中，多个视觉传感器输出的模拟视频信号，由计算机控制，分时传送 到图像采集卡进行图像采集，然后在计算机上利用由高级语言编写的程序对图像 进行处理。图像采集卡是一块可插入计算机，或脱离计算机独立使用的板卡。图 像采集卡将各种模拟视频信号经a d 转换成数字信号送入计算机，供计算机作 处理、存储、传输等之用。目前市面上的图像采集卡多为p c i 总线架构，可以满 足实时传输的要求。计算机则是整个控制核心。系统由它控制图像的采集，数据 的传输，接收到数据后再进行处理。 我们看，对于多传感器的视觉检测系统，如果采用通用图像采集卡进行图像 采集，那么图像采集卡只能在计算机的控制下串行地逐一获取图像数据，不能并 行实现。而且图像采集卡仅仅将视频模拟信号转换成数字信号。大量数据的传输 对于通信网络是一个很大的考验，而且容易形成瓶颈，限制整个视觉检测网络的 速度。并且数据的低级处理和高级处理都要由计算机来完成。图像的低级处理与 高级处理在算法、操作数等方面上有很大的差别，低级处理数据吞吐量大、算法 简单，存在较大的并行性；高级处理操作一般运算复杂，但操作数少，串行运算 较多，要求系统具有较高的计算性能。因此它们在实现上有很大的差异，用计算 机来进行高级处理，比较容易，也比较合理。但如果在计算机上用高级语言来实 6 第二章系统的硬件设计 现图像的低级处理，将是一个很耗时的过程，会影响整个检测的速度。如果在通 用图像采集卡基础上再配以通用图像处理卡进行图像处理，则图像数据从采集卡 到计算机，再到图像处理卡的传输过程将不能满足本系统的实时性要求。 综上所述，传统视觉检测系统的构架已经不能满足1 0 0 在线检测的要求。 要提高整个检测系统的速度，我们必须把计算机从繁重的任务中解放出来，将它 的任务分割，在提高算法速度的同时，减少传输过程的时间，减轻网络传输的压 力，从整体上对系统进行优化，以满足现代化大生产的高速生产节拍。基于此， 本课题提出了基于c m o s 摄像机与现场可编程阵列( f p g a ) 的智能视觉传感器 的研究。在智能视觉传感器内部嵌入了图像采集模块和图像低级处理模块。以现 场可编程门阵列( f p g a ) 为核心，实现图像低级处理算法的硬件化。智能视觉 传感器具有智能化、高速化、易于网络化的特点，可以提高视觉检测系统的测量 速度，使其满足于现代化大生产的高速生产节拍。 2 1 智能视觉传感器的设计方法 智能视觉传感器主要包括了c m o s 摄像机，图像采集控制模块，图像处理 模块，以及通信接口。在这个系统中，前端传感器采用了c m o s 摄像机，并对 图像处理模块进行了设计，完全采用底层硬件来实现图像的低级处理。整个传感 器从处理任务的分割和数据的传输路径对系统进行优化研究，以满足：o o v d e 线 检测的要求。 传统的视觉检测系统多采用c c d 摄像机。目前，c c d 技术已经相当的成熟。 它具有较好的图像质量和灵活性，多应用于高端的摄像技术应用，例如天文观察、 卫星成像、高分辨率数字照片、广播电视、高性能工业摄像、大部分科学与医学 摄像等应用。c c d 图像传感器的工作原理是：当器件完成曝光以后，光子通过 像元转换为电子电荷包，电荷包顺序转移到共同的输出端，通过输出放大器将大 小不同的电荷包转换为电压信号，缓冲并输出到芯片外的信号处理电路。由此可 见，c c d 器件输出的视频信号，大部分信号处理的功能是在芯片外实现的。 近十年来，c m o s 器件异军突起。c m o s 摄像机的工作原理是：光子转换为 电子后直接在每个像元中完成电子电荷一电压转换，这种信号转换与读出技术使 得c m o s 摄像机的大部分功能都集成在图像传感器芯片上。这样，c m o s 传感器 的集成度高，结构紧密，尺寸可以做得很小，但是其功能的弹性也相应变小了。 与c c d 器件相比，c m o s 图像传感器的图像质量( 特别是低亮度环境下) 与系 统灵活性与c c d 的相比相对较低。但其具有功耗低、摄像系统尺寸小、可将信号 处理电路与m o s 图像传感器集成在一个芯片上等优点。我们从两者的工作原理 7 第二章系统的硬件设计 上分析，c m 0 s 传感器集成度高，因此适用于小尺寸摄像系统；省去了视频信号 传输与转换部分的电路设计，因此可适应恶劣的环境，具有更高的可靠性。从发 展趋势上来看，有专家认为：不久的将来，c m o s 技术必将取代c c d ，成为摄像 机的主要成像器件 生产现场的噪声干扰很大，而且，在有些生产现场，用于检测设备安装的空 间也是很有限的。对于我们的视觉检测系统，在图像质量要求不是很高的场合， 完全可以采用c m o s 摄像机，来减小系统的体积，提高系统的可靠性和灵活性。 本课题采用了c m o s 摄像机，也是进行一项新的尝试。 图像处理技术是视觉检测系统的关键技术之一，图像处理的速度直接影响着 整个视觉检测系统的速度。因此，设计高效的图像处理模块对智能视觉传感器来 说是至关重要的。传统上图像处理实现手段主要有以下几种：一、通用计算机： 二、并行处理；三、数字信号处理器( d s p ) ；四、专用集成电路( a s i c ) 。以上 各种方法都有自己的长处，但也存在着局限性，下面将作简单的比较。 一、通用计算机 目前的通用计算机是基于冯诺依曼结构的，其软件的执行过程是单指令单 数据的串行处理过程。一般采用高级语言( c ，c + + 等) 代替汇编语言编写程序 代码，其特点是在任一时刻只能有一条指令在执行。通用计算机在软硬件方面也 都成熟，因此编程简单，工作可靠，易于实现。虽然通用计算机技术发展非常快， c p u 主频越来越高，但是，由于其串行地指令执行，使得它实现图像低级处理 速度慢，不能够满足高速的生产节拍。不过，对于视觉检测中的图像高级处理， 它在性能价格比上则有一定的优势。 二、并行处理 在许多场合下，当一个c p u 不能够对数据进行实时处理的时候，采用多个 c p u 同时工作的并行处理可能会解决这个问题。并行处理克服了单个处理器在 硬件上串行工作的局限性，提高了系统的性能。但是，因为实时采集，图像处理 数据量大，各c p u 之间数据传输任务繁重，协调困难，对系统的性能有较大的 影响。实际上并行处理所能达到的性能和理论上的性能相比差距还较大。 三、数字信号处理器( d s n 数字信号处理器( d s p ) 是专门针对于数字信号处理而设计的处理器，其内 部采用哈佛结构，利用专用硬件来实现一些数字信号处理中的常用算法，所以它 进行这些运算的速度非常快。例如，当流水线满的时候，乘加( m a c ) 运算只 需要一个时钟周期就可完成。d s p 的发展非常迅速，功能在不断完善。现在许多 高端工作站为了提高系统性能都增加了d s p 模块，采用d s p 作为协处理器。但 是，d s p 仅仅是对某些固定的运算提供硬件优化，它的内部仍然是单指令的执行 8 第二章系统的硬件设计 系统，并且这些固定优化运算并不能够满足众多算法的需要，因此使系统的灵活 性受到了限制。 四、专用集成电路( a s i c ) 专用集成电路( a s i c ) 是为了某种固定需求而专门设计的硬件芯片，在各 种算法实现中a s i c 的速度是最快的。如果采用通用微处理器和d s p 都不能满足 速度要求时，可以采用专用集成电路( a s l c ) 来实现。但是，a s i c 从设计到投 入使用，需要较长的开发周期，并且由于它是为专门应用而设计的，需求量一般 较小，所以成本也较高。另外，由于a s i c 是为了专用目的而设计的，当需要改 变算法时就不得不重新设计芯片和硬件电路。所以采用a s i c 构建的图像处理系 统，灵活性不好。 在视觉检测系统中，对于图像处理的要求是速度快，灵活性高，能够适应多 种图像处理的要求。从以上分析中可以看出，上述的各种方法在速度、灵活性以 及性能价格比等方面都各有缺点，不能够满足要求。 f p g a ( f i e l dp r o g r a n u n a b l eg a t e a r r a y ) 即现场可编程门阵列。它是在p a l 、 g a l 、e p l d 等可编程逻辑器件的基础上进一步发展的产物。它是作为专用集成 龟路( a s i c ) 领域中的一种半定制电路而出现的，既解决了定制电路的不足， 又克服了原有可编程器件门电路数有限的缺点。f p g a 可以在系统硬件设计不改 变的基础上，改变芯片内部的逻辑实现，从而改变芯片所实现的功能。随着f p g a 技术的发展，现在的f p g a 已经发展到上百万门可编程资源，在f p g a 内部，不 断的集成一些高性能的i p 模块，如i b m 的p o w e r p c 4 0 5 等，使得f p g a 的功能 越来越强大，灵活性也越来越高。采用f p g a 完全可以实现一些比较复杂的算法。 目前f p g a 以其灵活性，在通信领域运用广泛。由于c p u 和d s p 模块的嵌入， f p g a 所作的不再是单纯的逻辑功能，它对信号处理的功能也越来越强。 用f p g a 处理图像数据，不仅可以实现图像处理算法的硬件化，大大降低图 像处理的时间开销；而且f p g a 的编程技术成熟，算法通用性好，易于移植，还 会使系统具有良好的柔性。正是因为f p g a 既具有类似于软件的灵活性，又具有 接近于专用硬件的高速性，同时还有很高的性能价格比，所以选择了f p t 3 a 进行 图像数据的低级处理。采用这种实现手段，能够在速度上满足1 0 0 在线检测的 需要，并且由于f p g a 现场可编程，可以在不改变硬件设计的条件下改变图像处 理的算法，能够满足视觉检测中的多种需要，使系统具有很好的适应性。 本系统采用了x i l i n x 的平台级的f f g a 芯片x c 2 v p 7 来作为整个智能传感 器的控制核心。利用f p g a 中丰富的逻辑资源与其内嵌的c p u 协同工作，来进 行图像数据的处理。本课题对整个硬件系统进行了设计，并对部分算法，进行了 验证。 9 第二章系统的硬件设计 2 2 系统的设计方案 应用于生产线上的视觉检测系统往往由多个传感器构成。对于单个的传感 器，我们希望它能具有强大的数据处理功能，甚至可以反馈进行部分控制，而不 再通过主机。如上所述，智能视觉传感器主要由图像采集模块，图像处理模块和 通讯模块组成。基于上述思想的智能视觉传感器的系统框图如图2 1 所示： 从这个结构框图可以看出：系统结构比传统的视觉检测系统要简洁得多。 f p g a 是整个传感器的核心，在整个传感器系统中起控制和计算的作用。由于 f p g a 的灵活性，通信方式也具有多样性。系统构建者可以根据现场的情况，选 择不同的通信协议，以达到通信的可靠性和速率的双重要求。 由于视觉检测系统往往由多个智能传感器构成，因此，整个视觉检测系统的 网络拓扑结构如图2 2 所示。 图2 2 视觉检测系统模型 从图上可以看到，在整个系统中，中心计算机仍然存在，但此时其功能却 发生了很大的变化。在传统的视觉检测系统中，计算机不仅要发出控制采集的命 令，还要完成大量的计算工作，实际上，这种拓扑结构在传统的视觉检测系统中， 第二章系统的硬件设计 由于传输数据量巨大，总线容易形成瓶颈，限制整个系统的速度。如果我们采用 智能的视觉传感器，这个问题就可以很好的解决。首先，因为智能的视觉传感器 采用c m o s 摄像机，所以不用进行视频信号的传输：其次，采用平台级的f p g a 进行图像处理，采取逻辑资源与内嵌c p u 相结合的方式，不仅完成低层的图像 处理，还可以完成部分高级算法，这样，需要传输的数据量小了很多；第三，f p g a 的速度快，网络传输可以达到很高的速率，也可以解决传输的瓶颈问题。综上所 述，在这种视觉检测系统中，计算机作为系统的终端，主要用来完成的任务包括： 1 启动整个系统；2 对整个系统的总体行为进行控制；3 作为数据库，存储数据； 4 对系统整体的数据进行高级分析。可见，计算机从图像数据的采集和图像的底 层算法中解脱出来了，整个视觉检测系统的效率也得到了提高。 2 3 系统的硬件实现 2 3 1 可编程逻辑与x c 2 v i 叩 一、x c 2 v p 7 的特点 自1 9 8 5 年x i l i n x 公司推出第一片现场可编程逻辑器件( f p g a ) 至今，f p g a 已经历了十几年的发展历史。在这十几年的发展过程中，以f p g a 为代表的数字 系统现场集成技术取得了惊人的发展：现场可编程逻辑器件从最初的1 2 0 0 个可 利用门，发展到9 0 年代的2 5 万个可利用门，到现在，国际上现场可编程逻辑器 件的著名厂商a l t e r a 公司、x i l i n x 公司又陆续推出了数百万门的单片f p g a 芯 片，将现场可编程器件的集成度提高到一个新的水平。 纵观现场可编程逻辑器件的发展历史，其之所以具有巨大的市场吸引力，根 本在于：f p g a 不仅可以解决电子系统小型化、低功耗、高可靠性等问题，而且 其开发周期短、开发软件投入少、芯片价格不断降低，促使f p g a 越来越多地取 代了a s i c 的市场，特别是对小批量、多品种的产品需求，使f p g a 成为首选。 目前，f p g a 的主要发展动向是：随着大规模现场可编程逻辑器件的发展， 系统设计进入片上可编程系统”( s o p c ) 的新纪元；芯片朝着高密度、低压、 低功耗方向挺进：国际各大公司都在积极扩充其i p 库，以优化的资源更好的满 足用户的需求。 本课题中的智能视觉传感器采用的v i r t e x i ip r o 系列是x i l i n x 公司在2 0 0 2 年推出的一款平台级的f p g a 芯片。此系列f p g a 采用了o 1 3 u m 的9 层全铜工 艺生产，并继续沿用完善和成熟的v i r t e x i i 体系结构。该系列的器件不仅仅是对 v i r t e x i i 系列器件的升级，而是一个针对新兴市场的需求所推出的一款全新的平 第二章系统的硬件设计 台、系统级器件。该系列的器件同样采用了i p 植入技术，来实现处理器内核和 高速串行模块的植入。这种创新方法，保证了系统设计者在采用可编程设计方案 时，可以用最小的系统费用得到最高的性能。v i r t e x i ip r o 的结构如下面图2 3 所示： r o c k o d o t m l c l b c l b 一 巍蒯龇 g 姻 c 粕 lg 哪l i li f 置_ i臻疆_酱 8 e i 茸。啦o m u 地n t 翻朝蚪，j 却舶t t 图2 3v m e x - i ip r o 总体结构图 本系统中所采用的是v i r t e x p r o 系列中的x c 2 v p 7 ，它包括了一个处理器 模块、八个r o c k e ti o 高速收发器、1 3 6 0 个逻辑单元( c l b ) 、4 4 个硬件乘法器 模块、7 9 2 k b 的b r a m 、4 个数字时钟管理单元( d c m ) 。下面将对它的特点做 简单的介绍： 1 嵌入式p o w c r p c4 0 5 处理器 在v i r t e x - i ip r o 器件中，最多可以嵌入4 个同样规模的p o w c r p c4 0 5 处理 器内核，每个处理器模块包括了p o w e r p c4 0 5r i s c 硬核、o c m 控制器、时钟和 控制逻辑、c p u - f p g a 接口、各种内部总线等。p o w e r p c 4 0 5 采用i b m 的 c o r e c o n n e e t 总线技术，其类似于r i s c 中常用的哈佛独立总线结构。 p o w e r p c 4 0 5r i s cc p u 运行速度可达4 2 0 d - m