（检测技术与自动化装置专业论文）高速在线机器视觉检测方法的研究.pdf

摘要 自动化生产过程中的质量检测是保证产品质量的关键环节，而机器视觉高速在线检 测是解决这个问题的首选方案。论文分析了机器视觉技术及其在国内外的发展现状，提 出了采用高速d s p 芯片、高集成度f p g a 芯片配合适当软件算法构成的嵌入式高速在 线机器视觉检测系统的实现方法。其中软件算法硬件实现技术与d s p 、f p g a 无缝链接 技术保证了系统的高速、实时、精确运行，为满足自动化生产线的需求打下了扎实的基 础。在具体的实现过程中，论文主要做了以下工作和创新： 1 、研究了适用于高速在线检测系统的图像处理技术，论述了图像预处理、特征提 取、识别与判断的具体实现方法，利用s o b e l 算子实现了高效图像检测处理算法； 2 、研究了f p g a 硬件实现图像处理关键算法的技术。系统选用x i l i n x 公司 s p a a r t a n 3 e 系列的f p g a 芯片，充分利用芯片内部资源实现系统核心算法的高速运行， 并使用i s e 集成开发环境进行了必要的功能验证与综合仿真； 3 、研究了d s p 的算法实现与优化技术，选用t i 公司的高速、并行多级流水线的 t m 3 2 0 c 6 4 2 芯片有效地提高了程序运行速度； ，4 、研究了d s p 软件算法和f p g a 核心算法的无缝集成。系统采用基于可重复i p 核技术，由f p g a 构造了高速f i f o ，以e d m a 作为d s p 、f p g a 通讯接口等方案实现 了d s p 与f p g a 之问的无缝集成，提高图像处理速度和系统的柔性。 关键词：机器视觉，图像处理，d s p ，f p g a a b s t r a c t p r o d u c tq u a l i t yd e t e c t i o ni si m p o r t a n ti na u t o m a t i cp r o d u c t i o n h i 曲。s p e e do n - l i n e d e t e c t i o ns y s t e mb a s e do i lm a c h i n ev i s i o nd e t e c t i o nt e c h n o l o g yi st h ep r e f e r r e ds o l u t i o n t h e s i sa n a l y s e st h em a c h i n ev i s i o nt e c h n o l o g ya n di t sd e v e l o p m e n ts t a t u s e sa th o m ea n d a b r o a d ，g i v e st h er e a l i z a t i o nm e t h o do ft h ee m b e d d e dh i g h s p e e do n - l i n em a c h i n ev i s i o n m e a s u r i n gs y s t e mw i t ht h eh i g h s p e e dd s pc h i p ，h i g h i n t e g r a t e df p g ac h i p ，a n dt h es u i t e d s o f t w a r ea l g o r i t h m i c t h et e c h n o l o g yo fs o f t w a r ea l g o r i t h m i cr e a l i z e db yh a r d w a r ea n dt h e t e c h n o l o g yo fd s p a n df p g ac h i p s s e a m l e s s l yl i n k si n s u r et h es y s t e mw o r k i n gh i g h s p e e d ， r e a l t i m e ，a n dp r e c i s e l y , a n dt h e s et e c h n o l o g i e sl a i d as o l i df o u n d a t i o nf o rt h en e e d so f a u t o m a t e dp r o d u c t i o nl i n e s d u r i n gt h er e a l i z a t i o n ，t h ei m p o r t a n tw o r ka n di n n o v a t i o n s a r e ： a ) t h e s i sr e s e a r c h e st h es u i t e di m a g ep r o c e s s i n gt e c h n o l o g yu s e di nt h eh i g h s p e e d o n 1 i n em e a s u r e m e n ts y s t e m ，d i s c u s s e si m a g ep r e p r o c e s s i n g ，f e a t u r e e x t r a c t i o n ，a n d d e t e r m i n e st h es p e c i f i cr e a l i z e dm e t h o d ，u s i n gs o b e lo p e r a t o rt oa c h i e v eah i g h l ye f f i c i e n t i m a g ep r o c e s s i n ga l g o r i t h mf o rd e t e c t i o n 协t h e s i sr e s e a r c h e st h et e c h n o l o g yo ft h ek e ya l g o r i t h mr e a l i z e db yf p g ai ni m a g e a n a l y s i sp r o c e s s i n g t h es y s t e ms e l e c t sx i l i n x sf p g a c h i po fs p a a r t a n 3 ef a m i l y , m a k e s f u l l u s eo fi n t e r n a lr e s o u r c e st oa c h i e v es y s t e mc h i pc o r ea l g o r i t h mh i g h - s p e e do p e r a t i o n ，a n d m a k e sn e c e s s a r yf u n c t i o n a lv e r i f i c a t i o na n di n t e g r a t e d s i m u l a t i o nw i t hi s ei n t e g r a t e d d e v e l o p m e n te n v i r o n m e n t 曲t h e s i sr e s e a r c h e st h et e c h n o l o g yo fa l g o r i t h mr e a l i z a t i o na n do p t i m i z a t i o nb yd s p c h i p t h es y s t e ms e l e c t st l st m 3 2 0 c 6 4 2c h i pw h i c hh a sh i g h - s p e e d ，p a r a l l e lm u l t i 。s t a g e p i p e l i n ea n di m p r o v e st h es y s t e m sr u n n i n gs p e e de f f e c t i v e l y 7 d 1t h e s i sr e s e a r c h e st h es e a m l e s si n t e g r a t i o nt e c h n o l o g yb e t w e e nt h ed s ps o f t w a r e a l g o r i t h ma n dt h ef p g a c o r ea l g o r i t h m n es y s t e mr e a l i z e st h es e a m l e s si n t e g r a t i o nb e t w e e n t h ed s pa n df p g aw i t ht h er e p e a t e di pt e c h n o l o g y ，h i g h s p e e df i f os t r u c t u r e db yt h e f p g 八a n dt h ec o m m u n i c a t i o n si n t e r f a c er e a l i z e db ye d m a b e t w e e nd s pa n df p g a , w h i c h i m p r o v et h ei m a g ep r o c e s s i n gs p e e da n ds y s t e mf l e x i b i l i t y k e yw o r d s ：m a c h i n ev i s i o n ，i m a g ep r o c e s s i n g ，d s p ，f p g a 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取 得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得 墨盗墨墨太堂 或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名： 械侈 签字日期：冽年 z月 2 ，日 学位论文版权使用授权书 本学位论文作者完全了解 叁盗墨墨盘堂有关保留、使用学位论文 的规定。特授权墨盗墨墨太堂 可以将学位论文的全部或部分内容编入 有关数据库进行检索，并采用影印、缩印或扫描等复制手段保存、汇编， 以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复本和电子 文件。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 苁如导师签名：溯易哼 签字日期：伽g 年月 砂日签字日期：驯年文月文日 第一章绪论 第一章绪论 自动化生产过程中的质量检测是保证产品质量的关键环节，而机器视觉高速在线检 测系统是解决这个问题的首选方梨1 引。伴随计算机技术、现场总线技术、d s p ( d i g i t a l s i g n a lp r o c e s s o r ，数字信号处理器) 1 3 , 4 j 与f p g a ( f i e l dp r o g r a m m a b l eg a t ea r r a y ，现场 可编程门阵列) i s j 等嵌入式硬件的发展，机器视觉技术日臻成熟，已是现代加工制造业 不可或缺的产品，广泛应用于食品和饮料、化妆品、制药、建材和化工、金属加工、电 子制造、包装、汽车制造等行业1 6 j 。 1 1 课题研究的背景 现代工业自动化生产过程涉及到各种各样的测量、检查和识别。比如汽车零配件尺 寸的检测，过去都是靠人工来完成，工厂的生产流水线需要数以百计的检测工人，在给 工厂增加了巨大的人工成本和管理成本的同时仍然无法保证1 0 0 的次品拣出率；对一 些不适于人工作业的危险工况，人眼根本无法进行检测。机器视觉( m a c h i n ev i s i o n ) 系统由予采用电子设备代替人眼进行测量和判别，极大地提高了测量的精度、判别的准 确率、辨别速度和增加了应用场合，能够实现微小尺寸测量和满足高速工业在线检测等 功能，最大程度上提高了现代工业自动化生产的效率，因而开创了工业自动化生产的新 时代。目前国外已广泛应用于视觉检测、机器人视觉导航和自动化装配等领域中1 7 j 。 在国外，机器视觉技术二十年前就已丌始起步，现在已经发展成为一个相对比较成 熟的领域。目前机器视觉设备专业生产厂商主要有：c o g n e x 、p p t 、m a t r o x 、c o r e c o 和 o m r o n 等。其应用主要体现在半导体及电子行业的自动生产线的高速在线检测中，其中 大概4 0 5 0 都集中在半导体行业，如p c b ( p r i n t e dc i r c u i tb o a r d ，、印刷电路板) 、电 子封装技术与设备、丝网印刷设备及丝网周边料、电子生产加工设备、电子元件制造设 备、半导体及集成电路制造设备、元器件成型设备等1 8 , 9 l 。 在国内，以上行业本身就属于新领域，再加之机器视觉产品技术的普及不够，导致 以上各行业的应用只是低端方面的应用。目前在我国随着配套基础建设的完善，技术、 资会的积累，各行各业对采用图像和机器视觉技术的： 业自动化、智能化需求开始广泛 出现，国内有关大专院校、研究所和企业近两年在图像和机器视觉技术领域进行了积极 思索和大胆的尝试，逐步开始了工业现场的应用。其主要应用于制药、印刷、矿泉水瓶 盖检测等领域。这些应用大多集中在如药品检测分装、印刷色彩检测等。真正高端的应 用还很少，因此，以上相关行业的应用空间还比较大【l 川。 制造业的发展，带来了对机器视觉需求的提升；也决定了机器视觉将由过去单纯的 采集、分析、传递数据，判断动作，逐渐朝着丌放性的方向发展，这一趋势也预示着机 第一章绪论 器视觉将与自动化更进一步的融合。在未来的几年内，随着中国加工制造业的发展，对 于机器视觉的需求也逐渐增多；随着机器视觉产品的增多，技术的提高，国内机器视觉 的应用状况将由初期的低端转向高端。由于机器视觉的介入，自动化将朝着更智能、更 快速的方向发展。机器视觉的应用也将进一步促进自动化技术向智能化发展。 国内机器视觉行业刚刚起步，还处在初级水平，远远落后于国外的水平。以检测冲 压螺丝钉为例，国外的产品如d v t 公司的嵌入式系统可以做到每秒1 0 0 0 个左右的检测 速度，而国内的产品由于上述限制，只能做到每秒检测1 0 个左右。目前国外机器视觉 产品都是价格昂贵，进口一套完整的中等性能嵌入式检测设备至少需要人民币1 2 万元。 近年来，国际上高速c c d ( c h a r g ec o u p l e dd e v i c e ，电荷耦合器件) 加工制造技术 已日渐成熟，而且高速c m o s ( c o m p l e m e n t a r ym e t a lo x i d es e m i c o n d u c t o r ，互补金属氧 化物半导体) 影像传感器发展非常迅速，这使更高速度且性能可靠的高速图像采集系统 的实现成为可能。同时，随着高速度和大容量的f p g a 及d s p 技术的飞速发展，使得 嵌入式处理平台的设计变的更加容易和更加可靠。 因此本课题提出采用近年来高速发展的图像采集和处理技术，包括高速c c d 、高 速d s p 、高集成度f p g a 及软件算法硬件实现技术等，配合高效处理算法研发出具有国 际领先水平的机器视觉采集处理系统。 1 2 课题研究的意义 自动化生产过程中的质量检测是保证产品质量的关键环节，是提高企业同类产品市 场竞争力的关键环节，而机器视觉高速在线检测是解决这个问题的首选方案【1 1 2 7 j 。过去 由于硬件水平和软件算法的限制，机器视觉停留在较低的水平，其主要实现方式是台式 机或者工控机加上图像采集板卡，体积大，检测速度低，远远不能满足企业的高速实时 检测的要求。国外在该领域发展相对比较成熟，然而从国外进口一套机器视觉设备的价 格是非常昂贵的。 一 据统计，目前全球机器视觉检测市场每年的总量大概在6 0 - - - - 7 0 亿美元，并且按照 每年8 8 的增长速度增长的。而在我国，机器视觉检测才刚刚起步，目前的市场每年 的总量大约在8 1 6 亿元，但是随着加工制造业的发展，我国对于机器视觉检测的需求 将呈现上升趋势，也就预示着机器视觉领域的美好前景。 本课题是在有强烈的市场需求下提出的。因此，众多需要高速在线质量检测的自动 化生产企业是本课题研究成果潜在用户。本课题本着为国内企业提供高速、高技术含量、 价格低廉的机器视觉在线检测设备理念，满足各领域的企业对机器视觉检测需求，加速 其工业生产现代化进程，提高囤内企业产品的国际竞争力。本课题技术与国际前沿研究， 又包括科学仪器研制内容，一方面提于t - , j l 器视觉领域的学术地位和学术影响，另一方面 其研究成果在相关科学研究领域有着实用空间，且在工业界有着很好的市场前景，将对 推动我国自动化生产的迅速发展具有重大的现实意义。同时，作为有广大市场需求的产 品，具有巨大的经济和社会效益。 第一章绪论 1 3 课题研究的思路及内容 本论文在线检测是通过对实时捕获的图像进行分析处理，最终得到检测结果。其检 测过程包括： 1 、图像捕获 图像捕获是指在适当光源照射下，通过c c d 实时采集被测对象的图像数据。 2 、预处理 预处理主要目的是去除背景和环境干扰噪声，在充分分析噪声源及其特点的情况下 可以采用软件和硬件实现，在要求速度严格的情况下，必须采用f p g a 硬件实现。 3 、目标区域定位 目标区域定位是首先对图像进行简单分析，分割定位出敏感区域，以后的处理仅仅 针对于该区域，减少运算量。 4 、特征提取 特征提取是图像处理算法的核心。这部分算法比较复杂，不可能完全硬件实现，但 是它又是处理速度的瓶颈，所以要尽量把使用频率较高的数值预算使用硬件实现。 5 、结果分析 结果分析是把提取的特征同系统的设定值比较决定处理结果。 论文重点是高速在线机器视觉检测方法进行了研究，在具体的实现过程中，论文主 要工作如下： 1 、研究了图像处理技术，利用s o b e l 算子实现了高效图像检测处理算法。 2 、研究了f p g a 硬件实现图像处理算法的方法和d s p 的算法优化技术，有效地提 高了程序运行速度。 3 、实现了d s p 软件算法和f p g a 核心算法的无缝集成，提高图像处理速度和系统 的柔性。 论文第二章对对机器视觉技术及机器视觉系统进行简要阐述，提出本课题采用近年 来高速发展的图像采集和处理技术，包括高速d s p 、高集成度f p g a 及软件算法硬件实现 技术等，配合高效处理算法研发出具有国际领先水平的机器视觉采集处理系统。 论文第三章通过研究机器视觉中的数字图像处理现有的图像处理技术，提出了适于 嵌入式高速在线机器视觉系统高效图像检测处理算法，详细讲述了图像平滑、图像增强、 二值化处理、图像边缘提取、轮廓跟踪、特征参数提取、识别与判断的具体实现方法。 论文第四章就系统的图像处理算法的实现进行了详细讲述，分析并介绍了f p g a 、 d s p 对数字信号处理的实现具体方法，提出了d s p 与f p g a 之间的无缝连接的方法， 以提高嵌入式高速在线机器视觉系统得检测速度，实现在线高速检测。 论文的最后给出了实验结果及其分析，并总结研究成果提出对后续工作的展望。 第二章嵌入式高速在线机器视觉检测系统 第二章嵌入式高速在线机器视觉检测系统 本章主要对机器视觉技术及机器视觉系统进行简要阐述，分析并介绍了近年来高速 发展的图像采集和处理技术，包括高速c c d 、高速d s p 、高集成度f p g a 及软件算法硬件 实现技术等，在此基础上提出本课题所研究的采用上述技术配合高效处理算法实现的具 有国际领先水平的机器视觉采集处理系统。 2 1 机器视觉 2 1 1 机器视觉的基本概念 机器视觉【2 8 , 2 9 l 是基于视觉技术的- - f - j 边缘科学，其核心技术是视觉处理，并通过对 视觉处理来执行进一步的检测与控制等。美国制造工程师协会( s m e ，s o c i e t yo f m a n u f a c t u r i n ge n g i n e e r s ) 机器视觉分会和美国机器人工业协会( r i a ，r o b o t i ci n d u s t r i e s a s s o c i a t i o n ) 的自动化视觉分会对机器视觉的定义为：“机器视觉是通过光学的装置和非 接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器 人运动的装置”。 机器视觉系统是机器视觉的现实表现形式。根据机器视觉的定义，依据光学特征可 分为可见光机器视觉系统( 基于c c d 或c m o s 等传感器) 和非可见光( 基于x 光、红 外光以及超声波等传感器) 机器视觉系统，根据应用领域则可以分为工业机器视觉系统 和非工业机器视觉系统，通常从事工业自动化人员只把工业机器视觉系统称作机器视 觉，而把非工业机器视觉系统称为图像装置或图像系统闭j 。 机器视觉系统的特点是提高生产的柔性和自动化程度。在二- 些不适合人工作业的危 险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大 批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方 法可以大大提高生产效率和生产的自动化程度；利用机器视觉进行检测不仅可以排除人 的主观因素的干扰，而且还能够对这些指标进行定量描述，避免了因人而异的检测结果， 减小了检测分级误差，提高了生产率和分级精度；而且机器视觉易于实现信息集成，是 实现计算机集成制造的基础技术。 随着机器视觉技术自身的成熟和发展，可以预计它将在现代和未来制造企业中得到 越来越广泛的应用。 2 1 2 机器视觉在国内外的发展 机器视觉是在2 0 世纪5 0 年代从统计模式丌始的，当时的工j 乍主要集中在二维图像 4 第二章嵌入式高速在线机器视觉检测系统 分析和识别上。2 0 世纪6 0 年代，r o b e r t s ( 1 9 6 5 年) 通过计算机程序从数字图像中提取 诸如立方体、菱柱体等各方面的三维结构，并对物体形状及物体的空间关系进行描述。 到了2 0 世纪7 0 年代，已经出现了一些视觉应用系统。1 9 7 7 年，以d a v i dm a r r 教授为 代表，提出了不同于“积木世界”分析方法的计算视觉理论，该理论在2 0 世纪8 0 年代 成为机器视觉研究领域中的一个十分重要的理论框架。 可以说，对机器视觉的全球性研究热潮是从2 0 世纪8 0 年代开始的，到8 0 年代中 期，机器视觉获得蓬勃的发展。2 0 世纪9 0 年代，随着光电自动化和计算机技术的高速 发展，利用机器视觉的快速性、可重复性、智能化和现场性的特点，机器视觉在汽车零 配件批量加工的尺寸检查和自动装配的完整性检查、电子装配线的元件定位、印刷电路 板的检验等应用场合得到了具体的应用 3 1 , 3 2 j 。 低价位微处理技术支持的并行处理技术、低成本的图像传感器以及低成本的新的存 储技术的发展迸一步推动了数字图像处理技术的发展，图像处理无论在算法上还是体系 结构上都有了很大的发展，数字信号处理器以及大规模超大规模可编程器件在图像处理 上有广泛的应用。 v i s i o nc o m p o n e n t s 公司智能摄像机是含图像处理专用d s p 来完成应用程序，不需 要计算机的通用工业图像处理平台，如图2 - 1 所示。表面看与普通摄像机一样，但是， 实际上智能摄像机包含许多部分用以完成图像采集及处理。自带c c d 传感器、图像采 集卡、图像存储器、d s p 高速处理器、4 路输入口，4 路输出口来实现p l c 功能，可以 与p l c 、p c 或局域网通过以太网或r s 2 3 2 口通讯。大量子程序是用汇编语言写成，因 此处理速度高。对于v c 2 0 系列相机的5 1 2 5 1 2 分辨率的灰度图像典型处理速度如下： s o b e l 算子：6 m s ；平均值操作：5 m s ；差分操作：9 m s ，行程编码：4 m s 。智能摄像机几 乎可以应用于所有的工业检测。除此之外，智能摄像机还可以在印刷定位、印刷质量检 测及标签检测中均有广泛的应用。在指纹识别、人脸识别及虹膜识别等生物特征识别中 均有成功应用的案例。 图2 1v i s i o nc o m p o n e n t s 公司智能摄像机 f i g 2 - 1v i s i o nc o m p o n e n t sc o m p a n y si n t e l l i g e n tc a m e r a 贝尔实验室的研究人员基于a l t e r ae p f 8 1 5 0 0 系列的f p g a 研制出实现图像处理和 神经网络算法的s i m d 结构的处理器。在f p g a 内实现很多处理单元( p e ) ，并排成阵 列，并且f p g a 也排成阵列。这些p e 同时进行数据的处理，并成环状。实验中他们利 翠碧 第二章嵌入式高速在线机器视觉检测系统 用2 2 f p g a 实现的处理器，对二值图像进行卷积运算，效果很好，与n e t 3 2 和p e n t i u m 相比，速度明显提高。 富士通研究所与富士通前沿科技公司成功开发了用于办公室与商务设施等用途的 服务机器人“富士通服务机器人，在负责视觉识别的d s p 管理下运行的是新丌发的3 维图像处理l s i ( l a r g es c a l ei n t e g r a t i o n ，大规模集成电路) ，使用美国赛灵思约有5 0 0 万个门阵列的f p g a 开发而成，该f p g a 的工作频率为9 0 m h z 。由于开发了图像处理 l s i 提高了处理速度，因此可以在行走进程中进行视觉识别。 在国外，机器视觉的应用普及主要体现在半导体及电子行业，其中大概4 0 左右都 集中在半导体行业。具体如p c b 印刷电路：电子生产加工设备、电子元件制造设备、 半导体及集成电路制造设备、元器件成型设备、电子模具。机器视觉系统还在质量检测 的各个方面得到了广泛的应用，并且其产品在应用中占据着举足轻重的地位。除此之外， 机器视觉还用于其他各个领域。 在中国，以上行业本身就属于新兴的领域，再加之机器视觉产品技术的普及不够， 只是低端方面的应用。目前在我国随着配套基础建设的完善，技术、资金的积累，各行 各业对采用图像和机器视觉技术的工业自动化、智能化需求开始广泛出现，国内有关大 专院校、研究所和企业近两年在图像和机器视觉技术领域进行了积极思索和大胆的尝 试，逐步丌始了工业现场的应用。随着计算机技术和微电子技术的迅速发展，嵌入式系 统应用领域越来越广泛，尤其是其具备低功耗技术的特点得到人们的重视，基于嵌入式 的产品将逐渐取代板卡式产品，这是一个不断增长的趋势。 目前国内在激光视觉测量的研究领域有天津大学、清华大学、重庆大学、西安交通 大学等高等院校。如天津大学叶声华教授领导的课题组成功地利用激光视觉测量法及自 光条纹视觉测量法完成了夏利、依维克等自车身的在线监测、汽车四轮定位、无缝钢管 直线度以及b a g 芯片管脚共面性等方面的测量课题，测量不确定度为0 0 5 m m 的水平。 香港科技大学主要研究人体3 d 数据扫描，并在服装业及医学上得到应用。台湾大学在 激光视觉3 d 测量领域做了大量的研究工作，主要研究成果有3 d 激光扫描系统，现已 经商品化，并已做到c c d 局部放大扫描并整合所有数据，所研究的自动化曲面拼接方 法在国际发表多篇文章，并获得多项发明专利。 机器视觉作为一种应用系统，其功能特点是随着工业自动化的发展而逐渐完善和发 展的i l 。目前全球整个视觉市场增长速度飞快，在中国随着加工制造业的发展，中国对 于机器视觉的需求将呈上升趋势，国内各大研究机构、企业已经开始，但是研究水平仍 低于国外水平，性能指标与国外相比有较大差距。目前国外机器视觉产品虽然性能很高， 但是价格昂贵，因此不利于我国大量引用，无法切实提高生产效率。 2 1 3 机器视觉的应用领域 机器视觉是研究用计算机来模拟牛物视觉的科学技术，机器视觉系统的首要目标是 用图像创建或恢复现实世界模型，然后认谚 现实世界模型。机器视觉是一个相当新且发 展十分迅速的研究领域，其具体应用领域如下： 第二章嵌入式高速在线机器视觉检测系统 1 、汽车制造行业：气缸盖监测、汽车车身检测、汽车制造业金属铸件检测、汽车 发动机装配线上检测、汽车整车尺寸机器视觉测量； 2 、电子行业、半导体行业：p c b 钻孔板钻孔定位及测量、b g a ( b a l lg r i da r r a y ， 球栅阵列封装) 锡珠检测、航天电池片检测、键盘表面缺陷检测； 3 、智能交通：智能运输系统( i t s ，i n t e l l i g e n tt r a n s p o r t a t i o ns y s t e m ) 和g p s ( g l o b a l p o s i t i o ns y s t e m ，全球定位系统) 车辆导航系统、视频交通流检测及车辆识别系统的设 计、汽车牌照自动识别系统、高等级公路路面裂缝检测系统、高速公路收费站远程视频 监控系统、现代化高速公路视频监控系统、车载图像数据采集压缩存储及传输系统、交 通场景的视觉监控、停车场自动管理系统； 。 4 、金属加工行业：工件表面质量在线检测、工件识别测量定位、圆孔直径测量、 齿轮缺陷检测、钢材尺寸检测、螺丝流水线自动检测、金属复合材料缺陷检测、金属球 表面二维码在线识别系统； 5 、包装行业：、证件配页装订在线检测、票据号码印刷质量在线检测、啤酒瓶盖高 速检测、卷烟条盒包装质量检测、硬币边缘字符在线、包装带( c a r r i et a p e ) 缺陷高速 自动检测； 6 、医疗、制药行业：数字化病理图像的采集方法、医药产品的标签检测、药片包 装缺损检测、细胞分析； 7 、烟草行业：条包在线油封质量检测、小包在线包装质量检测、烟支外观检测、 新型铝箔纸检测、烟草杂物剔除； 8 、纺织行业：布匹生产在线检测、棉花杂质检测； 9 、生物识别：指纹检测、人脸识别、细胞分析系统； 1 0 、血液分析：肿瘤免疫监测、内窥镜医疗影像、医疗手术监视录像： 1 1 、科学研究：机器人足球系统、运动目标自动跟踪识别系统、双目标物体自动跟 踪识别系统； 1 2 、其他行业：电池喷吐条码自动检测、瓶罐商标检测、手机按键表面检测、探针 检测领域、复杂形状非接触精密测量、键盘表面缺陷检测、全息防伪线分切质量在线检 测、不干胶标签质量高速在线检测、玻璃瓶质量在线检测。 2 2 机器视觉系统 2 2 1 机器视觉的工作原理 机器视觉系统是指通过图像传感器，如c c d 、c m o s 、c i s ( c o n t a c ti m a g es e n s o r ， 接触式影像传感器) 等，将目标对象的待测信息转换成图像信号，利用专用图像处理系 统对该图像信号进行各种针对性处理得出特定结果的自动识别系统。其工作原理如图 2 2 所示。 第二章嵌入式高速在线机器视觉榆测系统 图2 - 2 机器视觉系统原理图 f i g 2 - 2m a c h i n ev i s i o ns y s t e mp r i n c i p l ed i a g r a m 2 2 2 机器视觉系统的组成 机器视觉系统通常由光源部分、c c d 图像传感器、图像采集卡或图像数字化仪、工 业计算机和二号用的图像处理软件( 或嵌入式系统) 、控制执行机构组成，如图2 3 所示。 通过c c d 图像传感器采集目标图像，把目标图像的三维图像采集为二维图像，通过 光信号转换成电信号，即所谓的模拟信号；再由图像采集卡把电信号转化成数字信号， 供计算机处理。 * 昭蕞i _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ _ - 人彼检： ! 图2 3 机器视觉系统的构成 f i g 2 - 3c o m p o n e n t so ft h em a c h i n ev i s i o ns y s t e m 一般来说，机器视觉系统为了避免环境自然光线或灯光对其工作状态的影响，光源 应亮度大、亮度可调、均匀性好及稳定性高，以抑制外界环境各种光埘图像质帚产生较 大影响而导致机器视觉系统的故障或误判行为。 常用的c c d 图像传感器有两种形式，一种为线性c c d ，种为面阵c c d 。基于p c 机的机器视觉系统，图像采集卡具有图像信号接收与a d 转换、队调摄像机进行同步或 异步重置拍摄和定时拍摄、通过p c 总线进行高精度数据传输、专用图像处理软件完成对 悸 一 嘲 7 么 第二章嵌入式高速住线机器视觉检测系统 图像的处理与分析。 图像采集又包括发出丌始采集的触发信号、图像的获取和图像数据的传输。建立一 套图像采集方案必备的设备有：图像采集硬件、驱动软件和应用软件。硬件可提供图像 捕获、定时和控制功能；驱动软件通过一个标准的a p i ( a p p l i c a t i o np r o g x a m m i n g i n t e r f a c e ，应用编程接口) 接口对硬件进行操作：应用软件可以将硬件和驱动软件结合 到特定应用的解决方案中，并大大缩短开发时间。目前有许多图像采集卡已投入到实际 应用中，利用p c i ( p e r i p h e r a lc o m p o n e n ti n t e r c o n n e c t i o n ，外设组件互连标准) 总线进 行图像数据的传输，最大传输率为1 3 3 m b y t e s ，实用的速率一般为l o o m b y t e s 。图像处 理器涉及到处理器结构、操作系统、应用软件和输出时序，对实时系统来讲，输出时序 是特别重要的部分。 机器视觉检测中，根据被测对象的需要，系统要采集和处理的图像数据量大，尤其 对于大型物体三维视觉检测系统常常需要多个测量模块，系统采集和处理的数据量将会 相当大。整个视觉检测系统构成以计算机为中心的网络控制系统，挂接在网络上的每个 测量模块则是由视觉传感器、高速图像采集系统和专用图像处理系统、高速通讯模块等 部分构成，将其称为一个智能视觉测量单元。所以，某种程度上讲，图像处理速度影响 整个系统的性能，高性能的检测系统对数据处理设备提出了更高的要求。 2 3 嵌入式高速在线机器视觉检测系统 2 3 1 系统的工作原理 现在市面上可用的高速c c d 采集处理系统均为进口产品，价格高昂。要降低最终产 品的成本和价格，必须自行设计高速c c d 采集处理系统。目前的d s p 处理器、f p g a 及面 阵c c d 技术已经基本成熟，我们拟在自己原有的开发的线阵c c d 高速图像采集的基础上 开发自己图像采集系统。该系统的融合了c c d 图像采集和高速d s p 处理功能，其结构图 如图2 - 4 所示。 嵌入式机器视觉高速在线检测系统由高速c c d 图像传感器捕捉到的实时图像信号， 在f p g a 时序控制下，经过高速a d 进行数字采样量化，通过d m a ( d i r e c tm e m o r ya c c e s s ， 直接存储器存取) 或者e d m a ( e n h a n c e dd m a ，增强型直接存储器存取) 通道存储到r a m ( r a n d o m a c c e s sm e m o r y ，随机存储器) 中，之后d s p 结合f p g a 对图像进行运算处理， 把处理结果通过控制端口输出到控制机构上，进行下一步分拣操作。 l 、硬件平台处理能力 硬件平台的处理运算能力是决定系统处理性能的基础。目前主流高速d s p 的运算能 力已经可以满足大量高速的处理要求，t i 公司的c 6 0 0 0 系列处理器的运算能力已达 5 7 6 0 m i p s ，可以满足我们高速处理的要求。f p g a 具有体系纬构和逻辑单元灵活、集成度 高以及适用范幽广等特点。兼容了p l d 和通用门阵列的优点，可实现较大规模的电路， 编程也很灵活。与门阵列等其它a s i c 相比，它又具有没计开发周期短、设计制造成本 第二章嵌入式高速在线机器视觉检测系统 低、开发工具先进、标准产品无需测试、质量稳定以及可实时在线检验等优点，因此被 广泛应用于产品的原型设计和产品生产。使用高速d s p 和大容量f p g a 构建硬件平台， 其中f p g a 承担重复性简单计算、d s p 负责系统管理和复杂计算，通过两者结合提高整个 系统的效能。 2 、软件算法的优化程度 算法是实现高速检测的主要因素，它体现在两个方面：首先是算法在功能上必须满 足目标图像的检测要求。其次是高效，不同的算法虽然功能相同，效率却可能相差很大。 最后体现在系统的检测速度就大不相同了。充分利用现有的图像处理算法的研究成果， 构造高效的图像处理算法。 3 、算法的实现方式 d s p 高速运算能力主要体现在利用硬件实现一些常用的运算( 如傅立叶变换、数的 阶乘等) 和并行的多级流水线处理( t i 公司6 0 0 0 系列的d s p 使用了8 级流水线) 。现有 的图像检测算法一般采用c 结合汇编混合编程实现，然后使用编译器本身的优化能力优 化。这种方式一般只能使d s p 的处理速度达到理想状态的3 0 一5 0 。代码的优化程序 也正是国内产品和国外产品处理能力差别的主要原因。使用手工汇编和代码优化的方 式，调整代码的执行顺序，达到算法并行运行。在必要的情况下使用f p g a 硬件实现核 心处理算法。 叵巫圃 控制 处理器乏三圣至 o 内部结构 d s p 通讯和事务管理 存储、中断 图2 - 4 嵌入式机器视觉高速在线检测系统结构图 f i g 2 4e m b e d d e dh i g h - s p e e do n l i n em a c h i n ev i s i o nm e a s u r i n gs y s t e m ss t r u c t u r ef r a m e 嵌入式机器视觉高速在线检测系统的核心是图像处理，即本文研究的主要内容。图 像处理具体分为三级处理： 1 、低级处理主要是针对像素的一些运算，包括滤波、阈值比较、查找表，完成如 对比度增强、锐化处理、平滑处理、边缘检测、模板匹配、膨胀和缩小等操作。在低级 处理中，参与运算的数据量大；数据需多次重复使用，算法简单( 乘加运算) ，规则， 图像中的所有元素均可施以同样的操作，存在固有的并行性，通信需要高带宽数据交换， 因此，低级图像处理往往是图像处理系统中最为耗时的环节，对整个系统速度影响较大； 网幽 第一二章嵌入式高速在线机器视觉检测系统 这些特点，使这些运算非常适合于在外围f p g a 架构中来用硬件算法实现，例如，f p g a 中的硬件乘法模块就使得这些运算中大量用到的卷积运算易于实现，由于f p g a 能够能 方便进行并行运算，使得低级图像处理的速度大大加快。 2 、中级处理是将低级处理的结果，如灰度直方图、检测点、线的坐标，作为输入， 做进一步的处理，包括对被测物有用特征信息的处理，如孔中心的图像坐标提取，线段 交点的图像坐标的求取等，在这些运算中，参与运算的数据量较小，但算法相对复杂， 同时还具有一定的串行性，如继续用硬件实现则不仅要占用大量硬件资源，且不易实现， 因此可采用嵌入式的c p u 来完成，由于c p u 与f p g a 结构有很大的带宽，进行数据交 换也很方便。 3 、高级图像处理则包括视觉传感器坐标到传感器坐标的转换，以及整个检测系统 多个传感器坐标的统一等，经过中级处理后的数据量已经很小、需传输的数据量也小， 而且这些运算的算法更加复杂，对系统的计算性能要求高，比较适合用计算机进行处理。 2 3 2 系统的检测目标 嵌入式机器视觉高速在线检测系统主要对生产线工件外观缺陷、尺寸及相关参数进 行检测，判定工件是否合格，本文以冲压螺钉为例进行检测，图2 5 给出了合格冲压螺 钉和不合格冲压螺钉的图片，其中合格螺钉螺纹均匀无缺损，不合格螺钉螺纹有缺损， 螺纹间距不均匀。此外系统亦可判断螺钉的长度、牙距等技术指标。 ( a ) 合格螺钉 ( b ) 不合格螺乍j 图2 - 5 待检测螺钉i 到像 f i g 2 5i m a g eo fb o l tt ob ed e t e c t e d 第二章图像处理算法的研究 第三章图像处理算法的研究 本章通过研究机器视觉中的数字图像处理现有的图像处理技术，提出了适于嵌入式 高速在线机器视觉系统高效图像检测处理算法，详细讲述了图像平滑、图像增强、二值 化处理、图像边缘提取、轮廓跟踪、特征参数提取、识别与判断的具体实现方法。 3 1 机器视觉中的数字图像处理 3 1 1 数字图像处理算法概述 数字图像f 3 3 ，3 4 i 指的是一个被采样和量化后的二维函数，采用等距离矩形网格采样， 对幅度进行等间隔量化，可以用一个二维矩阵来表示。如果我们定义数字图像为一个物 体的数字表示，则像素就是离散的单元，量化的灰度等就是数字量。扫描、采样和量化 三个步骤组成了图像数字化的过程，也就是形成一副数字化图像的过程。 数字图像处理就是对一个物体的数字表示施加一系列的操作，以得到所期望的结 果，比如对一副图片的处理，处理过程能改变图片的样子，使其更称心或达到某种特定 的目的。对于狄度图像，在数字图像处理中有些标准值如表3 - 1 所示。 表3 - 1 灰度图像标准值 参数记号 典型值 行数 n 2 5 6 ，5 1 2 ，5 2 5 ，6 2 5 ，1 0 2 4 。1 0 3 5 列数m2 5 6 ，5 1 2 ，7 6 8 ，1 0 2 4 ，1 3 2 0 灰度级 l 2 ，8 ，6 4 ，2 5 6 ，1 0 2 4 ，4 0 9 6 ，1 6 3 8 4 图像处理技术1 3 5 3 7 j 是把输入图像转换成具有所希望特征的另一幅图像。对许多问题 的求解，常常不是一种算法就能解决的，需依次使用多种不同的算法，这些算法具有顺 序性，上一步的结果会直接影像到下一步的处理。根据所涉及的数据的性质，可将视觉 检测中的图像处理分为数据层、