（机械电子工程专业论文）基于图像处理的智能墙地砖分拣系统.pdf

山东理工大学硕1 _ 学位论文 摘要 摘要 当前，制约我国墙地砖产品质量的主要因素是缺乏现代化、自动化的生产设备。 产品质量的检验分级作为墙地砖生产过程的一个重要环节，直接影响到产品的质量。 目前，我国墙地砖生产的产品质量检验分级都是由人工完成的。在人工质量检验过程 中，人的生理、心理、经验等个体上的差异以及环境的变化给质量检测分级带来了众 多问题，限制了质量检测分级精度和稳定性的提高。为了解决质量分级环节的问题， 实现生产的现代化、自动化，就需要- - 种i i 实现此目的的自动分级系统。 本文阐述了一种新型的墙地砖智能全自动等级分拣装置，将计算机、图像处理、 可编程序控制、传感器、机械、光电技术等相结合，根据墙地砖的尺寸、表面缺陷和 表面颜色实时地进行在线等级分类，并自动输出至不同通道。 本文研制开发智能分级系统机器视觉以及软件部分，系统分级软件的主要内容就 是图像处理算法，软件设计。针对墙地砖的统计纹理图像，提出了一种小波差分统计 纹理特征缺陷检测方法。该方法首先应用小波基函数对纹理图像进行一级分解，将图 像划分为互不重叠的子窗口，然后计算其差分统计纹理特征值，最后采用m a h a l a n o b i s 距离分类器进行缺陷判决。对墙地砖的表面缺陷，采用了自动缺陷检测的新算法，该 算法综合了颜色的空间分布信息和比例分布信息，应用共生矩阵纹理特征与颜色统计 特征构造一个判断矢量，能对复杂纹理的多色墙地砖进行各种缺陷检测。 关键词：墙地砖分级，计算机视觉，颜色特征分级，表面缺陷检测 生查矍三奎兰堡圭兰堡篁塞 垒! ! 塑竺 a b s t r a c t u pt on o w , t h em a i nf a c t o rt h a tr e s t r i c t st h eq u a l i t yo fc e r a m i ct i l e si no u rc o u n t r yi s t h el a c ko fm o d e r n i z e da n da u t o m a t i cp r o d u c i n ge q u i p m e n t a sa ni m p o r t a n tp a r to ft h e p r o d u c i n gp r o c e s so fc e r a m i ct i l e s ，t h ec h e c k o u ta n dg r a d i n gp r o c e s sh a sad i r e c ti n f l u e n c e o nt h eq u a l i t yo fp r o d u c t s c u r r e n t l y , t h ec h e c k o u ta n dg r a d i n go fc e r a m i ct i l e si no u r c o u n t r yi so p e r a t e db yh a n d i nt h i sp r o c e s s ，t h ei n d i v i d u a ld i f f e r e n c ei np h y s i c a l c o n s t i t u s i o n ，p s y c h o l o g ya n de x p e r i e n c e ，t h ee n v i r o n m e n t a lc h a n g ep l u s ，l i m i tt h e i m p r o v e m e n to fp r e c i s i o na n ds t a b i l i t yo ft h ec h e c k o u ta n dg r a d i n go ft h ep r o d u c t s i n o r d e rt os o l v et h ep r o b l e ma n dr e a l i z et h em o d e r n i z a t i o na n da u t o m a f i o n ，a na u t o m a t i c g r a d e s o r t i n gd e v i c ei sr e q u i r e d i nt h i sc o n d i t i o n ，an e wt y p eo fi n t e g r a t e da n da u t o m a t i cg r a d es o r t i n gd e v i c ef o r c e r a m i ct i l e si sd e v e l o p e d ，w h i c hc o m b i n e st h et e c h n o l o g yo fc o m p u t e r , i m a g ep r o c e s s i n g ， p l c ，s e n s o r s ，m a c h i n e r ya n dp h o t o e l e c t d c i t y a c c o r d i n gt ot h es i z e ，t h es u r f a c ec o l o ra n d f l a w , g r a d es o r t i n gi sc a r r i e do u to n 1 i n ea n dc e r a m i ct i l e sa r ea u t o m a t i c a l l yt r a n s p o r t e dt o d i f f e r e n tc h a n n e l s t h ea i mo f t h i sr e s e a r c hd e v e l o pa n dr e s e a r c ht l l es o f t w a r eo f i n t e l l i g e n tg r a d es o r t i n g d e v i c ef o rc e r a m i ct i l e s ，w h i c hh a st w oi m p o r t a n tp a n s t h ea l g o r i t h mo fi m a g ep r o c e s s a n dp r o g r a md e s i g n ad e f e c ti n s p e c t i o nm e t h o df o rs t a t i s t i c st e x t u r ei ng r a d i n go fw a l l a n df l o o rt i l e ，w h i c hb s e st e x t u r ed i f f e r e n c es t a t i s t i c sf e a t u r ei nw a v e l e td o m a i n ，i s p r e s e n t e d f i r s t ，u s i n gw a v e l e tb a s ef u n c t i o nd e c o m p o s e st h et e x t u r ei m a g e ，t h e nt h ei m a g e c a r tb ep a r t i t i o n e di n t on o n - o v e r l a p p i n gs u b - w i n d o w sa n dt h et e x t u r ed i f f e r e n c es t a t i s t i c f e a t u r ei sc o m p m e d f i n a l l ye a c hs u b w i n d o wi sc l a s s i f i e di n t od e f e c t i v eo rn o n d e f e c t i v e c l a s s e sb yu s i n gam a h a l a n o b i sd i s t a n c ec l a s s i f i e r an o v e la l g o r i t h mi sa d o p t e df o r i n s p e c t i n gt h ed e f e c to fw a l la n df l o o rt i l e ，w h i c hi sa u t o m a t i cd e f e c td e t e c t i o n r e g a r d i n g c o l o ri n f o r m a t i o no fs p a t i a la n dp r o p o r t i o n a ld i s t r i b u t i o n ，ac r i t e r i o nv e c t o ri se x t r a c t e d b a s e do nt h ec o o c c n l t e n c em a r xa n dc o l o rf e a m r e s i ti sa p p l i e dt od e t e c tv a r i o u sd e f e c t s o nc e r a m i ct i l e sw i t hc o m p l i c a t e dt e x t u r ep a t t e r n sa n ds e v e r a lc o l o r s k e yw o r d s ：g r a d i n go fw a l la n df l o o rt i l e ，c o m p u t e rv i s i o n ，g r a d i n gi nc o l o rf e a t u r e s ， s u r f a c ed e n c ti n s p e c t i o n 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得山东理工大学或其它教育机构的学位或证书 而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示了谢意。 研究生签名 j ，i ；纫协 时间：z 。e 5 年f 月j 日 关于论文使用授权的说明 本人完全了解山东理工大学有关保留、使用学位论文的规定，即：学校有权保留 送交论文的复印件和磁盘，允许论文被查阅和借阅；学校可以用不同方式在不同媒体 上发表、传播学位论文的全部或部分内容，可以采用影印、缩印或扫描等复制手段保 存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此协议) 研究生签名：j 、渗两 导师签名：量施 时间：。年6 月r 岁日 竺圣塞；三奎兰竺兰茎堡耋三 篓：塞篁篁 1 1 论文选题的目的和意义 第一章绪论 墙地砖按外观特征分为彩釉砖、瓷质砖等。按建材工业行业标准( j c t 6 6 5 1 9 9 7 ) ， 瓷质砖又可分为有釉瓷质砖、无釉瓷质砖。今以普通釉瓷瓷质砖为例，提出了其尺 寸偏差、变形与表面质量的质量检测课题，在附录l 中列出了相关国家标准【”。 随着人类生活水平的不断提高，各种地面砖、内外墙地砖已经成为当今社会必不 可少的建筑材料，然而其产品质量特别是其过大的尺寸差异，令施工单位在施工时无 法铺设整齐而影响工程质量。g b l l 9 4 7 8 9 ( 彩色釉面陶瓷地砖) 规定边长尺寸 2 5 0 毫 米时的尺寸允许偏差为2 5 毫米，此误差显然高于许用值，一部分中大规模的建陶 厂执行了1 0 毫米的厂标，此值显然难于满足工程创优的排列要求”】。但若继续缩 小产品的公差要求，在现有的生产方式下势必导致生产过程的过分复杂或难于保证产 品的合格率。 现行生产厂家的分拣方法是利用人： 进行定期抽检，对尺寸超标的产品直接划为 次品。对尺寸合格者再分别根据变形、表面质量划分等级。( 变形按种类分为平整度( 包 括中心弯曲度与翘曲度) 、边直度和直角度，前三者优等品都限制在o 5 0 之内，直 角度优等品限制在0 5 0 之内。表面质量应符合如下规定一】：有缺釉、斑点、裂纹、 落脏、棕眼、熔洞、釉缕、釉泡、烟熏、开裂、磕碰、波纹、剥边、坯粉可见缺陷的 砖数不超过5 ，在距离砖面l 米处目测应为优等品，2 米处目测应为一级品：在距 离砖面3 米处目测缺陷不明显的是合格品，以上色差都要求在距离3 米处目测不明显。1 经常由于检查者的疏忽而导致出现大量尺寸不合格的产品，影响了企业的信誉，为施 工单位造成了不必要的损失。作为施工单位，为了获得较好的施工质量，往往需要在 内外墙砖及地面砖的铺设之前投入大量的人力进行尺寸分拣，既增大了劳动强度，又 降低了施工速度。可见传统的墙地砖检测、分级方法效率低、精度差并且无法进行实 时检测与分级。为了克服上述缺陷，很有必要研究墙地砖质量的计算机视觉检测系统。 本课题所开发研制的计算机视觉检测系统是智能全自动墙地砖分拣机的软件部 分，本智能自动墙地砖分拣机是集计算机图像处理、控制、机械、光电、气动、建材 为一体的机电一体化产品。本软件将用于各种地面砖、内外墙砖的实时在线全数质量 检测，该系统可在尺寸波动小于0 5 m m 的范围内将墙地砖按尺寸大小分成不同的组 别，同时利用计算机图像识别技术进行尺寸偏差、变形与表面质量检测，将不同尺寸、 变形与表面质量的墙地砖自动分组、分级，分别输出，以便分别包装。用户只要将同 样尺寸( 组别) 的产品铺设于某一独立的区域，即可满足铺设整齐的要求。 利用本系统可将原来为优等品的墙地砖继续保持为优等品，且可将原来由于尺寸 误差过大而造成的非优等品转化为优等品，提高了分拣质量和产品的一致性，从而提 高了优等品率；创造了巨大的经济利益，同时本系统可将墙地砖分拣工人从繁重的体 力劳动中解脱出来，又节省了大量的劳动力。创造巨大的经济效益。 山东理工大学硕士学位论文第一章绪论 1 2 本课题的国内外研究现状 国内外的研究现状主要是从颜色分级来讨论墙地砖分拣机的发展现状。 在这方面，最为成功的是英国的s u r f a c ei n s p e c t i o nl i m i t e d 公司。该公司自1 9 8 7 年在英国伦敦成立以来，一直致力于瓷砖的表面检测。其研制的瓷砖自动检测系统 f l a w m a s t e r3 0 0 0 ( 立 1 图1 1 所示1 1 5 】目前已经有2 0 0 多套在欧洲和美国安装使用。，该系统 的检测速度每小时5 0 0 平方米，也就 是况对于1 5 c m 1 5 c m 的砖，每分钟 能检钡1 1 2 0 0 块：3 0 c m 3 0 c m 的砖， 每分钟能检测9 3 块。砖的尺寸由 1 0 0 c m 1 0 0 c m 到6 0 0 c m 9 0 0 c m 不 等。 该系统能对市场上绝大多数品 种的瓷砖进行缺陷检测和色彩分级， 能根据厂家自己的标准给每个质量 等级设置每种缺陷的最大限制，并且 需要的话，这些限制可以由专业人员 进行在线调整。该公司的创始人 m a r t i n c o u l t h a r d 璺苎盟，蔓! 徽色登 图1 1 f l a w m a s t e r3 0 0 0 是瓷砖表面多个视觉特征的组合，包 括颜色、颜色的分布模式以及表面装饰等等。特征量的选择应满足可靠性、互不相关 性和各向同性。单色砖的颜色可以由l 、a + 、b 均匀颜色空间中三个分量的均值来表 示，因为r 、a 、b 不仅与人眼视觉特性一致，而且它的可分辨颜色差异是线性的， 即在这个空间里距离相等的两点呈现出相同的色差感觉。对于有丝网印花图案的砖， 除了选取基色的l 、矿、b 均值表征其色彩特征，还要加上表征印花边缘清晰度、印 花颜色等其它特征量等。不同品种的瓷砖，其特征提取的方法也不相同，需要以检测 技工的经验和知识作为参考。 意大利所设立的项目a s p e c t ( a u t o m a t i o ns e l e c t o rp r o c e s s i n gf o rc e r a m i c t i l e s ) 7 。8 】，在瓷砖的检测方面也取得了一些成绩。它采用的是神经网络模式分类，通 过网络的自学习找到不同模式的特征信息进行分类。同时，考虑到模式对象之间的界 限是不明确的，即这些对象之间不是非此即彼的关系，而是模糊的关系，引入了模糊 算法。另外，该项目组设计的图像采集子系统和照明也在申请专利。研制的设备没有 在实际生产线中安装使用，但在实验室模拟的生产环境( 如振动、高温、多灰尘等) 中 通过了测试，效果良好。 以英国s u n y 大学为首的课题组c v s s p 也在这方面进行了研究，并发表了相关文 章4 l 。他们的主要贡献在于： f 1 1 探讨了图像采集过程中照度在时间和空间上的变化问题，并提出了校正方法： ( 2 ) 对缺陷划分不同的类别，针对几种常见类型的缺陷提出了相应的检测算法。 他们与法国、意大利合作研制的系统a s s i s t 采用了三个c c d 摄像头，其中两个 高分辨率黑白线阵c c d 用来检测各种缺陷，一个高分辨率彩色线阵c c d 用来检测颜色 以及进行颜色分类。该系统已能成功地检测单色及颗粒状纹理砖面的各种缺陷，如崩 边、裂纹、斑点等，但对采用丝印技术上釉的其它纹理砖面的缺陷识别则不成功。提 供的分类算法主要基于颜色直方图，对于单色及种类较少的混色砖效果还可以，但对 纹理较复杂、颜色较多的砖则效果不理想，而且也没有真正用到生产实际中。m u r a t d e v i r e n “刘以大理石砖表面纹理单元数目和单个纹理单元的特征为基础进行分类。先 在h s v 颜色空间对各分量采用基于直方图的分割算法检测单个的纹理单元，再对检 测出的单个纹理单元进行分析，计算纹理粗细等参数。采用矢量量化器进行聚类，实 验结果在视觉上可阻接受。 国内在这方面的研究起步较晚。山东理工大学邢希东老师等自1 9 9 7 年开始，进行 智能全自动墙地砖分拣机的研制，已发表多篇文章，内容涉及墙地砖图像的快速中值 滤波7 j 和边缘检测【l “、墙地砖色差的计算机视觉检测【1 8 】以及波水算法用于墙地砖表 面缺陷检测【2 u j 。其中，文献【i9 】在研究墙地砖色差特性的基础上，根据表面颜色色相 值是否在给定区间，判别色差要求是否合格。遗憾的是文中没有提供实验结果证明。 华中科技大学的罗玮1 2 州研究彩色瓷砖的自动分类系统，也是提取图像的二维色度直方 图作为特征参数。在分类的具体操作中，采用分层分类的方式。在进行精确分类之前， 使用图像的均值作为粗分类的依据，排除不可能的类，再用色度直方图进行细分类。 文中还探讨了训练样本的修正以及特征参数与分类器的关系问题。虽然给出了生产环 境和实验室条件下识别正确率的对比结果，但未见到进一步的相关资料。 戴哲敏咄1 介绍了一种瓷砖表面颜色匀度的分析方法一计算机视觉分析方法。在数 字图像采集及图像处理基础上，利用提取的图像色彩特征值建立了瓷砖表面颜色匀度 的计算机视觉检测模型，对匀色瓷砖的颜色匀度采用灰度处理后的直方图、均方差和 梯度法进行分析研究，并对各方法的优缺点进行了理论分析及实验论证。从网上可以 查到，由欧汝登申请的专利1 2 3 4 5 1 涉及一种墙地砖颜色、纹理、花色图案色差检测装鬣， 包括一个光学检测头，所发出的光斑直接照射在被检产品面上。该光学检测头检出的 模拟量输出至外设的电脑系统并控制执行元件工作，使被检产品根据不同的颜色、纹 理、花色图案色差进行自动分类分区位存放。三个专利的不同之处在于检测头安装的 位置和检测方式；采用的是多个光学检测头同时扫描采样这样一种非接触静态多点检 测方式【2 习；采用光学检测头旋转扫描采样的非接触动态检测方式c 2 4 j ：采用了光学检 测头横向扫描的非接触动态检测方式1 2 5 1 。但尚未见到该专利产品在现场安装运行的有 关报道。 据了解，佛由某公司研制的“瓷质建材等级自动分拣系统”前不久通过了鉴定， 其中的建材定位检测分拣装置已申请了专利【l 们。系统主要针对单色砖、麻地砖和带有 规则花纹图案的地砖，能自动检测外观尺寸和表面疵点，并对彩色地砖进行颜色分级。 在分级时，首先通过c c d 摄像机获取地砖的彩色图像，利用数字图像处理的方法，对 表面信息进行处理，提取归一化校准后的红、绿、蓝三色值统计参数表征色彩特征， 然后利用b p 神经网络对地砖的色彩进行分类。经过多年研究并投入大量的经费，所 研究、开发的系统在墙地砖的几何尺寸的测量以及对简单色彩与图案的墙地砖的检测 与分类方面取得了成功。但这种方法存在以下两个问题：第一是在颜色特征的提取上， 利用的只是基于颜色直方图的统计信息，忽略了颜色的空间分布，对复杂图案的瓷砖 并不适用：第二是在分类上，由于模板匹配法的关键是建立样板图像，而对于目前市 场上日益出现的带随机图案的地砖，样板恰恰很难建立。据用户意见，该系统虽然提 高了对尺寸、形状的分拣精度，但对于花色图纹复杂多变的瓷砖( 如水晶砖系列、雨 花石系列等) 则分拣效果不理想，而且系统对粉尘大、振动大的现实生产环境还有不 稳定现象。因此，为了使该系统能适应检测复杂、多变的墙地砖，还需要进一步提高 分类器的性能。 从以上情况来看，国外在瓷砖的颜色检测与分级方面的研究起步较早，研究也比 山乐理工大学坝士学位论文 第一章绪论 较深入，但国外研制的产品并不适合国内。其主要原因是国外的设备功能较为简单， 要求被分类的瓷砖的“色号”少，不同色号之间瓷砖的色差大；而国内陶瓷企业由于 瓷土配料、生产工艺、流程控制等方面存在国情上的差异，实际情况恰恰相反，这就 不可避免地导致该类机器无法适应国内瓷砖花色品种繁多、质量参差不齐的复杂局 面，纷纷败下阵来。广东省石湾镇有三间厂就在1 9 9 3 1 9 9 4 年期间花巨额外汇分别引 进了四套分拣装置，但由于没有考虑到这一点，结果是有的装置几乎没有真正付诸使 用，有的则勉强使用一段时间后由于效果很差而束之高阁。国内已有瓷砖色彩、纹理、 花色图案的自动分拣系统的文献和专利报道，但是暂时都没有成熟产品生产出来。 1 3 本课题研究的主要内容 本课题是研制开发计算机控制的智能墙地砖分拣机中墙地砖质量的计算机视觉 以及检测系统软件。 本课题中智能墙地砖分拣机的工作流程为【2 6 l ： 窑炉一输入通道一c c d 一计算机及图像处理一执行机构控制处理一执行机构一 输出装置一包装 课题研究的主要内容是： 1 制定各种地面砖、内外墙砖的最佳尺寸分级规范。 2 利用计算机视觉技术、计算机图像处理技术，寻求本课题所需的实时图像特征 提取的快速算法。 3 墙地砖图像预处理的快速算法。 4 寻求图像特征提取后对墙地砖进行自动分组所需要的快速图像处理算法。 5 开发智能墙地砖分拣机的应用系统和管理软件。 1 4 研究方法和技术路线 本课题采用计算机图像处理技术、人工智能原理及模式识别原理，提取和识别被 测墙地砖的边缘图形及表面图像信息特征( 利用边缘信息获得其尺寸大小、各变形量， 利用获得的表面图像信息判断瓷砖的缺釉、斑点等表面缺陷和色差) 。然后分拣系统 利用基于图像识别的工业检测技术，根据变形、表面质量自动判断其产品等级，再根 据不同的尺寸范围、组别自动输出至不同的输出端，由后续工序分别包装并标记后出 厂。 采用计算机图像处理和模式识别、人工智能相结合的方法( 即采用标准形状法提 取墙地砖的特征参数) 对墙地砖按照尺寸偏差、变形、表面质量进行分组、分等级。 基于共生矩阵的纹理特征与颜色特征相结合的矢量检测方法。通过训练无缺陷的 样本，提取有效特征作为判断矢量，将待测墙地砖的对应特征矢量再与之比较，阻判 断是否有缺陷存在。该方法能够检测各种纹理的多种颜色混合的复杂墙地砖缺陷。 对统计纹理图像使用了一种小波分解域的差分统计纹理特征的缺陷检测方法。 再利用试验来检验所得理论与结果的正确性。 以所得的结论为基础，设计墙地砖按尺寸偏差、变形、表面色差、表面缺陷分级 的专用软件。 山东理工大学硕士学位| 仑文第一荜绪论 1 5 研究要达到的主要技术指标 1 功能：可用于内墙砖、外墙砖及地面砖的智能检测，不仅可用于彩釉砖，而且 可用于玻化及渗花全磁砖的检测。 2 检测项目为：初级检测，包括两部分：尺寸偏差、变形f 直角度、边直度) ：高 级检测：色差和表面缺陷。这也是本课题的重点部分。 3 t 作流程：先根据不同的尺寸范围分组，质根据表面质量自动判别其产品等级 f 圈内外皆无此功能) ，自动输出至不同的输出通道。 4 检测精度为0 5 毫米( 达到国标) 。分组尺寸范围：尺寸大于等于3 0 0 毫米时为 0 5 毫米，尺寸小y - 3 0 0 毫米时，为+ - - 0 3 毫米。分拣速度为6 0 9 0 块分钟。分拣机 的分拣速度与生产线的产品烧结速度一致。 1 6 本章小结 本章主要介绍了本课题的研究目的和意义，即开发智能墙地砖分拣系统，采用计 算机进行智能化的数据、图像处理和相应的数据管理极大的提高工作效率，实现砖 地墙在线自动识别、分拣。并从颜色的角度详细地分析了国内外墙地砖分拣系统的研 究进展。确定了研究的主要内容，确立了研究的方法及技术路线，最后明确地指出研 究要所要达到的一些主要技术指标。 究要所要达到的一些主要技术指标。 山东理工大学硕士学位论文 第二章机器视觉在墙地砖分拣系统中的应用 第二章机器视觉在墙地砖分拣系统中的应用 2 1 机器视觉 2 1 1 机器视觉概念 机器视觉主要研究月计算机来模拟人的视觉功能从客观事物的图像中提取信息， 进行处理并加以理解，最终用于实际检测、测量和控制。一个典型的工业机器视觉应 用系统包括光源、光学系统、图像捕捉系统、图像数字化模块、数字图像处理模块、 智能判断决策模块和机械控制执行模块，如图2 - i 所示f 2 ”。首先采用c c d 摄像机或其 它图像拍摄装置将目标转换成图像信号，然后转变成数字化信号传送给专用的图像处 理系统，根据像素分布、亮度和颜色等信息，进行各种运算来抽取目标的特征，根据 预设的容许度和其他条件输出判断结果。 值得一提 的是，广义的机 器视觉的概念 与计算机视觉 没有多大区别， 泛指使用计算 机和数字图像 处理技术达到 对客观事物图 像的识别、理解 图2 - l 典型工业机器视觉系统结构 和控制。而工业应用中的机器视觉概念与普通计算机视觉、模式识别、数字图像处理 有着明显区别，其特点是1 2 9 j ： 1 机器视觉是一项综合技术，其中包括数字图像处理技术、机械工程技术、控制 技术、电光源照明技术，光学成像技术、传感器技术、模拟与数字视频技术、计算机 软硬件技术、人机接口技术等。这些技术在机器视觉中是并列关系，相互协调应用才 能构成一个成功的工业机器视觉应用系统 2 9 1 。 2 机器视觉更强调实用性，要求能够适应工业生产中恶劣的环境，要有合理的性 价比，要有通用的工业接口，能够由普通工作来操作，有较高的容错能力和安全性， 不会破坏工业产品，必须有较强的通用性和可移植性。 3 对机器视觉工程师来说，不仅要具有研究数学理论和编制计算机软件的能力， 更需要的是光、机、电一体化的综合能力口“。 4 机器视觉更强调实时性，要求高速度和高精度，因而计算机视觉和数字图像处 理中的许多技术目前还难以应用于机器视觉，它们的发展速度远远超过其在工业生产 中的实际应用速度。 6 山东理工大学硬士学位论文 第二章机器视觉在土蠹蛾砖分探系统中的应用 2 1 2 机器视觉的关键技术 2 1 2 1 光源 在枫器视觉应用系统中，好的光源与照明方案往往是整个系统成败的关键，超着 非常重要的作用，它并不是简单的照亮物体而已。光源与照明方案的配合应尽可能地 突出物体特征量，在物体嚣要检测的部分与那些不重要部份之间应尽可能地产生明显 的区别，增加对比度：同时还应保证足够的整体亮度，物体位置的变化不应该影响成 像的质量。在机器视觉应用系统中一般使用透射光和反射光。对于反射光情况应充分 考虑光源帮光学镜头的相对位置、物体表西的纹理，物体的几何形状、背景等要素。 光源的选择必须符合所需的几何形状、照明亮度、均匀度、发光的光谱特性等，同时 还要考虑光源的发光效率和使用寿命。表2 1 列出了几种主要光源的相关特性”“。 光源颜色寿命，h发光亮度特点 卤光灯白色，偏荧5 0 0 0 7 0 0 0稷亮发热多，较便宜 荧光灯白色偏绿 5 0 0 0 - - 7 0 0 0亮较便宜 红，黄，绿，自， 发热少。固体，能做成 l e d 灯6 0 0 0 01 0 0 0 0较亮 蓝 任何形状 氙灯白色，偏蓝 3 0 0 0 7 0 0 0亮发热名，持续光 电致发光管由发光频率决定 5 0 7 0 0 0较亮发热少，较便宜 表2 一l 主要光源的相关特性 在光源方面值得注意的是，l e d 光源困其显色性好，光谱范围宽，能 覆盖可见光的整个范围，且发光强度 高，稳定时间长，随着其制造工艺和 技术的成熟，价格的降低，它必将得 到越来越广泛的应用，成为图像领域 新的亮点。还有高频荧光灯因其发光 强度高、性价比好，在某些应用场合 也是很好的选择。 2 1 2 2 光学镜头 光学镜头相当于入眼的晶状体， 圈2 - 2 采用三棱镜分光的ccd 摄像机原理 在机器视觉系统中非常重要。一个镜 头的成像质量优劣，即其对像差校正的优良与否，可通过像差大小来衡量，常见的像 差有球差、彗差、像散、场曲、畸变、色差等六种。对定焦镜头和变焦镜头来讲，同 一档次的定焦镜头的像差肯定比变焦镜头的小，因为变焦镜头必须折衷考虑，使各种 不同焦距下的成像质量都相对较鲟，不允许出现菜个焦距( 在交焦范围内) 下很差的情 况。所以在机器视觉应用系统中，根据被测目标的状态应优先选用定焦镜头1 3 。此外 7 山东理工大学硬士学也论文 第二章帆器视觉在墙地砖分拣系统中的应用 再综合考虑图像的放大倍率、视场大小、光圈大小、焦距、视角大小等因素进行具体 选择。当然，镜头与摄像机的安装接口也是应考虑的一个重要因素。 2 1 2 3 摄像机和图像采集卡 摄像机和图像采集卡共同完成对物料图像的采集与数字化。高质量的图像信息是 系统正确判断和决策的原始依据，是整个系统成功与否的又一关键所在。目前在机器 视觉系统中，c c d 摄像机以其体积小巧、性能可靠、清晰度高等优点得到了广泛使用。 c c d 摄像机按照其使用的c c d 器件可以分为线阵式和面阵式两大类 3 2 1 。线阵c c d 摄 像机一次只能获得图像的一行信息，被拍摄的物体必须以直线形式从摄像机前移过， 才能获得完整的图像，因此非常适合对以一定速度匀速运动的物料流的图像检测；而 面阵c c d 摄像机则可以一次获得整幅图像的信息。目前的线阵c c d 摄像机产品主要有 两大类，一类以d a l s a 公司的t r 3 3 和t r 3 4 系列的摄像机为代表，如图2 2 所示，采 用了三棱镜分光技术把物料上同一位置反射回来的光线的红色分量送到r 传感器输 出，绿色分量送到g 传感器输出，蓝色分量送n b 传感器输出，即同一时刻，r 、g 、 b 传感器输出的信息是被摄物料的同一。位置的颜色信息。另一类以b a s l e rl 3 0 1 b c 年1 l 3 0 1 k c 为代表，如图2 3 所示，从中可以清楚地看到：在同一时刻，r 、g 、b 传感器 输出的信息不是对应被摄物料的同一位置，而是三个不同的位置，即存在r 、g 、b 错位的问题。第一类产品的价格则比较昂贵，主要用于检测精度高、实时性强、必须 获得高质量图像的系统。第二类产品价格比较便宜，在检测精度和系统实时性要求不 是很高的应用场合使用较广泛：在机器视觉系统中，图像采集卡是控制摄像机拍照， 完成图像采集与数字化，协调整个系统的重要设备。它一般具有以下功能模块：1 图 像信号的接收与a d 转换模块，负责图像信号的放大与数字化；2 摄像机控制输入输 出接口，主要负责协调摄像机进行同步或实现异步重置拍照、定时拍照等；3 总线接 口，负责通过计算机内部总线高速输出数字数据，一般是p c i 接口，传输速率可高达 1 3 0 m b p s ，完全能胜任高精度 红色分量c c d 感光面 图像的实时传输，且占用较少 的c p u 时间；4 显示模块， 负责高质量的图像实时显示； 5 通讯接口，负责通讯。目前， 图像采集卡种类很多，按照不 同的分类方法，有黑白图像和 彩色图像采集卡，有模拟信号 和数字信号采集卡，有复合信 号和r g b 分量信号输入采集 卡【3 3 】。在选择图像采集卡时， 主要应考虑到系统的功能需 求、图像的采集精度和与摄像 机输出信号的匹配等因素。 2 1 2 4 图像信号处理卡 图2 3 存在r 、g 、b 错位的ccd 摄像机 图像信号的处理是机器 8 些矍三丝圭兰垒兰兰 篓三耋丝童堡耋童童塑董坌堡圣丝皇墼窑里 视觉系统的核心，它相当于人的大脑。如何对图像进行处理和运算，即算法都体现在 这里，是机器视觉系统开发中的重点和难点所在。随着计算机技术、微电子技术和大 规模集成电路技术的快速发展，为了提高系统的实时性，对图像处理的很多工作都可 以借助硬件完成，血i d s p 、专用图像信号处理卡等，软件则主要完成算法中非常复杂、 不太成熟、尚需不断探索和改变的部分( 3 4 1 。在图像信号处理的时间上必须要注意的是： 为了满足系统对物料图像连续无遗漏处理的实时性要求，必须使一帧图像的处理时间 小于等于一帧图像的采集时间，即图像处理速度大于等于图像采集的速度。 2 1 25 执行机构 对于一个系统而言，系统功能的最终实现是要靠执行机构来完成的，它是系统的 最后一个也是最关键的环节。对于不同的应用场合，执行机构可以是机电系统、液压 系统、气动系统中的某一种。但无论是哪一种，除了其加工制造和装配精度要严格保 证以外，其动态特性，特别是快速性和稳定性也十分重要，必须在设计时予以足够的 重视。 2 1 2 6 集成式机器视觉组件 目前，基于p c 机的机器视觉系统结构没有模块化，安装不方便，可移植性差， 特别是与p l c 接口比较麻烦。从软件和硬件开发两个方 面来考虑，都需要一种更适合工业需求的集成式机器视 觉组件”。目前c o g n e x 公司已经开发出了种叫做视 觉传感器的模块化组件【3 3 3 6 】，图2 4 为实物图。这种视觉 传感器集成了光源、摄像头、图像处理器、标准的控制 主曩霉萋是毒昙譬鎏鬲鑫曩篓墨曩霎盏箍蔫量霍并皇 图：4 机器视觉传感器组件 部程序存储器可存储图像处理算法，并能使用上位计算 。一”“”“” 机，利用专用组态软件编制各种算法，然后下载到视觉传感器的程序存储器中。视觉 传感器将p c 的灵活性，p l c 的可靠性、分布式网络技术结合在一起。用这样的视觉传 感器和p l c 可以更容易地构成机器视觉系统。 2 1 3 机器视觉技术发展 机器视觉是研究用计算机来模拟生物视觉的科学技术，机器视觉系统的首要目标 是用图像创建或恢复现实世界模型，然后认识现实世界。机器视觉是一个相当新且发 展十分迅速的研究领域，并已成为计算机科学的重要研究领域之一【”j 。机器视觉是在 2 0 世纪5 0 年代从统计模式开始的，当时的工作主要集中在二维图像分析和识别上。2 0 世纪6 0 年代，r o b e r t s ( 1 9 6 5 年) 通过计算机程序从数字图像中提取诸如立方体、菱柱体 等各方面的三维结构，并对物体形状及物体的空间关系进行描述。到了2 0 世纪7 0 年代， 已经出现了一些视觉应用系统。1 9 7 7 年，以d a v i d m a r t 教授为代表，提出了不同于“积 木世界”分析方法的计算视觉理论，该理论在2 0 世纪8 0 年代成为机器视觉研究领域中 的一个十分重要的理论框架。可以说，对机器视觉的全球性研究热潮是从2 0 世纪8 0 年代开始的，到8 0 年代中期，机器视觉获得蓬勃的发展。2 0 世纪9 0 年代，随着光电自 动化和计算机技术的高速发展，利用机器视觉的快速性、可重复性、智能化和可现场 9 山东理工大学硕士学位论文第二章机器视觉在墙地砖分拣系统中的应用 性的特点，机器视觉在汽车零配件批量加工的尺寸检查和自动装配的完整性检查、电 子装配线的元件定位、i c 上的字符识别、印刷电路板的检验等应用场合得到了具体的 应用。 2 1 4 机器视觉在制造中的应用 近几十年来，在制造业中利用视觉系统的非接触、速度快、精度合适、现场抗干 扰能力强等突出的优点，使机器视觉技术得到了广泛的应用，取得了巨大的经济与社 会效益。笔者在大量查阅有关资料的基础上，对国内外机器视觉技术应用于制造业的 发展作一概述【6 3 1 。 1 基于产品特征的检查 机器视觉在大批量生产中，能快速、准确、高效地检测产品的品质，可大大地提 高生产效率。通过对被检产品特征的深入研究，归纳了以下3 种基于产品不同特征的 检查。 f 1 1 基于产品空间特征的检查。机器视觉在制造业中通常是检查产品的尺寸是否 在容许的范围内或产品是否有正确形状。这类检查方法主要涉及到被检产品二维或三 维的几何特性，如形状、位置、方向、圆度等特征，也就是空间特征的检查。在文献 4 2 q 6 提到印制电路板( p c b ) 2 焊点的实时在线检查和分类，处理的p c b 图像包括两个 主要的步骤，首先是对获得的图像进行预处理以减少图像的噪声，易于后续的焊点跟 踪。然后根据p c b 上焊点典型的几何特征进行分类，得出p c b 焊点的质量是否合格。 文献 4 3 】采用启发式算法对线段进行测量并评估视觉系统检测线段的精度。文献【4 4 】 用机器视觉技术和自动控制技术对电子网板( 彩电显像管的重要部件) 实现高精度和 全自动的二维几何尺寸检测。文献 4 5 】利用视觉技术检测电子插件的尺寸。文献 4 6 】 介绍利用视觉检测技术的非接触、测量范围大等特点，测量无缝钢管的直线度及截面 尺寸。同时还介绍了一种将坐标测量机( c m m ) 和视觉传感器结合在一起的检测系统， 实现了较大范围的扫描测量。文献 4 7 】提出并实现了用机器视觉系统对汽车仪表质量 智能检测方法。试验结果表明，其绝对检测精度为0 0 1 m m ，相对测量重复精度为2 。 ( 2 1 基于产品表面品质特征的检查。通过机器视觉对产品表面凹陷、划痕、裂纹 以及磨损的检查或对表面精度、粗糙度和纹理的检测，从而对产品进行有效的评估或 分级。文献【4 8 】介绍运用机器视觉技术对钢板表面缺陷进行无损检测，文中提到了美 国c o n n e x 公司开发的i s 2 0 0 0 冷轧带钢表面自动检测系统，该系统综合效果可将缺陷 检测阈值严格控制在带钢正常表面象素值偏差的1 o 一1 6 倍，达到高于其它检测系统中 2 5 3 0 倍的水平。文献 4 9 】介绍一种测量和评估加工工件表面粗糙度的方法。文献 5 0 】 介绍基于机器视觉的铜箔基板疵点在线检测系统，达到了在线检测的要求。文献【5 l 】 探讨用机器视觉检测、分析刀具磨损状态，并对刀具磨损情况作出预报，通过实验验 证并得到预期的效果。文献 5 2 1 介绍轴承滚予表面缺陷的机器视觉检测系统对+ 1 0 - , 2 0 的圆柱滚子进行表面缺陷检测，可检出的最小裂纹宽度为2 0 一3 0 9 m ，并能在被测表面 有少量油污的情况下对大部分表面缺陷进行有效的分选。文献【5 3 】提出基于平面c c d 的瓷砖产品的表面质量检测的准则和方法。文献 5 4 】在对图像进行功率谱分析的基础 上，根据人眼的视觉原理，设计了两类匹配g a b o r 滤波器，对表面纹理缺陷进行检测。 文献f 5 5 1 在计算机图像处理理论与模式识别理论的基础上，提出了钢球表面缺陷评价 方法，给出二窗法确定阈值、噪声去除和轮廓跟踪方法，再从处理后的图像中提取能 1 0 山东理工大学硬士学位论文 第二章机器视觉在墙地砖分拣系统中的应用 表征缺陷性质的几何特征和纹理特征，以实现计算机对缺陷图像的理解和自动识别。 ( 3 ) 基于产品结构特征的检查在生产线上，通过机器视觉能准确地检查产品是否 丢失零部件( 如螺钉、铆钉等) 或检查产品是否混有外物、杂质。文献 5 6 】提到p c b 元 件构件的检测，首先用一个合格的产品建立一个模板。再用标准模板与被检查产品的 图像相减，得到相减的图就可以判断电子元件的装配是否可接受。文献【5 7 】采用模板 匹配方法实时在线检测汽车装配过程中的异物出现情况。通过专业操作人员选择一辆 汽车的四幅图像作为相应的模板，然后由检测系统自动分析，这只是整个汽车装配线 自动检测的一部分，另外一部分是检测汽车的门是否开还是关的状态。文献【5 8 1 应用 滤波技术检测铁轨上的夹具和用神经网络算法( n n s ) 检测螺丝。 2 机器视觉用于机器人的研究 在制造业，机器视觉也已应用于机器人，为机器人建立视觉系统，使得机器人能 更灵活、更自主地适应所处的环境，以满足在柔性生产方式中对自动定位、装配、搬 运和自动焊接的需要。文献 5 9 】提出一种基于视觉引导和超声测距的手眼机器人系统 对运动目标的跟踪和抓取方法。文献 6 0 】提出种基于手眼视觉的测量与定位方法， 可阻判断未知目标物体是否可抓持以及为进行抓持规划提供有效依据。在重复定位任 务中，该方法可以利用目标物体的先验信息快速定位从而避免频繁移动手臂。文献【6 1 介绍一种自动搬运冲压零件机器人。首先用线状光投影方法，除去金属表面的镜面反 射所产生的伪3 d 信息，同时计算物体上3 d 位置向量、法线向量，最后检测出物体的 某个面信息。从检测出的面信息中再检测出可保持稳定的位置，利用真空吸盘吸起物 体进行搬运，实现机器人高速且稳定地搬运工件。文献【6 2 】介绍种通过视觉引导的 机器人跟踪复杂焊接的应用。利用双摄像机拍摄的图像求得焊缝上的空间点，然后根 据焊接要求的速度对空间点进行直线插补。实验表明，由于使用视觉系统使得焊缝精 度提高，跟踪过程简单迅速 2 2 墙地砖分拣系统中的机器视觉 本节主要讨论机器视觉是如何应用于墙地砖分拣系统的。 2 2 1 本课题中机器视觉系统的组成 计算机视觉系统主要由机器视觉相机、图像采集卡、计算机、打印机组成。在