（测试计量技术及仪器专业论文）泡罩药品自动视觉检测系统关键技术研究.pdf

中文摘要 随着药品行业竞争越来越激烈，利润率逐渐变小，制造商无法承受因瑕疵产 品造成的高废品率。为在产生高昂成本之前检测出问题，药品制造商将检验工作 融入整个制造过程。目前，可用的检验备选方案有人工检测、机械式检测、光电 传感器、基于p c 机的视觉系统以及视觉传感器。视觉传感器因其精确性、易用 性、丰富功能，小体积及合理成本成为最佳选择，是近年来机器视觉研究领域的 一个热点。本文在前期开发的视觉传感器的基础上，研究了f l a s h 在线烧写和 d s p 上电自举的关键技术并对其验证，设计并制作完成了视觉传感器机械外壳， 在市场调研的基础上，利用已开发的视觉传感器样机，制定了满足实际需求的泡 罩药品自动视觉检测系统方案，根据该系统技术要求设计了专用的高亮度l e d 频闪光源和照明方案，研究了泡罩药品检测系统的图像处理软件，分析了视觉传 感器的采集模块的实时性和图像处理算法速度，提出了提高视觉传感器处理速度 的方案。 本文的主要研究内容和完成工作如下： ( 4 ) ( 5 ) ( 6 ) 关键词： 通过市场调研，制定了满足实际需求的泡罩药品自动视觉检测方案。 在实验室条件下，模拟泡罩药品包装流水线，利用雷赛公司的运动控 制卡及导轨等搭建了泡罩药品运动控制平台。 详细分析了d s p + c p l d + f l a s h 的设计方案和实现原理，研究了基 于t m s 3 2 0 v c 5 5 0 9 ad s p 的在线f l a s h 烧写技术，实现了d s p 上 电自举，使得视觉传感器脱离p c 成为独立运行的系统。 基于小型化的原则，设计并制作完成了视觉传感器的机械外壳，完成 视觉传感器样机。根据制定的泡罩药品自动视觉检测系统方案，修改 了c p l d 及d s p 内部的采集和i 0 程序。 在研究了机器视觉光源和照明方案要点的基础上，针对泡罩药品检测 任务技术要求，设计了系统专用的高亮度l e d 频闪光源和照明方案。 针对实际药品包装中对泡罩药品自动视觉检测系统的要求，设计了视 觉传感器图像处理软件，研究了图像预处理算法。 设计了泡罩药品自动视觉检测系统运行的软件流程，分析了视觉传感 器的采集模块的实时性和图像处理算法速度，在现有硬件平台下提出 了提高视觉传感器速度的方案。 泡罩药品检测视觉传感器d s p 自举l e d 光源图像处理软件 a b s t r a c t a st h ec o m p e t i t i o ni nt h ep h a r m a c e u t i c a li n d u s t r yi sb e c o m i n gm o r ea n dm o r ei n t e n s ea n d f i e r c e ，a n dt h ep r o f i ti sr e d u c i n gg r a d u a l l y , m a n u f a c t u r e r sc a nn o tb e a rh i g hr e j e e t i o nr a t eo w i n gt o f l a wp r o d u c t s ot h ep h a r m a c e u t i c a lm a n u f a c t u r e r sp u tt h eq u a l i t yi n s p e c t i o ni n t ot h ew h o l e m a n u f a c t u r i n gp r o c e s s ，i no r d e rt oi n s p e c tt h eq u a l i t yp r o b l e ma n da v o i dh i g hc o s t n o w , t h e r ea r e s o m ea v a i l a b l e i n s p e c t i o nm e t h o d s ，s u c h 私，m a n u a li n s p e c t i o n , m e c h a n i c a li n s p e c t i o n ， p h o t o e l e c t r i cs e n s o r , a n dv i s u a ls y s t e mb a s e do np ca n dv i s u a ls e n s o r b e c a u s eo fi t sh i g h p r e c i s i o n , c o n v e n i e n c e ，s m a l lb u l k , m u l t i p l ef u n c t i o n sa n dr e a s o n a b l ec o s lt h ev i s u a ls e n s o r b e c o m e so p t i m u mo p t i o n ，a n dt h ed e v e l o p m e n to ft h ev i s u a ls e n s o ri sb e c o m i n gaf o c u si nt h e m a c h i n ev i s i o nf i e l d i nr e c e n ty e a r s b a s e do nt h ee a r l yr e s e a r c ho fv i s u a ls e n s o r , t h ep a p e r d e s c r i b e sa n dv e r i f i e st h er e s e a r c ho fo n l i n en a s hw r i t i n ga n dt h ek e yt e c h n o l o g yo fp o w e r - o n b o o t s t r a p a n di nt h er e s e a r c h ，t h ee n c l o s u r eo ft h e v i s u a ls e n s o ri sd e s i g n e da n dm a d e ，a n do nt h e b a s i so fm a r k e ti n v e s t i g a t i o n ，av i s i o ni n s p e c t i o ns y s t e mi sf o r m u l a t e db yu s i n gc o m p l e t e dv i s u a l s a l l s o rp r o t o t y p ew h i c hi sa p p l i c a b l ei nt h ei n s p e c t i o np r o c e s so fb u b b l e - p a c k a g em e d i c i n ea n di s u pt os a t i s f yt h em a n u f a c t u r en e e d f u r t h e r m o r e ，ap r o f e s s i o n a lh i g h l yb r i g h ts t r o b o s c o p i cl e d l i g h ts o u r c ei sd e s i g n e da n dal i g h t i n gp r o p o s a li sd r a w nu pa c c o r d i n gt ot h et e c h n o l o g y r e q u i r e m e n to ft h es y s t e m a l s ot h ei m a g ep r o c e s s i n gs o f t w a r ei nt h eb u b b l e p a c k a g ei n s p e c t i o n s y s t e mi sr e s e a r c h e da n dt h er e a l t i m ea b i l i t yo ft h ea c q u i s i t i o nm o d u l ei nt h ev i s u a ls e n s o ra n d i m a g ep r o c e s s i n gs p e e da r ea n a l y z e d f i n a l l y , ap r o p o s a lo fi m p r o v i n gt h ev i s u a ls e n s o r p r o c e s s i n gs p e e di so f f e r e d 1 1 1 em a i nw o r ki ss h o w na sf o l l o w s ： 1 b a s e do nm a r k e ti n v e s t i g a t i o n ，a l la u t o m a t i cv i s i o ni n s p e c t i o np r o p o s a la p p l i c a b l ei n b u b b l e - p a c k a g em e d i c i n em a n u f a c t u r i n gn e e di sf o r m u l a t e d o nt h ec o n d i t i o no fl a b o r a t o r y , a m o t i o nc o n t r o lp l a t f o r mb yu s i n gm o t i o nc o n t r o lc a r da n dp r e c i s i o ng u i d et os i m u l a t e b u b b l e - p a c k a g em e d i c i n ep r o d u c t i o nl i n ei ss e tu p 2 t h ed s p + c p l d + f l a s hd e s i g np r o p o s a la n dt h e o r ya r ea n a l y z e df u l l y , a n dt h eo n l i n ef l a s h w r i t i n gt e c h n o l o g yb a s e do nt m s 3 2 0 v c 5 5 0 9 ad s pi sr e s e a r c h e d ，a n dt h ed s pp o w e r - o n b o o t s t r a pi sr e a l i z e d , s ot h ev i s u a ls e n s o rc o u l db es e p a r a t e df r o mp ca n db e c o m e sa ni n d e p e n d e n t s y s t e m 3 b a s e do nm i n i a t u r i z a t i o np r i n c i p l e ，am e c h a n i c a le n c l o s u r ef o rv i s u a ls e i l s o ri sd e s i g n e da n d m a d ea n dt h ep r o t o t y p ei sc o m p l e t e d a n dt h ec p l da n dd s pa c q u i s i t i o na n di op r o g r a mi s r e v i s e da c c o r d i n gt ot h eb u b b l e - p a c k a g ea u t o m a t i cv i s u a li n s p e c t i o ns y s t e mp r o p o s a l 4 a f t e rt h em a i np 0 缸o fm a c h i n ev i s i o ni i g l l ts o u r c ea n dl i g h t i n gp r o p o s a li sr e s e a r c h e d ， a c c o r d i n gt ot h et e c h n o l o g yr e q u i r e m e n to fb u b b l e p a c k a g em e d i c i n ei n s p e c t i o nt a s k , as p e c i a l ， h i g h l yb r i g h ta n ds t r o b o s c o p i cl e dl i g h ts o u r c ei sd e s i g n e da n dal i g h t i n gp r o p o s a li sd r a w nu p 5 i na c c o r d a n c ew i t ht h er e q u i r e m e n to fa u t o m a t i cv i s i o ni n s p e c t i o ns y s t e mo fb u b b l e - p a c k a g e m e d i c i n ep a c k a g e ，am o r ep e r f e c tv i s u a ls e n s o ri m a g ep r o c e s s i n gs o f t w a r et h a nt h ep r e v i o u so n ei s d e s i g n e da n dt h ei m a g ep r e - p r o c e s s i n ga r i t h m e t i ci sr e s e a r c h e d 6 as o f t w a r ep r o c e s si nt h eb u b b l e - p a c k a g em e d i c i n ea u t o m a t i cv i s i o ni n s p e c t i o ns y s t e mi s d e s i g n e d ，t h er e a l t i m ea b i l i t yi sa n a l y z e d ，a n dap r o p o s a lo fi m p r o v i n gv i s u a ls c n s o rs p e e di s o f f e r e d k e yw o r d s ：b l i s t e rp a c k a g i n gi n s p e c t i o n ，v i s u a ls e n s o r , d s pb o o t l o a d e r , l e d l i g h t ，i m a g ep r o c e s s i n gs o f t w a r e 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤壅苤堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：严诲镟 签字日期： 劲7 年 多月 彦日 学位论文版权使用授权书 本学位论文作者完全了解墨生盘堂有关保留、使用学位论文的规定。 特授权苤鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：严埒旋 导师签名： 囊定鬲li 签字日期：纠夕年月侈日签字日期：渺，年月，3 日 天津大学硕士学位论文第一章绪论 1 1 引言 第一章绪论 现代自动化生产技术的飞速发展，需要现代化的检测技术来保证其生产质 量。基于计算机视觉理论发展起来的视觉检测技术，以其高精度、非接触性、自 动化程度高等优点，满足了现代生产过程对在线检测的要求，是一种可以代替人 工视觉进行产品质量检测的新兴技术【1 1 1 2 1 。目前，随着测量理论的发展与技术的 进步，视觉检测技术日益成熟，并逐渐走入工业现场【3 1 1 4 。 目前在国内，视觉检测系统的研究大多是基于p c 机的结构。p c 式机器视觉 系统以c c d 摄像机作为图像传感器，产生的模拟图像在计算机内通过采集卡转换 成数字图像，在p c 机内完成图像处理【5 】。这种结构充分利用了通用计算机成熟的 软硬件资源，具有配置灵活，开发周期短等特点，但没有模块化，安装不方便， 可移植性差，特别是与工业广泛使用的p l c 接口比较麻烦。从软件和硬件开发两 个方面来考虑，都需要一种更适合工业需求的机器视觉检测系统结构 6 1 。 视觉传感器集成了光源、摄像头、图像处理器、标准的控制与通讯接口，自 成为一个智能图像采集与处理单元，外扩程序存储器可存储图像处理算法，并能 使用p c 机，利用专用组态软件编制各种算法下载到视觉传感器的程序存储器中 0 7 1 。视觉传感器将p c 的灵活性，p l c 的可靠性、分布式网络技术等结合在一起， 是一种更能满足工业需求的机器视觉检测系统结构。同时，由于其应用了最新的 d s p 、f p g a 以及大容量存储技术，其智能化程度也不断提高，使其可以完成大 多数的视觉检测任务博j 。 目前，视觉检测技术正逐渐触及到人类生产和生活的各个领域，应用最为广 泛的领域包括汽车、电子、制药、食品、饮料和包装等【9 】。纵观国内外发展的现 状，机器视觉技术研究正处于一个蓬勃向上的发展大潮流中，我国在机器视觉理 论研究方面与国际水平跟进较快，但应用系统的研究却相对滞后。及时跟踪国际 发展趋势，结合我国各行各业不仅仅是工业，也包括农业、军事、交通、安全等 各领域的实际，大力发展机器视觉技术，开发实用的机器视觉应用系统是广大科 研工作者应当重视的问题【7 】。 中国目前已是世界第七大医药市场，大约有6 8 0 0 家制药厂，广泛分布于中国 各地，相对于数量众多的医药企业，国内生产医药设备的公司只有区区6 3 0 余家， 天津大学硕士学位论文第一章绪论 并且中国医药包装机械的水平仍然很低，远远落后于中国医药行业的发展水平。 为了得到较高的生产速度和优良的关键设备，中国的医药企业仍然要从欧洲、美 国、日本和其他国家进口包装设备。随着中国制药行业g m p 认证的逐渐普遍化， 自动化包装机械在现代化药品生产中应用得越来越广泛，自动视觉检测系统是自 动化包装机械中的重要一环。当前国内药品生产的自动视觉检测系统多见于进口 的全自动生产线，此类检测系统往往与生产线一体化，调整和维护都比较困难。 研制具有自主知识产权的自动视觉检测系统，对于构建能够替代进口产品和推动 国内视觉检测技术具有重要的理论价值和实际意义，对整个医药领域产生积极的 推动作用。 1 2 机器视觉概述 1 2 1 机器视觉的理论体系 人类观察和认识世界依靠视觉、触觉、听觉和嗅觉等感觉器官，在人类感知 外部信息的过程中，通过视觉获取的信息占全部信息的8 0 以上【1 0 】。伴随着人 类对视觉机理的认识，信号处理理论和计算机技术的快速发展，人们开始用相机 获取环境图像信息并将其转换成数字信号，用计算机实现对视觉信息处理的全过 程，由此产生了一门新兴的学科计算机视觉【1 1 1 。 计算机视觉( c o m p u t e rv i s i o n ) 一般认为是指用计算机和一些辅助设备来实现 人的视觉功能，通过对三维世界所感知的二维图像来研究和提取三维景物的物理 结构，从而实现对外界事物和客观三维世界的感知、识别和理解。早期的视觉研 究是基于二维的，主要集中在对二维景物图像的分析，采用模式识别的方法完成 分类工作。二十世纪六十年代，r o b e r t s 成功地对三维世界进行解释，开始了利 用二维图像解释三维目标和景物的研究。八十年代初，m a r r 提出视觉计算理论， 把视觉过程看成是一个信息处理过程，并迅速成为计算机视觉中最重要的理论基 础，其核心思想是从二维图像恢复物体的三维形状及其空间位置。 为了获取图像，从而创建或恢复现实世界模型，再进步实现对现实客观世 界的观察、分析、判断以及决策，就诞生了用机器模拟生物微观和宏观视觉功能 的科学和技术，称为机器视觉【1 0 】。 机器视觉，美国制造工程师协会( s m e ) 机器视觉分会和美国机器人工业协 会的自动化视觉分会对机器视觉下的定义是：“机器视觉是通过光学的装置和非 接触的传感器自动地接收和处理真实物体的图像，以获得所需信息或用于控制机 器人涌动的装型引。”机器视觉是计算机视觉的工程化应用，是计算机视觉技术 天津大学硕士学位论文第一章绪论 在尺寸、形状、颜色等信息的检测方面的应用。这样，就把计算机的快速性、可 重复性，与人眼视觉的高度智能化和抽象能力相结合，大大提高了生产的柔性和 自动化程度。随着电子、光学及计算机技术的日趋完善，各种商品化电子产品的 出现以及人类在模式识别、人工智能等相关领域取得的巨大成就，极大的推动了 以计算机理论为基础的机器视觉的发展。 虽然机器视觉需要数字图像处理和分析，常常以计算机为载体，但是机器视 觉和计算机视觉并不等同。简单的讲，计算机视觉是采用图像处理、模式识别、 人工智能技术相结合的手段，着重于一副或多副图像的计算机分析。而机器视觉 则侧重于计算机视觉技术工程化，能够自动获取和分析特定的图像，以控制相应 的行为。具体地说，计算机视觉为机器视觉提供图像和景物分析的理论及算法基 础，机器视觉为计算机视觉的实现提供传感器模型、系统构造和实现手段【5 】。 1 2 2 机器视觉系统的分类 近几年来，随着微电子技术和集成电路制造技术的发展，机器视觉系统的研 究从组成结构上，发展为p c 式机器视觉系统( p cb a s e dv i s i o ns y s t e m ) 和视觉 传感器( 智能相机) 两个方向。p c 式机器视觉系统以c c d 摄像机作为图像传感 器，产生的模拟图像在计算机内通过采集卡转换成数字图像，在p c 机内完成图 像处理。基于p c 的机器视觉应用系统尺寸较大、结构复杂，但可达到理想的精 度及速度，能实现较为复杂的系统功能。而视觉传感器( 智能相机) ，将图像的 采集、处理与通信功能集成于单一相机内，脱离了p c ，提供具有多功能、模块 化、高可靠性、易于实现的机器视觉解决方案。其模块化的特点使开发者可在短 期内构建起可靠而有效的机器视觉系统，极大的提高了应用系统的开发速度。同 时，由于应用了最新的d s p 、f p g a 及大容量存储技术，其智能化程度不断提高， 可满足多种机器视觉的应用需求【8 j 。 机器视觉系统从在工业中的应用上一般可以分为：自动视觉检测系统和机器 人视觉系统【l3 1 。自动视觉检测系统是利用机器视觉手段获取被测物体图像，并与 预定标准( 指标、模板等) 进行比较，决定一个产品( 部件、物体或零件等) 是否偏 离或符合给定的规则集，确定被测定物体的质量、数量、位姿等状况，然后采取 相应的反馈措施。机器人则是一种基于视觉测量并进行制导和控制的系统。 本文所论述的泡罩药品自动视觉检测系统是机器视觉在自动视觉检测系统 中的应用，系统利用了以d s p 处理技术为核心的视觉传感器( 智能相机) ，独立 地完成图像采集、处理、识别和判断的整个过程。 天津大学硕士学位论文第一章绪论 1 2 3 机器视觉在工业上的应用 机器视觉系统不会有人眼的疲劳，有着比人眼更高的分辨精度和速度借助 红外线、紫外线，x 射线、超声波等高新探测技术，它在探测不可视物体和高 危险场景时，更具有其突出优点。正因为具有上述特点，机器视觉才得以在工业 应用中大显身手，被广泛应用于汽车加工、电子及半导体、包装检测、金属加工 以及农产品加工等各个行业【1 q 。由上节可知，工业视觉系统的应用大致分为两个 方向：自动视觉检测和机器人视觉系统。以下就从这两个方面介绍机器视觉的工 业应用状况。 1 1 、机器视觉在自动检测中的应用 自动检测是生产自动化的重要环节。机器视觉在自动检测中的应用极为广泛， 它包括几何晕计量测试和自动视觉识别检铡。几何量计量铡试技术是制造技术中 不可缺少的环节。通用的光学仪器几何量测量技术读数过程繁琐，铡量时间长， 人员主观误差较大，自动化程度低。机器视觉测量技术是测试领域中的新兴一 族。得益于计算机视觉技术的发展。自动视觉识别检测目前已经用于产品外形和 表面缺陷检验，例如产品包装、印刷质量的检测饮料行业的容器质量捡测，饮 料填充检测，饮料瓶封口检测，木材厂木料检测半导体集成块封装质量检测， 卷钢质量检测，关键机械零件的工业c t 等。在海关，应用x 射线和机器视觉技术 的不开箱货物通关检验，大大提高了通关速度，节约了大量的人力和物力。在制 药生产线上，机器视觉可以对药品包装进行检测，以确定是否装入正确数量的药 粒【13 1 。 图1 - 1 检测泡罩药品中的破损药片 倒l - 2 检测汽车零部件 2 ) 、机器视觉在机器人视觉系统中的应用 赋予机器人视觉是机器人研究的重要课题之一，其目的是要通过图像定位、 图像理解，向机器人运动控制系统反馈目标或自身的状态与位置信息，使其具有 在复杂、变化的环境中自适应的能力【，例如机械手在一定范围内抓取和移 动工件，摄像机利用动态图像识别与跟踪算法，跟踪被移动工件，始终保持其处 夭津大学硕士学位论文第一章绪论 于视野的正中位置。目前，在工业领域中已经有很多以机械手、视觉系统为主 体的“有感觉”的机器人系统进入实用阶段。例如晶体管自动焊接系统、管子凸 缘焊接机器人、有视觉的装配机器人、汽车车轮装入轮毂作业的自动系统等。 1 3 视觉传感器 一 图1 - 3 f a n u c 公司清洗、装配机器人 1 3 1 视觉传感器的组成 视觉传感器，即智能相机，是一种高度集成化的微小型机器视觉系统。它将 图像的采集、处理、通信及l j o 控制集成于单一相机内使相机能够完全替代传 统的基于p c 的机器视觉系统，从而提供了具有多功能、模块化、高可靠性、易 于实现的机器视觉解决方案。由于应用了最新的d s p 、f p g a 及大容量存储技术， 其智能化程度不断提高，可满足多种机器视觉的应用需求。同时，系统的尺寸大 大缔小拓宽了视觉技术的应用领域“”。 视觉传感器一般由图像采集单元、图像处理单元、图像处理软件、网络通信 装置、i o 接口等构成，视觉传感器系统构成如图1 - 4 所示 l ! ! 登霉 一i9 警| i i i 心 垂l 、：一n 。* ，“e m l # 目* 4 # #卜 匝亟口 睡 熙圈黯翻匿翮国 图1 4 视觉传感器系统框幽 天津大学硕士学位论文 第章绪论 ( 1 ) 图像采集单元 在视觉传感器中，图像采集单元相当于传统p c 式视觉系统上c c d c m o s 相 机和图像采集卡。它将光学图像转换为模拟数字图像，并输出至图像扯理单元。 光学及照明系统位于视觉传感器的前端，直接影响着采集图像的质量、后续图像 信号处理的复杂程度，是决定检测系统性能的关键因素之一。 f 2 ) 图像处理单元 图像处理单元可对图像采集单元的图像数据进行实时的存储，并在图像姓理 软件的支持下进行图像处理。图像处理系统可由f p g a 或d s p 等高速数字处理 器件来完成图像处理，用户可在p c 机上离线编写c 或汇编应用程序并在p c 机上调试成功后下载到嵌入式视觉系统中。f p g a 程序和c 语言程序可以任意 修改和上传，具有无限的二次开发能力。 ( 3 1 图像处理软件 图像处理软件一般包括底层的图像处理甬数库和上层针对具体应用的图像 处理及分析程序。利用视觉传感器内带的功能强大的图像处理函数库，用户可以 方便快捷的开发针对具体任务的机器视觉应用程序，然后下载到视觉传感器上。 如果是一些典型的应用( 如零件、表面检测等) ，也也可以直接使用制造商提供的 图像处理应用程序f m 。图l 一5 为c o g n e x 公司的图像处理软件。 习鬲习【耳口 ( 4 ) 通信接口单元 围1 - 5c o g n e x 公司的图像处理软件 天津大学硕士学位论文第一章绪论 通信接口单元是视觉传感器的重要组成部分，主要完成控制信息、图像数据 的通信任务。视觉传感器一般内置以太网通信装置，并支持多种标准网络和总线 协议，如t c p 口、f t p 、t e l n e t 、s m t p 、e t h e r n e t i p 、m o d b u s t c p 等协议，从 而使多台视觉传感器构成更大的机器视觉系统，将数据信息分享至工厂及企业的 网络中，能够轻松的将视觉传感器连接至p l c 或其他i o 设备。i o 接口主要用作 控制信号的输入输出，方便智能相机和其他自动化设备的连接。 1 3 2 视觉传感器的关键技术 由上节视觉传感器的组成可知，视觉传感器涉及光学、电子、计算机、通讯、 等多个技术领域【l4 1 ，其关键技术主要有光源照明技术、光学镜头、图像传感器、 处理器、通讯接口、嵌入式图像处理软件等几个方面，下面分别简要介绍之。 ( 1 ) 、光源照明技术 机器视觉系统的核心是图像采集和处理。所有信息均来源于图像之中，图像 本身的质量对整个视觉系统极为关键。照明对输入数据的影响至少占到3 0 ，通 过适当的光源照明设计，使图像中的目标信息与背景信息得到最佳分离，可以大 大降低图像处理算法的难度，同时提高系统的定位，测量精度，使系统的可靠性 和综合性能得到提高。因此，光源及光学系统设计的好坏是决定系统质量的首要 因素。 ( 2 ) 、光学镜头 光学镜头相当于人眼的晶状体，在机器视觉系统中非常重要。镜头和光学系 统有着较长的发展史，已经是非常成熟的技术，在这上面不可能有太大的突破， 但图像和机器视觉技术在这个领域的应用也对这个传统的领域提出了新的挑战， 如在某些应用上对镜头的畸变率及色差提出了很高的要求 1 9 】。 ( 3 ) 、图像传感器 图像传感器是视觉传感器的一个核心器件，常用的图像传感器有c c d 和 c m o s 图像传感器。c c d 图像传感器在图像品质、灵敏度等各方面均优于c m o s 图像传感器，但不可否认的c m o s 具有低成本、低耗电以及高整合度的特性。而 且随着c m o s 图像工艺的发展，其成像质量逐步提高，在成像器件中所占的比例 将会越来越大。 ( 4 ) 、处理器 处理器是视觉传感器所有智能的硬件基础。一般嵌入式系统可以采用的处理 器类型有：通用处理器、专用集成电路芯片( a s i c ) 、数字信号处理器( d s p ) 、多 媒体数字信号处理器( m e d i a d s p ) 及现场可编程逻辑阵列( f p g a ) 。视觉传感器中 最常用的处理器是d s p 和f p g a 【1 4 1 。 天津大学硕士学位论文 第一章绪论 ( 5 ) 、通讯接口 以太网接口是最常见的智能相机接口。除此之外，有些智能相机还提供i e e e 13 9 4 、c a m e r a l i n k 、u s b 和r s2 3 2 接口。 ( 6 ) 、图像处理软件 图像处理软件是计算机视觉系统的重要组成部分，是决定视觉系统可靠性和 应用效果的关键因素。图像处理软件一般要完成3 个层次的任务：图像预处理、 特征提取及物体的分类和识别。虽然图像处理算法很多，但是面向嵌入式平台的、 具有较好鲁棒性且普遍适用的图像处理算法并不多。设计并实现鲁棒性强、运算 速度快的嵌入式图像处理算法是视觉传感器软件开发中的重点和难点。 1 4 课题研究背景及意义 1 4 1 课题的研究背景 药品包装除了各种瓶子之外，泡罩包装是使用最广泛的一种。药品的铝塑泡 罩包装又称水泡眼包装，简称“p t p ”( p r e s st h r o u g hp a c k a g i n g ) ，这种包装形式可 以给患者提供一次剂量的药品包装，保护药品的性能好，生产速度快，成本较低， 贮存占用空间小，重量轻，运输方便，由于泡罩包装铝箔表面印有文字说明，在 多种片剂的发放过程中可避免发错药的现象。泡罩包装因其具有的诸多优点占药 品片剂、胶囊包装的6 0 7 0 左右，是目前发展前景最好的药品包装材料之一。 随着药品行业竞争越来越激烈，利润率逐渐变小，制造商无法承受因瑕疵产 品造成的高废品率。而药品生产的g m p ( g o o dm a n u f a c t u r i n gp r a c t i c e ) 国际认证制 度要求药品生产的每一个环节都必须1 0 0 进行合格检型2 们。因此，为在产生高 昂成本之前检测出问题，药品制造商正将检验工作融入整个制造过程。目前，可 用的检验各选方案有人工检测、机械式检测系统、光电传感器、基于p c 的视觉 系统以及视觉传感器。人工检测显然达不到流水线生产所要求的速度，且由于人 的视觉疲劳，也不可能达到1 0 0 的检测精度；机械式的检测是通过与药品的机 械式接触来检测的，对药品有损坏：光电式的检测的可靠性及稳定性都不好；基 于p c 的视觉系统是一项成熟的技术，可执行细致的自动检验【2 1 1 。但是，其价格 通常在5 0 0 0 美元至5 0 0 0 0 美元甚至更多，基于p c 的视觉系统因复杂性，高成本和 大体积妨碍了其在药品行业中的应用；视觉传感器因其精确性、易用性、丰富功 能，小体积及合理成本成为最佳选择。 雅典科技大学主持开发的f a m a r 药品包装检测系统由一个复杂、昂贵的分 布式视觉检测网络系统组成，可以同时检测多个工位。该系统由多个名为 天津大学硕士学位论文第一章绪论 c o m s e r v e r 的特殊硬件通过同轴电缆与p c 连通构成以太网的骨架，图像的获取及 a v i 软件的运行由带有嵌入式微处理器的智能摄像头来完成【1 2 1 。f a m a r 的a v i 软件包含字符确认、标签检测及包装检测等多个嵌入式应用模块，其中包装检测 模块采用传统的基于模板的灰度值匹配方法。多个摄像头通过r s 2 3 2 口与 c o m s e r v e r 相连，由c o m s e r v e r 完成与p c 机的信息交互工作；p c 端仅负责各检 测工位的工况监控、检测参数设置等简单任务。该系统能够在一分钟内完成1 5 0 个产品的检测。 在国内，西安至信公司面向中小型药品生产企业，自主开发了一套药品包装 自动视觉检测系统 12 1 。该系统采用结构光发生器实现线扫描以快速获得现场图 像，图像处理单元( i m a g ep r o c e s s i n gu n i t ，i p u ) 采用高速d s p 和并行处理相结合 的硬件结构，并运用红外、霍尔、电磁传感器来予以触发。缺陷检测仍然采用模 板匹配的方法。发现不合格产品后，i p u 即与p l c 通讯，由p l c 计算位置数据， 当不合格产品位移至指定位置时，即通过剔除装置予以剔除。 1 4 2 课题的研究意义 本课题研究的视觉传感器为针对泡罩药品生产中药片的缺失及破损检测制 定，缩短了中国在药品检测方面与国外的差距，提高了药品检测的质量与效率， 对于构建能够替代进口产品，具有自主知识产权的泡罩药品自动视觉检测系统， 具有重要的理论价值和实用意义。另外，类似的包装标签缺失检测、外形缺陷检 测、条形码缺失检测、外包装缺失检测等均可由本课题开发的视觉传感器实现。 简而言之，本视觉传感器对于检测产品具体特征的有无极为有效，且速度极快、 准确度高。 1 5 论文的主要研究内容 本文所开发的视觉传感器样机采用c m o s 图像传感器，基于d s p 和c p l d 实现了图像采集，处理，传输及i o 控制。根据泡罩药品生产线上的实时检测要 求，在实验室环境下，搭建了泡罩药品运动平台，根据实际用户要求，设计了泡 罩药品自动视觉检测系统的流程及图像处理软件。本文的主要研究内容和完成工 作如下： ( 1 )通过市场调研，制定了满足实际需求的泡罩药品自动视觉检测方案。 在实验室条件下，模拟泡罩药品包装流水线，利用雷赛公司的运动控制卡及导轨 等搭建了泡罩药品运动控制平台。 ( 2 )详细分析了d s p + c p l d + f l a s h 的设计方案和实现原理，研究了基 天津大学硕士学位论文第一章绪论 于t m s 3 2 0 v c 5 5 0 9 ad s p 的在线f l a s h 烧写技术，实现了d s p 上电自举，使 得视觉传感器脱离p c 成为独立运行的系统。 ( 3 )设计并制作完成了视觉传感器的机械外壳，完成视觉传感器样机。根 据制定的泡罩药品自动视觉检测系统方案，在实验室开发的视觉传感器基础上修 改了c p l d 及d s p 内部的采集和i o 程序。 ( 4 )在研究了机器视觉光源和照明方案要点的基础上，针对泡罩药品检测 任务技术要求，设计了系统专用的高亮度l e d 频闪光源和照明方案。 ( 5 ) 针对实际药品包装中对泡罩药品自动视觉检测系统的要求，设计了视 觉传感器图像处理软件，研究了图像预处理算法。 ( 6 ) 设计了泡罩药品自动视觉检测系统运行的流程，分析了视觉传感器的 采集模块的实时性和图像处理算法速度，在现有硬件平台下提出了提高视觉传感 器速度的方案。 1 6 本章小结 本章首先介绍了机器视觉的理论体系，论述了机器视觉的分类及在工业上的 应用，讨论了视觉传感器的组成与关键技术，最后分析了本文的研究背景、意义 及主要工作内容。以下各章将对研究内容进行详细论述。 天津大学硕士学位论文第二章泡罩药品自动视觉检测系统研究 第二章泡罩药品自动视觉检测系统研究 2 1 泡罩药品自动视觉检测系统设计 2 1 1 泡罩药品包装工艺流程 泡罩药品包装是先将透明塑料硬片( p v c 材料) 加热、吸塑成型后，将片剂、 丸剂或颗粒剂、胶囊等固体药品填充在凹槽内，再与涂有粘合剂的铝箔片加热粘 合在一起，形成独立的密封包装 2 0 1 【2 2 】；包装好的药板经过传送带，送入自动包 装机，加入说明书进行外盒的包装。图2 1 是一个典型的泡罩药品包装工艺流程 图【1 2 】。 p v c 加热_ 广一成型 _ - 4 药粒装入：广一缺i 翳测0 一封合l 【，一【一【。，j：土! j ! 【一 一熟h 尝澄h 娟秽h 燃h 黼i 图2 - 1 泡罩药品包装工艺流程图 泡罩药品自动视觉检测系统可以位于泡罩药品包装工艺流程中的两个检测 环节，对应于图2 1 中的缺陷检测环节和缺陷检测环节。在缺陷检测环节 情况下，药粒已经装入p v c 吸塑成型的泡罩中，但这时泡罩还没有与铝箔实现 热封合。这一环节主要检测药粒的缺粒、漏装现象，由于泡罩还没有与铝塑封合， 且泡罩p v c 材料是透明的，所以系统可以采用背光源的透射照明方式。由于药 品封合后还要经过打批号、冲切等工序，有必要在药品装盒之前再次安排缺陷检 测任务。在缺陷检测环节情况下，生产线上已经输出了成晶药板，这时由于铝 箔的非透明性，要检测出药片的缺粒、破损，系统应采用前向光源的反射照明方 式。本文重点针对泡罩药品包装流程中的第一个缺陷检测环节，利用开发的视觉 传感器，搭建了满足实际需求的泡罩药品自动视觉检测系统。 2 1 2 泡罩药品自动视觉检测系统的技术要求 根据上一节泡罩药品包装流程分析，针对用户需求，确立了基于视觉传感器 的泡罩药品自动视觉检测系统方案。系统设计应满足的技术要求如下： ( 1 ) 、实时性：实时判断药板是否缺粒或残缺，视觉感应器根据检测结果输出 天津大学硕士学位论文第二章泡罩药品自动视觉检测系统研究 相应开关量信号，从而驱动外部报警灯或废品剔除控制单元，系统的检测速度应 满足生产线要求。 ( 2 ) 、检测精度较高：根据制药行业的“g m p ”认证制度要求，药品一经出厂 务必1 0 0 是合格产品【1 2 】，即系统需要实现零误检，零漏检；本系统要求当缺损 部分面积大于完整药片面积的1 0 时，1 0 0 检测出药板内任意位置的药片残缺 和缺粒。 ( 3 ) 、可以实现i 0 扩展：通过扩展的i 0 口，系统能同步生产线的相关传感 信号，实时的跟进采集和处理任务，并且给出剔除信号。 ( 4 ) 、友好的人机界面：为方便用户根据生产线环境设置视觉传感器的曝光度、 亮度、开关量信号输出的延时时间即移位等参数，根据具体检测的药片选择合适 的图像处理算法，检测系统需要提供功能强大的软件包以方便用户进行药品模板 设定。 ( 5 ) 、检测时，生产线上的药板无需停止传送或更改传送速度，视觉感应器在 药板运行状态下自行完成检测和判断。 ( 6 ) 、良好的抗干扰能力：外界光线及机械振动等不利冈素会影响系统的检测 精度，因此要设计专用光源及机械结构使视觉传感器具有良好的抗干扰能力。 ( 7 ) 、视觉感应器、照明光源封装小巧，可以安装在紧凑的有限空间里。 ( 8 ) 、系统的安装、调试、使用十分简易，操作员工只需简单培训。 依据以上技术要求，遵循系统设计的完整性、可靠性、经济性和易于升级的 原则，我们设计了泡罩药品自动视觉检测系统，并对实验室已开发的视觉传感器 的硬件及软件做了相应完善。 2 1 3 泡罩药品自动视觉检测系统设计 依据上一节所述技术要求，采用模块化的设计思想，本文设计的泡罩药品自 动视觉检测系统由以下几个模块组成： ( 1 ) 、光源照明模块； ( 2 ) 、视觉传感器子系统： ( 3 ) 、视觉检测系统设置模块： 光学照明模块位于系统的最前端，是决定系统质量的首要因素；图像采集、 处理、存储和任务决策模块构成视觉传感器子系统，是视觉传感器的主体部分。 视觉传感器设置模块主要由视觉传感器相应的图像处理软件和通讯接口构成；由 何梓滨硕士设计的视觉检测系统还包括剔除装置模块，本系统不包括该模块，报 警灯，废品剔除或处理装