（电子科学与技术专业论文）葡萄糖药液中异物目标视觉检测与识别方法研究.pdf

硕i ：学位论文 j - a b s t r a c t w i t ht h ei m p r o v e m e n to fp e o p l e s l i v i n gs t a n d a r d sa n dt h ep o p u l a r i z a t i o no f m e d i c a la n dh e a l t hk n o w l e d g e ，t h ec o n c e p t i o no fm e d i c i n es a f e t yi sg r a d u a l l yr e a l i z e d b ym o r ea n dm o r ep e o p l e p e o p l eh a v ep a i dm o r ea t t e n t i o nt om e d i c i n eq u a l i t y f o ra b e t t e rd e v e l o p m e n ta n de x i s t e n c e ，m e d i c i n ep r o d u c t i o ne n t e r p r i s em u s tc o n t i n u o u s l v i m p r o v ep r o d u c tq u a l i t y ，a n da p p l ym o d e ms c i e n c ea n dt e c h n o l o g yt ot h ep r o d u c t i o n a n dp r o c e s s i n go fm e d i c i n e c u r r e n t l y ，m a n u a l i n s p e c t i o ni st h ep o p u l a rm e t h o d a m o n gm o s td o m e s t i ce n t e r p r i s e sb e c a u s e o ft h et e c h n o l o g i c a l m o n o p o l ya n d b l o c k a d eb yf o r e i g nc o m p a n y ，i ti su r g e n tt od e v e l o pt h ea u t o m a t i co n l i n ee q u i p m e n t s f o rp r o d u c tq u a l i t yc o n t r o lb a s e do nm a c h i n ev i s i o ni nag l u c o s e l i q u i dp r o d u c tl i n e ， a n di ti sam o s ti m p o r t a n ta n dd i f f i c u l t yp r o b l e mf o rf o r e i g no b j e c t sv i s u a li n s p e c t i o n a n dr e c o g n i t i o ni ng l u c o s el i q u i di nt h o s ee q u i p m e n t s f i r s t ，t h i sp a p e ri n t r o d u c e st h eb a c k g r o u n da n ds i g n i f i c a n c eo fr e l a t e dr e s e a r c h e s ， s u m m a r i z e st h er e s e a r c ha n da p p l i c a t i o ns t a t u s o fm a c h i n ev i s i o n t e c h n o l o g yi n p h a r m a c e u t i c a lm a n u f a c t u r i n gi n d u s t r yb o t ha th o m ea n da b r o a d ，a n dt h e nd of u r t h e r r e s e a r c ha n de x p l o r a t i o no nk e y t e c h n o l o g i e s ，l i k e l yi m a g en o i s es u p p r e s s i o n ，f o r e i g n o b j e c t si n s p e c t i o na n dr e c o g n i t i o no fg l u c o s el i q u i dv i s u a li n s p e c t i o n s e c o n d l y ，s o m en o i s em o d e lb a s e do nt h eo b t a i n e di m a g eo fg l u c o s el i q u i db v s y s t e mi sa n a l y z e di nt h i sp a p e r ，w er e s e a r c ha n di m p l e m e n ti m a g en o i s es u p p r e s s i o n u s i n gi m p r o v e da d a p t i v em e d i a nf i l t e ra n dw a v e l e t b a s e dm e t h o d s ，t h ee x p e r i m e n t a l r e s u l t ss h o wt h a tt h em e t h o d si nt h i sa r t i c l ea r eg o o dw a y t os u p p r e s si m a g en o i s eo f g l u c o s el i q u i d ，i ta l s oe f f e c t i v e l yr e d u c e st h el o s so fi m a g ev a l i di n f o r m a t i o n ，a n d t h o s em e t h o d sl a i dt h ef o u n d a t i o nf o rf u t u r ef o r e i g no b j e c t sa c c u r a t er e c o g n i t i o n a c c o r d i n gt ot h ec h a r a c t e r i s t i c so ff o r e i g no b j e c t si ng l u c o s el i q u i d ，i nt h i s t h e s i s ，a nf o r e i g no b j e c t si n s p e c t i o nm e t h o df o r g l u c o s el i q u i db a s e do na d a p t i v e m i x t u r eg a u s s i a nm o d e li s p r o p o s e da n di m p l e m e n t e d a d a p t i v eg a u s s i a nm i x t u r e m o d e l sa r ea p p l i e dt o g e tr e g i o n o f - i n t e r e s t ( r o i ) o ft h eo r i g i n a l g l u c o s el i q u i d i m a g e s f u r t h e r m o r e ，t h em a t h e m a t i c a lm o r p h o l o g yo p e r a t o ri su s e dt ot a r g e ts e g m e n t t oc o m p l e t et h ei n s p e c t i o n t h e naf o r e i g no b j e c t sr e c o g n i t i o nm e t h o df o r g l u c o s e l i q u i db a s e do nf u z z ys u p p o r tv e c t o rm a c h i n e si s p r o p o s e d ，t h i sp a p e ri l l u s t r a t e st h e a l g o r i t h mi d e a s ，a n da n a l y z e sf e a t u r ee x t r a c t i o nf o rf o r e i g no b j e c t sa n dt h ec l a s s i f i e r t r a i nm e t h o db a s e do nf u z z ys u p p o r tv e c t o rm a c h i n e sm o s t l y e x p e r i m e n t a lr e s u l t s 葡萄糖药液中异物一标视觉榆测j 识别方泫研究 d e m o n s t r a t et h a tt h ed e s i g no fm e t h o d sc a na c c u r a t e l yd e t e c ta n dr e c o g n i z ef o r e i g n o b j e c t si ng l u c o s el i q u i d ，a n di tc a nw e l ls a t i s f yt h er e q u i r e m e n ti nt h eg l u c o s el i q u i d p r o d u c tl i n e f i n a l l y ，a c c o r d i n gt ot h er e q u i r e m e n t so ft h ef o r e i g ns u b s t a n c e si n s p e c t i o ni n g l u c o s el i q u i dp r o d u c tl i n e ，a s u i t eo fa u t o m a t e do n l i n ev i s u a l i n s p e c t i o n a n d r e c o g n i t i o ns y s t e mb a s e do nm a c h i n ev i s i o n i nag l u c o s el i q u i d p r o d u c tl i n e i s d e v e l o p e di nt h i sp a p e r w ep r e s e n t e dt h em a i ns t r u c t u r eo ft h i ss y s t e m ，i n t r o d u c e d t h ea r c h i t e c t u r ea n dv a r i o u sp a r t so ft h ec o n s t i t u t i o no ft h es y s t e mh a r d w a r ea n d s o f t w a r e ，a n dw a y st oa c h i e v ei sd e s c r i b e d t h r o u g ht h ed e v e l o p m e n to ft h ea c t u a l s y s t e m ，i tp r o v i d e sg u i d e l i n ef o ra l g o r i t h mi nt h i sp a p e r ，a n de x p e r i m e n t a lp l a t f o r m f o rt h ep r a c t i c a la p p l i c a t i o n so ft h ea l g o r i t h m k e yw o r d s ：g l u c o s el i q u i d ；m a c h i n ev i s i o n ；n o i s es u p p r e s s i o n ；f o r e i g no b j e c t s i n s p e c t i o n ；f o r e i g n0 b j e c t sr e c o g n i t i o n i v 硕l j 学位论文 第1 章绪论 随着社会的进步、科学技术的快速发展，企业自动化程度不断提高，企业对 产品质量的要求更加严格，迫切需要采用机器视觉系统来代替人工检测。特别是 新劳动法颁布后，人力成本的提高，使中国的工业生产逐渐从依赖廉价劳动力向 高度自动化生产转化。另外，中国早期的工业设备自动化程度普遍较低，需要大 量的更新换代，这带来了对自动化设备的大量需求。机器视觉，即机器代替人眼 来做测量和判断。由于人类的眼睛长时间工作后会疲劳，而机器视觉系统不会存 在类似的问题，它有着比人眼更高的精度和速度，借助紫外线、x 射线、红外线、 超声波等高新探测技术，机器视觉在高危险场景和探测肉眼不可分辨物体时，具 有更加显著的优点。它适用于大批量生产过程中的测量、检查和识别，广泛的应 用于电子、电气、汽车、食品、饮料、制药与包装等行业中。机器视觉技术的 诞生和应用，极大地解放了人类劳动力，提高了生产自动化水平，改善了人类生 活现状，有着极为广阔的应用前景心1 。 1 1 选题的背景与意义 葡萄糖注射液是医药行业重要制剂之一，临床应用十分广泛。国家统计局数 据显示，2 0 0 8 年，中国医药工业累计实现总产值8 6 6 6 17 亿元，同比增长2 5 7 4 ，其在十二类消费品制造业中名列前茅，比全部工业平均增加值增速高3 1 。 2 0 0 9 年1 到5 月，医药工业收入、利润总额同比分别增长约1 8 4 7 和1 8 7 ，继 续保持效益型增长。与其他主要消费品制造业的横向比较看，2 0 0 9 年l 到6 月医 药工业增加值增速排名第四，远高于全部制造业七个百分点，继续显示相对高景 气运行。专家预测2 0 1 1 年中国医药市场将从2 0 0 8 年的全球第五位跃居成为全球 第三位引。 近年来，由于葡萄糖注射液中含有玻璃碎屑、铝属、毛发等杂质造成死伤的 恶性事件时有发生，己成为消费者投诉的热点之一。既给消费者人身安全带来威 胁，也对企业形象造成不良影响。为此，我国药典明确规定：要对注射针剂进行 逐支，逐瓶不溶性异物检查。我国在最新2 0 0 5 年版中华人民共和国药典中， 对药液中的异物检查进行了规定1 ：可见异物是存在于药液中，在规定条件下目 测可以观测到的任何不溶性物质。药典还对不溶性微粒的大小及数量进行了严格 说明。规定不溶性微粒的直径为1 , u m 到2 5m m ，l 0m l 溶液中所含l 0 , u m 以上的 微粒不超过十个。根据生产实际中异物的特征和性质可将药液中存在的可见异物 大致分为五大类：纤维，悬浮颗粒，絮状物质，光斑，瓶身痕迹。如表1 1 所示。 葡萄糖药液中异物目标视觉检测与识别方法研究 表1 1 药液异物分类 纤维悬浮颗粒絮状物质 光斑瓶身痕迹 鬻j 二擎8 鬻鬻 r _ 誓7 麓尊黧 豳 j ，麓i 影 _ “v j 。 戆熬。 9 鬈 。? 雾黪一j ， 囊 _ 囊誊尊菇。7 。? t ”罐j 。+ 硕士学位论文 图1 2 抽样微粒检测现场 为了满足医药产品快速增长的需求，我国加速了对医药设备的研发与生产， “九五 和“十五”的十年称为中国医药工业迅速发展的十年，国家对制药企业 实行强制性g m p ( g o o dm a n u f a c t u r i n gp r a c t i c e ) 认证制度。随着中国医药产品企业 g m p 认证工作的深入，对医药产品的质量，提出了越来越高的要求，这促进了企 业对制药设备的升级换代哺1 。在现代自动化的生产过程中，机器视觉系统已被广 泛应用于工况监视、成品检验和质量控制等领域。尤其是一些不适于人工作业的 危险工作环境或人工视觉难以满足要求的场合。为此采用视觉检测机器人代替人 工检测，来改进以上人工灯检的不足，满足对医药产品生产质量的高要求。医药 自动化生产线上的产品视觉检测机器人，是集机器视觉、机器人系统、光机电一 体化、传感器检测与融合等技术为一体的综合性高科技设备。我国有着巨大的医 药产品生产市场以及高增长率，但医药产品生产线的自动化装备水平亟待提高， 目前我国医药生产检测包装自动化装备主要依赖进口，尤其在我国进入w t o 后， 面对国外先进成套医药生产设备对国内市场的冲击，研究具有自主知识产权的医 药安全生产检测包装设备具有十分重要的价值。 因此，本课题开发了一套基于机器视觉的全自动葡萄糖药液中异物目标视觉 检测与识别系统，对视觉检测系统中的实时图像处理和模式识别算法进行了研 究。针对葡萄糖药液图像的特点，提出了一些针对性的药液中异物目标检测与识 别算法，其总体框架如图1 3 所示，算法设计时注重体现工业应用中视觉检测技 术的要求和特点，强调了实时性、鲁棒性。实验证明所设计的系统和方法可以很 好地降低工人的劳动强度，为企业创造更大的经济效益和社会效益，在一定程度 上促进医药包装检测行业的自动化、智能化，推动企业的长足发展，具有较好的 理论研究价值和应用意义。 3 葡萄糖药液中异物【| 标视觉检测。j 识别方泫研究 、 ( 合格，不合格) 、，t， 图1 3 异物目标检测与识别算法总框图 1 2 相关技术及研究现状 机器视觉是一项综合技术，其中涉及数字图像处理、机械工程、智能控制、 光学、传感器、模拟与数字视频通信、计算机、运动控制、软件工程、电子电 路、机电一体化等很多学科领域。通常说的机器视觉就是用机器代替人眼来做测 量和判断。机器视觉系统是指通过机器视觉产品将被摄取目标转化成图像信号， 传送给专用的机器视觉系统，根据象素分布和亮度、颜色等信息，转变成数字信 号，图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判断的结果 来控制现场的设备动作。 1 2 1 机器视觉系统介绍 根据美国制造工程师协会机器视觉分会对机器视觉的定义，机器视觉系统是 通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获 得所需信息或用于控制机器人动作的装置阳3 。机器视觉的应用领域非常广泛，不 同的系统会选用不同的部件，但基本的组成部分是相同的。典型工业机器视觉系 统构成如图1 4 所示。 4 硕i ：学位论文 图1 4 典型的机器视觉系统构成 基于微机( p c ) 的机器视觉系统通常由以下七部分组成n 】： ( 1 ) 光源。用于对零件的照明，以使相机得到最佳的图像。光源的选择是机 器视觉系统的一个关键部分，光源不仅仅是能够照亮物体，更重要的作用是能突 出物体的相关特征，去除不相关特征的干扰：物体需要检测的部分与不重要部分 之间应尽可能地产生明显的区别，增加对比度。目前机器视觉系统使用的光源包 括：l e d ( 1 i g h t e m i t t i n gd i o d e ) 、氙灯、卤素灯、荧光灯等。 ( 2 ) 光学器件和工业相机。常含有一个或多个相机及镜头，用于对需要检测 的零件成像。工业相机是一种专门应用于工业现场实现图像采集的相机，相比普 通相机具有性能稳定、抗噪性能强、图像采集和传输速度快的优点。目前使用的 相机根据成像器件的不同可分为c c d 相机和c m o s 相机两种。 ( 3 ) 传感器。检测到零件到达时对相机发出触发信号。 ( 4 ) 图像采集卡。负责将相机中的图像信息传送或经过转换后传送给主机， 是相机和主机之间的接口。同时还能控制相机的触发信号、曝光时间、快门速度 等参数。图像采集卡是控制摄像机拍照，完成图像采集与数字化、协调整个系统 的重要设备。它主要包括信号输入与a d 转换模块、摄像机控制i o 接口和总线 接口三大部分。 ( 5 ) 微机平台。微机是机器视觉系统中的关键部分。在工业现场，一般需要 使用高性能的工业级别的微机，以保证系统快速稳定的运行。 ( 6 ) 图像处理软件。用于处理采集到图像数据，给出零件检测信息。其目的 是通过对图像的分析、处理和识别实现对特定目标特征的处理。检测软件决定了 机器视觉系统的功能。一般的图像处理软件包都含有这些功能：图像管理存储功 能、图像预处理功能、图像缓冲功能、目标定位功能、目标识别功能、实际应用 功能等。 ( 7 ) 数字i o 和网络连接等。用于输出检测结果，控制生产流程等。 以上介绍的为基于p c 的机器视觉系统组成。但近十年来，智能相老j t ( s m a r t c a m e r a ) 又称机器视觉传感器( m a c h i n ev i s i o ns e n s o r ) 逐渐占领了部分机器视觉市 场。智能相机是一个兼具图像采集、图像处理和信息传递功能的小型机器视觉系 统，是一种嵌入式计算机视觉系统。由于采用一体化设计，可降低系统的复杂度， 葡萄糖药液中异物目标视觉柃测j 识别方法研究 并提高可靠性。未来的发展方向是智能相机与基于微机的机器视觉系统之间的性 能差距越来越小，而智能相机凭借其低成本、简单易用、结构紧凑等优点将得到 越来越广泛的应用随1 。 1 2 2 机器视觉系统在医药行业中的应用 机器视觉是一门新兴的学科，是从信息处理的层次研究视觉信息的认知过程； 机器视觉系统则是能够实现某些视觉功能的硬件和软件的综合。机器视觉已经在 各个不同行业得到了广泛的应用，有力地促进了生产的发展和人们生活品质的提 高，而且随着机器视觉技术的进一步发展，对这些行业会有更大的影响。对于广 大生产制造企业而言，其生产自动化程度越来越高，对产品质量、生产效率的要 求也越来越严格。采用机器视觉系统，可以实现稳定、连续、可靠的产品检测， 克服人工检测易疲劳、个体差异、重复性差等缺点，可帮助企业提升产品质量水 平，减少产品缺陷，提高生产效率，降低人力及制造成本。伴随着制造业的发展， 机器视觉会得到更大的发展和广泛的应用。对于医药制造行业而言，机器视觉系 统主要应用在以下几个方面阳1 ： ( 1 ) 药片、胶囊泡罩检测 由于医药行业的严格规范，对药片、胶囊等药品的包装质量要求非常高，必 须保证所有泡罩内的药品都是完好。利用机器视觉系统确认每个泡罩中都有药片， 并且确保药片完整及没有异物，对漏装、污损等情况需及时检测并实时剔除。胶 囊泡罩检测如图1 5 所示。 ( 2 ) 药瓶质量检测 对液体药品，其液位、瓶盖包装及药品内杂质的检测是非常重要的环节。利 用机器视觉系统可以将高速运行在生产线上的没有灌满或少灌装的瓶子剔除；检 测出瓶子瓶颈上的螺纹尺寸是否合格，从而判断出瓶盖是否没盖或密封不牢；对 液位高度超过范围、瓶盖包装缺损等情况及时检测并处理。药瓶检测如图1 6 所 不o ( 3 ) 药品条码检测 药品条码检测仪是专门用于检测条码质量的设备，它是一种精密的测量仪器， 可以在特定的条件下可靠、稳定地检测条码并对条码的识读性能进行分析。利用 机器视觉系统可以阅读二维和一维条码，对药品标签、外包装上的条形码、生产 r 期等进行检测，将问题包装及时剔除。药品条码检测如图1 7 所示。 6 硕士学位论文 图1 5 胶囊泡罩检测图1 6 药瓶质量检测图1 7 药品条码检测 ( 4 ) 包装盒内部检测 制药行业中药品最终都需要进行盒装，每一个包装盒内都必须附带有该药品 的说明书。通过机器视觉系统，对包装盒内部是否存在说明书、是否空装等进行 检测，保障包装的质量。包装盒内部检测如图1 8 所示。 ( 5 ) 包装计数检测 机器视觉可用于医药行业自动托盘处理系统，可以检验瓶盖的颜色、找出不 合适的封装、识别损坏的药瓶以及调整药瓶计数。包装计数检测如图1 9 所示。 图1 8 包装盒内检测图i 9 包装计数检测 ( 6 ) 医疗器械制造检测 对于许多医疗器械，其机械精度、制造工艺要求非常高，机器视觉系统可以 对每个工件的表面缺陷及外形尺寸等进行在线检测，当检测到有缺陷的工件时， 系统发出控制信号将废品剔除。器械缺陷检测如图1 1 0 所示。 ( 7 ) 外科器械跟踪 一般医院中各种手术用外科器械的准确组装对于多数医院来说是一件既耗时 又困难的手动操作任务，在每件外科器械中均通过电化方式产生一个2 dd a t a m a t r i x 条形码，其过程如图1 1 1 所示。可在组装过程中对此条形码进行扫描可以 确保准确的器械包组装，同时还可通过该条形码对各器械的位置进行追踪。 7 j讽_ ，i骱吖酞|-一 r n 司 葡萄糖药液中异物目标视觉检测与识别方法研究 i l 黪i 豳u 一 i 豢l 誊| ! 嚣鬟j 妊。 薯i 戮“”黼4 监； 黎黪鬻篓鬻溢麟罐 ，黪黟r 膨聱# 缈罄魏霸鬻 茹蘸蒸鬻夏雾荔j i 罐嘲嘛自麟垂鞘囔捌q 垂 二磊囊囊磊篓鍪翻 缫璧! 绻纛i 魏黪； 4 ”j ；“i j 瓣自黼 赫一j 黪i 雾鬻” ! 鬈缀霪；笺缨2 曩 ，慧氅! e 落曩懋e 燃嚷 # t * i - 群赫神，t t 愀 * 脚枷 * i t，“p “，。霉、* ii ? 轴。鬻? 鼻_ ? 赫。j 峨；n 扫! 汹 罐，女耕i帮t4 、掣二鼍。电输酣t 5 * - 。4 瞄 簟i#謦i#m辨黼i # 释勰 -lp， 棒_ ，辑褓 镕瑚肆 ，f m $ # k * 艟槲“4 婚，* d 自l 籼拇缸“ 4 图1 1 0 器械缺陷检测 ( 8 ) 医疗手术 图1 1 l 电化器械产生条形码 机器视觉在医疗中的应用也非常广泛，现代很多高难度的手术都要在机器视 觉的配合下完成，比如皮肤的检测如图1 1 2 所示，脑部c t 成像如图1 1 3 所示， 视觉手术如图1 1 4 所示。在医学上机器视觉还被应用在一些医药产品的检测，医 学的一些科学研究中，比如葡萄糖药液检测如图1 1 5 所示，染色体检测如图1 1 6 所示，红细胞检测如图1 1 7 所示。 图1 1 2 皮肤检测 图1 13 脑部c t 成像图1 1 4 视觉手术 5 溷 离 i t ，糍 i i 。 ，。秀 j 匿瀚”蕤驴l 缓瓣疆势缈耱獭 獭 缓誊攀雾_ 砻* 稚瓣 懒 *#f i气j 。= ，鬈鳓 n 豢。： 4。 篡一一m ， ；，7 ，。 i 荔秀荔鬻 *荔。： i i i 绣甏蛰a 一 “ 缝鬻穆_ _ _ 一 图1 1 5 葡萄糖药液检测图1 1 6 染色体检测图1 1 7 红细胞检测 硕f j 学位论文 1 2 3 机器视党药液检测技术的研究现状 机器视觉是一个新兴的、发展十分迅速的研究领域。人们从2 0 世纪5 0 年代 丌始研究二维图像的统计模式识别，6 0 年代r o b e r t 开始进行三维机器视觉的研 究，7 0 年代m i t 人工智能实验室正式开设机器视觉课程，8 0 年代掀起了全球性 的研究机器视觉的热潮，机器视觉获得了蓬勃发展，新概念、新理论不断地涌现。 目前，在国外发达国家中，机器视觉技术已广泛地应用于生产、生活当中，而我 国正处于初期发展阶段。 随着医药行业竞争的加剧，也带动了医药制造业的发展。在现代医药自动化 生产中，涉及到各种各样的检查、测量和识别应用，例如葡萄糖药液中异物、污 渍、漏装等情况的检测，药瓶的质量检查，注射剂包装上的条码和字符识别等。 这类应用的共同特点是连续大批量生产、对外观质量要求非常高。这种带有高度 重复性和智能性的工作，过去是靠人工检测束完成的。但人工检测不能保证百分 之百的检验合格率，0 1 缺陷的存在也对企业在市场上的竞争不利。另外，某些 情况下，例如微小尺寸的精确快速测量、形状匹配、颜色识别等，用人眼根本无 法连续稳定的进行。视觉检测机器人是机器视觉技术在工业高速检测中的典型应 用，能有效解决这些问题，因此在医药加工、医药包装和医疗设备等方面得到了 广泛的应用。 国内外对机器视觉在医药制造行业中的应用研究非常活跃。从收集的论文来 看，对于药液中较为常见的微小异物，文献 10 描述了一种葡萄糖药液中的玻璃 屑检测装置。该装置选用底部照明给光，c c d 相机光轴与光源成一定角度连续采 集旋转急停后药液瓶的两组图像，得两组图像的差分结果，如任一差分结果表明 玻璃屑存在，则产生次品击出信号。刘焕军等人开发了应用于自动生产线上透明 药液体积检测的机器视觉系统1 。针对快速准确检测的要求，采用了逐行扫描 c c d 相机和l e d 光源，检测速度为3 万瓶小时，误差o 8 。文献 1 2 中描述 的药液中异物检测装置利用滤光片使得深色和浅色药液中杂质可同时在两台 c c d 相机上清晰成像，以此提高药液中杂质的检测效率。文献 13 提出了一种对 药瓶上部进行检测的算法。采用反射式照明方法获取空瓶的图像，然后采用特征 规则分析采集到的图像用以确定空瓶的质量。这种方法对检测药瓶表面的裂纹较 为有效，但是因为采用的是反射式照明方法，对内部的黏附物或小裂纹则很难发 现。而且由于是设定规则阂值来确定产品质量合格与否的，对专家经验要求较高。 文献 1 4 以长方体塑料瓶为研究对象，运用三维扫描，连续采集旋转急停后的多 帧图像。由奇数帧图像和偶数帧图像的最大( 小) 值差分结果束确定药液中异物情 况。文献 15 提出了一种检测药瓶的视觉检测算法，该算法在获取了药瓶图像后， 分割图像为多个小区域，在其中根据像素强度来确定区域中是否存在缺陷。这种 9 葡萄糖药液中异物目标视觉检测与识别方法研究 方法检测速度较快，但是只依据一种特征来确定是否有缺陷，尽管为了减少噪声 干扰而分割图像，可还是不能从根本上消除噪声影响，检测的可靠性不够理想。 文献 1 6 参考红外小目标检测方法，对药液中可能出现的异物先跟踪后检测，在 检测流水线管道中，利用方差累积法分析药液的纯净度。在文献 17 中提出基于 高斯基的神经网络来进行瓶口缺陷的检测，采用了目标的大小、位置、形状、灰 度值、灰度差分等1 0 个特征输入量。不过只能检测药瓶瓶口，无法对药瓶进行全 面检测。文献 18 提出了一种基于方向梯度的瓶口检测方法，通过沿瓶口切线方 向的扫描计算梯度值，再根据图像上目标的位置、大小、形状、灰度值来区分裂 纹和图像噪声。文献 1 9 给出了一套采用d s p 处理器的瓶口缺陷检测系统，采用 了边缘跟踪方法来进行缺陷检测。文献 2 0 根据瓶口图像的极坐标变换和一些规 则来进行缺陷判断。文献 2 1 探讨了瓶内液体的检测方法。它在获取了多幅序列 图像后，采用分别累积奇数帧图像和偶数帧图像中的各像素上最大灰度或最小灰 度，然后差分算法减除静止背景，最后进行阈值分割确认是否存在液体杂质。但 这种方法对噪声敏感，而且无法区分气泡和杂质。 在国外，许多药品生产厂家都积极加强企业的科技含量，花重金购买先进的 视觉检测系统代替人工检测。随着生产工序自动化革新的完成，检测环节的自动 化，真正实现了生产现场的无人操作，极大的提高了生产环境的卫生标准，从而 保证了产品的质量。在药瓶检测方面以德国克朗斯、海富公司为代表的大型企业， 从二十世纪九十年代初开始了各种检测设备的研制，并逐步将其系列药瓶检测产 品推广应用到世界各国的自动化生产线上。图1 18 是产品实物图，其检测速度可 达4 5 0 0 0 瓶每小时以上，既有直线式又有旋转式结构n 引。其检测系统采用基于工 业p c 机的结构，检测算法从其操作说明书来看，主要是基于经验规则的模糊专 家检测方法。这两家公司的产品与其生产线配套使用时，稳定性、可靠性都很高。 但与国内生产线配合使用时存在一定问题，特别是国内药瓶不规范，有的甚至在 瓶高、瓶子形状等方面误差较大，对这样的药瓶检测时出现较多问题，如卡瓶、 倒瓶等。 了 窿 l - i i i i i 雀：i 图1 1 8 药瓶检测机器人 l o 硕士学位论文 针对医药产品中液体药品检测，塞登纳得、卫材和贝威蒂n 刀等公司开发了系 列用于药液，注射液等产品检测的视觉检测机器人。这些检测机器人都是采用了 旋转一急停的方式进行运动分析以区分液体杂质和瓶身上的痕迹。其检测速度已经 可以达到2 0 0 瓶分钟以上。具体的检测机器人实物如图1 19 所示。 图1 1 9 药液质量检测机器人 然而对于自动化医药生产线上的核心技术和装备，我国制药生产线自动化设 备基本上处于仿制、简单改进及组合阶段，产品自主创新能力差、自动化程度低， 与欧美、日本等世界先进医药装备技术水平存在较大差距，高端自动化制药装备 主要依赖于成套进口，价格昂贵。现期我国制药装备同国外制药装备发展水平相 比要差1 0 , - - - 2 0 年之多n 引。所以，开发具有自主知识产权的基于机器视觉的高速 医药自动化生产线检测包装智能机器人是自动化大生产的需要，是市场的需要， 也是新时代我们国人的需要。 1 3 本文主要内容 论文在国家自然科学基金重点项目( 6 0 8 3 5 0 0 4 ) “高速精密制造生产线的视觉 检测与智能优化控制技术研究和国家“8 6 3 计划 项目( 2 0 0 7 a a 0 4 2 2 4 4 ) “大型 高速医药自动化生产线上的产品检测包装智能机器人 的资助下，主要研究了基 于机器视觉的葡萄糖药液中异物目标的检测和识别技术，通过快速准确地获取葡 萄糖药液产品的实时图像信息，实现对产品中异物的检测、识别、分析和判断， 确保医药产品的质量，提高葡萄糖生产线的自动化程度。主要内容如下： 第一章：本章在深入调查医药行业发展状况的基础上，阐述了机器视觉系统 在医药行业中的典型应用，接着分析了葡萄糖药液检测中机器视觉的国内外研究 现状，然后给出了本文的结构安排。 第二章：葡萄糖药液图像噪声抑制，由于生产线上存在大量的背景干扰，根 据药液产品异物检测的具体要求，首先对所获取的实时序列图像进行去噪增强处 理，通过对比分析，文中提出了改进的自适应中值滤波算法和基于小波变换的滤 葡萄糖药液中异物日标视觉柃测j 识别方法研究 波算法，对图像进行降噪处理，由实验结果来看，它们不但有效地抑制了图像中 的噪声，而且很好的保留了图像中的细节信息，为后续异物检测与识别提供了更 好的图像。 第三章：主要是对葡萄糖药液中异物目标视觉检测算法的研究，通过旋转急 停的方法获取药液图像，此时可能存在的异物由于自身的重力将会向下运动，而 干扰气泡将会往上运动，针对这种情况，文中提出了基于自适应混合高斯模型的 方法来对异物目标区域进行检测，有效地排除了瓶身上可能存在的各种痕迹的干 扰，准确快速地检测出了药液中的微小异物目标区域。在分析常用的目标分割算 法基础上，提出了一种基于数字形态学的目标分割算法，提高了异物边缘检测的 精度和准确度。 第四章：主要是对葡萄糖药液中异物目标的识别方法的研究，利用检测出的 异物目标区域进行特征提取，分别采用了最大似然法、支持向量机、模糊支持向 量机三种不同的模式分类方法对葡萄糖药液中异物目标进行识别。通过实验及比 较，发现基于模糊支持向量机的异物目标识别方法具有最好的检测成功率。 第五章：葡萄糖药液中异物视觉检测与识别实验平台研制，在分析药液产品 中异物特征的基础上，提出了葡萄糖药液中视觉检测与识别系统的设计方案。为 了区分瓶身与药液内部异物，我们通过机械装置使葡萄糖药液瓶进行高速旋转 急停的方法来获取连续的序列图像，利用序列图像中运动与静止对象在时间和空 间上的差异来克服瓶身所带来的干扰。详细阐述了实验平台的总体结构、电气控 制系统、次品分离装置以及软件系统，最后给出了系统运行的主要界面。 结论总结全文的研究内容，并针对存在的问题提出下一步研究的重点和方向。 1 2 硕l j 学位论文 第2 章葡萄糖药液图像噪声抑制 机器视觉以数字图像处理理论为基础，主要对图像进行处理和识别，它通过 对视觉系统硬件捕获的图像进行变换和处理，从而达到适合机器识别的目的。一 般情况下，成像系统所获取的图像由于种种条件的限制和随机干扰，往往不能直 接在视觉系统中使用，必须在早期阶段对原始图像进行预处理。所谓图像预处理， 就是在对图像进行特征抽取、分割和识别前对图像进行一些处理，主要目的是消 除图像中的噪声信息，恢复有用的真实信息，增强有关信息的可检测性和最大限 度地简化数据，从而改进特征提取、图像分割和识别的可靠性娩引。对机器机视觉 系统来说，所用的噪声抑制方法并不考虑图像降质的原因，只将图像中感兴趣的 特征有选择的突出，衰减其不需要的特征，故噪声抑制后的图像并不需要去逼近 原图像。 2 1 噪声分析 任何一幅未经处理的原始图像，由于在生成和传输过程中受到各种噪声源的 干扰和影响，都存在着一定程度的噪声干扰。噪声恶化了图像质量，使原本均匀 和连续变化的灰度突然变大或减少，形成一些虚假的物体边缘或轮廓，造成图像 模糊，甚至淹没特征，给图像分析带来困难。因此在研究滤波技术前，首先对噪 声进行分类和总结。从广义上来讲，噪声是对我们所需要的信号进行阻挠的其它 信号成分，也就是不希望得到的信号成分，可以被认为是叠加在我们所需要的信 号上的随机干扰，这是一种随机信号。图像噪声主要来源于图像的获取和传输过 程。图像获取过程中产生噪声的原因，如c c d 成像器件的工作电路、传感器的 温度、采集卡的信号电路、a d 转换等；图像传输过程中产生噪声的原因有系统 线路之间的电磁干扰、传输信道干扰、外界电磁波干扰等。因此噪声的存在形式 也是多种多样的，工业中常见的噪声模型有如下几种心1 ： 1 均匀分布噪声 均匀分布噪声的概率密度函数可表示为： p ( z ) ： 击，口z s 6 ( 2 1 ) p ( z ) = 6 一日一 ( 2 1 ) 【o ，o t h e r s 概率密度函数的期望值和方差可表示为： i t - a + - b ( 2 2 ) 【2 2j 葡萄糖药液中异物目标视觉榆测j 识别方法研究 0 2 ：坠笪( 2 3 ) 2 瑞利噪声 瑞利噪声的概率密度函数可表示为： p ：b _ 口) p 华砧口 ( 2 4 ) 【 o , g 0 。概率密度函数的期望值和方差可表示为： j = 二 ( 2 1 2 ) 盯2 = 去( 2 1 3 ) a 注意，指数分布的概率密度函数是当b = l 时伽马概率分布的特殊情况。 6 脉冲噪声( 椒盐噪声) 脉冲噪声( 双极) 的概率密度函数可表示为： ip 。，z = 口 曩z ) = 尸6 ，z = b ( 2 1 4 ) 【0 ，。t h p ， 如果b a ，灰度值b 在图像中将显示为一个亮点，相反，a 的值将显示为一个暗 点。若或咒为零，则脉冲噪声称为单极脉冲。如果只或忍均不可能为零，尤其 是它们近似相等时，脉冲噪声值将类似于随机分布在图像上的胡椒和盐粉微粒。 由于这个原因，双极脉冲噪声也称为椒盐噪声。 针对葡萄糖药液生产线现场的生产实际情况，摄像机采集到的药液原始图像 为8 位位图，由待检测目标和背景噪声两部分组成。其中待测目标是由药液异物 的反射光形成，背景噪声的形成原因通常可以归纳为：药瓶壁内的气泡；药瓶壁 上划痕、污物；药瓶壁上字体和刻度线以及药液液面和瓶底形成的反光区域；系 统的随机噪声四种情况。其中气泡噪声在图像中的位置是无规律的、随机的，是 识别异物目标的最主要噪声，而后3 种原因形成的噪声在连续各帧图像中是静止 的。由于葡萄糖药液一般是无色透明的，其中的纤维、橡皮屑、玻璃屑等微小异 物通常是浅白色的，而且异物目标占据像素很少，因此异物目标基本上被淹没在 背景噪声中，药液图像携带的目标信息相对比较少，其中的背景噪声在图像中占 的面积相对异物目标来说较大且分布无序，这使得药液图像的信噪比较低，从药 液图像中检测出微小异物较为困难。所以，目标检测的第一步应先对药液图像进 行去噪处理。图像去噪方法主要分成基于频域技术和基于空域技术两类，它主要 包括均值滤波、中值滤波、自适应中值滤波、形态学滤波、维纳滤波、基于小波 变换的滤波等方法。针对本课题中的噪声特点进行对比度增强、背景抑制，来去 除噪声，校j 下不均匀的照度，将图像中感兴趣的特征突出来。 葡萄糖药液中