（机械电子工程专业论文）基于图像序列的输液可见异物检测系统研究.pdf

武汉理t 大学硕士毕业论文 摘要 医用输液是一种在临床应用广泛的重要的制剂之一，溶液异物的检测直接 关系着患者的生命安全。因此，输液可见异物在线高效自动检测成为现代企业 实现规模化生产的迫切需求。本文基于图像序列的输液可见异物检测系统以输 液中所含的可见异物为研究对象，展开了输液可见异物的在线检测，对整个系 统的构架与开发作了详细的设计和阐述，并重点研究了其中所涉及的视觉检测 技术，包括m e a ns h i f t 算法在其中的应用。 首先，论述了机器视觉在工业检测过程中的应用，分析了目前存在的多种 机器视觉系统，比较了各自的特点。在对机器视觉系统中通用的照明技术、图 像获取技术进行了全面的论述和对各种光源的性能指标进行分析比较后，给出 了多种实用的照明方式，设计了视觉传动系统、照明系统、剔除模块及电气自 动控制系统；在此基础上，构建出了输液可见异物检测系统总体方案及其流程 图。 其次，开展了输液成像系统理论及其算法的研究，文中分析了成像系统的 标定，运动检测及可见异物识别的处理过程，采用线性模型来进行相机标定。 针对输液中被检测微粒的运动不确定性，结合背景模型法和帧问差分法，将归 一化的互相关系数作为评价图像差异的依据，通过帧差法获得背景模型，然后 将所有帧与所得背景模型相减，即得各帧中的运动目标。为了提高识别精度， 本文运用均值平移跟踪器识别出下落的可见异物的改进算法。为了验证算法的 实际可行性，在v i s u a lc + + 和m a t l a b 平台上验证了该算法的有效性和可行性。 最后，开发出一套输液可见异物智能检测实验软件。 关键词：机器视觉；图像序列；药液检测；图像处理；检测系统 武汉理t 大学硕士毕业论文 a b s t r a c t m e d i c a li n f u s i o ni saw i d er a n g eo fi m p o r t a n tc l i n i c a la p p l i c a t i o n t h ed e t e c t i o n o ff o r e i g no b j e c t si nt h es o l u t i o nd i r e c t l yr e l a t e dt op a t i e n t s s a f e t y t h e r e f o r et h e e f f i c i e n ta u t o m a t e dd e t e c t i o no ff o r e i g no b j e c t so n l i n ec a nb es e e na st h eu r g e n tn e e d o fl a r g e - s c a l ep r o d u c t i o nf o ram o d e r ne n t e r p r i s e t h er e s e a r c ho b j e c to ft h ed e t e c t i o n s y s t e mb a s e do ni m a g es e q u e n c ei ni n f u s i o na r et h ev i s i b l ef o r e i g no b j e c t sc o n t a i n e d i nt h ei n f u s i o n ，w h i c hc a n i m p l e m e n t ss m a r tv i s i b l ef o r e i g no b je c t si n s p e c t i o no n l i n e i nt h i sp a p e r , t h ee n t i r es y s t e ms t r u c t u r ew a s d e s i g n e da n dd e s c r i b e d i nt h es t r u c t u r e ， t h et e c h n o l o g ya n dt h es o f t w a r ei m p l e m e n t a t i o na r em a i n l y r e s e a r c h e d ，i n c l u d i n gt h e a p p l i c a t i o n so ft h em e a ns h i f ta l g o r i t h m f i r s t l y , t h ea p p l i c a t i o no fm a c h i n ev i s i o ni ni n d u s t r yi n s p e c t i o ni sr e p r e s e n t e d a n dt h et y p eo fm a c h i n ev i s i o n s y s t e m i s a n a l y z e d ，w h o s ec h a r a c t e r i s t i c sa l e c o m p a r e d av a r i e t yo fp r a c t i c a lw a y si nt h el i g h t i n gb e f o r el i g h t i n gt e c h n o l o g ya n d i m a g ea c q u i s i t i o nt e c h n o l o g ya r eac o m p r e h e n s i v ed i s c u s s i o ni nm a c h i n ev i s i o n s y s t e m t h ev i s u a lt r a n s m i s s i o ns y s t e m ，l i g h t i n gs y s t e m ，r e m o v em o d u l ea n d e l e c t r i c a la u t o m a t i cc o n t r o ls y s t e ma r ed e s i g n e d t h i sp a p e rs h o w st h eo v e r a l ld e s i g n p r o g r a mo ff o r e i g no b j e c t sd e t e c t i o ns y s t e mi ni n f u s i o n s e c o n d l y , t h ei n f u s i o ni m a g i n gs y s t e mt h e o r ya n di t sa l g o r i t h ma r er e s e a r c h e d t h ec a m e r ac a l i b r a t i o n ，m o t i o ni n s p e c t i o na n dt h ei d e n t i t yo ff o r e i g no b j e c t sa r e d i s c u s s e d ，a n dal i n e a rm o d e lf o rc a m e r ac a l i b r a t i o ni su s e d a sf o rt h em o v e m e n to fp a r t i c l e su n c e r t a i n t y , w ec o m b i n e dw i t hb a c k g r o u n d m o d e lm e t h o da n dt h ei n t e r - f r a m ed i f f e r e n c em e t h o d f o rt h es m a l lf o r e i g no b j e c t sm o t i o nd e t e c t i o n ，an o r m a l i z e dc r o s sc o r r e l a t i o ni s u s e dt oo b t a i nt h ef r a m e ，b a s e do nt h a tt h eb a c k g r o u n di se s t i m a t e df r o mt h ef i r s t f r a m eb yi n t e r - f r a m ed i f f e r e n c e ，a n ds m a l lm o v i n go b j e c t sa l ee x t r a c t e df r o me a c h f r a m e a n dt h en o r m a l i z e dc r o s s c o r r e l a t i o nc o e f f i c i e n tb a s e do nt h ed i 疗i e r e n c e i m a g e si sa sa ne v a l u a t i o nt oo b t a i nt h eb a c k g r o u n dm o d e lb yt h ef r a m ed i f f e r e n c e m e t h o d t h e na l lt h ef r a m e sa n dt h eb a c k g r o u n dm o d e ld e r i v e df r o ms u b t r a c tt oh a v e 武汉理t 大学硕十毕业论文 t h ef r a m eo ft h em o v i n gt a r g e ti no r d e rt oi m p r o v ei d e n t i f i c a t i o na c c u r a c y , a na d a p t e d m e a ns h i f tt r a c k e ri sa d o p t e dt of i n df a l l i n gf o r e i g no b j e c t s i no r d e rt ov e r i f yt h e p r a c t i c a lf e a s i b i l i t yo f t h ea l g o r i t h m ，w eh a v ev e r i f i e dt h ee f f e c t i v e n e s sa n df e a s i b i l i t y o ft h ea l g o r i t h m i nv i s u a lc + + a n dm a t l a bp l a t f o r m f i n a l l y , t h es o f t w a r ef o ri n s p e c t i o no ff o r e i g no b j e c t si nt r a n s f u s i o nb o t t l e sw a s d e v e l o p e d k e yw o r d s ：m a c h i n ev i s i o n ；i m a g es e q u e n c e ；l i q u i dd e t e c t i o n ；i m a g ep r o c e s s i n g ； d e t e c t i o ns y s t e m i l l 武汉理工大学学位论文独创性声明及使用授权书 独创性声明 本人声明，所呈交的论文足我个人在导师指导下进行的研宄- i ：作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中小包含其他人已 经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育机构的学位 或证书而使用过的材料。与我一同t 作的同志对本研究所做的任何贡献均已在沦文 中作了明确的说明并表示了谢意。 研究生( 签名) ：叠凇日期 学位论文使用授权书 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即：学校有权保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。 本人授权武汉理工大学可以将本学位论文的全部内容编入有关数据库进行检索，可 以采用影印、缩印或其他复制手段保存或汇编本学位论文。同时授权经武汉理工大 学认可的国家有关机构或论文数据库使用或收录本学位论文，并向社会公众提供信 息服务。 ( 保密的论文在解密后应遵守此规定) 研究生( 签名) ：盎盈位缉导师( 签名) ： 注：此表经研究生及导师签名后，请装订在学位论文摘要蔚页。 武汉理工大学硕士毕业论文 第一章绪论 1 1课题研究背景与意义 随着科学技术的发展，企业生产质量和效率越来越重要，特别是计算机技 术的发展，数字图像处理技术、模式识别、神经网络及人工智能等学科知识的 逐步完善，使现阶段工业在线智能检测系统的成为工程热点。近年来，输液的 应用在临床上日益广泛，已是我国药品中五大类重要制剂之一。如今我国的医 用输液产量己位居世界产量榜首，年产量及年销售量分别达到6 9 亿瓶和5 l 亿 瓶【ij 。但是，在生产过程，特别是在灌装过程中，药液中会出现玻璃碎屑、铝屑、 橡皮屑、毛发、纤维和不溶药质等微小可见异物。这些异物粒径微小，可随着 静脉注射进入人体血管，导致血管堵塞，对病人的身体造成极大危害。输液中 可见异物给人体所带来的危害己引起人们的广泛关注，也被世界医药界人士所 重视。所以，许多国家在药典中都规定：对注射针剂是否有不溶性异物【2 】要采 用每只或每瓶进行检查。 目前，我国9 0 的生产企业仍停留在传统的人工目视检测这些微小可见异 物的现状。所谓的传统的人工目视检测就是指黑色背景下，以高强度同光灯为 光源，灯检工完全依靠手工和肉眼逐支对输液的澄明度和可见异物进行检查， 如发现无异物漂浮，则为合格产品，放回生产线。否则为不合格，将其剔除。 由于人工的检查结果具有非客观性、低效率、低精度，进而使得检测结果失误 率随之提高，这是输液工业生产线必须要克服的瓶颈问题 3 】。 机器视觉技术的输液中可见异物智能检测系统的研究是近年来的研究热 点，国内的研究并不多见。欧美及同本等国外一些相关研究机构和医疗器械公 司已经做过一些研究工作 4 1 ，但是由于不符合我国的输液生产环境和制药标准， 国内少数大型制药公司引进了有关技术和设备，检测结果并不理想。加上设备 价格昂贵，国内药厂购买意愿普遍不强。所以，研究输液中微小异物检测系统 具有重要的理论和经济意义。研制适合我国制药标准和生产环境的在线全自动 智能输液可见异物检测系统能够大大提高检测的速度和效率，降低成本，把灯 检工从高强度的劳动中解放出来，具有很强的实用价值，市场需求课题研究现 状广泛，具有巨大的经济效益和社会效益。 武汉理：l = 大学硕士毕业论文 本课题的目的是研究基于图像序列的输液中可见异物的全自动智能检测， 实现在线检测液剂中是否含有杂质，自动剔除不合格药品。目前，对于液体中 的可见异物检测，大多研究只限于单帧图像。但是在实际应用中，单帧图像检 测可见异物对检测环境要求高，漏检率高，难于获得较好的效果。与单帧图像 相比，基于图像序列的检测方法最大优点在于它提供了可见异物在时间和空间 上的信息。因此，开发具有快速实时的在线药剂异物智能检测系统，对改善我 国用药安全、保护患者生命安全具有积极的应用价值和现实意义。 1 2 相关技术与国内外研究现状 医用输液是一种在临床应用广泛的重要的制剂之一。根据国家发改委的数 据，在2 0 0 9 年底，中国输液的厂家已达4 0 0 家，每年的可生产8 0 亿瓶，年产 值达1 5 0 多亿元1 l j 。在这些产品中，大部分是采用玻璃瓶包装。虽然新型的包 装如软包装等不断出现，但是在以后相当长的一段时间内，中国的输液产品仍 以玻璃瓶为主。 传统的输液异物检查有人工来完成，如图1 1 所示。在生产车间专用的灯检 室罩，工人将灌装好的大输液瓶缓慢倒转，用肉眼观察溶液中是否有不溶性可 见异物出现，如看见有浮动的可见异物，则将其放入废品回收传送带。每名工 人每次手握2 个输液瓶同时检测，每天检测大输液大概3 0 0 0 瓶，若年产量1 0 0 0 万瓶的大输液生产厂家每条生产线上则需配备1 0 个灯检工。显而易见，这种检 查方法，检查结果主观性强、效益低、精度低、范围窄。长时间的重复性检测 也给灯检工造成视力和腕关节等伤害。 由于传统输液可见异物检测的种种缺陷，为了提高药厂产量，减少人力成 本消耗，自从上世纪七八十年代开始，国内外的许多研究机构和医疗器械公司就已 经开始致力于智能溶液杂质检测设备的研究。国外较早地开展了基于机器视觉 方面的药液可见异物智能检测研究，目前基于机器视觉的智能灯检机研究比较 成熟的主要集中在美国，同本，德国，意大利等国【5 j 。由于每个国家制定标准和 生产环境上存在差异，同时检测结果不好。故国内药厂大都不愿购买。 武汉理l 大学硕十毕业论文 图1 1 人工灯检现场 存国外已应用在实际生产中的灯检智能榆测系统中，典型的有n 本e i s a i 的 全自动检查机( 如图12 ( a ) 所示) 与德国s e i d e n a d e r 的自动检查设备( 如图i2 0 ) 所 示) | 6 j 。日本e i s a i 生产的全自动检查机主要检测的是安瓿，注射液等小容量试剂。 工作流程是：先将榆容器送到检测平台，然后在将容器迅速旋转，再对溶液中 的杂质进行检测，最后提出不合格的产品到废品箱。在检测部分，旋转的容器 在检测光束前急停。此刻，玻璃瓶旋转静止，溶液仍旋转若溶液中有杂质， 杂质就会阻断光束照射时的光线，然后光电传感器会探测到光线的变化，最后 根据预先设定参数判别输液是否合格。光线的强度的变化。转化为l 乜压强度变 化，改变化幅值若超过一个设定的参考值，光电传感器就会输出信号表示- 见 异物的存在。改产品检测的容器容量为1 1 0 0 m l ，检测速度为每分钟3 0 0 瓶。由 德幽一间公司研制的自动检测装背足根据可见异物的重量设置了4 个榆测j 位， 按图像对比法检测溶液中的杂质1 7j 。虽然这两家产品都有很高的精度但不能与 国内医用液剂生产线配套使用，会出现如废品率过高等问题。此外返类医用榆 测设备价格昂贵，国内儿乎没有厂家使用这类产品。 国内些研究机构对输液异物智能检测进行了一些探索但都是停留在试 验仿真和算法改进上，无法开展实用平台“。文献1 1 7 1 介绍的是一种灌装啤酒 中的杂质检测装置。它采用光源与相机在一定角度连采集产品2 组图像，然后 将这两组图像的进行差分， ( 【| 果差分结粜大于参考值则表明杂质的存在，剔除 系统就会发h 击 l 动作。文献】8 1 中介绍的是液体异物检测装置，它利用光学技 术将深色和浅色液体杂质同时在两台c c d 相机上清晰成像，等十是上述装置的 设定两个分别针对深颜色和浅颜色杂质的榆测装置，以此提高液体杂质的榆测 效率。 武汉理1 人学硕十毕业论文 a ) 同本e i s a i 的全自动榆奇机b ) 德国s e i d e n a d e r 的自动榆奋设备 图l2 国外灯检智能检测机 根据所收集的各种文献，对于输液巾的可见异物检测，基于机器视觉的医 药试剂检测设备有更大优势比如有更好的稳定性和更高的准确度方面。对于只 幸1 对单幅图像的检测系统，此类设备对环境要求高，而检测精度也不高。为了 提高在线检测精度工程中已相继r 展了对瓶装杂质的各种图像识别方法的研 究l ”1 1 1 8 1 本论文研究的重点是寻求对抗干扰以提高在线检测精度和效率。基于此， 本文将基于图像序列的检测方法丌艘输液瓶中异物榆测系统的研究。本研究足 是在多帧连续图像基础上口! 别输液。 | 的可见异物，对光线的抗干扰性强，检测 的算法士要是利用可见异物在时f r 】和空i b 】的相关性，来获取输液中更多杂质信 息。另外，高度发达的计算机技术使得视觉检测设备的运算速度大幅捉刀提 高检测的实时性。 1 3 主要研究内容及论文结构安排 本课题来源于台州市新亚迪轻工业装备冉限公司委托项目医用输液异 物在线检测系统研究。其主要任务是最计并且完成一个液体杂质的检测系统， 满足流水线生产的实时性和精度要求。主要的工作内容包括硬件选配、软什系 统设计两方面，其中液体杂质检测的算法研究是本论文的重点研究内容。研究 涉及： l 、设计并且完成一个液体杂质的检测系统，满足流水线生产的实时性要求， 满足杂质检测的精度要求： 2 、设计全自动输液可见异物在线检测体统的系统结构包括：( i ) 系统总 体构成；( 2 ) 检测部分摄像机及光源选型，两种照明方式设计：( 3 ) 别出结构 武汉理工人学硕十毕业论文 装置开发设计。 3 、高速、准确的检测算法设计。针对输液可见异物检测方法问题，提出了 一种基于图像序列的多个可见异物检测算法。首先利用归一化的互相关系数和 自适应迭代求解阀值获得图像的二值图像，然后在传统的m e a ns h i f t 算法的基础 上引入带宽自适应核函数和自适应变步长因子，解决了可见异物可能发生形状 变化和收敛速度慢的问题。 4 、检测对象分析，对检测速度、精度要求进行分析。 5 、输液可见异物检测软件开发与实现。 6 、检测机器人图像获取部分机械传动的设计，实现对每一瓶大输液产品拍 摄无视觉误差的多帧图像。 本文的结构安排如下： 第一章绪论，主要介绍课题的研究背景、意义、机器视觉的发展及该领域 国内外最新的研究现状。给出了主要研究内容及论文结构安排。 第二章输液中可见异物机器视觉检测系统，主要介绍瓶装液异物检测系统 整体设计，设计了一套适用于生产线的基于图像序列的瓶装液异物检测系统， 包括光源与照明技术、光学镜头与高速c c d 相机、线性模型相机定标、图像采 集卡等，给出了输液检测机器人机械系统结构、电气系统控制、照明系统设计 以及剔出系统。 第三章输液可见异物检测算法分析和设计，利用改进的均值漂移算法来跟踪 检测输液可见异物的运动，其思路是：为提高均值漂移( m s ) 算法的跟踪精度， 首先利用图像处理技术获得输液可见异物的二值图像；在均值平移( m e a ns h i f t ) 跟踪过程中，可见异物可能发生形状变化，引用带宽自适应核函数；为提高均 值平移算法的收敛性速度，还提出自适应变步长因子。 第四章输液中可见异物检测软件开发与实现，讲述输液可见异物检测系统 实验软件的设计。其中重点介绍该软件的架构、功能模块和关键部分软件技术。 最后通过实验证明了算法的有效性 结束语对本文的研究内容和研究成果进行了总结，指出了有待解决的问题， 提出了下一步研究的重点。 武汉理1 = 大学硕士毕业论文 第二章输液中可见异物机器视觉检测系统构成 人类从外界获得的信息约有7 5 来自视觉系统，是人类认识世界的重要途 径。这也即说明视觉信息量巨大，也表明人类获得的大部分信息依赖于视觉信 息【l 引。机器视觉模拟人类视觉，是一个相当新且发展十分迅速的研究领域。机 器视觉自起步发展到现在，已有多年的发展历史。应该说机器视觉作为一种应 用系统，其功能特点是随着工业自动化的发展而逐渐完善和发展的【8 】。本章在对 机器视觉系统大量研究的基础上提出输液中可见异物检测系统的设计方案，介 绍了系统检测对象、总体机械结构和电气系统结构，并详细描述了两种不同照 明系统和废品剔除执行模块。基于图像序列的药用输液异物检测系统作为一个 系统整体研发，包括硬件部分和软件部分，各部分模块化管理，分工明确。本 章将着重介绍系统硬件部分的构成。 2 1 机器视觉系统 机器视觉的系统构成如图2 1 所示，在一定的光照( 包括可见光、红外线、 超声波等) 条件下，图像传感器( 包括c m o s 和c c d ) 采集三维场景的图像后经 过模数转变并传输到计算机内部，形成强度的二维阵列一原始图像：然后，运用 图像处理技术( 包括图像增强、图像恢复和图像转变等) 对采集到的原始图像 进行预处理以得到质量改善了的图像【2 0 i 【2 5 1 ，进而从中提取感兴趣的特征，构成 对图像的描述：其次，运用模式识别技术对抽取到的特征进行分类整理：最后，运 用人工智能得到更高层次的抽象描述，对执行机构发出指令，完成视觉系统的 任务。 图2 1机器视觉系统构成 典型的视觉系统一般包括：光源、光学镜头、摄像机、图像采集卡、图像处 6 武汝理1 人学硕十毕业论文 理软件和执行部件等。实质上机器视觉是通过光学的装置和非接触的传感器自 动地接收和处理一个真实物体的图像，以获得所需信息并经过处理，然后用于 控制机器人动作。从视觉系统的运行环境可将系统分为i 三【下三种系统： i 基rp c 机的系统 图像采集装置实时采集工业流水线检查目标的图像数据，井转换为数字信 号传递给p c 机中的视觉处理软件处理。处理软件输出的结果般显示在硅示屏 _ 卜或是传递给执行单元。该类系统比较简单，成本较低，可以方便使用w i n d o w s 开发环境。开发系统的语j 广发，包括较低层次的c ，c + + 到高级编程语言j a v a ， 有部分还采用汇编语言编程。图22 显示的是一个基于p c 机的机器视觉器统。 圈22 基于p c 机的系统 2 基于视觉佶感器系统 视觉传感器就是将全部的视觉系统所需要的硬件，如c c d ( 或c m o s ) 、内 存、处理器以及通讯压缩在一个“黑箱”式的模块旱( 如图中所小的视觉传感 器) 。视觉传感器又称智能相机，拮配运动控制模块和检测结果显示模块完成系 统所需要的检测功能( 如 堇 23 所示) 。由于其功能强大，该类系统近年束发展 较快，高度集成化是传统的基于p c 机视觉系统无可比拟的一个优势，主要应j _ | 在大型_ 业生产线。但基于视觉传感器系统价格不非，在国内市场的应用远不 如基于p c 机视觉系统广泛。 丑、h u 尹 l藤同甲 i t 汉理i j 人学硕士毕业论文 图23 基r 视觉传感器系统 3 基于d s p 的系统 d s p ( d i 百m ls i g n a lp r o c e s s o r ) 是种独特的微处理器，是以数字信号来处 理大量信息的器件。d s p 半台具有小型化，受温度、环境等外部参与影响小， 质量轻，处理灵活的特点。这类系统一般有以下两种使用方式：足与p c 机一 起构建小巧灵活的视觉系统：二足以单独使片| 成为某些集成系统的一部分。在 第种使用方法下，这类系统通常将图像处理软件嵌入到d s p 的内存中。该系 统主要是借助d s p 强大的运算能力，提高视觉系统的寅时性，特别适合宴时性 要就高的场合。d s p 完成耗时大的图像处理运算，p c 机与d s p 之问仅传输些 少量信息( 如控制命令，d s p 的图像处理结果) 。此类系统成本低，易于携带，容 易实现集成应用十分广泛，如图2 4 所示。 罔24基于d s p 的系统 22 输液可见异物智能检测系统体系结构研究 基于图像序列的可见异物智能灯检机是自动视觉检测技术在上业检测巾的 典型应用。谈系统作为一个高精度、高速度、非接触性的测量系统，是集机器 视觉、精密机械、实时控制十一体的高速在线检测。它运用机器视觉的原理， 娶 甲 。 武汉理t 大学硕十毕业论文 以视觉相机代替人眼，运用图像处理技术处理采集的图像信息，并按照处理结 果控制检测系统的执行模块将输液中的废品剔除。它要求各部分要精密配合， 互相协调才能达到预期检测效果。 考虑到实际工业应用，根据中国药典对输液生产中澄明度以及实现可见异 物在线智能检测，设计的系统应满足一下要求： ( 1 ) 实时性要求。原始序列图像的实时高速采集，检测速度至少达到1 0 瓶 秒。 ( 2 ) 精确性要求。根据三个粒径范围( 1 0 2 5 p m 、2 5 5 0 p m 、， 5 0 9 m ) 来对 目标异物进行归类统计，进而根据没定的标准柬判别产品是否合格。 ( 3 ) 参数测量设定要求。可以根据不同类型瓶体设置不同参数，设定检测指 标精度： ( 4 ) 速度匹配性要求。要求概系统的检测速度要能够和整个输液生产线的速 度匹配。 基于图像序列的的输液异物检测系统作为一个系统整体研发，集光、机、 电于一体，综合了数字图像处理、光学、控制等技术，包括硬件部分和软件部 分，各部分模块化管理，分工明确。本章将详细介绍系统硬件部分的构成。 2 2 1 输液可见异物检测系统的工作原理 本文主要对输液可见异物检测系统的机器视觉系统进行了研究，主要包括 光学系统设计和图像采集与处理。光学系统设计是为了获取质量好的图像，突 出目标的特征，提高检测精度和降低算法复杂度；图像采集通过相机、图像采集 卡的硬件来实现。在静止时，输液中的可见异物( 如药物残渣和玻璃屑等) 会沉在 瓶体，不易观察。所以，我们设计了专门的旋转机构把输液瓶先旋转，然后急 停，由于惯性和重力重要，可见异物还将输液中做旋转下沉运动，此时，发出 信号给图像采集鼍并同时掌握c c d 柏机曝光和光源l 刈烁，进而可以抓墩运动输 液图像和采用连续抓拍以获得序列图像，冉通过图像采集卡把其模拟信号转换 成数宁信号并存储在一 控机中。接着就是图像处理模块了，首先对采集的图像 进行预处理以获得质量较好的图像，然后采用后续章节设计的药液异物检测算 法对输液进行可见异物的大小和数量进行检测，根据预设条件来判断输液是否 合格，最后发送控制信号给执行机构，剔除不符合要求的输液。检测系统框图 如图2 1 6 所示，图像处理系统软件框架图如图2 1 7 所示。 9 武汉理- t 大学硕十毕业论文 i 外部触发 上 l 圈懈集 0 图像瑗处理 j 图童特征提取】 j 国豫分昕与曩解 决氟与爿断 图2 1 6 检测系统框图图2 1 7 系统软件框架图 ( 1 ) 视觉单元组要有面扫描c c d 摄像机、l e d 光源和输液旋转机构组成， 主要功能是让输液旋转急停后抓拍图像序列。 ( 2 ) 控制单元主要高性能工控机、可编程控制器( p l c ) 、剔除机构、光电 传感器等组成。工控机是整个系统的“大脑”，负责控制图像数据的采集、传输、 处理和剔除机构的驱动。光电传感器主要用来检测输液瓶在传送带上的位置， 并且给主控p c 提供l e d 频闪和c c d 拍摄的触发信号。可编程控制器( p l c ) 主要负责对底层执行部件和传感器的控制功能，比如驱动剔除机构的动作等。 剔除单元完成不合格药瓶的击出操作。 输液可见异物检测系统的主程序流程图如图2 18 所示 输液可见异物检测系统主要包括：l e d 光源、光学系统、图像采集告、面扫 描摄像机、图像处理系统、旋转机构和剔除机构以及 ：控机等，其中要：i ：作步 骤如下： ( 1 ) 通过传送带把待检测的输液送到检测区，输液旋转机构通过光咆传感 器检测到输液到达的指定位置，从而通过信号驱动输液旋转机构央住瓶 并旋 转。 ( 2 ) 光电传感器检测到旋转输液到达c c d 相机拍摄工位时，旋转机构停 止旋转，输液液体由于惯性仍然在旋转，并发出启动信号给图像采集卡。 ( 3 ) 图像采集卡按照预先设定参数实施延时，然后发出启动脉冲给c c d 摄相机和照明系统。 l o 武汉理工大学硕士毕业论文 图2 1 8 主程序流程图 ( 4 ) 面扫描c c d 摄相机采用异步触发模式，停止当前动作，重新开始新 一帧扫描。在此之前，按照预先设定曝光时间，启动曝光机构 ( 5 ) 照明系统接受到图像采集卡的启动脉冲时，启动光源i 人j 烁，光源闪烁 时间与摄相机曝光时间匹配 ( 6 ) 面扫描c c d 摄相机曝光之后，开始一帧图像的扫描和图像模拟信号 的传输，并连续拍摄指定帧数的图像。 ( 7 ) 图像模拟信号传输到图像采集卡后，由图像采集卡中的a d 转换器转 换为数字信号，并将其传送到工控机内存中。 ( 8 ) 数字图像信息传送的工控机后，由工控机里的图像处理软件对其处理， 根据预先设定的可见异物参数进行判断，并把判断结果传送给剔除机构。 ( 9 ) 剔除机构根据工控机传送来的结果，剔除不合格的输液。 从上述工作流程来看，输液可见异物检测系统动作比较多，是一个比较复 杂的系统。它的难点在与各部件的动作的匹配和协调，对各个动作的准确性和 工控机的处理速度要求比较高。还有一个难点就是图像处理软件，它将很大程 武汉理i 大学硕十毕业论文 度上决定可训别异物的精度，这将在第三章详细阐述。 2 22 检测对象分析 如今除小部分的输液是塑料封装的外，大部分还是用透明玻璃容器封装。 根据国家制定澄明度检查细则和判断标准，在输液中，少量的微小药物沉淀 是可以接受的，囡为输液从化学的角度来说，本来就属于混合溶液，比如葡萄 糖溶液，生理盐水等，并不是一种完全纯净而没有微粒的液体。但是，为人体 使用的安全起见，凡是输液中古有可见物的，必须视为废品，将其剔除。 根据药品生产实际现场的塌壹，在输液中存在有多种r 叮见异物如纤维、橡 胶、玻璃屑、毛发等萁视觉特性大致可以分为两大类：将颜色较暗的划分为黑色 颜色较浅的划分为白色，表22 所示。 表2 2 输液可见异物分类袭 输液中可见异物的密度大于输液溶液的密度，所以传统的幻检工检验输液 时，通常将输液缓慢倒置，在黑色白光背景下仔细观察溶液中是否有f 沉物质 出。若发现有可见异物，则视为不合格产品。用机器柬模拟和改进这过程， 是我们设计输液可见异物检测系统的思路。 2 23 输液可见异物检测系统视觉传动模块分析 由传统的灯检工检验输液过程受到启发，我们第一步是要使沉淀杂质悬 浮在溶液中，第二步使用撮相机采集输液瓶旋转急停后的罔像信息，并将图像 信息传输到计算机早的图像处理模块进行图像处理最后一步根据处理结果判 断输液中是否存在可见异物。在输液瓶急停后，输液中的一u 见异物山于惯性和 重力的影响依然在瓶内成下沉运动，而输液瓶刻度线和瓶体缺陷等f 扰因素却 静止，这为后面的图像处理模块的检测提供条件。 在此节中，我们将从传动模块运行方式和拍摄方式这两方面束进行i 羊细 分析。 武汉理j 人学硕十毕业睦文 机械运行方式 输液中的可见异物在液体静止的时候是沉淀在瓶底的，吲此必须要有专门 的机构使之悬浮在液体中。从h 曲柬看，这土要有以下两种方式”5 l u ”l ： ( ”如图21 9 所示，这是模拟传统灯检】瑚模式将输液瓶倒置。当 容器被倒胃时，容器中的可见异物在倒嚣过程中也早已随容器的运动缓慢移动 到瓶顶。这种装置的特点是：翻转容器的速度缓慢，异物_ f 沉速度快，即使相 机抓拍到倒置过程中的运动异物，f h 幽像中人输液瓶运动位姿的变化井必增加 图像处理模块算法的复杂度。所以这中装置只使用于小容量容器。 ( 2 ) 利用离心力，剧旋转的方式使片物悬浮在液体巾，如图22 0 所_ i 。 这种装首中容器并未翻转，异物的运动通过快速旋转盛药容器柬实现。盛药容 器在旋转时底部会产生旋涡从而带动可见异物脱离瓶底运动到溶液液面。这 种装置的特点是：运动精度，运行平稳，溶液气泡少。 在奉系统中，我们将采用第二种方式。 髅。潮目瞰。醢j t 矗 例2 1 9 传统翻转机构实物围图22 0 翻转机构实物罔 拍摄方式分析 输液旋转急停后，液体叶 的t 见异物由于离心力和莺力的作丌1f 做旋转下 沉的运动，这刚如何在获取无视角偏差的连续图像同时保证整条牛，”线的【f | 常 运行是整个传动模块设计的关键。从目前来看，按相机的运动状忐束分类，解 决此问题的方式办有以f 两种： ( 1 ) 十臼机跟踪扪摄 相机跟踪拍摄是指相机跟随输液起存环形流水线运动，从中完成图像采 集动作。一般情况下，相机安装在环形生产线中心。_ ! ；j j 作流程是：当溶液进入 指定工位时，相机以相同的角速度偏转f h 踪容器，然后启动光源和曝光，州机 采集多帧连续图像，最后相机马上返叫韧始位氍丌始下一个产品的榆测。 武汉理工大学硕士毕业论文 采用这种方式的特点是：对机械传动的精度和稳定性要求高，但是原理简 单。在相机进行跟踪定位时，必须与容器同一角度和速度运行，保证图像信息 中除气泡、噪音和可见异物外的背景图像相对稳定，负责将影响后续算法处理 的可靠性。另外，相机在长期运动的状态下工作，使用寿命会大大缩短。 ( 2 ) 相机静止拍摄 相机静止拍摄是指相机固定在生产线上的某一点，引入其它辅助设备或改 变生产线的运行方式使得相机能够采集到溶液的连续图像。这种方式的特点： 避免了相机的移动，相机寿命增长，系统也较为平稳。 要使相机固定在生产线上拍摄，目前有以下三种方案： ( 1 ) 增大相机视场 这种方案是将相机的视场从一个容器扩展到四个或更多个容器，同时拍摄 多个容器图像，然后将这些传输到图像处理模块后由视觉模块在图像中分割出 当前跟踪的待检测容器。这种方案的特点是：硬件实现简单，但对图像分割处理 算法的精度要求较高，在视场过大时成像边缘易产生畸变，影响检测准确度。 ( 2 ) 反光镜旋转 这种方案是将反光镜安装在环形生产线中心，取代旋转相机，跟踪在环形生 产线上的待检测容器，将待检测图像反射至相机。动作流程为：当待检溶液进 入指定工位时，反光镜跟随溶液以同角速度转动，将待检测图像反射至固定的 相机，然后启动光源和曝光，相机采集多帧连续图像，最后反光镜马上返回初 始位置开始下以待检产品的检测。这种方式的特点是；检测速度快，减少了相 机的机械损耗，增加相机寿命，但是对光路的设计要求高，反光镜的偏转角度 要求精确。 ( 3 ) 容器绝对静止 这种方案是待检容器进入拍摄区域指定工位后，生产线瞬时静止供相机采 集容器图像，采集完后生产线马上恢复正常运行，下一个待检容器开始进入检 测区。这种方案的特点是：机械损耗低，在机械的稳定性和精度方面要求较低， 系统的稳定性高，但会降低生产线的运行速度，增加时间成本。 2 2 4 输液可见异物检测系统照明系统设计 在机器视觉系统设计中，合适的照明方式和光源显得非常重要，因为它是 完成实时和准确检测的重要保证。如何利用照明系统设计来消除其它干扰，突 出可见异物的图像特征，这是我们照明系统设计的难点。 1 4 武汉理下大学硕十毕业论文 l e d 光源方向性好，光照均匀，因此我们将选用l e d 光源。l e d 光源的使 用寿命大大长于其它类型光源，但是在工业应用中，机器会要长时间使用，为 了进一步延长它的寿命以及节省电能，我们选择使用频闪器与l e d 配合工作。 频闪器在相机需要拍摄时，点亮l e d 光源，而拍摄完成后，l e d 光源熄灭。因 为l e d 每升温l 就降低1 亮度，l e d 间歇性发光使l e d 能及时冷却，从而 能稳定光量。l e d 光源反应时间很快，符合当图像采集需要多个照明光源相互 切换，或一个光源中的多个部分相互切换要求1 3 0 j i ”j 。 由于输液瓶为圆柱形玻璃容器，壁面尤其是侧面反光极强，如果直接使用 反射照明方式将会在两侧形成亮斑，阻碍异物图像信息的采集。在药液中存在 的异物按其视觉特性大致分为两大类( 见2 3 4 节) ：将颜色较暗的划分为黑色， 颜色较浅的划分为白色。因此，我们设计出两个不同的照明系统结构，如图2 2 1 燃置 抓取装置 个下1 、 l e d 红蝴口 黑色背景 叫n l _ u 图2 2 1照明系统结构l图2 2 2 照明系统结构2 图2 2 l 是背光照明方式，主要采集的黑色异物。图2 2 2 是黑背底部照明 方式，主要采集的是白色异物，但l e d 光源采用的是绿色。试验表明，设计出 的两种照明方式均能有效减少噪声感染，提高图像精度，降低图像处理难度。 2 2 5 输液可见异物检测系统剔出模块设计分析 如今，应用于工业生产的废品剔除机构主要有两种：一种是破坏性剔除机 构，特点是结构简单，但经济效益低；另一种是无损剔出机构，能够将不合格 产品回收重利用，特点是结构设计负责，损耗较小。我们将选择无损剔除机构 这种设计方案。 在无损剔除机构设计中，我们将需要解决两个难点：一是剔出的准确度， 即是要到达准确剔出不合格产品而对合格产品无任何影响；二是剔除速度和力 崧己1j咣部 武汉理1 人学硕士毕业论文 度，要能配合生产线的节拍，及时剔除不合格产品而又能不破坏不合格产品。 从目前束看，应用在工业上的无损剔出系统按次品的剔出方式分类，七要 有以下三种： 1 、击出式 如图22 3 所示击出式无损剔除系统按照给定的控制指令，利用击出面与 物品发生碰撞将生产线上的产品剔出到废品收集箱或另外的传送带。这种系统 往往采用气压作为动力，在控制器通过通信接口接收控制指令后完成对气流控 制器进行控制。这种剔出方式的特点是：结构简单，占用空间小，击出动作平 滑连贯，但是易击出撞翻产品。 2 、旋转式 此剔出系统是利用两个星形轮完成产品的给进或剔除。传送带将产品传送 到星轮时，若检测为不良品，通过气动吸取装置时，将其吸入到齿轮中；当旋 转到不良产品到小良品回收传送带时，该齿轮问的吸力将会减小，将不台格品 释放至不良品传送带，从而实现次品剔出。这种剔出系统的特点是分离精度高， 安全性非常高，可实现次品的分数回收，但是结构复杂，可移植性差。这种装 置主要应用在国外许多= 型生产线上，如图22 4 所示。 3 、摆动式 此剔出系统通过摆臂来改变产品运行的生产线轨道，调整产品的运行方向， 从而实现不台格产品的剔出。该摇摆动作主要由伺服电机控制。特点是：安全 性高，易于移植、击出稳定性较好，但是机构设计复杂，如图22 5 。 围2 2 3 击出式剔除系统图22 4 旋转式剔除系统蚓22 5 摆动式剔除系统 226 输液可见异物检测系统电气自动控制系统设计 根据图像处理模块的不同，输液可见异物检测系统电气控制系统口j 以分为 以下三种结构i 刖i - o l ： i 基于p c 机的输液中可见异物榆测系统的电气控制系统 武汉理t 大学硕士毕业论文 这种电气系统由传送带运行模块，视觉模块，和执行击出模块组成。我们 将采用这种电气控制系统为我们所设计的电气控制系统。 传送带运行模块主要由导入轮盘、主轮盘、导出轮盘、p l c 和一组位置传 感器构成。导入轮盘是一个进瓶轮盘，作用是引入溶液瓶、调整瓶间距离和改 变瓶子运方向。为了使溶液瓶能平稳的过渡到主轮盘，主轮盘与导入轮盘以切 线式衔接。主轮盘的作用是采集待检测溶液的序列图像，因此可以把主轮盘划 分为四个区域：高速旋转区、低速旋转区、急停区和检测完成区。在主轮盘的 工作流程为：输液瓶从导入轮盘以切线方式