（控制理论与控制工程专业论文）多传感器融合智能检测机器人的研究及应用.pdf

硕士学位论文 摘要 视觉是人类最完善的感知系统之一，而模拟视觉的机器视觉也是人工智能领 域中最活跃的分支之一。多传感器融合智能检测机器人是以机器视觉技术为基础， 光机电一体化的智能检测设备。目前，我国机器视觉技术的研究和应用仍处于初 级阶段与发达国家相比还有不小的差距。对多传感器融合智能检测机器人的研 究不仅符合市场对此类大型智能检测设备的需求，也有利于促进机器视觉技术的 研究和应用。 本文在研究国内外相关资料的基础上，提出了一种多传感器融合智能检测机 器人的总体设计方案，并详细介绍了各部分的结构和功能。该多传感器智能检测 机器人的电气控制系统采用了分层控制体系，主控计算机负责管理和通讯，而p l c 负责底层控制。同时为了能在高速流水生产线上平稳分离物品，还研制了一种新 型击出器。该击出器采用了阶梯式击打的方法。即使击出对象在高速运动中也不 易翻倒。 本文重点论述了多传感器融合智能检测机器人中的机器视觉系统的设计。具 体讨论了摄像机和图像采集卡的选择原则，并确定了智能检测机器人的摄像机和 图像采集卡。光源及照明方案对机器视觉系统具有重要意义本文根据实际的需 求设计了系统的照明方案，保证了机器视觉系统获取图像的质量。本文还讨论了 如何进行机器视觉系统的软件开发的问题。 多传感器融合智能检测机器人具有瓶身检测、瓶口检测、瓶底检测和液位检 测等检测功能。为了实现这些功能，针对实际检测的特点，在分析检测对象的基 础上，提出了一套实用的检测算法。经过运行表明，在多传感器智能检测机器人 上使用这些检测算法，检测速度可达1 0 瓶秒，平均检测的准确率超过9 5 。 根据本文研究的各项内容，已经研制成了试验样机，并在样机上对本文所述 的理论和算法进行了大量的实验，证明了设计和研究结果的有效性，为今后的进 一步研究和开发打下了良好的基础。 关键词：机器视觉，智能检测，图像处理，人工智能，工业检测机器人 多传感器融合智能检测机器人的研究及虑用 a b s t r a c t v i s i o ni so n eo ft h em o s tp e r f e c ts e n s a t i o ns y s t e m so fh u m a n ，a n dt h em a c h i n e v i s i o n ，w h i c hc a ns i m u l a t eh u m a n sv i s i o n ，i sa l s oo n eo ft h em o s ta c t i v eb r a n c h e si n t h ed o m a i no fa r t i f i c i a li n t e l l i g e n c e t h em u l t i s e n s o rf u s i o ni n t e l l i g e n t i n s p e c t o rb a s e d o nm a c h i n ev i s i o nt e c h n o l o g yi st h ei n t e l l i g e n t i n s p e c t i o ne q u i p m e n ti n t e g r a t e do f o p t i c a l ，m e c h a n i c a la n de l e c t r o n i cf u n c t i o n s a tp r e s e n t ，t h er e s e a r c ha n da p p l i c a t i o n o fm a c h i n ev i s i o nt e c h n o l o g yi ss t i l li ni t si n i t i a l s t a g ei nc h i n a ；c o m p a r e dw i t ht h e d e v e l o p e dc o u n t r yi t a l s oh a sm u c h d i s p a r i t y s t u d y i n gt h ei n t e l l i g e n ti n s p e c t o rb a s e d o nm u l t i s e n s o rf u s i o nn o t o n l yc o n f o r m s t ot h em a r k e td e m a n do ft h i s k i n do f l a r g e t y p ei n t e l l i g e n c ei n s p e c t o r ，b u ta l s o i s a d v a n t a g e o u st o t h ep r o m o t i o no ft h e r e s e a r c ha n da p p l i c a t i o no ft h em a c h i n ev i s i o nt e c h n o l o g y b a s e do nt h es t u d i e so ft h er e l a t e dd a t af r o ma th o m ea n da b r o a d ，t h i sa r t i c l e p r e s e n t s t h es y s t e md e s i g np l a nf o rt h ei n t e l l i g e n t i n s p e c t o rb a s e do nm u l t i s e n s o r f u s i o n ，a n di nd e t a i li n t r o d u c e st h es t r u c t u r e sa n dt h ef u n c t i o no fe a c hp a r t m u l t i 1 a y e r c o n t r 0 1s y s t e mi su s e di nt h ee l e c t r i cc o n t r o ls y s t e mo ft h ei n t e l l i g e n ti n s p e c t o rb a s e d o nm u l t i - s e n s o rf u s i o n t h eh o s tc o m p u t e ri sr e s p o n s i b l ef o rh i g h e rl a y e rm a n a g e m e n t a n dc o m m u n i c a t i o n ，w h i l ep l ci s r e s p o n s i b l ef o r l o w e rl a y e rc o n t r 0 1 i no r d e rt o s e p a r a t eg o o d sf r o m t h eh i g h s p e e dp r o d u c t i o nl i n es t e a d i l y ，o n ek i n do fn e w e j e c t o ri s d e v e l o p e d t h ee j e c t o ra d o p t st h em e t h o dt h a th i t sg o o d sw i t hal a d d e r t y p es t r o k e t h u s ，t h ee j e c t e do b j e c ti sn o te a s yt ot u r no v e re v e ni fi ti so nt h eh i g h s p e e d m o v e m e n t t h i sa r t i c l ee m p h a s i z e so ne l a b o r a t i n gt h ed e s i g no ft h em a c h i n ev i s i o ns y s t e mi n t h e i n t e l l i g e n ti n s p e c t o rb a s e do nm u l t i - s e n s o rf u s i o n s p e c i f i c a l l y i td i s c u s s e st h e s e l e c t i o np r i n c i p l eo ft h ec a m e r aa n dt h ei m a g e c a p t u r ec a r d ，a n dd e t e r m i n e st h eu s eo f i n t e l l i g e n c ei n s p e c t o r sc a m e r a sa n di m a g ec a p t u r ec a r d s i n c et h el i g h ts o u r c ea n dt h e i l l u m i n a t i o np l a ni so fav i t a l s i g n i f i c a n c et o t h em a c h i n ev i s i o ns y s t e m t h i sa r t i c l e d e s i g n st h es y s t e mi l l u m i n a t i o np l a na c c o r d i n gt o t h ea c t u a ld e m a n d s t h u se n s u r i n g t h ei m a g eq u a l i t yg a i n e db yt h em a c h i n ev i s i o ns y s t e m t h i st e x th a sa l s od i s c u s s e d h o wt oc a r r yo nt h es o f t w a r ed e v e l o p m e n to ft h em a c h i n ev i s i o ns y s t e m t h e i n t e l l i g e n ti n s p e c t o r b a s e do nm u l t i - s e n s o rf u s i o nh a st h ee x a m i n a t i o n f u n c t i o n sf o rb o t t l eb o d y ，t h eb o t t l em o u t h ，t h eb o t t l eb o t t o ma n df l u i dp o s i t i o n t o a c h i e v et h e s ef u n c t i o n s ，w i t ht h ec o n s i d e r a t i o no ft h ea c t u a li n s p e c t i o nf e a t u r e s ，t h i s a r t i c l e p u t s f o r w a r dt oas e to fp r a c t i c a le x a m i n a t i o na l g o r i t h m so nt h eb a s i so f a n a l y z i n gi n s p e c t e dt a r g e t s t h eo p e r a t i o ni n d i c a t e st h a t b yu s i n gt h e s ee x a m i n a t i o n a l g o r i t h m si nt h ei n t e l l i g e n ti n s p e c t o rb a s e do nm u l t i s e n s o rf u s i o n t h ee x a m i n a t i o n s p e e d c a nr e a c h10b o t t l e s s e c o n d ，a n dt h ea v e r a g ee x a m i n a t i o na c c u r a t er a t es u r p a s s e s 9 5 a c c o r d i n gt os t u d i e si nt h i sa r t i c l e ，t h ee x p e r i m e n t a le q u i p m e n th a sa l r e a d yb e e n d e v e l o p e d t h et h e o r ya n d t h ea l g o r i t h m ss t a t e di nt h i sa r t i c l eh a v eb e e np u ti n t ou s e o nt h em a s s i v ee x p e r i m e n t so nt h ei n s p e c t o r t h er e s u l t so ft h e e x p e r i m e n t sh a v e p r o v e nt h ev a l i d i t yo f t h ed e s i g na n dt h ef i n d i n g s s o ，i th a sl a i dag o o df o u n d a t i o nf o r f o r t h e rr e s e a r c ha n d d e v e l o p m e n ti nt h ef u t u r e k e y w o r d s ：m a c h i n e v i s i o n ，i n t e l l i g e n ti n s p e c t ，i m a g ep r o c e s s i n g ，a r t i f i c i a l i n t e l l i g e n c e ，i n d u s t r i a lr o b o t 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取 得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其 他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果 由本人承担。 作者签名：粥懈日期：伽吁年2 月降e l 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学 校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查 阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编入有关 数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位 论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“4 ”) 作者签 导师签 日期：知砰年 月怦e 1 日期：，。衅年甥降日 赫 ”啊1n 名名 、j 硕士学位论文 第1 章绪论 1 1 机器视觉的概念及发展 人类可以通过视觉感知外界信息。俗话说“百闻不如一见”，就是说视觉感知 环境信息的效率很高。人类感知外界信息，8 0 以上是通过视觉得到的。正因为 如此，视觉处理在人们的生产和生活中具有重要的地位，这些视觉的应用涉及到 各种各样的基于人类视觉的检查、测量、识别和控制的需求。例如，生产流水线 上零配件的测量。产品包装印刷的检测，半导体芯片封装检测，电子设备生产中 电子元件定位，机器人导航、图像监控、医学影像处理等。这些应用以前往往仅 依靠人工来完成，它不仅仅增加了人工和管理的成本，同时由于人的眼睛容易疲 劳而且不稳定，无法保证检测的高质量。在另一方面。随着现代化大生产的发展， 对检测的质量和速度提出了更高的要求，由于人眼的精度、速度上的限制，许多 工作无法由人工来完成。随着生产力和科技水平的不断发展，让计算机或机器人 具有视觉，成了人类多年以来的梦想。虽然，目前我们还不能让计算机也具有像 生物那样高效、灵活的视觉，但这种希望正在逐步实现i l 。】。 人类是通过限睛与大脑来获取、处理与理解视觉信息的。周围环境中的物体 在可见光的照射下，在人眼的视网膜上形成图像，由感光细胞转换成神经脉冲信 号，经神经纤维传入大脑皮层进行处理与理解。视觉，不仅指对光信号的感受， 还包括了对视觉信息的获取、传输、处理、存储与理解的全过程。计算机出现以 后，人们试图用摄像机获取环境图像并将其转换成数字信号，用计算机实现对视 觉信息处理的全过程，这样，就形成了一门新兴的学科一计算机视觉。 计算机视觉是建立在图像处理、模式识别、人工智能和视觉计算技术的基础 上的一门前沿交叉学科【4 1 。从广义上来说，机器视觉和计算机视觉是统一的，泛指 使用计算机和数字图像处理等技术达到对客观事物图像的识别、理解和控制，它 们的主要目标都是从图像中恢复出一个场景的有用信息，所以有人认为计算机视 觉就是机器视觉。计算机视觉的发展经过了以下几个不同的阶段。 计算机视觉技术的研究在丌始阶段，基本上是基于二维的。采用的也多数是 模式识别的方法完成分类工作。r o b e r s 首先成功地对三维积木世界进行了解释【5j ， 其后，h u f f m a n 、c l o w e s 以及w a l t z 等人对积木世界进行了进一步地研究并分别解 决了由线段解释景物和处理阴影问题i s - 7 1 。这系列的对积木世界的研究工作对机 器视觉的研究发展起了促进作用，但对稍微复杂的景物却难以奏效。 到了2 0 世纪7 0 年代中期，以m a r t 、b a r r o w 和t e n e b a u m 等人为代表的一些 研究者提出了一整套视觉计算的理论来描述视觉过程，其核心是从图像恢复物体 多传感器融合智能检测机器人的研究及席埘 的三维形状。其中，以m a r r 的理论影响最为深远。在其理论中注重表示的重要性 和从不同层次上去研究信息处理问题，在计算理论和算法实现上又特别强调计算 理论的重要性峭j 。这些理论多数是建立在对人类感知三维信息分析的基础上，尽管 这些方法在数学上是可行的，但由于各种干扰的存在以及逆成像等问题，使得问 题的解会不唯一或依赖于初始条件。 进入2 0 世纪8 0 年代后期，随着移动机器人等问题的研究，计算机视觉与之 密切结合，因而大量应用空间几何以及物理知识来研究计算机视觉。在这时期 的研究中，引入了主动视觉的研究方法，并采用了距离传感器以及引入多传感器 融合技术，神经网络技术等新的方法和手段，从而使计算机视觉技术获得迅速发 展，并有力地促进了相关的应用。 计算机视觉是对人类视觉能力的模拟。为了达到这个目标，人们从不同的方 向对此展开了研究。这些研究包括从心理、生理上去进行分析、对比，利用各种 数学手段从控制论、信号处理等的角度上在计算机上进行模拟。由此可知计算机 视觉与许多不同的领域都有着密切的联系。尽管视觉的目的不仅仅是要识别出物 体的形状和类别，但实际上对高等动物的视觉系统而吉，识别却是极其重要的， 同时计算机视觉处理的原始信息又多是图像，j 下是由于这些特点，这一领域又和 图像处理、模式识别等有着十分密切的联系。图像处理的目的是对输入的原始图 像通过处理得到改善的新图像。这种改善是指增强某些人们关心的部分。在这一 意义下，图像处理的内容涉及图像的变换、分割、增强以及压缩等内容，这里的 处理是纯数学意义上的处理，一般而言不包括任何形式的反馈。换句话说，这其 中不需要任何形式的智能行为。模式识别研究的是分类问题，其输入应当是被分 类对象的特征属性，输出是被分类对象的所属类别。在模式识别领域中统计方法 和句法方法是两种主流的方法。统计模式识别是基于概率和统计理论发展起来的。 句法方法则是建立在形式语言理论的基础之上的。相对于上述两种较为成熟的方 法而言。近年来发展起来的基于神经网络的方法则要年轻得多，这种方法无论是 在生理、心理背景还是数学基础上都有待进一步完善。处理视觉问题时巨大的计 算量是不容忽视的问题，持别是在处理实时计算时更是如此。解决这一问题可以 从两方面入手，一是从算法上改进，降低算法的复杂性。其次就是从计算机上入 手，提高共性能。性能当然可以随着通用计算机能力的提高而改进，但是针对特 殊问题如特定的数据结构、公用的算法，在系统结构上加以改进也是重要的措施 之一，这就要求从计算机体系结构上加以支持。因此专用计算机体系结构的研究 也是计算机视觉很值得考虑的问题之一。计算机视觉和其他相关学科的关系可用 图1 1 描述i l 一1 。 硕士学位论文 计算机视觉 ， 一。一- 一一一丁一一i 一一一一t 、一 j 一，一- l 一一，l 一一一一一l 一一 生理学：；物理信号妊理。数学 。概率统计? 高等数学j 线性系统。 髓机过程 。 ；高番亢荷；? i 磋在；磊! 图1 1 计算机视觉与其他学科的关系 随着计算机视觉的不断发展，开始将其逐步运用到实际的生产和生活中。这 就产生了工程中常说的机器视觉。这种机器视觉是计算机视觉与机械、控制、电 子、光学、光源照明等技术交叉融合而产生的综合技术。在上世纪7 0 年代早期开 始，机器视觉进入了实际应用。许多先行者开始使用这些技术来解决工程实际中 的问题，但是由于当时计算机计算能力的不足和高昂的价格使其很难广泛地进行 商业推广。随着计算机技术的进步和机器视觉理论研究的深入，机器视觉技术也 获得了很大的发展。到了1 9 9 9 年，全球机器视觉行业的产值达到了创纪录的5 0 亿美元，而且年增长率高达2 0 ，其发展前景被广泛看好1 9 】。 机器视觉主要研究用计算机来模拟人的视觉功能从客观事物的图像中提取信 息，进行处理并加以理解，最终用于实际检测、测量和控制。一个典型的工业机 器视觉应用系统包括光源、光学系统、图像捕捉系统、图像数字化横袄、数字图 像处理模块，智能判断决策模块和机械控制执行模块。首先采用c c d 摄像机或其 它图像拍摄装簧将目标转换成图像信号，然后转变成数字化信号传送给专用的图 像处理系统，根据像素分布、亮度和颜色等信息，进行一系列处理，由决策模块 作出判断结果。相对于计算机视觉，工程上的机器视觉具有以下特点 卅i j ： ( 1 ) 相对来说，机器视觉更是一项综合技术，其中包括数字图像处理技术、 机械工程技术、控制技术、电光源照明技术。光学成傈技术、传感器技术、模拟 与数字视频技术，计算机软硬件技术，人机接口技术等。这些技术在机器视觉中 是并列关系，这些技术相互协调应用才能构成一个成功的工业机器视觉应用系统。 ( 2 ) 机器视觉更强调实用性，要求能够适应工业生产中恶劣的环境，要有合 理的性能价格比，要有通用的工业接臼，能够由普通工人来操作，有较高的容错 能力有较高的安全性，不会破坏工业产品，还必须有较强的通用性和可移植性。 ( 3 ) 对机器视觉工程师来说，不光要具有研究数学理论和编制计算机软件的 能力，更需要的是光、机、电体化的综合能力。 ( 4 ) 机器视觉更强调实时性，要求高速度和高糖度，因而计算机视觉和数字 图像处理技术中的许多技术目前还难以应用于机器视觉，它们在理论上的发展速 多传感器融合智能检测机器人的研究及应用 度远远超过其在工业生产中的实际应用速度。 1 2 机器视觉的应用 机器视觉已经在各个不同行业得到了广泛的应用，有力地促进了生产的发展 和人们生活素质的提高，而且随着机器视觉技术的进一步发展，对这些行业会有 更大的影响。 1 2 1 机器视觉在生产中的应用 机器视觉技术已经很成功地应用到许多生产的检测过程中，这使得工业生产 中的质量控制更快速、更准确，有效地提高了产品质量。而且随着现代工业生产 中对产品检测要求进一步提高，希望能对生产线上的每个产品都进行检测，机 器视觉检测将会变得越来越重要。机器视觉在工业生产中的应用一般包括以下几 个方面：产品的质量检测：校准或控制制造过程：优化原材料的使用。通过这些 应用，替代了工人的重复工作，增加了生产的可靠性，并提供给消费者更安全和 更令人放心的产品。 图1 2 机器视觉在工业中的应用 例如在包装印刷品生产中，使用机器视觉系统利用图像差分，数学形态学 等方法对印刷品的缺陷进行实时的在线检测和识别【l2 1 。在对汽车仪表板检测中， 运用小波分析、图像几何特征分析的手段对摄像机获取的图像进行处理从而确定 仪表板的质量，有效提高了检测速度和精度【1 3 】。在集成电路生产中，键合区及键 合点的检验是保证可靠性的关键之一，但是一般方法很难对此进行精确检验，使 用机器视觉系统，对键合区及键合点的图像进行分割和形状分析，可以进行准确 的检n t l 引。 在木材加工过程中，传统上是使用人工检测并放置木材，然后进行加工。但 实际上很少有人会有时间和兴趣仔细地检测每根本材。于是一种自动检测和控制 加工木材的系统就被发展出来了。该系统是一个高精度、高速度的实时机器视觉 系统。机器视觉系统采集和处理木材信息，并根据这些信息控制锯木机的工作， 完成对木材的加工p j 。 集成电路产业是整个电子产业的重要基础之一，在近几年来获得了很大的发 硕士学位论文 展。其中集成电路质量检测是个比较难解决的问题。现在人们利用机器视觉技术 对集成电路进行检测，能很好的解决此问题。例如可以使用灰度关联分析来检测 集成电路。首先通过灰度法则确定所选择特征的灰度关联度。然后在集成电路鉴 别过程中，先旋转和分割图像。在使用阈值化和细化方法来减少处理的复杂度并 从分割后的图像中提取特征。最后用灰度关联方法来检测【”】。 在对水果品质的检测时，也可以采用特制的多谱段摄像机和并行处理系统来 构建实时检测系统，然后利用该系统对水果的尺寸、颜色和缺陷进行在线检测【m 】。 1 2 2 机器视觉在医学上的应用 在应用机器视觉技术处理医学图像时，主要关注其可视性，信息的量化以及 人类和动物解剖图像的解释。医学图像通常非常复杂，可视性很差，依赖于人们 的主观解释。而机器视觉可以用来分析医学图像，例如x 光片核磁共振扫描图 像等，这样就可以提高医生的工作效率。机器视觉使临床医生能获得三维的可视 化信息，进行三维结构分析、三维或二维的图像配准，处理可视化的对象等能力。 同时有助于提高医学中测量和估计中的客观性，结果的可重复性和最后决定的可 信度。 图i g 机器视觉在医学中应用 例如，x 射线反映的是骨骼组织，核磁共振影像反映的是有机组织图像，而 医生往往需要考虑骨骼与有机组织的关系，因而需要利用数字图像处理技术将两 种图像适当地叠加起来，以便于医学分析1 1 7 j 。 还可以用机器视觉技术来进行细胞个数统计。细胞个数统计对于人们来说，是 一项既枯燥又费时的工作，而且如果细胞个数很多的话准确性也难以保证。使用 计算机，利用数字图像的边缘提取与图像分割技术，自动完成细胞个数的统计， 节省了人力，提高了效率l l “。 1 2 - 3 机器视觉在监控中的应用 在监控系统中经常要使用大量的图像信息，特别是从闭路电视系统的摄像机 上获取的图像。但是这些图像往往质量很差，解释起来很困难。机器视觉技术为 增强图像的质量、解释发生的事件、以及监视复杂场景提供了方法。例如跟踪特 定的人，人的面部识别，闯入者的监视等等【l9 1 。总之，机器视觉使监控系统具有 多传感器融合智能检测机器人的研究及应用 了以下能力：跟踪特定的人或对象；识别或核对特别的和一般的对象：辨别姿势、 动作和行为等。这样可以为人们提供更安全的环境，效果更好的监视系统，并且 有利于降低犯罪率。 图i 4 机器视觉在监控中的应用 例如，人们可以利用t v 摄像机来组成一个监视系统，该系统可以寻找检测 监控场景，测量对象角度信息，并自动跟踪选定的目标。这样的监控系统可以有 效地提高监控的成效【”】。 有的监控系统中利用遗传算法的最佳熵闽值法进行图像分割，分割后提取可 疑区域，再运用人工智能中的基于缺省规则推理对可疑区域进行分别处理。这样 系统可以运用于非法入侵对象识别和火灾识别，并能将报警信号和可疑区域图像 通过网络传送到报警中心拉”。 人脸识别对安全监控有着重要意义。某些人脸识别系统使用双属性图来表示 人脸图像。首先利用逐步求精定位法得到人脸图像各局部特征点的位鬣，图中每 个特征点由两个特征属性来描述，即局部主成分特征系数和g a b o r 变换特征系数， 从而构造了双属性图。然后对双属性图用匹配函数、匹配算法以及相应的识别方 法进行识别1 2 2 1 。 i 1 2 4 机器视觉技术在娱乐产业中的应用 休闲和娱乐产业是一项正在高速增长的新兴产业，同时也对人们的生活产生 了重大影响。其中的高清晰度电视、数字广播、卡通以及可视电话等都是建立在 图像处理技术的基础上的。机器视觉技术使得这些应用变成可能，也使其能让人 负担得起。机器视觉技术可以让人们使用通过图像内容来检索图像数据库或视频 库；提供图像压缩的效率；创建具有多视角的场景；生产对象的真实模型。这样 的话，使得娱乐产业能达到画面更真实。价格更低廉和让人们可以更广泛地参与 的目标。 例如。在家庭娱乐f 在从二维图像向三维图像的方向发展，但是其中的一个 问题便是三维节目源的缺乏。但在另一方面多年来已经积累了大量的二维图像的 节目。于是人们提出了一种基于机器视觉技术的方法，把这些二维节目转化为三 维的。首先从一幅静念图像中生成一个深度图，然后使用“套索”工具把对象从 6 硕士学位论文 图像中分割出来，再将对象的轮廓转化为一系列的贝塞尔曲线点，最后把一个深 度图艺术地分配给目标，并为对象加上合适的阴影。这样就把二维图像转化为成 三维的。有了这种方法，几乎可以给家庭娱乐提供无限的三维节目源【2 3 l 。 图1 5 机器视觉在娱乐中的应用 在直接制作三维娱乐节目时，机器视觉技术也发挥了重要的作用。像在运用 左右两个摄像机拍摄了以后，可以通过重构来得到高质量的三维画面。j a n u s z 就 探讨了在三维娱乐应用中的重构算法的问n t 2 4 1 。 1 3 前景展望 无论从理论的完善程度还是从系统的经济成本考虑，目前机器视觉的应用主要 局限于二维图像的处理与识别，三维视觉的应用还很有限，但随着视觉计算理论 进一步完善与计算机的性能价格比的快速增长三维视觉将有极其广阔的应用前 景。机器视觉的应用领域也在不断扩大，在初始阶段机器视觉主要是应用在工 业生产中，用于对生产对象的位置、形状和品质等进行检测。到了上世纪8 0 年代， 在办公自动化领域开始大量应用机器视觉技术，文档识别、多媒体系统以及条码 识别等都是机器视觉的成功应用。从9 0 年代开始，机器视觉技术的应用更加广泛。 身份辨别、行为分析、符号语言理解以及人机交互等方面成为机器视觉技术重点 研究的对象，同时在医疗、娱乐、通讯、环境保护等越来越多的领域使用机器视 觉来替代人工以提高效率。其中动态视频处理是今后机器视觉研究中重点方向之 一。动态图像处理，主要是实时地分析或综合处理视频图像，是机器视觉中的关 键技术之一。可以运用该技术通过寻找连续图像帧中的差异来分割场景，以及对 监控视频进行分析，发现异常事件等等【2 “。 更快、更便宜、更准确、更可靠，这些都是人们对机器视觉系统的要求。这 些要求之间某种程度上存在着矛盾之处，但随着现代技术的不断发展，已经有可 能较为统地达到这些要求。机器视觉系统的硬件在不断发展，其中智能摄像机 或视觉传感器引起了很多的关注。视觉传感器是近几年来出现的一种新型的机器 视觉系统，它具有智能化、一体化的特点，具有广阔的发展前景。几种视觉传感 器实物如图1 6 t 9 , 2 6 2 。 多传感器融合智能检测机器人的研究及应辟j a ) s i m a t i cv s710b ) c o g n e xi n s i g h t4 0 0 0 图1 6 视觉传感器实物 视觉传感器是将图像处理器、数字摄像机、i o 接口等集成到一个机箱内，并 提供通用及专用的通信接口与其他处理器相连。它将p c 的灵活性、p l c 的可靠性、 分布式网络技术、以及一体化设计结合在一起。能够高效便捷的组成机器视觉系 统。同时视觉传感器还提供了配合使用的专用软件，具备一些基本的图像处理功 能。使用这些软件，可以在比较短的时间内开发出所需要的机器视觉系统软件来， 大大简化了机器视觉系统的丌发难度缩短了丌发的周期。不过视觉传感器也存 在着一些问题，由于其是高度集成的，在系统配备的灵活性上必然有定的欠缺。 同时在丌发软件时主要是在其专用软件的基础上迸行功能的组合，虽然也有部 分高端型号提供了二次开发的工具，但在丌发时还是存在一些限制，不具有完全 的开放性。正因为上述原因。在某些特定条件下，使用视觉传感器还有一定的困 难。总的来说，视觉传感器作为新型的机器视觉产品，代表了今后机器视觉技术 的重要发展方向，使得构建及其视觉系统更加容易，有力地促进了机器视觉系统 的推广应用。 机器视觉系统也正在向网络化的方向发展，使其可以通过网络同多种不周系统 相互联系并共享信息，大大加强了机器视觉系统与其他系统仂、同工作的能力。而 且统购使用厨络可以实现远程的控制和捡测。现在已经出现了基于w e b 的机器视 觉系统。 当然机器视觉的广泛应用目前还匾临一些困难，需要进一步努力加以解决。 一方面，由于对人脑与人的视觉系统缺乏深入的理解，也由于目前的计算机体系 结构与人的神经网络的巨大差异，在构造计算机视觉系统时不可避免地存在过分 的简化；另一方面，运动场景的信息量极其巨大，人的视网膜上约有1 2 6 亿个感 光细胞，也就是说，双眼感受的运动图像的信息量约为3 0 0 0 m b 以上，远远超出 目前一般计算机的处理能力因此，研究针对特定任务的简化的视觉系统是应用 的关键。总之随着认知神经科学、视觉计算理论等基础科学的发展，随着计算机 的性能价格比的不断提高，随着各种应用场合对机器视觉的需求不断增长以及机 器视觉技术研究的深入，机器视觉将得到极广泛的应用，成为2 l 世纪高科技发展 中的重要组成部分。 8 硕士学位论文 1 4 论文研究的背景和创新点 目前，国内外啤酒生产厂家大都使用可以回收再次使用的啤酒瓶。这些回收 的啤酒瓶由于在运输、使用过程中难免要受到污染和损坏，因而必须经过清洗、 检测等工序，才能进入饮料灌装工序。为了保证进入灌装工序的啤酒瓶的质量， 对经过洗瓶机清洗以后的啤酒瓶进行全面的检测是非常重要的一道工序。回收的 啤酒瓶经过清洗以后，可能出现以下不符合啤酒生产要求的情况：瓶口破损： 瓶身、瓶底破损；瓶身、瓶底内壁存在固体异物；瓶内存在残留液。这些 情况会导致啤酒瓶封装失败或封装存在隐患，严重影响啤酒质量，导致次品出现。 对于凡出现上述情况之一或同时几种情况的啤酒瓶，必须将其从流水生产线上剔 除。以往，这一工作大都有人工来完成，但是人工效率低、速度慢、精度低、漏 检率高、检测人员很容易疲劳，而使用基于机器视觉技术的空瓶检测机器人具有 速度快、精度高的特点，是提高生产效率，解放人力的高科技手段。其检测速度 通常在2 0 0 0 0 瓶d , 时以上，快的可达7 2 0 0 0 瓶4 , 时，远远超过人工检测速度。在 现代化的高速饮料生产线上，智能空瓶检测机器人是不可缺少的高新技术设备之 一，是机器视觉技术的集中体现，有着极高的科技含量和技术难度。 据统计，1 9 9 9 年我国啤酒产量首次超过了2 0 0 0 万吨达到了2 0 8 8 万吨，2 0 0 1 年已上升到了2 3 0 0 万吨，2 0 0 2 超过美国成为世界啤酒生产的第一大国，2 0 0 3 年 产量更达到了2 5 0 0 万吨，稳居世界第一。如此巨大的市场需求促使啤酒生产和包 装设备的迅速发展。但资料表明，我国目前啤酒成套装备的整体水平落后于国外 1 0 一2 0 年，一些关键技术设备部件还有2 0 一3 0 需要进口，特别是基于机器视 觉检测技术的智能空瓶检测机器人的研究与开发几乎还是一片空白。 智能检测机器人是机器视觉技术在工业高速检测中的典型应用。机器视觉技术 在国外发达国家已被广泛应用于国民生产、生活的各个领域。而德国在智能空瓶 检测机器人研制开发与生产方面走在了世界前列。以德国克朗斯、海富公司为代 表的大型企业，从二十世纪九十年代初开始了空瓶检测设备的研制，目前其技术 己非常成熟。从机械传送系统到图像检测都达到了很高的水平，其系列产品己广 泛应用到世界各国的瓶装饮料生产线上。近来国外逐步利用最新的信息处理技术， 包括神经网络运算芯片，d s p 处理器，先进的l e d 光源和直线伺服电机来完善该 类设备并利用最新的数字图像处理理论不断完善检测算法，提高系统的检测速 度与检测精度。 相比之下我国在该领域的研究与开发起步较晚。近些年才开始了对工业机器视 觉技术的研究，现大多停留在理论研究和小型应用系统的开发上，而对于智能空 瓶检测机器人这类大型的集光、机、电、控制、图像检测于一体的综合型设备的 研制几乎是空白。目前仅有广州大元、北京四通和北京赛格力公司等在该领域进 多传感器融合智能检测机器入的研究及虑_ j 行了探索性研究，但并没有系统地逐个攻破各项关键技术，大多停留在做国外产 品的系统集成上，没有从根本上获得对该项设备的所有知识产权，这就使得国产 设备无法与国外同类设备相比，也就无法占有足够的市场份额，处于完全的被动 劣势。 在中国加入w t o 以后，中国饮料机械与电气设备市场必然受到国外大企业的 强有力的冲击。所以，丌发具有自主知识产权的智能空瓶检测机器人是自动化大 生产的需要，是市场的需要，也是瓤时代我们国人的需要。智能空瓶检测机器人 将是我国饮料生产行业特别是啤酒行业近期机电设备建设的重点之。 本论文对机器视鲎检测技术进行了深入研究，在此的基础上开发了多传感器 智能融合检测机器人。该机器人可以实现对空瓶的智能检测，并可进一步推广应 用于其它领域。论文的主要创新点如下： 1 研究和设计了多传感器智能检测机器人，可以用于对空瓶进行全面检测， 也能对透明瓶内的液体体积进行检测。 2 提出和丌发了用于多传感器智能检测机器人的高速度、高精度、高可靠性 的实时智能检测与控制软件。 3 丌发了多传感器智能检测机器人电气控制系统，采用分层控制结构，由计 算机负责管理和通讯，由p l c 负责底层控制。 4 设计丌发了高速、高可靠性的空瓶同步传送系统和高速次瓶击出器，解决 了高速流水生产线上如何安全稳定地分离不同物品的问题，使检测机器人可以有 效地按要求剔除检测不合格的产品。 5 提出了一种基于模糊神经网络的智能决策算法使用此算法对空瓶进行检 测，其检测准确率可以达到9 6 以上。 论文的基本结构安排为：第l 章绪论，主要介绍及其视觉的基本概念、应用， 以及论文的研究背景和主要内容；第2 章多传感器融合智能检测机器人系统，主 要论述系统的基本结构以及各组成部分的功能、实现方法等；第3 章多传感器融 合智能检测机器人的机器视觉系统设计，主要讨论了机器视觉的各项关键技术与 在智能检测机器人中的实现；第4 章多传感器融合智能检测机器入的检测算法和 软件丌发，主要论述了现实安各项检测功能的算法，以及在此基础上丌发的检测 软件；最后在结论部分总结了论文的主要工作和创新点，并提出了对今后进一步 工作的意见。 - 1 0 - 硕士学位论文 第2 章多传感器融合智能检测机器人系统 2 1 概述 多传感器融合智能检测机器人是在巨大的市场需求和机器视觉技术的飞速发 展情况下诞生的，具有高速度、高精度、高度自动化的特点，成为了当今高速自 动化流水生产线上的重要设备之一。它是集光、机、电、多传感器、计算机、数 字图像处理和机器视觉技术为一体的综合性高科技设备，其机械传动、电控、多 视觉传感器检测部分必须互相协调工作，共同构成一个有机的整体，有着很高的 科技含量和技术难度。 图2 1 多传感器融合智能检测机器人试验样机 该设备及其相关技术可广泛应用到流水生产线上的各种罐装瓶检测、包装检 测、饮料质检、灌装液位检测、仪表校准，药品检测、半导体芯片检测等。尤其 在高速啤酒流水生产线上，多传感器融合智能检测机器人已成为不可缺少的高新 技术设备之一，能对空瓶的瓶口、瓶身、瓶底、瓶内残留液进行全面、自动的检 测，其检测速度通常在2 0 0 0 0 瓶小时以上，快的可达7 2 0 0 0 瓶d , 时，远远超过 人工检测速度，而且能够识别出非常细小的污点或瓶子玻璃的破损( 8 趴靠凳辇嚣潴辫舁秽 g 譬嚣落薯嚣船 鲁甚慧莲盒盖警跺滗 参 出位首光i u 传盛器发出情墨y 、 毁h 动件命令龄一h m 辨 、 竺! 图2 1 4p l c 控制击出器示意图 p l c 控制击出器的程序流程图如图2 1 4 。其中使用多个计数器是考虑到：在不 合格空瓶从检测位置移动到击出位置这段时闽中，有可能又检测出其他不合格空 瓶，计数器的数量应为从检测位置到击出位疑问最多可能存在的空瓶数。其中距 离计数器的计数值d 为事先测好的值d 减去移动半个瓶身时编码器输出的脉冲数 d 。而窗口计数器的计数值定则为移动整个瓶身时编码器输出的脉冲数a 这样做 2 7 多传感器融合智能检测机器人的研究及应用 是因为空瓶在传送带运动过程中，可能在传送带上发生一些相对位移，导致实际 移动的距离和传送带移动的距离并不相同。当在窗口计数器计数过程中，有空瓶 经过击出器旁的光电传感器，光电传感器发出触发信号时，p l c 就可以认为不合格 空瓶已达到击出位置，发出击出器动作命令。 2 6 击出器 2 6 1 概述 在多传感器融合智能检测机器人中，对检测不合格的产品，需要在检测机器 人的出口处将其从传送带上分离出来，并被收集到一个特定区域或被送入另外的 传送线。在多传感器融合智能检测机器人中设计了一个击出器来自动完成这工 作。 该装置能够按照给定的控制指令，通过击出面与物品发生碰撞，从而将传送 带上位于击出面f 前方的被传送的物品从传送带上迅速、准确、可靠地击出来， 送入另外的传送线或送入一个特定的收集台。图2 15 是击出器的功能方框图。 图2 15 击出器功能方框图 其中控制器通过通信接口接收控制指令，并负责完成对驱动部件的运动控制。 使用气缸作为驱