【毕业学位论文】（Word原稿）基于VisionHawk智能相机的流水号自动检测系统的设计与实现-软件工程

硕士学位论文 （专业学位） 基于 能相机的流水号自动检测系统的设计与实现 姓 名：彭虎臣 学 号： 721170904 所在院系：同济大学软件学院 职业类型：软件工程 专业领域：软件工程 指导教师：罗怡桂 副指导教师：何锫 二 一三年五月 A in 2013 721170904 f n 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和电 子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名： 年 月 日 同济大学学位论文原创性声明 本人 郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。 学位论文作者签名： 年 月 日同济大学 硕士学位论文 摘要 I 摘要 随着现代科学 技术的发展，人们生活水平和质量不断提高。生产流水线的出现使得生产制造的效率有了翻倍甚至数量级的提高，高速的生产要求检测速度相应加快 ,这给传统的人工检测方式提出巨大的挑战。利用智能相机与 由于视觉检测设备性能的飞速发展 ,使得其在流水线上检测的精度、实时性能够得到保证。本论文实现了基于 觉处理系统上，针对流水号检测中人工检测容易出现的漏号错号重号问题，设计了流水号自动检 测系统，提高了了检测的智能化与自动化。利用传感器，电子报警系统及 文的具体工作如下： 机，传感器，先达智能系统计并完成流水号检测系统。系统完全自动化，替代人工检测并在出现错误的时候报警停机。 软件输出系统进行稳定性和正确性理论分析与实际测试，对于替代人工合理性和高效性进行了分析。 关键词 ：智能相机， 检测系统，感应器， 别，流水号检测I of s to of of an of of to a to of C or to is a of in to of be s to of of is to a C. of is as 1. on PC is to in of an 3 of to of 硕士学位论文 目录 录 第 1 章 引言 . 1 述 . 1 能相机与视觉系统国内外现状 . 3 能相机国内外现状 . 3 觉系统介绍与国内外现状 . 6 题的主要研究意义 . 6 文的主要内容 . 7 章总结 . 7 第 2 章 系统需求分析 . 8 统 功能描述 . 8 统 功能结构图 . 9 计 目标 . 10 章小结 . 11 第 3 章 检测系统设计 . 12 备 管理子系统设计 . 13 备 选型 及 介绍 . 13 备的 连接 . 16 备 管理 子 系统 软件 设计 . 19 报 管理子系统设计 . 20 关硬件 介绍 . 21 块 设计 . 21 据 管理子系统设计 . 22 据 输 入与输出 . 23 据流程 . 23 块设计 . 24 时监测系统设计 . 24 时监测 流程 . 24 同济大学 硕士学位论文 目录 模块设计 . 25 统可 靠性 与实时性 分析 . 25 件 系统 可靠性分析 . 26 件模块可靠性分析 . 26 件模块实时性分析 . 27 件模块实时性分析 . 28 章小结 . 29 第 4 章 检测系统实现 . 30 件实现 使用 工具 介绍 . 30 具介绍 . 31 发平台概述 . 31 据库 介绍 . 31 测系统软件架构实现设计 . 32 备 管理子系统实现 . 34 测设备 模块实现 . 34 备 连接 模块实现 . 35 报管理 子系统实现 . 39 脑声卡 发声实现 . 39 接报警、 灯控报警 以及 设备启停实现 . 40 据 管理子系统实现 . 42 时数据 显示模块实现 . 42 史 数据管理模块实现 . 43 置数据 保存模块实现 . 44 时 监测子系统实现 . 45 机 拍照与 块实现 . 45 件检测模块实现 . 45 户交互模块实现 . 46 息 显示 模块实现 . 46 章小结 . 47 第 5 章 系统测试 . 48 试环境 的准备 . 48 同济大学 硕士学位论文 目录 V 觉检测系统软件测试 . 49 统测试问题 与预防 . 50 感器测试问题预防 . 50 能相机测试问题 预防 . 51 章小结 . 51 第 6 章 结论与展望 . 52 论 . 52 一步工作的方向 . 52 致谢 . 53 参考文献 . 54 附录 A 流水号判定算法 . 56 附录 B 件关键设置代码 . 57 个人简历、在读期间发表的学术论文与研究成果 . 59 第 1 章 引言 1 第 1 章 引言 述 80 年代以来，随着计算机技术、超大规模集成电路技术、人工智能技术以及知识工程等科学的飞速发展，各国投入了大量的人力和物力积极开展智能机器人的研究工作。智能机器人的智能特征在于它具有与外部世界 对象、环境和人有相互协调的能力。视觉给人类提供了超过 70%的需要的信息，人类正常的生活和工作，因此有了必要的保障。计算机视觉对技能机器人来 说，同样至关重要。因此机器人视觉技术以及成为高科技技术领域的一个重要研究课题并引起可广泛关注。 随着信号处理理论和计算机技术的发展，人们试图用摄像机获取环境图像并将其转换成数字信号，用计算机实现对视觉信息处理的全过程，这就是计算机视觉。计算机视觉的研究目标是使计算机具有通过一幅或多幅图像认知周围环境信息的能力。这使计算机不仅能模拟人眼的功能，而且更重要的是使计算机完成人眼所不能胜任的工作。计算机视觉是采用图像处理、模式识别、人工智能技术相结合的手段，着重于一幅图像或多幅图像的计算机分析。图像可以由单个或者多个传感器获取，也可以是单个传感器在不同时刻获取的图像序列：分析是对目标物体的识别，确定目标物体的位置和姿态，对三维景物进行符号描述和解释。 机器视觉则是建立在计算机视觉理论的基础上，偏重于计算机视觉技术工程化，与计算机视觉研究的视觉模式识别、视觉理解等内容不同，机器视觉重点在于感知环境中物体的形状、位置、姿态、运动等集合信息。机器视觉能共自动获取和分析特定的图像，以控制相应的行为。 具体的说，计算机视觉为机器视觉提供图像和景物分析理论及算法基础，机器视觉为计算机视觉的实现提供传感器模型、系统构造和实现手段。 因此可以认为，一个机器视觉系统就是一个能自动获取一幅或多幅目标物体图像，对所获取的图像进行分析、测量、处理，并对测量结果做出定性分析和定量解释，从而获得有关目标物体的某种认识并作出相应决策的系统。 机器视觉主要研究用计算机来模拟人的视觉功能从客观事物的图像中提取信息，进行处理并加以理解，最终用于实际检测、测量和控制。一个典型的机器视觉应用系统包括光源、光学系统、图像捕捉系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块，如下图所示： 第 1 章 引言 2 图 型机器视觉应用系统 光学成像系统和 图像捕捉系统的任务可以由视觉传感器来完成，它也是整个机器视觉系统信息的直接来源，主要功能是获取足够的机器视觉系统要处理的原始图像。视觉传感器可以使用激光扫描器、线阵或者面阵 像机或者 像机，也可以是最新出现的数字摄像机等。图像的采集和数字化一般由数据采集卡来完成，主要是实时的将视觉传感器获取到的模拟图像信号转化成数字图像信号，并将图像直接传送至计算机进行显示和处理，或者将数字图像直接传送给专门的图像处理系统进行视觉信号的实时前端处理。智能处理与决策由计算机来完成，最终完成对目标物体的控制或者输出需 要知道的信息。 生产流水线的出现，使得生产制造的效率有了翻倍甚至数量级的提高。高速的生产要求检测速度相应加快并且保证检查质量 ,这给传统的人工检测方式提出巨大的挑战。利用智能相机单独实现或者与 同实现视觉系统自动化进行质量检测，是一种新兴的检测手段。由于视觉检测设备性能的飞速发展 ,使得其在流水线上检测的精度、实时性能够得到保证。专注于智能相机的 司生产的 能相机产品经历了多代发展，其附带的 觉处理系统越来越智能。在智能视觉检测系统出现之前，流水线 品质检测都是由人工来完成的。人工检测由于人本身的原因，比如人容易疲劳犯困，不能和机器一样 24 小时工作，导致人工检查容易出现种种问题，比如印刷系统中，所印刷的流水号用人工检查会出现漏号错号重号。为了解决流水线中人工检测本身会出现的种种问题，以及人工检测速度不能跟上流水线，需要实现检测系统机器化，智能化与自动化 ,提高生产效率。实现一个完全自动的检测系统来代替人工检测，是当前社会正在进行的工作 。 现在的 智能化检测系统， 某些方面 性能 已经 达到 并且超过 人工检查效率 ，在慢慢替代人工所做的检测工作 。 我们 的 目标 是完成一个流水 线 视觉自动检测系统， 替代人工 检查 ，效果需要达到并且 超过 人工 检测 。 在检测 系统中， 需要利用传感器，智能 相机， 报警器，于 境开发的视觉检测系统， 此 系统 搭建好 以后 完全自第 1 章 引言 3 动化，替代人工检测并在出现错误的时候报警停机。下面分别 介绍 智能 相机和视觉系统国内外现状。 能相机与视觉系统国内外现状 能相机国内外现状 智能相机 (不是一台简单的相机，而是一种高度集成化的微小型机器视觉系统。它将图像的采集、处理与通信功能集成于单一相机内，从而提供了具有 多功能、模块化、高可靠性、易于实现的机器视觉解决方案。同时，由于应用了最新的 智能化程度不断提高，可满足多种机器视觉的应用需求。 智能相机一般由图像采集单元、图像处理单元、图像处理软件、网络通信装置等构成，如附图所示，各部分的功能如下 : (1) 图像采集单元 在智能相机中，图像采集单元相当于普通意义上的 机和图像采集卡。它将光学图像转换为模拟 /数字图像，并输出至图像处理单元。 (2) 图像处理单元 图像处理单元类似于图像采集 /处理卡。它可对图像采集单元的图像数据进行实时的存储，并在图像处理软件的支持下进行图像处理。 (3) 图像处理软件 图像处理软件主要在图像处理单元硬件环境的支持下，完成图像处理功能。如几何边缘的提取、 度直方图、 单的定位和搜索等。在智能相机中，以上算法都封装成固定的模块，用户可直接应用而无需编程。 (4) 网络通信装置 网络通信装置的智能相机的重要组成部分，主要完成控制信息、图像数据的通信任务。智能相机一般均内置以太网通信装置，并支持多种标准网络和总线协议 ，从而使多台智能相机构成更大的机器视觉系统。 基于 视觉系统和基于智能相机的视觉系统，两者相比，智能相机的优势主要体现在集成和使用的方便易用上面。若构造一套基于 视觉系统，要选择摄像机、图像采集卡、计算机和相应的软件系统，要在计算机上安装采集卡驱动程序，在这个过程中，使用者要考虑到摄像机到采集卡的距离、采集卡是否支持和选定的摄像机、采集卡是否与计算机兼容等问题，所有这些对于一定经验的用户是个障碍。而一体化的智能相机则没有这个问题。使用者不需要懂得复杂的图像处理原理，不需要掌握 可以进 行操作。从而大大缩短第 1 章 引言 4 了系统研发的时间和对人员的要求。尤其是在工业应用场合，一些针对性强的功能单一、性价比高的智能相机是可能的，并且有着良好的市场前景。 智能相机与基于 （ 1） 体积比较。智能相机与普通相机体积相当，易于安装在生产线和各种设备上，所有安装和移动都比较容易。而基于 视觉系统相比较来说，结构就比较复杂。 （ 2） 硬件比较。智能相机集成了图像采集单元、图像处理单元、图像处理软件、网络通信装置等。经过可靠性设计，其效率和稳定性都比较高。但是由于硬件的电路已经固定不能再 修改，所以缺少灵活性。换系统必须整个更换；而基于 活性很大，有新需求可以添加部分设备来升级。 （ 3） 软件比较。智能相机作为一种能用的机器视觉产品，它主要解决的是工业领域上一些比较常见的常规的测量检测，部分图像识别检测。其中软件功能有一定的可用行，但是智能相机算法已经固化了成熟的视觉算法，用户只需按照智能相机的规定来编写部分操作代码就可以实现需要的功能，比如缺陷检测，边缘检测，灰度图，条码识别，数字识别等。而基于 视觉系统的软件，一般完全或者部分是用户开发，用户可以根据特定应用开发适合自己的算法 。由于软件研发水平和硬件规格的不同，不同用户开发的同一种应用系统的差别比较大。下表 C 的视觉系统和智能相机视觉系统的基本特性比较： 表 能相机与 觉系统的对比 基于 智能 相机 可靠性 有限 较好 体积 很大 微小 型、结构紧凑 网络 通信 有限 较好 设计 灵活性 很好 有限 功能 可 扩展 有限 软件 需要 编程 无需 编程 智能 相机作为一种低能耗，低成本，高性能的嵌入式系统， 广泛 应用于工业控制，智能交通，安全 门禁 等多个领域，是各个系统中监控的部分的核心部件。智 能相机 在汽车制造业 、 制药生产流程、 产品 包装 、 印刷行业质量检测、手机零件检测，机器人导航 等 各种工业检测应用非常广泛。 智能 相机是视觉设备发展方向之一，在检测精度、速度方面与 台 差距将会越来越小 。 其 发展 趋势是速度更高，性能更齐全，集成度更高，成本更低 ，软件易用性 ， 能用性和专业化程度更强。 目前国外 很多著名公司包括德国 国国家仪器公司等，都在推出应用于从包装检测系统、封装验证系统到读码系统的各种工业用第 1 章 引言 5 途的智能相机。 国内一些 公司如凌云公司，汉王科技也在智能相机方面 有部分研究。 市场上的智能相机主要来自于欧美，国内的智能相机也在蓬勃发展但是技术和实力相对较为薄弱。表 表 内外部分智能相机参数 公司 代表型号 处理器速度 传感器 分辨率 接口 1334M 52*480 010 2000M 00*600 300M 280*960 000M 024*768 恒图像 20M 52*480 产品，具有高功能的高速智能相机和嵌入式机器视觉微型系统，拥有视觉系统的全部功能的智能相机。 以 列不断拓展机器视觉的应用领域。定位并满足不同的应用需求，产品都配有 1320 微处理器， 128M 储器， 256储器，光电隔离 I/O (3 个输入， 3个输出， 1个脉冲光源输出 )， 时操作系统，以太网连接和全套的可随意搭配的软件工具。 20 具有 1320 微处理器及 像传感器，每秒 60帧全幅图像的采集速率。 000 是 置 视觉系统提供视觉工具、自动聚焦、更快的图像捕捉、集成照明和镜头以及外部照明供电和控制功能，集成的照明元件和镜头 000的视觉 工具包括 测量、定位和检测视 觉工具以及提供灵活的用户 编程 环境 得所有检测、缺陷检测、引导、校准和测量应用易于设置和部署。可实现最快的采集速度，每秒最多可捕捉 100 多张图像。高读取速率使用户即使在最快速的装瓶和制药生产线上也能进行可靠的检测。提供最广泛的内置通信协议，可以直接与视觉系统连接。小巧的 000 具有内置以太网、 行和多个离散型 I/O。系统可与几乎任何 机器人控制器直接通信，以及通过连接网络的 程管理多个智能相机，从而简化实施并降低费 用。 能相机是 供的产品。 作为灵活的工业智能相机应用范围广泛，特点包括：直观的视觉界面，集成光源、高分辨率光学变焦和简单的即插即用式连接。用于进行各类视觉检测、验证或自动识别应用。配套有功能强大的工具套件，可凭借视觉技术解决各类自动化难题。带有 利液体镜头自动对焦功能，能够 满足 视觉或条形码应用等 工业检测和应用中 ，汽车制造中 的 装配验证，零件识别；包装工业 中的 标签定位，内包装物验证；电子制造中 的 装配验证和识别和半导体行业 中的 包装和元件。 第 1 章 引言 6 机都是 国内 以 础的 ，采用嵌入式系统 ， 配备 有周边硬件和软件齐全。 京）有限公司作为中国的一家高科技创新型公司，其智能相机可广泛应用于航空航天、汽车制造、食品饮料、金属加工、印刷包装、邮政和包裹分类、机器人制造、集成电路片检查、颜色分析、橡胶 &轮胎及光学工业等众多领域和企业。大恒图像也 是国内图像识别公司， 其 能 相机 使用 理器，设备内部运行 作系统，基于 台下开发的标准 入 4出数字 I/O， 口， 用于工业检测、科学研究等领域的应用。 觉系统介绍与国内外现状 视觉系统有机器视觉和计算机视觉。 图用摄像机获取环境图像并将其转换成数字信号，用计算机实现对视觉信息处理。它能够拖过一幅或者多幅图像来认知周围环境信息，不仅能模拟人眼功能，而且能完成肉眼所不具备的且不能完成的工作。计算机 视觉着重图像的分析，图像可以从多方面获取，传感器可以配置不同多个。完成处理后用输出系统来输出需要做的事情。 机器视觉则主要是研究和模拟人的视觉功能。利用机器代替人眼来作各种测量和判断。它是计算机学科的一个重要分支，它综合了光学、机械、电子、计算机软硬件等方面的技术，涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。图像处理和模式识别等技术的快速发展，也大大地推动了机器视觉的发展。 题的主要研究意义 目前，视觉技术主要应用于以下两个方面： 装配，它能够让自动装配机械手识别源源不断来自传送带上的机械零件并确定该零件的空间位置，使用 制系统进行抓起装配，并且还可以对机械零件进行质量检测。 能够使用机器识别样品，保存符合规则的样品，在系统运行后对流水线中的物品质量进行检查，对不符合的物品进行剔除或者报警灯。 视觉系统在这两大方向的应用都能够实现当今生产制造业的自动化，很多人第 1 章 引言 7 工装配、人工质量检测中出现的错误能够避免，并且大大提高了生产制造的速度和效率。 文的主要内容 本论文主要做了如下工作： 水线系统流程基础 上， 建立了检测系统模型， 并使之加入流水线中进行检测并控制流水线系统的启停 与 错误警 报。 机，传感器，先达智能系统 统完全自动化，替代人工检测并在出现错误的时候报警停机。 软件输出系统进行稳定性和正确性理论分析与实际测试，对于替代人工合理性和高效性进行了分析。 章总结 本章首先简要概述了流水线作业以及其检测系统，然后总结 了视觉系统几十年的发展状况及当今国内外典型智能相机，说明了本论文研究实践的应用主要两个方向及其研究意义。最后提出作者主要做的大量工作。 第 2 章 系统需求分析 8 第 2 章 系统需求分析 在当今的大多数主流流水线作业系统中，最后一道工序是进行质量检测。这种以质量控制为核心的检测工作，在当今的实现方式有两种：第一种事普通的中小企业用的多的人工检测；另一种是一定规模为了提高效率而且有能力打造的自动检测系统。对流水线中生产出来的产品进行质量全检或者部分样品抽检中，人工检测作业有其固有的缺点，检测精度依赖于人的一些特点：比如人的仔细程度、健康 状况、睡眠情况等。鉴于人工检测中的种种不利于质量控制因素，以及人在工作中会产生疲劳的特点，我们设计了基于 能相机的自动化视觉检测系统，适用于大部分的中小企业以及大企业。系统能够代替人工针对流水线中的产品进行检测，而且其可 24 小时不间断工作。在检测中有问题可以 使用 报警系统 产生报警声 或者根据 设置让系统 停机。 统 功能描述 我们所需要实现的检测系统为流水号检测系统：系统运行在印刷工厂产品生产流水线上，主要功能是提供对印刷品中 流水号正误 的检测，对不良和有错误或者瑕疵的产品经行筛选，防止有错 误的产品出厂，提供产品质量的控制。 在视觉检测系统中，比较重要的重要有三个方面：一是设备的选型与合理搭配工作。二是软件系统的开发与协调工作。三是视觉检测算法。本论文中为了完成特定的功能，首先对国内外的智能相机机器协调工作的周边设备经行调研，选择合适的设备，适合大多数工厂和企业的需求。其次，按照软件工程项目管理的开发方法对软件开发进行开发管理以及部署。再者，软件算法部分采用厂家提供和自主开发相结合，提高检测效率和自动化效率。 设备选型需要注意几个问题：首先是适用人群和价格控制，其次设备间能够合理搭配与协调工作 ，再者软件在设备中充当中介者的设计以及和各个设备的连接。设备选型中，我们调研了国内外多款智能相机，比较了其价格，参数，适用范围，周边硬件连接配套设备，速度，可调节程度等，分别进行对比，选取了硬件软件搭配合适，价格对于我们的目标客户 大部分中小工厂和所有大工厂都适用。 软件系统开发，采用普通的软件开发的项目管理模式，从需求分析开始，到第 2 章 系统需求分析 9 概要设计，详细设计，然后对详细设计中的功能进行逐一的实现。最好进行测试和部署。虽然大部分环节还是按照这个流程，但是由于时间关系，部分模块功能并没有完全优化和模块化。 软件的算法 中， 包含在厂家提供的 发包中 ，而流水号检测筛选算法采用自主研发的基于设置来判定的算法。判定算法对普通数字加字符需要设定，进行了智能判定而且有漏号检测功能。用户需要针对自己特定的流水号进行设置来使用此软件进行流水号的检测。 统 功能结构图 本 流水号视觉检测 系统 主要功能有 四 大 子 系统模块 ，分别 为 实时监测子 系统，设备管理子系统， 警报 管理子系统， 数据 管理子系统。 如 下图所示 ：各 子系统 分别 包含多个模块来实现。 每个 模块功能分解 ， 互相能够调用。视觉系统对每个子模块进行管理和调用。 第 2 章 系统需求分析 10 图 2统 功能结构图 如 上图的系统 功能 结构中， 有 四个子系统，子系统下面有一些功能模块 。具体 软件开发中 子系统 的功能模块有可能被其它子系统调用。 比如实时 监测子系统就需要调用 其它 子系统的功能模块。 从 功能上来说，我们的流水号检测系统如上图所示。 计 目标 刷品 是否 合格 印刷品需要经过检测系统来验证是否合格。在经过检测系统之前，我们首先需要对印刷品部分需要检测的部分进行数据获取。这里我们获取进行识别的图像，主要是对进行检查的部分用智能相机进行拍照。对拍照出来的图像，传 输到去使用软件检测系统进行检测正误。智能相机对数据进行获取前，我们需第 2 章 系统需求分析 11 要安装好智能相机，传感器的位置，并让它们连接好。智能相机的主要工作是每次印刷品经过的时候进行拍照，而这个触发拍照的动作是需要传感器来做的。智能相机本身不能够识别印刷品是否经过，需要传感器连接智能相机，使用电路触发智能相机拍照获取需要检测的源图片。准备 好了这些过程，最后我们使用我们开发的软件系统来判断此次识别的流水号码是否正确。 工检测 该论文以实现一个基于 能相机的流水号视觉检测系统为最终开发目标，根据软 件系统开发与设计原理，以流水号检测效果和错误检测率与失误率的要求经行系统的测试。对视觉检测系统来说，错误识别率和错误检测率为其最主要的特点。本流水号系统，以针对大多数中小企业和工厂能够承受的价格控制范围内，让他们实现流水号视觉检测系统。智能检测与识别能够和人工识别想媲美，而且很多地方甚至