【毕业学位论文】基于机器视觉的绣布针孔定位与跟踪

分类号 2 学校代码 10495 号 09151304武汉纺织大学武汉纺织大学武汉纺织大学武汉纺织大学硕士学位论硕士学位论硕士学位论硕士学位论文文文文基于机器视觉的绣布针孔定位与跟踪基于机器视觉的绣布针孔定位与跟踪基于机器视觉的绣布针孔定位与跟踪基于机器视觉的绣布针孔定位与跟踪作者姓名：作者姓名：作者姓名：作者姓名：吴雷吴雷吴雷吴雷指导教师：指导教师：指导教师：指导教师：吴世林吴世林吴世林吴世林副教授副教授副教授副教授学科门类：学科门类：学科门类：学科门类：工学工学工学工学专专专专业：业：业：业：机械电子工程机械电子工程机械电子工程机械电子工程研究方向：研究方向：研究方向：研究方向：智能结构与控制智能结构与控制智能结构与控制智能结构与控制完成日期：完成日期：完成日期：完成日期：郑 重声 明 ： 所 呈交 的学 位论 文 ， 是 本人 在导 师的 指导 下 ， 独 立进 行研 究工 作所 取得 的成 果 。除 文中 已经 注明 引用 的内 容外 ，本 论文 不包 含任 何其 他个 人或 集体 已经 发表 或撰 写过 的作 品成 果。对 本文 的研 究作 出重 要贡 献的 个人 和集 体， 均已 在文 中以 明确 方式 标明 。本 人完 全意 识到 本声 明的法 律结 果由 本人 承担 。学 位论 文作 者签 名： 签 字日 期： 年 月 日学位论文版权使用授权书本 学位 论文 作者 完全 了解武汉纺织大学武汉纺织大学武汉纺织大学武汉纺织大学有 关保 留 、 使 用学 位论 文的 规定 。 特 授权武汉纺织大武汉纺织大武汉纺织大武汉纺织大学学学学可 以 将 学 位 论 文 的 全 部 或 部 分 内 容 编 入 有 关 数 据 库 进 行 检 索 ， 并 采 用 影 印 、 缩 印 或 扫 描 等 复 制手 段保 存、 汇编 以供 查阅 和借 阅。 同意 学校 向国 家有 关部 门或 机构 送交 论文 的复 印件 和磁 盘。（ 保密 的学 位论 文在 解密 后适 用本 授权 说明 ） 学 位论 文作 者签 名： 导 师签 名：签 字日 期： 年 月 日 签 字日 期： 年 月 日论文题目：基于机器视觉的绣布针孔定位与跟踪 专业：机械电子工程 硕士生：吴雷 指导老师：吴世林摘要 由于纺织行业是传统劳动密集型产业 ， 产品附加值低 ， 因此要想提高纺织产品的附加值，就需要不断改进新的工艺和开发出更多新的技术来生产出更有市场竞争力的产 品 。 结合当前流行的装饰产品十字绣的广阔市场应用前景和十字绣产品的工业化生产技术的缺乏，本文以十字绣产品的自动化生产为出发点，以十字绣机器人为研究平台 ， 以完成十字绣的双面绣制工艺为目的 ， 以机器视觉技术为基础 ， 对十字绣机器人绣制全过程的针孔智能识别定位与跟踪进行了研究。 本文中对绣布针孔定位与跟踪的研究 ， 主要围绕针孔目标定位和针孔运动目标跟踪这两个方面展开 ， 并对十字绣机器人平台的整体构架和机器视觉在针孔定位与跟踪上的系统原理与实现进行了具体介绍。在机器视觉的应用中，以 过对图像的预处理 、 图像的分析 、 以及目标针孔特征分析等过程 ， 来完成对绣布针孔目标的定位与跟踪。在图像预处理 、 图像分析以及图像特征提取过程中 ， 通过对各种不同的图像处理方法进行比较 ， 对各种图像分析方法进行试验 ， 来提取图像中的目标特征 。 并根据不同的处理和分析方法的结果，确定了适合于绣布针孔目标的综合解决方法。 本文结合空间点定位原理实现了对十字绣绣布和绣针的空间坐标转换和目标提取 ，并对这个过程进行了详细的介绍 。 然后通过空间转换的后续处理工作 ， 分别对绣针目标和绣孔目标的中心进行了详细的提取 ， 从而完成了对针孔目标的定位 。 同时 ， 通过对不同的目标检测方法的对比 ， 确定了适用于十字绣机器人的针孔目标综合检测方法 。 并对不同的目标跟踪算法进行了详细的分析 ， 对相关的算法进行了有效的改进 ， 使系统能够快速准确的实现对针孔目标的跟踪。 最后 ， 给出了绣布针孔目标的定位与跟踪处理结果 ， 并分析了计算结果与绣布实际运动位置之间的关系。关键词： 机器视觉；图像处理；目标分析；针孔定位；目标跟踪研究类型： 应用研究：im e, K ：m ：1绪论 .课题研究的应用背景 .目标定位与跟踪技术的研究现状 .针孔定位与跟踪的研究方法与存在的问题 .本文的主要研究内容与章节安排 .系统分析 .系统结构设计 .本章小结 .计算机视觉库 .图像信息的获取 .图像噪声的消除 .图像的增强 .本章小结 .机器视觉中空间点定位的原理 .针孔目标特征的提取 .针孔目标的定位 .本章小结 .运动目标的检测方法 .针孔目标的跟踪策略 .运动目标跟踪算法 .针孔目标的跟踪分析 .本文的研究结果总结 . . . 从改革开放开始 ， 我国的纺织产品的国际竞争力明显增强 。 目前 ， 我国纺织行业的竞争力主要体现在成本优势上 ， 具备竞争优势的产品以中低档次为主 。 但是随着劳动力成本的不断上升 、 资源环境的投入不断加大 、 国际贸易等制约因素的影响 ， 行业结构性矛盾逐渐突出 ， 利润空间也有大幅度缩水 。 众多因素使的国内的纺织行业传统竞争优势逐步减弱 。 为保持我国纺织行业的可持续发展 ， 必须要加快纺织行业的结构性调整 ， 提高劳动生产率 ， 提升产品的质量 ， 改进生产加工的工艺和技术，提升产品的综合竞争力。全球人口迅速增长已经是一个不可避免的大趋势 ， 这给纺织行业的发展提出了更高的要求 。 而纺织品又是最基础的必需物质之一 ， 涉及到工业生产与经济贸易的各个领域 ，因此必须创新 ， 只有通过创新才可以突破纺织行业当前的困境 ， 才可能在全球范围内建立起更加广阔的市场和更加开阔的领域。 而在纺织行业中，十字绣作为传统刺绣绣制方法的一种，广泛用于 服装、服饰 、 佩饰 、 饰品 、 日用品及家居装饰 中 。 如图 由于十字绣自身双面绣制工艺的特点 ，可以绣制出有良好观赏效果的十字绣作品 。 在我国许多少数民族的日常生活中 ， 一直以来就普遍存在着自制的十字绣的工艺品。由于各国文化的不尽相同，随着时间的推移 ，十字绣在各国的发展也都形成了各自不同的风格 ， 绣线 、 面料颜色 、 材质 、 图案 ， 都 各有特色 。(a)十 字绣 花纹 (b)十 字绣 装饰 品图 绣 作品(a)b)字绣产业长期是以手工为主生产的刺绣作品，虽然绣制成品外观精美 、 观1绪 论2赏性好 、 装饰性强 ， 其效率始终不能得到有效的提高 。 为了找到新的利润增长点 ， 在市场竞争中占据主导地位 ， 必然要进行科技创新转型 。 科技转型就要求企业加大新产品的研发和投入 ， 根据市场需求生产那些更符合消费者需求的产品 ， 从而有效避开同质化产品带来的惨烈的低价竞争 ， 确保足够的利润空间 。 因此 ， 十字绣产业必然要进行机械化生产，这也为新型纺织产业的革新提供了科技改革的方向和动力。在十字绣机械化生产过程中 ， 由于十字绣自身的双面进针和十字绣布面由网孔组成的特点 ， 绣针与绣孔的无缝对接是将十字绣产品机械化的一个关键技术 。 因此研究绣布的针孔定位技术与针孔实时跟踪技术是当前十字绣机械化产业领域的研究热点 。 下面我们先来了解一下针孔定位与跟踪技术的研究状况。 50年代开始产生的 。 1973年英 国 人工智能实验室创建了研究小组 ， 从事视觉理论的研究 。 1977年提出了 理论在 20世纪 80年代成为了机器视觉研究领域中十分重要的理论框架。一层次是计算理论 ， 这个层次主要是为了解决计算策略和计算目的问题 ； 第二层次是表达与算法 ， 主要是输入 、 输出相关的信息进行表达 ， 并提出可实现的算法 ； 第三层次是硬件层次 ， 主要构建相应的硬件系统对算法进行实现 1。 到 80年代中期 ， 主动视觉理论框架 、目标识别理论框架等新方法、新理论已经成形，并有系统而详细的论述 2 1980年，自动目标识别工作组 (立。它是由美国国防预研局 (联合军种委员会 (C)发起的，主要负责图像数据的标准化，成为了许多国际性刊物和专家、学者学术交流的重要园地 5。 90年代以后，机器视觉已经开始广泛应用在工业领域当中 。机器视觉技术就是为实现机器对目标的主动识别而搭建的一个视觉系统 ， 使其可以自由灵活地对周围的环境进行应对 ， 实现机器的智能化工作 。 机器视觉技术已成为世界各国高科技技术领域的一个十分重要的研究课题 ， 它将改变传统的工业生产状况 ， 为移动机器人 、 探测机器人 、 抓取机器人 、 焊接机器人 、 装配机器人等解决视觉信息问题提供技术支持 ， 对人类的物质生活和工业生产活动将产生深远的影响 。 由于图像采集和图像处理的硬件设备性能不断改善，研究人员对机器视觉理论的不断改进，在图像处理 、图像分析 、 图像恢复方面出现了许多新的算法 ， 使得机器视觉技术的完善和发展有了很大的提高。 我国真正开始对机器视觉的研究是在改革开放之后 ， 并且在机器视觉领域迅速追赶国际水平 。 改革开放后 ， 由于缺少限定性的产品质量标准 ， 往往产品合格与否是通过人工检测的，这就是造成产品质量不稳定的原因之一，因而给企业带造成很大的被动 。 这些因素正好给机器视觉在工业生产中的应用带来了良好的市场前景 ， 并为机器视觉技术1绪 论3的推广与发展带来了良好的机遇 。 目前 ， 我国的机器视觉研究工作已经开展多年 ， 在成像校正 、 导航系统 、 医学诊断 、 工业生产 、 自动测量 、 图像分析 、 人机交互 、 路况识别 、车辆记录、农业生产、灾害求援等方面也取得了较大的成果。 由清华大学徐光佑教授领导研制的基于 ， 把机器人视觉技术与 动生成了视觉系统模型和识别定位策略 6。火星 863计划课题 “ 人体三维尺寸的非接触测量 ” ，通过采用双摄像头来获取图像信息 ， 然后进行图像数据处理 ， 这种双目视觉测量方法不但得到了服装设计时所需的人体特征尺寸，而且对于人体的任意一点都可以进行三维坐标的提取7。随着图像设备的不断完善 ， 计算机图像处理技术的不断提高 ， 机器视觉领域的图像定位技术也有很大的改善 ， 已经从对静态图像的目标识别研究过渡到对动态图像的运动目标定位与跟踪上 8由于现代制造业的快速发展 ， 用户对产品的精密程度和质量的要求越来越高 ， 传统的定位方法已经不能满足用户的需求 ， 因此 ， 便相继引进机器视觉技术 来进行目标的定位和目标跟踪 。 目前在工业生产领域里应用较多的机器视觉系统 ， 一般是通过提取几何特征 、 进行统计分类或模板匹配来解决二维物体的识别 、 分类 、 定位 、 跟踪等视觉任务的问题 12。目标定位技术是 机器视觉技术具备定位功能 ， 能够 根据外部配置环境和设定的参照物 自动判断 目标 物体的位置 ， 并将 目标 位置 的 信息通过一定的协议输出 。 目标跟踪技术是机器视觉技术具备跟踪功能 ， 能够根据运动目标的物理尺寸 、 坐标中心和运动情况等特征，综合运用图像处理技术，智能识别等来完成对目标识别与跟踪。 华中科技大学的彭刚等人提出了一种基于超声测距和视觉引导的手眼机器人系统成功的实现了对运动的目标抓取并跟踪13。北京航空航天大学的孟偲等人提出了一种基于手眼视觉的测量与定位的方法 ， 此方法可以用来判断在目标物体能否抓取未知的情况 ， 这种方法可以对目标物体进行先验假设，避免重复搜索 14。1997年，美国研制了视觉监控系统 它主要是通过获取摄像头的图像数据 ， 用三帧图像的时间差分法来实现检测运动目标的目的，并综合采用了模板匹配和色彩匹配来实现对目标的分类和识别 15。 它通过检测帧间图像的变化来确定运动物体，使用一阶预测和最近邻匹配技术来跟踪运动目标 16。4在上一节中，详细叙述了目标定位与跟踪技术国内外的研究现状以及各种理论框架 、 研究方法和实用技术 。 针孔定位与跟踪的研究是属于目标定位与跟踪技术的一个具体对象。 对于目标的描述，通常 是 用目标连通区域的像素数目的多少来表达目标的大小 ， 或者用目标区域的高宽比等 。 对于十字绣来说 ， 对针孔目标的描述 ， 就是将针孔目标描述为下针点固定（即针目标为静态目标点 ） ，十字绣布网格的中心为孔目标点（即孔目标为动态目标点 ） 。针孔目标的定位与跟踪主要包含 5个阶段：图像预处理、目标检测、目标点提取、目标识别、目标跟踪 (如图 。图 像 预 处 理 目 标 检 测 目 标 点 提 取 目 标 识 别 目 标 跟 踪 图 定 位与 跟踪 主要目的是消除图像中无关的信息，恢复有用的真实信息 ，增强有关信息的可检测性和最大限度地简化数据 ， 从而改进特征抽取 、 图像分割 、 匹配和识别的可靠性。 在图像预处理阶段， 预处理过程一般有数字化、几何变换、归一化 、平滑、复原和增强等步骤。 目标 点 提取是指单幅图像或序列图像中将感兴趣的目标与背景分割开来 ， 从图像中识别和解译有意义的物体实体而提取不同的图像特征的操作 。 目前 ， 目标 点 提取的方法主要有 ： 基于参数度量的特征提取 ； 基于非参量度量的特征提取 ； 基于 波变换特征提取等。 目标识别是指一个 特殊 目标 （ 或一种类型的目标 ） 从其它目标 （ 或其它类型的目标 ）中被区分出来的过程 。 它既包括两个非常相似 目标 的识别 ， 也包括一种 类型 的目标同其他类型目标的识别。 其主要步骤为： (1)从 目标场景中寻找 已知目标的提取特征 ； (2)建立已知目标的特征 数据库 ； (3)通过实时信号 处理器 提取未知目标的特征 ； (4)将这些特征同数据库的特征进行比较并作出 决策 。目标跟踪 分为两种情况 ： 一是静态背景下的目标跟踪 ； 二是动态背景下的目标跟踪 。静态背景下的目标跟踪 通常采用背景差分法 ， 即先对背景 信息 进行 数学 建模 ， 然后从视频流中读取图像（称之为前景图像 ） ，将前景图像与背景图像做差，就可以得到进入视野的目标物体 。 动态背景下的目标跟踪由于背景的不确定性 ， 会使得所采集的图像时 时可能 在变化 ， 对于整个目标跟踪过程来说 ， 背景是变化 的 ， 目标也是运动的 ， 所以跟踪起来较有难度。 在十字绣绣布的针孔定位与跟踪的实际研究环境中 ， 由于所处的实际处理环境的不同 ， 会受到来自各方面因素的影响 。 这些因素会不同程度地影响针孔目标的定位与跟踪1绪 论5的准确性和稳定性 ， 对系统在不同环境下的适应性也提出了很大的挑战 。 对针孔目标定位与跟踪方面存在的困难主要体现在程序的实现上 。 光照变化 、 背景的稳定程度 、 动态目标运动 的复杂性 、 图像数据的特殊性 、 动态目标与静态目标的相互干扰 、 目标与背景颜色相似等都会 给运动目标所在视频中进行目标跟踪带来难度 ， 会 增加目标 定位 与跟踪算法设计的难度。我们可具体来看一下影响 针孔定位与跟踪技术 的几个方面：（ 1）光照变化： 光照变化引起目标颜色与背景颜色的变化，可能造成虚假检测与错误跟踪 。 采用不同的色彩 通道单独计算 可以减轻光照变化对算法的影响 ， 但是却无法完全消除光照变化因素的影响，而且也会大大增加算法的复杂度。 （ 2）背景变化：当 目标与背景颜色相似时会影响目标 定位 与跟踪的效果； 静态 目标 的 阴影 和遮挡 通常 会 被检测为 背景前景的孔目标 ， 这给运动目标的分割与特征提取带来困难。 （ 3） 随机特征 ： 在一部分情况下 ， 背景中不可避免的会出现一些随机的特征信息 。比如 ， 当十字绣机器人工作时绣线出现在背景中的情况 ， 系统可能将绣线的运动当成运动目标进行处理，这样就增加了运动的网孔目标的定位与跟踪难度。 （ 4） 目标特征 选取： 图像序列中包含大量可用于目标 定位与 跟踪的特征信息，如目标的运动 方向 、 目标的 边缘 和 纹理 、 颜色 变化 等 。 在特征选取中难点是如何 选取合适的特征信息 作为特征信息以 保证 目标定位与 跟踪的 准确性 。（ 5） 遮挡问题 ： 遮挡是 指 运动目标 在某一些情况下 被部分 物体或者阴影挡住 ， 或者 是 静态 目标 和动态目标 相互遮挡 的情况 ， 这时可能会 造成目标 的一部分 信息 丢失 ， 影响 目标定位与 跟踪的稳定性 和处理的实时性 。（ 6）系统的 实时性与健壮性 ： 图像序列 中 包含大量 的特征 信息，要保证目标 定位的精度与目标 跟踪的实时性要求 ， 必须选择计算量小的算法 。 健壮性是目标 定位与 跟踪的另一个重要性能 ， 提高算法的健壮性就是要使算法对光照变化 、 复杂 变化 和遮挡等情况有较强的适应 能力 ，而这又要以复杂的运算为代价。 介绍了机器视觉的技术及其应用优势 ， 并说明了十字绣机器人的系统组成和工作原理 。 重点讨论了针孔目标的定位与跟踪的相关算法，包括图像预处理，基于边缘检测的图像二值化 ， 图像变换 ， 感兴趣区域 （ 的提取等 。 针孔目标的定位方面 ， 研究了静态背景下常用的目标检测算法 。 针孔目标跟踪方面主要研究了常用的跟踪算法和基于匹配的目标跟踪算法，并且针对跟踪算法中存在的问题提出了有效的改进算法。1绪 论6本文结合运动目标定位与跟踪在十字绣机器人方面的应用，给出了系统设计流程 ，并使用 给出了程序代码及实验结果，完成了十字绣机器人针孔定位与跟踪的核心功能。 章的主要内容安排如下：第一章为绪论 ， 从纺织行业的产品创新和工艺改进方面出发 ， 引出了本课题的研究背景 。 并阐述了当前运动目标定位与跟踪技术领域的研究现状 ， 以及针孔定位与跟踪研究的方法与存在的问题，明确了课题研究的内容和研究的意义。 第二章为绣布针孔定位与跟踪系统构建 ， 结合十字绣的具体绣制工艺和特征 ， 阐述了十字绣机器人系统的原理以及系统组成 ， 并对十字绣机器人的绣制过程进行了分析并对各项指标和参数进行了初步的设计 ， 同时也给出了一个完整的系统结构和系统模块的组成。 第三章为目标图像的预处理，介绍了十字绣机器人进行绣制之前的提取图像信息 、提取绣布网孔信息 、 分析绣制路径 、 确定绣制色块区域等准备工作 ， 同时详细描述了图像滤波 、 图像增强 、 图像形态学处理等图像预处理的一些方法 ， 并对相关的分析流程进行了详细的描述，给出了相关的计算公式。 第四章为针孔目标的定位分析 ， 通过空间点定位原理 ， 结合十字绣绣布和绣针的特征 ， 对十字绣绣布和绣针的空间坐标转换和目标提取 ， 并对这些过程进行了详细的介绍 ，给出了具体的流程 。 并分别对绣针目标和绣孔目标的中心进