基于“一字”线结构光扫描的鞋底轨迹自动生成技术-新苗.doc

附件1项目编号：浙江省大学生科技创新项目申 报 书创新项目名称：基于“一字”线结构光扫描的鞋底轨迹自动生成技术 创新项目负责人： 学校名称： 浙江理工大学 申报日期： 2014年11月10日 项目类别：个人项目 团队项目浙江省大学生科技创新活动计划暨新苗人才计划实施办公室 制填写说明一、申报书要按照要求，逐项认真填写，填写内容必须实事求是，表达明确严谨。二、格式要求：申报书中各项内容以Word文档格式填写，表格中的字体为小四号仿宋体，1.5倍行距；表格空间不足的，可以扩展或另附纸张；均用A4纸双面打印，于左侧装订成册。三、申报书由所在学校领导审查、签署意见并加盖公章后，一式1份（均为原件），报送浙江省大学生科技创新活动计划暨新苗人才计划实施办公室。一、项目简介项目概况项目名称基于“一字”线结构光扫描的鞋底轨迹自动生成技术项目性质（）基础研究 （）应用基础研究项目来源（）自主立题 （）教师指导选题起止时间自2015年 1月 至 2016年1 月项目状况1、研发阶段 2中试阶段 3、批量（规模）生产（选项打）申请人姓名裘添烨性 别男出生年月1993年12月入学年月2012年9月所在院系启新学院联系电子信箱775266207项 目 组主要成员姓名年龄性 别专业具体分工黄中华20男机械电子工程数学分析王杰20男机械电子工程机器的搭建谢奇志22 男机械设计 程序的整理王军19 男机械电子工程 资料的整理项目指导教师姓名 武传宇性 别男 出生年月1976.02主要研究方向 机器人技术及智能农业装备近三年获奖成果：省部级一等奖一项近三年科研经费_120_万元，年均_40_万元项目主要内容简介鞋底胶粘工艺是指利用粘胶剂将鞋帮、内底、外底连接在一起的装配方法，我们团队的项目是研究鞋底涂胶中扫描曲线部分，就是把鞋底放置在传送带上，通过工业相机，一字线激光机，把涂胶轨迹输送到工业串联机器人中。 我们就是要把机构搭建起来，然后在计算机中选择好算法，这样就可以把鞋底的轨迹重现在电脑中。二、项目的研究目的及意义1、申请项目的必要性、目的及意义制鞋业是浙江省推进“机器换人”的重点行业。由于鞋产品款式规格变化太大，现阶段很难实现全面制鞋自动化。涂胶是制鞋过程中用工量最大、耗时最多，同时也是决定鞋质量的关键工序。实现涂胶作业的自动化是目前制鞋企业亟待解决的问题。本项目基于“一字”线结构光扫描的三维轨迹自动生成技术，并通过虚拟样机仿真和搭建轨迹自动生成平台开展相关试验研究，通过我们这项技术然后往后连接串联工业机器人，能较好地解决鞋底涂胶的自动化难题。项目的实施对于推进浙江省制鞋行业“机器换人”，实现企业转型升级，具有重要的现实意义。2、项目的背景、主要内容、技术水平及应用范围一 项目实施背景浙江省经济目前存在一系列结构性问题，即过多依赖低端产业、过多依赖低成本劳动力、过多依赖资源要素消耗、过多依赖传统市场和传统商业模式、过多依赖低小散企业。以制造业为例，2012年，浙江省制造业从业人员超过1500万，规模以上制造业劳动生产率约16万元/人年，仅为全国平均水平的三分之二，制造业平均工资也低于全国平均水平。为实现浙江省经济转型升级和结构调整，集约节约要素资源、优化劳动力结构、提高产品附加值和行业竞争力，2012年浙江省委、省政府作出“全面推进机器换人”的决策，鼓励支持企业用先进装备替代低端劳动力，进而提高企业的劳动生产率、产品质量和市场竞争力，实现以设备更新为载体的技术创新、工艺创新和管理创新，以机器红利替代人口红利。制鞋业是浙江省重要特色产业，近5年浙江省鞋产量约占全国鞋产量的50%。浙江省制鞋产业主要集聚与温州、温岭、丽水等地，总体自动化水平低，劳动生产率低下，工艺落后，是典型的劳动密集型产业，目前正面临严重的招工难、用工成本巨大的问题，迫切需要实行机器换人。以著名鞋企“意尔康”为例，其22条生产线上共有工人6900余名，以人均年薪4.5万计算，企业一年工资成本就有3.1亿左右，还未计入相关的管理、运行成本。然而，提升制鞋业整体自动化水平困难巨大，其根本原因在于：1.制鞋工艺十分复杂，一般皮质鞋生产过程包括三个主要流程：裁断、针车和成型。以成型作业流程为例，包含23道工序(如下图)。2.鞋类产品款式规格变化太快，一般主要产品款式生命期为一年，订单从几万双到几千双不等。款式规格的变化使得工艺流程、鞋的各部分零件的大小、形状均发生变化，相应的夹持、定位都需要变化调整，这对于自动化生产线的柔性和快速适应性要求很高，很难实现。鞋底胶粘工艺是指利用粘胶剂将鞋帮、内底、外底连接在一起的装配方法。目前采用胶粘工艺的鞋占总产量80%以上，涂胶是制鞋过程中用工量最大、耗时最多，同时也是决定鞋质量的关键工序。目前国内制鞋企业均采用手工操作或是手工半自动操作，劳动生产率低，质量不稳定，脱胶现象时有发生。为此，机器人自动涂胶系统是目前制鞋产业关注的重点，是实现“机器换人”的重要环节。二 轨迹自动生成技术国内外现状由于鞋类产品款式规格变化太快，机器人自动涂胶系统必须具有轨迹自动生成功能才能充分发挥其效用。根据提取的方式和应用对象的差异，生成的涂胶轨迹有二维平面曲线和三维空间曲线。深圳开发科技股份有限公司应用机器视觉采集鞋底图像得到鞋底点胶轨迹1。视觉采集包括自动模式和定位模式，自动模式直接识别鞋模图形，定位模式先扫描标准鞋模，再把扫描的图形存入标准库中。Dong-Soo Kwon等提出了一种根据鞋底轮廓线生成鞋底涂胶轨迹的方法2。方法中鞋底轮廓线可从相应的数据库中导入，或者由操作员直接输入。轨迹曲线是轮廓线在其主法线方向的一条偏置曲线，如图2所示。以上两种方法获取的涂胶轨迹是平面曲线，它不能准确地反映鞋底的真实形状，实际操作存在较大误差，因此只能使用于对比较平坦的鞋底的涂胶。 图2 平面鞋底涂胶轨迹生成 图3 基于鞋面三维数据的涂胶轨迹生成J. Y. Kim提出了一种根据鞋底模型的三视图和鞋帮的三维CAD激光扫描数据自动生成机器人涂胶轨迹的方法3。提取鞋底涂胶轨迹的过程应用了AutoCAD软件的AUTO-LISP宏编程技术，首先从鞋底模型扫描的三视图中提取边界点，然后获得鞋底轮廓的三维信息，最后再生成涂胶轨迹。而鞋面涂胶轨迹的提取方法则是基于鞋面的三维激光扫描数据在CATIA软件中手动生成，如图3所示。该方法能较好地解决不同尺码，不同形状鞋子的涂胶问题，具备较强的通用性。但是存在明显的缺陷，操作点坐标的生成和提取各自在不同的软件下进行，不仅降低了效率而且还增加了误差。Hu等提出了一种基于机器视觉通过鞋面和鞋底投影匹配生成鞋底涂胶轨迹的方法34。该方法应用机器视觉理论，用摄像头和线激光扫描鞋帮底面自动生成涂胶轨迹。线激光照射鞋帮底面，由摄像机提取激光照射的扫描曲线，然后计算鞋底的轮廓点，移动线激光反复执行上述操作就可以得到鞋底轮廓线上的一系列点，然后用NURBS插补方法拟合成连续的轮廓曲线。轨迹曲线则通过鞋底轮廓线在其主法线方向的偏置得到，如图4所示。为了使鞋底和鞋面形状相匹配，还通过一些额外的变换，如平移、缩放、旋转等来实现。 图4 基于机器视觉涂胶轨迹的生成台湾的陳振中开发了一套应用工业六轴机器人进行鞋底自动涂胶系统4。整个系统包含三大内容：1）根据鞋子的3D模型的STL文件自动生成涂胶轨迹；2）利用3D视觉系统Kinect获得的场景深度信息提取工作空间中的鞋底3D信息，在此基础上计算鞋底轮廓并获得真实鞋底的位置和姿态；3）结合以上信息利用机器人的逆运动学控制机器人实现鞋底的自动涂胶。系统有机地结合鞋底的CAD模型和视觉伺服技术，能自动地获得鞋底的涂胶轨迹，缺点是利用Kinect获得鞋底三维信息并不很准确，因此会影响鞋底的定位精度。基于CAD模型提取鞋底涂胶轨迹的方法简单，易于实现。但提取的轨迹所参考的坐标系很难同机器人的坐标系相对应，另外鞋底的CAD模型在很多时候并未给定，且由于加工工艺的原因，真实鞋底同其CAD模型之间也存在一定的偏差，导致提取的轨迹相对于真实的鞋底存在明显误差。这些都限制了基于CAD模型提取涂胶轨迹方法在实际生产中的应用。文献35提出的基于线结构光扫描鞋底提取涂胶轨迹的方法较好地解决了上述问题，但是它生成的轨迹曲线不能保证完全落在鞋帮底面，另外也没有考虑轨迹曲线上目标操作点的方向的计算。针对文献5的缺点，本课题组成员在前期的研究中充分利用线结构光扫描得到的鞋底点云数据，成功地解决了该问题6。参考文献1.左力, 江洪道, 张运梅, 等. 鞋大底自动点胶机P. 中国: CN 1505997A, 2002.2.Dong-Soo Kwon, Se-Kyong Song. A method for generating a cementing trajectory of a shoe soleP.UK: A43D1/08, 2005.3.Kim, J. Y. CAD-based automated robot programming in adhesive spray systems for shoe outsoles and uppersJ. Journal of Robotic Systems, 2004, 21 (11): 625-634.4.Hu, Zhongxu, Robert Bicker, Paul Taylor, et al. Computer vision for shoe upper profile measurement via upper and sole conformal matchingJ. Optics and Lasers in Engineering, 2007, 45 (1): 183-190.5.陳振中基於影像伺服之移動鞋子追蹤自動塗膠D臺北：國立台灣科技大學，20146.武传宇, 贺磊盈, 李秦川, 等.鞋底曲面数据提取与喷胶轨迹的自动生成方法J. 机械工程学报, 2008, 44(8): 85-89, 96.三 主要研发内容(1)涂胶生产线试验平台的搭建 整套生产线设备包括输送带、线结构光扫描装置和鞋底检测装置。(2)一字线结构光扫描技术研究 线结构光的标定：摄像机的标定、结构光平面的标定和输送带运动方向的标定； 激光光条图像的采集和光条中心的提取； 光条中心线三维坐标的恢复。(3) 三维涂胶轨迹自动生成技术研究 鞋底轮廓线的生成； 鞋底曲面拟合； 涂胶轨迹曲线的生成； 轨迹点的方向计算；四 技术路线系统的关键技术是利用线结构光扫描技术自动生成鞋底涂胶轨迹，重点在于光条中心的提取和涂胶轨迹的生成，其流程如图11所示：光条图像采集光条中心提取光条中心三维坐标转换开始对象移入扫描区域对象移出扫描区域是否是否标定数据鞋底轮廓线提取鞋底曲面拟合鞋底涂胶轨迹的生成轨迹点的方向计算结束线结构光的扫描涂胶轨迹的生成光条中心提取经过图像分割后可以得到具有一定宽度的激光条纹，必须提取亚像素级的激光条纹中心。综合考虑效率和效果，拟采用灰度重心发提取每个光条的中心。灰度重心法是把光条每个截面内的像素点的灰度分布质心作为截面的光条中心点。这种方法可以减小几何中心法由于光条分布的不对称性引起的误差。假设采用逐列扫描方式，设光条横坐标为u的截面中的一点坐标(u, vi)，相应的灰度值为g(u, vi)(i= 1, N)，N为截面内点的个数，则该截面的光条中心点(uc, vc)的坐标为：光条中心三维数据转换世界坐标系中的点 (xw, yw, zw)映射到图像上的坐标点为(u, v)，两者之间存在如下关系：其中M矩阵包含摄像机的内外参数。假设其中一个结构光平面在世界坐标系下的方程为：其中a, b, c, d为平面参数方程。结合方程和方程就可以根据图像坐标得到世界坐标系下点的坐标：鞋底轮廓曲线和鞋底曲面的拟合试验发现每条扫描线上的端点对应鞋底轮廓线上的一个点，把每条扫描线上的端点按顺时针或逆时针顺序排列，然后运用曲线拟合的方法参数化鞋底轮廓曲线。曲线拟合通常有多项式曲线拟合、样条曲线拟合和B样条曲线拟合。鉴于B样条曲线的优良性质，拟采用B样条曲线表示轮廓曲线C(t)。为方便后续轨迹曲线的计算，需要参数化鞋底曲面。相似地，拟采用B样条曲面拟合所有扫描线的三维数据来计算鞋底曲面S(u, v)，且把鞋底的轮廓曲线作为鞋底曲面的边界曲线。涂胶轨迹曲线的生成理想的喷胶轨迹是鞋底轮廓线在鞋底曲面上的一条偏置曲线，它是以轮廓线为中心的管道曲面和鞋底曲面的交线。由于轮廓线和鞋底曲面的参数表达式比较复杂，因此很难计算出理想轨迹曲线的参数表达式。一种有效的方法是采用离散曲线来描述轨迹曲线。轨迹上离散曲线点的计算如图13所示，具体步骤如下：(1) 等参数采样轮廓曲线，获得轮廓点C(xi, yi, zi), i = 1, 2, , n；(2) 以轮廓点其中一个轮廓点P0(x0, y0, z0)为圆心，r为半径做个圆，圆所在平面的法线方向就是轮廓点的切向；(3) 计算该圆同鞋底曲面的交点，交点即为其中的一个轨迹点。图13轨迹点的计算管道曲面的方程可以表示为：其中r为管道半径。由于轨迹点落在鞋底曲面，因此它可以用P(x(u, v), y(u, v), z(u, v)表示，其中u，v表示鞋底曲面的两个参数。这样轨迹点可以通过求解如下公式得到：其中(l, m, n)表示轮廓点的切向矢量。式是关于参数u，v的非线性方程组，求出参数u，v后根据鞋底曲面方程就能很容易地得到轨迹点。轨迹点的方向计算轨迹点的方向包括法向矢量和切向矢量。轨迹点在轨迹曲线上的切向矢量主要用来控制涂胶头末端的运动方向和计算涂胶头的速度。轨迹点在鞋底曲面的法向矢量用来设置涂胶头的姿态，使涂胶头的轴线垂直于鞋底曲面，保证涂胶轨迹的准确性和粘胶剂厚度的一致性。根据轨迹点的定义可知，轨迹点的切向矢量同其对应轮廓点的切向矢量相同，轨迹点的单位切向矢量计算如下：轨迹点在鞋底曲面上的单位法向量的计算公式为：其中Su(u, v), Sv(u, v)分别表示曲面上的点S(u, v)对参数u，v的偏导数。3、实施该项目所具备的基础、优势和风险4、项目计划目标鞋底涂胶高速并联机器人系统的关键技术中的扫描鞋底曲线技术的研究；涂胶生产线试验平台的搭建：整套生产线设备包括输送带、线结构光扫描装置和鞋底检测装置。三、预期成果、知识产权形成及经济、社会效益分析1、 项目的预期成果及知识产权归属情况成果：整套生产线 设备包括输送带、线结构光扫描装置和鞋底检测装置。2、 项目的市场前景分析制鞋业是浙江省重要特色产业，至2014年5月，浙江省共有制鞋企业1034家，全国制鞋企业为4271家，浙江省制鞋企