基于视觉力觉的智能机器人合作装配系统开发.doc

分类号UDC密 级学 号 1108020152硕士学位论文基于视觉/力觉的智能机器人合作装配系统开发周磊学 科 门 类：学 科 名 称：指 导 教 师：申 请 日 期：工 学机械电子工程傅卫平 教授2014年 3月 摘要论文题目：基于视觉/力觉的智能机器人合作装配系统开发*学科名称：机械电子工程研究生：周磊签名：签名：指导教师：傅卫平教授摘要装配是产品生产过程中耗时最多的环节，提高装配自动化效率是制造业中急需解决的问题之一，而智能机器人合作装配是解决该问题的有效途径。本文在改造传统示教机器人基础上，构建基于视觉/力觉的智能机器人合作装配系统，所完成的主要研究工作如下。(1)机器人合作装配系统总体方案和控制系统流程设计。构建了一个由全局视觉云台和两台配置视觉/力觉的同构示教机器人组成的合作装配系统，设计了系统的控制体系结构和主控流程，规划了机器人上下位机的主要功能模块。(2)装配机器人运动学分析与路径规划。基于旋量定理分析了运动学正解，采用雅克比时间插补分析了运动学逆解；建立了基于行为动力学的装配机器人平面空间路径规划模型。(3)机器人合作装配控制系统开发。将装配机器人原有离线示教方式改造为无示教实时控制方式；采用 TCP/IP通信协议Socket网络编程技术，解决了合作装配系统上位 PC机局域网数据交互问题，实现了机器人上位 PC机 VC+平台与下位工控机 CoDeSys平台之间的实时数据交互；通过 VC+调用 Matlab动态链接库的方式，应用行为动力学路径规划算法控制机器人末端执行器，实现了平面空间避障。(4)单机器人装配控制系统实验验证。通过轴孔对接实验，验证了所开发的智能装配机器人控制系统的功能；以行为动力学路径规划仿真轨迹作为指令控制机器人，末端执行器实际运行轨迹和理论轨迹最大误差为 4.13mm，验证了行为动力学路径规划算法的有效性。关键词：装配机器人；行为动力学； Socket； CoDeSys*本文得到国家自然科学基金项目(10872160)与陕西省自然科学基础研究计划重点项目（2011JZ012）资助I 西安理工大学硕士学位论文II AbstractTitle: INTELLIGENT ROBOT COOPERATION ASSEMBLY SYSTEMS DEVELOPMENT BASED ON VISUAL / FORCE SENSOR *Major：Mechatronic Engineering Name：Lei Zhou Signature:Signature:Supervisor：Prof.Weiping Fu Abstract Assembly is the most time-consuming phase in the production process, improving theefficiency of assembly automation is one of the urgent problems in the process ofmanufacturing industry, and the intelligent robot cooperative assembly is an effective approachto solve the problem. Based on the transformation of traditional teaching robot,the author buildsthe intelligent robot assembly system based on visual / haptic , the main research work done asfollow.(1) This paper conducts the overall scheme and control system process design of robotcooperation assembly system. By a global vision platform and two isomorphic robot withvisual/force sensors,the thesis constructs cooperative assembly system. The author accomplishthe control system structure and the main control process, planning the main function module ofrobot.(2) The author accomplishes kinematics analysis and path planning of the assembly robot.The fist step is robots spinor theorem forward kinematics analysis and Jacobian timeinterpolation inverse kinematics analysis. The scond step is assembly robot plane space pathplanning model based on behavioral dynamics.(3) Development of assembly robot cooperation system. The writer transforms the originalassembly robot off-line teaching into no-teaching real-time control way; Using socket networkprogramming technology based on TCP/IP protocol, this paper accomplishes the resolution of acooperative assembly system PC LAN data exchange problem and realizes the real-time dataexchange between VC+ platform on the PC and the CoDeSys platform on the IPC. Throughthe VC+ call Matlab dynamic link library,the robot applies behavior dynamics algorithm tocontrol the end effector of robot to avoid obstacles in two-dimensional space.*Supported by the National Natural Science Foundation of China（No. 10872160）、Shaanxi Province Natural ScienceFoundation Research Project (2011JZ012).I 西安理工大学硕士学位论文(4) The single robot assembly control system test. Through the shaft hole docking test, thewriter verifies the function of intelligent robot control system. Through dynamic path planningsimulation trajectory as instruction to control the robot, the maximum error is 4.13mm betweenthe end actuator running track and the theory of trajectory ,the author validates the behavior ofdynamic path planning algorithm.Key words：Assembly Robot; Behavior Dynamics; Socket; CoDeSysII 目录目录1绪论. 11.1引言. 11.2研究背景及意义. 11.3国内外研究现状. 21.4研究内容和论文结构安排. 42智能机器人合作装配控制系统框架搭建. 52.1引言. 52.2合作装配控制系统总体设计方案. 52.2.1合作装配控制系统的主要研究方法. 52.2.2合作装配控制系统的体系结构. 62.2.3合作装配控制系统总体框架. 72.2.4合作装配控制系统分类流程. 92.3单机器人装配控制系统设计方案. 92.3.1单机器人装配控制系统框架. 92.3.2单机器人装配控制系统功能模块. 102.3.3单机器人装配控制系统体系结构. 122.3.4单机器人装配控制系统主流程. 132.3.5单机器人装配控制系统软件. 142.4装配实验平台. 152.5本章小结. 163智能装配机器人运动学分析与路径规划. 173.1引言. 173.2六自由度机器人正逆解分析. 173.2.1旋量理论及其在刚体的位姿表示. 173.2.2基于旋量的机器人运动学正解. 183.2.3基于雅克比插补的机器人运动学逆解. 223.3直线圆弧轨迹规划. 253.3.1直线轨迹规划. 253.3.2圆弧轨迹规划. 263.4装配机器人末端执行器行为动力学路径规划. 273.4.1末端执行器导航方向动力学模型的建立. 283.4.2末端执行器速度动力学模型的建立. 313.5本章小结. 32I 西安理工大学硕士学位论文4智能机器人合作装配控制系统开发 .334.1引言. 334.2嵌入式软 PLC系统与软件配置. 334.2.1传统 PLC体系结构及原理. 334.2.2嵌入式软 PLC的体系结构及工作原理. 344.2.3系统软件分析设置. 354.3机器人末端姿态求解. 384.3.1末端姿态分析. 394.3.2机器人末端姿态计算及程序编制 . 404.4控制系统分析及实现. 424.4.1运动控制系统模块. 424.4.2程序流程设计. 434.5网络通信协议. 444.6基于无线局域网络的数据交互设计 . 444.6.1无线局域网络及 C/S模型. 444.6.2 Windows套接字网络编程. 454.6.3无线局域网的服务器及客户端设计 . 474.6.4局域网数据交互实验. 504.7单机器人 PC机与工控机数据交互 . 514.7.1数据交互方案选择. 514.7.2服务器与客户端程序设计. 514.7.3数据交互协议的封装与解析. 534.7.4数据交互实验. 544.8直线圆弧轨迹规划软件实现 . 544.8.1直线轨迹规划软件开发. 544.8.2圆弧轨迹规划软件. 554.9行为动力学路径规划算法软件开发 . 564.9.1 VC+调用 Matlab混合编程分类. 564.9.2集成视觉位姿信息实现行为动力学路径规划算法 . 574.10本章小结. 585智能装配机器人轴孔对接与避障实验 .615.1引言. 615.2单机器人定点轴孔对接实验 . 615.2.1工控机实现轴孔对接示教实验. 625.2.2单机器人控制系统完成轴孔对接实验 . 63II 目录5.3二维环境下单机器人行为动力学避障实验. 645.3.1 VC+生成行为动力学避障轨迹. 645.3.2单机器人二维平面生成行为动力学避障轨迹. 655.4本章小结. 686总结与展望 . 696.1研究工作总结. 696.2展望. 70致谢. 71参考文献. 73附录攻读硕士学位期间的主要研究成果. 77III 西安理工大学硕士学位论文IV 1绪论1绪论1.1引言制造业中装配地位十分重要，消耗很大一部分人力、物力、以及财力【1】。据统计，美日等西方国家制造业中装配占 40%劳动力，而德国电子工业制造中总成本 50%70%用于装配。机器人装配是自主装配的重要设备，可以高效率高质量实现装配任务，因此研究机器人自主装配十分重要。本文结合陕西省自然科学基础研究计划重点项目（ 2011JZ012）“基于视觉/力觉伺服的智能机器人合作装配研究”，重点进行智能机器人合作装配系统的构建、开发与控制研究。1.2研究背景及意义从 1961年工业机器人诞生以来，机器人以强大生命力高速生长【2】。它的研究涉及各类学科技术：如计算机、人工智能以及信息与传感器等【3】。现代工业技术在 1980开始转变，已由大批量生产自动化时代跨向多品种生产自动化时代【4】。而机器人应用领域越来越多，涉及到：勘探、救灾、生物工程开发以及重复而复杂装配【5】。机器人发展飞快，已经走过三代。第一代机器人属于科学领域早期定义，动作以一种模式进行【6】。实际上，从机器人技术考虑，并非是真正的机器人。第二代机器人是在第一代机器人基础上发展更新的，它可以帮助人们完成很多工作。第三代机器人是本文所研究的智能机器人，智能机器人如同人类一样，可感知到周围的环境并快速做出相应的反应【7】。受现代生产制造技术快速发展影响，工业装备机器人智能化程度受到人们更多关注和重视。希望工业装配机器人可智能化完成复杂装配任务。为此在机器人上安装不同【8】 【9】功能的传感器获得人一样的感知能力，如机器人上添加视觉、触觉等传感器【10】。机器人视觉被公认为最重要的感知能力。根据统计可知，人们 80%信息是基于视觉得到，这证明视觉对人相当重要【11】。为此，本文研究的机器人合作装配系统配置了云台和手眼摄像机，实现视觉引导并反馈信息给装配机器人完成复杂繁重的装配任务。随社会发展的日新月异，科学技术飞速革新，人们对工业装配机器人的要求越来越高。单个机器人在复杂操作中显得不能胜任。为此多机器人合作是相当不错的选择【12】。在装配环境中，多机器人不仅可完成单机器人的工作，而且可胜任更大的负载、更加复杂的操作以及协同实现人类无法完成的工作【13】。而实际应用中，双机器人合作协调控制系统是多机器人合作的典型代表，当前需求量也最大【14】。一般情况，每个装配机器人各自1 西安理工大学硕士学位论文配备一个工控机。在工作时，由专业工作人员协调示教工作，回放来完成工作。这个过程中，对人员操作和协同合作能力要求较高。本文研究基于视觉合作装配机器人可智能化协调解决以上所遇到的问题。1.3国内外研究现状装配系统必须具有快速适应日益增长的产品数量和种类以及变化需求量的能力，因此装配系统应该是柔性的、可重构的及自主的。下面将重点分析国内外机器人装配系统研究现状。通过人-机器人合作或人-PC机交互方式完成复杂装配，不仅可以减少劳动力成本，而且可以充分利用人和机器人各自的优势，有利于高效率和高质量地完成复杂装配任务，提高企业的生产效率和竞争力。人机合作装配系统属于一种混合装配系统，其大多应用在汽车行业，根据人和机器人负责装配和转运作业的分工方式，可以分为两类【15】：工作地共享系统和工作地与时间共享系统。前者操作者与机器人在同一工作地而各自完成装配和转运作业，二者作业的时间不相交，二者交互限于避障；而后者的操作者和机器人可以在同一工作地同时共同进行装配和转运作业，二者相对于避障是更高层次上交互，作业效率较高，因此要求机器人有更高级的智能。和工作地共享系统或全自动机器人装配系统不一样，在工作地与时间共享系统的装配过程中，由于人和机器人之间的物理接触以及力和能量的相互交换，使得在人引导下对机器人控制比机器人在自由空间的自主导航更加复杂。Krger【16】提出具有与操作者共享工作地和时间这两种模式的智能援助控制系统（IAS），该系统是一种可与人通过直接物理接触实现合作的、研究了在装配过程中，怎样保证人、机器人同环境相互作用时系统稳定的鲁棒控制方面问题。董玉红、张立勋【17】依据国外学者Moore等人【18】在 1996年提出的合作机器人（Cobot）样机理论，在利用双离合器的不完全约束Cobot机构模型和控制模型上应用了仿真分析，设计并研制了Cobot原理样机【19】。Hoeniger【20】分析研究了自主机器人在非结构化环境中完成复杂装配任务时，在物理接触相互作用下实现人和机器人动态任务规划及分配的问题。 Zhang【21】分析研究了基于嵌入语言交互功能的人-机器人合作装配问题。Wojtara【22】针对汽车挡风玻璃的装配，分析研究了通过力-扭矩传感器与视觉的三维物体的人-机器人合作准确定位问题。Koskinen【23】分析研究了安全和质量的人-机器人合作装配任务的监控方面问题。对电缆装配生产单元，Tan等人分别分析研究了人-机器人合作装配系统的设计研发【24】、信息支持系统以及任务分解方面问题。对于某些场合，需要双臂机器人或多机器人协调合作来完成装配操作任务【25】，例如，完成单个机器人难以胜任的复杂装配任务，提高机器人装配效率，实时适应工作环境的改变或机器人系统部分出现故障等情况。虽然多机器人协调合作装配早已从20多年前就开始研究，但绝大部分基于阻抗控制和混合力/位置控制。Su等人【26】分析研究了由两个模块化2 1绪论机器人和一个光学传感器组成的螺旋副合作装配系统，两个机器人基于主-从方式工作，利用光学传感器测量反馈信息，通过RMRC控制调整主/从机器人末端执行器的位姿状态。Fei等人【27】在C空间法基础上，得出一种双臂机器人实时避障的运动路径规划方法，通过该方法可以实时获得最优路径。Hwang【28】现双臂机器人运动规划的方法。Lewis【29】利用相对雅可比矩阵生成机器人轨迹的算法。Choi【30】调节力导航控制的双臂合作装配算法。 Zhu【31】机器人系统的自适应控制算法。 Zhang【32】配置和控制系统的结构，并构建了双臂机器人与人合作装配控制系统。Park【33】提出一种通过利用基于接触状态的优化模型实提出把两个合作装配机器人看作为一个冗余系统，提出一种相对于雅可比矩阵和适应提出了兼并柔性和刚性约束的双臂或多臂完成了可实现专用玩具装配的双臂机器人功能分析研究了在多机器人装配中，利用机器人位姿标定与零件传感器标定的组合，获取到被抓取零件的三维空间绝对位姿的方法。Wang【34】设计并研制了一种基于MAS的多机器人合作装配系统（MRCAS），可以完成一个大的框架形工件的合作装配。当前，KUKA公司可同时控制 15台【11】工业装配机器人合作完成任务，且这个控制数量可继续增加。如图 1-1是多个机器人合作来装配汽车零件，它们可协作工作或单独工作。每个机器人都应用 KUKA控制系统，并基于以太网实现数据交互、相互协调任务。图 1-1多机器人合作工作Fig.1-1 Multi-robot cooperation work综上所述，国内外在机器人装配技术研究与应用方面已有相当多的成果，但是仍有许多理论和技术问题，特别是在多机器人合作装配以及人-机器人合作装配领域，尚待研究解决，机器人合作装配的工业应用仍然面临诸多挑战，下一代机器人将与人更直接的相互作用完成合作装配。为了适应多品种、小批量、客户化定制生产提出的柔性和适应性的需求，也为了使我国在下一代工业机器人装配技术领域能跟上国际先进水平，突破机器人合作装配这一高端装备制造领域（我国战略性新兴产业之一）的技术难题，我们必须加强机器人合作装配领域的基础与应用研究。3 西安理工大学硕士学位论文1.4研究内容和论文结构安排本文研究目的是将传统示教型机器人控制系统改造成智能型机器人控制系统，从而可以自主合作完成装配轴孔任务。为此，本文首先设计了装配控制系统方案、将控制系统分为不同功能模块、搭建系统体系结构、完成主控制流程设计以及编写软件框架；其次，分析研究了机器人运动学正逆解算法、装配控制系统直线圆弧轨迹规划及行为动力学避障算法在机器人末端执行器上的应用；然后，在上述基础上完善运动学逆解、改造控制系统，开发出合作装配所应用的通信软件以及完成轨迹规划算法软件编写；最后，针对轴孔装配对接和二维平面避障实验，验证了机器人装配系统功能及行为动力学避障算法有效性。论文结构安排如下：第一章介绍研究装配机器人背景及意义，国内外研究成果及发展情况。第二章设计合作装配系统方案，搭建合作装配实验平台，详细设计合作装配中同构单机器人控制系统的各个功能模块、主控流程以及编写软件框架。第三章研究机器人合作装配系统所应用的运动学及轨迹规划算法，为后续机器人系统软件开发做铺垫。第四章在第三章基础上，完善运动学逆解算法、改造控制系统、搭建合作装配局域网、实现 VC+与嵌入式机器人工控机实时数据交互任务，以及完成在 VC+平台上编写直线圆弧轨迹规划算法和 VC+实时调用 Matlab动态连接库dll，实现在机器人控制中应用行为动力学轨迹避障算法。第五章在固高 GRB3016型机器人平台下，完成定点轴孔对接和实现应用行为动力学算法在二维平面避开障碍物实验。第六章总结本文研究内容，分析研究工作不足及改进之处。4 2智能机器人合作装配控制系统框架搭建2智能机器人合作装配控制系统框架搭建2.1引言为实现合作装配系统控制两台六自由度机器人自主合作完成装配任务，本章构建了合作装配系统总体框架，系统分类流程。目前以单机器人完成轴孔装配作为研究对象，将系统分为不同模块，搭建系统体系结构，设计主控流程以及完成软件编写。2.2合作装配控制系统总体设计方案2.2.1 合作装配控制系统的主要研究方法合作装配的控制方法是指在多个机器人系统中，一个机器人位姿运动需要考虑到其他机器人在系统中的运动，相互配合达到完成精确装配目的。即对于一个单机器人无法完成的任务，各个机器人应考虑同步配合完成任务。多机器人装配系统中，只是让每一个机器人简单地完成装配，将其组合而不利用多机器人优势，是浪费资源的做法。只有通过采用某种控制策略并很好地协调各个机器人的作用，才可以达到最佳优势。合作装配的目的是尽可能地利用多机器人系统的优点，实现单个机器人无法完成的装配任务，使装配系统功能更加强大，柔性化更好，更加能适应多变的装配要求。到目前来说，可用于合作装配的主要控制方法有以下三种：协商与反应式方法、分布式人工智能方法以及学习和进化方法。(1)协商与反应式的方法在一个多机器人的控制系统中，一般从两个方面考察，即一个群体包含多个机器人和群体中的单个机器人。以前研究多机器人控制系统的方法有：反应式的方法、全局规划的方法与混合的方法。反应式的方法以行为为理论依据，依靠每个机器人各自的局部感应与通信来完成任务。由于这种控制方法不需要集中控制器，因而可以不通过全局通信就可以方便扩展，但是很难得到各个机器人局部之间的相互作用达到的全局行为状态。全局规划的方法通过组建一个全局控制状态空间，集成每个机器人的运动、行为等状态，进行集中管理与控制。每个机器人需要和全局控制状态空间进行通信与数据交互，对于机器人不多的群体可以完成任务规划与行为控制，一旦随着机器人数目不断增加，系统越来越难应付机器人间的行为规划。混合的方法是集成反应式方法与全局规划方法的各自优点，将系统分为两层，高层通过规划器完成任务规划，而具体行为控制则是由全局任务规划与各个机5 西安理工大学硕士学位论文器人局部自治控制系统完成【35】。(2)分布式人工智能方法关于多个智能体控制体系结构的研究在最近几年越来越受到人们的重视，研究重点基本以群体智能和行为结构方面着手。多智能体控制体系结构研究的主要内容包括：多个不同智能体自治系统之间相互影响作用的理论研究与实验验证，当前需要解决的问题是如何协调控制各个智能体以及在控制过程中怎样实现不同智能体之间的实时数据交互。还有就是怎样搭建总体的体系结构。智能体控制体系结构和多机器人控制系统之间有很大的区别，智能体控制体系结构是一个理想、理论、抽象化的单元实体，而多机器人控制系统是一个存在的现实实体。但是两者之间有许多共同的特征，值得大家深入研究两者关系，将智能体控制体系结构很好应用在多个机器人合作中【36】。(3)学习和进化方法在漫长的生物进化中，自然界生物的行