（机械电子工程专业论文）空间视觉伺服机械手捕捉运动目标的系统研究.pdf

摘要 摘要 研究生姓名：位兵导师姓名：罗翔学校名称：东南大学 为了使机器人能够代替人类从事各种工作，必须提高机器人的感知能力，其方法是给机器人配置 各种各样的传感器，其中视觉传感器起着非常重要的作用，目前视觉伺服机器人的研究已经成为国内 外研究的热点。本课题以江苏省自然科学基金项目基于视线空间的多视觉融合机器人视觉伺服理论 研究为背景，搭建了一个基于视觉伺服的五自由度机器人控制系统，对机器人跟踪、估计、捕捉运 动目标展开了研究。 首先搭建了伺服机器人的硬件系统和软件系统。硬件系统包括机械手本体、机器人电气控制系 统、运动控制系统等。软件系统包括基于r t l i n u x 和l i n u x 的机器人运动控制程序，以及图像处理和 运动控制两种软件平台相连接的串口通讯的实现。 研究和设计了一种改进的以卡尔曼滤波为核心的运动目标估计方法。主要改进点是增加了动态 选择特征点的功能，针对所提算法进行了仿真和实验研究。仿真及实验结果显示该算法能够相对准 确的跟踪和估计出目标的各项运动参数，算法满足空间机械手抓取运动目标的要求。 为了实现捕捉运动目标这个任务，本文对实验机器人进行了运动学分析，结合其结构特点，给 出了五自由度机器人的正、逆解，然后进行了实验验证。并且在此基础上研究了操作臂的操作速度 与关节速度之间的关系，应用矢量积的方法推导出了机器人的速度雅可比矩阵。 研究了五自由度机器人捕捉运动目标的运动规划问题。提出了一种算法简单，物理意义明确的 运动规划算法。针对所提出的运动规划算法进行了仿真研究和实验研究，证明了该运动规划算法的 可行性。 关键字：视觉伺服；跟踪与估计；运动目标；卡尔曼滤波：运动规划 东南人学硕士学位论文 a b s t r a c t b yw e ib i n g s u p e r v i s e db ya s s o c i a t ep r o f l u ox i a n g s o u t h e a s tu n i v e r s i t y 1 n h es e n s i n gc a p a b i l i t yo fr o b o t sm u s tb ei m p r o v e dw h e nt h e yd os o m ew o r k si n s t e a do fh u m a n o n e w a yt oi m p r o v et h es e n s i n gc a p a b i l i t yo fr o b o t si st om o u n ta l lk i n d s o fs e n s o r so nt h er o b o t s ，i nw h i c ht h e v i s i o ns e n s o rp l a y sa l li m p o r t a n tr o l e a tp r e s e n t , t h er e s e a r c ha b o u tv i s u a ls e r v o i n gr o b o th a sb e c o m eah o t r e s e a r c h t h i sp a p e r , w i t ht h eb a c k g r o u n do fj i a n g s up r o v i n c en a t u r a ls c i e n c ef u n dp r o j e c t s ，s e t 叩ar o b o t c o n t r o ls y s t e mb a s e do nv i s u a ls e r v o i n g , r e s e a r c h e do nt r a c k i n g , e v a l u a t i n g , a n dg r a s p i n gt h em o v i n g o b j e c t f i r s to fa l l ，t h er o b o th a r d w a r ea n ds o f t w a r es y s t e m sw e r es e tu p t h eh a r d w a r es y s t e mi n c l u d e st h e r o b o tb o d e l e c t r i cc o n t r o ls y s t e m ，m o t i o nc o n t r o ls y s t e m t h es o f t w a r es y s t e mi n c l u d e st h er o b o tm o t i o n c o n t r o lp r o g r a m sb a s e do nr t l i n u xa n dl i i l u xa n dt h es e r i a lc o m m u n i c a t i o nb e t w e e ni m a g ep r o c e s sa n d m o t i o nc o n t r o ls y s t e m s e c o n d l y a3 dm o v i n go b j e c tt r a c k i n ga n de v a l u a t i n ga l g o r i t h mw i t hd y n a m i c a ls e l e c t i o no ff e a t u r e p o i n t s a n dt h er e s u l t so ft h es i m u l a t i o na n de x p e r i m e n tc e r t i f i e dt h a tt h ed y n a m i c a l ，e x t e n d e dk a l m a n f i l t e rw a sn o to n l ya b l et oc o n v e r g e n c e ，b u ta l s oc a nr e l a t i v e l ya c c u r a t e l yt r a c ka n de v a l u a t et h eo b j e c t m o t i o np a r a m e t e r s o nt h ew h o l e t h i sa l g o r i t h mo fk a l m a nf i l t e rc a nm e e tt h er e q u i r e m e n t so fg r a s p i n g m o v i n go b j e c t a n df i n a l l y , i no r d e rt ob ea b l et og r a s pt h em o v i n go b j e c t , t h i sp a p e ra n a l y z e dt h ek i n e m a t i c so f e x p e r i m e n t a lr o b o ta n dg a v et h es o l u t i o no ft h ep o s i t i v ea n di n v e r s ek i n e m a t i c sa c c o r d i n gt oi i ss t r u c t u r e c h a r a c t e r i s t i c s ，a n dt h e nt o o ka l le x p e d m e n tw h i c hv e r i f i e dt h ek i n e m a t i c s i na d d i t i o n , t h er e l a t i o n s h i p b e t w e e nl i n e a rv e l o c i t yo fg r i p p e ra n dt h ea n g u l a rv e l o c i t yw a ss t u d i e d ，a n dt h ej a c o b i a nf o rr o b o tw a s d e d u c e d o nt h eb a s i so ft h ea b o v e ，m o t i o np l a n n i n gf o rt h er o b o tg r a s p i n gm o v i n go b j e c tw a sr e s e a r c h e d a r e l a t i v e l ys i m p l em o t i o np l a n n i n ga l g o r i t h mw a sp r o p o s e dw h i c ha l s oh a dc l e a rp h ) r s i c a lm e a n i n g t h e r e s u l t so ft h es i m u l a t i o na n de x p e r i m e n ts h o w e dt h a tt h i sm e t h o dw a se f f e c t i v e k e y w o r d s ：v i s u a ls e r v o i n g ；t r a c k i n ga n de v a l u a t i n g ；m o v i n go b j e c t ；k a l m a nf i l t e r ；m o t i o np l a n n i n g i i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名：日 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：4 缝导师签名： 弘学 东南大学硕士学位论文 1 1 引言 第一章绪论 机器人是当今工业的重要组成部分，它们能够精确地执行各种各样的任务和操作，并且无需人 们工作时所需要的安全措施和舒适的工作条件。然而，要使机器人很好地工作也需要付出很大的努 力和代价。在2 0 世纪8 0 年代中期从事机器人制造的公司现在大都已不复存在，只有一些生产工业 机器人的公司尚在市场上保留一席之地。由于目前的机器人尚无法满足人们的较高期望，因此早期 对机器人在工业中的使用预测一直未能实现。结果是，尽管有成千上万的机器人用于工业生产，但 是它们并没有在总体上替代工人，机器人只能用在适合使用它们的一些地方。相对于人类，机器人 并非万能，它们某些工作能做，另外有些工作却不能做。如果按照期望的用途合理设计机器人，它 们就会具有多种用途并经久不衰。 现在使用的工业机器人大都缺乏智能，精度不高，完成的作业任务比较简单。其中各种工业机 器人所占的比例，以上料、下科、搬运、喷涂和点焊最多i i j 。 自五十年代第一台机器人问世以来，机器人就一直处在从低级到高级的不断发展过程中。近年 来，机器人技术已成为高技术领域内具有代表性的战略性技术之，它使得传统的工业生产面貌发生 了根本性的变化，对人类社会的发展产生深远的影响。随着人们对机器人运动特性要求的不断提高， 机器人正朝着智能化、小型化、数字化方向发展。所谓智能化，直观地说就是其有适应外部环境变 化的能力。带有感觉的智能机器人的研究已成为各国政府高技术计划的重要内容之一【2 j 1 3 j 。如美国 n a s a 航天机器人计划、日本a r t r a 极限环境作业机器人计划、德国r o t e x 空间机器人计划、欧洲 e s p r i t 及e u r e k a 中的自主机器人计划、我国实施的8 6 3 、9 7 3 计划在自动化领域有许多以智能机器 人为主题，以智能机器人系统为目标的研究计划。有一些智能机器人系统已投入实际使用1 4 l ，如美 国斯坦福大学和s r i 共同开发的s r iv i s i o nm o d u l e ；荷兰p h i l i p s 公司研制的p a p s 系统；日本在 2 0 0 1 年1 1 月推出的a s l m o 人形智能机器人更是将智能机器人的研究提高到了一个新的层次0 在诸多传感器中，视觉传感器因其信息量大、适用范围广等特点已成为最重要的机器人传感器 之一【3 j 。因此，机器人视觉系统的研究一直是各类智能机器人研究的一个热点。视觉传感器通常采 用c c d 摄像机，它与机器人的操作臂及其手爪结合在一起，组成可以模拟人的“l o o ka n dm o v e ”智 能，即所谓智能机器人“手眼”协调系统【5 l 。机器人“手眼”协调系统是研究基于视觉传感器的智能机器 人作业系统的主要方向之一。广泛的应用在生产线的自动监控、三维运动目标跟踪、自治战车导航、 登月舱的自动着陆及空间机构对空中漂浮物的抓取、甚至打乒乓球、杂耍等高度复杂的人类智能娱 乐活动中【6 】。无论是以跟踪和抓取运动目标为主要任务的机器人“手眼”协调系统，还是其它机器人视 觉系统，实现视觉信息的获取与处理，并进一步用于闭环机器人控制，即所谓“机器人视觉伺服控制” 都是十分重要的【7 1 。 智能机器人视觉伺服系统通常由一台或多台机器人( 机器人本体及其控制器) 、不同数量的视觉传 感器( 通常是c c d 摄像机) 、自然光源或主动光源以及计算机视觉处理、控制系统( 独立或与机器人控 制器合为一体) 组成。对于不同的应用场合，智能机器人视觉伺服系统的结构是灵活多变的，从单机 器人、单摄像机非实时的“看一运动”系统到多机器人、多摄像机实时的“手一眼”协调机器人视 觉伺服控制系统。机器人视觉伺服控制系统的理论研究及其实现方面已经进行了大量、深入的研究 工作，并取得了令人瞩目的成果，某些智能视觉机器人系统己接近实用化。但是，由于实际问题的 复杂性，已有的系统通常是针对特定的应用背景，视觉伺服控制算法有待进一步研究，具体实现过 程中仍存在视觉信息处理瓶颈、适用范围窄、系统造价昂贵等实际问题。尤其在国内，机器人视觉 伺服方法的研究刚刚起步，处于实验室研究阶段p j 。 第一章绪论 近三十年来，国内外研究人员十分重视计算机视觉和机器视觉的研究。计算机视觉经过十年多 的发展，已取得了很多的成果，已有专门的国际会议、专门的期刊等。但由于其本身的难度极大， 目前的发展水平距离实际应用还有相当的距离。目前工业领域实际应用的机器人视觉系统仍局限于 专用的简易视觉系统，通常处理二维图像，通过简单的几何特征提取，统计分类或样板匹配，完成 二维物体的辨识、分类、定位或跟踪等视觉任务 9 1 1 1 0 l 。复杂的三维视觉系统仍处于研究开发阶段。 机器人视觉应用可分为如下几类：视觉检验、视觉导引和过程控制，以及近年来迅速发展的移动机 器人主动视觉导航系统、智能机器人“手一眼”协调视觉伺服系统等。总之，处于计算机视觉和智 能机器视觉研究前沿的智能机器人视觉伺服控制的研究，是一个具有理论意义及实用价值的基础课 题，有助于提高机器人，尤其是空间机器人的适应能力和智能水平。 1 2 课题背景及意义 一般的产业机器人是没有感觉的，工件存放位置、姿态稍有改变机器人就束手无策。7 0 年代以 来出现带有传感器的产业机器人。如果工件的位置与规定位置不符，则根据传感器的信号进行修正 后再抓取。有研究表明人类在捕捉运动物体的过程中，始终存在两个功能模式，即目标辨识、定位 和视觉控制运动。除此以外，可以从人类经过长期的训练形成的捕捉运动的习惯和知识中得到启发， 从智能推理实时运动规划和视觉伺服控制两个方向去解决问题。具有视觉的适应系统是一种较为完 善的机器人系统，它能根据视觉输入信息及时在计算机中形成关节的位置和路径数据，并将数据送 至接口以控制手臂动作，而不必预先用编程方法确定位置和路径数据。例如本课题所研究的传送带 上的零件是一个运动目标，机器人要跟踪并抓起它就需要具有决策和适应能力，这就要求机器人确 定在每一种情况下手爪应该在什么位置，实时计算出所有关节的相应角位移，从而对运动目标进行 实时捕捉。 目前，在国内的工业现场，机械手抓取零件是采用静态的方法：到达规定位置时，控制传送带 停止运动，然后由机械手抓取零件。这样的方式传送的效率低。因此，有必要研究机械手直接抓取 传送带上运动零件的技术，即针对外形结构已知的物体( c a d 模型已知) ，利用立体视觉引导机械手 进行动态抓取。 目前的视觉伺服系统大多数采用“眼在手上”的单目视觉系统，即构成摄像机安装在机械臂上 的小视野系统。或者采用单目或双目主动视觉，形成对运动目标识别和跟踪的大视野系统。本课题 研究一种基于双目视觉的，其中一个摄像机是网定的，要求具有包括机械臂在内的较大的视野。另 一个摄像机安装在末端执行器上，以满足局部操作精度的要求。兼顾全局稳定跟踪和局部精确操作， 并使两个视觉系统有效的融合在一起形成有机的视觉整体，以能够实现更快速的，更精确的视觉伺 服系统。 1 3 国内外研究现状 人类捕捉运动目标的机理至今尚未了解清楚，有研究表明这个过程包括两个始终存在的功能模 式，即目标辨识、定位和视觉控制运动。除此以外，人类的大脑在长期的训练中形成的习惯和知识 为捕捉过程提供了实时的运动规划。因此可见，机器人操作运动目标研究的核心问题是视觉伺服。 在目前目标3 d 跟踪和抓取的研究中，首先要对目标进行稳定的视觉跟踪。z l i n l n l 等采用的方法 是在粗调( 手爪距离目标较远) 时不用预测，直接使机械人以某种设定速度向目标运动。细调时( 手 爪距离目标较近时) 根据运动目标位置点的测量集合实时预测下一时刻目标的位置，采用最小二乘 法实现跟踪和抓取。w i l s o n 1 2 j 研究了手一眼配置机器人( c c d 安装在机器人末段) 的基于位置视觉 伺服问题，采用扩展卡尔曼方法对刚体三维运动进行滤波和预测，系统使用的是单目视觉，必须在 2 东南大学硕士学位论文 预测递推式中嵌入基于模型的特征间的几何约束，预测算法计算量比较大。a k i o 1 3 1 等应用自主设计 的高速的图像处理模块，这样就使图像处理的过程显得相当困难。a k i 0 1 1 4 】等采用双摄像头对球状目 标的跟踪，由于球状物体的特征简单，因此没有涉及到机器人手爪坐标系关于目标坐标系的方向问 题。 在目前的机器人轨迹规划得研究中，用于捕捉运动目标的机器人实时运动规划的难点在于自运 动规划。周东辉【1 5 l 中采用几何方法实现了对7 自由度机器人的自运动“可视化”控制。提出一种利用 冗余度机器人零空间的一组基，分析用关节运动速度表示的机器人的自运动空间的算法。罗翔1 1 6 j 等针 对存在驱动饱和约束条件下的视觉机器人，提出了一个系统的跟踪运动目标的实时运动控制方案。 完全根据机器人的视觉和关节驱动电动机运行状态的反馈信息，针对跟踪过程不同阶段的要求，采 用模糊自适应规则实时地调节机器人运动。 n h o u s h a n g i l 0 7 】所研究的只是对于球状物体的位置，并不涉及到姿态。j i a n gw a n g 埽l 等所用的卡 尔曼滤波的输出向量是特征角点的图像坐标，其算法需要至少五个点的信息，且z 轴，偏转和俯仰方 向误差较大。罗翔【1 9 j 等研究的卡尔曼滤波算法是基于静态选取点的算法，不能根据摄像机不同时刻 观测到的点的不同而实时变化卡尔曼滤波器。a l l e n e 2 0 1 等建立了一个捕捉运动目标系统，运动目标在 椭圆路径轨道上运动，系统利用一系列的采集的图片来计算目标的质心，并且利用双目视觉的几何 学确定目标的3 d 坐标，但是抓取过程没有反馈，而且一旦抓取开始后目标就不能改变路径。罗翔l l o j 等根据机器人的视觉和关节驱动电动机运行状态的反馈信息提出了一个实时运动控制方案，采用了 基于速度方向、大小分离的运动规划算法，但是只是对机器人位置速度的规划，没有对机器人姿态 速度进行规划。 n i s h i w a k i 等人【2 l l 用类人机器人s a i k a 来捕捉竖直下落和抛过来的球，在论文中他把捕捉球分 成了3 步，首先是用安装在头部的平行双目视觉对球进行定位，然后预测球的运动轨迹确定捕捉点， 最后通过神经网络逆运动学模式控制手运行到捕捉点。在实际捕捉抛过来的球时，考虑到视觉系统 图像处理原因，采用了目标预测的方法而不是视觉反馈的方法，在捕捉竖直下落的球时取得了较好 的效果。苏剑波【2 2 】给出了一种机械手采用变比例导引规划规划方案来跟踪运动目标的动态过程。 h i d e k a z es u z u k i t 2 3 j 介绍了实时视觉伺服相关的视觉技术，利用全局和局部蚁群算法来搜索匹配特征 点。a k i on a m i k i 等人【2 4 j 提出了一种在线轨迹生成的方法并用于捕捉运动物体中，该方法通过学习运 动学和动力学的约束，把视觉信息直接非线性的映射成需要的轨迹信息。在实验中采用了频率高达 1 0 0 0 h z 的高速视觉系统解决了视觉处理慢的问题，使之能满足机器人操作臂的实时控制。该方法较 之传统的预测方法，在视觉系统快速发展的未来更具有研究价值。 1 4 本论文的主要工作 本课题研究的对象是空间伺服五自由度机器人，详细研究了目标的跟踪与预测算法，以及捕捉 运动目标的运动规划。全文结构如下： 第一章：主要介绍了课题的研究背景、意义、国内外研究现状和论文的组织安排。 第二章：对视觉伺服机器人的软、硬件平台进行了一个简单的介绍。 第三章：研究了基于视线的3 d 目标运动估计与跟踪方法。其中重点介绍一种基于c a d 模型的、 动态的、扩展的卡尔曼滤波算法，并对其做了仿真研究和实验研究。 第四章：对机器人手臂运动学正、逆求解，以及雅可比矩阵问题进行了理论研究，针对本系统 推导出正、逆运动学，对逆运动学进行了实验验证，并推导了雅可比矩阵的计算公式。 第五章：对视觉伺服机器人捕捉运动目标进行了运动学基础上的运动规划，并给出了仿真和实 验结果。 第六章：总结了本文所作的工作与内容，并对进一步改进本系统进行了展望。 3 第二章机器人视觉伺服系统的总体设计 第二章机器人视觉伺服系统的总体设计 2 1 视觉伺服系统概述 用视觉信息构成机器人的闭环控制系统称为视觉伺服。视觉伺服在机器人领域中的应用己有多 年历史。当机器人工作目标的位置未知、工作目标的运动规律朱知机器人的手臂是柔性、且不精确 的情况下，通过视觉传感器对机器人进行视觉传感控制具有明显的优越性，并使机器人的智能水平 有较大的提高【2 5 l 。 目前，绝大多数机器人系统都可配置视觉传感器，并能够与机器人的编程、控制系统有机地结 合在一起，其图像处理能力可从简单的二进制图像处理直至高度复杂的自然背景交错部件的视觉图 像边缘和特征提取。虽然如此，上述机器人视觉系统处理的目标均处于静止状态，即“看运动”工 作方式。因此整个机器人系统的操作精度由视觉传感器和机器人手臂机械系统及其控制器的精度所 决定。提高智能机器人视觉传感系统的精度的方法之一是采用视觉信息反馈视觉伺服控制，改善智 能机器人视觉传感系统的整体精度和性制2 6 j 。 对于视觉伺服机器人系统，视觉信息可以是三维空间坐标，也可以是二维图像平面的图像特征， 据此可以将系统分为基于位置的视觉伺服系统和基于图像的视觉伺服系统。 在基于位置的控制结构中，视觉处理输出的是运动目标的坐标，并由此估计目标与机器人之间 的相对位姿，以控制机器人在直角坐标空间中的运动。基于位置的方法适合于立体检测，在判断目 标和估计目标运动状态时具有优势，其缺点是需精确的摄像机和机器人模型，需进行逆运动学和三 维位姿估计计算，增加计算量。因此，也有不少研究致力于开发未标定视觉情况下对运动目标的操 作。 一般，在基于位置的视觉伺服系统中，对运动目标操作主要完成这几方面的工作：1 ) 快速进行 图像处理，获得运动目标相对于末端执行器的位置；2 ) 分析预测其位置、速度、加速度等信息；3 ) 建立视觉控制算法，控制机器人的运动。围绕这几方面工作，基于位置的控制系统一般由视觉图像 处理、预测及滤波、视觉控制器等模块组成。如图2 1 所示。 图2 1 基于位置的视觉伺服控制系统的结构 基于图像的方法长于伺服跟踪，计算量相对较小，有较好的鲁棒性。其控制系统结构如图2 - 2 所示。基于图像的控制结构用二维图像特征信息进行反馈，对摄像机模型误差和机器人模型误差、 图像噪声不敏感。 期 图2 2 基于图像的视觉伺服控制系统结构 4 东南大学硕上学位论文 在系统结构方面，视觉伺服机器人又可以根据摄像机的安装位置，分为摄像机固定方式和眼在 手上两种方式，前者的摄像机固定在某个位置，或垂直于工作台上方，或固定在工作台侧面，这种 配置方式引入了摄像机与机器人坐标系的转换问题，要求摄像机精确标定，还有可能会出现末端执 行器遮挡目标的情况；后者的摄像机安装在末端执行器上，对精确标定等要求降低。但摄像机的成 像深度随机器人运动在不断变化，增加了图像处理的计算量。 本系统综合考虑以上各方面因素，在硬件配置上，要求固定摄像机具有包括机械臂在内的较大 的视野。末端执行器上安装有另一个摄像机，以满足局部操作精度的要求。并且采用基于位置的视 觉伺服系统。 2 2 本系统的总体硬件结构的搭建 本试验的机器人的实验平台主要包括视觉系统( 主要包括两个摄像机、图像采集卡和图像处理 计算机) 和五自由度机器人控制系统( 主要包括五自由度空间机械手主体、伺服电机、控制柜及伺 服驱动器、上位工控机和运动控制卡) 。整体示意图如图2 3 所示： 控制 上位控制机图像处理机1图像处理机2 图2 3 实验系统硬件平台示意图 系统配置采用双摄像机系统，其中一个固定在工作空间作为全局视觉系统；另一个安装在机械 臂上的，作为局部视觉系统。摄像机模型为小孔模型，成像方式为透视投影。机械臂类似于人的手 臂，由五个自由度组成，其中两个肩部自由度，一个肘部自由度，两个腕部自由度。肩部和肘部的 三个自由度负责手爪位置，后两个腕部自由度负责手爪的姿态。这样在运动规划时，就可以把手爪 的位置和姿态分别进行规划。 传统意义上的机械手控制一般是控制系统预先给定机械手目标点，然后使机械手按照规定的程 序运行并记忆人们给予机械手的指令信息，同时按其控制系统的信息对执行机构发出指令。本课题 研究基于视觉伺服的机械手控制，机器人系统的视觉伺服是利用视觉传感器得到的图像作为反馈信 息，可构成机器人的位置闭环控制。 由于实时的图像处理和运动规划计算量较大，如果都在一个计算机上进行处理会造成较长时间 的延时，不利于实时控制，所以本课题把视觉伺服机械手控制系统的两个子系统分别在两个计算机 系统上进行计算和处理，两个予系统之间用串口进行通讯。本课题组现已有一个基于视觉伺服的平 面三自由度机器人系统，可以成功地打击对平面上滚动的乒乓球。此实验平台已经验证了该方案的 5 第二章机 税觉伺胜系统的总体设计 可行性。圈像处理计算机主要任务是接收并处理c c d 摄像机的检测信号提取目标物体位置信息， 将位置坐标咀及运动目标的速度信息通过r s 2 3 2 串口传递给上位控制机。上位控制机的主要任务是 接收图像处理后的敷据信息，并做山相应处理，对机械臂进行运动规划，通过安装在主控工控机上 的运动控制# 把控制信号传给伺服控制柜，然后驱动伺服电机，从而带动机械手运动，实现对运动 目标物体的捕捉。 2 2 1 自主研制的五自由度机械手的机构设计 机械手是模仿者人手的部分动作，按给定的程序，轨迹和要求实现自动抓取或搬运机械手机 构的设计是构建整个系统的第一步。也是至关重要的一步。 本课艇目的是使机械手抓取运动目标因此对机械臂的总的磐求是尽可能使本身结构紧凑轻巧， 运动轻快灵活。总的设计原则有三条：手部尽可能覆盖较大的空问； 根据对象姿态能够调整 自己的姿态； 咀最轻的自身重量达到合理的最大负载能力。 本文针对机械臂设计需求，设计的机械臂的自由度为5 个。通过对手腕的摆动和转动肘部摆 动以及脯部摆动和转动这5 个运动进行台理的结构分配，使重晕较重的电机和减速器等装置尽量靠 近基座，这样可以减小胸部电机的负荷，降低能耗。另外使机械臂能馋实现可选三维空间山的定位 操作并在结构上做到了轻快、灵活。为了能更方便的控制机械手手爪的位置和姿态实行分散自 f 的控制方式。因此设计还要求手腕的两个自由度负责手爪的姿态，其他的三个自由度负责手爪的 位置。田为本文研究的是捕捉运动目标，所以还涉及到手爪的抓墩动作本研究采片j 钢丝绳拉引的 方法，通过电机带动套管内的钢丝绳拉引手爪的两个手指来实现手爪对目标的抓取。f 面分为四点 进行详细描述。 i 其中腰部关节绕铅直轴旋转，肩部关节在垂直平面内实现俯仰，肘部芙节平行于肩部关节轴。 手腕处一个关节绕小臂旋转另一个轴实现俯伺l 动作。这种构型的特点是t1 ) 在作业空间山手臂的 干涉撮小，工作空间太：2 ) 结构紧凑，占地面积小。因此这种构型的机械臂被广泛应用。 2 芙于机器人的传动机构，由电机端到关节轴，依次采用行星齿轮减速器和同步带轮传动。采 用同步带轮传动还有以下三个优点，一方面同步带效率高，可达9 5 以上而且中心距可调，第二 方面同步带传动还有减震缓冲的作用。鉴于以上分析本文采用减述器加同步带轮的传动方式。 3 关于机器人的材料采用应铝合金制造，在质量相对于碳钢小得多的情况f 还具有良童f 的强 度和塑性因此住工程中得到广泛应h j 。奉机器人采用的牌号为l y l 2 的硬铝合金是一种高强度硬 铝，可进行热赴珲强化，_ | 日抗蚀性不高，因此_ 袭而进行了氧化址珲。 幽2 - 4 机械手的雅体结构图2 4 机器人控制系统 东南人学颈上学位论文 4 戈于机器人电机的选择，采用直流伺服m a x o n 电机，这种电机有诸多优点，体积小，传动 效率高，控制方便菩。机械手的接体结构见图2 _ 4 。 l 号伺服电机型号为r e4 0 ( 1 4 8 8 7 7 ) ，伺服驱动器型号为a d s5 0 54 - q - d c ( 1 4 5 3 9 1 ) ，功率为 15 0 w a l t 电压为4 8 v ，电机输出轴连接行星减速器2 0 3 1 2 9 减速比为1 5 6 ，展人传递效率为7 2 。 同步带的减速比为4 ：3 。编码器为数字光电编码器，型号为1 1 0 5 1 4 。 2 号和3 号伺服电机型号为r e3 6 ( 1 1 8 8 0 4 ) 伺服驱动器型号为a d s5 0 54 - q d c ( 1 4 5 3 9 1 ) ，功 率为7 0 w a t t ，电压为4 8 v ，电机输出轴连接行星减速器1 6 6 1 6 6 ，减速比为7 9 最- 大传递散率为7 0 。 同步带的减速比为1 。编码器为数字光电编码器型号为1 1 0 5 1 4 。 4 号，5 号及6 号电机型号为r e - m a x2 4 ( 2 2 2 0 5 8 ) 。伺服驱动器型号为a d s5 0 54 - q , - d c ( 1 4 5 3 9 1 ) ， 功率为l l w a t t 电压为4 8 v ，电机输出轴连接行星减速器1 4 3 9 8 4 ，减述比为8 4 ，最大传递效率为5 9 。 同步带的减速比为1 。编码器为m r 编码器型号为2 0 1 9 4 0 。 2 22 机器人控制系统的搭建 系统的总体控制系统见幽2 - 5 。控制柜安装r 控制 系统的电气控制部分，电机驱动器。上位控制机以及 运动控制r 等。 由于在实验过程中会出现一些情况，倒如：限位 开关必灵，运动述度过快，运动方向错误，电机失去 控制等情况需要立刻断电，为了方便起见需要采用电 气控制系统米控制对系统的供电。另外一个原因。由 丁整个系统所需电压不一致如4 8 v 2 4 v 5 等。所 以采崩一整套的电气控制系统是较为规范和安全的措 施。图2 6 为处于总体控制柜的最底层土噩i ：作是开、 关电源和屯压的转换。 总开关 ln 地 q - - - - 纽台开关； 图2 _ 6 电气控制回路 图2 - 7 系统的电气控制电路圈 第二章机器 视觉倒股系统的总体设计 对电动机或其他电气设备的接通和断开控制，当前国内较多地采用继电器、接触器及按钮等控 制电器来实现自动控制。这种控制系统一般称为继也接触器控制系统，它是一种有触电的断续控制 因为其中控制电器是断续动作的。 车研究采用同高g e - 8 0 0 p v 八轴运动控制器见图2 - 8 2 - 9 。由主控制计算机中的g e - 8 0 0 - p v 运动控制 发出速度控制电压信号。c n i 接口中还包括报警、限位、准备好等i o 信号，由1 6 通道 的隔离数字i o 接口负责接收、发送。c n 2 接口负责接收光电编码器的串行反馈信号，井经转化后 发送给g e - 8 0 0 p v 运动控制p 。这种运动控制器是深圳围高科技有限公司自主开发的一共通埘型点 位运动控制卡广泛应用在测量机、数控机床、加工中心、机器人等设备上“1 。 图2 - 8 运动控制器使片i 示意例图2 - 9g e 一8 0 0 一p v 点位运动控制 2 23 摄像机和图像采集卡 本系统采用的摄像机为松f w v - b p l 4 0 ，i 3 ”黑白c c d 摄像机，具有5 0 9 ( h ) x 5 8 2 ( v ) 像素 的1 3 “c c d 转换元仆，提供3 8 0 线的水平清晰度。采用的嘲像采集 是北京火恒图像公司研制的彩 甘黑白削像采集rd h _ c g 4 0 0 。d h c g 4 0 0 基于高性能的p c i 总线，使其能实时传送数字视频信号 剑显示存储器或系统存储器。输入的彩色视频信号经数字解码器、模数转换器、比例缩放、裁剪、 色空变换等处理，通过p c i 总线传到v g a 实时显示或传到计算机内存实时存储，数据的传送过 程是由l 芏i 像# 控制的无需c p u 参与瞬间传输速度可达1 3 2 m b s 。 2 3 本系统的总体软件平台的搭建 2 31 图像处理的软件平台 图像处理计算机使用的是w i n d o w s x p 系统，w i n d o w s x p 系统具有撵作容易，兼容软件丰富，使 用人多等优点。人部分的图像处理程序是在w m d o w s 系统上开发的， v c 60 是m i c r o s o t t 公司推出的开发w i n 3 2 环境程序，面向对象的可视化集成编程系统。能充分 利刚具有面向对象特性的c + + 来开发出专业级的w i n d o w s 应用程序，而且作为一个集成开发工 具，提供了程序框架自动生成、灵活方便的类管理、代码编写和界面设计集成交互操作等功能极 的方便了用户的开发。同时提供了强大的类库，其中功能强大到足以完成我们程序中的绝大部分 所需功能这使得用户编写鞋序的难度大为减小，极大的提高了任务的开发进度。v c 6 0 本身就是 一个倒形的开发界面它提供了丰富的芙丁位圈操作的函数，对开发幽像处理系统提供了极大的方 便。因此，它现在已经成为开发w i n 3 2 程序包括附像处理程序的主要开发工具。 所以本系统的凹像处理计算机采用v c 60 的编程环境在大恒闰像采集卡提供的图像采集函数 库基础上上进行二次开发。 东南大学硕上学位论文 2 3 2 运动控制的软件平台 主控工控机使用d e b i a nl i n u x + r t l i n u x 操作系统，编程语言为c 语言。 以工业p c 为硬件平台、p c 操作系统为软件平台开发测控系统是当前工业实时测控系统的一个重 要的研究方向。d o s 和w i n d o w s 是p c 上的主流操作系统，但是d o s 和w i n d o w s 在解决实时多任 务的实现问题上存在着许多缺点；商业实时操作系统，虽然性能较好，但是价格昂贵，源代码保密， 对实时系统开发带来很多不便。 自由软件l in u x 操作系统的出现提供了改变这种局面的契机。l i n u x 本身是通用分时的操作系统， 不具有实时性。要将r t l i n u x 应用于实时领域，必须对其进行实时性改造。近些年来，国际上陆续提 出了一些对l i n u x 进行实时性改造的技术方案，也出现了很多相应的实时l i n u x 的成果。在众多的实 时l i n u x 优秀成果当中，r t l i n u x 是最早出现的，可以说是实时化l i n u x 中的鼻祖；在实时性能上也是 其中的佼佼者。 r t l i n u x 是新墨西哥科技大学( n e wm e x i c oi n s t i t u t eo f t e c l m o l o g y ) 的研究成果。它实现的本质是 在原有l i n u x 基础上再设计一个专门用于处理实时进程的微内核。r t l i n u x 在l i n u x 内核和硬件中断之 间插了一个“虚拟机”层( v i r t u a lm a c h i n e ) r t l i n u x i , j 核。就标准l i n u x 而言，新的”虚拟机”层( v i r t u a l m a c h i n e ) 看起来就是实际的硬件。r t l i n u x 引人了中断模拟器，先于l i n u x 。内核拦截硬件中断，这 样l i n u x 就不能真正禁止硬件中断，所以不管l i n u x 处于什么状态，它都不能延长实时系统的中断响 应时间。l 玎l i n u ) 【还引人了一个可抢占的、碴| 定优先级的调度器( s c h e d u l e r ) ，它把原来的l i n u x 内核作 为实时内核下的一个随时可被实时进程抢占的优先级最低的进程【2 9 1 。 r t l i n u x 的应用程序分为实时任务和非实时任务。实时任务主要负责响应外设数据采集的中断， 对外设数据进行采集等。非实时任务主要包括数据显示、用户交互、数据存储、网络功能等等。 应用程序运行于两个空间：用户空间和内核空间。r t l i n u x 提供了应用程序接口，借助这些a p i 函数将实时处理部分编写成内核模块，并装载到r 1 r l i n u x 内核中，运行于r t l i n u x 的内核态。非实时 部分的应用程序则在l i n u x 下的用户空间中执行，这样就可以发挥l i n u x 对网络功能、图形功能、窗 口系统等功能的强大支持。 系统的非实时模块，即用户空间完成实时数据的处理、存储和人机交互的数据显示等任务。 实时模块，即内核空间与非实时部分的接口实时部分负责对数据的采集、处理和数据输出，非 实时部分要进行数据的存储和显示，所以为了使实时模块和非实时模块能结合起来，形成一个整体， 那么实时任务就要和非实时任务进行通信，即进行数据交换。在该系统中采用r t - f i f o ，一共采用了 4 个r t - f i f o 管道，分别用于传送实时采集到的数据，数据从实时内核模块传送至l j l i n u x 用户空间程序。 1 ) r t l i n u x 实时性的实现方法 r t l i n u x 是源代码开放的具有硬实时特性的多任务操作系统，它是通过底层对l i n u x 实施改造的 产物。通过在l i n u x 内核与硬件中断之间增加一个精巧的可抢先的实时内核，把标准的l i n u x 内核作 为实时内核的一个进程与用户进程一起调度，标准的l i n u x 内核的优先级最低，可以被实时进程抢 断。正常的l i n u x 进程仍可以在l i n u x 内核上运行，这样既可以使用标准分时操作系统虽p l i n u x 的各 种服务，又能提供低延时的实时环境。 r t l i n u x 的任务调度策略采用完全适应于实时应用的按优先级抢占c p u 的调度方法。这种方法 保证任何时刻都是优先级最高的任务占用c p u 。优先级最高的任务可以中断当前运行的程序而抢占 c p u ；优先级较低的任务，只有在所有优先级比它高的任务都运行完后才能投入运行。同时i 玎l i n 畎 也支持其他的调度策略，如e d p 算法( 截止时限靠前者最先调度) 、r m 算法( 周期短者优先级高) 等。r t l i n u x 将任务调度器本身设计成一个可装载的内核模块，用户可以根据自己的实际需要，编 写适合自己的调度算法。 对于一个操作系统而言，精确的定时机制虽然可以提高任务调度器的效率，但会增加c p u 处理 定时中断的时间开销。r t l i n u ) 对时间精度和时钟中断处理的时间开销进行了折中考虑，不是像l i n u x 9 第二章机器人视觉伺服系统的总体设计 那样将8 2 5 4 定时器设计成1 0m s 产生一次定时中断的同定模式，而是将定时器芯片设置为终端计时 中断方式。根据最近进程的时间需要，不断调整定时器的定时间隔。这样可以获得高定时精度，使 中断处理的开销又最小。 2 ) r t l i n u x 与l i n u x 的结合 图2 1 0r t l i n u x 内核示意图 r t l i n u x 实现了一个在l i n u x 本身内核下的一个小而精巧的内核，这个内核只需要完成底层创建、 中断服务程序，并为底层任务、i s r 和l i n u x 进程之间进行通信排队的工作。r t l i n u x 将l i n u x 内核作 为实时内核下的一个随时可被实时任务抢占的任务级最低的任务来运行，从而避免了l i n u x 内核性能 的问题。这样，从r t i i n u x 应用来看，就存在两个域，一个是实时域，一个是非实时域。放在实时 域的任务能满足其实时的要求，不过这些任务必须要简单，因为可用的资源受到了限制；非实时域 的任务可以利用整个l i n u x 的资源，不过不能提供任何的实时性能。在两个域之间可以通