（机械电子工程专业论文）视觉伺服机器人捕捉运动目标及实时避障研究.pdf

东南大学学位论文独创性声明 本人声明所旱交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知， 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：军! 亟叠 日期： a 丘芝：! 三2 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文 档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除 在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括以电子信息形式刊登) 论文的全部 内容或中、英文摘要等部分内容。论文的公布( 包括以电子信息形式刊登) 授权东南大学研究生院办理。 研究生签名：辩导师签名： 日期： 摘要 摘要 研究生姓名：平国祥导师姓名：罗翔学校名称：东南人学 视觉伺服可以对机器人工作环境进行辨识、定位，通过闭环反馈提高机器人的操作精度，使机器人 在非结构化环境中的应用成为可能。如何实现多视觉融合、机器人抓取动态物体以及实时避障都是机器 人研究领域的热点问题。 本文采用混合的全局9 3 部双目视觉系统，运用基于径向约束的两步标定法标定出了全局和局部摄像 机的焦距和6 个外部参数，通过射线法解决了物体特征点的3 d 定位问题并进行了相关的实验。实验结 果显示，双目视觉的定位误差可以控制在1 0 m m 以内。目前，扩展卡尔曼滤波是实现多视觉融合普遍采 用的方法之一。为了提高对运动物体的预测精度，本文先给出了一种简单的精度度鼍方法，然后通过选 择不同的特征点集合进行数值仿真，提出了以最人内切圆? 卜径为标准动态选择特征点的策略。 为了实现机器人抓取传送带上的运动物体，本文将抓取步骤划分为跟踪段和接近段。采j l j | 雅可比矩 阵研究了机器人在这两个阶段的位置和姿态规划方法，以降低机械手在启动阶段和抓取运动物体瞬间的 运动冲击。此外，为了解决机械手无法抓取快速运动的物体，本文提出了一种偏移量补偿的方法使机械 手能够抓取速度提高了1 倍的运动物体。采用该方法机械手不仅可以抓取工作空间中的动态物体，还可 以抓取静态物体。为了验证该方法的有效性，对机械手抓取静态物体进行了在线的实验，同时对机械手 抓取动态物体进行了离线的实验。实验结果表明，机械手可以准确地抓取到目标。 基于安全区域的概念，本文采用广义逆对冗余度机器人实时的避障算法进行了研究。给出了一种利 用机械手自运动实现的避障算法，然后对该避障算法进行了计算机仿真，最后在视觉伺服平面三自由度 机器人平台上进行了在线实时避障实验，验证了该算法的有效性。 关键词：视觉伺服；扩展卡尔曼滤波；机器人；跟踪与抓取；实时避障 东南大学硕上学位论文 一_ a b s t r a c t b yp i n gg u o x i a n g s u p e r v i s e db ya s s o c i a t ep r o f l u ox i a n g s o u t h e a s tu n i v e r s i t y t h er o b o te n v i r o n m e n tc a nb ei d e n t i f i e da n dl o c a t e db yv i s u a ls e r v o i n g t h ea c c u r a c yo fo p e r a t i n gc a nb e i m p r o v e dt h r o u g ht h ec l o s e dl o o pf e e d - b a c kc o n t r 0 1 t h u s ，t h ea p p l i c a t i o no fr o b o ti nu n s t r u c t u r e de n v i r o 哪e n t i sp o s s i b l e a tp r e s e n t ，t h ew a yt oa c h i e v em u l t i - v i s i o nf u s i o n ，g r a s pm o v i n go b j e c ta n dr e a l t i m eo b s t a c l e a v o i d a n c ea r et h eh o ti s s u e s o ft h er o b o tr e s e a r c h t h et w o - s t a g et e c h n i q u ei su s e di nt h e h y b r i de y e t o - h a n da n de y e i n h a n dc a m e r ac o n f i g u r a t i o nt o c o m p u t et h ee f f e c t i v ef o c a ll e n g t ha n d6e x t e r n a lp a r a m e t e r so ft h et w oc a m e r a s t h e nt h e3 dp o s i t i o no fa r a n d o mp o i n ti so b t a i n e db yu s i n gt h em i d p o i n tm e t h o d s o m ee x p e r i m e n tr e s u l t ss h o wt h a tt h ee s t i m a t i o n e r r o ri sl e s st h a n1 0 m m c u r r e n t l yt h ee k f i so n eo ft h em o s tc o m m o n l yu s e dm e t h o d st or e a l i z em u l t i - v i s u a l f u s i o n i no r d e rt oq u a n t i f yt h ei n f l u e n c eo na c c u r a c yo fv i s i o nd e t e c t i n gw i t hd i f f e r e n tf e a t u r e s ad i m e n s i o n l e s s m e a s u r eo fp o s i t i o na n do r i e n t a t i o no ft w oo b j e c t si sd e f i n e d t h e nt h em a x i m u mi n s c r i b e dc i r c l eo f t h ef e a t u r e s e ti n v o l v e di ne s t i m a t i o ni sp r o p o s e dt ob et h ec r i t e r i o no ff e a t u r es e l e c t i o n s i m u l a t i o nr e s u l t sd e m o n s t r a t e t h a tt h ea c c u r a c yo fe s t i m a t i o nc a nb ei m p r o v e db yu s i n gt h i ss t r a t e g y i no r d e rt oc a t c ht h em o v i n go b j e c to nt h ec o n v e y o rb e l t ，t h e g r a s p i n gs t e pi sd i v i d e di n t ot w op e r i o d s ： t r a c k i n ga n dg r a s p i n g t h em e t h o do fp o s i t i o na n dp o s ep l a n n i n gi ss t u d i e db yu s i n gj a c o b i a nm a t r i x a n da m e t h o do fo f f s e tc o m p e n s a t i o ni sp r o p o s e di nt h i sp a p e rt og r a s p i n gt h ef a s tm o v i n g o b j e c t i tc a nb ea p p l i e dt o g r a s pn o to n l yt h em o v i n go b j e c tb u ta l s ot h es t a t i co b j e c t t h eo n l i n ee x p e r i m e n to fg r a s p i n gt h es t a t i co b j e c t a n dt h eo f f - l i n ee x p e r i m e n to fg r a s p i n gm o v i n go b j e c ta r ec a r r i e do u tt ov e r i f yt h ee f f e c t i v e n e s so ft h em e t h o d t h er e s u l t ss h o wt h a tt h er o b o tc a nc a t c ht h eo b j e c ta c c u r a t e l y b a s e do nt h ec o n c e p to fs a f e t y z o n e ，a na l g o r i t h mo fr e a l t i m eo b s t a c l ea v o i d a n c ef o rr e d u n d a n tr o b o t u s m gm o o r e _ p e n r o s ei n v e r s ei sp r o v i d e d ：f i r s to fa l l ，as i m u l a t i o nw i t ha3d o fp l a n a rm a n i p u l a t o ri s p r e s e n t e d a n dt h e nt w os u p p o r t i v eo n l i n ee x p e r i m e n t so fr e a l t i m eo b s t a c l ea v o i d a n c ea r ec o n d u c t e da n dt h e e x p e r i m e n t a ld a t aa r ea n a l y z e d t h es i m u l a t i o na n de x p e r i m e n t a lr e s u l t sd e m o n s t r a t et h ee f f i c i e n c ya sw e l la s t h er e a l - t i m ep e r f o r m a n c eo ft h ea l g o r i t h m k e y w o r d s ：v i s u a ls e r v o i n g ；e x t e n d e dk a l m a nf i l t e r ；r o b o t ；t r a c k i n ga n dg r a s p i n g ；o b s t a c l ea v o i d a n c e i i 目录 目录 j 口5 要l a b s t r a c t i i e j 录1 l l 第一章绪论1 1 1 弓l 言1 1 2 课题研究的背景与意义1 1 3 国内外研究现状2 1 4 论文的主要研究工作3 第二章视觉伺服机器人系统概述与参数整定。5 2 1 机器人视觉伺服系统概述6 2 2 机械手零位的标定。7 2 3 机械手关：1 了速度及加速度的计算与设定9 2 4 本章小结1 3 第三章基于扩展卡尔曼滤波的3 d 运动目标跟踪方法。1 4 3 1 基于空间射线的3 d 定位方法介绍1 4 3 2 动态选择特征点的目标跟踪和估计方法1 7 3 3 扩展卡尔曼滤波的数值仿真2 3 3 43 d 多视觉融合的定位实验研究2 4 3 5 本章小结2 6 第四章视觉伺服机器人捕捉运动目标的规划与实验研究2 7 4 1 机器人d h 坐标系的建立及雅可比矩阵2 7 4 2 机械手抓取运动目标的实时运动学规划k 3 1 4 3 抓取快速运动目标的速度修止3 6 4 4 机械手抓取目标的实验3 9 4 5 本章小结4 6 第五章视觉伺服机械手的实时避障规划与实验研究4 7 5 1 视觉伺服冗余度机器人实验系统介绍4 7 5 2 基于安全区域的冗余度机器人实时避障算法4 8 5 3 计算机仿真与避障算法的实验实现5 2 5 4 机械手在线避障实验与实验数据分析5 3 5 5 本章小结5 5 第六章总结与展望。5 6 6 1 总结5 6 6 2 展望5 6 致谢5 7 参考文献5 8 附录6 1 攻读硕士研究生期间发表的论文6 3 i i i 第一章绪论 1 1 引言 第一章绪论 机器人技术是集机械、电子、白动控制、计算机以及人工智能等多学科领域的一项综合性应用技术 【l j 。随着机构学、自动控制理论、计算机技术的发展，机器人技术不仅成为t 业自动化系统的重要组成 部分，而且也是高技术领域内具有代表性的技术之一。上业机器人在生产线上的广泛应用，提高了生产 线效率的同时，还提高了产品的合格率。例如，国内摩托车行业第一条机器人生产线的投入使用，使生 产效率提高了4 2 8 ，合格率! j i i l 从7 0 提高到了9 7 i 刭，推动了工业生产方式的变革，对人类社会的发 展产生了深远的影响。机器人能够精确地执行各种各样的任务和操作，不需要人类工作时所需要的安全 措施和舒适的工作条件，可以完成更加危险或是人类不可能完成的任务。例如在空间领域，加拿大m d r o b o t i c s 公司设计制造的世界上第一个实用的空间机械手s r m s ，总长度1 5 2 m i 3 , 4 】。自从1 9 8 1 年随美国 哥伦比弧号航天飞机完成首次飞行以来，s r m s 已经服务了2 0 多年，从未失败过。其主要功能是卫星的 捕获和投放，并可作为宇航员出舱的辅助设备【5 】。 从1 9 6 1 年美国u n i m a t e 公司生产了第一台的商用机器人以米，机器人已经得到了迅速的普及。目前， 机器人主要被用于现代化的柔性生产线中，其中典型的工业机器人有搬运、焊接、喷漆机器人。虽然工 业机器人的应用日趋成熟，但是绝人部分的机器人仍应用丁焊接和物料搬运作业。在例如装配作业等技 术要求高的领域，机器人的应用还是相对较少的。 1 2 课题研究的背景与意义 早期的机器人大多是示教型机器人，它可以成功的抓取一个位置姿态己知的物体，但是当物体的位置 和姿态变化时，常常导致抓取操作的失败，这是因为机器人系统中缺乏感知能力的缘故。随着机器人技术 的进步以及人类对机器人性能要求的不断提高，人们期望实现将机器人高速、高精度的应用丁t 业自动化 生产线中，以提高生产效率。同时，学者正在研究具有环境感知能力的机器人控制技术，以扩人机器人在 非结构环境中的应用范科6 。 其中，视觉伺服技术在机器人领域中的应用己有多年历史【_ 7 1 。视觉伺服是指以实现对机器人控制为 目的而进行图像的自动获取与分析，在尽量短的时间内给出反馈信息，参与控制决策的产生，构成机器 人末端执行器的位置闭环控制【8 】。当t 作目标的位姿未知、工作目标的运动规律未知，机器人的手臂是 柔性、且不精确的情况下，通过视觉传感器对机器人进行视觉传感控制具有明显的优越性，可以使机器 人的智能水平有较大的提高【9 】。通常采用的视觉传感器是c c d 摄像机，视觉定位是机器人视觉控制的重 要研究内容，也是实现视觉控制的基础。视觉定位主要研究从二维图像信息到三维笛卡尔空间信息的映 射以及视觉定位系统的构成等。其中，从二维图像信息n - 维笛卡尔空间信息的映射比较容易实现，已 经是比较成熟的技术。而二维图像信息到三维笛卡尔空间信息的映射以及相关视觉定位系统的构成与定 位原理等，仍然是目前研究的热点。 如果将二维图像信息进行三维笛卡尔空间的映射，就必须解决多视觉的融合技术。目前，多视觉融 合技术的摄像机配置类型主要可以分为三类【1 0 l ：眼在手上的摄像机配置，眼到手上的摄像机配置，以及 眼在手上与眼到手上的混合摄像机配置模型( 又称为全局m 部摄像机模型) 。其中，第一种配置方式可 以获得很高的精度，实现精确控制，但是提供的视野较小，只能得n d , 的工作空间场景，并且由于手眼 系统只能观察到目标而无法观察到机器人末端，因此需要通过已知的机器人运动学模型来求解目标与机 器人末端的位置关系，对标定误差以及运动学误差比较敏感；第二种方式可以保证很大的视野，既可以 观察到目标义可以观察到机器人末端，并且可以得到大的工作空间场景，能得到机器人末端相对于目标 的相对速度，但是测量精度较低，且机器人的运动可能造成目标图像的遮挡；第三种配置方式具有前两 种配置方法的优点，原因在于全局摄像机可以提供大视野，同时局部摄像机可以提供较高的精度。 】 东南人学顾 j 学位论义 此外，在二维图像信息映射到二维坐标信息的多视觉融合技术中，必然会引入一些噪声，同时由于二 维信息到三维信息的融合是非线性的，冈此很多学者引入了扩展卡尔曼滤波器来消除噪声，并估计目标 物体的空问位置和运动参数。目前，扩展卡尔曼滤波作为一种重要的最优估计理论被广泛应用于各种领域， 如惯性导航、制导系统、目标跟踪1 等，通过多视觉的3 d 融合技术采用扩展卡尔曼滤波可以准确的预测出 运动目标的位置和姿态。在目标运动参数已知的情况下，如何控制机器人对运动的目标进行实时动态操作 是机器人研究的重点之。 机器人的动态任务操作主要包括跟踪、捕捉和打击运动目标等任务，其应用土要有以下几个方面：太 空捕捉卫星机器人、抛接机器人以及各种球类机器人。机器人动态操作任务与机器人静态操作任务的不同 之处在于其作业环境特别是运动目标的不确定性，因此，运动规划是该领域需要解决的重要问题。传统运 动规划方法的计算量较大，而机器人操作动态物体通常要求实时规划和控制，同时由于机器人的运动速度 比较快，就会产生机器人的运动规划与动力学性能相协调的问题。因为大多数实时规划是在机器人工作空 间进行的，而机器人工作空间与关节空间之间是一个时变非线性的映射，易使运动规划超出关节的驱动能 力。从而造成机器人运动偏离期望的轨迹，在机器人高速抓取、避障时就会引起严重的问题。 随着机器人应用范同的不断扩展，为了对复杂的上作环境及特定的操作任务有较高的适应能力，经 常要用到冗余度机械手。冗余度机械手是指关节自由度数目大予末端位姿限定自由度的机械手，从运动 学上的定义是指完成某一特定任务时，机械手具有多余的自由度。由丁冗余自由度的存在而使机械手的 逆运动学问题有无穷多组解，即在保证机械手末端主要运动任务完成的同时，还可以根据不同的工作要 求，通过不同的运动学、动力学性能优化指标来完成一些次要任务，如：躲避障碍、避开奇异位姿和优 化关节力矩等。 避障规划是指给定环境的障碍信息，以及机器人的起始和目标位姿，要求确定一条从起始点到目标 点的路径，使机器人能安全、无碰撞地通过障碍物。这种自主地躲避障碍并完成作业任务的机器人是机 器人研究的一个重要内容。 首先，机器人要准确地识别操作目标的运动参数位置、速度和姿态信息；其次，机器人需要对 工作环境进行识别，以防止在执行任务时与工作空间中的其他设备发生碰撞，从而造成不必要的财产损 失；最后，根据识别出的环境信息，机器人进行相应的运动规划以实现捕获目标的同时避开一些潜在的 碰撞。至今，具有视觉伺服的机器人系统是一种较为完善的机器人系统，它能根据视觉输入信息及时在 计算机中通过运动规划形成关节的位置和路径数据，并将数据送至接口以控制机械手动作，而不必预先 用编程方法确定位置和路径数据。例如，工业现场中传送带上的零件是一个运动目标，机器人要跟踪并 抓起它就需要具有决策和适应能力，这就要求机器人实时规划出机械手的运动位置姿态等参数，从而对 运动目标进行实时捕捉并避开障碍物以免发生碰撞。 视觉伺服机器人跟踪和操作运动物体技术不仅可以应用在抓取装配线上正在运动的零部件，而且机器 人实时操作运动物体的研究义是一个研究仿生智能的平台。研究捕捉问题能够促使我们进一步深入研究人 类自身的智能模式和行为，促进仿生智能在智能机械领域的理论和应用研究。 1 3 国内外研究现状 视觉伺服机器人操作动态目标始终存在两个功能模式：目标辨识、定位和机器人运动控制。其中视觉 伺服是决定机器人操作动态目标的关键因素之一，根据视觉伺服所提供的反馈信号，机器人跟踪目标的实 时性、快速性以及柔顺性决定机器人能否捕捉到运动目标。 目前，根据误差是在3 di 作空间中定义还是在图像空间中定义【1 2 】，视觉伺服可以分为基于图像的视觉 伺服( i m a g e b a s e dv i s u a ls e r v o i n g ) 与基于位置的视觉伺服( p o s i t i o n - b a s e dv i s u a ls e r v o i n g ) 这两类i l 引。 基于图像的视觉伺服优点是对摄像机以及目标标定误差不敏感，具有较好的鲁棒性，所以与基于位置的 视觉伺服相比该方法得到了深入的研究与应用【1 4 1 。但是，基于图像的视觉伺服一般多用于眼在手上的单摄 偬机伺服机器人【1 5 , 1 6 , 1 7 ，其反馈的信号多以2 d 图像信息为主。对于多视觉伺服，采用基于图像的伺服方法 并没有充分利用多视觉提供的信息，没有完全实现多视觉的融合，只是分别用不同的摄像机实现不同的功 2 第一章绪论 能。例如，f l a n d i n 将全局摄像机用于观测机器人工具的位置，局部摄像机刚于观测摄像机的姿态【1 8 j 。 由于摄像机的标定相对复杂以及标定精度的影响，基于位置的视觉伺服不如基于图像的视觉伺服应用 广泛。研究基于位置的视觉伺服主要采用的方法是扩展 尔曼滤波h9 驯，通过选择特征点进行滤波与预测 不仅可以滤除图像中的噪音实现多视觉的融合，而且可以预测出运动目标在下一时刻的位置和姿态。因此， 图像处理造成的时间延迟可以得到较好的解决 2 1 , 2 2 , 2 3 1 。其中，特征点的选择对扩展卡尔曼滤波与预测的精 度影响较大，但是至今还没有统一的特征点选取方法。 通过视觉伺服可以为机器人提供非结构环境中目标的位置和姿态，如何控制机器人快速柔顺地操作动 态目标是机器人运动规划中的一个主要问题。王挺博士提出了利用人机合作技术抓取目标的方法。在抓取 过程中，由操作者利用简易的交互方式给出目标抓取点的位置和抓取姿态。这种抓取方式只适用于机器人 抓取静态的目标，对于抓取运动的目标这种方式显得无能为力比制。汗建华博士采用5 自由度机器人( 前3 个 关节移动副，后两个关节转动副) 单目主动视觉系统，在摄像机无标定的情况下，实现了对平面运动目标 的快速跟踪应用该方法所跟踪的运动目标速度不大于0 3 m s ，而且对于机械手如何抓取运动目标的实时 规划问题并没有涉及埋引。苏剑波教授给出了一种采用变比例导引的机械手规划方案来跟踪运动目标【z 6 1 。周 东辉采用儿何方法实现了对7 自由度机器人的白运动“可视化”控制，提出利用冗余度机器人零空间的一 组基米分析机器人关节空间的运动速度【2 7 1 。黄攀峰教授从工程的角度研究了空间机器人捕捉失控卫星的 控制方法，机器人采用螺旋上升的方式接近失控的卫星。显然，该方法不适用于抓取t 业生产线上的 运动日标【捌。俄罗斯学者i g o rb e l o u s o v 研究了通过网络远程控制机器人实时抓取运动目标的方法【2 9 。，并进 行了机器人抓取固定目标和运动目标的实验。在实验中，用两条细线将一根棒的西端系住，并给定轨迹模 拟目标的运动状态。运动目标的轨迹固定，加速度是常数，速度是l o c m s 。k o i c h i r od e g u c h i 采用双摄 像机视觉伺服系统研究了基于图像视觉伺服的机器人捕捉i s 行目标的方法p o j 。由于机器人捕捉的是一个做 抛物线运动的小球，只需要通过图像规划运动控制器不断消除图像中的位置误差，并不涉及机器人捕捉目 标时3 d 空间的姿态。 冗余度机器人的避障一直是机器人研究中的一个热点问题。目前，机器人的避障主要可以分为基于c 空间的高维路径规划和基于势场的低维路径规划两类。由于基丁c 空间的高维路径规划计算复杂，一般不 适宜作为实时的避障规划方法拍；k h a t i b 教授引入“人t 势场”与“基元”的概念解决机械手与移动机器 人的避障瞄引，该算法的缺陷在丁机器人的运动可能趋于局部势能最小点，从而造成机器人最终的运动在该 点不断振荡而无法实现避障。基于势场的低维路径规划方法计算量较小，一般用于机器人的实时避障规划， 在基于势场的避障方法中，障碍物产生虚拟的排斥势场迫使机械手向自由空间运动。研究生n i c h o l a sa s c o t t 采用“人工势场”研究了机器人实时避障问题1 3 3 。，并将其应用n 8 自由度机械手的实验平台，整个机 器人避障过程的耗时超过2 5 0 s 。罗翔副教授等驯从机器人构形出发采用矢量方法规划机器人的白运动，同 时研究了冗余度机器人的避障问题。此外，h o m a y o u ns e r a j i 教授采用弹簧阻尼模型研究了位置控制的机 械手实时避障技术【3 5 , 3 6 】。当机械手接近障碍物时，虚拟的弹簧阻尼模型将对机械手反作用一定的虚拟 力，在该力的作用下机械手在笛卡尔空间运动相应的位移以避开障碍物。该方法不同于势场法，因为 基于势场的实时避障方法更适于力矩控制的机器人避障，而此方法对于解决位置控制的机器人避障相 对简单，机器人实时避障的时间消耗约为2 3 s 。 1 4 论文的主要研究工作 本课题对视觉伺服机器人的实时运动控制进行了较为深入的研究，主要研究了多视觉的融合技术、 五自由度机器人捕捉运动目标的规划以及视觉伺服机器人的实时避障技术。全文结构如下： 第一章：主要介绍课题的研究背景及意义、国内外研究现状以及论文的主要内容。 第二章：介绍了多视觉融合技术的全局、局部摄像机配置问题，并对视觉伺服机器人的软硬件平台 进行了一些简单的介绍。标定了机器人的零位，针对机器人在实际运动中出现的抖动和跟踪精度差等问 题，对机器人的单关节运动控制参数进行了整定和在线的轨迹跟踪调试。 第三章：基于视线的3 d 运动目标估计与跟踪方法研究。首先，采用两步标定法标定出了全局n 部 3 东南人学硕上学位论文 摄像机的有效焦距以及6 个外部参数，并进行了3 d 空间中点的定位实验，其定位误著可以控制在1 0 m m 以内。然后，采用基于c a d 模型的动态扩展卡尔曼滤波算法对传送带上的运动目标进行位姿的识别， 提出了一种改善运动目标位姿预测精度的动态选择特征点策略，并对其进行了仿真。 第四章：在目标运动参数已知的情况下，对视觉伺服机器人实时捕捉运动目标进行了运动学规划， 提出了一种机器人抓取运动目标的实时规划算法，解决了机械手无法抓取快速运动目标的问题。并对该 算法进行了计算机仿真，随后在实验平台上分别进行了抓取静态目标的在线实验和抓取运动目标的离线 实验，最后分析了实验结果。 第五章：研究了视觉引导下的机器人实时避障问题。引入安全区域的概念，针对平面三自由度机器 人提出了一种基于冗余度机器人白运动的实时避障算法。然后，对算法进行了计算机仿真，并给出了算 法实现的实时运动控制框图。最后，在视觉伺服机器人平台上进行了机器人在线的实时避障实验，并对 实验结果进行了分析。 第六章：总结了本文所作的t 作，并对进一步改进本系统进行了展望。 4 第三章基于扩腱卡尔曼滤波的3 d 运动目标跟踪方法 第二章视觉伺服机器人系统概述与参数整定 视觉伺服系统好比机器人的眼睛，可以实现对目标稳定的视觉跟踪，将跟踪剑的目标运动参数及时地 反馈到机器人的控制系统中去，不断地引导机器人对目标进行动态的操作。在非结构化的环境中，机器人 的视觉伺服是决定机器人能否顺利完成任务的主要网素。视觉伺服机器人操作动态目标的关键是：确定3 d 空间中运动目标与机械手末端之间的相对位置和姿态。根据反馈信号的不同，机器人视觉伺服主要可以分 为基于位置的视觉伺服与基于图像的视觉伺服两种方式【1 3 r 3 7 1 。 对于基于位置的视觉伺服系统，其反馈信号是3 d 空间中目标的位置和姿态。基于位置的视觉伺服控 制系统通常由视觉图像处理、预测及滤波、机器人运动控制器、机器人本体等模块组成，如图2 - 1 所示。 其控制精度主要依赖丁滤波与预测获得的目标位姿估计精度，运动目标位姿的预测精度与视觉伺服系统的 参数标定有关。 期望位置 h + 撮像机 图2 一l 基于位置的视觉伺服控制系统的结构 基于图像的视觉伺服系统，其反馈信号直接使用摄像机采集到的二维图像特征来定义。基于图像的视 觉伺服系统的定位精度对摄像机标定误差及图像噪声不敏感。与基于位置的视觉伺服相比，基于图像的方 法仅需要计算图像特征误差函数、深度参数和雅可比矩阵的逆。计算鼍相对较小，有较好的鲁棒性。其控 制系统结构如图2 2 所示。 期 摄像机 图2 2 基于图像的视觉伺服控制系统的结构 根据摄像机安装位置的不同，机器人视觉伺服又可以分为眼到手上、眼在手上和混合的全局厂局部三种 配置方式d o , 3 引，前者的摄像机同定在某个位置，可以保证很大的视野，即可以观察剑目标又可以观察到机 器人末端，并且可以得到大的工作空间场景，能得到机器人末端相对于目标的相对速度，但是测量精度较 低，且机器人的运动可能造成目标图像的遮挡；后者的摄像机安装在机器人末端执行器上，可以获得很高 的精度，实现精确控制，但是提供的视野较小，只能得到小的工作空间场景，并且由于手眼系统只能观察 到目标而无法观察到机器人末端，因此需要通过己知的机器人运动学模型来求解目标与机器人末端的位置 关系，对标定误差以及运动学误差比较敏感。第三种配置方式具有前两种配置方法的优点，原因在于全局 摄像机可以提供大视野，实现目标的无丢失跟踪；同时局部摄像机可以提供较高的精度，实现动态操作的 相对准确。 5 东南人学硕士学位论文 2 1 机器人视觉伺服系统概述 目前，视觉伺服机器人广泛采用的摄像机配置方式是“眼在手上”或“眼到手上”的单目视觉跟踪方 式。本课题采用双目视觉对3 d 空间中的运动目标进行定位跟踪，摄像机的安装方式是：全局摄像机固定 于机器人工作空间正上方某一位置，以提供较大的全局视野；局部摄像机安装于机械手的腕部，构成局部 小视野对运动目标实现精确测量。通过舣摄像机的有效融合，实现全局稳定跟踪和局部精确操作，从而快 速、精确地操作运动目标。 在实验室机器人平台上，全局局部摄像机的安装示意图如图2 - 3 所示。采用的全局摄像机为松下 w v - b p l 4 0 ，1 3 ”黑白c c d 摄像机，具有5 1 0 ( h ) x 5 8 2 ( v ) 像素的1 3 ”c c d 转换元件，提供3 8 0 线的 水平清晰度。通过图像采集显示，全局摄像机能提供的7 2 0 9 6 0 r a m 2 的大视野；局部摄像机能够提供上底 为2 4 0 m m ，下底为4 8 0 r a m ，高为4 8 0 r a m 的梯形局部小视野。 ( a ) 全局摄像机( b ) 局部摄像机 图2 3 全局局部摄像机的配置 在3 d 多视觉融合的前期试验研究阶段，为了简单起见，局部摄像机没有安装在机器人手上。采用的 方案是将局部摄像机固定于距离运动目标平面约3 6 0 m m 处，全局局部摄像机的安装方式如图2 4 。采用 这种方案的优点是摄像机外参数的标定相对简单，可以降低由于标定不准确对测量精度的影响。 ( a ) 实验台止视图( b ) 实验台侧视图 图2 4 全局局部的3 d 混合实验台 试验的视觉机器人实验平台主要包括视觉系统( 两个c c d 摄像机、图像采集卡和图像处理计算机) 和五自由度机器人控制系统( 主要由五自由度机械手主体、伺服电机、控制柜及伺服驱动器、上位工控机 和运动控制卡组成) ，整体示意图如图2 - 5 所示。 6 第三章基于扩展卡尔曼滤波的3 d 运动目标跟踪方法 图2 - 5 实验平台硬件示意图 实时的图像处理和运动规划计算量相对较大，如果都放在一个台计算机上完成会造成较长的时间延 迟，不利丁实时控制，所以课题组把视觉伺服机械手的两个子系统分别用两台计算机进行处理，两个子系 统之间用r s 2 3 2 进行通讯。图像处理计算机主要任务是接收并处理c c d 摄像机采集的信号，计算目标物 体的位置信息，然后将运动目标的位置以及速度信息通过r s 2 3 2 传递给上位控制机。上位控制机的主要任 务是接收图像处理后的数据，根据该信息对机械手进行运动规划，通过安装在上位控制机上的运动控制卡 把控制信号传给伺服放人器，然后驱动伺服电机，从而带动机械手运动，实现对运动物体的操作。由于机 械手的操作精度与其装配精度和标定精度有很大的关系，下面给出本实验平台中机械手的标定方法。 ， 2 2 机械手零位的标定 2 2 1 机械手关节转1r a d 对应电机所需要的脉冲数计算 在机械手操作物体的运动规划中，关节转角是用弧度表示的，而运动控制卡控制电机的转动是通过不 断的给电机发送脉冲实现的。因此，需要计算关节转i r a d 应该给电机发送多少脉冲。机械手各个关节转 1r a d 需要对相应电机发送的脉冲数计算公式如下 p | t f p m j t | hq 若机械手关节的正方向与电机旋转正方向一致，那么取+ ；若机械手关节的正方向与电机旋转正方向 相反，那么取一。p 是机械手关节转i r a d 需要对电机发送的脉冲，是编码器的倍频，根据产品供应商 提供的资料p 纠，查得本机械手系统的所有编码器倍频均为4 倍频。p 为编码器旋转一周的脉冲数。l 是 电机减速箱的减速比，五是同步带传动的减速比。机械手五个关节的单位弧度脉冲数计算如下。 关节1 所需要的脉冲数为： 冀一五p l 厶l 五l 纫- 4 x 5 0 0 x 1 5 6 x ( 4 0 3 0 ) 2 石t - 6 6 2 0 8 ( p u l s e r a d ) 。 关节2 所需要的脉冲数为： 7 东南大学硕上学位论文 = ，2 p 2 厶2 工2 幼= 4 x 5 0 0 x 7 9 x ( 4 0 2 0 ) 2 n = 5 0 2 9 2 ( p u 缸e r a d ) 。 由于关节3 的正方向与电机旋转的正方向相反，关节3 所需要的脉冲数为： b 一一f 3 。p 3 j m 3 l t 3 | 2 冗= - 4 x 5 0 0 x 7 9 x ( 3 0 3 0 ) 2 z = - 2 5 1 4 6 ( p u l s e r a d 、o 关节4 所需要的脉冲数为： p i f 4 p i j m - i h | h 一4 x 5 1 2 x 8 4 x ( 1 1 ) 2 胡r ；2 7 3 7 9 ( p u b e r a d 、o 关节5 所用的电机编码器及减速箱的型号与关节4 所用的一样，同时同步带传动的减速比也是1 ：1 ， 但由于关节5 的正方向与电机旋转的正方向相反，所以关节5 所需要的脉冲数只；一只。 表2 1 机械手关节1 r a d 对应电机的脉冲数 关节1关节2关节3关节4关节5 肇岔 p u l s e lr a d 6 6 2 0 85 0 2 9 22 5 1 4 62 7 3 7 92 7 3 7 9 2 2 2 机械手关节零位的标定 在实验中，关节1 从负限位运动到y 轴正方向需要1 2 1 7 6 1 个脉冲。冈此，可以获得限位开关在基坐 标系中的位置为一1 5 3 7 。由于关节1 的初始角度为4 5 。，那么关：i 了1 在接触到负限位开关以后向正方向需 要运动的脉冲数p j ，为： p ，l 一置x ( 1 5 3 7 + 4 5 ) x 刀r 1 8 0 - - 6 6 2 0 8 4 5 6 x 1 0 5 3 7 = 6 9 7 6 1 ( p u l s e ) 在实验调试中，关节2 从负限位开关运动到正限位开关需要1 5 2 3 4 5 个脉冲，即关节2 的运动空间是 1 7 3 5 5 。由于在关节2 的运动空间以0 2 - 9 0 。对称向正负方向运动，所以关节2 的运动范围是3 。至1 7 7 。 关： 了2 的初始转角为6 0 。，那么关节2 在接触到负限位开关以后向正方向需要运动的脉冲数p ：为： p ，2 最( 6 0 一3 ) 万1 8 0 一5 0 2 9 2 9 6 2 x 0 9 9 5 = 5 0 0 3 3 ( p u 厶e ) 关节3 从岛一- 9 0 。旋转至正限位开关需要5 4 6 0 8 个脉冲，对应的关节旋转的角度是一1 2 4 4 2 。，因此可 以获得正限位开关的位置是岛一一2 1 4 4 2 。由于关节3 的初始角度是一1 6 0 ，那么关节3 接触到限位开关 后需要运动的角度是5 4 4 2 。 p ，3 - bx 5 4 4 2 x l t 1 8 0 - - 2 5 1 4 6 4 8 1 x 0 9 4 9 8 - - 2 3 8 8 4 ( p u 西e ) 关节4 从吼- 0 。旋转至正限位开关需要7 2 4 5 0 个脉冲，对应的关节旋转的角度是1 5 1 6 1 ，因此可以获 得正限位开关的位置是以- 1 5 1 6 1 。由于关节4 的初始角度是1 7 1 9 。，那么关节3 接触到限位开关后需要 运动的角度是一1 3 4 4 2 。 p ，4 - p , x ( - 1 3 4 4 2 ) x z 1 8 0 = 2 7 3 7 9 7 4 3 x ( - 2 3 4 6 ) = - 6 4 2 3 5 ( p u b e ) 。 r 第三章基于扩展卡尔曼滤波的3 d 运动日标跟踪方法 关节5 从b = 0 。旋转至正限位开关需要4 2 9 4 8 个脉冲，对应的关节旋转的角度是8 9 8 7 。，因此可以获 得止限位开关的位置是侠一一8 9 8 7 。由于关节5 的初始角度是一6 8 7 5 。，那么关：符3 接触到限位开关后需 要运动的角度是2 1 1 2 9 。 p ，5 = 只【2 1 1 2 ) x 堋r 1 8 0 = 一2 7 3 7 9 7 4 3 x 0 3 6 8 6 = - 1 0 0 9 2 ( p u l s e ) 至此，机械手五个关：1 了的初始化过程均己完成。如果想改变机械手的初始位置，可以根据需要改变相 应的转角即可以实现，方法是一样的。在机械手运动的过程中，其跟踪性能与关。1 了的速度和加速度有很大