（检测技术与自动化装置专业论文）多机器人远程监测与协调控制系统的研究.pdf

多机器人远程监测与协调控制系统的研究 摘要 随着计算机技术、超大规模集成电路、控制理论、人工智能理论、 传感器技术等的不断成熟和发展，各种机器人系统在工业制造、军事 侦察、核工业、航空航天、服务业、医疗器械等领域得到了广泛应用。 多机器人协作及远程监控系统的研究已成为机器人学领域的一个发 展方向。 本文设计了基于网络的多机器人远程监测与协调控制系统的总 体结构，以作者所在实验室已有的两台教学机器人为研究对象，构建 了一个多机器人远程监测与协调控制系统物理平台。基于t c p i p 协 议，采用客户服务器模式，实现了远程监控终端与机器人服务器之 间的通信，并采用v c + + 语言编写了客户端和服务器端软件。通过客 户端软件，操作者能够在远程控制两个机器人的运动，并能实时接收 机器人服务器端的传感器数据，以直观的方式在操作界面中显示这些 数据。 本文设计了一个基于d i r e c t s h o w 的m p e g - 4 视频传输系统，描述 了该系统的组成原理与设计方案。阐述了创建带有采集设备的f i l t e r g r a p h 的方法、采用组播技术实现视频数据发送和接收的策略以及利 用r t p 协议实现网络实时传输的方案。编程实现了视频数据从采集、 编解码、网络传输到播放的全过程。 本文还在同一参考坐标系中建立了两台机器人运动学模型和运 动学方程式，为多机器人协作运动学分析和控制建立了基础，通过实 验验证了模型的正确性。 关键词：多机器人系统远程控制视频传输客户服务器d i r e c t s h o w r e s e a r c ho fn e t w o r k b a s e dr e m o t em o n i t o r a n dc o l l a b o r a t i v ec o n t r o ls y s t e mf o r m u i r i r o b o t a b s t r a c t w i t ht h em a t u r i t ya n dd e v e l o p m e n to fc o m p u t a t i o n a lt e c h n o l o g y , s l s i ， m o n i t o rt h e o r y , a r t i f i c i a li n t e l l i g e n c e ，s e n s o rt e c h n o l o g y , r o b o ts y s t e m sa re w i l d l ya p p l i e di nd i f f e r e n t a r e a ss u c ha si n d u s t r i a l p r o d u c t i o n ，m i l i t a r y i n v e s t i g a t i o n ，n u c l e a ri n d u s t r y , a e r o n a u t i c s & a s t r o n a u t i c s ，s e r v i c et r a d e ， m e d i c a la p p l i a n c e r e s e a r c ho nt h en e t w o r k b a s e dr e m o t em o n i t o ra n d c o l l a b o r a t i v ec o n t r o ls y s t e mo fm u l t i r o b o th a sb e c o m ean e wd i r e c t i o no f r o b o t i c s a g e n e r a lf r a m e w o r ko fn e t w o r k - b a s e dr e m o t em o n i t o ra n dc o l l a b o r a t i v e c o n t r o ls y s t e mi sp r o p o s e di nt h i st h e s i s w i t ht h et w or o b o t si nt h ea u t h o r s l a ba st h er e s e a r c ho b j e c t 也ep l a t f o r mo ft h em u l t i r o b o tr e m o t em o n i t o ra n d c o l l a b o r a t i v ec o n t r o ls y s t e mi sc o n s t r u c t e d m u t u a lc o m m u n i c a t i o nb e t w e e n r e m o t em o n i t o rt e r m i n a la n dr o b o ts e r v e ri sr e a l i z e di nt h es e r v e r - c l i e n tm o d e l b a s e do nt c p i pp r o t o c o l ，c l i e n tt e r m i n a ls o r w a r ea n ds e r v e rt e r m i n a l s o f t w a r ea r ew r i t t e nw i t hv c 4 - 4 - l a n g u a g e t h em o v e m e n to ft h et w or o b o t si s u n d e rr e m o t ec o n t r o lb yt h ec l i e n tt e r m i n a ls o f t w a r ea n dr e a l t i m er e c e p t i o na n d d i r e c td i s p l a yo ft h es e n s o rd a t af r o mt h er o b o ts e r v e r si sr e a l i z e d ad i r e c t s h o w b a s e dm p e g 4v i d e ot r a n s m i s s i o ns y s t e mi sa l s od e s i g n e d i nt h i st h e s i sa n di t sa r c h i t e c t u r ei sd e s c r i b e d t h em e t h o df o rc r e a t i n gaf i l t e r g r a p hw i t ht h ea c q u i s i t i o no fe q u i p m e n t ，t h es t r a t e g yo fa d o p t i n gm u l t i c a s t t e c h n o l o g yt os e n da n dr e c e i v ev i d e od a t aa n dt h es c h e m eo fr e a l i z i n gt h e r e a l t i m en e t w o r kt r a n s m i s s i o nb yu s i n gr t pp r o t o c o la r ea n a l y z e di nd e t a i l p r o g r a m m i n gh e l p st oa c c o m p l i s ht h ec o m p l e t ep r o c e s sf r o mc o l l e c t i n g ， c o d i n ga n dd e c o d i n g ，n e t w o r kt r a n s m i s s i o na n dp l a yo f v i d e od a t a l a s tb u tn o tt h el e a s t ，ak i n e m a t i c sm o d u l ea n dk i n e m a t i c sf o r m u l ai s c r e a t e df o rt h et w or o b o t so f m yl a bt oe s t a b l i s ht h ef o u n d a t i o no fa n a l y s i sa n d c o n t r o lo fm u l t i _ r o b o tc o l l a b o r a t i v e s y s t e m ，w h i c hp r o v e sc o r r e c tb y e x p e r i m e n t k e yw o r d s ：r o b o t ；r e m o t ec o n t r o l ；v i d e ot r a n s m i s s i o n ；c l i e n t s e r v e r ； d i r e c t s h o w 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：垒垡李 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学校可以 公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇 编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文注 释：本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 北京邮电人学硕士学位论文 1 1 引言 第一章绪论 随着计算机技术、超大规模集成电路、控制理论、人工智能理论、传感器技 术等的不断成熟和发展，各种机器人系统在工业制造、军事侦察、核工业、航空 航天、服务业、医疗器械等领域得到了广泛应用，单个机器人的能力、鲁棒性、 可靠性、效率等都有了很大提升。 在高效率完成一些复杂、并行任务时，由于任务的复杂性，单个机器人会因 为自身有限的能力而无法完成全部的工作，需要多个机器人的混合能力才能胜任 1 - 2 ，多机器人系统的研究就是在这种需求驱动下提出的，随着机器人学的发展， 逐渐成为机器人学研究的一个重要分支【3 】。在海底、军事、核废料和有毒物质的 处理等许多危险的作业中，得益于遥操作技术的发展，机器人已经能够替代人来 完成任务。在复杂环境下多机器人系统很难完全自主地进行工作，因此有必有引 进人的操作，利用人的智能来弥补机器人自主性的不足，以网络为媒介，将人的 智能与机器人的智能结合起来，将大大拓展多机器人系统在复杂环境下的应用。 另一方面，通过多机器人远程监测与协调控制系统的使用，可以在远程监控 终端监视机器人的作业情况，及时发现机器人运行时的安全隐患，获取多机器人 轨迹规划所必需的外部传感器数据；通过多机器人间的协调与合作来提高机器人 系统在作业过程中的效率，进而当机器人工作环境发生变化或系统局部发生故障 时，多机器人之间仍可通过本身具有的协调与合作关系完成预定的任务。 1 2 国内外研究情况 1 2 1 国外研究情况 机器人的远程监控科学作为机器人学的重要分支，一直受到人们的广泛重视 和关注。2 0 世纪5 0 年代，r g o e r t z 开发了远程操作机械手，并将其应用于l o s a l a m o s 的辐射区1 4 ，5 j 从此便诞生了机器人远程控制，它的出现和应用，在一定程 度上将人类从一些危险、极限、不易到达的环境中解放出来，如辐射区、地下采 矿、深海作业和航空航天等等。在操作者和控制对象之间存在远距离跨度约束的 情况下，机器人的远程控制技术可以实现人与机器人的交互操作，帮助人类实现 感知能力和行为能力的延伸，将操作者、机器人和被控对象闭合到一个环路中， 北京邮电大学硕士学位论文 使得人们能够不必亲临现场，而是通过安装在机器人身上的各种传感器采集现场 的相关数据、图像和声音等信息，在网络视频传输技术和虚拟现实技术的帮助下， 操作者可以实时的感知机器人及其现场信息，实现远距离控制机器人来完成一些 操作，达到交互控制操作对象的目的。 2 0 世纪9 0 年代以来，计算机和网络通讯技术取得了飞速的发展，尤其是随 着i n t e r n e t 的高速发展和普及，进一步促进了计算机网络技术在机器人控制领域 的应用，并己成为一个新的研究领域。1 9 9 3 年，美国加州大学伯克利分校的k e n g o l d b e r g 首次提出了基于网络的机器人的思想，其最初的构想是给公众提供可通 过i n t e m e t 访问的遥控机器人，并支持用户对其进行远程操作，这一构想极大的 扩展了传统的机器人遥操作概念。k e ng o l d b e r g 等很快就将这一构想应用到 m e r c u r yp r o j e “6 】中，建立了第一个基于w e b 浏览器的网络机器人系统。操作者 通过w 曲浏览器登录到加州大学的m e r c u r yp r o j e c t 主页 ( w w w u s e e d u d e p v r a i d e r s ) ，然后使用鼠标和键盘控制一台s c a r a 机器人在半圆 形的沙滩中进行物品挖掘。此后，k e ng o l d b e r g 等又开发了t e l e g a r d e n 等多个基 于w e b 浏览器的遥操作机器人系纠7 1 。1 9 9 4 年9 月，西澳大利亚大学把一台a b b 工业机器人连接到i n t e r n c t 上，经多次改进的系统允许操作者通过w e b 浏览器控 制机器人对工作台上的物体进行抓取和搬运，机器人的运动情况通过四台摄像机 传输给用户，该系统可以通过j a v a 小应用程序提供给用户三维图形操作界面【8 】。 1 9 9 5 年，g e o r g eb e k e y 与s t e v eg o l d b e r g 等使用六自由度机器人、回转平台与立 体摄像机开发了d r i n k i n gm a i d e n , 世界各地的学者可以通过浏览器观察与欣赏博 物馆中的艺术珍品【9 】。 1 9 9 8 年，c a r n e g i em e l l o n 研发的x a i v e r 是第一个可通过网络进行控制的自 主移动机器人，可以通过i n t e m e t 控制移动机器人在楼内各层的各个房间运动， 完成简单的敲门、文件传送、说话等任务【1 0 1 。同年6 月，美国w i k e s 大学p u l l l a p a i n t 系统建立，使用者可以通过w e b 浏览器控制一台p u m a 7 6 0 机器人在画布上 作画，并可以通过摄像头监控自己所画图形【1 1 】。2 0 0 1 年，b e l o u s o v 等人建立了 基于w e b 浏览器的p u m a 5 6 2 机器人遥操作系统，通过j a v a 3 d 对远端的环境虚拟 建模，操作者可以方便的操作【1 2 1 。 瑞士联邦工学院的m i c h e l 等人开发的k h e po nt h ew e b 及其升级版本r o b o nw e b ，用户通过网络操纵迷宫中的移动机器人，使之走出迷宫【1 3 】。在移动机 器人和迷宫上部各有一个摄像机作为监控，可以调节机器人的移动方向及移动速 度。这些基于网络的移动机器人系统，以其自主性和移动性的特点在更高程度上 满足人们对远程空间探索的要求，为非结构化的、未知的远程环境下的信息交互 提供了研究平台侧。 2 北京邮电大学硕士学位论文 k h e d d a r 等人建立的s o m r 遥操作系统是最早的多机器人遥操作系统，该系 统提出“隐藏机器人”的概念，建立虚拟环境机器人与实际机器人的映射关系，用 以实现单个操作者远距离并行操作多个分布在不同地区的机器人【1 4 7 1 。s u z u k i 等人提出了一种基于w w w 的s o m r 遥操作系统人机交互结构，实现单个操作 者基于浏览器控制多个移动机器人的操作，并对操作者如何操作和网络问题进行 讨论【1 3 】。 1 9 9 7 年，m c d o n a l d 等人提出了“虚拟合作控制”的概念，建立了位于不同物 理地点的多个操作者协作操作一个机器人的遥操作系统，是较早的m o m r 遥操 作系统，该系统中所有的操作者在一个共享的虚拟空间中工作，任何一个操作者 对机器人的操作行为都会同时被所有的合作者看到，从而每一个合作者都可以 对此进行判断，如果达成共识，则最终由一个管理者发出远端机器人执行命令【1 9 1 。 2 0 0 0 年南加州大学的k e n g o l d b e r g 等人建立的多操作者协调系统p l a n c h e t t e ， 最多可以允许3 0 个操作者控制一个机器人，机器人根据网络上所有操作者提出 的要求进行决策确定最后的移动位置【2 0 】。2 0 0 1 年k e n g o l d b e r g 等人进一步发展 了此系统，利用“空间动态投票”( s p a t i a ld y n a m i cv o t i n g ) 的方法解决多个操作。 者之间的冲突，实现基于w e b 的多个操作者在线参与、决定远端一个携带摄像 机的移动机器人运动，以实现提供活动资源的教育意义【2 。 x m x u 以启发式集中控制的方法研究多机器人的协调控带l j 2 2 ，它是针对在 集中控制结构中信息量不完全时，通过传感器信息和分步局部优化完成启发式搜 索和优化。t j t a m 和a k b e j c z y 等人在前期工作的基础上，继续研究双机器人 在搬运物体时的动力学特性并给出相应的动力学模型及仿真结果【2 3 1 。t f u k u d a 和k s e k i y a m a 以分层递阶预测模型实现多机器人之间的智能通讯【2 4 】，他们将机 器人视为单元体，研究分布、自治的多单元体系统，而这部分工作是为了解决单 元体之间的通讯问题。z w a n g 和e n a k a n 提出基于行为研究面向物体操作的多 机器人协调控制方法【2 5 1 。他们以多个移动机器人为研究对象，基于移动机器人 自身有限的行为，给出了一个组织、协调多移动机器人系统的策略及仿真结果。 1 2 - 2 国内研究情况 国内在基于网络的机器人远程操作方面的研究正处于由理论研究和建立实 验系统逐步向应用阶段发展的阶段。在“8 6 3 ”高技术研究发展计划的支持下，中 国科学院沈阳自动化研究所、清华大学、南开大学、上海交通大学等研究单位和 学校【2 6 。3 6 】，先后开展了对多机器人协调理论和实验系统的研究与开发，并取得了 许多成绩。 哈尔滨工业大学研究的基于i n t e m e t 的遥操作机器人系统t e l e r o b o t ，采用由 3 北京邮电大学硕士学位论文 i n t e r a c t 服务器和机器人服务器构成两层服务器结构，该系统可以使得用户通过 w e b 浏览器对一台p u m a 5 6 2 机器人进行控制，完成抓取、搬运、堆放等操作。 其w e b 服务器采用j a v a 语言编写的通用网关接口c g i ，w e b 服务器与机器人服 务器之间采用w i n s o c k 通信。该系统没有提供动态的实时图像，而是以静态的图 片反馈给客户端阳。 上海交通大学也开发了基于网络的机器人遥操作系统，被控机器人是一台 a d e p t 6 0 4 s 型工业机械手，机器人服务器、图像服务器和c g i 程序都用v b 语言 开发，它们之间的通信通过d d e ( 动态数据交互) 进行，该系统交互性差且控制方 式单一。此后他们针对这个工业机械手，还开发了一个基于w e b 的机器人遥操 作系统，使用j a v a a p p l e t 开发客户端用户界面，但对视频图像传输等未涉及【3 8 】。 2 0 0 0 年华南理工大学报告了他们基于国际互联网的机器人实时跟踪系统， 系统采用了客户端服务器模式，通过图像采集、图像传输、客户请求应答三个 线程实现机器臂z e b r o 状态控制。但在时延控制、人机界面等方面的工作未深入 探讨【3 8 1 。 沈阳自动化研究所机器人开放实验室于8 年开始研究“双机器人手臂协调” 的课题，9 0 年完成该实验系统【3 9 1 。该系统由s i g m a 2 0w o r k s t a t i o n 、p u m a7 6 0 机器人和p u m a5 6 2 机器人组成( 如图1 所示) ，采用的是集中式分层协调控制 的方式。系统分为三层：任务规划层、协调控制层和伺服控制层。各控制器分别 控制各自机器人的本体，控制器通过r s 2 3 2 串口进行通讯，进行同步动作与协 调控制。在中国科学院沈阳自动化研究所张雷等人利用3 台六自由度的r h 6 机 器人( 中科院沈阳自动化研究所制造) 构造了一个单位局域网内的机器人远程监 控系统【4 0 】该系统也采用客户端朋艮务器的架构视频系统采用商用软件该系统的 特点在于客户端和服务器之间的通讯建立在t c p i p 协议的基础上服务器和本地 机器人则是采用c a n 总线连接因此需要定制两个应用层协议还要建立缓冲区 来调节c a n 总线的波特率与单位局域网的传输速率相差很多的矛盾。 1 9 9 1 年，机器人开放研究实脸室在双机器人协调控制研究的基础上，研究 开发了多机器人协调控制系统【4 1 1 。建立了一个包括p u m a 7 6 0 ，p u m a 5 6 2 ，a d e p t 和一台全方位移动的a g v 车的多机器人实验系统。该实验系统也是分散异体控 制器的，它利用无线通讯和串口通信技术比较好的解决了多机器人之间的同步问 题，并使用c a d 技术完成了机器人和环境的建模工作。 清华大学开发了基于事件的网络机器人遥操作系统，采用基于事件和图形预 测仿真的直接控制方法，实现了网络上的多用户双臂遥操作系统，但视频传输不 连续，每秒只有一幅j p e g 格式压缩的图像。清华大学在研究多机器人协调控制 时，采用的是同体控制器的方法，即以一台控制器同时控制多个机器人的多个轴 4 北京邮电大学硕士学位论文 或关节【3 8 】。 图1 双机器入协调系统结构嘲 南开大学研究的是半同体控制器的方式，即以一台计算机作为上位机，进行 集中式的分解和规划，完成或分段完成全部任务的动作级序列规划，并生成相应 的机器人动作级语言程序，然后下载到各个机器人控制器上，各机器人控制器按 照规划好的动作级程序，直接驱动机器人进行运动，完成协调控n t 4 2 1 。 1 3 课题研究意义 机器人是2 0 世纪人类最伟大的发明之一，随着计算机网路技术的迅速发展， 机器人与网络技术相结合，使得机器人的远程监控成为现实。多机器人远程监控 系统的理论基础包括人工智能、计算机、机械动力学和自动控制等领域，其中包 括数据信息的采集、处理和特征提取、模式识别和分析、相关算法研究以及网络 多媒体传输、网络时延特性与分析、智能控制以及传感器等领域，它的出现和发 展会促进相关学科和领域的发展。 多机器人系统是机器入学发展的一个新方向。一方面，由于某些任务的复杂 性，单个机器人会因为自身有限的能力而无法完成全部的工作，在这种情况下， 多个机器人可以通过相互之间的协调共同完成任务。另一方面，通过多机器人间 的协调，可以提高机器人系统的作业效率。在多机器人系统的研究中，多机器人 系统的协调控制始终是一个热点主题，也是该领域中一个基础性的研究方向。为 了完成污染、辐射、危险环境下的某项工作，可以通过基于网络的多机器人监测 与协调控制系统来实现。 随着网络技术的成熟，图像和视频信息的实时传输已经在实际应用中得到了 普及，将i n t e m e t 技术应用到机器人控制中，可以使人类动作行为在距离上得到 5 北京邮电大学硕士学位论文 延伸。网络技术与机器人技术的结合，使得机器人控制延伸到世界的各个角落， 异地的操作者通过远程反馈的数字、文本、图像、视频等信息来监控和操作机器 人，使人们能够参与到异地发生的事件中去。 用户可以在远程控制工业现场中接入i n t e r n e t 的多个机器人，通过网络通信 来达成机器人间的协作，完成更为复杂的生产任务。同时，由于工业机器人在现 代制造企业中的特殊地位，多机器人远程监测与协调控制系统的应用，还能在推 进企业信息化和实现企业生产方式的革命性转变中发挥重要作用。 本文以实验室现有的固定基座式三自由度机器人和移动基座式六自由度机 器人为研究对象，分析了多机器人远程监测与协调控制系统的体系结构，搭建了 硬件平台，开发了基于t c p i p 协议的多机器人远程监测与协调控制系统的软件 平台。操作者可以在远离机器人工作现场的地方操作处于同一工作空间的多个机 器，使它们共同协作完成一项任务，同时可以通过多机器人监测数据的处理来预 测机器人的健康状况，并可以对机器人出现的故障进行诊断。可以为多机器人远 程协调控制和多机器人协作智能算法的研究提供实验平台。 1 4 本文研究的主要内容 本文针对多机器人远程监控和协调控制进行研究，以作者所在实验室的三自 由度固定基座式机械臂和六自由度导轨式移动机械臂为研究对象，使用v c + + 6 0 开发环境，开发了多机器人远程监测与协调控制软件平台，并建立了双机器人协 作运动学模型。 本文的主要结构和具体工作如下： 第一章：绪论。介绍了本课题的研究背景和国内外的研究现状、本论文研究 内容。 第二章：多机器人远程监测与协调控制系统的体系结构。本章主要分析基于 网络的多机器人远程监测与协调控制系统的体系结构，根据实验室已有硬件条件 构建了一套多机器人远程监测与协调控制系统物理平台。 第三章：基于网络的多机器人远程监测与协调控制系统软件平台的开发。在 第二章研究的基础上，阐述了基于t c p i p 协议的网络通信编程方法，设计了客 户端和机器人服务器端的操作界面，分析了客户端和服务器端软件所需要实现的 功能，根据本系统的实际需要制定了机器人关节参数与控制指令传输协议。 第四章：视频监控功能的实现。本章介绍了数据采集、数据的发送和接收、 网络传输等关键技术，描述了该系统的组成原理与设计方案，设计了一个基于 d i r e c t s h o w 的m p e g - 4 视频传输系统。同时详细阐述了创建带有采集设备的f i l t e r g r a p h 的方法，采用组播技术实现数据的发送和接收的策略，以及利用r t p 协议 6 北京邮电大学硕士学位论文 实现网络实时传输的方案，最终完成了多媒体数据从采集、编解码、网络传输到 播放的全过程。 第五章：双机器人协作运动学建模与远程协调控制。本章在同一个参考坐标 系中建立了双机器人协作运动学模型，推导了运动学方程式，为双机器人协作运 动学分析和控制建立基础，通过所开发的远程监测与协调控制系统平台，进行了 双机器人协作位置控制实验，验证所建立的机器人协作运动学模型的有效性。 论文最后对所研究的内容进行简要总结，分析研究工作的不足，对下一步的 研究工作提出构想。 7 北京邮电大学硕士学位论文 第二章多机器人远程监测与协调控制系统的结构 2 1 引言 目前，机器人品种越来越多、智能程度越来越高，其应用也逐渐从单一机器 人系统向多机器人系统发展。多机器人系统依靠几个机器人的简单组合并不能充 分发挥其整体的优势，只有通过某种形式的合作才能实现其对复杂任务的处理。 而多个机器人要实现相互间的合作就必须确定机器人之间逻辑上的和物理上的 信息关系和控制关系，以及问题求解能力如何分布等问题。 远程操作机器人系统往往结构松散、系统庞杂。系统体系结构的确立对整个 系统的功能实现和稳定性起着至关重要的作用。随着机器人远距离控制相关技术 与局部自主控制技术的广泛结合，多机器人远程监测与控制系统的体系结构也逐 渐得到了人们的重视。本章在分析研究现有的遥操作机器人系统体系结构的基础 上，提出一个基于t c p i p 网络的具有高的智能和安全性的多机器人远程监测与 协调控制系统体系结构。 2 2 体系结构 多机器人远程监控系统的体系结构是为实现预定的行为如何把个体联系到 一起的形式，它表示系统中各要素之间所能存在的问题：知识、信息、控制等方 面长远的、静态的关系模式，并从全局角度定义每个个体在系统中需要履行的职 责，即角色。每个机器人通过系统体系结构知识能够获得关于系统整体行为的高 级观点，从而有助于引导局控制实现协作，增强系统的全局一致性【4 3 】。 2 2 1 控制方式 多机器人远程控制系统中的控制方式主要有：直接控制方式、监控控制方式、 共享控制方式。在直接控制下，操作者在预测显示技术和时延力反馈技术等手段 的辅助下直接控制远端的机器人。在监控控制方式下，主要依赖于机器人的自主 能力，将时延排除在底层控制回路之外，操作者作为闭环回路的一部分可以随时 干预机器人的运动。共享控制方式是根据直接控制和监控控制之间存在的互补 性，采用扬长避短的方法，既允许操作者直接操作发挥其判断决策能力，又保证 机器人具有一定的局部自主能力【4 4 1 。 8 北京邮电人学硕士学位论文 图2 - 1 基于网络的多机器人远程监测与协调控制系统的层次结构 本文所构建的系统选用共享控制方式，在充分发挥机器人自主能力的同时， 引入人对系统的运行情况进行监控，提高任务完成的效率和质量。为满足自主性 和协作性要求，采用分层次、模块化的体系结构，控制系统中的各个层次之间相 对独立，每个层次中设有多种功能模块，每个模块完成一中特定功能，这样建立 起来的系统易于修改、重构、添加配置功能，使系统具有开放性，降低开发成本。 如图2 1 所示，系统分为四层，分别为交互监控层、协调规划层、行为控制层和 伺服驱动层。 9 北京邮电大学硕上学位论文 2 2 2 交互监控层 目前情况下，机器人还不能完全自主，因此人对整个系统的实时监控是必要 的【4 3 】。该层主要功能有两点，一是给操作人员提供多机器人的运动状态信息， 包括机器人内部和外部传感器信息和视频信息，以及故障诊断信息。当系统发生 不可预见的情况使得协调控制层，和行为控制层都无法解决时，由系统监控人员 处理异常、冲突和死锁，例如可以让机器人立即停止运动或者回复原位。二是通 过人机交互，来建立用户需要的任务模型，然后进行对任务进行细化分解，确定 系统中每个具体的机器人子任务。本层共分为8 个功能模块，各模块的主要功能 如下所述。 1 人机交互模块。接收操作者的命令和表明系统的条件，进行系统的一些 基本信息配置( 例如对各个关节的插补方式进行选择) 。 2 任务规划模块。系统采用集中式任务分配方法，任务规划模块用来存放 来自用户的招标任务，并通过一定方式对其进行任务分解，基于协商策略和协商 协议实现机器人之间任务的动态分配，把分解后的任务以一定的方式送到通信模 块。 3 通信模块。实现监控终端和各机器人服务器之间的信息传递，具体包括 子任务分配信息、传感器信息和视频图像等。 4 用户数据库。包括系统状态、用户操作命令、机器人运动记录、图像记 录、传感器数据、故障诊断结果等。 5 故障诊断模块。通过一定算法实时分析机器人上各上传感器信息，判断 机器人是否出息故障，如果出现故障给出故障类型，并提出解决故障的建议，把 故障诊断结果送至故障显示模块。 6 传感器数据显示。把远程机器人端的各传感器数据以曲线或数字的方式 实时显示。 7 视频监控模块。各机器人的视频信息进行解压缩并显示在远程监控端。 8 故障显示及报警模块。显示故障诊断模块的诊断结果，出现故障时给出 报警信号并显示处理故障的建议。 2 2 3 协调规划层 协调规划层接收来自交互监控层的子任务，并根据本机器人当前的目标( 任 务) 、自身状态、以往经验、传感器信息等来规划自身行为。另外，本层还负责 碰撞检测和避碰规划。对于本层无法处理的问题，则返回上层，由协作规划器重 新规划。本层包括以下几个模块： l o 北京邮电大学硕士学位论文 1 通信模块。向交互监控层传输传感器信息、视频信息等，同时接收交互 监控层传来的任务及其它数据。 2 协调规划器。是协调规划层的核心，它根据上一层所分配任务、自身状 态及外部环境信息，规划本机器人的行为，产生近期的运动序列，并负责机器人 与交互监控层之间的协商。 3 实时避碰模块。它有两个子模块组成分别是碰撞检测和轨迹调整模块。 碰撞检测模块对碰撞进行检测，轨迹调整模块 4 传感器信息处理模块。接收机器人内部和外部传感器数据，进行传感器 信息融合处理。 5 视频采集及处理模块。通过视频采集卡或数字摄像头采集视频图像，采 用一定的压缩方式进行压缩，并把压缩后的视频信息保存在机器人服务器。 6 异常处理模块。根据异常类型，提供相应的异常处理策略。 2 2 4 行为控制层 行为控制层有两个主要功能，一是接收上一层产生的各关节目标位置等运动 控制命令，运用一定的控制策略计算出各关节的运动速度、加速度、运动方向， 并产生高精度高频脉冲串送入各个关节电机伺服驱动器中，高频脉冲串的频率与 电机速度对应，脉冲个数与电机速度对应，脉冲频率变化率与电机加速度对应。 二是使机器人对紧急情况或简单任务迅速做出反应，它直接由传感器信息映射到 某种行为，基本上不做推理或根据简单规则直接推理，例如在接收到限位信号时， 可以发出立即停止电机的信号。行为控制层包含以下模块。 1 行为控制器。它是行为控制层的核心模块，接收上一层的指令，结合传 感器信息，规划出每一个关节所需要的动作，与插补运算模块、限位控制模块、 原点搜寻模块进行交互。 2 插补运算模块。提供插补算法，把结果传到行为控制器。 3 限位控制模块。从行为控制器中不断读取各关节的位置参数，如果到达 限位状态，向行为控制器发出信息。 4 原点搜寻模块。提供原点搜寻算法，行为控制器在收到原点搜寻的指令 后，调用该模块，根据相应的算法规划出各关节需要运动的参数，反馈给行为控 制器。 2 2 5 伺服驱动层 行为控制层的控制信号，经过运算放大后驱动机器人本体上的关节电机运 北京邮电大学硕士学位论文 动，同时反馈各关节的实时位置参数给上位机控制子系统。可对电机进行位置控 制、插补驱动、加速减速等控制。伺服驱动层直接控制机器人的关节，并接收 查询机器人的各种传感器信号，对两个伺服关节采用p i d 调节，并实现位置闭 环控制。还可以对电机的电流进行控制，来确定电机的转矩。 伺服驱动层有电机伺服驱动器、传感器和传感器信号预处理模块等模块组 成。 2 3 硬件平台的构建 。 机器人控制器 执行机构( 机器人n ) 图2 2 基于网络的多机器人远程监测与协调控制系统的物理结构 1 2 根据前面提出的体系结构，建立一个基于网络的多机器人监测与协调控制系 统，通过此系统可以在远程终端同时操作多给机器人来协作完成一项作业任务 也可以单独对一个机器人进行监控。系统的硬件结构，如图2 - 2 所示，包括机器 人子系统、外部监测子系统、通信子系统、机器人服务器和远程监控终端等部分。 2 3 ，机器人子系统 包括机器人机械机构、电机及其驱动器、运动控制卡，它是任务的执行部分， 通过p c i 总线与机器人服务器通信，接收远程控制命令，并根据接收到的关节处 光电编码器的位置信号，对伺服电机进行闭环控制，同时把关节内部传感器的信 号传输到机器人服务器。 如图2 - 3 所示，为三自由度固定基座式机器人的执行机构，它有三个关节， 每个关节都安装有交流伺服电机和谐波减速器。关节处的传动方式如图2 5 所示。 每个关节处的电机连接有一个伺服控制器，三个伺服控制器与一块4 轴p c i l 0 2 0 运动控制卡相连，运动控制放置在机器人服务器的p c i 插槽中。 圆2 - 3 三自由度机器人本体囤2 m 六自由度机器人本体 图2 - 5 旋转关节的传动方式 如图2 _ 4 所示为六自由度导轨式移动机器人，它有5 个转动关节和1 个滑动 北京邮电大学硕士学位论文 关节，转动关节处的传动方式与三自由机器人相同，滑动关节的传动方式如图 2 - 6 所示。每个关节的电机与一个伺服控制器相连，这六个伺服控制器连接到2 块4 轴p m a c 运动控制卡上，运动控制卡与机器人服务器之间采用串口连接。 交流伺丝杆机移动基 服电机构座 图2 _ 6 滑动关节的传动方式 在两台机器人的关节处还装有增量编码器、接近开关和行程开关。本系统中 电机自带1 7 位的串联增量式编码器，驱动器每接收2 = 1 3 1 0 7 2 个脉冲电机转一 圈【4 5 l ，即其脉冲当量为3 6 0 。1 3 1 0 7 2 - - - 9 8 9 秒。接近开关是一种毋需与运动部件进 行机械接触而可以操作的位置开关，当物体接近开关的感应面到动作距离时，不 需要机械接触及施加任何压力即可使开关动作，从而驱动交流或直流电器或给计 算机装置提供控制指令。在本系统中采用的是国产的霍尔式接近开关。行程开关 又称限位开关或位置开关，是机械自动控制的重要元件，可以根据运动部件的行 程位置而切换电路工作状态的控制电器，当用电驱动的机械到达约定的行程就会 顶开固定在轨道上的行程开关，使之断电停机，达到自动控制的目得。在本系统 中采用的是国产的行程开关。 2 3 2 外部监测子系统 包括通用数据采集卡、视频采集卡、各种传感器、摄像头等。负责采集机器 人外部的传感器信号，进行a d 转换，传输到机器人服务器，采集现场的图像 信号处理后发送到对应的机器人服务器。在本系统中使用了两个1 0 0 万像素的 c c d 数字摄像头，通过u s b 接口分别连接到两台机器人服务器。 2 3 3 通信子系统 机器人服务器和远程监控终端通过网络适配器接入到t c p i p 网络，以构成 通信所需的物理连接。本系统中两台机器人服务器同时连接到一块t p l i n k i o i o o m 自适应交换机上，交换机接入校园网，监控终端可以通过校园网、无线 网卡、a d s l 等方式连接到网络。通信子系统的主要功能是实现远程控制端和机 器人服务器之间数据的实时传输，在已有的硬件平台上要进行网络应用程序开发 1 4 北京邮电大学硕士学位论文 才能满足要求。 2 3 4 机器人服务器 机器人服务器是一台性能稳定的工控机，它一方面负责与监控终端的信息传 输，另一方面要作为机器人本地控制系统的上位控制计算机。它要完成的功能包 括采集接收传感器数据，对传感器数据进行故障诊断分析，判断机器人的健康状 况，显示传感器监测曲线，采用优化算法对各类传感器信息进行数据融合，并把 融合后的传感器数据和故障诊断结果发送到远程客户端；接收远程客户端的操作 参数，经过格式转换等处理后，传输到运动控制卡；接收视频采集卡传来的数据， 并在本机进行视频显示，对图像压缩后传输到远程客户端；建立用户数据库，对 单个机器人的操作数据、系统状态、传感器数据及视频数据进行记录。 2 3 5 远程监控终端 远程监控终端是一台具备网络适配器，能够接入i n t e r n e t 的高性能计算机。 它负责显示视频图像、传感器曲线及机器人健康状况，把人机交互界面上的操作 数据按一定格式转换后发送到网络，建立用户数据库，对多个机器人的操作参数、 系统状态、传感器数据、健康状况、视频数据等进行记录，根据操作命令和传感 器信息进行避碰和轨迹规划，对异常情况进行处理。 1 5 北京邮电大学硕士学位论文 第三章基于网络的多机器人远程监测与协调控制系统软 件平台的开发 3 1 引言 多机器人的远程监测与协调控制系统软件平台的设计目标是在第二章中已 搭建的硬件平台的基础上，使用v c + + 语言编写程序，实现对两个机械臂的远程 监测和协调控制。 本论文所开发的软件平台包括远程客户端软件和机器人服务器端软件两部 分，由于实验所用的两个机械臂的硬件不相同，所以两个机器人服务器端对应的 软件要分别开发。本软件平台要实现远程控制指令与传感器数据的传输、机器人 内部传感器数据波形的显示、双机器人协调控制应用、远程控制界面设计、本地 视频采集、远程实时视频监控等任务，其中视频部分放在第四章详细介绍 3 2 基于t c p ip 协议的网络数据传输 在多机器人远程监测与协调控制系统中，通信功能起着基础性的作用，无论 是远程控制信号的传递，还是机器人传感器信号的传输都离不开通信。同时，通 信也是机器人之间进行交互和组织的基础，多机器人系统中各机器人通过通信可 以了解到其他机器人的意图、目标和动作以及当前环境状态等信息，进而进行有 效的磋商，协作完成任务。本论文所开发的软件平台基于t c p i p 协议，通过s o c k e t 编程的方式来实现系统内部的通信传输。 3 2 1t c p i p 协议的体系结构 t c p i p 协议是目前广泛采用的一组完整的网络协议，在网络通信中被广泛 应用，其核心是t c p 、u d p 和口协议【蚓。t c p i p 协议己成为事实上的工业标 准，它的体系结构分为四层，每一层都好像一个“黑匣子”，其内部的实现方法对 外部的其他层来说是透明的，每一层都向它的上一层提供一定的服务，同时可以 使用它的下层所提供的功能，这样在相邻层之间就有一个接口可以把他们联系起 来，只要保持相邻层之间接口不变，一个层内部可以用不同的方式来实现。每 一层完成不同的通信功能，具体每一层的功能和所包含的协议如图3 1 所示。 1 6 北京邮电大学硕士学位论文 应用层 ( t e l n e t 、f t p 、h t t p 、d n s 、s n m p 、s m t p 等) 传输层 ( t c p 和唧) 网络层 ( i p 、i c m p 、i g n m