（控制理论与控制工程专业论文）基于互联网的机器人遥操作系统平台的研究与设计.pdf

第一章绪论 第一章绪论 1 . 1 基于互联网的机器人遥操作系统平台研究的背景与意义 随着人类认知领域和层次的不断深入和发展， 人类在有毒和难以接近 ( 核领 域、 深海、 外层空间和高温高压等) 环境中进行作业的必要性在不断增强，因此 迫切需要开发出能够自 动地适应环境变化的智能机器人。 但是由于受到控制、 机 构、 传感和人工智能等技术水平的限制， 要研制出在复杂未知或变化环境下的全 自 主式的智能 机器人尚 不可能， , 1 4 8 1 ， 因 此 机器人领域一个新的 重要分支 一遥操 作机器人便应运而生。 所谓遥操作机器人是指在人的控制下能在人难以接近或对 人有害的环境中完成比较复杂操作的一种远距离操作系统， 目 前主要分为两种形 式，即主从式遥操作和监控式遥操作。主从式遥操作均有一个主臂和一个从臂， 操作者用手直接操纵主臂， 而从臂则跟随主臂运动来完成操纵任务; 同时工作对 象或环境对从臂的约束反力通过双向力反射系统实时地反馈到主臂上， 使操作者 对从臂部分的操作有一种力的感觉，这与用手直接操作物体或环境时的感觉相 似， 从而可完成较为 精细的 操作 3 2 1 。由于主从式遥操作控制方式在应用中存在 作业效率低、通讯延迟易造成遥操作机器人系统不稳定等问题，因此 f e r r e l l 和 s h e r i d a n提出了 监控 操作的 方 法19 9 1， 也 就是把操作员 推到 监控级， 通过在常规或 紧急情况下不断地示教或重复编程来监控体现在远程操作器上的低级智能; 执行 级由位于远程端的机器人独立完成，处理反馈信息和作相对简单、常规的决策。 在这两种方式的遥操作机器人中， 人都是不可缺少的重要组成部分， 人通过力觉、 视觉等感觉对远端的工作情况及其周围环境保持直接或间接的联系， 从而利用人 的智能及时做出判断和决策， 适应工作情况和环境的不确定性， 随机应变地完成 那些较为复杂的或事先难以预料的操作任务。 五十多年来， 不少国家相继投入了 很大力量从事遥操作机器人研究和研制工作， 并己成功地应用于许多领域中， 带 来了巨大的社会和经济效益。 互联网 ( i n t e r n e t )始建于 1 9 6 9年，是美国国防部创办的一项工程 ( a p p a n e t ) ,最早用于军事目的。八十年代初，用于异构网络的 t c p a p协议 研制成功， 此后美国 加州b e r k e l e y 分校把该协议作为其b s d u n i x的一部分， 使该协议得以流行， 为i n t e r n e t 的发展提供了基础。1 9 8 6 年美国国家科学基金会 ( n s f ) 建立了5 个用于研究的超大计算中心， 并以此为基础建立了国家科学基 金会网 n s f n e t ) ， 以便在全国实现科研和教育资源共享。 1 9 9 1 年5 月， i n t e r n e t 三家业务供应商 p s i , g e n e r a l a t o m i c s和 u u n e t合作建立了 c i x 商用数据 i n t e r n e t 交换网， 开始了i n t e r n e t 的商业应用。 1 9 9 2 年欧洲核子物理实验室( c e r n) 第一章绪论 公布了www ( w o r ld wi d e w e b ) , www界面美观，使用方便，功能强大，它 的出现极大地推动了i n t e r n e t 的商业化进程， 1 9 9 3 年美国政府提出了通过i n t e r n e t 向全国推行 e d i电子商务计划。1 9 9 4年美国一家老牌在线服务公司 a o l ( a m e r i c a n o n l i n e ) 出资3 5 0 0 万美元买了一家i n t e r n e t 的接入商a n s ， 其它一 些 在线信息服务网 络， 如c o m p u s e r v e . p r o d ig y也 都意识到了i n t e r n e t 的 战略价 值，纷纷向i n t e r n e t 转移。1 9 9 5 年i n t e r n e t 在全世界得到了迅速发展，众多的计 算机公司投入了 相当多的资金加强i n t e r n e t 的开发和利用。目 前 i n t e r n e t 己经覆 盖了 1 5 0 多个国家， 连接的网络多达 6 万多个，主机达 4 0 0 多万台，终端用户约 为 1 亿多台并以每月 1 5 %的速度增长，平均 1个小时就有 1 0 0台主机加入到 i n t e r n e t ，可以说 i n t e r n e t 是目前世界上最大的计算机网络，也是当今全球信息高 速公路的主干网， 它涵盖当今世界上几乎所有行业、 门 类的信息， 是聚集全人类 越来越多的信息、 知识和智慧的信息资源网， 它不但使人类信息交流和传播的历 史 发生了重大转折，而且将给人类文明进程带来深远的影响1 4 5 1 由于互联网的通用性、 交互性和经济性， 故伴随着互联网的飞速发展，以互 联网作为通讯媒介的遥操作技术也正成为机器人领域中的一个重要的前沿课题， 受到许多西方发达国家的高度重视。目 前国外己经在 i n t e r n e t 上进行了许多异地 遥操作的实验， 如澳大利亚we s t e r n 大学研制的世界上第一个对公众开放的遥操 作机器人，用户可通过 i n t e r n e t 远程控制它来摆设基于 x . y . z坐标系的一些 积木块; 加拿大r y e r s o n p o l y t e c h n i c 大学的 在线机器人狗， 用户可以 通过内 嵌j a v a 的浏览器或 j a v a 小程序远程控制它， 并可实时反馈回连续的视频图像; 美国mi t l i n c o l n l a b o r a t o ry . w a s h i n g t o n u n i v e r s it y 以 及n e w m e x i c o u n i v e r s it y 等机器人 研究中 心进行的 遥操作实验， 他们在n e w m e x i c o u n i v e r s it y 通过i n t e r n e t 对远在 1 5 0 0 公里之外的w a s h i n g t o n u n i v e r s i t y 的一个p u m a机械臂进行了 成功的 操作 控制:欧洲也建立了基于i n t e r n e t 的交互式的环境，以利于各个研究人员比较不 同的解决机器人控制中非齐次约束条件下运动规划算法:而且目 前美国 j p l实 验室和日 本e t l 实验室的遥操作实验平台己尝试采用i n t e r n e t 作为地面信息沟通 的 媒介， 所有这些结果均显示1 1 ,6 7 ,8 6 ,1 3 5 1 ， 通过i n t e r n e t 进行机器人遥操作在远程 教学、 设备共享、 远程医疗、 远程维修和危险复杂环境下的装配作业等领域均有 很大的应用前景。 1 . 2 机器人遥操作系统在国内外的研究动态与成果 第一个现代遥操作器是1 9 4 5 年由g o e rt z 率领的课题组在美国国立a r g o n n e 实验室制作的机械式操作器“ m o d e l- mi , 1 9 5 4 年也 是在国立a l g o n n e 实验室开 发出了第一个利用双向控制的电气式遥操作器 mo d e l - e i ，此后继续开发了将 第一章绪论 遥操作器安装在移动装置上，赋予遥操作器以 运动性的“ m o d e l - e 3 1 3 2 。 利用 力传感器和直流电机的第一个位置一力控制方式的遥操作器是在 1 9 6 5 年由美国 国立b r o o k h e a v e n 实验室开发的。 六七十年代。由于诸多方面的限制， 遥操作机 器人在技术方面的进步不是十分明显， 进入八十年代， 由于虚拟现实技术的迅速 发展， 产生了临场感遥操作机器人系统，由于这种概念一旦实现， 将大大改善遥 操作机器人的作业能力， 因而技术先进的国家十分重视这方面的研究。 美国国家 宇航局 ( n a s a )针对空间应用，对具有临场感的遥控机器人进行了深入的研究 1 2 ， 将 1 9 9 。 年至 1 9 9 5 年规划为临 场感近期研究，空间宇宙飞船是近期临场感 应用的重要领域;日本将临场感技术列为极限作业机器人的基础技术， 授命于日 本贸易和工业局， 机械工程实验室负责临场感基础技术研究， 以求最后研制出具 有临场感的遥控机器人系统8 6 .德国针对空间 应用，己 研制出具有较好临场感 性能的实验平台装置r o t e x 3 2 ,4 2 ; 英国、 法国和加拿大等国 家也都在开展临场 感技术研究。到了九十年代后期，随着互联网的普及和推广，以i n t e r n e t 作为遥 操作机器人系统的通讯链又掀起了新一轮的研究热潮， 目 前在空间、 医疗、 科研、 教学、 军事和维修等领域己有一些成功的应用。 纵观遥操作机器人五十年来的发 展 ， 研 究 的 重 点 和 中 心 内 容 主 要 表 现 在 以 下 三 个 方 面 8,16,103,122,13 3,146 ,14 7,150 1. 1 . 力反射系统的稳定性分析及克服通讯时延影响的控制算法 力反射系统的稳定性分析一直是遥控机器人领域最重要最活跃的一个研究 方 向，1 9 8 8年以前，遥控机器人力反射系统的稳定性分析均基于经典的控制系 统稳定性分析方法， 如波特图 法及奈魁斯特图 法。 1 9 8 8 年r a j u 等首先采用二端 口电网 络理论来分析遥控机器人力反射系统的 稳定性3 3 1 ，建立了 传统位置一位 置型力反射系统的稳定性条件， 从此以后力反射系统的稳定性分析和稳定条件建 立大多 采用二端口网 络的无源性定理2 1 ,2 2 ,3 5 ,4 3 ,7 6 ,7 7 ,9 3 ，即 在假定操作者和环境无 源的条件下，保证遥控机器人力反射系统的无源性就可保证整个系统的稳定性。 有些文献采用该方法分析了传统的位置一力型、 位置一力伺服型及力一力型力反 射系统的 稳定性 1 1 ,3 3 ,7 2 ,7 7 。 一些基于性能优化准则提出的 新型力反射系统的 稳定 性分析和稳定条件建立也都采用二端口网络的无源性定理8 4 ,8 5 , 1 0 8 1 0 1 9 9 3年 l a w r e n c e建立了力反射系统的通用结构，并推导出实现系统稳定性和透明性的 一般条件12 2 1 。目 前来看， 二端口网络的无源性定理是分析遥控机器人力反射系 统稳定性的主要工具。 己有的稳定性分析表明， 传统力反射系统的稳定性条件是 保守的， 力反射增益不能大于十分之一， 因而不少学者致力于设计新型的力反射 系统 lo g ，以保证在较宽的范围内 系统维持稳定。由 于在力反射系统中人与系统 处于紧 祸合状态， 操作者任何的不确定性都将引起系统的不稳定， n e c h y b a 等人 运用神经网络、 卡尔曼滤波和马尔可夫模型对人的控制策略进行建模， 以期得到 更 好 的 操 作 性 能 54,57,581 第一章绪论 由于主从遥控机器人的主端部分和从端部分分布在两个不同的地点， 有时相 距可能甚远 ( 如太空和深海应用) ，故位置和力命令由主端发送到从端及力和位 置由从端反射到主端都存在时间延迟，随着不同的具体应用，时延由m s 级至十 几分不等。 如果没有力反射， 时延不会引起力反射系统的不稳定。 1 9 6 6 年f e r r e l l 首先对存在时延的力反射系统进行了研究1 0 0 1 ， 研究表明l o o m s 的时延就会使得 原本稳定的力反射系统变得不稳定，1 9 8 1 年文献!7 6 1 也 研究了时延对力反射系统 稳定性的影响，结果表明，只有当力反射系统的带宽很窄，操作速度在 l o c m / s 以 下时，系 统才能 保持稳定; 1 9 8 8 年r a j u首先从理论上分析， 表明引起系统 不稳定的根本原因在于时延使得系统成为有源的13 3 1 .最早解决时延对力反射系 统稳定性影响的 方法报道于文献11 0 0 ,! 叫，文中 提出可采用 “ 移动一等待”策略保 持时延下力反射系统的稳定， 但这种方 一 法不能给操作者提供同环境动态作用的感 觉， 操作效率低;1 9 8 8 年a n d e r s o n 和m. w . s p o n g 采用无损耗传输线特征来模 拟双向的力和速度通信算法， 保证力反射系统的无源性， 进而保证系统的稳定性 17 7 1 ; 1 9 9 1 年n ie m e y e r 则 从 能 量 传 输 角 度出 发， 提出 采 用 能 量 流 理论 来 解决 传 输 线的有源性，保证时延下系统的 稳定性3 5 ; 1 9 9 2年文献7 6 1研究了时延力反射系 统的渐近稳定性，分析方法适用于多自由 度非线性力反射系统;1 9 9 3年文献f2 2 1 对上述几种无源控制算法构造了实验系统进行研究， 结果表明: 几种无源控制算 法都能保证系统在时延下的稳定性， 但这种稳定性的取得是以牺牲系统的性能即 临场感效果为代价的;1 9 9 5 年l e u n g 和f r a n c i s 提出了 用k 综合法和h 最优控 制理论设计稳定的时延力反射系统网; 为了 克 服i n t e r n e t 中时延变化的影响， 工 9 9 7 年k . k o s u g e 给出了 一个在离散时间 域中的 力反射系统控制法则， 并用散射理论 予以了证明 1 ; 1 9 9 8 年r o b e r t o o b o e 和p a o l o f i o r i n i 采用发送i c m p 报文实时 检 测 延时 大小， 进 行运 动 补 偿 设 计 控 制 方 案 te l l ; 1 9 9 8 年n ie m e y e 设计了 一个 特 殊的 波变换过滤器， 保证了 变延时下力反射系统的 稳定性13 9 1 2 虚拟现实技术在遥操作机器人中的应用研究 针对力反射系统中的时延问题，正如上文所述， 人们提出各种控制算法，但 这些控制算法只能保证系统在很小时延下的稳定， 随着时延的增大， 系统的性能 将极速下降。 针对较大时延的情况，目 前采用的一种有力的方法就是虚拟现实技 术 ( 见 图1 - 1 ) 。 虚 拟现实 ( v i rt u a l r e a l i t y 简称v r )是 利用计算 机生 成一种逼 真的视、 听、 力、 触和动等感觉的虚拟环境， 通过各种传感设备使操作者“ 沉浸” 到该环境中， 实现操作者和环境直接进行自然交互， 它实际是一种全新的人机交 互技术。1 9 9 0 年在美国达拉斯 ( d a l l a s ) 召开的s ig g r a p h 国际会议对v r 进行了 专题研讨，并首次确定了v r的三大主要技术构成，即实叼三维计算机图形生成 技术， 多传感器交互技术以及高分辨率显示技术， 为v r的研究莫定了基础并指 明 了 方 向 (15 0 1 第一章绪论 界 而 控 制 参 与 者 界 面 环 境 界面 图 1 - 1 虚拟现实的体系结构 目 前虚拟现实技术在遥操作机器人系统中的应用 ( 又被称之为临场感技术) 在国内外己 有相关报道! 1 4 6 , 1 4 7 ,1 4 9 , 1 5 0 1 ， 其主要应用可以归纳为二个方面: 视觉虚拟 现实和力觉虚拟现实。 在视觉时延问题上人们较早就采用了预测显示技术， 1 9 8 4 年n o y e s 和s h e r id a n 设计了 用于 遥控作业的 第一个 视觉预测显示 系统19 3 1 ， 在系 统中用机械手的计算机仿真模型叠加在经时延后反馈的机械手视频图象上， 仿真 模型和操作者之间是实时交互， 用以预测远处环境中机械手的运动， 实验证明该 h法可以极大地提高系统操作性能;1 9 8 6年 s h e r i d a n构造实验系统用以验证视 觉预测显示的有效性， 结果表明， 在视觉预测显示的帮助下， 任务完成时间减少 5 0 % 19 z 1 ; 1 9 9 3 年q y a m a 及 其同 事 研究了 设 计了 一 个 辅 助 v r 遥 操作系 统 6 9 1操 作者控制运动学特征 匕 等价远地6自由度从机器人的主机械臂 立体摄像机安装 在远地从机器人处， 所提供的视觉反馈在机械臂工作站或在操作者的立体头盔显 示器 ( hin d) 上显示，并在其上产生从机器人及其环境的3 d虚拟模型， 这样即 使在远地操作现场劣质视觉反馈的情况下也能对虚拟从手进行较好地的操作。 所 有以上成功的关键在于3 d虚拟环境模型能否和远端的真实环境之间进行精确标 定。 有一些文献对此进行了 研究，但基本上没给出 标定的实验结果14 , 1 4 ,5 6 1 , 1 9 9 3 年w. k i m在j p l实验室设计实现了 一个高精度的预测/ 预显系统1 1 0 6 , 1 0 7 ,1 1 0 1 ，实 验结果表明在采用线性标定算法时其标定误差在与摄像机视线平行方向上最大 为3 c m ， 在这样的误差情况下， 从机器人可以完成一般精度的任务， 如扳动管道 上的手柄以阻止烟雾的泄漏等; 在采用非线性最小二乘法标定时， 其标定误差仅 l c mo 鉴于视觉预测显示的有效性和实用价值， 同时针对力觉临场感系统大时延问 题，1 9 8 9年人们开始研究力觉预测显示的实现，即在原有的视觉预测显示的基 础上如何实现虚拟力反馈。 1 9 8 9 年b u z a n 和s h e r i a n 设计了一个力觉预测显示的 实验系统13 0 1 ，该系统使用机械手和环境的动态模型，通过提供给操作者预测的 力和位置反馈信息 ， 使得操作者能 够预测时延系统的响应; 1 9 9 1 年， k i m和b e j c y 等人在美国 n a s a的 j p l实验室设计了 “ 力觉临场感遥控机器人仿真系统” 第一章绪论 (1 0 2 1通过模拟预测远地现场的 环境和机器人的运动提供给操作者以实时的视觉 反 馈和力觉反 馈; 同 年s c h e b o r 和t u rn e y 在美国n a s a 的k m s 实验室设计了 “ 遥 控机器人环境模拟器” ( g l e t s ) , g l e t s 使操作者置身于一个实时的、 交互式 的、 模拟的 和视觉可调的 遥操作机器人工作现场的 虚拟环境中 四;1 9 9 2年德国 针对空间 机器人研究建立了实验装置r o t e x 3 2 ,4 2 1 ， 该装置具有远处环境的 三维 计算预测能力和立体显示， 并指出预测显示技术是目 前解决大的传输时延问题的 一种强有力工具，同时特别强调了虚拟环境的建模和修正;1 9 9 3 年k i m综述了 计 算机图 形人机界面在空间 遥控机器人中的 应用 1 0 9 ，并介绍了 虚拟现实在遥控 系统中的实际应用。 3 监控与协作控制 监 控 式 遥 操 作 有时 也 称之 为 遥 编 程 2 5 ,4 4 ,6 4 ， 最 早由f e r r e l l 和s h e r id a n 提出 ， 用来解决移动一等待策略。 近来为了克服变时延和带宽限制等问题， 监控式遥作 业又 成 为 遥 操 作 领 域中 一 个 重 要 的 研究 方向 ， 受 到 许 多 学 者的 关 注 16 ,1 9 ,4 5 ,7 3 ,9 2 ,9 9 1 在监控方式下， 操作者不直接操作远端环境， 而是与远端环境的虚拟模型进行交 互，从而生成运动命令和任务序列，然后传到远端进行执行。1 9 9 7年 j o h n e . l l o y d 等在加拿大的m o n t r e a l 和v a n v o u v e r 两城市间以i n t e r n e t 为媒介成功作 了一系列遥操作实验4 7 1 ， 操作者只需进行简短培训，就可顺利完成远端的操作 任务 ( 系统结构见图 1 - 2 ) 。从以 上文献我们可以 看出，除了 基本不受任意时延 的影响外， 此方式的优点还包括: 可任意调整环境视角; 人与环境处于松偶合状 态， 减少了疲劳感; 引入了人工智能图形接口和面向任务的运动学辅助; 更为重 要的是，此方式提供给操作者与远端控制系统在语义层上进行交互的一条途径。 摄像机图像窗口 .l 远 程 控 制 端操 作 者 端 图 1 - 2 典型的监控式遥操作系统结构 第一章绪论 利用虚拟手的监控遥操作方法也可以使处于不同地理位置的数个操作者协 作控制单台+ 1 l 器人。美国宾夕法尼亚大学的c a n n o n 和t h o m a : 与圣达国家实验 宝的m c d o n a l d 及其同事做了 这方面的 研究工作! ， 。 参与协作控制的每一位监控 者都戴着数据手套，用来控制一套从远端环境反馈回来的可视共享 “ 虚拟工具 ( v ir t u a l t o o l ) 。当代表远端环境的机械手的“ 虚拟工具” 从一处移动到另一处 的时候， 相应的机器人的轨迹则自 动生成。 而且由一个监控者控制的“ 虚拟工具” 的运动会立刻在所有控制工作站重新产生。 因此参与协作控制的所有监控者 ( 包 括其它领域的专家) 就可以据此作出相应决策并协调后取得操作上共识， 而最后 由最初的监控者发出协作控制指令给远地的机器人执行相应的任务。 这项研究在 核辐射场地清理机器人遥操作系统中作了试验. 结果表明其设备的利用率 ( 机器 人运动时间与整个任务执行时间的比) 是未采用协作控制时的两倍， 而且在执行 复杂任务时的决策能力，协作控制策略较单一的遥控系统有更大的潜力。 国内现状: 在国家8 6 3 高科技计划的支持下， 中国科学院沈阳自 动化所和中 国利学院机器人学开放研究室在 8 0 年代便开始了遥操作机器人的研究，在主从 手的系统结构，人 机接口 等方面取得了 一定成果11 2 6 1 。近年来， 清华大学、哈尔 滨工业大学、 东南大学、 北京航空航天大学和南开大学等院校也先后开始了遥操 作系统的理论和应用研究:清华大学开发出了一套 “ 视觉临场感环境 (1 4 9 1 :哈 尔滨工业大学研制成功了 一套 “ 三自 由 度主手系统” 1 1 2 1 , 1 2 4 1 ，东南大学建立了 一 套单自 由 度的“ 力觉临场感实验系统” 1 1 2 2 , 1 3 3 , 1 4 6 ,1 4 7 1 ， 但基于互联网的机器人遥操 作系统的设计和研究目 前才刚刚起步 1 2 7 , 1 3 0 ,1 3 5 ,1 5 3 1 1 . 3 课题来源与主要研究内容 本论文的研究内容来源于国家8 6 3 高科技计划“ 利用远程网络技术机器人遥 操作研究” 和 “ 机器人技术集成研究开发平台的研制” 两个项目，是其中理论和 实践的重要组成部分。 1 )充分利用互联网的通用性和交互性， ， 设计和实现了一个集研究与实验为 一体的机器人遥操作平台，有效拓宽了 机器人技术在科研和工程中的应 用前景。而且为了保障网络信息传输的安全性，提出了一种新型的r s a 与i d e a的混合加密机制，兼有传统密码体制与公开密钥体制的优点。 2 )采用多路t c p 与可靠的u d p 相结合的通讯方式，有效保证了 控制命令传 输的可靠性和视频图像传输的实时性，并且通过设置任务的不同优先级 以及引入多线程编程技术，优化提高了系统的整体性能。 3 )借助于网 络理论与散射理论等数学工具，分析研究了主从式遥操作机器 人的动态模型， 得到了使系统在时延情况下实现稳定性和透明性的条件， 第一章绪论 然后根据这些条件实现了系统在稳态与扰动情况下的控制策略，而且为 了实现遥控作业的理想性能，通过将通讯环节重构，给出了一个四端口 数据通讯法则，并用散射算子对其在时延或非时延情况下的稳定性给予 了证明。 4 )根据机器人运动和控制的具体特点， 采用面向对象的软件设计思想，构 建了一个多机器人虚拟环境。并通过对多种算法的研究，提出了一个逐 级检测的碰撞算法， 此算法不但提高了检测效率， 而且保证了检测精度， 而且在此基础上引入基于真实物理规律的接触响应，为此虚拟环境提供 了 一个力觉接口，这样使得操作者可立即返回一个” 虚拟” 的力，提高了 遥操作系统的临场感。 5 )提出了一种虚拟实体和真实实体标定的算法，通过采用最小二乘法只需 求解线性方程组即可得到摄像机的内、外参数，摆脱了求解非线性万程 组的耗时和递归求解问题，提高了系统效率，保证了标定精度。 g )综合运用v c . d ir e c t x和m a t l a b 等工具在wi n d o w s 平台上实现了一个 集信息采集、增强现实标定、数据通讯、视频解码、三维图形仿真、图 形接口为一体的软件包。 第二章基于互联网的机器人遥操作平台的体系结构 第二章基于互联网的机器人遥操作平台的体系结构 2 . 1引言 遥操作机器人技术是当前国际机器人领域中的一项重要前沿课题，近年来， 西方 一发达国家都投入大量的人力、 物力进行这方面的研究， 取得了多项成果。 其 中比较著名的有:美国航空航天局 ( n a s a )的索杰纳 ( s o j o u r n e r )火星探测器 ( m a r s p a t h f i n d e r ) 成功登陆火星并进行了 相关的利学研究17 1 1 ;日 本的 e p s - v i 工卫星机器人实验系统成功地完成了空间交会对接任务17 9 1 ;德国宇航局的 r o t e x 遥操作实验平台 在哥伦比亚号航天飞机上的成功运用is 1 ,4 2 1所有这些成果 都对人类在太空、 深海等极限作业下的认知进展带来不可估量的重大作用。 但是 由于以前的机器人遥操作实验装置通讯多为专用线路， 无形中降低了设各的利用 率，限制了设备的使用和推广， 而互联网的迅速普及， 提供了一种解决这种瓶颈 的有效手段。以i n t e r n e t 作为通讯媒介的遥操作系统具有诸多优点1 4 $ 1 ，例如系 统构造容易、 开发和运行费用低廉以及较高的柔韧性和适用性等， 因此很快被世 界各国的科研人员采纳和运用，目前在线的机器人粗略统计己达五十多个， 而且 n a s a 在开展火星计划时， 也对工 n t e r n e t 的使用作了一次尝试口 ， 他们开发出了 一个 工 n t e r n e t 控制接口， 允许世界各地的科学家们协同控制p a t h f i n d e r ，取得 了不错的效果，可以说以 工 n t e r n e t 作为通讯媒介的遥操作系统正成为遥操作领 域的一个重要研究方向。 本文在认真分析国内外先进的遥操作机器人系统的基础上，充分利用 i n t e r n e t的通用性和交互性，构造了一个集研究和实验为一体的机器人遥操作 系统平台， 以提高机器人设备的资源共享率， 推进机器人技术在科研和工程领域 的应用范围和深度。其主要设计目 标如下所示: 友好的人机交互界面 客户端提供多机器人协调编程控制环境 多种传感信息的获取和分析 高层仿真规划( 环境建模) 与底层局部自 主( 通用操作技巧) 相结合 三维图形的仿真预测和实时图形图像叠加相结合 较高的系统柔韧性，能满足多种科研需求 可快速开发和测试新的系统设计思想和功能部件 第二章基于互联网的机器人遥操作平台的体系结构 2 . 2 系统平台的工作流程与操作模式 由于远端作业环境比 较复杂， 操作者仅凭一种操作模式很难高效、 顺利完成 指定的工作任务， 故目 前一些成功的遥操作系统平台 都具有多种操作模式13 2 , 1 0 5 1 为了 满足利 .研和应用的不同需求， 本系统平台提供二种遥操作模式: 监控式和主 从式。 2 . 2 . 1监控式 i .工作流程 系统的体系结构如图 2 - 1所示， 操作者通过软示教盒或遥编程接口，借助 于实际环境的精确模型( 一个p u m a 5 6 2 、 一个p u m a 7 6 0 、 一个导轨及一些感兴趣的 操作物体模型，见图 2 - 2 所示) ，生成机器人的运动轨迹，而且为了克服环境模 型误差的存在， 针对不同的在线装配任务， 可以插入不同的操作技巧序列， 经预 览验证其正确后，示教命令或任务脚本同时发往远端服务器和本地虚拟机器人。 本地虚拟机器人接到命令后立即产生动作， 远端服务器接到此数据后经c a n 总线 转发至上位机， 经上位机规划和协调后， 用逆运动学反解出各部件的关节角， 然 后每2 8 m s或4 m s 经f p g a高速通讯板发至下位机，由下位机控制机器人的本体 实现实际的装配操作。现场图像被采集压缩后，编码成m p e g - 1 格式，发往操作 者端( 图像大小为3 5 2 * 2 8 8 时，最小网速需求为2 5 6 k b p s ;为 1 7 6 * 1 4 4时最小网 速需求为6 4 k b p s ) ， 并借助于预显技术， 使得虚拟机器人叠加在真实的有时间延 时的视频图 像护 a l 制式， 2 4 帧/ 秒) 上，以克服时间延时对操作者的影响，方便 用户的远端监控。 而且在突发状态或难以预料的状态下， 用户可随时终止任务的 运行。 与此同时上位机每2 8 m 。 通过c a n 总线把机器人的关节角和力/ 力矩信息送 往服务器， 由服务器转发至操作者端， 以增加远端用户对现场操作的感知度和临 场感，便于高效、安全地完成作业任务。 第二章基于互联网的 机器人遥操作平台的体系结构 器人同虚拟环境相互作用就等效于操作者延时地操纵从机器人同真实的远处环 境相互作用， 因此用遥操作虚拟现实系统可完全消除时延的影响， 但是它的一个 关键前提条件是必须建立虚拟环境和虚拟机器人的精确模型， 以及虚拟环境和虚 拟机器人的接触和反应模型。 2 . 3 系统平台的功能模块设计 本系统平台主要包括六个子功能模块:人机接口子系统、预测预显子系统、 通讯与视频处理子系统、 传感采集与控制子系统、 摄像机与云台控制子系统和机 器人控制子系统， 其中预测预显子系统负责虚拟环境模型的建立和维护、 虚拟力 的产生、 虚拟环境的运行以及虚拟实体与真实实体的标定， 详情请参阅第四章和 第五章; 传感采集与控制子系统负责多种信息的采集、 融合、 分析与控制，目 前 本实验平台主要使用力传感信息， 但很容易加以扩充; 摄像机与云台控制子系统 负责采集与控制摄像机的焦距、 亮度与镜头伸缩以及云台的位置和方向， 而且为 了方便用户的操作， 本子系统提供了一种主动视觉的功能， 即摄像机主动追踪用 户感兴趣的目 标， 把该目 标始终锁定在计算机屏幕的中心位置， 以利于装配任务 的完成; 由于人机接口子系统、 通讯与视频处理子系统以及机器人控制子系统实 现的重要性与复杂性，下面将进行详细的阐述。 2 . 3 . 1人机接口 子系统 由于遥操作系统中用户远离操作环境这一固有的特殊性，因此除了采用预测 预显辅助功能外， 人机接口的设计也是操作者能否快速适应环境和高效完成作业 任务的重要保障。 为了充分发挥遥操作系统的优势， 方便用户在远端的操作和管 理， 故本模块按照友好性、 全面性和可扩展性等准则， 设计开发了一套交互式图 形接口， 它主要包括以下五个部分:系统管理、 任务序列、 远程操作、 常用宏和 帮助。 而且在图形界面右下角每隔 1 毫秒还显示一次网络系统的延时大小， 这样 就可以借助操作者的智能来弥补时间延时造成的系统控制不稳定性问题， 使得用 户在直观简洁的环境下，能轻松完成期望的研究和实验，详述如下。 系统管理模块主要包括以下 1 1 个子部分，模型获取:获取相关模型在真实 环境中的位置、 姿态和方向，以快速、 准确地构建出仿真环境;交互式建模: 借 助于3 1) s t u d i o m a x 和a u t o c a d 软件构造出已知环境下物体的几何描述和物理描 述，并添加至远端的环境模型库中; 操作模式:决定采用监控式或主从式，以及 单机器人运动或协调运动; 速度:设置机器人运动速度大小;安全设置:设置力 / 力矩、关节角的安全门限值;运动模式:相对运动或绝对运动;实时或仿真: 第三章 基于互联网的机器人遥操作平台的体系结构 决定操作命令是发给虚拟机器人还是真实环境， 主从模式下虚拟力的产生以及图 形图像叠加方式;坐标空间:关节空间、笛卡儿世界坐标还是笛卡儿工具坐标: 摄像机标定: 求解摄像机的标定参数，以修正仿真模型; 系统状态:反馈系统的 位置、 力/ 力矩和控制器参数以及是否采用加密方式传输等: 手爪: 打开或关闭。 任务序列主要包括三个子部分， 示教: 通过操作仿真模型生成一命令序列， 经预 览验证其正确后发送至真实环境中执行( 见图2 - 6 ) ;语言编程:与示教子模块唯 一不同的是脚本用面向运动的语言生成一任务序列; 用户定制: 借助于此项功能， 用户可通过编写自己的动态链接库方便地扩充和替换系统使用的模块， 并可把经 过实践验证的算法或模块远程注册到真实环境下的用户程序库中， 以利于知识的 积累和共享。 远程操作包括6 个子部分， 发送脚本: 通过套接字以t c p 方式把任 务序列脚本发到远端执行; 发送命令: 此项功能主要针对手工操作方 一式， 实时把 命令发送到远端执行;暂停: 暂时终止任务操作: 停止:终止任务操作;图像设 置: 用户可动态改变图像的大小和分辨率; 摄像机设置: 可改变摄像机的方向和 光圈等参数。 常用宏模块主要是为了方便用户操作， 借助于操作技巧， 把一些常 用的装配作业组装在一起， 能通过宏调用直接执行， 而且用户可任意扩充。 帮助 模块主要提供对系统软、 硬件的组成、 接口、 技术规格和特性的详细说明，以方 便远端用户对系统的快速了解。 熬 撇 塞 黝羹 熬 撇鑫 燕 鑫 寒 鑫 ; : 1 ! ;( ): );!: i c 右 执己 犷 a 侧国困 浏别别 书 详 百 弃 斌 资 资 热条 拼 5 6 么 l t , u 吟 j o in i 黑 n u k f l _i1 蒙 0 19 n 藻 i i g s c v 薰 聋落理砚碰 洲树一一恤 料 襄 i , i鞭r ll 签 i i - .: 葬 雄 球c ,:4 d c n i 互l 冰k 弃 i t 云 亏 k 午 卜 r 云 引 扮 i n s k t 石 u r 图2 - 6软示教盒 2 . 3 . 2通讯与视频处理子系统 通讯与视频处理子系统要解决的主要技术包括: 控制命令的可靠传输， 视频 图像的实时传输和回放， 机器人力传感信息和关节角的反馈， 通讯服务器与上位 机的信息交互以及网络协议的正确使用等，为此软件体系的设计采用客户/ 服务 第纷她十土 1 1 1k 网的机器人遥操作平台( ih 体系r 11 j 构 器模式，以多线程和设置任务的不同优先级来提高系统的综合性能 ( 见图2 - 7 ) , 较好地满足 了 系统的技术设计指标下而分六小节进行分析和论述: 其 中 :h 代 表 线 程n 代 表 正常 优 先 级 l 代 表 较 高优 先 级 c 代 丧客 户 端5 代 表 服 务 器端 t i e 表t c p u 代 表 u d p f 1 7 负贵图形显示 日 r 负 责 图 像解 码 h l 0 负贵与上位机通讯 h i 1 负贵图像采斑 图 2 - 7客户一 服务器通讯模式 1 .网络通讯协议的选取 工 n t e r n e t 采用t c p / i p 协议组进行异构网络的互联互通，协议模型如图2 - 8 所示2 7 ， 共分 5层: 物理层、 链路层、网 络层、 传输层和应用层， 其中网 络层 和传输层与网络通讯程序的开发密切相关。网络层包括三个协议:i p( 工 n t e r n e t p r o t o c o l ) 协议提供不可靠的、 无连接的数据报投递机制， 它是互联网中主机数 据交换的基础和核心;i c m p ( i n t e r n e t c o n t r o l m e s s a g e p r o t o c o l )是互联网 控制报文协议，其中工 c m i” 回送请求和应答报文为主机间可达性和通讯时间的检 测提供一种强有力的 手段;i g m p ( i n t e r n e t g r o u p m a n a g e m e n t p r o t o c o l ) 协议 提供群组成员关系信息的通讯。传输层包括传输控制协议 t c p ( t r a n s m i s s i o n c o n t r o l p r o t o c o l )和用户数据报协议 u d p ( u s e r d a t a g r a m p r o t o c o l ) ; t c p 是山向连接的，可以提供可靠的传输服务，但是由于其低层 i p协议是一种无连 接的投递机制，因此为了保证数据包传输时的连续性和正确性， 其控制要比u d p 复杂许多，故在实时系统中均会造成一定的时间开销，从而影响系统的实时性; u d p是面向非连接的，它仅是在 i p协议的基础上封装了一个端口 机制以保证进 程通信， 故可以提供高效的传输服务， 但不能保障传输的服务质量。 由于机器人 的控制命令与信8 、 反馈要求传输的可靠性， 否则将会引起机器人行为的混乱和操 第二章 基于互联网的 机器人迢操作平台的体系结构 作者思维决策的错误， 而视频图像传输要求尽可能保证实时性， 以使用户有较好 的临场感， 稍许的丢帧与图像跳动并不影响用户的整体判断。 因此通过分析比较， 我们在系统实现中， 对命令控制信息的传输和传感信息的反馈采用t c p协议， 而 对视频信 息 、 的传输则采用 u d p 协议。 应用 层 表示层 _ . 会 话 层1 4 专输 层 网 络 层 链 路 层 物 理 层 program program arp j - y o m = rarp 图2 - 8 t c p / 工 p 协议组 2 .控制命令与信息反馈的传输 t c p 协议保证了传输的可靠性。 采用这种协议要在命令接收方建立服务程序 等待来自 发送方的命令数据。 最开始， 发送方与接收方要建立一条稳定的通路来 保证传输的可靠性， 这种建立连接的过程可能是比较长的， 特别是发送方与接收 方 一 中间要经过很多路由的时候。 而一旦这条通路建立之后， 数据的传输是可靠的， 不会出现乱序或丢失数据包的现象。 如果网络的带宽能稳定维持在一定水平， 数 据传输的效果会很好。 但由于中间路由器等硬件设备经常出现暂时性阻塞， 为此， 我们采用多路t c p 并发传输的方法来提高传输效率 1 3 0 1 t c p 协议建立连接的过程也是一个寻找通路的过程，它通过网络层、 物理层 协议来建立从数据发送源到目 标的最佳通路。 由于当时网络环境的不同， 每次建 立连接所选择的通路就有可能不同， 这些不同的通路同时阻塞的机会显然比一条 通路阻塞要小得多。这就是多路并发t c p 传输协议的原理。具体的设计如下: 设定同时连接进行数据传输的连接数目 为3 个， 每个连接都有一个线程来控 制， 每个线程可以独立地运作， 他们之间又可以相互通信， 使得在同一时刻进行 数据传输的通路只有一个称为数据通路。 并且这个数据通路的数据传输速度相对 于其它通路是最快的。 其他的通路反复地进行数据传输速度的测试， 称为测试通 路， 在当前数据通路发生阻塞的时候则断掉这条通路， 而启用在测试通路中速度 最快的那一个，并将其切换为数据通路进行传输。简言之，就是一个数据通路， 多个测试通路同时存在，尽量选择速度最快的通路作为数据通路 ( 如图 2 - 9所 第二章 基于互联网的机器人遥操作平台的体系结构 示) 。如果选择了最佳的数据通路后数据仍然不能传出去说明现在的网络带宽 不足以传输数据流， 传输模块会将这一信息反馈给命令接受与解析模块， 由此模 块根据当前的网络速度将情况提示给操作者。 在远端环境发生突发事件或操作者需要干预机器人运动的情况下， 控制设备 需立即暂停或终止机器人的运动， 此时如果采用普通的t c p 传输方式， 那么必须 等到发送缓冲区为空时才能执行本次发送任务， 这显然满足不了这类紧急情况的 需求。为了解决这种问题，我们采用了一种具有o o b f l a g 标志的t c p 机制，这 样就使得此类命令具有最高的优先级， 可绕过缓冲区中己排队的指令， 直接发送 出去，缩短了系统的响应时间。 连接三 i _!卜 / / / / 断 开 连接二 连接一 断 开 一 / /浙 一 断 ” 一淋; 形 仑 于 乡 数据通路测试通路 图2 - 9多路 t c p 传输示意图 3 .视频图像的传输与解码 用u d p 协议进行视频图 像流传输的 优点是不需要建立连接， 传输速度快 1 3 9 1 缺点是可能丢失数据包， 而且数据包的顺序可能发生混乱。 为了在时间允许的范 围内尽可能减小网络抖动的影响， 提高u d p 协议传输的可靠性， 最大程度上保证 图像传输的平滑与流畅，我们作了三点优化: 为每个数据包添加标示符 增加一个环形解码缓冲区 建立一条以t c p 为传输协议的控制通路 这些改进措施， 并不象t c p 协议那样为每个丢失的数据包都要进行重传， 否 则将会严重增加网络系统的开销， 而是通过选择一个合适的重传次数和重传时 间， 来满足我们的应用需求， 其中重传次数和重传时间的确定与时间延时的计算 密切相关。 时间延迟的计算就是要得到一个数据包从一个主机到另一个主机的传 输时间，由于两地的系统时钟很难精确同步， 所以 给计算带来了很大的困难。 因 此，引 入r t t( 往返时i旬r o u n d t r i p t i m e )的 概念2 7 1 ， 一个r t t 是一个包从一 个主机传到另一个主机又往回传所花的时间。 粗略的单程时间延迟可以通过以下 公式得到: 第二章荃于互联网的 机器人遥操作平台的体