（模式识别与智能系统专业论文）基于因特网的移动机器人遥操作系统研究.pdf

中国科学技术大学硕士论文 摘要 摘要 本文在对现有的遥操作系统广泛调研的基础上，结合了老年人看护的应用背 景，研究了基于因特网的室内移动机器人遥操作系统。本论文所做的主要工作简 述如下： 1 提出了一种家庭室内环境下低成本的移动机器人定位方法。在移动机器 人本身缺乏可以用来定位的传感器的情况下，该方法使用了图像差分和 光流跟踪为移动机器人定位。整个定位系统的成本低廉，定位的精度完 全满足遥操作系统的需要。 2 论文对室内家庭环境进行了分析，提出了图像差分参考帧动态更新的方 法。该方法能解决室内环境变化的情况下如何使用图像差分法进行移动 机器人定位的问题。并且由于该方法更新了参考帧，客户端将获得更好 的视觉临场感。 3 论文基于v f h 提出了一种路径规划和导航的方法。该方法能够成功避开 室内环境下的动态障碍物，寻找从起点到目标点的路径。本文的仿真实 验证明了该方法的有效性和可行性。 4 论文提出了一种用于移动机器人传输反馈信息的网络协议。该协议能鉴 别网络拥塞丢包和无线信道错误所导致的丢包。与u d p 协议相比，该协 议具有t c p 友好的特点。与其他的t c p 友好的协议如t f r c 和r r p 相 比，该协议又能鉴别丢包的类型，从而避免盲目地降低视频反馈的发送 速率。 5 论文提出了一种基于对象编码和感兴趣区域的视频信息反馈传输方法。 相比于以往遥操作系统中直接传输所有远程视频反馈的方法，该方法能 显著地降低要传输的视频反馈数据量，提高传输的效率和降低传输的延 时。 6 论文将上述研究内容结合，构建了一个跨平台的远程遥操作系统。该系 统为今后的研究工作打下了基础。 本文的研究工作得到了国家自然科学基金项目的资助，项目编号6 0 4 7 5 0 2 7 关键词：机器人遥操作，图像差分，光流，v f h 路径规划，t f r c p r o b e 传输协议 中国科学技术大学硕士论文 a b s t r a c t b a s e do nt h es u r v e y so fc u r r e n tt e l e o p e r a t i o ns y s t e m s ，t h i st h e s i sr e s e a r c h e st h e i n t e m e tt e l e o p e r a t i o ns y s t e mo fm o b i l er o b o t s ，w h i c ha i m st ob eu s e di nh o m e m e d i c a lc a r eo f o l dm e n t h em a i nc o n t e n t so f t h i st h e s i sa r ea sf o l l o w s ： 1 1 1 他t h e s i sp r e s e n t sal o wc o s tm o b i l er o b o tl o c a l i z a t i o nm e t h o do fi n d o o r e n v i r o n m e n t i tu s e si m a g ed i f f e r e n c e sa n do p t i c a lf l o wt of i n dr o b o tp o s i t i o na n dc a n b eu s e dw h e nm o b i l er o b o th a sl x os e l 3 s o r sf o rl o c a l i z a t i o n 。砀ec o s to fw h o l e l o c a l i z a t i o ns y s t e mi sv e r yl o ww h i l ea c h i e v i n gh i g i ll o c a l i z a t i o na c c u r a c y 2 a f t e ra n a l y z i n gt h ei n d o o re n v i r o n m e n t ，t h et h e s i sp r e s e n t sam e t h o do f m o d i f y i n gr e f e r e n c ei m a g e ，w h i c hh e l p st oe x t r a c tt h em o v i n gm o b i l er o b o tu s i n g i m a g ed i f f e r e n c e si nad y n a m i ce n v i r o n m e n tc o r r e c t l y 。 3 t h et h e s i sp r e s e n t sap a t hp l a n n i n ga n dn a v i g a t i o nm e t h o db a s e do nv f h u s i n gt h i sm e t h o d ，m o b i l er o b o tc a ns u c c e s s f u l l ya v o i do b s t a c l e si nad y n a m i c e n v i r o n m e n ta n df i n dt h ep a t hf r o ms t a r tp o i n tt oe n dp o i n t n l es i m u l a t i o nr e s u l t s s h o wt h a tt h em e t h o dp r e s e n t e db yt h i st h e s i si st e c h n o l o g i c a l l yf e a s i b l e 4 n l et h e s i sp r e s e n t st r a n s p o r tp r o t o c o lf o rs e n d i n gv i s u a lf e e d b a c kt oc l i e n t i t u s e sap r o b eh o s tt og e tt h ew i r e l e s sl o s sr a t ei nr e a lt i m ea n dd i s c r i m i n a t ew i r e l e s s l o s sf r o mc o n g e s t i o nl o s s 1 1 l er e s u l t so fn s - 2s i m u l a t i o ns h o w st h a t c o m p a r e dw i t h t f r c ，i t sp e r f o r m a n c ei si m p r o v e do b s e r v a b l y ，w h i l ea t t a i n i n gi n t e r - f a i r n e s s 、v i t i l t c pa n di n t r a - f a i r n e s sw i t ht f r c p r o b ei t s e l f 5 n l et h e s i sp r e s e n t sa t r a n s p o r tm e t h o df o rs e n d i n gv i s u a lf e e d b a e kt oc l i e n t i t u s e st h ec o n c e p to fo b j e c t - c o d ea n dr e g i o no fi n t e r e s t w h e ns e n d i n gv i s u a lf e e d b a c k t oc l i e n ti tc a l l r e d u c et h eb y t e so f d a t an e e d e dt os e n da n dt h et i m ed e l a y 6 t h et h e s i sd e s i g n sa n di m p l e m e n t sa ni n t e m e tt e l e o p e r a t i o ns y s t e mo fs o n y a i b om o b i l er o b o t s n i ss y s t e mi sab a s i sf o rf u t u r er e s e a r c h t h i st h e s i si ss u p p o r t e db yn a t i o n a ln a t u r a ls c i e n c ef o u n d a t i o no fc h i n au n d e r g r a n tn o 6 0 4 7 5 0 2 7 k e y w o r d s ：m o b i l er o b o tt e l e o p e r a t i o ns y s t e m ，i m a g ed i f f e r e n c e ，o p t i c a lf l o w ，v f h ， t f r c - p r o b e 中国科学技术大学硕士论文插图目录 插图目录 图1 1 远程遥操作手术示意图i 图1 2 遥操作机械臂界面图3 图1 3 遥操作望远镜示意图3 图1 4 鼬 n q o 机器人遥操作界面4 图2 5 x a v i e r 机器人遥操作界面5 图1 6 具有力学和视觉反馈的遥操作系统示意图6 图2 1 移动机器人任务分解示意图1 2 图2 2 无线传感器节点示意图1 7 图2 3c c 2 4 3 1 定位示意图1 7 图2 4 使用无线传感器网络定位示意图1 8 图2 5r o b o c u p 小型组比赛示意图。2 0 图2 6 全局相机定位系统示意圈2 l 图2 7 使用参考图像和当前图像进行物体分割示意图。2 2 图2 8 摄像头的安装示意图。2 2 图2 9 图像差分法定位的算法示意图2 3 图2 1 0 不同闭值下图像差分效果示意图2 5 图2 1 】图像差分算法流程图2 6 固2 1 2 含有其他物体的的当前图像2 7 图2 1 3 含有噪声的当前图像2 8 图2 1 4 移动机器人光流法定位原理的示意图2 9 闰2 1 5 移动机器人光流法定位流程图3 4 图2 1 6 移动机器人光流法定位效果图。3 s 图2 1 7 增加了噪声的移动机器人光流法定位效果图3 5 图2 1 8 光流点丢失示意图3 6 图2 1 9 图像差分和光流跟踪法相结合的移动机器人定位算法示意图3 7 圈2 2 0 增加了参考帧更新的移动机器人定位算法示意图。3 8 图2 2 1 基于路标的a i b o 定位示意图3 9 图3 1 可视图法4 2 圈3 2v f h 规划的路径示意图。4 6 图3 3 移动机器人窗口内角度划分示意图4 7 图3 4 移动机器所处的环境示意图4 8 图3 5 平滑前的直方图勰 图3 6 平滑后的直方图4 9 图3 7 障碍物的角度示意图4 9 图3 8 寻找移动机器人的前进方向流程图5 0 图3 9 改进的啦算法仿真地图以及结果图 5 2 圈3 1 0 点a 的直方图5 2 图3 i i 点b 的赢方图5 3 图3 1 2 点c 的直方图5 3 圈3 1 3 点d 的直方图5 4 图3 1 4 移动机器人选择的前进方向示意图5 5 中国科学技术大学硕士论文插图目录 图3 1 5 原始的v f h 所经过的路径。5 5 图3 j 6 改进的v f h 算法和原始的v f h 算法路径比较图鲐 图4 1 具有力学反馈和视觉反馈的遥操作系统示意图5 7 图4 2 网络的层次结构示意图5 8 图4 _ 3t c p 和u d p 的时延以及时延抖动比较图5 8 图4 4 t c p 和u d p 分享带宽示意图。 图4 5t t p 协议中三个参数的作用示意图6 l 图4 6 t t p 协议仿真结果图6 2 图4 7 移动机器人遥操作系统示意图。6 4 图4 8 增加了探测主机后的移动机器人遥操作系统示意图6 5 图4 9 仿真实验的网络拓扑图6 6 图4 1 0 有4 个t c p 背景连接的仿真结果图6 6 图4 1 1 有8 个t c p 背景连接的仿真结果图。6 7 图4 1 2t f r c - p r o b e 的协议间公平性示意图6 7 图4 1 3t f r c p r o b e 的协议内公平性示意图6 8 图4 1 4 基于对象编码示意图7 0 图4 1 5 感兴趣区域示意图一7 l 图4 1 6 传输感兴趣区域视频反馈示意图7 2 图4 1 7 实验的界面示意图7 3 图4 1 8 实验结果截图7 3 图5 1 遥操作系统整体示意图7 5 f l j5 2a i b oe i l s - 2 2 0 7 5 图5 3 软件整体结构示意图7 6 图5 4 控制a b o 的j a v a 客户端界面7 s 图5 5 类继承关系图8 0 图5 6r o t a t e 和s t r a f e 模式示意图8 l 图5 ，7p o i n t p i e k e d 函数流程图8 2 图5 8 移动机器人头部移动示意图8 3 图5 9 服务器软件处理流程图8 5 图5 1 0 基于q t 的客户端界面8 6 图5 ，1 1 客户端处理流程图一8 7 图5 1 2 远程的全局地图8 7 图5 1 3 实验过程的截图8 9 i i 中国科学技术大学硕士论文 第一章绪论 第一章绪论 1 1 本论文选题背景和研究意义 本论文的研究内容源于国家自然科学基金面上项目“网络环境下遥操作机器 人控制系统的网络协议和控制方法( 6 0 4 7 5 0 2 7 ) ”。 通过因特网对远程机器人或者机器器械进行操作这一在几十年前犹如科幻 小说中的情景在今天正一步一步地变为现实。2 0 0 1 年，法国和美国研究者在先 期对猪进行实验的基础上【l 】，又成功跨越大西洋在美国纽约对位于法国斯特拉 斯堡的患者进行了胆囊切除手术【2 1 。英国自然杂志对此进行了报道。在这 次手术的过程中，法国电信公司为该次手术提供了专用的1 0 m 带宽的a t m 通讯 线路，手术中反馈信息的延时( 包括传输延时和编码延时等) 约在1 5 5 m s 。手术 中两端的操作计算机采用了v x w o r k s 实时操作系统，该次手术中所使用的机器 人为美国c o m p u t e r m o t i o n 公司的z e u s ( 宙斯) 机器人。手术的示意图如下所示。 图1 1 远程遥操作手术示意图 虽然法国和美国的研究者已经成功地实施了远程手术，但是该次手术采用了 专用的通信线路，代价高昂。如果要使得基于网络的机器入服务真正地应用起来， 通过公用因特网以及各种有线、无线通信方案而实现的远程遥操作机器人服务才 是最广泛、可行和实用的方案。因此，对通过公用因特网而不是专用网络而进行 的机器人遥操作的研究正越来越多地受到研究人员的关注。1 9 9 7 年k e v i nb r a d y 等开发了一个机器人遥操作系统【3 】，操作者位于新墨西哥洲( n e wm e x i c o ) 的 中国科学技术大学硕士论文第一章绪论 爱伯克奇( a l b u q u e r q u e ) ，远程的p u m a 机器人位于华盛顿大学圣路易( s t 1 0 u i s ) 分校。两者的距离大约为1 5 0 0 公里。操作端和远程机器人通过因特网进行通信， 采用的通信协议是u d p 。类似的系统还有k e p h o n t h e w e b 4 】，x a v i e r 5 ，r h i n o 6 ， m i n e r v a 7 ，m e r c u r y 8 】。 本文在对现有的遥操作系统1 广泛调研的基础上，结合了家庭医疗、老年人看 护实际应用背景，研究了基于因特网的室内移动机器人遥操作系统中的关键问 题，提出了一种移动机器人定位方法、移动机器人路径规划和导航方法以及遥操 作系统中视频反馈传输方法并予以了验证。本文研究的系统将用户直接遥操作和 机器人自主操作相结合，采用用户远程遥操作和局域自主控制的两级控制方式， 使用基于计算机视觉的全局定位方法和基于v f h 的路径规划和导航方法。本文 研究的系统具有跨平台的特点，客户端可以运行在l i n u x 和w i n d o w s 系统的p c 中，将来还能扩展到p d a 和智能手机中。对该系统的研究将促进远程网络遥操 作系统在各类交互式方面的应用比如无接触高传染性病人的护理和基于掌上通 信器的家庭医疗和老年人护理系统。 1 2 基于因特网的机器人遥操作系统国内外研究现状 机器人遥操作系统使得用户可以不进入现场就可以操作位于远程的机器人， 而基于因特网的机器人遥操作系统更具有成本低、部署简单、操作方便的特点。 因此，受到了研究人员的重视。 1 9 9 4 年，美国南加州大学的m e r c u r y 项目使得用户可以通过因特网来操作 远程的机器人。这可能是有报道的第一个可以通过因特网进行遥操作的机器人系 统【8 】。该系统使用一个i b ms r 5 4 2 7 机械臂，在机械臂上安装有e d c1 0 0 0c c d 摄像机，摄像机拍摄的图像是1 9 2 1 6 5 象素的灰度图像。操作空间是一块布满 沙堆的二维平面，用户可以在远程操作该机械臂进行移动，并且通过机械臂上的 c c d 摄像机看到远程操作空间。用户还可以远程操作机械臂，使机械臂喷出压 缩空气，吹开沙堆上的沙子从而发现掩埋在沙子中的物品。整个系统采用的通讯 协议是h t t p 。系统中共有三台服务器，服务器a 用来提供h t t p 访问，服务 器b 用来对登录的用户进行验证，服务器c 用来控制机械臂。在从1 9 9 4 年8 月到1 9 9 5 年2 月的几个月期间，全球共有超过5 万的用户进行了操作。 与此同时，西澳大利亚大学的k e nt a y l o r 设计了一种遥操作系统【9 】。该系统 使用了一个6 自由度的a b b 公司机械臂，采用l a b v i e w 来控制该机械臂。远程 用户可以通过因特网对该机械臂发出控制请求，机械臂可以根据用户的请求来搭 在本文中，遥操作系统如不特别说明均是指基于因特网的遥操作系统 2 中国科学技术大学硕士论文第一章绪论 建积木。该系统自从1 9 9 4 年上线以来，直到今天还一直在运行。用户可以通过 h t t p ：t e l e r o b o t m e e h u w a e d u a u t e l e r o b o t i n d e x h t m l 来了解该遥操作系统的最新 情况。下图为该遥操作系统的界面示意图。 图1 2 遥操作机械臂界面图 也是在1 9 9 4 年，英国b r a d f o r d 大学工业技术系的m a r kj c o x 开发了一个可 以通过万维网远程控制太空望远镜的系统【1 0 1 。该系统主要提供给学校、天文爱 好者来使用。用户在远程通过网页浏览器来控制位于天文台的望远镜，远程的望 远镜所观察到的图像通过i n t e r n e t 发送给用户。图像可以是j p e g 图像，也可以 是g i f 动确图像。图1 3 为该遥操作望远镜的示意图 图1 3 遥操作望远镜示意图 中国科学技术大学硕士论文第一童绪论 以上三个遥操作系统可以算是遥操作系统的早期代表。从今天的角度来看， 它们的功能有些简单，如它们的控制任务为简单地移动机械臂或者望远镜，而且 被控制的对象与其说是机器人，倒不如说是机器机械。但是它们的开发为基于因 特网的遥操作系统的研究提供了宝贵的经验。 1 9 9 8 年德国柏林大学计算机科学系和卡耐基梅隆大学联合为柏林博物馆开 发了服务机器人砒- i i n o 6 j 。该机器人被用在博物馆中为人群提供导游服务。用 户可以通过该机器人找到要到达的地点。r h i n o 是一个具有自主性的机器人， 它具有自主导航的能力。与其他的服务机器人相比，它的不同之处在于它可以通 过i n t e r n e t 发送当前它所观察到的环境信息给用户。r h i n o 装有两台摄像机，一 台用来观察r h i n o 前方的信息，另外一台延伸出r h i n o 本体，这样，通过这 台摄像机可以看到机器的周围环境的情况。这对于处在拥挤环境中的r h i n o 是 非常重要的。这两台摄像机所拍播，疗图片都可以通过i n m e t 发送给监督者。 r h i n o 本身具有非常丰富的感知j ；境的能力，它具有声纳传感器和激光测距传 感器，这样它很容易避开博物馆扮jf 的人群和障碍物。由于r h i n o 具有一定的 自主性，大部分的工作都依赖于r h i n o 自主来完成。远程的操作者只是起到一 个监督的作用。 图1 4r h i n o 机器人遥操作界面 与r h i n o 相比，c m u ( 卡耐基梅隆大学) 开发的遥操作机器人x a v i e r 1 1 】 在用户控制方面前进了一步。x a v i e r 的遥操作界面使得用户可发送命令给 x a v i e r ，而不仅仅是监督操作。x a v i e r 机器人本身带有的传感器有编码器、声纳 传感器，激光传感器，头部有一个s o n y 摄像机。x a v i e r 的处理器是两个2 0 0 m h z 的p e n f i u m 计算机，运行l i n u x 系统，头上带有一个4 8 6 的笔记本，提供显示功 能。正因为x a v i e r 本身具有了丰富的传感器和强大的处理能力，因此它才可以 中国科学技术大掌硕士论文 第一重绪论 执行远程操作者发出的到哪一个房间这样高层次的命令。下图是x a v i e r 机器人 示意图以及控制和监督的界面示意图。 图1 5x a v i e r 机器人遥操作界面 上面所介绍的是国外比较具有代表性的基于因特网的机器人遥操作系统。实 际上，类似的系统还有很多。如为拆卸核装置所开发的遥操作系统【1 2 】，使用了 超媒体( s u p e r m e d i a ) 技术基于事件的遥操作系统1 1 3 。 就国内的情况而言，由于国内因特网的发展较晚，因此对基于因特网的遥操 作研究也相对较晚。在国家自然基金、8 6 3 以及9 7 3 的资助下，国内一些的单位 也开始了这方面的研究，如中科院沈阳自动化所，中科院合肥智能所以及哈工大、 北航、南开、上交大等高校。 上海交大任吴星等开发的基于因特网控制的a d e p t6 0 4 - s 工业机械手，是国 内数据库中能检索到的较早的基于因特网的遥操作系统 1 4 1 。南开大学的马宏鹏 使用p u m a7 6 0 远程进行轴孔互锁装配实验，整个装配过程所需要的时阋少于 3 0 秒【1 5 】。北航的丑武胜开发了可以远程控制工业机械手进行拧灯泡、拧阀门、 按电钮等一系列动作的遥操作系统1 1 6 。整个系统采用了两台摄像机来获得立体 视觉，用户的界面端采用了三维预测仿真技术。中国科学院沈阳自动化所郑伟开 发了远程机器人足球比赛遥操作系统，足球机器人位于东北大学内，比赛机器人 为3 对3 ，操作者通过遥控杆控制机器人进行足球比赛【1 7 l 。值得一提的是2 0 0 6 年3 月4 日，延安市一名患者在延安大学附属医院接受了由北京专家通过互联网 远程遥控机器人辅助实施的胫骨髓内钉手术。去年1 2 月2 2 日，一位6 9 岁的延 安农民接受了由北京专家通过互联网远程遥控机器人实施的神经外科手术【1 8 l 。 中国科学技术大学硕士论文 第一章绪论 1 3 机器人遥操作系统中的关键技术和问题 基于因特网的遥操作机器人系统是指在人的参与和控制下，在远离操作者环 境中控制机器人完成相应任务的系统。遥操作系统主要由远程系统( 包括传感器、 控制器、执行器等) 、本地操作端( 发送控制命令、接收远程系统传感器的反馈 信息) 以及两个系统之间的通讯系统组成。远程系统通过各类传感器获得各种表 征远程机器人环境及当前状态的信息，如视频、音频、运动觉及其他类型的感知 信息。这些信息被通过网络传输到操作端，并通过一种叫临场感的技术使操作者 尽可能详细地感知远程机器人的当前状态和周边环境。操作者再根据感受到的反 馈进行决策，并发出相应的控制命令到远程机器人端，从而实现远程遥操作。下 图是具有力学反馈和视觉反馈的遥操作系统示意图 1 9 1 。 图1 6 具有力学和视觉反馈的遥操作系统示意图 在基于因特网的机器人遥操作系统中，数据通信是需要考虑的一个问题。因 特网的延时具有不确定的特点，研究人员很难预测因特网的延时情况。同时，延 时还没有确定的上下界，它的变化也可能很大，也就是说它的抖动比较剧烈。研 究人员对于网络延时提出的解决方案主要为：( 1 ) 采用各种方法如波变量、s m i t h 预测器预测网络延时和进行补偿 2 0 ，2 1 】。( 2 ) 基于时变、用非确定状态空间描 述的高级监控策略 3 1 。( 3 ) 用基于传感器状态的参考系取代时间参考系而绕过 网络延时问题的基于非时间参考系的远程遥操作算法【2 2 1 。( 4 ) 在用户的遥操作 界面上用图像仿真和传感信息显示，来以图像的方式预测显示远程机器人的即时 状态 2 3 2 4 。 遥操作机器人的控制策略也是需要考虑的一个问题。远程机器人的控制方法 通常可以分为如下三种【2 5 】：直接控制( d i r e c tc o n t r 0 1 ) 、监督控制( s u p e r v i s o r y 6 中国科学技术大学硕士论文第一章绪论 c o n t r 0 1 ) 和自主控制( a u t o n o m yc o n t r 0 1 ) 直接控制也称为木偶式控$ 0 ( p u p p e t a p p r o a c h ) ，即由操作者完全遥控远程机器人，对机器人发送直接动作命令，精 确地控制其完成作业任务。这种方法能充分利用人的感知、判断和决策能力，通 过操作者频繁地参与控制而获得较好的控制效果。其缺点是在直接控制方式下， 需要向操作者反馈详细的远程机器人环境和动作状态信息，包括视觉、运动觉等 各种实时信息。而在较大的对延情况下，这种严重依靠信息传递的遥操作是很难 实现的。为了保证机器人遥操作系统的稳定性，不得不降低操作速度，这将降低 系统的动态响应性能。监督控制的基本思想是依靠机器人的自主能力，把许多工 作放给机器人自主地完成，而操作者要做的是监督和上层次的任务规划。这种方 法能将时延排除在底层控制回路之外，从而在局部获得较高的稳定性能和控制精 度。自主控制是完全将人排除在控制回路外，平用机器人的自主控制能力去完成 任务。但是在目前的a i 技术条件下，机器人还不具备很好的全局自主能力，机 器人对于环境的变化缺乏足够的感知和应变能力，因而导致系统的灵活性差，在 遇到意外差错时，机器人很难依靠自身进行误差恢复。因此在目前的人工智能发 展水平下，将人的智能性与机器人的有限自主性相结合是一种比较可行和实用的 方案。 1 4 本文的研究内容 本文的研究背景为适用于家庭老年人医疗看护的机器宠物遥操作系统，该遥 操作系统采用远程直接控制和局域自主控制相结合的二级控制策略。结合这一研 究背景，本文的研究工作将主要从如下几个方面展开： 1 ) 研究家庭室内环境下移动机器人的定位方法。 2 ) 研究家庭室内环境下移动机器人的路径规划和导航方法。 3 ) 研究移动机器人遥操作系统中的数据通信系统。 4 ) 设计并开发一个移动机器人遥操作系统。 1 4 1 基于图像差分和光流追踪的移动机器人定位方法 本文所研究的移动机器人遥操作系统拟采用远程控制和局域自主控制相结 合的两级控制方法。操作者既可以直接控制远程移动机器人，也可以发送高层次 的命令，由移动机器人来自主完成。为了使得移动机器人具有自主性，机器人必 须能时刻知道自己所处的位置，然后才能做出进一步的行动。 移动机器人定位方法可以简单分为两类：绝对定位和相对定位。绝对定位包 7 中国科学技术大学硕士论文第一章绪论 括g p s ，地图匹配等。相对定位包括航位推算等f 2 6 】。移动机器入定位的方法受 到机器人本身所携带的传感器的限制，比如航迹推算需要移动机器人具有能记录 已经走过里程的传感器，如光电玛盘。而本文所基于的机器人平台s o n ya i b o 本身所携带的传感器有限，因此，根据实际情况，本文提出了一种低成本的基于 计算机视觉的移动机器人定位方法。该方法将图像差分法和光流跟踪法相结合， 能很好地解决图像差分法容易受到外界噪声干扰的缺点，叉能在光流点丢失的情 况下恢复定位，具有很好的鲁棒性。本文还对室内家庭环境进行分析，根据室内 家庭环境的特点提出了一种图像差分参考帧动态更新的方法。该方法能解决图像 差分法在环境发生变化后失效的缺点，在光流点丢失后能重新获得移动机器入的 位置。 1 4 2 基于v f h 的移动机器人路径规翘i 和导航 v f h 2 7 是密歇根大学的b o r e s t e i n 和k o r e n 一起创立的方法。它们早期的 工作主要是基于v f f ，但是他们发现该方法不稳定，且没有能力通过狭窄的通道， 七，后来一起研究开发了v f h 方法 2 8 i 。 、f h 是一种局部的路径规划和避障的方法。它的摹本思路是寻找移动机器人 岗l ：刍】。，j 以通过的空间。该方法假定机器人携带有测量距离的传感器，该传感器可 以获得围绕机器人一定角度范围内的物体的距离。 对于本文研究的系统，同样需要一种路径规划和导航的算法。由于本文是通 过全局相机来获得全局地图，因此很直观的想法是采用静态离线式的路径规划方 法，也就是说预先给移动机器人规划一条从起始点到目标点的路径，然后移动机 器人延着该路径前进。但是该方法是离线式的路径规划，因此不适应类似于家庭 环境的动态环境。在家庭环境中，由于有人或者其他移动的物体存在，采用这种 单纯离线式的路径规划并不是一个好的方法。并且即使规划好路径以后，还需要 使用路径跟踪算法来沿着预先规划的路径前进。 v f h 方法原理简单，易于实现，更为重要的是，它能直接产生我们所需要的 控制量：移动机器人前进的角度。因此，移动机器人只需要沿着v f h 方法计算 出来的前进方向移动就可以了。 由于v f h 主要着眼点在于避开障碍物，因此，在没有障碍物的情况下如何 选择路径并没有特别说明。如果在没有障碍物的情况下仍然按照v f h 的方法来 选择路径，选择的路径并不是优化的。因此，本文针对于本文所研究的系统的实 际情况，对v f h 算法进行了定的改进，使得它更适合本文所研究的遥操作系 统。 中国科学技术大学硕士论文第一掌绪论 1 4 3 遥操作系统中的通信系统的研究 虽然在1 9 9 7 年就有人指出在基于因特网的机器人远程遥操作系统中，网络 通讯协议和通信方法起着非常重要的作用 2 9 1 ，但研究人员大多忽略7 这一问题。 在以往开发的遥操作系统中，大多直接采用u d p 协议来进行通信【3 ，3 0 ，3 1 1 直 接采用u d p 协议进行通信，虽然比较简单，但是u d p 协议是一个完全不带反馈 的协议，它不会根据网络的情况调整发送速率，也就是说它不符合t c p 友好的 要求。如果在网络中直接采用u d p 协议进行通信，有可能给整个因特网带来问 题 3 2 1 。因此就需要从通信的角度来设计种用于远程遥操作系统的通信协议， 该协议要具有u d p 所不具有的t c p 友好的特点，而且还要能尽可能地降低通信 延时 在移动机器人遥操作系统中，由于移动机器人多采用无线连接同服务器进行 通信。而无线信号受到传输距离的远近和环境的影响。在无线信号衰减的过程中， 通常会发生数据包的丢失。传统的t f r c 协议【3 2 】是为有线网络设计的。有线网 络和无线网络有着一定的区别。在有线网络中网络丢包意味着网络中发生了拥 塞，这个时候就需要启动拥塞控制机制。通常是降低发送端的发送速率。在无线 网络中，由于无线信号衰减而发生丢包的情况下是不需要降低发送速率的。针对 本文所研究的系统来说，降低发送速率会降低移动机器人发送反馈信息如视频反 馈的效率。本文针对这个问题提出了解决方法。 在基于因特网的远程遥操作系统中，如果操作者不能有效地感知远程被控制 对象的情况，就犹如盲人摸象一样，未免失之毫厘，差之千里。因此研究人员提 出了临场感的概念，即通过给操作者提供足够的远端现场信息，使得操作者即使 不在远端却也能产生身临其境的感觉 3 3 1 。临场感技术通常有两种，即视觉临场 感和力觉临场感。其中视觉临场感是临场感技术的主要形式。在本文中，远程现 场安装有摄像头来实时获取远程机器人的环境信息，同时机器人自身所带的摄像 头也实时将所看到的图像传回到操作端。本文提出了一种基于对象编码和感兴趣 区域的视觉反馈信息传输方法，该方法能大大降低传输视觉反馈信息的数据量， 在不降低操作者的视觉i 临场感的情况下，能提高视频反馈信息传输的效率和降低 其传输的时间。 1 4 4 实验系统的构建 为了验证本文所提出的方法的有效性和可行性，本文设计并实现了机器人遥 操作实验系统。为了获取全局地图，在实验室的天花板上安装有普通p c 使用的 摄像头摄像头的型号为爱友s 魔眼系列。该摄像头采用中星微公司的3 0 1 h 芯 9 中国科学技术大学硬士论文 第一章绪论 片，可以输出b m p 和j p g 格式的图像，最大分辨率为8 0 0 6 0 0 。摄像头与服务 器相连，将获得的整个实验场地的全局地图发送到客户端，并且该摄像头还用于 给s o n ya i b o 移动机器人进行定位。a i b o 使用8 0 2 ，l i b 无线通信协议与因特网 连接，a i b o 中的程序采用c + + 语言基于s o n y 的o p e n - r 开发。客户端采用跨 平台的q t 图形库和j a v a 编写。 1 5 本文的主要贡献 论文以家庭室内环境为背景，研究基于因特网的移动机器人遥操作系统，研 究内容涉及移动机器人定位导航，遥操作系统反馈信息的有效传输以及遥操作系 统的实现。论文的主要贡献在于： 1 提出了一种用于家庭室内环境下低成本的移动机器人定位方法。该方法 在移动机嚣人本身缺乏可以用来定位的传感器的情况下使用图像差分和 光流跟踪为移动机器人提供定位。整个定位系统的成本非常低廉，而定 位精度完全可以满足遥操作系统的需要。 2 论文对室内家庭环境进行了分析，提出了图像差分参考帧动态更新的方 法。该方法能解决室内环境变化的情况下如何使用图像差分法进行移动 机器人定位的问题。并且由于该方法更新了参考帧，客户端将获得更好 的视觉临场感。 3 论文基于v f h 提出了一种路径规划和导航的方法。该方法能够成功避开 室内环境下的动态障碍物，寻找从起点到目标点的路径。本文的仿真实 验证明了该方法的有效性和可行性。 4 论文提出了一种用于移动机器人传输反馈信息的网络协议。该协议能鉴 别网络拥塞丢包和无线信道错误所导致的丢包，与u d p 协议相比，该协 议具有t c p 友好的特点。与其他的t c p 友好的协议如t f r c 和t t p 相 比，该协议又能鉴别丢包的类型，从而避免盲目地降低视频反馈的发送 速率。 5 论文提出了一种基于对象编码和感兴趣区域的视频信息反馈传输方法。 相比于以往遥操作系统中传输所有远程视频反馈信息的方法，该方法能 在不降低用户视觉临场感的前提下，显著地降低传输的视频反馈数据量， 提高传输的效率和降低传输的延时。 6 论文将上述内容结合，构建了一个跨平台的远程遥操作系统。该系统为 今后的研究工作打下基础。 中国科学拄术大学硕士论文第一章绪论 1 6 论文的结构和内容安排 本论文全文共由六章组成。具体的章节安排和各章的内容如下： 第一章绪论，概述了本论文的选题背景和研究意义，介绍了国内外基于因 特网的移动机器人遥操作的研究现状，提出了机器人遥操作系统中的关键技术和 问题，最后给出了本论文的研究内容和主要贡献。 第二章基于图像差分和光流法的移动机器人定位研究，介绍了移动机器人 中常用的定位算法，实验验证了基于无线传感器网络的室内移动机器人定位精度 不符合本文研究的系统的要求，提出了基于全局相机的室内移动机器定位方法， 该方法将图像差分法和光流法相结合，提出了一种图像差分法参考图像动态更新 的方法，本章还对上面提出的方法进行了实验验证。最后，介绍了室内环境下两 种a i b o 机器人定位的方法。 第三章遥操作系统中移动机器人路径规划方法研究，介绍了几种局部和全 局的路径规划方法，在v f h 算法的基础上，提出了一种v f h 的改进算法，并且 编写了仿真程序验证该算法的性能。 第四章遥操作系统中数据通信的研究，说明了目前的传输协议t c p 和u d p 不适合直接使用在遥操作系统中，介绍了一种为遥操作系统开发的三项式协议。 在此基础上，针对移动机器人多采用无线通信的特点，提出了一种新的移动机器 人遥操作系统传输协议t f r c p r o b e ，并采用n s - 2 仿真工具验证了该协议的性 能。提出了一种基于对象编码和感兴趣区域的移动机器人视频反馈传输方法，并 实验验证了该方法的有效性和可行性。 第五章遥操作系统软件设计与实现，介绍了本文开发的a i b o 遥操作实验 系统的组成，介绍了软件每一部分的功能和处理流程，最后，给出使用该系统进 行遥操作实验的结果和分析。 第六章总结和展望，对全文的工作进行总结，并对下一步的工作进行了展 望。 中国科学技术大学硕士论文第二章基于图像差分和光流法的移动机器人定位研究 第二章基于图像差分和光流法的移动机器人定位研 究 2 1 引言 遥操作机器人的控制策略是机器人遥操作系统需要考虑的问题。遥操作机器 人的控制方法通常可以分为如下三种：直接控制( d i r e c tc o n t r 0 1 ) 、监督控制 ( s u p e r v i s o r yc o n t r 0 1 ) 和自主控制( a u t o n o m yc o n t r 0 1 ) 【2 5 。在现有的人工智 能发展水平下，完全自主的移动机器人很难实现。在直接控制中，机器人只是作 为个执行器，不能发挥移动机器人的智能性，同时由于人过多地参与控制环节， 使得系统很容易受到网络延时的影