（信号与信息处理专业论文）遥感卫星地面系统中数据管理的若干关键技术的研究.pdf

研究成果声明 本人郑重声明：所提交的学位论文是我本人在指导教师的指导下进 行的研究工作获得的研究成果。尽我所知，文中除特别标注和致谢的地 方外，学位论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得中国科学院电子学研究所或其它教育机构的学位或证书所使用 过的材料。与我一同工作的合作者对此研究工作所做的任何贡献均已在 学位论文中作了明确的说明并表示了谢意。 特此申明。 签名：影勿嗍7 砝似 关于学位论文使用权的说明 本人完全了解中国科学院电子学研究所有关保管、使用学位论文的 规定，其中包括：电子所有权保管、并向有关部门送交学位论文的原 件与复印件；电子所可以采用影印、缩印或其它复制手段复制并保存 学位论文；电子所可允许学位论文被查阅或借阅；电子所可以学术 交流为目的，复制赠送和交换学位论文；电子所可以公布学位论文的全 部或部分内容( 保密学位论文在解密后遵守此规定) 。 签名：似叨 导师签名： e l 期：弘瑚岁，。侈 e t 期：加啼f - 石伊 摘要 摘要 现代遥感卫星地面处理系统的数据管理作为现代遥感卫星地面处理系统的 一个重要的组成部分，是遥感地面处理系统中的重要支撑和服务环节，其性能 和自动化程度高低直接影响了成像和操作人员对数据进行检索、浏览以及对处 理数据效率的高低。与其它的一般的数据管理问题相比，现代遥感卫星地面处 理系统的数据管理有其自身的特点。 本文以现代遥感卫星地面处理系统为背景，结合现代遥感卫星地面处理系 统的数据管理方面的实际需求，对实际工程中涉及的部分关键技术进行深入研 究： 分布式环境下数据的传输与共享问题 分布式环境下文件目录的管理问题 关于分布式环境下的数据传输和共享问题，本文首先对t c 聊p 协议中的 t c p 层的工作原理进行了深入分析，然后着重讨论f r p 技术和s a m b a 技术在遥 感地面处理系统的数据传输和共享方面的应用以及局限性，然后。在此基础 上，提出了几项提高数据传输和共享性能以及应用方便性的措施，并结合他 们，定义了一套局域网中数据传输协议。 关于分布式环境下的文件目录管理问题，本文首先对虚拟化存储的概念进 行研究，提出数据的物理位置和逻辑视图分离的数据管理策略。然后对遥感卫 星地面处理系统的文件目录数据管理进行分析，最后提出了文件目录数据的访 问策略。 在此基础上，结合地面处理系统的实际业务逻辑，提出一套数据访问中间 件并予以实现。 关键字： 遥感卫星、地面处理系统、数据管理、中间件、套节字、业务逻 辑、网络服务、名字空间 l - _ _ _ _ _ - _ - _ _ _ _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ _ - - _ _ - _ _ _ _ _ _ _ _ _ _ _ _ _ - _ _ _ _ _ _ h h _ - _ - 遥感卫星地面系统中数据管理的若千关键技术的研究 s t u d yo fs e v e r a lk e yt e c h n o l o g i e so n d a t am a n a g e m e n t o fr e m o t es e n s i n gs a t e l l i t eg r o u n ds y s t e m d u a nl i g o n g d i r e c t e db yd i n gc h i b i a o d a t am a n a g e m e n ts u b s y s t e mo fr e m o t es e n s i n gs a t e l l i t eg r o u n ds y s t e mp l a y s a ni m p o r t a n tr o l ei nm o d e r nr e m o t es e n s i n gs a t e l l i t eg r o u n ds y s t e ma n di tm a i n l y s e l v e sa n ds u p p o r t st h ew h o l er e m o t es e n s i n gs a t e l l i t eg r o u n ds y s t e m t h e p e r f o r m a n c ea n dt h ee x t e n to fc o n v i e n c ed i r e c t l ya f f e c ti m a g i n gs p e e da n do p e r a t o r s e f f i c i e n c yw h e nt h e ys e a r c h ，b r o w s ea n di n t e r p r e ti m a g e sa n dd a t a c o m p a r e dw i t h g e n e r a ld a t am a n a g e m e n t ，d a t am a n a g e m e n ti nr e m o t es e n s i n gs a t e l l i t eg r o u n d s y s t e mh a si t ss p e c i a lc h a r a c t e r i s t i c s w i t ht h eb a c k g r o u n do far e a lr e m o t es e n s i n gs a t e l l i t eg r o u n ds y s t e m ，t h e p a p e ra n a l y z e st h er e q u i r e m e n t so fd a t am a n a g e m e n ti nr e m o t es e n s i n gs a t e l l i t e g r o u n dp r o c e s s i n gs y s t e ma n ds t u d i e sk e yt e c h n o l o g i e sc o n c e r n i n gr e a lp r o j e c t s t h e k e yt e c h n o l o g i e sa r ef o l l o w i n g ： d a t at r a n s p o r t a t i o na n ds h a r i n gi nt h ed i s t r i b u t e de n v i r o n m e n t ， f i l ei n d e xm a n a g e m e n ti nt h ed i s t r i b u t e de n v i r o n m e n t a sr e g a r d sd a t at r a n s p o r t a t i o na n ds h a r i n g ，t h ep a p e rf i r s ts t u d i e st h ea p p l i a c a t i o n o ff t pa n ds a m b ai nr e m o t es e n s i n gs a t e l l i t eg r o u n ds y s t e ma n dt h e na n a l y z e st h e w o r kt h e o r yo ft c p l a y e ro ft c p i pp r o t o c 0 1 b a s e do nt h ew o r ka b o v e ，t h ep a p e r p r o p o s e ss e v e r a la p p m c h e s t os p e e d i n gd a t at r a n s p o r t a t i o na n ds h a r i n ga n dc o m p o s e s o u ro w n p r o t o c 0 1 f o rf i l ei n d e xm a n a g e m e n t ，t h ep a p e rf i r s ts t u d i e st h ec o n c e p to fv i r t u a ls t o r a g e a n d p r o p o s e sa na p r o a c ht os e p a r a t i n gp h y s i c a ll o c a t i o nf r o ml o g i c a lv i e wo fd a t a t h e n ，t h ep a p e ra n a l y z e sf i l ei n d e xm a n a g e m e n ta n dp u tu pa na p p r o a c ht oa c c e s s i n g f i l ei n d e xd a t a b a s e b a s e do nt h ew o r ka b o v e ，t h ep a p e rp r o p o s e sa n di m p l e m e n t sa na c c e s s i n g - d a t a m i d d l e w a r ef o rr e m o t es e n s i n gs a t e l l i t eg o u n ds y s t e m k e yw o r d s ：r e m o t es e n s i n gs a t e l l i t e ，g o u n ds y s t e m ，d a t am a n a g e m e n t ， m i d d l e w a r e ，s o c k e t ，o p e r a t i o nl o g i c ，n e t w o r ks e r v i c e ，n a m es p a c e 2 引言 第一章引言 近几年来，遥感图象的应用得到了很大发展。作为生产遥感图象的遥感系 统中重要组成部分的遥感地面处理系统，从最早的工作站系统，较早的单一主 机系统，发展到目前流行的多节点的分布式并行处理系统，处理速度越来越 快，功能日益强大，结构也日益复杂。 越多，目前已达到t b 级甚至几百t b 据管理就变得异常重要。 同时，处理系统需要处理的数据也越来 这种情况下，遥感卫星地面系统中的数 1 1 小节对遥感卫星地面系统的数据管理进行了简单介绍，1 2 小节介绍了 本文的工作内容和章节组成。 1 1 遥感卫星地面系统数据管理概述 一般的遥感卫星地面系统的典型结构如图1 , 1 1 所示。 图1 1 1 ) 遥感卫星地面系统的典型结构 遥感卫星地面系统从各个卫星地面接收站接收所需处理的原始数据。地面 接收站接收到的雷达卫星回波数据和各类辅助数据般通过网络或以磁带的方 式传输到地面处理中心，由数据接收与归档子系统完成数据的存储，由数据编 5 遥感卫星地面系统中数据管理的若干关键技术的研究 目与检索子系统生成和维护数据检索所需的数据库记录，由浏览图像生产子系 统生成检索和浏览所需的浏览图像。用户通过数据编目与检索子系统检索和浏 览系统中的原始数据和各级标准图像产品，并根据其需要，向管理控制予系统 下达图像产品生产订单。标准图像生产子系统以处理产品订单的形式完成从原 始数据到各级图像产品的生产。应用子系统在各级图像产品的基础上完成进 步的分析和解译。最后通过产品输出子系统输出最终用户所需要的产品。整个 遥感卫星地面系统中的各个处理单元，统一在管理控制子系统的调度下协调运 行，实现系统中的所有处理流程。 在如此复杂的系统中，同时考虑到现代各平台具有不同的优点，仅采用一 种平台是不可想象的，同时考虑到整个系统的可扩展性，因此，异构平台间的 数据交换与传输是必须要考虑的；同时，在分布式环境中，纷繁复杂的数据不 一定存储在本机系统中，对这些数据的管理能否进行简化，同样非常重要；此 外，在分布式环境中必然存在着大量的各平台之间的数据传输与数据交换，那 么数据传输与交换的速度将直接影响着整个地面处理系统的吞吐能力，进而影 响图象产品的生产能力。而这些正是分布式系统中的数据共享与传输、文件目 录管理的内容。 因此，如何提高分布式环境下的数据传输速度，如何紧密结合数据处理系 统的业务逻辑，如何对分布式环境下的文件目录进行管理和访问，如何对纷繁 复杂的数据提供远程数据的尽可能快的读写能力，成为遥感卫星地面系统的数 据管理的重要内容， 1 2 本文工作内容 目前，一般意义上的数据管理通常有两种方式：一种是文件管理的方式， 另一种是数据库管理的方式。然而，当前流行的现代卫星遥感地面系统一般采 用数据库管理与文件管理相结合的方式来管理数据。 本文将针对实际工程中的遥感卫星地面系统，对遥感卫星地面系统的数据 管理的关键技术进行研究。首先，本文分析合成遥感卫星地面系统数据管理的 特点，对其中的若干关键技术( 包括分布式环境下的数据传输与共享、分布式 环境下的文件目录管理与访问等) 进行深入分析；在此基础上，结合地面处理 系统的业务逻辑，提出一种适用于遥感卫星地面系统的数据读写中间件。 6 引言 目前，对计算速度、系统可靠性以及成本实效性的要求使得分布式系统取 代传统的冯诺依曼结构的计算机，得到广泛的应用。而针对分布式系统的各项 技术的研究也正如火如茶的进行。本文将结合遥感卫星地面系统的实际需求， 重点讨论松耦合分布式环境下的数据传输与共享以及文件目录管理方面的内 容。 本文共分为7 章。 第一章作为引言简单介绍了遥感卫星地面系统的组成，并提出了数据管 理，并对本文的工作内容进行了扼要的说明。 第二章介绍了数据管理的概念，分析了遥感卫星地面系统的系统组成以及 数据管理的业务逻辑及其特点，结合实际需求，提出了遥感地面处理系统中数 据管理的的若干关键技术。 第三章主要介绍论文工作内容的理论基础t c p 层的数据传输、s o c k e t 技术、f 1 1 p 和s a m b a 技术以及虚拟化存储技术。本章的内容将作为后面章节的 基本原理以及工作的理论出发点。 第四章对遥感卫星地面系统中数据管理的关键技术之一分布式环境下 的数据传输与共享技术进行分析。首先，对当前遥感卫星地面系统中数据传输 与共享的现状进行介绍，然后，根据t c p 层的工作原理，针对遥感卫星地面系 统的特点，提出了数据传输与共享的优化措施，最后定义了一套数据传输与共 享的协议规范。 第五章对遥感卫星地面系统中数据管理的另一关键技术文件目录数据 的管理和访问进行研究。本章借鉴虚拟存储技术中的文件目录数据的管理，提 出文件目录数据的管理和访问策略。 第六章在前面分析的基础上，结合地面系统的业务逻辑，提出了一种适用 于遥感卫星地面系统的数据读写中间件并对其进行了实现。 第七章对本文的工作进行总结。 7 遥感卫星地面系统中数据管理的若干关键技术的研究 第二章遥感卫星地面系统数据管理 遥感卫星地面系统的数据管理作为遥感卫星地面系统进行图象产品生产与 图象产品管理的支撑因素，对整个遥感卫星地面系统的效率和生产速度具有直 接的影响。 本章主要对遥感卫星地面系统的数据管理进行介绍，并结合实际需求，引 出本文所要研究的遥感卫星地面系统数据管理的几项关键技术分布式环境 下的数据传输与共享技术、分布式环境下的文件目录管理与访问技术。 2 1 节对数据管理进行一般性的定义，介绍数据管理的历史与现状，2 2 节 针对实际工程中的遥感卫星地面系统，分析其业务需求、数据管理分系统的系 统组成能够以及它的主要的数据流程，2 3 节提出了本文所要涉及的几项遥感卫 星地面系统数据管理方面的关键技术。2 4 节对本章的工作予以小结。 2 1 数据管理 2 1 1 数据管理的历史与现状 在计算机信息系统中，数据的组织与管理是非常重要也是非常复杂的一个 环节a 传统的数据管理方法是利用文件进行管理。它将与某个特定应用有关的 所有的数据都收集在一个应用文件中，然后对该文件进行管理。这样，每个应 用程序都有自己的数据文件，而数据可能在多个文件中重复出现，造成数据冗 余。当一个文件中的数据改变，而其它文件中相同的数据却不能进行相应的变 化，从而对数据的修改和更新造成不便，同时也降低了数据的完整性。而且， 它往往忽略两个表面看来似乎独立的数据文件之间的重要联系，而要建立这种 联系，并利用这种联系，是需要大量的人工干预的。更重要的是，在以文件方 式管理数据时，时间与程序之间存在着相互依赖，为一个应用所组织和开发的 程序与数据不能为其它的程序所读取。 由于传统的文件管理数据的方法存在着各种各样的问题，为了克服这些缺 陷，出现了以数据库来管理数据的方法。在这种方法中，数据集合可由多个应 用程序共享，每个应用程序使用数据库中相关的数据集合而不是各自拥有自己 的时间文件。由于数据在多数情况下只存放在一处，使得修改和更新更为容 易，也提高了数据的完整性。另外，这种方法也有利于数据与程序的独立性， 8 遥感卫星地丽系统数据管理 存取的标准化。所有的应用程序都能使用相同的过程来检索数据和信息。正是 由于数据库方法的许多优点，可以随时提供准确完备及时的数据，因此，在实 际应用中数据库，尤其是关系型数据库管理数据的方式获得了广泛的应用。 然而，用数据库进行数据管理也有一些缺陷。首先，数据库中的所管理的 数据并不是原始的数据，原始数据的模型经过一定的转换之后变为适合数据库 管理的数据模型，原始数据必须经过这种转换之后才能被数据库管理，但是在 某些应用中的数据往往不适合这种转换；其次，数据库中的数据往往在一定时 问内是静态的，若需要频繁更新的数据则不适合这种情况；同时，对于已经入 库的数据重新读取则需要一定的时间；而在某些应用中，往往就存在这种需 要。而我们的遥感地面处理系统中的数据管理就属于这种情况。因此，对于遥 感地面处理系统中的数据，单纯的采用数据库或单纯地采用文件进行管理是不 够的。 2 1 2 数据管理的发展趋势 可以看出，单纯地采用数据库进行数据管理并不适合于所有的应用，对于 某些应用中，往往需要与文件的管理紧密地结合，才能达到对数据管理的目 的。在遥感卫星地面系统中，由于数据量巨大，单元数据体积大，而且数据变 更频繁，因此，有理由相信，利用文件与利用数据库结合一起实现对数据的管 理，将是遥感卫星地面系统的数据管理的大势所趋。 目前，对网格( g r i d ) 技术的研究方兴未艾，而网格技术的一个很重要的方 面便是对数据管理的研究，即数据网格( d a t ag r i d ) 。国际上对网格的研究最著 名盼项目之一就是g l o b u s 项目。在对数据管理方面主要针对的是分布式环境 下的数据管理，提出了g r i d f t p ( 针对分布式环境下数据的传输与数据的交换) 技 术，同时提出了数据网格的概念。在本文即将讨论的内容中，针对遥感卫星地 面处理系统这样一个分布式环境，数据网格的数据物理位置与逻辑视图分离的 思想将对文件目录数据的管理起指导性的作用。 9 遥感卫星地面系统中数据管理的若干关键技术的研究 2 2 遥感卫星数据地面系统的数据管理 2 2 1 系统的业务需求分析 遥感卫星地面处理系统的数据管理分系统( 以下简称数据管理系统) 面向两 类不同的用户：一类是数据管理系统的系统管理员，负责系统维护、数据备 份、业务流程的管理等工作；另一类是一般用户，提出数据需求，交由遥感地 面处理系统进行处理。 系统管理用户的需求： ( 1 ) 自动归档 要求对地面处理系统接收下来的数据能够自动分离、归档。预处理获得的 数据信息保存到文件中，按照时间顺序保存到数据中心，并且启动时码校准程 序按照时间关系对数据进行时码校准。 ( 2 ) 计划管理 数据管理系统要求对原始数据、参数数据的处理进行管理，并对每一块原 始数据生产快视浏览图象。同时应一般用户的需求，产生各类标准图象生产定 单。并且要求对快视图象、标准图象产品自动归档。 ( 3 ) 数据迁移 原始数据、参数数据、快视图象数据、标准图象数据等数据文件在首先存 放在在线的数据中心，按照一定的时间要求，要迁移到离线的磁带中。 一般用户的需求： 能够对任意地理位置的区域进行查询。 能够对自己需要的数据发出请求。 能够发出对特定区域的数据进行处理的请求。 能够发出对特定区域进行数据快视图象进行浏览的请求。 能够根据用户的请求产生处理定单。 2 2 2 系统组成 根据图1 1 1 ，在遥感地面处理系统中，数据管理系统主要由阻下几部分组 成： 存储设备 1 0 遥感卫星地面系统数据管理 存储设备用于保存地面处理系统中的所有原始数据和各级图象产品数据 等。在线存储设备、近线存储设备以及离线存储设备总的存储容量应该在几十 甚至几百t b 的容量。我们要求遥感卫星地面系统的存储设备不仅具有较大规 模的存储容量，而且也要具有与其他子系统进行快速地数据交换的能力。 成像服务器 成像服务器主要完成快视图象产品生产以及按照用户定单对某些区域进行 各级图象产品的生产。因此，成像服务器需要与数据中心进行大量的数据通 信。 编目服务器( 元数据管理服务器) 数据编目服务器主要对数据的存储信息、各类数据的信息以及其他与数据 有关信息进行保存并提供快速查询的能力。数据编目服务器运行o r a c l e 数据库 管理软件，供检索地面处理系统中的各种原始数据、各级图象产品数据使用。 o r a c l e 提供了日常管理工具，使建立数据库对象、数据备份、大批量数据入库 以及数据迁移工作变得方便。 消息队列服务器 消息队列服务器负责接收来自管理工作站对成像服务器的成像定单，将消 息发送到各处理服务器执行数据处理，并维护多个消息队列管道的稳定运行。 图象判读终端 图象判读终端主要负责对生成的图象产品进行标注，对重要目标进行识 别，从而方便具体的实际应用。图象判读首先需要对图象产品进行读取，标注 完毕后还需要对将标注信息保存，这些也需要与数据中心的快速的数据交换。 以上几个子系统都是遥感地面处理系统数据管理分系统的重要组成部分。 经过以上分析，可以看出，它们都存在相互间大量的数据通信，同时，各种服 务器运行在不同的平台，连接而成一个分布式系统。因此，在这种情况下，快 速而方便的数据通信就成为影响数据管理系统成败的关键。在2 2 3 小节，我们 将更详细的分析主要的数据流程。 2 2 3 系统中主要的数据流程分析 数据回放归档流程 1 1 遥感卫星地面系统中数据管理韵若干关键技术的研究 数据回放归档的目的是将接收系统从遥感卫星上面接收下来的数据经过一 定的预处理，然后存放到数据中心，同时对数据的本身信息以及数据的存储信 息进行保存。该流程主要是从接收系统到数据中心的数据通信，考虑到所有的 原始数据都要经过数据回放归档流程，囚此该流程中的数据回放速度将成为关 键。 数据检索浏览流程 数据检索浏览流程作为每个用户必然要用到的阶段，因此，快速的响应是 该流狴的中心问题。具体的流程如图2 2 3 1 所示。 圈2 2 3 1 ) 数据检索浏览流程 如图所示，该流程主要是与其通信的子系统较多，业务流程比较复杂，因 此，异构平台之间的数据交换是该数据流程的主要问题所在。 各级图象产品生产流程 系统根据用户通过终端界面下达的浏览图像产品或标准图像产品生产订单 生成向消息队列服务器下达的多份图像产品生产订单，每份订单对应于一幅浏 览图像或标准图像。图像产品生产订单包含附加信息，指明所生产的图像产品 为浏览图像产品或是标准图像产品。高性能计算服务器通过消息队列服务器获 1 2 遥感卫星地面系统数据管理 取成像订单，逐个处理这些成像订单，高性能计算服务器的成像处理程序不对 订单所包含的附加信息进行分析和解释。 该流程包含了图象服务器与数据中心，图象服务器与消息队列服务器以及 图象服务器与任务管理服务器以及任务管理服务器与编目服务器之间的数据通 信。 2 3 遥感卫星地面处理系统数据管理的关键技术 根据以上分析，整个的地面处理过程中，存在着大量的各平台问的数据传 输，而要处理的数据往往不在本地机上，因此数据在系统中的共享与传输以及 文件目录的管理是加快如此复杂而众多的数据流程的关键，而在实际的工程中 也遇到用现有的数据传输工具数据佑输速度达不到要求、数据文件目录仅靠文 件系统难以管理的困难。因此，我们将在以下的论文中对如下两方面进行研 究： ( 1 ) 分布式环境下的数据共享和数据传输问题 当前分布式环境下各平台问的数据共享和传输技术最流行的当属f r p 与 s a m b a 。这些技术的适用范围，它们的实现方式，针对具体的遥感地面处理它 们需要改进的地方，它们的缺点和局限，还有当前一些商业存储软件的实现技 术等，这些都需要进行研究，在此基础上，结合遥感地面处理系统的具体需 要，选择是使用f t p 和s a m b a ，还是在它们的基础上进行扩展，抑或是自研协 议，需要我们做大量的具体工作。 ( 2 ) 分布式环境下的文件目录管理问题 首先，遥感卫星地面系统现在一般都采用分布式处理系统，在各计算机或 服务器上的纷繁复杂的数据靠人工来去记忆和管理将非常困难；其次，由于数 据往往需要要经过多道工序的处理，如何尽量避免冗余数据的产生以及对产生 的冗余数据如何管理也是值得关注的问题。 2 4 小结 本章主要对遥感卫星地面系统的数据管理内容进行分析，并结合我们在实 际工程中的需求，提出了遥感卫星地面系统中数据管理的两大关键技术分 1 3 遥感卫星地面系统中数据管理的若干关键技术的研究 布式环境下的数据共享与传输、分布式环境下的文件目录的管理。对这两方面 进行研究，将在本论文的以下章节中进行。 1 4 网络数据传输与虚拟化存储 第三章网络数据传输与虚拟化存储 考虑到处理速度、系统可靠性以及成本实效性，现代遥感卫星地面系统 一一般为松耦合的分布式系统。因此，分布式系统的数据管理方面的理论在遥感 卫星地面系统中也起着重要的作用。本章将对这些理论进行介绍_ t c p 层的 工作机理、s o c k e t 技术、f t p 与s a m b a 技术以及虚拟化存储技术。 t c p i p 协议是计算机网络以及松耦合的分布式系统中数据通信的基础， 3 1 节将对与应用程序的开发关系密切的t c p 层的工作机理进行介绍；无论是 w i n d o w s 平台还是u n i x 平台都为网络程序的开发提供了接口，3 2 节将对网络 程序开发接口技术s o c k e t 技术进行介绍；作为网络程序数据传输方面的两 个实例，m 与s a m b a 在松耦合的分布式环境下有着广泛的应用，3 3 节将对它 们的实现机理进行分析；松耦合分布式系统以及网络环境下的数据管理的一个 重要内容，就是对各平台中文件目录的管理，这方面虚拟化存储技术为我们提 供了一种良好的策略，3 4 节将对虚拟化存储技术进行介绍，对其中的虚拟化目 录管理技术进行研究，从而提出了数据的物理位置同逻辑视图分离的策略。 3 1t c i a 层的数据传输 3 1 1t c p 协议 t c p 连接e 的每个字节均有它自己的3 2 位的顺序号。顺序号用在确认和滑 动窗口机制中，二者均使用了独立的3 2 位的头字段。 发送和接收方t c p 实体以数据段( s e g m e n t ) 的形式交换数据。个数据段 包含一个固定的2 0 字节的头( 加上一个可选部分) ，然后跟着0 字节或多字节的 数据。t c p 软件决定数据段的大小。它可以将几次写入的数据归并到一个数据 段中或是将一次写入的数据段分为多个数据段。对数据段的大小有两个限制条 件：首先，每个数据段( 包括t c p 头) 必须适合l p 的载荷能力，不能超过6 5 5 3 6 字节；其次，每个网络中都存在最大传输单位m t u ( m a x i m u m t r a n s f e ru n i t 、， 要求每个数据段必须适合m t u 。实践中，m t u 一般为几千字节，由此决定了 数据段大小的上界。如果一个数据段通过了几个网络而未分解，接着它进到一 1 5 遥感卫星地面系统中数据管理的若干关键技术的研究 个m t u 小于该数据段长度的网络，那么处于网络边界上的路由器会把该数据 段分解为两个或更多个小的数据段。 如果一个数据段相对于它必须经过的网络太大，那么它会被路由器分解为 多个数据段。每个新的数据段都有自己的t c p 头和i p 头，所以通过路由器对数 据段进行分解增加了系统的总开销( 因为每个分解出来的数据段都必须加上4 0 字节的头信息) 。 t c p 实体所用的基本协议是滑动窗口协议。当发送方传送一个数据段时， 它还要启动计时器。当该数据段到达目的地后，接收方的t c p 实体向回发送一 个数据段( 如果有数据应该带上数据，否则不带数据) ，其中包含一个确认序 号，它等于希望收到的下一个数据段的顺序号。如果发送方的定时器在确认信 息到达之前超时，那么发送方会重发该数据段。 3 1 2t c p 传输策略 和大多数数据链路传输协议不一样，t c p 中的滑动窗口管理并不直接受制 于确认信息。例如，假设接收方有4 0 9 6 字节的缓冲区，如图3 1 2 1 所示。如 果发送方传送了一个2 0 4 8 字节的数据段并被正确的接收到，那么接收方要确认 该数据段。然而，因为它现在只剩下2 0 4 8 字节的缓冲区空间( 在应用程序从缓 冲区中取走之前) ，所以它在接受后面的数据时，只声明2 0 4 8 字节大小的窗 口。 现在发送方传送上面提到的2 0 4 8 字节，它获得确认，但声明滑动窗口大小 为o 。此时，发送方必须停止发送数据直到接收方主机上的应用程序被确定从 另外的缓冲区取走一些数据，那时t c p 可以声明较大的滑动窗口。 壁望墼塑堡塑兰堕塑些童堡 一种：茎霎口耋三竺：兰送方1 t c 般p 不能再发送数据段，但有两种情况除外。 9o j ，2 滑动窗口管理 嚣情霎兰黧慧苎竺眠允许用户终止在远程三嚣磊姜淼 纛耋黧况黧掣一懈节的茹蒿荔茹纛嚣 喜耄量霎芸竺：薹薹凳窗口大小et c p 标准明确地篡茬；薹嘉篡嚣蔷羔三詈 声明丢失时出现死锁情况。 “肋上亡菌u 送确豢黑需= 竺程墨吲来数据就发送峨接收方也不需要尽早发 黧：婴善麓竺糌们k 懒据茹，篙黧霉 篆雾芸黧翼攀，它眦将姜姜磊芸葛翥鬈 篡黧警一tr i a 妒l 娥传输嗡k 字节数据磊磊焉篓 活性可以提高性能。 “。叮9 刚强一灵 做出嚣有：萎竺：交三式编辑器的t e l n e t 连接，该编辑器澍每次击键均 等篡毒：黧= 乏。之二个字符到达负责发的磊萎簇了霉麓 三? ：黎竺。篓黝柏梆的；暴装置蓬 纛慧芝之翼立? 竺酽个4 。字节的确帅。主；荔= 翥嚣 詈? 黧二黧，当竺撕榔后，嘉薹：二蒜瓮薹孚 鬈鬻竺竺黧姜嘞撇4 。觏磊，裟巍 许糯般肛佃博节发送蚴结磊嚣享：鬻慧 遥感卫星地面系统中数据管理的若干关键技术的研究 符共需要1 6 2 字节的带宽并发送4 个数据段。当带宽有限时，这种处理方法是 不可取的。 很多t c p 在具体实现时采用了一种方法来优化这种情况，即将确认信息和 窗口大小的修正信息延迟5 0 0 m s 发送，希望在这些分组上能捎带一些数据。假 如编辑器在5 0 0 m s 之内发回响应，那么现在只需要向远端用户发回一个4 1 字节 的分组即可，使发送的分组数和带宽的使用成为原来的半。 尽管由于接收方采用这种规贝0 减轻了网络的压力，但发送方的效率仍然很 低( 每次发送的4 1 字节的分组中仅包含1 字节的数据) 。要改善这一状况可以采 用n a g l e 算法( n a g l e 、sa l g o r i t h m ) 。n a g l e 提出的方案很简单：当数据每次一个 字节到达发送方时，只发送第一个字节并将后续到达的其余的数据缓存起来， 直到发出的一个字节被确认。接着，用一个t c p 数据段发送所有缓存的字符， 并又开始缓冲后续到来的字符，知道发出的所有字符被确认。如果用户输入速 度很快而网络较慢，那么每个数据段将包含大量的字符数据，从而大幅度地减 小了所用的带宽。该算法还允许当数据积蓄到滑动窗口的一半或达到最大的数 据段时发送一个分组。 n a g l e 算法已被许多t c p 程序所采用，但有些时候最好不要采用。尤其是 当个x - w i n d o w s 的应用程序正在因特网上运行时，需要将鼠标的运动也传送 到远端计算机。收集鼠标的位置数据并突然发送出去，会使鼠标光标的运动不 稳定，用户使用起来也会心烦。 另一个可能降低t c p 性能的问题是傻瓜窗口症状fs i l l y w i n d o w s y n d r o m e ) 。当数据以很大的块的形式发送给t c p 实体，而接收方的交互进程 每次只能读取1 个字节的数据时会出现这种问题。为了弄清这个问题，请看图 3 1 2 2 。开始时，接收方的t c p 缓冲区已满并且发送方知道这点f 即得到了窗 口大小为0 的消息) 。接下来，交互应用程序从t c p 流读取了一个字符。这一 行动使接收方t c p 很高兴，于是它向发送方发送一个窗口大小修正的消息，告 诉对方可以发送1 个字节的数据。发送方应邀发送1 字节的数据。此时，接收 方缓冲区又满了，因此，接收方在确认该1 字节的数据段时又将窗口大小设为 0 。这种状况可能会永远维持下去。 1 8 网络数据传输与虚拟化存储 图3 1 2 2 馒瓜冒口症状 c l a r k 的解决方法是禁止接收方发送1 字节的窗口大小修正，而是被迫等待 直到具有了合适数量的可用空间通知。特别是，只有接收方能处理连接建立时 它通知最大数据段大小，或者它的缓冲区有1 2 为空时( 取二者之中最小者) ， 它才能发送窗口大小修正信息。 再有，发送方不发送小的数据段也有助于解决这一问题。它应该等到窗口 大小适于发送一个完整的数据段，或至少是到达接收方缓冲区大小的一半的数 据段( 这需要发送方必须能够根据过去收到的窗口修正信息进行估计1 。 n a g l e 算法和c l a r k 算法用于解决傻瓜窗e l 症状的方案时是互补的。n a g l e 算法用于解决由于发送方应用程序每次向t c p 传送一个字节数据所引起地问 题，而c l a r k 方法用于解决接收方应用程序每次从t c p 取走一个字节数据所引 起的问题。这方法可以共同发挥作用，目的是使发送方不发送数据含量小的数 据段，而接收方不请求对方发送这样的数据段。 接收方t c p 可以采取进一步的措施来提高性能，而不只是用较大单位进行 窗口修正。像传输方t c p 样，它也有能力缓存数据，因此，它可以阻塞应用 程序的读请求，直到该程序有大量的数据时。这样做减少了对t c p 的访问次 数，从而降低了总的开销。当然，这会延长反应时间。但对于像文件传输之类 的非交互式应用，效率可能比反应时间更为重要。 接收方的另一个问题是如何处理错序的数据段。当然接收方对这些数据 段，只有在直到被确认有数据确实被收到后才能发送确认信息。如果接收方收 到了数据段0 、1 、2 、4 、5 、6 、7 ，那么它可以确认直到数据段2 最后一个字 1 9 遥感卫星地面系统中数据管理的若干关键技术的研究 节的数据。当发送方超时后将重发数据段3 。如果接收方已经缓存了数据段 4 7 ，待收到数据段3 后，它可以确认直到数据段7 末尾的所有字节。 3 1 3t c p 拥塞控制 当加载到某个网络上的载荷超过其处理能力时，拥塞现象就会出现。本节 将讨论在过去十几年的基础上发展起来的用于解决拥塞问题的算法。尽管网络 层也在设法控制拥塞现象的发生，但这项任务大部分是由t c p 来完成的，因为 对拥塞现象最切实的办法就是降低数据传输速率。 理论上，拥塞现象借用物理层的规则便可以得到控制：分组保持规则。意 思是只有当一个老的分组离开网络后( 即被发送出去) 再向网络中注入新的分 组。t c p 试图通过动态地控制滑动窗口的大小来达到这一目的。 拥塞控制的第一步是要检测它。以前，检测拥塞的出现很困难。分组丢失 而造成超时有两个原因，或者是由于传输线路上的噪声干扰，或者是拥塞的路 由器丢失了分组。很难区分出究竟是那种原因。 现在，由于传输错误造成分组丢失的情况相对较少，因为大多数长距离的 主干线都是光纤的( 无线网除外) 。因此，有线网上发生的大多数超时现象都 是由拥塞造成的。网络中所有的t c p 算法都假设分组传输超时是由拥塞引起 的，并且以监控定时器超时作为出现问题的信号。 在讨论t c p 如何对拥塞做出反应之前，首先介绍下怎样防止拥塞现象发 生。在建立一个连接的时候，连接双方已经选定了一个合适的滑动窗口大小。 接收方可以根据其缓冲区大小指定窗口大小。如果发送方按照这个窗口大小发 送数据，在接收端不会由于缓冲区溢出而引起问题，但还可能由于网络的内部 拥塞而引发。 要意识到存在两个潜在的问题网络的容量和接收方的容量并分别 进行处理。为此，每个发送方均保持两个窗口：接收方承认的窗口和第二个窗 口拥塞窗口( c o n g e s t i o nw i n d o w ) 。每个窗口都反应出发送方可以传输的 字节数。取两个窗口的最小值作为可以发送的字节数。这样，有效窗口便是发 送方和接收方分别认为合适的窗口中最小的那个。如果接收方表示可以发送 8 k b ”而发送方知道超过4 k b 的数据会使得网络阻塞，那么它便只发送4 k b 。相 网络数据传输与虚拟化存储 反，如果接收方表示“发送8 k b ”并且发送方知道此时可以一次使3 2 k b 的数据 轻易发送出去，那么它便发送对方要求的8 k b 。 当建立连接时，发送方将拥塞窗口大小初始化为该连接所用的最大数据段 的长度值，并随后发送一个最大长度的数据段。如果该数据段在定时器超时之 前得到了确认，那么发送方会在原拥塞窗口的基础上再增加一个数据段的字节 值，使其为两倍最大数据段的大小，然后发送两个数据段。当这些数据段中的 每一个都被确认后，拥塞窗口大小就再增加一个最大数据段的长度。当拥塞窗 口大小是n 个数据段的大小时，如果发送的所有n 个数据段都被及时确认，那 么将拥塞窗口大小增加n 个数据段所对应的字节数目。实际上，每次成功地的 得到确认都会使拥塞窗口的大小加倍。 拥塞窗口保持指数规律增大，直到数据传输超时或者达到接收方设定的窗 口大小。其意思是说，如果发送的数据长度序列，如1 0 2 4 ，2 0 4 8 和4 0 9 6 字节 都工作正常，但发送8 1 0 2 字节的数据时出现定时器超时，那么拥塞窗口应设置 为4 0 9 6 以避免出现拥塞。只要拥塞窗口保持为4 0 9 6 b ，便不会再发送超过该长 度的数据量，无论接收方赋予多大的窗口空问也是如此。这种算法称为慢速启 动( s l o ws t a r t ) ，但它根本不慢，它是按指数规律增加的。所有的t c p 实现 都必须支持这种方法。 下面介绍拥塞控制算法。它需要三个参数。其中第三参数是i 临界值 ( t h r e s h o l d ) ，初始化为6 4 k b ；另外两个参数是接收方窗口和拥塞窗口。如 果发生数据超时，将临界值设置为当前拥塞窗口大小的1 2 ，并使拥塞窗口恢 复为最大数据段的大小。慢速启动除了决定当窗口大小达到临界值时使其停止 按指数增加外，还决定网络在此以后如何进行。从达到临界值这点开始，成功 的数据传输要求拥塞窗口按线形进行增加( 对每个字符组按最大数据段的值增 加) ，而不是按指数增加。实际上，该算法是将拥塞窗口减小1 2 来看是否满 足传输要求，然后，再从此处逐渐线形增大滑动窗口。 3 1 4t c p 定时器管理 t c p 使用多个定时器( 至少概念上如此) 来辅助其完成工作。其中最重要 的是重发定时器( r e t r a n s m i s s i o nt i m e r ) 。在发送一个数据段的同时，启动 一个数据重发定时器。如果在定时器超时前该数据段被确认，则关闭该定时 2 1 遥感卫星地面系统中数据管理的若干关键技术的研究 器：相反，如果在确认到达之前定时器超时，则需要重发该数据段( 并且定时 器重新开始计时) 。问题是超时间隔应该设为多少。 这一问题在因特网的传输层比在第三章介绍过的一般网络的数据链路层协 议更难以解决。对于后者，由于所预计的延迟基本上是准确的( 即误差很 小) ，所以只要定时器稍微超过所预计的确认延迟时间即可认为是超时了。 对于超时间隔的时间长短的设定，这个问题的解决办法是根据对网络性能 的不断测定，采用一种不断调整超时时间间隔的动态算法。通常为t c p 所采用 的算法是有j a c o b s o n 提出的，其工作原理如下所述。对每条连接，t c p 均保存 一个变量r t t ，用于存放到目的端往返时问当前最接近的估计值。当发送一个 数据段，同时启动相应的定时器后，二者均关心确认要花费多长时间，如果时 间太长就触发数据重法机制。如果在定时器超时之前得到了确认，t c p 测量该 确认花费了多长时间假定为l 。那么根据下面的公式来修正r t t ： r t t = _ ( 1 r t t + ( 1 一c c ) m 其中，c c 是修正因子，决定以前的r t t 值的权值。般情况下a - - - - 7 8 。 3 。2s o c k e t 技术 3 2 。1b a r k e l e ys o c k e t 概述 原语 含义 s o c k e t 创建个新的通信端点 b i n d 往套接字中附加本地地址 l i s t e n 宣布愿意接受连接；给出队列大小 a c c e p t 阻塞呼叫者，知道连接尝试到达 c o n n e c t 活动的建立连接的尝试 s e n d 通过连接发送一些数据 r e c e i v e 通过连接接受一些数据 c l o s e 释放连接 表3 - 2 1 - 1 ) 用于t c p 的套接字 表3 2 卜1 ) 中所列的前四个原语是由服务器一方按顺序执行的。s o c k e t 原 语创建一个新的端点并在传输实体中为其分配表空间。该调用的参数设置所用 网络致据传输与虚拟化存储 的地址格式、希望的服务类型( 如可靠的字节流) 和协议。s o c k e t 调用成功将 返回一个普通文件描述符，以