（计算机应用技术专业论文）基于agent技术的网格数据复制管理研究.pdf

硕士学位论文 基于a g e n t 技术的网格复制管理研究 摘要 网格把整个互联网整合成一台巨大的超级计算机，实现各种资源的全面共享。 网格中的数据复制管理可以减轻单个服务结点的通信和访问压力，对于减轻频繁的 远程访问对网络带宽资源的消耗、平衡负载等方面也具有重要的作用。 a g e n t 是具有自治性、社会性、主动性和适应性的智能实体。基于a g e m 的方 法将使得网格的管理更加智能和方便。 目前，将a g e n t 技术应用于g l o b u s 网格的数据复制管理上的并不多见，很多问 题有待解决。 本文探讨了在网格环境下，如何利用a g e n t 技术进行有效的数据复制管理。 本文运用a g e n t 的智能性等特点，针对数据复制管理的几个方面提出了改进思想： 动态管理权方式进行数据主副本一致性的维护，扩展了存储与串联复制结合的复制 策略，在目录设置上引入了全局复制目录。应用这些思想，设计了一个网格环境下 进行数据复制管理的多a g e n t 管理体系，并通过对a g e n t 的具体实现以及o l o b u s t o o l k i t3 0 的相关基础服务的调用的探讨，说明了该体系在实现上的可行性以及其 具体的实现方法。最后，在假定的网格的网络环境和数据访问状况下，模拟分析了 该系统进行复制管理的过程，并在结果数据基础上，对系统以及其中的改进设计进 行了简单评测。 关键词：网格，g l o b u s ，a g e n t 技术，数据复制管理，复制策略 硕t 学位论文 基于a g e n t 技术的刚格复制管理研究 a b s t r a c t g r i d c o m p u t i n g ，w h i c hi n t e g r a t e sw o r l d w i d e i n t e m e tr e s o u r c ei n t ov i r t u a l s u p e r c o m p u t e r a c c o m p l i s he v e r y l ( i n do f r e s o u r c e st of u l ls h a r ei ng l o b a l d a t a r e p l i c a t i o nm a n a g e m e n t i nt h eg r i dc a nr e d u c et h ec o m m u n i c a t i o nc o s to n s o l i t a r ys e r v i c e s i t e 。i ta l s oh a sg o o de f f e c to n r e d u c i n g t h eb a n d w i d t h c o n s u m p t i o n c a u s e d b yf r e q u e n t r e m o t ea c c e s sa n d b a l a n c i n g t h el o a do f g l o b a lg r i d a g e n t i sak i n d o f i n t e l l i g e n te n t i t ya n d i sa u t o n o m o u s ，s o c i a l ，a c t i v ea n da d a p t a b l e a g e n tt e c h n i q u e c a r lp r o v i d ea l li d e a la p p r o a c h t os o l v eq u e s t i o ni nt h eg r i dc o m p u t i n g a t p r e s e n t ，a g e n tt e c h n i q u e i ss e l d o mw e l lu s e di nd a t ar e p l i c a t i o nm a n a g e m e n to ng r i d a s s o c i a t e dw i t hg l o b u st e c h n o l o g y m a n yp r o b l e m sn e e dt oh es o l v e d t h i sp a p e rd i s c u s s e sh o wt oa p p l ya g e n tt e c h n i q u eo nd a t ar e p l i c a t i o nm a n a g e m e n t o ng r i da s s o c i a t e d 、i t i lg l o b u st e c h n o l o g y i tp r o p o s e ss e v e r a li d e a so nk e e p i n gt h e c o n s i s t e n c yb e t w e e no r i g i n a lf i l ea n d i t sc o p i e s ，a p p l i c a t i o no f r e p l i c a t i o ns t r a t e g i e sa n d c a t a l o gs e t t i n g a n d b a s e do nt h e s ei d e a s ，i td e s i g n sad a t ar e p l i c a t i o nm a n a g e m e n t s y s t e m o ng r i db yt h en s eo fa g e n tt e c h n i q u e a f t e rd i s c u s s i n gt h ei m p l e m e n t a t i o no f a g e n t a n dt h ec a l l i n go f b a s es e r v i c e si ng l o b u st o o l k i t3 0 ，t h ep a p e rs h o w t h e f e a s i b i l i t yo f t h es y s t e ma n d h o wt ob r i n gi tt op a s s a tt h ee n do f t h e p a p e r ，w es i m u l a t e t h ep r o c e d u r e so f d a t ar e p l i c a t i o nm a n a g e db y t h ed e s i g n e ds y s t e m ，i na l la s s u m e dg r i d e n v i r o r t m e n t a n dt h er e p l i c a t i o nm a n a g e m e n ts y s t e md e s i g n e dw a sa n a l y z e db a s e do n t h e s es i m u l a t ep r o c e d u r e s k e y w o r d ： g r i d ，g l o b u s ，a g e n tt e c h n i q u e ，d a t ar e p l i c a t i o nm a n a g e m e n t ， r e p l i c a t i o ns t r a t e g y 声明 本学位论文是我在导师的指导下取得的研究成果，尽我所知，在 本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发 表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学 历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均 已在论文中作了明确的说明。 研究生签名：珥盎玉 肿轳年；月岁日 学位论文使用授权声明 南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅 或上网公布本学位论文的全部或部分内容，可以向有关部门或机构送 交并授权其保存、借阅或上网公布本学位论文的全部或部分内容。对 于保密论文，按保密的有关规定和程序处理。 研究生签名：型：遣整1 帅牛年；月卜日 硕士学位论文 基于a g e n t 技术的网格复制管理研究 1 绪论 1 1 工作的意义 所谓网格( g r i d ) ，是指将机群、超级计算机、大规模存储系统、数据库以及其他 地理上分散的特殊仪器设备，甚至个人计算机等所有的计算资源、存储资源、通信 资源、软件资源、信息资源、知识资源等连接起来作为单个统一资源使用。网格为 各种应用提供了一个高性能、大容量、高速传输的并行分布广域计算平台，是提供 对高端计算能力进行可靠、一致、全面和廉价访问的硬件和软件基础设施。 2 6 1 从而 方便快捷地解决各种复杂的问题。网格的出现，掀起继传统互联网( i n t e m e t ) 、万维 网之后的第三次浪潮，最终将改变分布式资源的共享和服务方式。 网格数据管理是数据网格的关键网格技术之一【l ，是数据管理的一项重要服务， 主要针对大型远程数据文件的访问。虽然网络速度提高很快，但要达到高性能地频 繁访问和处理大量远程数据仍然很困难。复制技术为用户应用提供一个能够快速访 问和处理的远程数据的局部数据拷贝，避免大量数据远程的传输。良好的复制管理 除了可以增加系统的可用性，还可以减轻单个信息服务结点的通信和访问压力，同 时减轻由于频繁远程访问对网络带宽的消耗，提高应用程序的数据访问效率进而提 高执行速度，最终提高整个网格的计算运行效率和服务性能。 当前研究的网格正扩展到i n t e m e t 规模，包含数据复制管理在内的管理问题就变 得越来越重要了，数据复制管理对数据网格尤为重要。因此对网格下数据复制管理 工作的研究对网格运行性能的提高以及网格技术的发展具有重要意义。 1 2 研究的出发点、主要内容和所作的工作 1 2 1 本文的研究出发点 g l o b u st o o l k i t 是网格计算领域比较著名的网格软件系统。它定义了构建计算网 格的一组基本服务和功能，包括安全、资源管理、通信、目录管理等基本服务。g l o b u s 系统借鉴了因特网和u n i x 的开发路线，不构造一个完整的系统，而只是构造一套底 层的开发工具，采用模块化设计方式，可升级或替换，是一个中间件系统。口j 目前 大多数网格项目都是基于g l o b u st o o l k i t 所提供的协议及服务建设的，例如美国 n a s a i p g 、欧洲数据网格、美国国家技术网格n t g 、g r i p h y n 、p p d g 、a s c i g r i d 、 r 本的d a t af a r m 等。g l o b u s 项目组在网格协议制定上有很大发言权，因为迄今为 止，g l o b u st o o l k i t 已经成为事实上的网格标准【1 j 。 a g e n t 是具有自治性、社会性、主动性和适应性的智能实体。p 2 j a g e n t 在异质 硕士学位论文 基于a g e m 技术的网格复制管理研究 的协同环境中能够持续完成自治的、面向目标的行为。自治性隐含着a g e n t 是主动 的对象，具有自我控制的处理能力，能够显示其自身智能的行为。a g e n t 不仅仅能 作用于自身，而且可以施动作于环境，并能根据感知到的环境状态或环境的反馈信 息。重新评估自己的行为并改变自身状态，基于推断进程的结果a g e n t 也可以改 变它的行为。同时，它能与其它a g e m 协同工作，一个a g e n t 实现的目标往往是目 标集的一部分，它可能与社会上其它a g e n t 进行交互来完成复杂任务。 网格的数据复制需要智能性，自治和社会能力，这些能力正是智能a g e n t 所具 有的典型特征。基于a g e n t 的方法将使得网格的管理更加方便。甚至可以完全使用 a g e n t 搭建网格架构，例如，o v e r e i a d e r 和w i j n g a a r d s 等提出的a g e m s c a p e 【3 习系统。 我们主要的设计出发点是：将a g e n t 技术和g l o b u s 技术相结合。既利用g l o b u s 所提供的具有一些基本功能的o l o b u s 基础服务所带来的方便性、开放性及其作为网 格标准的优势，又在此基础上发挥a g e n t 的智能性、自治性和灵活性的优势，从而， 有效地进行网格中的数据复制管理。 1 2 2 研究的主要内容和所作的工作 1 2 2 1 主要研究内容 论文的主要工作是围绕在网格这种大规模的网络环境中，探讨如何利用a g e n t 技术，在g l o b u s 这样的开放式的提供底层的开发工具的中间件系统的基础上，调用 其提供的核心服务进行二次开发，实现有效的g l o b u s 架构下的数据复制的相关管理 工作，提高网格对数据需求的响应速度，并且减少数据访问对带宽的占用，调整系 统的文件冗余从而提高数据的安全性、可靠性等。开发的结果最终将作为g l o b u s 架构下高层服务。 因此，本文的研究内容主要集中在两方面： ( 1 ) 探讨将a g e n t 技术与g l o b u s 技术结合，进行网格数据复制管理。 ( 2 ) 为了使系统获得较好的管理效果，我们探讨了文件主副本问一致性维护、复 制策略应用及目录设置等方面的管理思想，并提出几点想法。 1 2 2 2 所作的主要工作 所作的工作主要在以下几个方面： ( 1 ) 提出了将a g e n t 技术与g l o b u s 技术相结合的进行网格数据复制管理这一简 单有效的管理方式。 ( 2 ) 利用a g e n t 的智能性和灵活性，针对文件复制所引起的主副本间一致性维护 的管理问题、数据复制策略的应用方式问题及相关目录设置等方面，分别提出了动 颤士学位论文 基于a g e n t 技术的阍格复制管理研究 态确定管理权、扩展韵存储与串联复制结合策略以及引入全局复制目录这几项改进 想法。 ( 3 ) 应用这些想法，设计了进行网格环境下数据复制管理的a g e n t 管理体系，并 对该体系的结构、功能、运行步骤及实现进行了详细的设计。 ( 4 ) 通过对所设计的a g e n t 的具体实现、g l o b u s t o o l k i t3 0 的相关基础服务的 具体调用进行的探讨，说明了本文所设计的a g e n t 复制管理体系在实现上的可行性 以及其具体的实现方法。 ( 5 ) 在假定的网格的网络环境和数据访问状况下，模拟分析了该系统进行复制管 理的过程，在结果数据基础上，对系统的可用性、有效性及扩展性进行简单的分析， 并对改进设计的效果进行了简单分析。 1 3 国内外研究现状 在网格研究领域，美国和欧洲处于领先地位，他们的研究范围和规模都比较大， 并且已经推出了一些试验系统 1 7 1 。其中最著名的是以欧洲数据网格项目、美国的国 际虚拟数据网格实验室i v d g l 和p p d g 项目，而最著名的数据网格系统工具是 g l o b u s 中的数据网格支撑模块和s d s c 的s r b 系统。 g l o b u s 系统主要由美国a r g o n n e 国家实验室和南加州大学联合研制。目前，美 国n a s a i p g 、欧洲数据网格、美国国家技术网格n t g 、g r i p h y n 、p p d g 、a s c i g r i d 、 日本的d a t a f a r m 等项目都采用了g l o b u s 系统p ”。 美国圣地亚哥超级计算中心s d s c 的s r b 存储资源代理系统是用途较广的数据 网格软件之一。目前，s r b 系统已经被几十多个单位使用，包括英国的国家网格、 美国的联邦数据库等。它们正在和g l o b u s 系统相结合，以满足网格技术和用户的需 求。i 7 1 当然，除了上述项目和系统以外，还有许多项目已经或正在开发之中，包括i b m 、 s u n 、c o m p a q 、l s f 等十多家著名计算机公司都已经投资研究网格计算技术。 国内的网格研究也已经迅速展开，当前的网格研究主要有清华大学的先进计算 基础设施a c l ( a d v a n e e dc o m p u t a t i o n a li n f r a s t r u c t u r e ) 、以中科院计算所为主的国家 高性能计算环境n h p c e ( n a t i o n a lh i g hp e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t ) 、8 6 3 计 划支持的“中国网格( c h i n a g r i d ) ”建设。多所上海的大学参加的“上海教育科研 网格”，航天二院与清华大学共同研究的“仿真网格”以及中科院计算所的国家高 性能计算环境( 亦称国家计算网格) ，以及中科院计算所领衔开发的“织女星网格” 2 1 。另外，全国还有几十所大学和研究机构已经开展各种网格研究。 清华a c i 系统具有一套健全的资源管理系统、任务管理系统、用户管理系统及 安全服务与监控系统。清华a c i 系统已经于2 0 0 1 年6 月通过了鉴定。p 1 碳上学位论文 基于a g e n t 技术的网格复制管理研究 8 6 3 重点项目“国家高性能计算环境”的研发任务的目标是建立一个分布式环 境下支持异构平台的计算网格示范系统，它把我国的8 个高性能计算中心通过 i n t e m e t 连接起来，进行统一的资源管理、信息管理和用户管理，并在此基础上开 发了多个计算型的网格应用系统，取得了系列研究成果【2 】。 a g e n t 的研究由来已久，但绝大部分基于a g e n t 的系统都未考虑互联网这样大规 模的应用环境。目前在网格领域的比较有代表性的应用主要有c o n d o 卜g 系统 3 3 l ， d a r p a sc o n t r o l o f a g e n t b a s e ds y s t e m s ( c o a b s ) a g e m 网格1 3 4 j ，以及a g e n t s e a p e 【 5 】 等，这些系统虽然可以用于大规模的网格，但这些系统在网格这种类型的大范围网 络环境中并未取得良好的运行结果，并且很少涉及网格中的数据复制管理领域的研 究。具体的把a g e n t 技术应用到g l o b u s 网格的复制管理工作尚在探索阶段，还有很 多问题有待解决。 1 4 论文结构 全文共分六章：第一章介绍网格下数据复制管理工作的研究意义，提出本文研 究工作的出发点、研究的主要内容和所作的工作；第二章首先介绍了网格、g l o b u s 以及a g e n t 技术的相关知识，然后分析了g l o b u s 网格环境下的数据复制管理以及 a g e n t 技术在网格中的应用等情况；第三章分别从系统架构、以及针对文件主副本 间一致性维护的管理结构、复制策略的应用方式、目录设置等方面改进思想等方面 介绍了本文的总体设计思想；第四章先后从利用多a g e n t 系统进行具体实施、在 g l o b u s 工具集的应用、具体运行步骤设计三方面介绍了该复制管理系统的详细设计 方案；第五章介绍复制管理系统的具体实现方式，并在给定网格的网络环境和数据 访问状况下，模拟了该系统进行复制管理的过程，在相应的结果数据基础上，对系 统的可用性、有效性及扩展性进行简单的分析：论文最后一章是对本文工作的总结 及未来工作的展望。 4 兰垡羔羔堕生墅一 茎主坐! 坐塾查塑塑垡望型篁型堡塑 2 知识概述 2 1 网格技术简介 2 1 1 网格的概念、结构特性及网格环境构建层次 2 1 1 1 网格的概念及结构特性 i a nf o s t e r 定义了判断网格的三个标准i 1 】：( 1 ) 在非集中控制的环境中协同使用资 源：( 2 ) 使用标准、开放和通用的协议接口：( 3 ) 提供特别服务。这样定义一来，网格 概念就非常严格具体了。这样的网格概念被称作狭义的网格观。 还有一种广义的网格概念叫做巨大全球网格g g g ( g r e a tg l o b a lg r i d ) ，它包括了 计算网格、数据网格、信息网格、知识网格、商业网格以及一些已有的网络计算模 式。 无论对网格的定义是怎样的，其思想都是共通的。说到底，网格就是一个集成 的计算与资源环境【8 l 。 网格具有以下结构特性f 4 】： 异构性：由于网格由分布在广域网上不同管理域的各种计算资源组成，实现异 构机器间的合作和转换是首要问题。 可扩展性：要在网格资源规模不断扩大、应用不断增长的情况下，能够扩展并 且不降低性能。 动态自适应性：在网格计算中，某一资源出现故障或失败的可能性较高，资源 管理必须能动态监视和管理网格资源，从可利用的资源中选取最佳资源服务。 目前网格有两种最重要的结构形式，即五层沙漏结构和开放网格服务结构 ( o g s a ) 。与本文相关的是开放网格服务结构，该结构作为g l o b u st o o l k i t 第三 版的设计原型。 2 1 1 2 网格计算环境的构建层次 网格计算环境主要按如下层次构建【1 0 】： 网格结点：网格结点是地理上独立的计算和信息中心，由分布在i n t e r n e t 上的各 类资源组成，包括各类主机、工作站、p c 机，它们是异构的，可运行在u n i x 、w i n d o w s 2 0 0 0 等各种操作系统下，也可以是上述机型的机群系统、大型存储设备、数据库或 其他设备。网格结点通过网络提供远程使用、资源共享等服务。 中间件：是网格计算的核心，负责提供远程进程管理、资源分配、存储访问、 坝：t 学位论史 基于a g e n t 技术的剐格复制管理研究 登录和认证、安全性和服务质i ( q o s ) 等。 开发环境和工具层：提供用户二次开发环境和工具，以便更好地利用网格资源。 应用层：提供系统能接受的语言，如j a v a 、c 、c + + 、h p c + + 和m p i 等。 可配置其他一些支持工程应用、数据库访问的软件，还可提供w e b 服务接口，使用 户可以使用w e b 方式提交其作业并取得计算结果。 2 1 2g l o b u st o o l k i t3 0 体系结构及工具包简介 2 。1 。2 1g l o b u st o o l k i t3 。0 体系结构 g l o b u s 技术采取的是开放网格服务结构( o g s a ) 的结构形式。o g s a 结合了 w e bs e r v i c e s 技术，在充分考虑网格的异构分布式特性的基础上，o g s a 对w e b s e r v i c e s 进行了扩展，提出动态服务( 即网格服务) 的概念。 7 1 0 g s a 将一切都看作( 计 算资源、存储资源、网络、程序、数据库等) 都看作服务( s e r v i c e ) 。因此网格就是 可扩展的网格服务的集合，即网格= f 网格服务1 。i lj o g s a 对网格服务的标准定义 是：提供一组定义好的接口，遵循明确约定的w e b 服务。通过定义标准的服务接 口把服务实现、资源所在地、物理资源屏蔽，不仅解决了异构网格环境的互操作问题， 而且真正实现了服务的虚拟化。与w e bs e r v i c e s 一致，o g s a 服务用w s d l ( w e b s e r v i c e sd e f i n i t i o nl a n g u a g e ) 来描述。 o g s a 接口和约定提供对临时服务实饲( t r a n s i e n t s e r v i c e i n s t a n c e s ) 的支持，也 就是说，它具有动态服务创建、管理和销毁功能。1 2 ” o g s a 只是一个框架，它不涉及网格服务如何实现等具体的闷题。g g f 组织的 o g s i ( 开放网格服务基础设旋) 工作组制定了o g s i 标准来实现o g s a 中提出的各 种概念。 1 4 l 它是一个正式的技术规格说明书。g l o b u st o o l k i t 是一个基于o g s i 标 准而实现的用于开发网格应用的工具包。目前它是基于j a v a 语言的。 图2 1 2 1g l o b u st o o l k i t3 0 的体系结构示意图 硕：j ：学位论文 基于a g e n t 技术的网格复制管理研究 g l o b u st o o l k i t3 0 是g l o b u s 开发工具的最新版本，g l o b u st o o l k i t3 0 的体系结 构如图2 1 2 1 所示。1 1 4 】这个架构为开发者提供了更多的服务。 g t 3c o r e ：图中白色的部分是g t 3c o r e 提供的。它们是建立网格服务的基础。 o g s i 参考实现( r i ) 实现了o g s i 规范1 0 所定义的接口，以a p i 和工具的形式 提供给用户以方便开发和o g s i 兼容的网格服务。 g t 3s e c u r i t ys e r v i c e s ：安全是基于网格的应用中重要的因素。 g t 3b a s es e r v i c e s ：g t 3 同时还提供了一些基础服务，如程序执行。数据管理和 信息服务等。这些服务是建立在o g s i 和g s i 组件之上的。主要的有：工作管理服 务m a n a g e dj o bs e r v i c e ，这个工作管理服务允许我们像j o b 一样处理我们的调用， 有根据地管理它们：索引服务i n d e xs e r v i c e ：和w e bs e r v i c e 通过u d d i 来解决这个 问题一样，g t 3 拥有自己的索引服务。可靠的文件传输服务r e l i a b l ef i l et r a n s f e r ( r f t ls e r v i c e ”l ：有时又叫做m u t l t i i 江t 是数据管理实现的一部分，其他的两部分 是g r i d f t p 和r l s ( r e p l i c ar e l o c a t i o ns e r v i c e ) 。它提供了从客户端到网格服务的 可靠文件传输( r f t ) 的接口。 用户定义服务：由用户开放的高层服务，它不由g t 3 提供，可以建立在任何 g t 3 的组件之上，包括基础服务。 所有这些服务是和抽象的o g s i 运行时环境相交互的，我们称为网格服务容器 【h 】。网格服务容器把应用和服务运行时细节分离开来，同时还控制服务的生命期、 把消息分发给对应的服务实例等。容器的前端封装了一个标准的w c b 服务引擎接 口，用来实现x m l 消息映射。 2 1 2 2g l o b u st o o l k i t3 0 i 具包简介 g l o b u s 并不构造一个完整的系统，而只是按照上文的体系结构构造了一套底层 的开发工具的一个中间件系统。【2 邮g l o b u s 以工具包的形式提供g l o b u s 对资源的管 理、安全、信息服务和数据管理等方面的底层管理服务，用户可以任意选用进行商 层次的应用开发。 g l o b u s 的工具包模块，提供了o l o b u s 的核心服务及基础服务。玎1 它包括：资源管 理( r e s o u r c em a n a g e m e m ) 、信息服务( i n f o r m a t i o ns e r v i c e s ) 、数据管理( d a t a m a n a g e m e n t ) - - - 一个主要模块( p i l l a r s ) ，以及网格安全架构g s l ( g r i d s e c u r i t y i n f r a s t r u c t u r e ) 、通信( c o m m u n i c a t i o n ) 、故障检测( f a u l t d e t c c t i o n ) 等功能。 资源管理 m m j f s 资源分配和进程管理 信息管理 i n d e xs e r v i c e 和s d ei nm l v l j f s状态信息和分布访问结构 数据管理 i 疆t 可靠的文件传输服务 安全管理 g s i 认证和相关安全服务 通信管理 n c x u $ 单点和多点通信服务 硕七学位论文 基于a g e n t 技术的网格复制管理研究 表2 1 2 2g l o b u st o o l k i t 第三版的几个相关的重要服务 2 1 2 3g l o b u st o o l k i t3 0 工具包的使用 g l o b u s 的工具包可以被应用程序直接调用，但仍然可以通过更高层的工具调用。 瞄卅g l o b u s 提供了自己的一些高级服务，可以实现对下层服务的调用，这些高级服 务最终的目标是形成一个g l o b u s 的“适应性广域范围资源环境”( a w a r e ) 。 同时，g l o b u s 也支持其他高级调用，例如基于消息传递的m p i 、高级并行编程语言 c 十+ 、远程文件访问系统r e m o t ei o 等。g l o b u s 工具包支持这些高级应用来间接调 用g l o b u s 的服务。 2 2 软件a g e n t 2 2 1a g e n t 的定义及特征 在应用a g e n t 技术的系统中，a g e n t 的定义和表现各不相同。在有关a g e n t 特性 的研究中，最经典和广为接受的是w o o l d r i d g e 等人有关a g e n t 的“弱定义”和“强 定义”。 w o o l d r i d g e 和j e r m i n g 认为，一个a g e n t 系统应该是一个硬件或软件系统，他们 提出了a g e n t 的基本特征是：1 2 引 自治性：a g e n t 对自己的内部状态有控制权，他们的运行不受人或其他a g e m 的直接干涉。 反应性：a g e n t 能感知环境，并能及时地做出反应。 预动性：a g e n t 能够展现出一种导向目标的行为。 总的来说，a g e n t 是一种在异质的协同环境中能够持续完成自治的，面向目标 行为的软件实体。1 3 2 1 一个a g e n t 实现的目标往往是目标集的一部分，它可能与社 会上( w o r l d ) 其它a g e n t 进行交互来完成复杂任务。a g e n t 不仅仅能作用于自身， 而且可以施动作于环境，并能根据感知到的环境状态或环境的反馈信息，重新评估 自己的行为并改变自身状态。同时，它能与其它a g e n t 协同工作。 基本特征所定义的a g e n t 的弱概念不仅仅应用于人工智能领域，而且广泛的应 用在诸如人机界面、通信、软件工程等诸多领域。 2 2 2 a g e n t 技术的研究 a g e n t 理论与技术研究最早源于分布式人工智能( d a i ) ，但从8 0 年代束开 始，a g e n t 理论、技术研究从d a i 领域中拓展开来，并与许多其他领域相互借鉴和融 合，在许多不同于最初d a i 应用的领域得到了更为广泛的应用1 6 1 。面向a g e n t 技术作 硕士学位论文 基于a g e n t 技术的网格复制管理研究 为- 1 7 设计和开发软件系统的新方法已经得到了学术界和企业界的广泛关注。 对a g e n t 的研究大致可分为智能a g e n t 、多a g e n t 系统( m u l t i a g e n ts y s t e m ，简 称m a s ) 和面向a g e n t 的程序设计( a g e n t o r i e n t e d p r o g r a m m i n g ，简称a o p ) j 塞_ 3 个相 互关联的方面【j “。 ( m u l t i - a g e n t ) 系统( m a s ) 是由多个自主的a g e n t 组成，每个a g e n t 都有自己的职 责，并与其它a g e n t 通信获取信息，互相协作完成整个问题求解。 6 1 与单个a g e n t 相比，它能够完成更复杂、更广泛的功能。由于每个a g e n t 仅拥有不完全的信息和 问题求解能力，所以多个a g e n t 必须协同工作。在m a s 中a g e n t 之间平等协作， 以协同操作来共同完成给定的任务。 2 3 数据复制管理相关知识介绍 2 3 1 数据复制管理应具有功能 虽然网络速度提高很快，但要达到高性能地频繁访问和处理大量远程数据仍然 很困难。复制技术为用户应用提供一个能够快速访问和处理远程数据的局部数据拷 贝，避免大量数据远程的传输。因此，复制管理应具有以下一些功能1 2 ： 创建一个完整的或部分的数据集拷贝； 提供选择数据复制策略、复制方式和复制地点的能力； 在复制目录中注册新的数据拷贝； 允许用户应用查询复制目录，以便找到某个文件或数据集己存在的数据拷贝； 根据用户和应用的执行要求，以及存储、网络的性能预测，有方法和能力选择“最 好”的数据副本进行访问和处理； 由于数据复制所引起的数据主副本之间的数据一致性和更新问题，一直是分布 式数据管理的难点，它与应用数据访问、产生、操作特性紧密相关。 在这里，复制目录的结构必须灵活和可扩展，以免影响性能的发挥。 2 3 2 g l o b u s 体系数据管理介绍 g l o b u s 的数据管理主要与远程数据传输、远程文件i o 有关。主要组成部分有： 全局二级存储服务g 1 0 b u sa c c e s st os e c o n d a r ys t o r a g e ( g a s s ) 、网格f t p 服 务g r i d f t p 和g l o b u s 复制管理g l o b u sr e p l i c am a n a g e m e n t 等。 通过g a s s 可简化在g 1 0 b u s 环境中应用程序对远程文件i o 的操作，使得使用 u n i x 和标准c 语言i o 库的应用程序不用改动就可以在g l o b u s 环境下执行i l 】。 g r i d f t p 支持的三方传输、断点续传、并行传输、与g s i 结合的安全认证、缓 存等特性【l 】，是网格计算环境中的数据传输工具。 硕士学位论文 基于a g e n t 技术的阿格复制管理研究 g l o b u s 复制管理( r e p l i c am a n a g e m e n t ) 是网格数据管理的一项基本服务”，主 要针对大型远程数据文件的访问，它通过把部分相关数据放置在离科学应用程序最 近的位置，使得科学应用程序可快速地对数据进行访问。 g l o b u s 复制管理是一个分层的结构。 2 i 】最低层由复制目录和一系列操作组成， 允许用户将几个文件注册为集合，并且提供从逻辑文件名或集合名到一个或几个备 份的存储位置的映射。上层的数据复制管理a p i 则可以创建和删除存储系统上的某 个备份，并更新低层的复制目录的相应实体。 g l o b u s 提供的作为基础服务的r e p l i c am a n a g e m e n t 服务，可以被高层的工具所 调用，可以基于网络和存储系统的状况在适当的位置自动创建备份。下一代的 g l o b u s 数据管理将实现一些这样的高层服务【2 ”。 本文探讨的正是如何在g l o b u s 提供的现有的服务基础上利用a g e n t 技术部分实 现这样的高层服务。 2 3 3 欧洲数据网格数据管理引擎g d m p 简介 目前多数数据网格项目都是基于g l o b u s 的，他们进行数据管理的方式不同，因 此实现数据复制管理的方式也就不尽相同，我们不能一一介绍，本节我们主要介绍 其中比较有代表性也较成熟的g d m p 。 欧洲数据网格的数据管理由工作组w p 2 完成，该数据管理叫网格数据管理引擎 g d m p ( g r i d d a t am a n a g e m e n tp i l o t ) 。1 1 7 】g d m p 是一个基于g l o b u st o o l k i t 的多线程 客户机服务器系统，主要解决快速和有效的点到点的文件复制，目前实现的复 制策略是具有签名模式的异步复制机制。g d m p 服务器是一个守护进程，运行在一 个产生和输出数据的结点上。服务器本身使用通讯模块用于接受来自于应用客户机 的请求一个线程池同时处理多个客户机请求，每个客户机使用一个线程。在g d m p 中数据复制经过多个步骤：首先在数据源使用数据拷贝工具把所要复制的数据拷贝 到一个新的文件中：其次使用广域文件复制的方法把该数据移动到目的网站中；最 后把该源站的新文件删除掉。 g d m p 完成数据网格环境中对象数据库文件的自动和异步的复制。目前仅限于 复制o b j e c t i v i t y d b 类型的文件，限制了使用范围。如果在g d m p 中用g l o b u s 复 制目录取代本地“对象联盟”目录的话，就可以支持更为灵活的复制模型，从而允 许复制任意数据类型的文件。在g d m p 目前的实现中，对象复制的过程中为了减少 复杂性，并没有考虑任一个灵活的应用定义的策略，而是要求所有的对象复制服务 总是只读对象、方法是在一些对象初始形成之后把它处理作为只读的，但显然在一 定程度上降低了性能i l ”。 硕七学位论文 基于a g e n t 技术的网格复制管理研究 2 ，4 a g e n t 技术在网格领域的应用 a g e n t 技术在网格领域的比较有代表性的应用主要有j a m e sf r e y 和i a nf o s t e r 等 提出了c o n d o r - g 系统删，m a n o l a 和t h o m p s o n 的d a r p a sc o n t r o lo f a g e n t - b a s e d s y s t e m s ( c o a b s ) a g e n t 网格州，以及o v e r e i n d e r 和w i j n g a a r d s 等提出的a g e n t s c a p e l 3 5 l 等。我们将分别进行简单介绍。 j a m e sf r e y 和i a nf o s t e r 等提出了c o n d o r - g 系统d 3 ，该软件包含两个部分：资源 管理和任务管理部分。c o n d o r - g 可以在同时提交多个任务，并可以通过一个用户窗 口监视任务的执行状况，提供任务成功或失败的通知，还具有容错功能。c o n d o r - g 结合了g l o b u s 技术，整个c o n d o r - g 由s c h e d u l e r 响应用户的请求，通过创建个 g r i d m a n a g e r 守护线程来提交和管理这些任务，该线程为了传输任务的执行表、标准 输入文件、提供一个实时的标准输出流和错误流，通过g a s s 同g r i d m a n a g e r 相连。 1 9 9 9 年，m a n o l 瘌t h o m p s o n 提出了另一种网格的发展前景：d a r p a sc o n t r o l o f a g e n t b a s e ds y s t e m s ( c o a b s ) a g e n t l i 目格。口4 j 具体来说，该系统被考虑成有多年的生 存期、能够自适应的去进化、具有可伸缩性、允许系统无需监视所有组件的运行。 c o a b s 系统采用层次化、分布式的a g e n t 结构来进行资源管理。 2 0 0 2 年，o v e r e i n d e r 和w i j n g a a r d s 等人提出的a g e n t s c a p e 是一个支持大范围 a g e n t 系统的中间层。【3 5 】目前主要研究方向有：如何在系统中协调处理性能、安全、 容错、计费等各个要素，a g e n t 服务的伸缩性，以a g e n t 为基础的调度和资源协调 算法。总体的设计思想是：用最精简的方式提供对a g e n t 应用的充足支持。伸缩性、 异构和互操作是a g e n t s c a p e 设计的重要思想。 从当前的研究来看。虽然已经有将a g e n t 用于网格的系统，但这些系统并且很 少关注网格中的数据复制管理领域的研究，而且很多问题还有待迸一步的深入研究。 2 5 小结 本章是本文工作的背景知识的介绍。首先介绍了从网格及g l o b u s 技术的相关知 识，然后简单介绍了a g e n t 技术，随后对网格中数据复制管理的相关知识做了简单 介绍，最后介绍了目前a g e n t 技术在网格领域的应用状况。 碗士学位论文 基于a g e n t 技术的嗣格复制管理研究 3 总体设计 网格下的数据管理相关的研究范围很大，我们在此进行几项具体的说明。 ( 1 ) 本文涉及的范围。网格的管理工作包括很多方面，本文只探讨与数据复制相 关的管理工作，因此对任务管理等部分不作涉及，换言之本文的工作只从用户产生 了数据需求开始。 g l o b u s 网格环境下，数据复制通常和g a s s ( 全局二级缓存机制) 结合使用。 g a s s 技术对提高数据访问速度和节省带宽也具有较好的作用。但由于本文旨在使 用a g e n t 技术更好的实现数据复制管理，因此不对g a s s 进行探讨。 而对于g l o b u s 网格数据传输时所用到g r i d f t p 技术，本文仅是采用其标准进行 相关设计，并不对其进行更深的探讨。 ( 2 ) 数据复制的对象。g l o b u s 数据复制的相关对象主要有三种i l 】： 逻辑集合：即一组