（计算机应用技术专业论文）基于p2p的网格资源管理关键技术研究.pdf

摘要 摘要 网格是一种正在兴起的计算基础设施，它能协调地理上分布的各类资源，为 用户提供有效一致的访问并支持跨站点和虚拟组织的协同研究和工作。网格资源 管理一直是网格技术中一项关键的研究课题。在当前的网格资源管理技术研究中 有如下两个热点问题：运用网格内在知识提供更灵活更智能的网格资源管理服务； 提高网格资源管理系统的可扩展性以适应网格规模的扩大。 针对上述问题，本文从构建高扩展性的网格资源管理模型以及基于知识的资 源管理两方面入手对网格资源管理技术开展研究工作。通过运用基于d h t 的p 2 p 覆盖网络技术和语义w e b 技术，从网格资源表示、网格知识存储、网格资源发现 以及调度等多个方面增强了网格资源管理的能力，取得了如下创新性成果： 1 提出了采用语义w e b 技术和基于d h t 的p 2 p 覆盖网络技术的网格资源管 理模型k r m m 。k r m m 基于本地一全局的层次网格资源知识库进行资源管 理：依靠本地存储的本地知识库( l k b ) 自治管理站点资源，同时依据分布存储 的全局知识库( g k b ) 实现在全局范围内网格资源的协同共享。该模型一方面适 应了站点内部资源自治、高效管理的需求；另一方面也保证了整个网格系统的可 扩展性，消除了单点失效。 2 提出了基于d h t 覆盖网络技术的k r m m 全局网格知识库分布式存储模 型。各个站点的资源管理器按照d h t 覆盖网络的形式连接，全局知识库分块，并 按照d h t 算法在覆盖网络中进行分布式存储。这种存储模型具有高扩展、自适应 以及高效定位知识的特点。并且针对全局网格知识库的建立和动态更新问题提出 了相应的算法。 3 建立了k r m m 网格资源公共本体，并提出了k r m m 分布式网格资源本 体的集成机制。k r m m 中各个站点可以拥有部分网格资源本体，网格资源公共本 体是各个站点网格资源本体的模板，提供了网格站点之间的互操作能力。网格资 源的全局本体由网格内各个站点的本体集成获得，在全局网格资源本体的支持下， 只拥有部分本体的站点可以在全局网格内发现满足语义匹配的资源。 4 提出了k r m m 基于知识的网格资源和网格资源请求描述方法。该方法能 够描述基于范围的网格资源查询以及以网络为中心描述网格资源集合查询等。以 该方法为基础提出了基于知识的网格资源协同发现的算法。 5 提出了基于全分布调度模型的多站点的网格资源调度算法。该算法以 摘要 b a c k f i l l i n g 算法为核心探讨了网格任务在站点处理器数目异构情况下，网格作业 多站点协同调度问题。 关键词：网格计算，资源管理，网格资源本体，资源发现，资源调度 i i a b s t r a c t a b s t r a c t g f i di sa n _ e m e r g i n gi n f r a s t r u c t u r ew h i c he n a b l e se f f e c t i v ec o o r d i n a t ea c c e s st o v a r i o u sd i s t r i b u t e dc o m p u t i n gr e s o u r c e si no r d e rt os e r v et h en e e d so fc o l l a b o r a t i v e r e s e a r c ha n dw o r ka c r o s st h ew o r l d g r i dr e s o u r c em a n a g e m e n ti sa l w a y sak e y s u b j e c ti nt h eg r a dc o m p u t i n g t h e r ea r et w om a i np r o b l e m s ：h o wt o o f f e rm o r e f l e x i b l ea n di n t e l l i g e n tg r i dr e s o u r c em a n a g e m e n ts e r v i c ew i mi t so r i g i n a lk n o w l e d g e a n dh o wt oe n h a n c et h es c a l a b i l i t yo fg r i dr e s o u r c em a n a g e m e n ts y s t e ms ot h a ti t c o u l da d a p tt ot h ee x p a n d i n gg r i ds c a l e i no r d e rt or e s o l v et h ea b o v ep r o b l e m s ，t h i sd i s s e r t a t i o nb e g i n si t ss t u d yo f 西d r e s o u r c em a n a g e m e n tt e c h n o l o g yw i t ht h e h i g h s c a l a b l em o d e lc o n s t r u c ta n d k n o w l e d g er e s o u r c em a n a g e m e n t m a k i n gu s eo fs e m a n t i cw e bt e c h n o l o g ya n d d h t - b a s e do v e r l a yn e t w o r kt e c h n o l o g y , c r e a t i v ea c h i e v e m e n t si nk n o w l e d g e r e p r e s e n t a t i o n ，k n o w l e d g es t o r a g e ，r e s o u r c ed i s c o v e r ya n d s c h e d u l ea r ea sf o l l o w s ： 1 ag r i dr e s o u r c em a n a g e m e n tm o d e l ，k r m m ，i sp r o p o s e d i nt h i sm o d e l ， r e s o u r c e sa r em a n a g e da c c o r d i n gt ot h el o c a l - g l o b a lg r i dr e s o u r c ek n o w l e d g eb a s e s l k b ( l o c a lk n o w l e d g eb a s e ) m a n a g e st h er e s o u r c eo fl o c a ld o m a i na u t o n o m i c a l l y w h i l et h ed i s t r i b u t e dg k b ( g l o b a lk n o w l e d g eb a s e ) r e a l i z e st h ec o o r d i n a t i o na n d s h a r eo fg l o b a ls c a l e 鲥dr e s o u r c e s n l i sm o d e ln o to n l ys a t i s f i e st h en e e do fg r i d r e s o u r c ea u t o n o m ya n de f f e c t i v em a n a g e m e n t ，b u tg u a r a n t e e st h es c a l a b i l i t yo ft h e w h o l eg r i ds y s t e ma n da v o i d ss i n g l ep o i n tf a i l u r e 2 ad i s t r i b u t e ds t o r a g em o d e lo f g l o b a lg r i dk n o w l e d g eb a s e w h i c h i sb a s e do n d h t o v e r l a yn e t w o r k ，i sp r o p o s e d r e s o u r c es e r v e r so fl o c a ld o m a i n sc o n n e c te a c h o t h e ra c c o r d i n gt od h to v e r l a yn e t w o r k ，d i s a s s e m b l et h eg l o b a ld a t a b a s ea n ds t o r e k n o w l e d g ed a t ai nad i s t r i b u t e dw a y t h i ss t o r a g em o d e li sh i g hs c a l a b l ea n d s e l f - a d a p t i v e c o r r e s p o n d i n ga l g o r i t h mi sp u tf o r w a r di no r d e rt os o l v et h ep r o b l e mo f b u i l d i n ga n dm a i n t a i n i n gs u c hag l o b a lk n o w l e d g ed a t a b a s eo f r e s o u r c e si nt h eg r i d 3 ac o m m o no n t o l o g yo fk r m mg r i di se s t a b l i s h e d a n da n i n t e g r a t e d m e c h a n i s mo fd i s t r i b u t e dr e s o u r c eo n t o l o g yi sa l s op r o p o s e d i nk r m m ，e a c hs i t eo f g r i dc o u l dk e e pp a r t i a lg i r dr e s o u r c eo n t o l o g y t h ec o m m o nr e s o u r c eo n t o l o g yi sa t e m p l a t eo nw h i c hl o c a lr e s o u r c eo n t o l o g yi sd e v e l o p e di ne a c hs i t ea n dp r o v i d e s i n t e r o p e r a b i l i t ya m o n ge a c hs i t e n l eg l o b a lo n t o l o g yo f t h eg r i di si n t e g r a t e db yl o c a l r e s o u r c eo n t o l o g yo fe a c hs i t e a n dw i t ht h es u p p o r to ft h eg l o b a lo n t o l o g y , e a c hg r i d s i t ew h i c hk e e p i n go n l ys e g m e n t a lo n t o l o g yc o u l df i n ds e m a n t i c m a t c h e dr e s o u r c e i t i 一 垒呈! ! 垦垒! ! f r o mt h eg l o b a lg r i d 4 ak n o w l e d g e b a s e dr e s o u r c ea n dr e q u e s td e s c r i p t i o na p p r o a c hi s p r o p o s e d t h i sa p p r o a c hc a nd e s c r i b eg r i dr e s o u r c ea g g r e g a t i o ni nan e t w o r k c e n t r i cm a n n e r a n dak n o w l e d g e b a s e dr e s o u r c ec o o p e r a t i n gd i s c o v e r ya l g o r i t h mi s d e s i g n e da n d p r o p o s e d 5 a 酣dr e s o u r c es c h e d u l i n ga l g o r i t h ma c r o s sm u l t i s i t e sb a s e do nd e c e n t r a l i z e d s c h e d u l i n gm o d e li sp r o p o s e d t h i sa l g o r i t h m ，c e n t e r e do nb a c k f i l l i n gs t r a t e g y , d i s c u s s e st h ep r o b l e mo fg r i dr e s o u r c e s s c h e d u l i n ga c r o s sm u l t i s i t e su n d e rt h e c o n d i t i o no f h e t e r o g e n e i t yo f p r o c e s s o ra m o u n t k e y w o r d s ：g r i dc o m p u t i n g ，r e s o u r c em a n a g e m e n t ，g r i dr e s o u r c eo n t o l o g y , r e s o u r c e d i s c o v e r y , r e s o u r c es c h e d u l i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得电子科技大学或其它教育机构的学位或证书而使用过的 材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示谢意。 签名：舡日期：枷年月矿日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论 文的规定，有权保留并向国家有关部门或机构送交论文的复印件和 ， 磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：声阅咱 导师签名： 扣吲 日期：跏年f 月7 。日 第一章绪论 第一章绪论 网格( g r i d ) 是一种新兴的基础设施，它将从根本上改变我们思考和使用计算 的方式。它象计算机和其它科技进步的出现一样，对人类的能力和社会有着巨大 的影响。我们相信，随着信息技术基础设旋中所有成分( 包括计算能力、数据库、 传感器、人力资源) 的灵活共享成为真正的协作工具，网格将产生巨大的改造效 果，并导致新的应用的出现。 i a nf o s t e r 1 1 1 研究背景及其研究意义 网格的概念出现于2 0 世纪9 0 年代中期1 2 】，当时是用于表述一种适用于高端科 学和工程的分布式计算体系结构。最初是为了实现科研协作中的资源共享，然后 规模日益扩大3 】【4 】【5 】【6 1 。网格环境下的应用包括满足数据分析、仿真等计算需求的 分布式计算、各种分布式数据集的联合、大量科学数据的协同可视化、科学仪器 与远程计算机和档案库的联合等等。这些不同使用模式下的共同问题是需要在多 个机构组成的动态虚拟组织间实现协作式资源共享和问题求解【7j 。可以断定，无论 科学界还是工业界，都将得益于网格技术。信息技术以及其基础设施的根本目的 是让人们处理日常任务变得更加高效，这些任务的完成在某种程度上依赖于和其 他人的合作。网格不仅仅是一种应运而生的技术，更是我们的基础设施( 它支持 我们的社会结构以及我们社会工作的方式) 必须发展的方向。 网格资源管理系统是网格技术的核心。网格资源管理技术主要解决早期网格 环境下大规模科学计算和资源共享中存在的问题，主要针对网格计算环境中的网 格资源分布异构和动态特性带来的资源共享问题。这些技术大多基于关键字的资 源匹配方式，网格资源特性以关键字描述并存放在集中或层次的网格信息库中， 网格任务的资源需求则通过相应的关键字进行描述，通过在网格信息库中进行基 于关键字的匹配从而实现网格资源的查找和定位，并最终调度网格任务的执行。 这种技术适应了计算网格和数据网格中对资源共享的需求，并且实现技术相对简 单。 随着网格计算规模的逐渐扩大，传统基于关键字匹配的网格资源管理系统也 电子科技大学博士学位论文 日益呈现出不灵活、扩展性差的弊端。现有的网格资源管理技术已经不足以支持 新一代网格应用的需求： 资源共享的矛盾日益突出：大量的网格环境的开发和建立提供了更多的资 源和更多的资源需求，但是现有的资源管理技术使得大量资源无法有效的 利用：一方面，大量网格应用需要共享大量的资源，另一方面，大量的网 格资源却因为资源管理技术的滞后导致闲置。造成这个困境的主要原因是 现有的网格资源描述方式不能清晰的表明网格资源类型间隐含的语义，使 得原本可以满足需求的资源得不到利用。 新型的网格资源共享需要新的资源管理技术：网格应用从单一的科学计算 向面向网格的协同科学研究发展，网格资源管理面临更加复杂的资源环 境，新型网格环境下共享的内容包括各种软件资源、硬件资源、数据、知 识甚至参与到网格环境中的人力资源。对于这些新型的网格资源，基于关 键字的技术显然很难描述这些资源。 网格系统之间的互联互通：不同的网格系统间采用了不同的关键字描述网 格资源，通过网格系统间的关键字的映射可以解决两个网格系统之间的互 联问题，但是这种方法不具备可扩展性：在广域网环境下多个网格系统间 的互连必然导致多对多的关键字映射，显然这种手工处理方式效率极低。 语义w e b 8 】技术的提出使得我们可以在现有网格技术基础上构建新型的网格 资源管理平台，充分利用网格内部的知识增强网格资源管理能力： 通过建立网格资源本体 9 1 ( o n t o l o g y ) ，提供形式化描述网格资源类型的通 用词汇，并显式的描述网格资源类型之间的语义关系： 运用元数据注释网格资源，提供计算机可理解的网格资源信息； 将网格资源的发现过程转化为基于网格资源本体的推理，提高资源管理的 智能程度； 通过资源本体的映射实现网格应用以及网格系统之间的智能互联。 影响网格系统向大规模发展的另一个重要因素是网格系统的集中控制模型。 分布特性是网格系统的本质特性，网格是建立在多个自治管理域上的分布式资源 管理系统。因此从理论上讲，网格体系结构应该具有一个全分布式的体系结构。 早期的网格技术致力于解决网格资源异构以及动态特性而相对忽略了网格系统的 扩展性能，再加上历史( 网格最初的应用是在为数不多的几个自治域中提供计算 资源共享的能力) 和技术的原因( 集中控制机制更利于实现网格资源的全局管理) ， 导致目前的网格资源管理系统以及大多数网格计算的研究都假设网格系统具有某 第一章绪论 种形式( 完全集中、或者树状的层次结构) 的集中控制节点，该节点掌握网格资 源的全局信息。当网格规模很大时，上述模式会出现如下问题：管理困难、实现 困难、时间和空间复杂度大等等，同时存在因单点失效引起整个系统崩溃的问题。 因此，需要有一个新模型和技术支持大规模网格环境下的资源共享。近年来，新 一代的p 2 p 技术，尤其是结构化p 2 p 网络以其全分布、高扩展性、自治管理、高 容错等优良特性在世界范围内掀起了一股研究的热潮。通过在网格技术中借鉴和 运用p 2 p 已有的研究成果，进而构建具有高扩展性的全局分布的网格资源管理系 统也是当前网格研究领域的一个热点。 在网格技术中借鉴p 2 p 的思想，建立可扩展的、基于语义的网格资源管理模 型，是一项非常有理论和应用价值的重要工作。我们提出了分布一集中的层次网 格资源管理模型，并在基于知识的网格资源表达、网格知识的分布式存储、以及 基于知识的网格资源发现和调度等方面进行了有益的探索。 1 2 国内外研究现状 1 2 1网格资源管理技术现状 g l o b u s 1 0 项目是目前国际上最有影响的与网格计算相关的项目之一。它发起 于2 0 世纪9 0 年代中期，其前身是i - w a y i “】试验环境项目，它的最初目的是希望 把美国境内的各个高性能计算中心通过高性能网络连接起来，进行大规模科学模 拟、协同工程、并行计算等科学研究。随着g l o b u s 项目的深入研究，其研究目标 也进一步扩展，希望通过g l o b u s 项目可方便对地理上分布的研究人员建立虚拟组 织，进行跨学科的虚拟合作。目前，g l o b u s 项目与w e bs e r v i c e 技术融合在一起， 希望不仅仅局限于科学计算领域，而且能够对各种商业应用进行广泛的、基础性 的网格环境提供支持，实现更深入的信息共享和互操作，从而对商业模式、人的 工作方式和生活方式产生深远的影响。g l o b u s 项目主要针对资源管理、应用环境 开发、信息服务、以及网格环境中的安全问题进行研究。在网格技术的深入研究 过程中，开发了比较成熟的软件g l o b u s t o o l k i t s ，用来帮助规划和组建大型的网格 试验和应用平台。早期版本如g t l 1 的实现就是采用的中心目录服务器方式提供 资源发现服务，由于存在上述的缺点，在后来的版本中引入了层次化和分布式的 特点。目前已发布的最新稳定版本是g l o b u st o o l k i t4 0 。g r a m i ”】，它是g l o b u s 工具包中的资源管理器，也起任务管理器的作用。g r a m 和本地作业管理器相互 电子科技大学博士学位论文 作用，把任务按照不同类型，提交给本地作业管理器。g r a m 的后端是本地作业 管理系统，如p b s i l 3 l ，l s f 【1 4 j 等。用户和任务之间的交互是通过g r a m 实现的。 c o n d o r 1s l 1 6 】是由美国威斯康星大学开发的用于集群环境的支持容错的分布式 批处理系统。c o d o r 提供了分布式环境中调度作业分布执行的强大功能。尤其重要 的是c o d o r 提供了强大的资源描述和匹配能力，并提供了检查点、远程i 0 以及使 用p v m 、m p i 和j a v a 等运行系统的专业环境。充分利用工作站的空闲时间是c o n d o r 的最显著特征。c o n d o r 管理的集群由网络中的工作站组成。c o n d o r 监测网络中所 有工作站的状态，一旦某台计算机被认为空闲，便把它纳入到资源池中。在资源 池中的工作站被用来执行作业。资源发现基于资源信息周期性的“推”发布和集 中式的查询，其调度器也是集中式的。c o n d o r 现在已经扩展到支持采用g l o b u s 服 务提交工作给资源。 c o n d o r - g 【l7 】是在c o n d o r 的基础上，结合g l o b u s 工具包实现一个支持网格计 算环境的任务调度工具和开发环境。c o n d o r - g 环境中与调度相关的部分通常称为 c o n d o r - g 计算管理服务，也叫c o n d o r - g a g e n t 。c o n d o r - g 相关调度设计吸取很多 g l o b u s 关于调度的思想，它的一个主要目的就是保存局部资源管理者的所有信 息，是通过网格环境一个私人桌面a g e n t 提供这种能力，该a g e n t 还能提供精确的 一次执行语义和容错保证。另外，c o n d o r - g 为终端用户使用分散的资源提供了全 局统一视图和一个可靠的访问途径，允许终端用户去改进他们计算的效率。 l e g i o n l l 8 】是一个基于对象的网格操作系统，它提供了一个软件架构使得地理 上分布的、异构的、高性能的机器或系统能够无缝连接，向应用客户提供一个单 独一致的虚拟机。l e g i o n 对象代表了网格上所有的组件，通过操纵类实例的完成 网格资源管理操作。l e g i o n 资源管理架构是层次型的，使用分布式调度策略，它 支持缺省的面向系统的调度策略，但是也允许通过资源代理扩展策略。因此像 n i m r o d g 这样的应用层调度器可以用面向用户的调度策略来替换l e g i o n 的缺省调 度策略。 n i m r o d g t l 9 】是由澳大利亚m o n a s h 大学研究的一个网格系统项目，它是一个 建立在g l o b u s 、l e g i o n 等网格中间件系统之上调度任务自动执行的网格资源代理。 与上述的资源管理系统不同的是，它采用典型的经济市场模型，所以n i m r o d g 的资源管理b r o k e r 通常被称为一个受计算经济驱动的网格资源b r o k e r 。n i m r o d g 采用基于经济原则的新的资源管理和调度算法。对于大规模分布式系统中的应用， 它支持受最终期限和预算约束的调度算法( 依据资源代价、能力、可用性和用户的 服务质量需求调度) 。n i m r o d g 在调度优化时支持用户自定义的最终期限和预算， 第一章绪论 并提供的一套资源交易服务来管理资源的供给和需求。网格银行作为一种基础设 施被提出，用来管理资源拥有者和用户的帐户，并支持电子付款。n i m r o d - g 支持 多种经济模型，比如商品市场模型、点市场模型、合同网市场模型等。 当然如果我们将集群进行网格化改造，且认为是集群网格的话，那么还有如 下任务( 作业) 管理系统：p b s 1 3 】，它最初由n a s a 开发，为了提供一个能满足异构 计算网络需要的软件包，特别是满足高性能计算的需要。它力求提供对批处理的 初始化和调度执行的控制，允许作业在不同主机间的路由。l s f 【l ，由加拿大平台 计算公司研制与开发，它除了一般的作业管理特性外，它还在负载平衡、系统容 错检查点操作、进程迁移等方面作了很好的努力。l o a d l e v e l e r 【2 ，由i b m 开 发，它允许用户在同构或异构的集群系统中提交交互式批处理作业。 1 2 2 语义w e b 与网格技术的结合 网格计算技术的初期主要集中在高性能科学计算领域，提升计算能力，并不 关心资源的语义，故不能有效地管理知识。但是随着跨管理域虚拟组织协同工作 等网格应用的深入，早期网格计算模式与无缝自动化要求差距很大，大多数情况 下都需要人的介入，并且随着网格规模的扩大，尤其在跨管理域的虚拟组织协作 过程中，网格资源的语义互通也存在巨大的困难，因此迫切的需要更加复杂的网 格技术支持资源的管理和共享形式。因此，新一代的网格技术应运而生。它致力 于充分结合语义w e b 相关技术以解决网格资源协同共享的语义不一致问题：语义 w e b 为共享提供了资源的表达与描述基础，网格技术则为共享提供了松散耦合的 体系架构和实现平台。根据这个思想，国内外网格领域的专家提出了语义网格1 2 l j 和知识网格1 2 2 j 川的概念。 语义网格和知识网格 语义网格源于英国的e s c i e n c e 计划。在e s c i e n c e 计划研究中人们发现，网格 的现有努力和e s c i e n c e 设想之间存在差距，要达到e s c i e n c e 的易用性和无缝自动 化要求，必须实现尽量多的机器可处理性和尽量少的人类介入，这却和语义w e b 的目标有一些相似，于是在2 0 0 1 年最先提出了语义网格的构想，并且于2 0 0 2 年 在全球网格论坛g g f 成立了语义网格研究组s e m g r d 2 4 1 。他们的语义网格构想 的关键之处就是把所有的资源，包括服务，都用一种机器可处理的方式来描述， 其目标是实现语义的互操作性。达到这个目标的一种实现方法是把语义w e b 的技 术应用到网格计算的开发中，下至基础设施上至网格应用。值得注意的是“语义” 电子科技大学博士学位论文 是从下到上弥漫在整个网格中而不是仅仅在其上增加了一个语义( 知识) 层。 根据语义网格研究组对语义网格的定义：语义网格就是“对当前网格的一个 扩展，其中对信息和服务进行了很好的定义，可以更好地让计算机和人们协同工 作”。 幽1 1 语义网格 图1 1 表明了w e b 、网格、语义w e b 和语义网格的关系，网格是w e b 在计算 能力上的提升，而语义网格则是网格在语义能力上的扩展；从另一个角度说，语 义w e b 是在现有w e b 上增强了语义能力，而语义网格是语义w e b 对计算能力的扩 展。实际上，语义网格通常都被看作是将网格和语义w e b 技术结合在一起，以便 提高集成和数据计算能力的结果。 f r a nb e r m a n 于2 0 0 1 年1 1 月在( ( c o m m u n i c a t i o n so f t h ea c m ) ) 上发表了短文 “f r o mt e r a g r i dt ok n o w l e d g eg r i d ”1 2 2 ，提出了知识网格这一概念，指出知识网 格的主要研究内容是：利用网格、数据挖掘、推理等技术从大量在线数据集中抽 取和合成知识，使搜索引擎能够智能地进行推理和回答问题，并从大量数据中得 出结论。 知识网格是在语义网格的基础上，为进一步缩小人与网格计算之间的距离而 提出的更高层次的网格概念。e b e r m a n 最早给出了知识网格的定义，在 f r a n 0 1 】 中他强调：知识网格是要通过数据挖掘、智能索引等方法使得搜索引擎能够提供 知识索引、问题回答以及从大量数据和知识中推导结论等功能。 我国的诸葛海教授及其领导的研究组则对知识网格给出了如下的定义1 2 3 j ：知 识网格是一个智能互联环境，它能使用户或虚拟角色有效地获取、发布、共享和 管理知识资源，并为用户和其他服务提供所需要的知识服务，辅助实现知识创新、 协同工作、问题解决和决策支持。它包含了反映人类认知特性的认识论和本体论， 第一章绪论 应用社会、生态和经济学原理，采纳下一代互联网所使用的技术和标准。诸葛海 教授还同时给出了知识网格五个技术特征。 人们能够通过单一语义入口获取和管理全球分布的知识，而无需知道知识 的具体位置。 全球分布的相关知识可以智能地聚合，并通过后台推理与解释机制提供按 需的知识服务。达到这个目标的方法之一是知识提供者提供元知识。统一 的资源管理模型将有助于实现知识服务的动态聚合。 人或虚拟角色能在一个单一语义空间映射、重构和抽象的基础上共享知识 及享用推理服务，在其中相互理解没有任何障碍。知识网格还会使知识共 享更加普适。 知识网格应能在全球范围搜索解决问题所需的知识，并确保合适的知识闭 包( 即最小完备知识集) 。为了达到这个目标，我们需要建立新的知识组织 模型。 在知识网格环境中，知识不是静态存贮的；它能动态演化而保持常新。这 意味着知识网格中的知识服务在使用过程中可以不断自动演化改进。 知识网格所要解决的主要问题包括：资源的规范组织、智能聚合和语义互联。 资源的规范组织需要解决如何组织资源空间，使用户和服务能够有效、f 确地根 据语义操作各种资源，提高资源的使用效率。资源的智能聚合使资源能够互相理 解，根据用户的需求有效、动态、智能地聚合各种资源。资源的语义互联解决如 何使因特网上资源的语义能够被机器理解的问题。 语义网格和知识网格的内涵还在不断的发展，但是不论对语义网格和知识网 格的定义如何，共同的认识是：网格技术和语义网技术的结合是不可避免的趋势。 网格技术必须要通过知识挖掘、模式转化与本体建模等手段把w e b 资源提升为易 于自动处理与协同共享的知识源，以缩小人的认知域与机器的处理域之间的距离。 语义网格研究进展 语义网格的研究在国外已经开展起来，特别是英国投入巨资于e s c i e n c e 计划， 使得英国在这个领域走在世界前列，美国，中国等也陆续开始语义网格研究。 在e s c i e n c e 导航项目m y g r i d l 25 】中，学者们正在寻求提供开放源码的高层网 格中间件，用于形式化表达、管理以及共享生物信息试验中的密集数据。m y g r i d 是一个可扩展的开放式的数据和工具协作平台。它是应用网格，w e b 服务，语义 w e b 等技术构建的一个高层应用中间件。m y g r i d 的主要目标是开发一个高层次基 电子科技大学博士学位论文 于服务的中间件来支持计算机环境下的生物试验。m y g f i d 所用资源是o g s a 的服 务。这是知识网格在服务发现方面的应用。另外，在m y g r i d 中，工作流通过系统 性计划将服务连接在一起，利用知识约束和指导工作流组合，并验证配置是否正 确。m y g f i d 的另一个目标是提高知识库的共享质量和它的使用方式。从科学家的 角度，m y g r i d 是一个提供一些生物信息学服务的平台。从开发者的角度，它是一 个开发者的应用工具集：提供服务描述及发现，服务建模型，服务a p i s 和消息工 具等功能，并已经实现了对已有的经过整合的生命科学平台的连接。 c o a k t i n g t 2 6 1 的全称是c o i l a b o r a t i v ea d v a n c e dk n o w l e d g et e c h n o l o g i e si nt h e g r i d 。它受英国e s c i e n c e 网格研究计划资助，目标是集成和采用a k t 项目中关于 知识汇聚的概念和技术，使目前英国的网格研究向语义网格研究过渡和发展。a k t ( a d v a n c e dk n o w l e d g et e c h n o l o g i e s ) 是英国工程和物理科学研究委员会( e p s r c ) 资助的一个多学科协作研究项目。2 0 0 0 年1 0 月a k t 项目正式启动，研究期限为 六年，项目总经费7 5 0 万英镑。a k t 曾获2 0 0 3 年s e m a n t i cw e bc h a l l e n g e 竞赛第 一名，在全世界范围内的语义w e b 和知识工程领域中产生了巨大的影响，被认为 是语义w e b 应用系统研究和开发的一个典范。至2 0 0 4 年为止，a k t 已经开发了 与知识工程相关的一系列工具软件，如：知识获取、知识建模、知识管理、知识 维护等。 s c e c i t l 27 j 是由美国国家科学基金资助的项目，目的是运用多种信息处理技 术，包括知识表达和推理、知识获取、网格计算和数字库等，为地震伤害模拟提 供一个新型的信息处理基础平台。该项目是由南加州大学的信息科学学院( i s i ) 、 南加利福尼亚地震中心( s c e c ) 、圣地亚哥超级计算中心、卡内基梅隆大学和美 国地震勘测局协作开发的，项目时间从2 0 0 1 年9 月起，为期5 年。作为地震模拟 的基础平台，s c e c i t 系统应用网格技术和语义w e b 技术，能综合多种地震模拟 模型，提供各种模拟算法，使得分散的数据和计算资源可以协同操作。 m i a k t 2 8 1 的全称为m e d i c a li m a g i n g & a d v a n c e dk n o w l e d g et e c h n o l o g i e s ，医 药成像与高级知识技术。相关项目“基于网格的知识服务：医药信息协作问题解 决环境”是a k t i r c 和m i a s i r c 的一个联合项目。该联合项目的主要目标是综 合a k t 和m i a s 项目的能力，借助e s c i e n c e 网格基础设施来解决协同医药问题。 项目工作的重心集中在图像和信号解释，以及决策支持系统的复杂数据的使用方 面。该项目主要研究本体服务、注释和增强服务以及网格推理服务等，并且当前 已经取得了一些成果。 其它语义网格失口识网格方面重要的项目还有g e o d i s e t 2 9 1 、g r i p h y n l 3 0 】以及e 第一章绪论 一s c i e n c e 交叉学科研究组织i r c 川项目中的d e p e n d a b i l i t yi r c 、m i a s g r i d 子项目 等等。 中国科学院计算技术研究所诸葛海研究员领导的知识网格研究组成立于2 0 0 1 年7 月1 日，2 0 0 1 年9 月初步建立了基于w e b 的知识网格系统和知识网格网站 ( h t t p ：k g i c t a e c n ) ，并于当年提出知识网格模型。中国知识网格研究组已成为国际 上该方向最主要的研究队伍之一 3 2 】。目前他们在知识网格方面的研究重点是通过 采用新的计算模式和新的资源组织以及管理的模型，有效地辅助用户进行资源获 取、共享、管理、协同工作和决策等，为人们提供更深层、更全面、更智能的服 务。 1 2 3p 2 p 与网格技术的结合 近些年来，在市场竞争和莫尔定律的驱动下，家用、办公用的个人电脑不管 在数量上、还是在性能上都得到迅速提高。这些设备大部分时间都处于低负荷甚 至空载状态。有效利用这些丰富资源的研究既导致了网格技术的诞生和迅速发展， 也使对等计算( p e e rt op e e rc o m p u t i n g ，p 2 pc o m p u t i n g ) l 里念重新得到了业界的关 注。根据p 2 p 系统的应用方向，当前p e e r _ t o p e e r 应用总体可以分为三类 3 卅： 内容共享，以n a p s t e r l 34 1 、g n u t e l l a l 3 ”、f r e e n e t 3 6 】为代表。n a p s t e r 是提供 端用户在互联网上共享m p 3 音乐文件的应用。n a p s t e r 中存在集中式的目 录服务器，维护用户节点的基本地址信息和可达性信息，及共享音乐文件 的元信息。g n u t e l l a 和f r e e n e t 采用了完全分布式的方法。每个节点都维 护一个本地的其它节点的地址信息库和本地共享文件夹。通过洪泛搜索请 求的方法来获得全局的回答。 硬件资源共享，p 2 p 计算较早的动机是认识到，个人p c 大多数时候都是 空闲的，可以将它们的计算能力集中起来解决复杂的计算问题。基本思想 就是将问题分割成交互性较弱可并发执行的片。其中较著名的有搜索地外 文明的s e t i h o m e 3 7 1 和药物筛选程序d 2 0 l 1 3 8 1 。1 9 9 9 年5 月，由美国 加州大学伯克利分校启动了名为s e t i h o m e 的项目。s e t i h o m e 是 s e a r c hf o re x t r at e r r e s t r i a li n t e l l i g e n c ea th o m e 的缩写，意为：在家里寻找 外星文明。其核心思想是利用联接到i n t e m e t 上p c 的闲置计算能力分析 世界上最大的射电望远镜获得的数据，帮助科学家探索外星生命。该项目 启动以来，已有4 5 0 万志愿者参加了这个项目，总处理数据量己经达到了 电子科技大学博士学位论文 1 5 t ，平均每位参与者让自己的电脑为s e t i h o m e 工作了1 7 个半小时， 这相当于一台p c 机工作4 8 2 0 2 3 年，相当于世界上最快的超级计算机工 作4 8 年。 协同计算与协同通信，有i c q 和用i b m l o t u s 软件开发的g r o o v e n e t w o r k s 3 9 1 等。 值得注意的是2 0 0 2 年以来出现的基于分布式哈希表( d h t ) 的新型p 2 p 系统。 目前的d h t 系统主要有c a n 4 0 1 、c h o r d 4 ”、t a p e s t r y 4 2 1 、p a s t r y 4 3 1 等等。这些p 2 p 系统一般提供了路由、节点管理等通用接口，使得大量形式各异的基于d h t 算法 的p 2 p 应用如雨后春笋般出现。这些应用包括基于c h o r d 的协作式文件系统c f s 4 4 以及基于p a s t r y 的p a s t a l 4 5 i p 2 p 文件系统；用于流媒体传输的s p l i t s t r e a m t 4 6 】；基于 p a s t r y 的文档存储系统p a s t 4 7 ；基于p a s t r y 的分布式搜索系统x e n o s e a r c h 4 8 】等等。 p 2 p 与网格都强调要为分布在不同地点的用户提供资源共享服务，但是由于这 两种技术基于不同的前提假设，因此导致了这两种技术有着不同的技术需求和实 现的侧重点。p 2 p 系统关注的资源共享主要针对那些包含数以百万计用户的大型网 络环境，并且这些用户大多通过桌面系统以及低带宽设备连接到i n t e m e t ，因此， p 2 p 的重点在于容错技术和大规模扩展技