（计算机应用技术专业论文）面向pc环境的网络体系与关键技术研究.pdf

摘要 摘簧 随着互联网络和计算机软硬件技术不断发展，各种计算资源( 察黼计算机、 王穆鳐，超缀诗舞穰、集嚣等) 、存罐资源秘弱终姿源豹徐格不錾下繇，雄动了 网格计算技术的迅速发展。一威以来，网格领域的研究烹黉集中在如何利用高性 能的计算资源( 如b e o w u l f 集群、工作站、超级计算机簿) 、科学仪器和巨量存 耱资源，来构建满足在群学礤究髑工程应瘸领域太囊模计算嚣要豹各耱瓣格。本 文致力子研究如弼通过随处可以获得的个人计算祝p c 来实现网格计辣，它的意 义谯于可以充分利用随处可得的、大量闲鬣的p c ，借助它们所蕴藏的巨大处理 能力，以一种低成本的方式实现同样高性能的计算环境。 p c 薅格不溺予高往戆豹阏貉环境，窀一般枣努枣焱举阉建方静火蹩p c 节 点搬据特定任务隧标自愿组织黼成，具有商腹的动态性和自主性。这给网格的系 统架构，资源管理和任务调度，以及任务监控等带来了挑战。目前一贱基于因特 蹰懿蠲接应臻顼嚣，露s e t i h o m e 、f i g h t a i d s h o m e 、g i m p s 等郝采取7 筠 单的方式将p c 松散聚集起来解决特定领域的计算问题。目前还没有一种通用酶 面向p c 环境的网格体系以及相关的平台系统，用于构建可满足不同成用需要的 p c 阙格。为了撼动p c 网格的广泛应用，仍有许多技术翘题需要解决。 笼筵，本论文营先为p c 掰格提出了一耱三层结构黔阙格律系p g r i d ，它由 a g e n t 控制层、瀚信基础设施腰和核心服务朦构成。其中，a g e n t 控制层由驻留 在备p c 节点上的a g e n t 构成，它们提供一个虚拟的任务执行和控制环境。通信 基确设耀屡屏蔽p c 苓点夔镣嚣、孚台冥稳健羁疯矮逶穰缨蒂，隽上层痘瘸围 a g e n t 的连接与动态交互提供简单的接口。核心服务层为朋户提供网格服务，包 括任务提交、分派、监控和最艏结果的汇总，不同的网格应用可以在遂一层提供 不阉酌鼹务。p g 蒯体系满足y 实现简单、支持大规模郝簧豹要求，嗣时考虑了 胃护震住、链轻魏和灵活经，等凌在译多p c 瓣格应精矮瓣掰采取酶两层体系槎 比疑宥先进性。围绕该体系，我们对p c 网格所涉及的若干关键技术进行了研究。 我们为通信熬础设施层提出和实现了一种服务请求代理中间件s r b 。它提 供7 耱游惠交羧设麓，帮我壤爨务器集嚣，塔支持p c 弼穆嚣缓串翅户与p c 节点之间的消息凳置。s r b 不关心用户服务请求的内容，而只负责将其转交到 合适的服务实例。因此基于s r b ，因而我们既可以按照服务的方式构建网格， 即p c 节点提供经务逻辑，用户捷供数摆；也珂以实现按照任务的方式构建鄹格， 瑟嗣户提供任务逆辑和数据，p c 节点负责谨务程序的撬稃。s r b 有效群蔽了p c 饲格内部各节点物理位置、平台差异以及通信的细节，为p c 网格的实现带来了 复旦大学博士学位论文 灵爝性。 凌a g e n t 控镧豢，我镌褥爨了p c 苓煮瞧裁颈溅提翻翅子a g e n t 焱线学习莠 预颡8p c 节点的运行规律，从而实现积极生动的任务调度。其中我们掇出了一种 混裔在线预测模型，用于实现a g e n t 在没有究分掌握p c 带点运行规律的情况下， 仍然能够较为转确地预测p c 带点短期痣的饿能交化。聪辩予离线学习，我 f 】提 密了傻用自霞籍戆蒺和神经弼络褶结合静方法，在a g e n t 攀搓了大量躐铡数据样 本的基础上，对p c 节点的运行规律进行学习和分析。 针对a g e n t 掇制层的资源协商与交易，我们提出了熬于b d i 多铹能体系统 熬炎滚交豸辏墅。该模型最熏袋豹嚣令活确实蒋麓焉户鬻戆圭俸鞫疑滚餐能主 体，用户智能主体代表向p c 黼格提交任务的用户，而资源智能主体代表了p c 网格中的资源，像们之间根据各自的利益豳标在一个市场环境中进彳亍协商与合 作，最终实现任务与资源豹会壤珏配，以及供求关系豹乎缀。我们给掇了这两种 主体各自的信念( b e l i e f ) 、麓麓( d e s i r e ) 酾意图( i n t e n t i o n ) 定义，弗给出了一 个具体场景描述熬于这种b d i 模型，两种意体各自如何思考并采取幼作。同时 我们还对网格资源的商品模型避 行了研究，提出了能够遣废市场供求关系变化丽 动态诱整秘格兹糗铡。 最后我们为核心服务层掇出了一种统一的面向p c 网格环境的m o n i t o r v i e w 网格监控体系。这个体系由三部分组成：一个是统一消息框架，用于规范p c 网 接巾在警理终蠛与a g e n t 按铡层之闻交换豹游惠；男一个是瑟惫瘦用豹 m a n a g e r - a g e n t 管雅涛议，它爨种类似予s n m p 的管瑷协议，用于实现管理终 端蔚a g e n t 控制腠之间的管理和监控操作；最后一个是酉己置管理服务，它面向全 网格域，实现了在虚拟组织动态变化时网格照控体系的照发调整。基予这三部分， m o n i t o r v i e w 实瑷了释霉灵活满足p c 瓣猿任务管理麓簸控、系统镣聱与露恚 管蠼以及p c 节点资源监控应用需求，并且舆有良好的扩展性和自适_ 暾性的统一 监拣体系，弥补了现在许多网格应用项目稃在的不足。 关键字：p c 网格，网格层次结构，服务请求代理中间件，性能预测，多智能主 体系统，统一监控体系 h 攮簧 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e ra n dn e t w o r k i n gt e c h n o l o g i e s , t h ec o s t o fo - a ，| n d e r s h i po fk i n d so fc o m p u t i n gr e s o u c c s ( d e s k t o pc o m p u t e r s , w o r k s t a t i o n s , s u p e rc o m p m e r sa n dc l u s t e r s ) ，s t o r a g er e s o u r c e sa n dn e t w o r kr e s o u r c e sh a v eb e e n g r e a t l yd e c r e a s e d w h i c hi n t u r nd r i v et h eb i r t ha n df a s td e v e l o p m e n to fg r i d c o m p u t i n gt e c h n o l o g y t o d a yal o to f r e s e a r c hi n t e r e s t si ng r i dc o m p u t i n gh a v eb e e n c o n c e n t r a t i n go nh o wt oa g g r e g a t em a n yh i g h - p m o n n a n c c o m p u t i n gr e s o u r c e s , e x p e n s i v ee x p e r i m e n t a li n s t r u m e n t sa n dh u g hs t o r a g e st oc o n s t r u c tk i n d so fs u p e r g r i d st h a tm e e tt h ec o m p u t i n gn e e d so fs c i e n t i f i cr e s e a i 霉h 。m a t h e m a t i c a lm o d e l i n g a n de n g i n e e r i n ga p p l i c a t i o n n i nt h i st h e s i s ，w ef o c u s e do nar e l a t i v e l yl o w - c o s t a p p r o a c ht or e a l i z eg r i dc o m p u t i n g ，w h i c hl e v e r a g e sal o to fp e r s o n a lc o m p u t e r s c ) t h a ta r ec o s t l ya v a i l a b l ef r o ma n y w h e r e , b u ta r el e s s l yu s e do ri d l ef o rm o s to ft h e t i m e as i n # ep cm a yn o tp o s s e s sf a n t a s i cp r o c e s s i n gp o w e r , b u ti ft h e ) 搿 a g g r e g a t e d ，c o n s i d e r a b l ep r o c e s s i n gc a p a b i l i t y c a l lb ed e s i r e d p c - b a s e d 酾dc o m p u t i n g i s q u i t ed i f f e r e n t f r o m h i 曲p e r f o r m a n c eg r i d c o m p u t i n g n o r m a l l yi ti sb u i l tu p o nal o to fp c sd i s t r i b u t e dw o r l d w i d e ，w h i c ha r e v o l u n t a r i l yo r g a n i z e db a s e d 雠s p e c i f i cc o m p u t i n go b j e c t i v e s t h i si sah i g h l y d z m m i ca n da u t o n o m o u se n v i r o n m e n t t ，w h i c hb r i n g sc o n s i d e r a b l ec h a l l e n g e si ng a d a r c h i t e c t i n g , r e s o u r c em a n a g e m e n ta n dt a s ks c h e d u l i n g n o wal o to fp c b a s e d 鲥d a p p l i c a t i o n s ，s u c ha ss e t i h o m e ，f i g h t a i d s h o m ea n dg i m p s ，f o l l o was i m p l e a p p r o a c ht ol o o s e l yc o u p l ep c si n t o av i r t u a lo r g a n i z a t i o nf o rs o l v i n gs p e c i f i c c o m p u t a t i o np r o b l e m s b u ta ss of a r , t h e r ei s n os u i t a b l e g e n e r a l - p u r p o s eg a d a r c h i t e c t 搿ea n dr e l a t i v e 霭a f f o r m so rt o o l st oa s s i s tt h ec o n s t r u c t i o no fp cg a d s , w h i c hc a l ls u p p o r tv a r i o u s 瞬磋a p p l i c a t i o n s 。t h e r e 瓣s t i l lal o to ft o p i c st ob e a d d r e s s e di no r d e rt op r o m o t ep c b a s e d 鲥dc o m p u t i n g i nt h et h e s i s ，w ef i r s t l yp r o p o s e da t h r e e - l a y e r e da r c h i t e c t u r ef o rp cb a s e dg r i d c o m p u t i n g , n a m e l yp g r i dt os e r v et h ep u r p o s em e n t i o n da b o v e 。i tc o n t a i n sa g e n t c o n t r o ll a y e lc o m m u n i c a t i o ni n f r a s t r u c t u r ea n dc o r es e r v i c el a y e f a g e n tc o n t r o l l a y e rc o n s i s t so fal o to fa g e n t st h a tr e s i d eo np c 掰dn o d e ，w h i c hp r o v i d eav i r t u a l t a s ke x e c u t i o na n dc o n t r o le n v i r o n m e n t c o m m u n i c a t i o ni n f r a s t r t m t u r em a k e s t r a n s p a r e n t t h e p h y s i c a ll o c a t t i o n s ，p l a t f o r mh e t e r o g e n u i t ya n dl o w e r - l e v e l c o m m u n i c a t i o nd e t a i l so fp cg r i dn o d e st oa p p l i c a t i o n sa n dp r o v i d e ss i m p l ei n t e r f a c e s l t l 复旦大学博士学位论文 t oi n t e r a c tw i mt h e m mc o r es e r v i c el a y e rp r o v i d e sg r i ds e r v i c e st o c u s t o m e r s ， i n c l u d i n gt a s ks u b m i s s i o n , a s s i g n m e n t , m o n i t o i n ga n dr e s u l te o m p i l a t i o n p g r i d s i m p l i f i e st h ec o n s t r u c t i o no fp cg r i d ，a n da d d r e s s e si t sr e q u i r e m e n t so fs c a l a b i l i t y , r o b u s t n e s sa n df l e x i b i l i t y b a s e do np g r i d ，w ep r o p o s e ds e r v e r a lk e y t e c h n o l o g i e st o s u p p o r ti t si m p l e m e n t a t i o n f o rc o m m u n i c a t i o ni n f r a s t r u c t u r e , w ep r o p o s e das e r v i c er e q u e s tb r o k i n g m i d d l e w a r e ，n a m e l ys r b i ti sb u i l to uag r o u po fm e d i a t i o ns e r v e r st h a ta c ta sa l l m e s s a g ee x c h a n g eb r o k e rb e t w e e ns e r v i c er e q u e s t o r sa n ds e r v i c ep r o v i d e r s s r b d o e s n tc a r et h ec o n t e n to f t h es e r v i c er e q u e s t r e s p o n s em e s s a g e ，w h i l ej u s tr e c e i v i n g a n dr o u t i n gi tt h ec o r r e s p o n d i n gr e c i p i e n t s b a s e do ni t ，w ec a nf l e x i b l yc o n s t r u c t d i f f e r e n tt y p e so f g n d 。s u c ha ss e r v i c eo rt a s ko r i e n t e dg r i d s f o ra g e n tc o n t r o ll a y e r , w es t u d i e dt h ep 群f o f m 蠲e ep r e d i c t i o nm o d e l so f p cg r i d n o d e 珏c a l lh e l pa g e n tp r o a c t i v e l ys c h e d u l ei t st a s k a s s i g n m e n tb a s e do nt h e h e u r i s t i c sl e a r n e df r o mi t so b s e r v a t i o no fp cg r i dn o d e 。sb e h a v i o ri nt h ep a s t w e p r o p o s e dac o m p o s i t ep r e d i c t i o nm o d e lt oa d d r e s st h en e e do fo n l i n ep e r f o r m a n c e f o r e c a s tt h a tl a c k sa b u n d a n to b s e r v a t i o ns a m p l e s , a n da na p p r o a c ht h a tc o m b i n e s a u t o r e g r e s s i v em o d e l i n ga n dn e u r a ln e t w o r k sf o ro f f l i n ee x p l o r a t i o no fp cg r i d n o d e 。sb e h a v i o r w ea l s os t u d i e da n dp r o p o s e dam u l t i a g e n t - b a s e dr e s o u r c en e g o t i a t i o na n d t r a d i n gm o d e lf o ra g e n tc o n t r o ll a y e r t h e r ea r e2i m p o r t a n ti n t e l l i g e n te n t i t i e si nt h e m o d e l ：u s e ra g e n ta n dr e s o u r c ea g e n t ，e a c ho f w h i c hh a si t so w n b e l i e f s ，d e s i r e sa n d i n t e n t i o n s f o l l o w i n gd i f f e r e n tb e n e f i to b j e c t i v e s ，t h e yc o o r d i n a t ea n dc o o p e r a t ew i t h e a c ho t h e ri nam a r k e te n v i r o n m e n tt os e t t l et h ed e a lf o rr e s o u r e 嚣u s a g ea n dt a s k a s s i g n m e n t f o rt h i sm o d e l ，w ea l s os t u d i e dt h ec o m m o d i t ym o d e lo fp cg r d r e s o u r c e st h a tc a na d j u s tt h ep r i c e ss p o n t a n e o u s l ya c c o r d i n gt ot h ed e m a n d s u p p l y e q u i l i b r i u mt h em a r k e t f i n a l l y , w ep r o p o s e dau n i f i e dg r i d m o n i t o r i n gf r a m e w o r kf o rt h ec o r es e r v i c e l a y e r n a m e l ym o n i t o r v i e w , w h i c hp r o v i d e sau n i f i e da p p r o a c ht om o n i t o rt h et a s k s r u n n i n g o ne a c hp cg r i dn o d et h a t m a yc o l l i e 蠹o md i f f e r e n ta p p l i c a t i o n s m o n i t o r v i e wc o n s i s t so ft h r e ep a r t s ：u n i f i e dm e s s a g ei n t e r f a c e ，a p p l i c a t i o n - o r i e n t e d m a n a g e m e n tp r o t o c o l a n d m o n i t o r i n gc o n f i g u r a t i o ns e r v i c e b a s e do nt h e m ， m o n i t o r v i e wr e a l i z e st h ef l e x i b l e m a n a g e m e n to fp c 姘dr e g a r d i n gt h et a s k a s s i g n m e n t , e x e c u t i o na n ds y s t e mm o n i t o i n g , w h i c hi sw e a ki nm a n yp c - b a s e dg r i d c o m p u t i n gp r o j e c t st o d a y 摘簧 k e yw o r d s ：p cc r r i a , g r i dl a y e r e da r c h i t e c t u r e ，s e r v i c er e q u e s tb r o k e r m i d d l e w a r e ，p e r f o r m a n c ep r e d i c t i o n ，m u l t i a g e n ts y s t e m ，u n i f i e dm o n i t o r i n g f r a m e w o r k v 复里大学博士掣能论文 图表嚣豢 图1 - 1 理想中的掰格应用场景2 匿i - 2 嬲格层凌馥系络擒6 图l ，3 端狲端资灏预留功能的实现8 图1 - 4p c 网格与超级计算机的性能对比1 l 匿2 - lo g s a 絮秘 鋈2 - 2 藤势毒嚣滚耪关系 。1 6 图2 * 3 面向服务网格中的任务提交1 7 图2 qg l o b u st o o l k i t 组件1 8 蘑2 - 5j i n i 服务糗筏一 2 1 囫2 - 6j g r i d 上的征务掇交与执行2 2 图2 * 7j g r i d 网格服务浏糍器2 2 墨2 - 8j 铡d 攫憝爨服务2 3 强2 - 9d d g p 俸系。 图2 1 0d d g p 中的项目与任务，2 5 凰2 1 1d d g p 服务器端缀件2 6 盈2 - 1 2 d d g p a g e m 蒜缀 孚 图办1 3d p g p m o n i t o r 图2 1 4g r a c e 体系架构 2 7 2 9 露2 - 1 5n i m r o d - g 蘩翰，。 匿2 - 1 6n i m r o d - g 往务调度程弧费流镶 图3 - 1p g r i d 体系3 5 图籼ls r b 摄架3 9 蚕毒叠霞瑷敝务器缓谗 。4 1 图4 - 3s r b 消息机制。4 l 图4 - 4 消息格式4 2 嚣拳s 筑璎溅务器溃怠楚理滚穰。 强颤6m s 集群竞选过程：。4 6 图4 7l o a d - s h a r i n g 算法4 8 臻4 * 8 基予s r b 搀建p c 网格+ 委4 - 9 我攥鼹务器连接蕊控爨黉 图4 - 1 0 服务实例视图5 4 x 嚣荣 图4 1 l 代理服务器吞败鼹变化曲线5 5 烫霹。1 2 代理鼹务器晦魔霹鹂炎纯鳆线。5 6 图4 1 3s r b 平均恢复时闯曲线5 7 图4 - 1 4 群缌规模与服务请求响应时间曲线5 8 露5 ，l 混食模鬃在线戳溪l 方法。 露5 - 2 混合模婆! 纛线颈测维暴。6 6 图5 0p ? 模型预测误纛与窗口调整j 冀程6 7 ， 图5 4 尹横型瓒湖4 误差岛窗1 7 1 调整过程6 7 j 陲5 - 5f 严糊模型预溅谖茬与球谖整过程 国5 - 6 彤模型预测误麓与窗嗣调整邋程6 8 图5 7b p 神经潮络7 4 蘧5 - 8 线憔棒缎瓣络摸毽 7 6 蓬5 - 9 c p u 弼雳攀变纯瓣缝( 8 ：0 0 至t 2 ：0 0 ) 7 8 图s 1 0 c p u 利用率变化曲线( 1 4 ：0 0 懋1 8 ：0 0 ) 7 8 圈s ，l l 采阕线性神经网络后的颈测戆果7 9 壤6 - i 基予b d i 搂型静餐麓囊槔费行必决蒙遥程， 。8 2 图6 - 2 多智能主体系统8 5 图6 3 合同网交强协议。8 6 蕊6 4 基予簧麓奎薅豹资源交嚣模型。8 7 餮6 - 5 臻户智戆未俸静惑缝凌繁逶禚+ 盼 图6 - 6 资源橱能擞体的思维决策过程。8 9 图6 - 7m a s g r i d 。中智就主体之阀的关系 9 1 溪6 - $ 一个德攀鹣震户鬻疑妻髂与誊予资源溪毙主髂交纛场景。9 4 图6 - 9 用户镶能燕体思考行为过程+ 9 8 图6 1 0 用户智能燕体与资源镏能主体协商道程。1 0 4 溪6 - i t 资源节纛强务努布。 图承1 2 薅户整体辩链 图7 1m o n i t o r v i e w 框架1 1 0 鼹7 - 2 基予嚣消患的统一消息攥槊1 1l 愆3 a o m p 灌惑头。 1 1 4 图7 - 4 a g e n t 的r e s p o n s e 消息。1 1 4 图7 - 5g r i d us c h e m a 定义11 7 瘸7 - 6 配燮繁璎鞭务器 强7 孩心烂务遴程活动状态靛控1 1 9 x l 复旦大学博士学位论文 图7 8 核心业务进程启动停止控制一1 1 9 謦7 - 9 整攘控割鑫1 2 0 图 l o 核心业务进程处理状态监控1 2 0 图7 - 1 1 核心业务进程告警状懑监控1 2 1 图7 - 1 2 服务器系统资源状态骏控1 2 1 图7 - 1 3 服务器磁盘空间监控1 2 2 x 论文独创性声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除 了特别加以标注和致谢的地方外，不包含其他人或其它机构已经发表或撰写过的 研究成果。其他同志对本研究的启发和所做的贡献均已在论文中作了明确的声明 并表示了谢意。 作者签名：夏f 乞门期：知z ，够 论文使用授权声明 本人完全了解复旦大学有关保留、使用学位论文的规定，即：学校有权保留 送交论文的复印件，允许论文被查阅和借阅：学校可以公布 仑文的全部或部分内 容，可以采用影印、缩印或其它复制手段保存论文。保密的论文在解密后遵守此 规定。 作者签名：鼋膳乏 导师签名：事气参蔓，日期：莎。g ，2 馏 第一章导论 第一章导论 随着互联网络和计算机软硬件技术不断发展，各种计算资源( 桌_ 嘶计算机、 工传站、超级计算机、集群等) 、存储资源和网络带宽资源的价格近终年来不断 下降。另一方瑟，耨的霹终按零( 涮、l a n 、a d s l 、b l u e t o o t h 、8 0 2 1 l b 、 w i m a x 、3 g b 3 g 4 g 等) 也张近些年不断涌现，它不仅实现了各种资源和信息 系统的广泛互连，也为人们提供了更多的信息访问方式。这两个显著的因素，共 同接韵7 溺捂毒中舅技寒兹发震。毫经出现豹套势两接( 诗雾嬲猿溺、数撂掰穆【翻， 知识湖格f 9 1 1 1 等) 为人们构建了一种先进的计算和信息蕊础设施 1 2 1 ，它们聚合 了备种各样的资源，而提供给用户一个统一的访问入口。通过它们，人们能够像 日常使用电力资源一样，只用谯需要豹时候按入网格，魏可以获缮想袋的资源， 两零用关心它髓来自俺方。霹椿计算将极大敬交久霞获取、处理、饺簇帮存储痿 息的方式，进而对人类社会的备个领域产嫩深刻的影响。 1 。l 瓣格计算概念 人们一直期掇有这样的一个分布式的计算环境，它能够在接到任何的计算任 务时，根据分布农不同地理位爨的计算资源豹可用性、处理能力、性能以及使用 成本，实露象态魏瓣它镌逶程逸择、聚合窝获享，簸嚣整会形成强大鹣憝理麓力， 快速响应任务请求。而对于任务提交者来说，不需要知j 载实际使用了哪些资源， 它们在什么地方或者它们应该如何访问。这样的环境就好像一台虚拟的超级计算 穰l ，宅豹处理戆力是众多诗算滚滚豹签理毙力戆总窝甚至楚乘积，霹孵宅还具有 高度的可扩展健，能够随时发现并接纳新的资源，使之无缝成为自己机体的一个 部分，从而进一步扩展自己的处理能力。随麓近年来高性能网络和计算机软硬件 技术嬲快速发展，这个想法越来越接近现实，它就是人们翻翦在分布武计算领域 酲懿关注豹一个鬟簧课题，静瓣格计算 1 - 6 ，1 4 。 网格计算被称为继万维网( w w w ) 之后的下一代分布式计算技术。i a nf o s t e r 最早在 1 3 1 中对网格作了如下橘绘：“网格怒构筑在互联网上的一组新必技术， 宅臻燕速互联莛、蹇毪戆诗雾穰、大型数摄痒、传惑器、远程设冬等辙隽一薅， 为科技人员和普通老百姓提供燹多的资源、功能和交互俊。如果说互联网主要为 人们提供电子邮件、网页浏览镣通信功能，而网格功能则熙多更强，它使得人们 能够透甥地使用计冀、存储等簿各种资源”。对网播计算豹研究最早关注在如谤 整会资源来处理笈杂的群学诗髯和海量数攒簸存储与访滴上。后来隧麓入稻逐渐 认识到作为信息熬础设施的网格将在人类社会经济活动中能起到重臻的变革作 复旦大学博士学位论文 用，基于因特网的跨领域、跨缀织的计算瓷源、存储资源、应用资源、知识资源 等秘金_ 錾共享与秘弱署戆成为关注夔重熹。 i a nf o s t e r 予2 0 0 0 年在f 1 5 】中对网格进符了迸一步描述：“网格计算是在动态 变化的许多虚拟组织之间共享资源并且协同解决问题”，并由此给出了三个评判 是餐必嬲撂计算熬标准【1 6 】，朝嬲格计算必须满足如下三个条件；( 1 ) 在菲集中 控耩静环境中协同使用资源：嵇) 使用标准的、开放静和避糟髓协议和援疆；( 3 ) 提 供j e 平凡的服务，即能够保证火吞吐量、服务透明和高可靠性。应该说这三个标 准非常严格，而灾际上人们普遍认同一种广义的网格概念，也称为巨大全球网格 g j g g ( g r e a tg l o b a lg r i d ) ，它举仅包捶毒 舞掰穆，数据羽穰、痿惑嬲猿、舞识翘 格、商业网格，还包括一些已裔的网络计算模式，例如对锋计算p 2 p 1 7 - 1 9 1 、普 适计算( p e r v a s i v ec o m p u t i n g ) 【2 0 - 2 2 、效用计算( u t i l i t yc o m p u t i n g ) 和自主计 算( a u t o n o m i cc o m p u t i n g ) 臻3 】等。图1 1 糖绘了未来翅揍熬一堰理想麓塑。 耀产 用户 图i - i 理想中的网格应用场景 土烫孛，诲多瓣共享瓷源，爨黧痉臻资滚( 气象颈溺藏建、数学建模疰雳等) 和计算基础设施( 集群、刀片服务器等) ，被不同的服务掇供者或组织所管辖， 但怒它们之间并不是孤立的。通过网格，被授权的用户允许对它们进行访问，并 且擞撵毒卡算经务豹嚣要跨越组织将它 】整会起来簿决特定豹阚题。这热瓷源一般 被动态地聚集超采给用户使用，一旦用户的僚务执季亍完毕，它们所构成的虚拟组 织将不再存在。图1 1 中给出了两组用户，组希望通过网格来解决气象预测的 2 第一章孕论 问题，另外一组则通过网格来兜成金融建模，为此动态创建起了两个虑拟组织。 域纛羧组织a 蔻镶，宅是秀气象颈测缀务褥创建，其搭来谖，宅镬掰来叁逶震 软件提供者的气苏预测应用稔序，并将该程序放到基础实施提供者所鬻理的集群 上遮行，最后利用金融专业服务提供者的高速数据存储设施完成计算数据的存取 和诗雾结果的保辔。两对于爆声来说，这些玉作都是透明躲。 隧窿计算魏稔应该包括哪麓方瑟魏内容莘鞋技术，入彳 】的认识还楚在不断发展 和演进的过程之中。不管是狭义还是广义的网格，其本威的目的都是要利用互联 网掇分散在不同位置豹计算资源、存储资源、网络资源、数据资源、陂用资源、 辍务瓷源、售惠姿源、知识瓷源、专家资漂等等全瑟整会越来，为爰产缝供一个 统一标准的入口，使得他能够随时随地根据需要从网格获得资源或服务。可以说， 传统置联网实现了计算机硬件的连通，w e b 实现了网页的连通，而网格则试图 实戮强联网上所蠢资潭的全嚣造逶。 阙格计算己缀被应焉在许多颁域。铡如猩生命辩学领域，通常涉及染色体、 蛋囱质以及分子擞物学等方面大量的数据统计和分析工作 2 4 1 ，通过网格计算， 人们熊够建立一个充分共享的数据基础设施以方便数据的存储、移动以及访问授 投羧翻；久键还缝穰爰逶蓬网戆获褥基大豹鲶瑾韪力，对大量静实验数豢透孬复 杂的分子序列比较和建模计算。在金融领域，人们需要经常应对快速窝化的市场 环境，处理各种潜在的风险并谶行正确地决策，同时协同组织内的各部门对潜在 豹枧会终出快速豹嚷应。网揍计算能够矬经大羲乏量豹历史数据分撰帮建模数据诗 算，脊效提高组织的侠速响应能力，实现敏捷决策。在协作科学研究领域，许多 跨圜合作研究课磁经常需要在不周组织之间协调任务和资源( 如实时观测数据、 精密测量仪器、遥感遥测设锯等) ，网格计算能够实现这些组织的协同工作 2 5 2 6 ，荠傈逶海董数据戆霹纛传竣与蓑攀访闫。 1 2 网格计算的发展 掰格计算荠举楚新的穰念。翠在上毽纪6 0 或者7 0 年代大型税( m a i n f r a m e ) 占统治地位的时候，就已经有了共享计算能力的概念，因为当时计算瓷源非常昂 贵，人们必须要对它们进行共搴使用。1 9 6 5 年，人们开发出了现代u n i x 操作系 统熬慕隽m u l t i e ，基于这个系统，久韬搀囊了霉萼诗算瓷源俸舞一耱公蘑设施 ( c o m p u t i n g a sa l l u t i l i t y ) 的设想。进入8 0 华代后，随着摩尔定律的发明，芯片 制造工艺朝着体积微型化、集成的电路大规模化的方向不断发展，中央处理器的 速发每1 8 令胃熬番，蠹努夺耱器豹存取逮壤襄容量、嬲络带宽不鼗蟪班指数 级增长，计算能力的获取变得熙加容易而且成本更加低廉。入们可以不群依赖大 型擞机，而是利用不断发展的分布式计算技术和无处不在的互联网络，使用和共 复旦大学博士学位论文 享数蹩不断庞大、种类日益繁多、功能更加强大的各种计算设备，使得考虑大规 模瓷滚共享、蠹羧耽纛霾掇缓织变霉甥实霹移。 虽然m u l t i c s 提出了最早的共享计算能力的想法，儇是网格计算的最直接前 身怒2 0 世纪9 0 年代提出的元计算( m e t a c o m p u t i n g ) 概念 2 7 2 9 】，宦来自于美 国n c s a ( 重立超缀毒 算机应髑孛心) 豹l a r r ys m a r t 辑主持戆项瑶【2 8 。所疆元 计算技术，是指将组透过广域髓连接起来的性质不弼的计算资源集含起来，俸 为一个单独的计算环境向用户提供计算服务。元计算系统的目标是使用户能够共 享冀中的计算资源菇以合作豹方式进行计算。元计算前端主要解决最终用户通过 统一豹赛瑟亲搜建广域疆圭各炎诗雾资源鑫冬瓣题；元诗葵肉孩主要解浚诗算经务 在广域网中各种趟级计算机上协作执行的问题，并提供一个完整的程序开发和运 行环境。当用户提出计算请求时，计算任务的执行代码在系统内部的计算资源上 遴移调度，最嚣褥到执季亍结果并邋过元计算 l 蓼端反馈绘簸终臻户。资灏管瑾是整 个元计算系统的核心，它管理麓系统中所有的资源，维护它们的能力描述信息、 状态更新、分配与保护。 最初该项目希望通过高速潮络将分布农美国的众多越级计算中心逡接起来， 获蕊实魂对这些中，蚤豹超缓嚣算撬的蓑享诱游弱一致任务撵交。夔磊纛1 9 9 5 年， 荑圈开展了另外两个元计算项目f a f n e r 和i - w a y ，这两个项目对网格计算的 发展产生了重要的影响。 f a f n e r ( f a c t o r i n gv i an e t w o r k - e n a b l e dr e c u r s i o n ) 磺嚣基在勰决诗算极安 全应用中的大自然数最大质数分解闯题，这怒一个典鍪的计算难题。为诧它采取 了将问题分解为许多小的计算任务的做法，遮些小的任纷被分割足够小，保证其 即馒使用了处理黢力一般的计算机也能够缀快完成。基予这个项目，人们提出了 诲多关于复杂蠲趱静任务分解秘分发繁法，嚣来宅们被广发纛稿蘩了 s e t i h o m e 项目和其他一终用于搜索当前处于空闲状泰的计算机的软件中。 为此人们还使用了非常形象的词来形容这种类型的软件，即计算机时钟周期搜食 ( c y c l es c a v e n g i n g ) 程序。i - w a y ( i n f o r m a t i o nw i d ea r e ay e a r ) 颈瓣鹭在透过 现有的网络将所肖的超级计算机连接起来，而不需要为宅们单独建立专有的网 络。i - w a y 对于网格计算的最火贡献是它提出并实现了计算资源