（计算机科学与技术专业论文）基于java的元计算技术研究.pdf

摘要 随着信息化的发展，计算机的应j 1 j 领域1 i 断扩人。计算机艘件的1 i 断发腱满 恩不了用户列两性能、低成本计算资源的需求。研究越于网络的分如j - j 【f 弹 投术亡其是元计算技术，l 有重要的现实意义。 j d c t 系统的研究目标，是构造一个i n t e r n e tj 不境下的无计算系统：它以浏 览器南式提供用户界面，允许计算资源空闲的计算机为别人提供服务或足通过 拍定的董务器授得计算资源。我们期挈通过这样个系统提供列分扎j l 列”计算 的支持。 i d c q 彖笼来川 a x - ai “。作9 , a 利序的j f 发话，j ，利j j l a x 、a 的吟、r f ? 4 i 。 ，! _ 、 j 足 j i 量汀支j j 、) 文0 阿九刈1 a v ai g 。1 jj 且t j5 0 盯，1 ，j 沦它f 1 为j j - j 柑j j ij 1 坎i f l 的优- - 一和坎r ，然n ，史净刈j 说仃n 0 0j j ja 、a i ；gi 、，的支j j 分扎l 1 1 ” 的系统瞍披术逛”分机，试比较儿个) ：键问题的小州史现，j 榘呐j 片。 i d c 1 系j ，：齄拟 【层、j ! j 信层和 i 小类j 。；川成也j 服务揣、i 机川矗 】，机种个类l 掣的机器。文章红刈j d c t 的总体结构进行分杌j l i ，j 奠照叭务； 7 j ，1 j 、jj 1 1 lt 奢j 1 ! 尚，以及i d c tf ：j 类2 秘j 寄1 ：| 1 = j 爿j 分，z 系绍“门。爻j 见 女4 ：逛 j 。，川i 。 ：篮也j i f t 务的分们羽1 i 周度、通信坎术羽i j 联 j t 纪 = f j 等。艾7 il 叠心4 z 淤 翟传逊年数拟il 享这两种小m 的通信力。，并着霞分析了消a 、 0 j 茧j _ i ；义n 川 _ i l 列缘丈现它们是构造j d c t 基本类的堪础。 ， n ，卫? lp 0 最j 再，我们刈j d c t 系统班阶段已经无成的i 1 7 做】、分i _ j 和，曹 曩 刖m i 苦篮，t 成的】作作，u3 训：) ， 关键字 分机式汁饽井钙、元训算1 a v a 语言消息传递 i 塑堕型主丝尘! ! 。羔塑壅：! ：堕：! i ! ! 尘堡兰 a b s t l a c t 0 i - m a t i o ns o c i e l d e x 。e o p ss o r a p i d l 3 t h ac o m p u l e lsw e leu s e di nf d o i ea n d1 1 0 1e d o m a i nt h ec c , n l i n u a l d e x ，e l o p m e n lo fc o m p u i e i h a ld w a lec a n n o tm e e tt h en e e d ( ) 1 h i g hp e l i 0 1n l a n c e c o s l e f f ic i e n t c o m p u t i n g 1 e s o u l c ehi s v v 0 1 t h ，1 0s t u d t h e t e c h n o l 0 9 3 o i n e t w o r k b a s e dd i s t r i b u l e d p a l a l l e lc o m p u t i n g e s p e c i a l l3 1 1 1 e i a c o l l l p u t l n 呈 1 _ h e g o a to i i d c ts js l e n 3i s am e t a c o m p u t l n gs 、，s t e mo r li n t e n e t hu s e sbj o x ks e l a s j l sl l s e li n l e l f a c e a l l 3c o m p u t e rc a r ls h a r ei t s f l e e c o m p u t i n gr e s o t l l c e s 、i t h o l h e ls l h lo u g hi l 、h i l e g e tc o m p u t i n gr e s o u c e sf r o mas p e c i a ls e l - x ，e r w i t h i d c i 、e 、a n l i os u p p o i ld is ui b u l e dp a l 。a l l e l c o m p u l i n g 儿) ( 1i l s c 1 a xaa st h ep l o g l a m m i n gl a n g u a g e r o l i t sp l a l f m 1 1 1 i n d e p e n d e n c ec h a l a c i c l lf i , s i 、ea n a hs el h e a d 、a n t a g e a n dd is a d xa n l a g eo f 1 a xat ( ) b c l p a la l l e l n 1o g a m m i n gl a n g u a g e + f h e r l 、es l u d s o l y ied is u i b u t c dc o m p u t i n g s t e m sb a s e dl 1 axaa n d 】e l a t em c h n o l 0 9 3 t l xt o c o m p m ct h ev a l i o u s i m p l e m e n t i n gs c b c i i co l 、k c x t o p i c s0 1 、d is ui b u t e dp m a l l e lc o m p u t i n g 、1 i ) c t s js l e l l l 、a s m a k e u p o fv i r t u a lm a c h i n ef i e , c o m m u r l i c a l i 0 1 1t i e la n d i u n d a m e r l t a lt i c i f h e l ea let 1 1 1 e ek i n d so fm a c h i n e si n s j ，s t e m s m 、e 1 uo l 小e l a n d c i l e n t t i ma l li i l l l o d u c t i o no f , 1 d c t sa r c h i t e c t u r e w ea n a l 3 s e dt i l ed i f f e l e l t p a l l so f l h es js t e mo i lb jo l l et i l eo r d e li sl i k et h i s ：s e r v e re n d w o r k e , a n dc l i e me n d 1 - l a xe l p a l 。a l l e l s t l u c l u le e l ca n d 、ea l s oc o m p a r e dt j 0k i n d so fc o n l m u n i c a l i o r lm a l h o d m e s s a g e - 1 a s s i n ga n dd a t a s l m r i n gt b eo b j e c t - o r i e n t e di m p l e m e n t a l j o 】1o fm e s s a g e p a s s i n g p ma l l e ls e m a n t i cw a s a n a l y s e d i n s p e c i a l t h e 3 a r e t i l eb a s e so f 、i d c f t l r l d a n 1 e n l a 】c 1 a s s e s ，、1t h ee n do ft h ist h e s is w ea n a l y s ea n ds u i t 1 l l l a l i z eu h a tw eh a v ed o n e a n dp l e d i c i 、1 1 a tue 、 a n i1 0d 01 1 e 1 k e y w o r d s ) is t l i b m e dc o m p u t i n g 、p a r a l l e l m c t a c o m p u l j l g j a v al a n g u a g e 、m e s s a g e 一1 a s s i n g 第 i 贞 第l 章绪论 1 1 研究背景 自从计算机出现以来，高速计算直是计算机的重要设计目标和应川方向。 利用计算机的速度，能够完成人类无法在较短时问内完成的数扼处理【作。高速 h 强机破广泛l 电用j 。i 蒙、地质勘测、核 ：业和军事等关系i 胡计民_ i 的藕要部门。 亿张k段喇i h ，商速i 1 算机都是 有重要部门和尖端技术领域，4 能使f n 的资 溉：。 随着现代计算机技术的发展，同时存在着两种发展的趋辨： ，j1 ，i 阿7 ：机 的一r l ：能, i c 断提高导几何级数增长：另。方丽，列计算机性能f 1 0 j “求也亿小断挝 f ：女，月逍述- 3 现向，h 和向卜蔓延的趋势，高附：能计3 i 的需求h 渐增j i 。m 然1 1 j l ，* n 0 n 能i f r 格比存成倍提高，但常常还是不能满足用户的需要。如们能够获锕更蚀 i j 、止妊人的_ 弹资沁，始终足个重要的课题。 随荷计算机的迅速普及，出现了一种相互矛盾的情况：计锥机数ll 小惭增枷， 性能迅速捉高i 多计算机经常处于闲聋状态，这划它们的i 1 算资洲! 足 种披赀： 】一?扎r o l 0 辩要i 龉悱能计强的问题，义很难获得商7 h 能、低成本的训舛资源， 妒”这个矛晒的个办池，就足在小断提l ：l 、儿忆能的传统芨腱j 盟路么外 1 】j i 允允分利川观仃i i 算资源，提供使。j l 的离性能计算的途径。理想解决山策址剃 川嗍络连接的多台计算机，其同完成计算任务。也斗q 络操作系统的丛础之i ，1 7 一 j 簟用软件层提供并行计算的支持。这样既不需要增加新的硬件，又u j 以充分利川 现有的资源，获得高效的计算能力。 i n t e m e l 的出现和发展，一直和科学计算有密切联系。它已经成为世界范i i ；| i 勾最：规模的网络，包含了世界一l z 的主要巨型、大型计算机和大量的高性能工作 站。如果能在i n t e r n e t 上匿菊织大规模并行计算，那么，潜在的计算资源j 现 有的任何系统所拥有的相比较，几乎是无限的。 但足，相：l n l e r n e t ：绷织大规模并行i r 算又存在棚当的难度。 n t e n e t 小身j l 足个物理连接的m 络，用来在各个机器之州交换信息。1 i 嗣的机* ： ，j 0 运算能 j 、负载情况、1 。作、f 台等都火一i 棚旧，4 i 能保证所需坚解决的问题能够1 i 。鬈地 ，：j 攻。就i n l e m e l 技术本身而，j ， ：要的问题还杓：j _ 没仃 利，成熟n 7 j ) 山川j 肄构 僚1 页 j 、境的系统永支掎程序的运行。 儿1 。 | i 代以柬w e b 1 】j a x - a 技术的发j 戎为琏1 。 n l e r n e l 的 ：ij i i 钟n 0 系统均 造提f j i 丁新j o j 茁路。利j 羽它仃j 来自l 易! 毓f - i n t e lr j e l | 0 j 1 j ：i f ；，i l j 以f 止h a l e l l l c l ：的人部分汁算机都成为潜在的计算资源提供哲。 可以想象、如果能够尽可能地利用i n t e r n e l 上的闲臀计算资源的话，就l j j 以 纽织起规模庞大的系统。虽然它刁i 可能适合所有类型的计算问题，但为用户获得 商性能、低成本的“元计算机”提供了可观的选择。 1 2 广域网上的元计算 挡上作机群上实现元计算，对普通用户而岛，是种非常有吸引力的技术。 芭有i j 能提供强大的廉价计算能力。m 要寻拽 二富的算资源，j 、。域嘲足、1 1 然的 i 、j 选删究i 作机群的，j 亡其是支持r 域删的儿训鳙灾现投术，n 行币蟆的班艾 ，0 义_ ! 能够利用仟意位筠! ( r a n d o mg e o g r a p h i c a ll o c a t i o n ) i l 钾机僦会乱 厄i j k 漪的潜在i | _ 算资源。这对于系统的设训和构造来随，无疑足俺仃厉惑j 的 | | 忆。 跳何的兄，j 计算锄究何j 慢多* k 是基r 而域悯们：这其q t 的i - 监味址： 域 州小封铂7 l 牖域网4 ：相同的粕点，使得订多在碣域网卜比较成熟的投术九浊一 刘| 城叫卜：- 。域网的特点也为实现并行计算提出了新的问题。其体晚_ ：们： j 或h f j 咒2 ：克帔的传输延迟：广域网的通信带宽和服务质鞋无法衔列倮“：j 城 h n 汁1 i 音的不鼽容一目：问题难以解决；疆j ：域j 棚的分nj 系统的川充4 i 成 熟等， 朽：这中问，除非基于量子效应的传输研究取得成功，否则第条问题足尤认 兜服的。第一条是i m e r n e t 的发展中的一个很重要的问题，已经存i p 6 协议】 ， 提f j5 了m 4 泱，0 案、再| 7 i j 曲条，；十见f i l l 勺系彭j 通j 蔓刘系统或问题i n 觇 葵m | 以i ：1 2 j _ ：i 1 矽：，1h 得了定札! 皮的成功。 主要看来，有以下三个方面的问题需要加以解决： 平台无关。如何能使系统适用于异构的软件和硬件平台。 组织。刖于任意位置的；t 。算机，如何将程序j 动分粕到它们卜i h i 执仃， 炙4 ! j 果数掘自剥j 【岫收。 安全。应该可以有手段保证 z 序的i r 确执行，并可以防j r 恶意代们的诎 坏。 销2 弧 国防科寻：技术人学 i j i 究g 二院学化论文 1 。3j d c t 系统简介 j d c t 系统第一阶段的研究工作是1 9 9 7 年到】9 9 8 年进行的，j ：要足研究将 j a v a 语言用于并行计算的可能性。当时采用的实现方式类似于p v m 系统，采用 j a v a 来实现p v m 的功能，使用浏览器来进行虚拟机的配置和程序的启动。 当时的系统是在j a v a 版本1 f 完成的，它成功的实现了跨平台的环境和基 j ij a x ，a 的消息传递库的实现。但是，它也暴露出了一些问题。主要包括： 用j a a 实现的消息传递库的效率太低，不利于系统用于并行计算领域： 低版本的j 甜a 的安全限制和不足使得系统无法很好的实现； 没有为系统提供任务分布、输入输出等功能，使得系统不适台于在广域 网k 使用。 本学位论文是j d c t 系统第二阶段的工作，我们针对上述问题加以改进，抛 出了新的设计方案，包括： 采用p v m 本地库的j a v a 绑定来实现消息传递，商接使用本地代码来捉 f ：葛设串： 利用1 a x a2 的新功能来优化系统的吱现： 为系统提 j l 任务分却、输出等功能。 进“1 3 ，我们针对广域阍环境特点，增加了对动态构造系缆的支持，将系统( 设汁i 标定位到实现元计算。目自h 完成的工作包括： j d c t 运行期：境：一个支持基于j a v a 语言进行并行训算的环境，j 阱尢 成问题的提交，任务的自动分布和结果的输出。其工作通过浏览器界血 完成，内部运行对用户透明。 j d c t 基本类：一组支持程序在j d c t 运行环境下工作的类。j jj 、根捌 该类的要求来编写在j d c t 系统下运行的程序。 这就构成了一个最基本的元计算环境，可以编写和运行程序，并t 】丁以先成输 助能和仂一助查锚。这就为在此基础上进一步对元计算的其它问题进行研究”f 了良好的摭础。 在本文的第二章，我们榴列本课题的相关背景和世界范围内的其它类似研究 j ：【i ；1 加以介绍；第三章分析基于j a v a 的分郁式并行计尊的关键技术。第四章足 系统总体结构分析，然后我们在血、六两章分别对服务器端技术和 作机客户 第3 页 旧i 坊科与q 立术人弓i 究生院；j f 一论义 j 技术j u 以讨论。第七章分析消息传递并行语义及具面向划象实现：第八章刊论 簇结构剥本课题的影响，并就两层并行结构模型加以蜕明。最后在第九章我州 对本系统的优缺点加以分析，并对系统的继续发展给h j 预测。 第4 贝 二 里堕型堂垫查叁堂业壅兰堕堂笪笙奎 第2 章相关的背景和研究 本章将就与本课题相关的背景和课题加以介绍。第1 节分析并行计算机的 般特点，引入工作机群的概念，第2 节讨论i n t e r n e t 和w e b 技术的发展对并行计 算研究的影响，第3 节对元计算的基本特征加以简单分析，第4 节说明j a 、a 诮 言的引入对这一个方面的研究的影响，最后在第5 节介绍一下世界范围内的相关 课题。 2 1 并行计算机与工作机群 在计算机的发展史上，处理器的处理能力和用1 t 的需求始终是一刈矛历。j s 传处理器的计算能力在不断提高，应用程序所需要的计算资源超m 了台 j j ：i l 玎机的能力的情况处是会经常现。解决问题的办法之址提岛处删器剥l j0 它? j k 什的操作速度以便向计算敏感，弘心j j 提供足够n 0 蜉能j 。j s 竹这从柴种wj 奠 i 说址”j 能的，舭i ! = = 远看来，会受剑光速、热力+ j ：j t 律j = 1 1 处州器个，。1 岂1 0 m 捌、 j 行而合算的替代方案是将多个处理器互连在。起，合并它们的计算能力，构成 并行汁算机。 并行计算作为现代汁算机技术的一个分支，其一j ：要目的是利j j j 多个川刈独、， 的计算资源并行地工作，相互配合、共同完成一项任务，以达到提，：i 效率、j j l l 队 速度、缩短时问、充分利用计算资源的目的。并行计算有多种i i l 刊的实现，比如 同构型多处理机和异构型多处理机等。甚至在由网络连接的结构松敞的多训算机 系统中，也可以实现某些并行计算。它们都可以达到我们上面所蜕的目的，其一i 同点在于“相对独立的计算资源”的粒度和分类不i 司。粒度可以小到一组功能电 路，也可以大到一个完整的计算机系统。分类上，既可以是能独口先成所仃功能 的个体，也可以是偏向于某种具体功能的专用处理单元。 从这个角度上讲，我们可以在一般的意义上讨论并行计算机。无论一个并行 计算机的内部实现如何，在用户看来，都大体相似，具有如下几个助能或特征： 内部结构对用户透明半透明，具有基本具有单系统的用户视图。至少 应能够：接受用户提交的工作( 包括程序和数据) ，并加以完成；在执 行过程中向用户产生中i 、白j 输出，最后向用户提交最后结果；如果系统发 生故障，提供报告故障和指导用户改正的手段。 第5 页 、， 鬯堕型堂垫查叁堂婴壅尘堕堂丝堡苎 并行计算机的内部实现是并行的，用户提交的并行程序应该比相应的jj ： 并行版本有加速比。 其中自一条是一般的面向用户的计算机都晓具街的特征，第“条是体现爿：仃 计算机的并行特性的根本所在。 自从并行计算技术出现以来，并行计算机所采月】的结构经历过儿次变化。 最早的多处胖机系统，到后来的各种多计算机系统。专自u 较为常见的并行计算机 的实现方式有m a s s i v e l yp a r a l l e lp r o c e s s o r sf m p p l 、s 、m m e t r i c m u h i p r o c e s s o r s ( s m p ) 、c a c h e c o h e r e n tn o n u n i f o r mm e m o r ya c c e s s ( c c n u m a ) 、d i s t r i b u t e d s y s t e m s 、c l u s t e r s 等。在此，我们引入工作机群( w o r k e rg r o u p ) 的概念。工作 机群是指各种由网络互连在一起的多台高性能计算机所构成的并行虚拟机。这罩 所晓的网络，可以是高速局域网络，也可以是广域网。因此一f | 作机群既包括 c l u s t m ，也可以是其它基于i n t e r n e t 的系统。 山多台每性能工作站束分担数据处理任务，这无疑是一种高敛廉价的实现力 。现代微电子技术的发展，使得j i 作站的性能以指数形式迅速增长。虽然它神 n f 澎l j 尘不能jr 岛端的0 刖li ! 弘机相i 比较，f | j 是f f l - 能价格比卜存，i ：箱下i 人的优 ，?利川l ：b 述适叫绵将它们连接起水，j 4 ，j 成m 个数| i l ：处j ：i 仃务“1 然址 l | m 幻f 阳砹i f 力案。】f 1 ：柑l 群n 0 造价j l 丑0 占掏j 比f 叹，j ：j jj - 自i 人n 0 能i 特j ，1 1 乏 划越_ ：越多的重视。 从硬件上看工作机群采用的分布式的结构，每台计算机都是独”、口治的 个仆。这样的结构可以可以采用两种不同的操作系统来组织：网络操作系统和分 扎，操f 1 ：系统。网络操作系统对机器没有特别的要求，能够保证系统- 粤台机t 的r j 每度自治。但是它为用户提供的支持非常低级和初步，无法满足构成并行虚拟 机的需要。分伽式操作系统可以为用户提供统一的视图，但所有的机器都在操作 系统的控制之下，不再是独立的个体。而且，对分稚式系统的研究还远未完善， 还无法直接提供系统资源统一调度的完善解决方案。 所以当前基f 工作机群的理想解决方案是在网络操作系统的j 玉础之卜，右 j 、i 用软件层提供一个用户界面，即一个并行虚拟机。对工作机群中的每一台机器 的硬件和软件平台，最好不要有特别的要求。而构造一个跨越硬件和软件平台的 系统，本身就是一项挑战。 2 2i n t e r n e t 和w e b 互联网( i n t e r n e t ) 是世界上规模最大、联网机器数日最多的网络，仅j 第6 页 国防利学技术人学研究生院学化论文 网络就包括几个主要的军事、学术和教育网络，联入的巨型机、大型机也占掘了 很大的比例。当今，互联网( i n t e r n e t ) 正以令人兴奋的速度发展，越来越多的 机器加入到i n t e r n e t 中。在很大观念上，网络就等同于巨联网。我们列并行计翁 技术研究，如果不能够用于旺联网络，就还没有发挥嗍络的真1 1 j 潜力：如果研究 能够基了互联网络，那也就意味着具有强大的生命力。 九十年代以来，w e b 技术的发展为基于i n t e r n e l 的并行计算的系统构造提供 了新的思路。w e b 技术的出现促进了i n t e r n e l 的发展而i n t e r n m 规模的迅速扩 张也使得w e b 成为当今最流行和发展最迅速的网络技术。w e bi f 成为i n t e n e t 的 畅、准技术。在 n t e r n e t 上的大部分计算机都安装了浏览器，通过浏览器爿乏访问 i n t e r n e t 。因此，利用w e b 技术来组织基于i n t e r n e t 的并行计算，可以使i n t e r n e t 上的大部分计算机都成为潜在的计算参与者。 实际上，已经有一些试验显示了这一领域研究的巨大潜力。1 9 9 7 年】0 月2 0 同，在i n t e r n e t 上进行了当时最大的分布式汁算工作：b o v i n e 仂、作行动，它n q i 机足破斛段用r s a 实验摩的5 6 位r c 5 加密算法加密n 0 消息。垓 功动川了 n t e r n e ti ：的数月台i t 。算机，花赞了约2 5 0 灭。系统的平均汁钾：能力川。1r1 4 6 8 5 青l m e lp e n t i t i mp r o2 0 0 的处刖器，或是5 8 1 6 3 台i n t e lp e n t i u m13 3 处t l 器的总 干。这项 2 f 1 ：的发起者和领导者是比利时的p e t e rs t u e r 、 还有与其他的有利证掘。加州大学们克利分校的毕业班学q 二l a ng o l d b m g 仡 _ ；! 仪3 5 小时就成功破解了4 0 位的r c 5 密码。他利用的是蚓络土：联的2 5 0 台i f 1 站。19 9 7q ：2 月1 0 同，一个工作组使用分柿在欧洲各地的3 5 0 0 台机器，花 费13 火诎解了4 8 位的r s ar c 5 密码。 这些实验证明通过i n t e r n e t 上的计算资源来完成需要耗费大量计算时叫求j e 成的工作是可行的，从而显示了基于i n t e r n e t 的并行计算的巨大潜力。但i j 吲， 我们也注意到，这些工作的完成，除了需要志愿者提供计算资源以外，还需要他 们参与工作的完成，比方说程序的获取和运行、结果的回送。而且，所解决的问 题t 要集中j 二可以分解丌来处理的问题。这样的计算模式离我们前面所讲的并行 虚拟机还差得很远。有些系统甚至还采用电子邮件的方式束传递问题，显然这样 的方式不可能适用于多数类型的问题。研究支持i n t e r n e t 上的分御武并行计算的 技术势在必行。 2 3 元计算 在i n t e r n e t 上，最适合的并行计算模式是元计算。元计算( m e t e c o m p u t i n g ) 第7 页 国防利学技术人学研究生院学何论义 这个词，就本意而言，是一个比较含糊的词。它从提出到现在人约已有f q ：的 h , j 删。随着计算机技术的发展，它又丌始包括了新的内容，并阿次得到重视。 _ l | | j 么，究竟什么是元计算呢? 现在并没柯个明确的界定，叫足仃许多种， 甚至有点矛盾的说法。理解的关键在“元”，即英语中的前缀“m e t a ”。它来源于 古希腊语，其原意是“分享”或“共同行动”。由此呵以知l 道，元计算廊理解为 多台计算机分享资源，共同解决某个问题。 m a r kb a k e r 和g e o f i r e yf o x 认为，将元计算机同其它的并行计算机区别丌束 的关键在于单个计算结点的行为不同。j i 计算机是一个动念的环境，包含一组节 点；每个节点都是能独立工作的计算机，可以按需要加入或退出。而c a t l e t t 和 s m a r r 则认为元计算是“用户通过网络j ! = f ：境对可用的强大计算资源的透明使用”， 在硬件飞速发展的今天，有理由认为一般的高档台式机也可以被看作强火的计 算资源。 9 旧自l 述分析我们、为，元计算机的堆4 i 特 ：i j ：是： 悯络1 ：独- 、：软艘f l 资源的功念必成； 利j j 巾f n j l 牛( m i d d l e w a r e ) 为川户提供j 川资泓i 的透l 到视h ： 利h j 这些资源实现分伽式并行计算。 i u 以想象，如果采j 书元计算的形式柬实现i n t e r n e t 上的并 ? 计算，志愿肴j i j 船要将汁算资源加入到系统t p ，小需婴关一心更多的问题。舀! 需要的j 刊候，也u j 以 随时撇旧计算资源。而用j 、使用训算资源是透明的，不需要关心系统的_ = i 体构造， 这无疑是合乎使用习惯的实现方法。如果能按照这利方式来实现i n t e r n e t 上的分 钔式计算，就可以为用户提供方便、廉价而高效的计算环境。 2 4j a v a 与并行计算 工作机群系统的软件传统上多由c 语言或f o r t r a n 等实现。j a v a 面世后，为 基于工作机群的并行计算带来了新的变化和发展。许多研究机构试图使用这一新 语言构造系统，并取得了一些成果。我们也构造了一个称为j d c t ( j a v a d i s t r i b u t e d c o m p u t i n gt 0 0 1 ) 的系统。 j a v a 语言无疑是近年来最热门的语言。不过如果讨论j a v a 是否适用于并行 计算，可能会有人持否定态度。原因在于并行计算中最关心的问题莫过于高性能， 而这币是j a v a 的弱项。不过，随着新技术( 比如j i t ) 的引入和j a v a 性能的提 两，情况发， i 了改变。 第8 页 国防科学技术人学研究生院学位论文 将j a v a 作为并行计算的语言无疑有其优势。首先，j a v a 具有平台无关的特 性，这对在异构环境下开发并行计算程序时非常重要的。其次，在构造无错软件 方面，j a v a 与c 或c “相比具有优势。第三，j a v a 对多线程程序的支持是内詈的。 第四，j a v a 的应用程序接口( a p i ) 包含对网络通信的多层次支持，既包括低层 的套接字，又包括高层的分布式对象支持。 但是，将j a v a 引入到分钿式并行计算中，又必须考虑到：一一方面，由rj a x ，a 1 0 传统语音的差异，使得传统的系统结构无法直接移植到j a v aj 2 ，m j 必须加以 适当的改造：另一。方面，由于j a v a 的设计目标与其它语言不同，具备些新的 特征，为一些问题的解决提供了新的思路。 从前一方面柬说，j a v a 是一种纯粹的面向对象语言，不再混有非面向对象的 因素。它还取消了指针这种c 语言中常用的概念。可以说，它和c 在本质上是 不同台。它不再提供c ”那样对c 语言的兼容特性。现有的系统想要移植剑j a x ，a 二来，不再仅仅是翻译和修改的问题，在一定程度上必须重构，要完个地列缘化。 此，将已有的库和软件全部转到j a v a 上来，是不划算，甚至不可能的。软件 重用的困难也影响到系统构造的各个方面。 从后一方面来说，j a v a 是面向悯络的语高，有它小町比拟的优坍。移机r l ：、 h 络和安令问题小f j ：是应用问题，而是语i ；本身构造| j 寸天心的洲索。刈h 络刚地， j a v aa ：讹义i 樾供更为简洁清晰的描述。蹦j a v a 水构造系统，7 l ：。峡观卜也史拍 ? ? h 络的特- - l 2 5 相关研究 下面我们来看一下世界范围内，采用j a v a 语言作为系统的问题描述语舂 基于i n t e r n e t 和w e b 技术的相关研究。 早在远程过程调用( r m i ) 和本地代码绑定出现之荫，就有基于对象问通信 的并行计算研究，比如p a r a w e b 系统，它的对象间通信是通过s o c k e t 来实现的。 从那时起有许多研究与开发项目是基于j a v a 虚拟机平台的分布与并行计算系 统，比如：a t l a s ，c h a r l o t t e ，j p v m ，j a v a p a r t y ，j a v a l i n ，w e b f l o w ，k n i t t i n gf a c t o r 3 ， 等。 j a v a p a r t y 向j a v a 语言中导入了r e m o t e 这个关键字，用来表示对象可以在分 卸式的环境下使用。它将对象进行预处理，然后调用r m i 接口和一个j a v a 进程 ( l o c a l j p l ，来实现实际的对象。它的主要目标是简化r m i 的编程。类似的实现 还有修改r m i 协议、优化r m 性能( m a n t a ) 等方式。 第9 页 国防科学技术人学4 j 】= 究生院学似论文 c h a r l o t t e 和j a v a l i n 利用了w e b 浏览器的功能，它们的实现方法使用个服 务器作为运算资源提供方和使用方的中介，并作为通信的t j j 转站。不同之处在于， c h a r l o t t e 为每个并行程序分别提供一个控制器，而j a v a l i n 的一一个服务器可以l 司 时为多个程序提供服务。这两个系统中，作为计算单元的a p p l e t 蚓的通信是通 过服务器问接进行的，速度较慢。k n i t t i n gf a c t o r ) ，也使用浏览器和a p p l e t ，f 咀它 利用r m i 技术绕过了a p p l e t 安全模型，来提供a p p l e l 之间的直接通信。 还有些系统修改了j a v a ，比如p a r a w e b 实现了一个分柿式的ja 、，a 虚拟机。 象这样对系统的修改常常只是对j a v a 的一个部分加以修改，以达到提高分如是 环境下j a v a 的执行效率的目的，或是提供良好的迁移、容错或分粕支持。这种 修改，能够起到较好的效果，但它们都是基于某个j a v a 版本完成的不是j a 、a 语言的标准手广充。一旦j a v a 语言产q - 新的版本，就必须重新进行修改。 ，5 外，还有一些对分伽元素问的通行机制的研究，比如用j a v a 来实现p v m 编 l ! 接l1 的j p v m 。在j n i ( j a v an a t i v ei n t e r f a c a ，即j a v a 调用其它语j 编1 j 的 4 、地代码的支持) 出现后，还出现了j a v a 剥通信库的本地代码绑定的_ 钏 究： 这片面的成果包括j p v m 、j a v a m p l 和h p j a v a 等等。其中j a v a m p l 秆1h p 1 a 、a 址 两个相关的研究，有g f o x 领导，是很有影响的基于消息传递的系统： 此外，我们特别讨论下w e b f l o w 。w e b f l o v , 是w e b 模型的汁卿腱，；】j 以作为j 域分自 计算和元训算的框架。它使用g l o b u s 丁具包来实现【：州l 一能的后 j ，包括： 冗计算目录服务( m d s ) ，片j 柬映射和标识资源。 g l o b u s 资源分配管理器( g r a m ) ，用来分配资源。 级仃储，宁= = 局访问( g a s s ) ，用于高性能数抓传输。 w e b f l o w ，口，以被看作是g l o b u s 的高端、可视化用户接u 和任务调度程序。 g l o b u s 本身是一个元计算系统，提供元计算的中阳j 层支持。 第1 0 页 国防科学技术人学研究生院学位论文 第3 章基于j a v a 的分布式并行计算的关键技术分析 由上一章的讨论，我们知道当前分靠式并行计算的硬件平台主要是工作机 群：参与处理的每台计算机，称为工作机( w o r k e r ) 。在工作机群系统中，工作 机本身是一个独立的计算机，通常是高性能工作站：但在并行系统的控制下，可 以将整个工作机集合中各台工作机的运算能力合并起来，形成供用户使用的“巨 型”并行计算机。 分布式并行计算领域与j a v a 有关的研究工作可以分成两个方向：一类是基 j j a v a 的分伽式并行计算环境，利用j a v a 和w e b 的特点来为网络上的并行计算 的组织提供良好的用户界面和丰富、通用的丌发工具。另一类是j a v a 的并行程 序设计，希望利用j a v a 的跨平台的特征，构造可以在网络中的异构机器卜自i j j 迁移和协同工作的程序。 这两个方向既有所区别，又存在密切的联系。并行程序设计中的直接通信叫1 ， 要求有上层的登录服务器提供寻址支持；计算环境采用动态的任务分和，也删所 “7 i 然地对程序设计提出相应的要求。这两个方向的研究成果还i j 以结合起束，构 成完整的分布式并行解决方案。实际上，许多现有系统在研究的时候就足选取 叮对应的上层或下层系统作为补充。 山于多台机器要协同工作，分和式并行计算中会涉及机器的细彭l 、问题的分 响，、口】靠忖等问题，分桕式并行程序发计中有进程的调用及信息传输、传输延迟、 容错等问题。此外由于有些技术，比如p v m 和m p i 己相当成熟，在它们的基础 上丌发了大批应用程序，为保护已有的投资，还存在软件重用的问题。鉴于上段 所说的原因，我们将两个方向的问题综合起来进行讨论。 本章将就构造基于j a v a 的并行计算环境中涉及的几个主要问题及相应的懈 决方案进行系统的讨论。第l 节分析现有系统的组织和控制形式；第2 节讨论问 题分布出去的方式；关于系统内各计算机之间的通信问题在第3 节讨论；第4 节 的主题是系统的容错机制和安全问题：最后是对广域网环境下必须解决的主要问 题加以讨论。 3 1 工作机群的组织 在1 作机群系统中组织运算，首先要解决的问题就是如何将机器有效地组纫 第1 1 页 国防科学技术人学研究生院学何沦文 起来。经过分析，我们认为，依掘工作机控制权的不同，在工作机群的组织上有 两种相对的模型：雇佣者模型和志愿者模型。雇佣者模型与传统模型类似，参与 运算的机器l 雇1 h j 者) 出让控制权，在统一的调度f 共同完成任务。志愿者模型 则相反，是由愿意参加计算的机器自愿地加入到工作机群中去，其负载情况，工 作能力，事先都无法预知。 雇佣者模型 在雇 坩者模型中，无论是集中管理也好，分散管理也好，可用机器的各种信 息事先都可以知道，基本上可以继承传统模型的系统结构和组织方式。继承有两 种方式，一种是将系统完全改用j a v a 来实现。纯粹的j a v a 实现的好处是能充分 利用j a v a 的可移植性。传统模型为便于实现，通常是建立在同构型计算机和高 速局域网上。对于j a v a 来说，不同的j a v a 虚拟机之间不存在异构的问题，j l 存 存性能的差异。如果没有对j a v a 栖：准作修改或扩充的话，有：。台机器j 。编潆产 的j a v a 字节码可以很容易地在另一台机器上执行，莉h i 必重新编障，这就给 问题的分郁带来了极大的方便。刚叫，山十j a v a 虚拟机这利，“川构”特一h ，也 为问题( 程序) 舀! j 工作机之州进行自的迁移创造了条件。n ：灾现迁移叫，i j i j 要考虑性能、通信延迟这些凼素，而4 i 必担心源j ：作桃与i 的工作机之州的，j 异。 另一种方式是只用j a v a 实现系统的控制部分，而具体工作的完成是利刷j a v a 水 调用本地库，直接利用现有的库函数和资源，比如i c e t 系统。由于j a v a 没有考 瞎4 i 同计算机系统之f a j 的字长、浮点能力等这样一些具体差异，因此在效率l 二必 然受到影响。实际上，用j a v a 实现的系统与c 语言、f o r t r a n 实现的系统相比， 速度上本来就要逊色很多。而调用本地库，可以取得较好的性能，以及获得代码 重用方面的好处。不过这样就要在每台工作机上都要安装可以相互一致的库。使 得程序在任何一台机器上都能正确执行。从某种角度来讲，这相当于i b j 接地要求 两个系统的软硬件同构。 当然，对于雇1 蜡者模型来讲，如果是已知机群上的操作，这个问题还巧i 算太 严重，因为系统管理员可以设法构造尽可能一致的系统，或是有选择地使用其中 的某些机器。但从实现的角度来讲，如果要强行实现所有的机器一致，付出的代 价甚至可能超出获得的好处。一种可行的饵决方案是在各种本地库覆盖一层调用 接口，负责提供函数名、参数的转换和字长的转换，为j a v a 程序提供一致的调 用界面。这依然要求在所有的机器上都安装相应的库，但是，只要是较为通用的 库，并且使用同样的接口封装就可以了，而这点是可以达到的。也可以针对不 同的调用情况，分别进行处理：当在本地机上存在可供调用的库函数时，就使用 第1 2 页 里堕型鲎垫查查兰婴壅生堕堂生堡奎 本地库，否则就通过j a v a 的远程调用来使用远程的库，或是使用其j a v a 版本。 志愿者模型 志愿者模型中事先不存在组固定可用的机器，而是在有些机器的计算资 源闲臀时，自愿将计算资源提供出来，完成服务。显然，为了对这些临时组合的 汁算资源加以管理，必须提供一个相对集中的管理机制。一般来说，系统中有一 个登记服务器，愿意提供服务的机器向其登记，以备需要使用的机器查询。使用 单个服务器有两个缺点，一个是可能发生单点失效，二是问题的规模会受限于这 一台登录服务器。比如，k n i t t i n gf a c t o r y 系统的解决方案是采用一组目录服务器 柬支持工作机的登记和查找。 很显然，志愿者模型允许系统的动态构成，相比而言，更加适合于实现元计 算。志愿者模型的一个主要优点是潜在的志愿者的数目非常庞大，有可能通过2 l i 织大规模的并行计算以获得巨大的处理能力。这在雇佣者模型中是很难做到的。 而且，工作机集合中的机器还可以动态的增减和分配，列于计算资源消耗很大的 问题，司以尽可能地发挥志愿者的计算能力，也允许志愿者停止提供服务和收回 使j 1 | 权。志愿者从登记服务器中取消登记后系统就不再给它分配任务。 。占愿者力式也存在一个突出的问题，就是工作机在任何时候都几 能撤销服 务，为提供处玛! 资源