（计算机应用技术专业论文）基于集群式超级计算机上netsolve系统的研究.pdf

摘要 近十年来，网格成为计算机研究领域的热点。世界各国为首纷纷不惜出重金 开展网格技术的研究。在美国，以i a nf o s t e r 领衔的a r g o n n e 国家实验室走在 了网格研究的最前沿。而i b m 、s u n 等公司也不甘落后，分别启动了网格项目。 欧洲和日本研究网格的科研机构和其它团体也不断涌现。在我国，近两年来对网 格的关注也是前所未有的。2 0 0 2 年的海南国际网格会议，2 0 0 3 年在上海交大举 行的网格与协同国际会议都吸引了很多网格研究领域著名的专家与学者参加。 正是在这种背景下，我们开展了对n e t s o l v e 系统的研究。n e t s o l v e 系统是 计算网格的个杰出代表。本文的工作是以上海大学超级集群计算机自强2 0 0 0 为测试平台，对n e t s o l v e 系统进行较全面的测试和研究。找出了该系统存在的 一些缺陷，并进行了两方面的扩展。其一，开发了s e r v e rp r o x y 组件。其二， 提出并实现了源代码零修改方案。 通过研究，我们发现n e t s o l v e 系统要求客户端和服务器所在地机器都拥有 一个可见i p 地址( 即互联网全局i p 地址) ，但是集群计算机、m p p 和其它一些 超级计算机不宜把所有内部节点都暴露在整个国际互联网中，因为那样既不安 全，也影响速度。对此我们开发了s e r v e rp r o x y 组件。该组件在外部网络的 n e t s o l v e 客户端与超级计算机内部节点上的n e t s o l v e 服务器之间建立起一座通 信桥梁。 利用n e t s o l v e 系统，用户只要对源代码做少量的修改，就能充分利用网络 计算资源。前提是用户必须充分掌握n e t s o l v e 系统知识才能做出正确的修改。 本文提出的源代码零修改方案，就是利用一个我们开发的自动化部件，自动对用 户源代码进行正确的修改，并能编译执行。 n e t s o l v e 系统中有一些技术能够提高效率。如使用非阻塞调用，能立即返 回控制，从而获得一定程度的并行性能：任务族能用来把对同- - n 务的多次请求 整合起来，减轻用户管理的负担，同时也简化了请求过程：请求序列的作用是避 免多个n e t s o l v e 请求之间的重复的参数和不必要的中间结果的传送，提高请求 处理的效率。在零修改方案中，我们讨论了如何充分利用这些技术。 本文的主要工作有以下四点： 1 1 讨论了n e t s o l v e 的总体结构，深入地分析了这个网格计算平台中任务 族，请求序列等一些关键技术的实现。 2 ) 在自强2 0 0 0 上对n e t s o l v e 系统进行了较全面的测试和扩展。 3 1 提出并实现了s e r v e rp r o x y ，解决了外部n e t s o l v e 客户端不能访问超级 计算机内部节点上的n e t s o l v e 服务器的问题。 4 1 提出了客户程序源代码零修改方案，并初步实现了该方案，使用户不需 修改任何源代码就能通过n e t s o l v e 使用网络计算资源，大大减轻了用户 负担。 关键字：s e r v e rp r o x y ，零修改方案，任务族，请求序列，n e t s o l v e i i a b s t r a c t t h eg r i dh a sb e c o m et h eh o t t e s tr e s e a r c hp o i n ti nc o m p u t e rs c i e n c es i n c ee a r l y 1 9 9 0 sg o v e r n m e n t sa l lo v e rt h ew o r l ds p e n dah u g ea m o u n to fm o n e yo ng r i d t e c h n o l o g y i na m e r i c a ，t h ea r g o n n e 、n a t u r a ll a b o r a t o r y h e a d e db yi n nf o s t e r p r e d o m i n a t e s t h ef i r s t p o s i t i o n i n g r i dr e s e a r c h m e a n w h i l e ，a l o to ff a m o u s c o m p a n i e sl i k ei b m a n dh ps t a r tt h e i rg r i dp r o j e c t s s c i e n c eo r g a n i z a t i o n sa n do t h e r g r o u p si ne u r o p ea n dj a p a nr u s ho u te v e r y d a y a n di no u rh o m e l a n d ，a t t e n t i o n so n g r i da r e u n p r e c e d e n t e d i nr e c e n tt w o y e a r s w e h o l dt h ei n t e m a t i o n a lg r i d c o n f e r e n c ea th a i n a np r o v i n c ei n2 0 0 2 a n dt h es e c o n di n t e r n a t i o n a lw o r k s h o po n g r i da n dc o o p e r a t i v ec o m p u t i n gw a sh e l da ts h a n g h a ij i a ot o n g u n i v e r s i t ya t t r a c t s m a n y f a m o u ss p e c i a l i s t sa n ds c h o l a r s w e c a r r yo u tt h er e s e a r c hw o r kb a s e do nt h en e t s o l v es y s t e r n t h en e t s o l v e s y s t e mi saf a m o u si n s t a n c eo fc o m p u t i n g 例d t h e t e s ta n dr e s e a r c ho fn e t s o l v e s y s t e mw em a d ew a sb a s e do nt h ec l u s t e r - 一z q 2 0 0 0 s o m ed r a w b a c ko ft h i ss y s t e m w a sf o u n do u ta n dt w oe x t e n s i o n sw e r em a d e t h ef i r s te x t e n s i o n ，ac o m p o n e n tc a l l e d s e r v e rp r o x yw a sd e v e l o p e d t h es e c o n d s o u r c ec o d ez e r o ：m o d i f l e ds c h e m ew a sp u t f o r w a r da n di m p l e m e n t e d ad r a w b a c ko fn e t s o l v es y s t e mw a sf o a n dw h e nw et e s ti to nz q 2 0 0 0 n e t s o l v es e r v e rn e e d sar e a li pa d d r e s s b u tc l u s t e r , m p pa n do t h e rs u p e r - c o m p u t e r c o u l dn o te x p o s ea l lt h e i ri n t e r i o rn o d e st oo u t e rn e t w o r k f o rt h i sr e a s o n s e r v e r p r o s yw a sd e v e l o p e d i tc a ns e tu pab r i d g eb e t w e e nc l i e n t a n di n t e r i o rn e t s o l v e s e r v e ro f s u p e rc o m p u t e r u s e r sc a nt a k ea d v a n t a g e so f c o m p u t a t i o nr e s o u r c e sa 1 1o v e rt h ew o r l dt h r o u g h n e t s o l v es y s t e m a sl o n ga st h e ym a k eai i t t l ec h a n g ei nt h e i rs o u r c ec o d e b u tu s e r s m u s tk n o wt h ek n o w l e d g eo f n e t s o l v ea n dh o wt ou s en e t s o l v es y s t e mi ft h e yw a n t t o c h a n g ei tc o r r e c t l y t h es o u r c ec o d ez e r oc h a n g es c h e m ew ep u tf o r w a r dc a n c o r r e c t l yc h a n g e u s e r s s o u r c ec o d e a u t o m a t i c a l l yb yu s i n g an e wa u t o m a t i c c o m p o n e n tw ed e v e l o p e d i ta l s oc a na u t o m a t i c a l l yc o m p i l ea n dr u nu s e r s p r o g r a m a n dr e t u r nr e s u l t s o m et e c h n o l o g i e so fn e t s o l v ec a no b t a i np e r f o r m a n c e ，f o re x a m p l e ，u s i n g n o n b l o c k i n gc a l l ，u s e rc a nr e t u mc o n t r o li m m e d i a t e l y , w h i c hc a ng a i ns o m ep a r a l l e l p e r f o r m a n c e ；t a s kf a m i n gc a ni n t e g r a t es e v e r a lr e q u e s t so f t h es a m en e t s o l v es e r v i c e i n t oo n er e q u e s t ，w h i c ha l l e v i a t et h em a n a g eb u r d e no fu s e r sa n ds i m p l i f yt h er e q u e s t p r o c e s s ；t h er e q u e s ts e q u e n c e ，t h ef u n c t i o no fr e q u e s ts e q u e n c ei s t h a ti ta v o i d st h e r e p e a t e d l yt r a n s f e r o fr e q u e s tp a r a m e t e r sa n du s e l e s sm i d d l er e s u l t t h er e q u e s t s e q u e n c e c a ni m p r o v ep e r f c r r n a n c e e v i d e n t l y i n t h ez e r o - m o d i f i e ds c h e m e ，w e d i s c u s s e dh o wt om a k eu s eo f t h e s et e c h n o l o g i e st og a i nh i g hp e r f o r m a n c e t h em a i nw o r k so f t h i st h e s i sa r e ： 1 ) i n t r o d u c e dt h e i m p l e m e n t a t i o n s e q u e f l c e ，e t c o v e r v i e wo fn e t s o l v e s o m e g r i dt e c h n o l o g i e s ， s y s t e m ，p r o b e d i n t ot h e l i k et a s k f a r m i n g ，r e q u e s t i 王i 2 1 3 ) t e s ta n de x t e n dt h en e t s o l v es y s t e m b a s e do nz i q i a n 9 2 0 0 0 p u tf o r w a r dt h es e r v e rp r o x ya n di m p l e m e n t e di t ，s o l v e dt h ep r o b l e m t h a t n e t s o l v ec l i e n to no u t e rn e t w o r kc a r m o ta c c e s st ot h en e t s o l v es e r v e r s o nt h ei n n e rn o d eo fs u p e rc l u s t e r b r i n gf o r t ht h ez e r o m o d i f i e ds c h e m e ，b r i e f l yi m p l e m e n t e di t t h i sm a k e u s e rc a nu s en e t s o l v er e s o u r c e sw i t h o u tc h a n g i n gt h e i rs o u r c ec o d e ，a n d a l l e v i a t et h e i rb u r d e nl a r g e l y k e y w o r d s ：s e r v e rp r o x y ，z e r o - m o d i f i e ds c h e m e ，t a s kf a r m i n g ，r e q u e s ts e q u e n c e n e t s o l v e 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发表 或撰写过的研究成果。参与同一工作的其他同志对本研究所做的任何 贡献均己在论文中作了明确的说明并表示了谢意。 签名：籀：龚髯e t 期j 篮上止一 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即：学校有权保留 论文及送交论文复印件，允许论文被查阅和借阅：学校可以公布论文的全部或部 分内容。 ( 保密的论文在解密后应遵守此规定) 上海大学工学硕士学位论文 基于集群式超级计算机上 n e t s o l v e 系统的研究l 硕士生：陈建华 导师：邵伟民张武 学科专业：计算机应用技术 上海大学计算机工程与科学学院 二o o 四年二月 1 该课题受上海市教委重点项目基金( n o 2 0 5 2 6 9 ) 雨u 发展基金( n o 2 0 5 1 5 5 ) 的资助 上海大学硕士学位论文 第一章绪论 1 1 研究背景、目的及意义 二十世纪的最后十年，i n t e r n e t 迅速蔓延到世界各地，成为人们沟通信息和 协同工作的有效工具。更为重要的是，i n t e r n e t 上汇集的成千上万的计算资源、 数据资源、软件资源、各种数字化设备和控制系统共同构成了生产、传播和使用 知识的重要载体。人们开始思考如何将物理上互连的众多资源汇聚起来，联合提 供服务，这是网络计算技术的实质。网络计算是一个迅速发展中的技术，“网络 计算”的一种理解是指：将由各种网络连接起来的各种自治资源和系统组合起来， 以实现资源共享、协同工作和联合计算，为各种用户提供各类综合性服务 1 。 网络计算技术从最初的局域网络环境的计算，发展到广域网络环境的计算，将 继续发展为“无处不在的计算”，为构建具有高性能处理、海量数据存储和大量 诸如传感器和移动设备等的2 l 世纪人类社会的信息处理基础设旌奠定技术基 础。 网格( g r i d ) 计算是目前网络计算的一个具有重要创新思想和巨大发展潜力 的技术实践。网格计算技术从最初希望能够将超级计算机连接成为一个可远程控 制的元计算机系统( m e t a c o m p u t e r s ) ，到目前试图提供一种能够聚集网络上的 各种高性能计算机、服务器、p c 、信息系统、海量数据存储和处理系统、应用模 拟系统、仪器设备和信息获取设备( 例如传感器) 等广泛分布的各种资源，进行 大规模计算和数据处理的通用基础支撑结构，为各种应用开发提供底层技术支 撑，l 哿i n t e r n e t 变为一个功能强大、无处不在的计算设施。人们预言，网格计 算技术和应用将成为i n t e r n e t 信息技术的下一个浪潮。 网格计算可以从三个方面来理解。 2 第一，从概念上，网格计算的目标是资源共享和分布协同工作；网格的这种 概念可以清晰地指导行业和企业中各个部门的资源进行行业或企业整体上的统 一规划、部署、整合和共享，而不仅仅是行业或大企业中的各个部门自己规划、 占有和使用资源，这种思想的沟通和认同对行业和企业是至关重要的，它的实施 是一个根本性的系统决策，将提升或改变整个行业或企业信息系统的规划部署、 运行和管理机制。 第二，网格是一种技术：为了达到多种类型的分布资源共享和协作，网格计 算技术必须解决多个层次的资源共享和合作问题，制定网格的标准，将i n t e r n e t 从通讯和信息交互的平台提升到资源共享的平台。但是目前并行计算、分布计算 上海大学硕士学位论文 中间件等现行技术研究目标和网格计算技术目标有较大的差别，远远没有解决多 组织之间资源的共享问题，以及广域范围的多系统之间联合处理和计算等网格计 算所面临的关键问题，因此，网格计算技术研究具有独特性、紧迫性和挑战性。 第三，网格是基础设施，是通过各种网络综合计算机、数据、设备和服务等 资源的基础设施；随着网格技术逐步成熟，建立地理分布的遍布全国或世界的大 型资源节点，集成网络上的多个资源，联合向全社会按需提供全方位的信息服务。 这种设施的建立，将使用户如同今天我们按需使用电力一样，无需在用户端配套 大量的全套计算机系统和复杂软件，就可以简便地得到网格提供的各种服务。例 如今天我们的桌面上摆放了完整的个人计算机系统，人人安装使用o f f i c e 软件， 如果我们能提供一个o f f i c e 服务器，大家桌面上只要一个简单的终端，通过高 速网络，所有人共享使用它，这种设备、软件投资和维护开销将大大减少。我们 也可以将数据和应用实行外包，由公共的基础设施提供存储、计算的能力，因此， 人们有时又将此称为u t i l i t yc o m p u t i n g ( 公用计算) ，其核心实质是一样的。如 同电力系统一样，网格设施作为一个国家战略信息基础设施来规划、建设和运行 管理，其复杂度和难度是相当大的，这里面有思想和观念上的变化，技术上的难 点，以及国家法律和政策上的问题等等，需要经过多年的艰苦努力。但是我们也 应当认识到这样两点：一个方面是i t 技术的发展和应用是i n t e r n e t 的发展速 度，需要按照这样一个发展速度来考虑和准备规划未来的事情；另一方面作为 大型企业、行业和国防等一些部门实麓网格基础设施战略是现在就可以开始做的 事情，而且在需求、策略和技术上都是切实可行的。网格计算的重要战略意义及 其广阔应用前景，使其成为当今吸引众多研究人员和巨大资金投入的研究热点。 美国自然科学基金于1 9 9 7 年底开始实施“分布式网格”研究项目，其目标是在 美国建立遍及全国的计算网格( c o m p u t a t i o n a lg r i d ) ，支持重大科学与工程 计算，为用户提供到桌面上的虚拟高性能计算环境，这是第一个大的网格项目。 我国自主研制生产的曙光、神威及银河等超级计算机已经广泛应用在国防、生物、 气象及石油等重要领域。由于高性能计算资源的昂贵性和分散性，如何提高其使 用率以及最大程度地共享这些计算资源成为一个需要解决的现实问题。同时，由 于应用规模的不断增长，很多大型的应用问题已经不能由单台超级计算机完成， 而必须由多台超级计算机协同解决。 尽管，网格计算技术还不成熟，但是国内外已经开展了许多网格应用项目。 美国国家航空和宇宙航行局( n a s a ) 的i p g ( i n f o r m a t i o np o w e rg r i d ) 项目： 这是一个2 0 年的研究计划，目的是让人们使用计算资源和信息资源就象使用电 力网提供的电力资源一样方便快捷。美国能源部开发的a s c i 网格已经投入生产 性使用，其主要用途是核武器研究。国防部的全球信息网格( g i g ) 项目是最庞 大的网格计划，用于美军新世纪作战支撑，预计2 0 2 0 年完成。欧洲共同体的 上海大学硕士学位论文 e u r o g r i d d d a t a g r i d ：主要用于包括高能物理、生物计算、气候模拟等多个领 域的应用。2 0 0 1 年8 月，美n s f 宣布了一个重大科研项目，研制称为“分布式 万亿级设施”( 叭s t r i b u t e dt e r a s c a l ef a c i l i t y ) 的网格系统，简称t e r a g r i d ， 它是世界上第一个从设计开始就面向网格的广域超级计算平台，也是第一个无处 不在的计算机基础设旋( c y b e r i n f r a s t r u c t u r e ) 。i b m 、c o m p a q 、s u n 、l s f 和 b o e i n g 等大型公司开始进入网格计算领域。g l o b u s 和n e t s o l v e 是网格计算领 域的两个比较著名网格支撑软件系统。 目前，国内外主要网格项目研究和实施有一个显著的特点，即各个项目是直 接面向行业应用，和行业应用领域紧密相关。尽管许多人都看好网格计算的发展 前景，但是由于它的复杂和不成熟，现在人们还不能完全肯定未来它发展成什么 样子。在这里我们特别强调网格计算技术和高性能计算机的关系。网格计算技术 是高性能计算技术的发展方向之一，它并不替代超高性能计算机系统的建立，但 是未来的超高性能计算机系统必须支持网格计算环境，能够很容易地融入到网格 计算环境当中，将其强大的计算和数据存储处理能力提供给众多的用户使用。网 格计算技术的目的是结合高性能计算技术和网络计算技术将高性能计算机的能 力释放出去，构造一个公共的高性能处理和海量信息存储的计算基础设施，为各 种用户和应用提供资源的共享使用。因此，网格计算将会促进高性能计算机应用 的发展，促进高性能计算机服务市场的发展，刺激市场对高性能计算机和海量存 储系统等的需求。n e t s o l v e 系统正是在这一背景下，由美国田纳西州大学计算机 系和橡树岭国家实验室联合开发的。 1 2n e t s o l v e 系统 n e t s o l v e 是一个分布式计算系统实例，它旨在为各种领域的科学家提供计算 帮助，领域的科学家总是希望能充分利用网络上的计算资源，但他们没有太多经 历去学习网络知识、安装计算软件。n e t s o l v e 减轻了各种领域的科学家的负担， 同时也提高了计算资源的利用率。 1 2 1 技术背景 目前世界上各种平台上的计算系统已经开发很鸶乙常见的系统也利用了许多 软件库，但不幸的是，这些软件库使用起来并不方瘦j 而且一些软件库只在部分 特定的平台上进行了高度优化，而对其它的平台没有提供方便的接口。还有一些 库则要求用户有较高的编程技巧。虽然也有几个软件工具如m a t l a b 、 m a t h e m a t i c a ，减轻了这方面的困难，但它们只能在有限的几个计算机系统上可 上海大学硕士学位论文 用，而且很少有免费的。而n e t s o l v e 的宗旨是提供一个免费的、统一的、可移植 的、高效的访问网络计算资源的方法。 1 2 2n e t s o l v e 系统的简介 n e t s o l v e 是由美国田纳西州大学计算机系开发的。提供远程访问软硬件计 算资源的能力。该系统选择了标准因特网协议，如t c p i p 套接字，能够在 u n i x ，w i n 9 5 ，w i n 9 8 ，w i n n t 和w i n 2 0 0 0 等平台上运行。 n e t s o l v e 系统是由一系列松散连接的计算机组成的。所谓松散连接是指这 些机器可能在本地，可能是全球网上的节点，属于不同的机构和组织。n e t s o l v e 系统甚至支持异构环境的交互。即这些机器的体系结构、操作系统和内部数据表 示都可以不相同 1 。 图1 1 显示了n e t s o l v e 系统的整体描述。该系统的三个主要组件是： n e t s o l v e 客户端 n e t s o l v e 代理 n e t s o l v e 计算资源( 服务器) 从图1 1 中可以看出n e t s o l v e 系统和使用该系统的应用程序之间的关系。 n e t s o l v e 以及与之类似的软件系统常常被称为网格中间件：图中的阴影部分代表 n e t s o l v e 系统。它可以看作是将应用程序或用户与完成任务所需的软硬件连接起 来的粘合层。其顶层的n e t s o l v e 客户端库( c l i e n tl i b r a r y ) 与用户应用程序相 连。应用程序调用n e t s o l v e 的a p i 函数获得相应服务。通过这些a p i ，客户端用户 能够访问远程的资源集，而不需要了解计算机网络和分布式计算方面的知识。事 实上，用户可以想当然的认为没有利用远程资源。 n e t s o l v e 的代理( a g e n t ) 管理一系列的n e t s o l v e 服务器，记录了这些服务器 的硬件性能、所装配的软件以及动态使用信息。代理也是利用这些信息来决定给 客户端请求分配适当的资源。代理为请求找出最快的服务器、在服务器间平衡负 载、标记出错的服务器。 n e t s o l v e 的服务器是一个等待客户请求的守护进程。服务器能在单个的工作 站、集群工作站( c l u s t e r ) 、对称多处理器( s m p ) 和大信息量并行处理机( m p p ) 上运行。源代码产生器是服务器的关键组件，能解析问题描述文件( p r o b l e m d e s c i p t i o nf i l e ，p d f ) 。n e t s o l v e 系统能利用问题描述文件包含的信息创建新 的模块，加入新的功能。实质上p d f 定义了一个封装器，n e t s o l v e 正是通过它来 调用函数或加入新的程序的。 上海大学硕士学位论文 图i - in e t s o l v e 系统 n e t s o l v e 隐藏的请求过程： 1 客户端联系代理( a g e n t ) ，取得可用服务器列表 2 客户端连接服务器并传递输入参数 3 服务器运行相应的服务 4 服务器向客户端返回输出参数或出错信息 1 2 3n e t s o l v e 的现状 目前的正式版本n e t s o l v e 一2 0 是2 0 0 3 年1 0 月1 0 日推出的( 我们的研 究主要是基于2 0 0 2 年6 月发布的n e t s o l v e l 4 1 ) ，有以下些新特征： - 简单的接口定义语言( i d l ) - 动态服务器( 增删服务时不用重启或停止服务) - 6 r i d r p c 接口 - o c t a v e 接口 - c o n d o r g 接口 一独立的软硬件服务器 - 分步敦程 一 为关键用户增加一些新实例 上海大学硕士学位论文 支持m a co sx 一支持w i n d o w s2 0 0 0 x p ( 使用c y g w i n ) t 网页为基础的监督系统 - 端口使用的限制( 限制使用的端口数量) - 安全机制( 用g p g 作签名) 允许用户指定服务器执行计算 - 用户可以终止n e t g o l v e 进程 - 用d s i 作分布缓存 - 增加安装脚本 1 2 4 本文研究的测试环境 本文所有探讨都是以自强2 0 0 0 ( s u h p c s ) 为主要测试平台。s u h p c s 是上海大 学自主研发的集群式超级计算机，系统采用s m p ( 对称多处理器) 超节点通过高 速网络( 1 2 8 g b p s 的m y r i n e t 和l o o m b p s 的e t h e r n e t ) 两级互联方式构成，系 统峰值达到4 5 0 0 亿f l o p s ，具有良好的可扩展性。目前的计算节点数为1 0 0 ( 2 0 0 个c p u ) 、硬盘容量2 0 t b ，每个计算节点拥有双c p u ( p 35 0 0 m h z - - p 3i g h z ) 。操 作系统采用r e t h a tl i n u x 。( s u h p c s 在2 0 0 1 年获上海市科技进步一等奖) 。 1 3 论文的组织 作者所做的主要研究、开发工作如下： i 深入分析了n e t s o l v e 系统的实现，并在自强2 0 0 0 上进行了较全面的测试。 2 引入s e r v e rp r o x y ，在外部网络客户端与超级计算机内部服务器间建起桥 梁。 3 提出零修改方案，很大程度上提高了n e t s o l v e 用户的易用性。 本文的结构如下： 在第二章中，我们以n e t s o l v e 的m a t l a b 接口为例，展示了在该接口中如何通 过n e t s o l v e 方便的使用网络计算资源。另外，对纳西州大学在n e t s o l v e 系统上开 发的一些较大型的应用作了介绍。 第三章，分析n e t s o l v e 系统的运行机制，讨论n e t s o l v e 系统引入c l i e n t p r o x y 的种种考虑。针对系统的缺陷，提出s e r v e rp r o x y ，s e r v e rp r o x y 在外部 网络的n e t g o l v e 客户端与c l u s t e r 内部n e t s o l v e 服务器之间建起座桥梁。这章 对s e r v e rp r o x y 可行性及实现作了讨论。 在第四章中，深入探讨n e t s o l v e 系统的几项关键技术的实现，首先，在用户 上海大学顶士学位论文 程序中若使用非阻塞调用，能立即返回控制。这样能获得一定程度的并行性能。 而任务族是用来把对同一服务的多次请求整合起来，减轻用户管理的负担，同时 也简化了请求过程。本章晟后讨论的是请求序列。请求序列的作用是避免多个 n e t s o l v e 请求之间的重复的参数和不必要的中间结果的传送。使用请求序列能大 大的提高请求处理的效率。 而第五章，我们提出零修改方案，该方案旨在使用户可以不必对程序源代码 做任何修改，就能使用n e t s o l v e 系统资源。实现该方案能产生一个自动化部件， 该部件自动修改用户程序源代码，然后用第四章中所有的关键技术对代码进行进 一步的优化。在这章中，我们还分析方案的实现，探讨实现的难点。 最后，第六章，我们讨论了n e t s o l v e 系统的不足，及其未来发展方向。 上海大学硕士学位论文 第二章n e t s o l v e 系统的使用 2 1 由w i n d o w sm a t l a b 界面使用n e t s o l v e m a t l a b 屏r 面非常简单易用。m a t l a b 界- 面保存在n e t s o l v e _ d i r m a t l a b 目录下。 进入此界面操作如下： a 打开m a t l a b b 点击f i l e 一 s e tp a t h c 添加n e t s o l v ed i r r n a t l a b 目录到这个路径 这个界面有4 个n e t s o l v e 调用组成 n e t s o l v e d l l n e t s o l v e _ n b d l l n e t s o l v e e r r d 1 1 n e t s o l v e e r r m s g d l l 在m a t l a b 界面中测试n e t s o l v e 包括下面步骤： n e t s o l v e ( ? 】 这个命令打印出当前可获得的所有代理和服务器。 n e t s o l v e 这个命令打印出能被解决问题的所有列表，任何命令的帮助可直接通过在m a t l a b 中显示此命令来获得。在n e t s o l v e _ d i r t o o l s 目录下有各种工具可供用户来探 测n e t s o l v e 元计算系统。 n e 七8 0 1 v e c o n f i g e x e a g e n t _ n a m e 提供代理和服务器的列表 n e 七8 。l v e p r o b l e m s e x e a g e n t n a m e 提供在n e t s o l v e 构架中可解决问题的列表 2 1 1 开始使用n e t s o l v e 下面部分将描述界面的一些特征，以便用户由此获取当前n e t s 0 1 v e 系统可提 供的服务。可通过m a t l a b 获得可解决问题的列表，命令如下： n e t s o l v e n e t s o l v e l i s to fa v a i l a b l ep r o b l e m s 一 b l a s w r a p p e r 8 l e v e l 3 d m a t m u l s u 、s w r a p p e r 8 l e v e l 3 z m a t m u l b l a s l e v e l l d a x p y b l a s | l e v e l 、| d d o t b l a s l e v e l l z a x p y 上海大学硕士学位论文 b l a s l e v e l 2 d g e m v b l a s l e v e l 3 d g e m m b l a s l e v e l 3 z g e m m l a p a c k w r a p p e r s i m p l e e i g _ a n d _ s i n g u l a r e i g l a p a c k w r a p p e r s i m p l e l i n e a re q u a t i o n s 1 i n s o l l a p a c k s i m p l e l i n e a re q u a t i e n s d g e s v l a p a c k a u x i l i a r y d l a c p y m a n d e l b r o t m a n d e i b r o t q u i c k s o r 七d o u b l e p r e c i 8 i o n d q 8 d r t q u i c k s o r t i n t e g e r i q 8 0 r t s c a l a p a c k l i n e a r s y s t e m p d g e s v s c a l a p a c k l i n e a r s y s t e m p d p o s v s c a l a p a c k l i n e a r s y s t e m p l i n s o l s u p e r l u m a 2 8 s p a r s e d i r e c 七一8 0 1 v e o u t p u ta r g s 】= n e t s o l v e ( p r o b l e mn a m e ，i n p u ta r g s ) i n f o r m a t i o no nas p e c i f i cp r o b l e m ：n e t s o l v e ( p r o b l e mn a m e ) i n f o r m a t i o no nt h es e r v e r s ：n e t s o l v e ( ? ) ) ) 选择 图2 一in e t s o l v e 系统 这里每行都包括一个问题的完整名称。如果用户想得到一个问题更详细的信息， 立f l e i g ，可使用如下命令 ) n e t s o l v e ( 7 e i g 7 ) 一e i g w r a p p e r a r o u n dt h el a p a c kr o u t i n ed g e e v 。”。 s i m p l i f l e dv e r s i o no fd g e e v 9 上海大学硕士学位论文 c o m p u t e s t h e e i g e n v a l u e so f ad o u b l ep r e c i s i o nr e a l m a t r i xa r e t u r n st w od o u b l ep r e c i s i o nr e a l v e c t o r sc o n t a i n i n gr e s p e c 七i v e l yt h er e a lp a r t sa n d t h ei m a g i n a r yp a r t so ft h ee i g e n v a l u e s m a t l a be x a m p l e ： ri 】= n e t s o l v e ( e i g ，a ) i o b j e c t si n i n p u t i n p u t 0 ：m a t r i xd o u b l ep r e c i s i o nr e a l m a t r i xa 2o b j e c t si no u t p u t o u t p u t 0 ：v e c t o rd o u b l ep r e c i s i o nr e a l r e a lp a r t so ft h ee i g e nv a l u e s o u t p u ti ：v e c t o rd o u b l ep r e c i s i o nr e a l i m a g i n a r yp a r t so f t h ee i g e nv a l u e s o u t p u to b j e c t s 0a n d1c a nb em e r g e d ) ) 输出只提供了问题的一个简短描述，是在m a t l a b 中使用n e t s 0 1 v e ( ) 的一个例子， 输入参数必须由用户提供，这样输出结果也会返回给用户。这个问题只需要一个 双精度矩阵参数作为输入，但此矩阵必须是方矩阵( 正如在问题描述中所陈述 的) 。如果用户输入的是一个非方矩阵，系统将会给出一个错误信息表示输入的 维数无效。对于问题e i g ，将会得到两个输出向量，分别代表e i g e n 值的实部和虚 都。既然m a t l a b 提供的机制可直接处理复数对象，因此用户可直接返回得到一个 复向量来代表两个单独的实向量。这样，在m a t l a b 界面中，可以合并两个输出实 向量为一个复向量，这一点在下面一部分将会有更详细的描述。 m a t l a b 界面还有另外一个特征，它与具体解决的问题无关，只和n e t s o l v e 的具体 配置有关。我们刚看到了怎样得到服务器能解决的问题的信息，同时也可知道这 些服务器的具体位置。现假设n e t s o l v ea g e n t 环境变量设置为 n e t s o l v e c s s h u e d u c n 。命令： n e t s o l v e ( ? ) 会得到