（计算机系统结构专业论文）IntraGRID环境下通信机制的研究与实现(1).pdf

摘要 网格以共享资源协同计算为目标将成为今后服务于各领域的基础设施，该设施的核 心部件包括高性能计算设备、存储设备和贵重仪器等重要资源。目前，机群系统以其优 越的可扩展性、可用性、可靠性和性价比在高性能计算机系统中占有主导地位。随着机 群系统的大量部署及其上应用的不断增加，如何联合机群的计算力为分布式高性能计算 等网格应用提供更大规模的计算平台，是高性能计算机体系结构研究的一个重要课题。 面向网格应用的计算机是高性能计算机体系结构发展的重要方向之一。作为本文研 究背景的i n t r a g r i d 是一种松散耦合的网格计算机结构，把分布的机群联合成为统一的 机算机备，用于执行分布式高性能计算等网格应用。i n t r a g r i d 的耦合程度比机群松散， 其上的并行算法需要做相应调整，例如通过划分通信密集和通信稀疏的进程组，合理调 度进程从而更好的利用这种平台结构的特点。 i n t r a g r i d 通信系统是i n t r a g r l d 的关键部件，为其上的分布式高性能计算环境提供 底层通信协议，由机群内的机群通信协议和机群间的外部通信协议构成。i n t r a g r d 通 信系统使用统的协议进行机群的内部和外部通信，能够有效的支持分布式并行计算环 境。机群间通信协议由网格网关( g r i dg a t e w a y ) 实现，采用网关式的消息转发机制， 该方式区别于m p i c h g 2 和p a c x m p i 等网格使能的m p i 计算环境采用外部通信机制，更 适合在同构机群组成的i n t r a g r i d 中进行高效的消息传递。 g r i dg a t e w a y 连接机群互连网络和机群间的高速i p 网络，通过转发不同网络上的消 息实现机群问通信。g r i dg a t e w a y 支持多结点转发，通过分流外部通信的消息能平衡机 群间通信时节点的负载。 本文介绍了i n t r a g r i d 及其通信系统的结构和特征，详细分析了g r i dg a t e w a y 的实现 机制，以及全局标识符、机群间通信语义、流量控制、多重路由机制、负载平衡等关键 问题，并且给出了机群间通信协议的设计与实现，对机群间通信协议性能、机群间m p i 性能进行评价和分析。 关键字：网格计算，网格计算机，通信协议，网关，i n t r a g r i d r e s e a r c ho nc o m m u n i e a t i o nm e c h a n i s mu n d e ri n t e r g i u de n v i r o n m e n t c u iw e i ( c o m p u t e r a r c h i t e c t u r e ) d i r e c t e d b y m aj i e w i t ht h e g o a l o fs h a r i n gr e s o u r c e sa n dc o o p e r a t i v ec o m p u t i n g ，g r i dw i l lb e 廿l e i n f r a s t r u c t u r es e r v i n gu si na 1 1t h ef i e l d s t h ec e n t r a lp a r t so ft h ei n f i - a s t r u c t u r ei n c l u d eh i 曲 p e r f o r m a n c ec o m p u t i n gd e v i c e s ，s t o r a g ed e v i c e s ，a n de x p e n s i v e s c i e n t i f i c a p p a r a t u s e s c u r r e n t l y ，c l u s t e rs y s t e m b e c o m e s a p p e a l l i n g a r c h i t e c t u r et ob u i l d h i 曲- p e r f o r m a n c e c o m p u t e r sb yi t sp r e e m i n e n ts c a l a b i l i t y ，a v a i l a b i l i t y ，r e l i a b i l i t y ，a n dc o s t - p e r f o r m a n c er a t i o w i t ht h ep l e n t i f u ld e p l o y m e n to fc l u s t e r sa n da n o r m 0 1 t o u sa p p l i c a t i o n so nt h e m ，o n eo f e m e r g e dp r o b l e m si sh o w t oc o l l e c tt h ec o m p u t i o n a lp o w e ro fd i s t r u t e dc l u s t e r st op r o v i d ea m o r e p o w e r f u lc o m p u t i o n a lp l a t f o r mf o rm a n y k i n d so fg r i da p p l i c a t i o n ss u c ha sd i s t r i b u t e d h i g h - p e r f o r m a n c ec o m p u t i n g t h i st h e s i sb a s e st h er e s e a r c ho fi n t e r c l u s t e rc o m m u n i c a t i o nm e c h a n i s mo ni n t r a g r i d ad e c o u p l e da r c h i t e c t u r eo fg r i dc o m p u t e ra r c h i t e c t u r e i n t r a g mi n t e r g r a t e sd i s t r i b u t e d c l u s t e r si n t oas i n g l ec o m p u t i n gd e v i c ef o rg r i da p p l i c a t i o n s b e c a u s ei tc o u p l e se v e nm o r e l o o s e l yt h a nac l u s t e r ，t h ea l g o r i t h mo fa p p h c a f t o n sa b o v e s h o h l da d a p tt h e m s e l v e si no r d e rt o , g e t t h e a d v a n t a g e s o ft h e p l a t f o r m ， s u c ha st o g r o u pp r o c e s s e s t h r o u g h c o m m u n i c a t i o n s e n s i t i v i t ys ot h a tp r o c e s s e sc a r lb es c h e d u l e dr e s e a s o n a b l e l ya m o n gd i f f e r e n t c l u s t e r s ， o n eo fk e yc o m p o n e n t so fi n t r a g mi si t sc o m m u c a t i o ns y s t e m w h i c hp r o v i d e s l o w l e v e lp r o t o c o l sf o rd i s t r i b u t e dh i g h - p e r f o r m a n c ec o m p u t i n ge n v i r o n m e n t m g c o m m u n i c a t i o ns y s t e mc o n s i s t so fc l u s t e ri n t e r n a lc o m m u n i c a t i o np r o t o c o l sa n de x t e m a l c o m m u n i c a t i o n p r o t o c 0 1 o v e ri n t e r c l u s t e rn e t w o r k b o t hi n t e r n a la n de x t e r n a l c o m m u n i c a t i o n sh a v eas a l t l ep r o t o c o li n t e f f a c e e x t e m a lc o m m u n i c a t o np r o t o c o li sp r o v i d e d b yg r i dg a t e w a yb a s e do ng a t e w a ym e c h a n i s mw h i c he n a b l e sm e s s a g e p a s s i n gb e t w e e n c l u s t e r s e x t e m a lc o m m u c a t i o nu s i n gg r i dg a t e w a yt od e l i v e rm e s s a g e sb e t w e e nc l u s t e r sg a i n s h i g hc o m u n i c a t o np e r f o r m a n c e g r i dg a t e w a y c o n n e c t sc l u s t e ri n t e r c o n n e c t sa n di n t e r - e l u s t e r n e t w o r ke n a b l i n gc l u s t e r st oc o m m u n i c a t ee a c ho t h e rt h r o u g hg r i dg a t e w a yd e l i v e r i n g p a c k e t s t oe x t e m a ln e t w o r ko ri n t e r c o r m e c t s t h en u m b e r o f g a t e w a y n o d e sc a nb e c o n f i g u r e d m a n u a l l ys ot h a te x t e r n a ld a t ac a nb eb a l a n c e dt h r o u g hm u l t i g a t e w a ym e c h a n i s m t h i st h e s i si n t r o d u c e si n t r a g r i da n dt h ea r c h i t e c t u r ea n dc h a r a c t e r i s t i co fi t s c o m m u n i c a t i o ns y s t e m ，a n a l y z e st h eg r i dg a t e w a ym e c h a n i s ms p e c i f i c l y s o m ek e yi s s u e so f g r i dg a t e w a ya r ep r e s e n t e d ，i n c l u d i n gg l o b a li d e n t i f i c a i t o n , c o m m u n i c a t i o ns e m a n t i c ，f l o w c o n t r o l ，m u l t i r o u t i n gm e c h a n i s m ，a n d1 0 a db a l a l i c e p e r f o r m a n c ee v a l u a t i o na n dc o n e l u s i o n a r e p r e s e n t e da tt h ef i n a lc h a p t e r s k e y w o r d s ：g r i d c o m p u t i n g ，g r i dc o m p u t e r ，c o m m u n i c a t i o np r o t o c o l ，g a t e w a y ， i n t r a g r i d 1 1 1 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果。就我所知，除了文中特别加以标注和致谢的地方外，论文中 不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名：锰佑日期：和口尹j ，尹 关于论文使用授权的说明 中国科学院计算技术研究所有权处理、保留送交论文的复印件，允许 论文被查阅和借阅；并可以公布论文的全部或部分内容，可以采用影印、 缩印或其它复制手段保存该论文。 作者签名： 翟移导师签名：马靶日期：沙一仁歹y 1 1机群及机群通信系统 第一章概述 机群是由完整的互连的计算机集合组成，作为一个统一的计算资源使用的系统。 机群系统作为多指令流多数据流并行计算机系统的一个分支在组织结构上比较简 单，即系统中的每一个结点是一个完整的、可独立使用的计算机，但在系统的可用性、 性能价格比、可扩展性以及可再利用性等方面比其他的系统有很大的优势，是目前并行 计算机系统中普遍使用的结构。 机群内结点间是松散耦合的，在逻辑上能够表现出紧耦合的关系，如机群操作系统 中的单一镜像系统，分布式共享存储系统中的单一逻辑地址空间等，但是需要作业管理 系统、机群通信系统等硬件和软件部件，否则一个结点不可能去管理、干预或与其它结 点进行交互。 在机群系统中，通信网络是系统的核心部件，机群的高性能并行计算环境需要通信 系统提供尽可能高的节点间通信性能，是影响整个机群系统的性能的关键部件之一。 机群系统的实现主要是通过软件来实现的，包括机群管理软件和机群并行计算环 境。机群管理软件主要是控制和管理机群上的作业，实现与大型机上的批处理和队列系 统等相同的功能。并行计算环境是机群为应用程序提供的支撑软件，为并行程序提供执 行环境和编程接口。 机群系统按照并行程序模型可分为两种结构，即消息传递结构和共享存储结构。消 息传递结构和共享存储结构的机群系统具有不同的通信机制，前者要在程序中处理通 信，而后者通信是透明的。消息传递模式的应用程序通过调用通信库函数来交换数据和 同步操作。消息传递结构相对来讲实现上比较简单，避免了实现中的数据一致性的问题。 由于系统总线与i o 总线的分离以及结点存储器总线不开放( 除少数存储器总线开放的 工作站) ，机群系统不能实现统一的物理空间，共享存储系统基本上是虚拟共享存储的 分布式共享存储系统，任何对远程结点存储器的访问可以看作是通信，但需要考虑数据 一致性等问题。目前标准化的消息传递库，如m p i ，已被直接用作编程语言的库或间接 用在科学计算的库中。 机群的研究项目有很多，比较有名的如s h r i m p 、n o w 、b e o l w u l f 、s c o r e 、 d a w n i n g 等，主要的研究方面包括并行程序环境、通信协议、机群互连技术、分布式 共享虚拟存储、网格计算、文件系统、操作系统的支持等。 机群通信系统是指连接机群系统各处理结点的通信硬件以及建立于其上的通信软 件，它主要的功能就是为各处理结点上应用程序的进程之间提供高效、可靠和有序的通 信服务。 i n t r a g i l l d 环境下机群通信系统互连机制的研究与实现 图1 - 1 机群通信系统硬件结构 机群通信系统一般由互连网络、网络接口和结点上的通信软件三部分构成，其中通 信软件又分为底层通信软件和高层通信软件。如上图所示，机群通信系统的硬件结构主 要由互连网络和网络接口两部分组成。前者实现机群结点间消息包的传递功能，要求具 有低延时和高带宽的特点，后者则是机群结点上层与下层互连网络之间的连接点。一般 分为从下到上四个层次： i ) 网络接口上的通信控制程序主要用于完成处理结点提交的消息包的发送和从互 连网络传来的消息包的接收，在网络接口没有嵌入式通信处理器的系统中，一般不存在 这一层次的通信软件。 2 ) 结点机上的网络接口驱动程序其功能是实现对网络接_ 口硬件的驱动以及通信资 源的管理和保护，在网络接口没有通信处理器的情况下，驱动程序通常还承担中断和系 统调用方式下通信过程的控制任务。 3 ) 底层通信库又称基本通信库，通常与通信控制程序和网络接口驱动程序合称为 底层通信软件，实现机群的底层通信协议。它建立于网络接口驱动程序之上，主要为高 层通信软件提供一些基本的通信原语，如点到点的通信功能。底层通信协议的性能通常 l o g p 、l o g g p 。1 模型评价。 4 ) 高层通信软件如m p i 和p 等，利用底层通信库的基本通信功能，为用户应 用程序提供一个基于消息传递的并行编程环境。 机群通信系统是机群的关键部件，直接影响着机群的性能和可扩展性，一直是机群 相关研究的热点之一。目前主要的机群互连网络有m n e t 【7 、q u a d r i c s 州、s c i t l 6 1 、 i n f m i b a n d t 4 0 】等。机群通信协议有用于高性能计算的用户级通信协议，如u - n e t ”】、 a m a m - h 1 8 ，4 、g m p 3 1 、v i e l 刀、b c l l 4 8 , 6 8 ，7 3 】等，用于事务处理，与t c p p 协议兼容的 的s o c k e t 接e l 的协议有f a s ts o c k e t s 靳1 、g ms o c k e t s t 2 2 1 、s o v i a t 4 3 1 、b c ls o c k e t s 删、和 i n f m i b a n dd s p t 4 叫等。 第一章概述 1 2网格及i n t r a g r i d 两格计算被人们认为是未来2 0 年内计算机技术的发展方向之一。初期的网格主要是 在科学计算和工程应用中共享高性能计算设备和存储设备的计算能力和存储能力，现在 把这种网格称为计算网格。从网格的出现到现在，高性能计算机和存储设备一直是其底 层的支撑环境，如何共享高性能设备的计算力和存储力，并在其上做大型应用程序的协 同工作，各行业以及地区的知识、信息、数据是该系统的数据源，用户不用考虑完成计 算和存储的设备的地理位置，更不用考虑使用平台的构成和属性，用户能够随时随地的 发出计算请求、存储请求以及知识查询并及时获得可靠的结果，是网格一直追求的目标。 计算网格作为一个完整的系统用于解决大型的跨领域的科学计算问题，相比传统的 多处理机系统，有很多鲜明的特征。高性能计算机、大型服务器成为计算网格的计算单 元和数据存储单元，计算( 存储) 单元异构，地理上分布较广。计算( 存储) 单元间通 信性能较低，系统的耦合度低于机群。系统除具有高可用，高可扩展等特性外，具有可 重构，自适应等动态特性。 网格( 包括计算网格、数据网格、知识网格、信息网格等) 的硬件软件构成不是完 全的相同，而是按照不同区域、不同应用领域组成自治的子网格或徼网格，子网格同时 遵循网格系统整体的标准；网格的建设也不是不同地区不同领域同时实施，一步到位， 是不断的扩大系统的规模、提供高级功能、提高系统的知识，不断的发展完善。 。 计算网格和数据网格实现计算力和存储力的共享，使分散的计算力和存储力能够组 成一个整体，解决更大规模的问题，提高对计算设备的利用率，也使人们从复杂的管理 和操作中解脱出来。然而，不同地区和领域内的团体对私有计算设备和存储设备的共享 以及协同工作的使用范围是不同的，需要严格限定在一定的范围之内。目前，既有作为 整个国家基础设施的网格，如美国的t a r a g r i d 和我国的高性能计算环境，作为整个企业 基础的企业计算平台，女 1 j 2 e e 、n e t 等系统，也有只是面向小规模的家庭或公司的微 网格平台。 不同的规模和应用环境，平台的基础架构不同，对其功能的要求也不同。仅在作高 性能计算和大规模数据存储的计算网格数据网格中，因为所做计算的内容和用途不同， 以及对设备的使用方式也不同，有分散的大量的短时间的个人用户计算，如网络搜索， 也有科研和工程中的长时间的高性能计算，如民用的气象预报，石油工业中的地质勘探， 军用的核爆模拟等，不会只有一个开放的大规模的计算平台。 对于小范围内安全和保密级别要求较高的应用环境，比如大型系统开发，需要多人 协作，各模块需要有独立的高性能计算机，整个系统也需要规模更大的计算设备，要求 很高的计算性能和存储能力，需要物理设备能够灵活放置让不同部门独立使用和管理， 并且能够联合所有计算设备计算超出任何现有单独设备计算能力的规模的问题。现有的 技术或解决方案存在成本较高，设备利用率低，管理和操作复杂导致人为故障较多等闯 i n t r a g r i d 环境下机群通信系统互连机制的研究与实现 题，一种网格计算机体系结构i n t r a g r j d 通过高速i p 网络短距离内互连分布的计算设 备和存储设备，主要是机群系统，实现资源共享和应用集中运行，是适合该类应用的基 础平台架构。 i n t r a g r i d 是中国科学院计算技术研究所提出的一种散耦合的网格计算机体系结构 的一部分。网格计算机体系结构的主要设计思想是“在冯诺伊曼体系结构不变的前提下， 将计算机系统中的资源进行重组，从资源、功能、服务的角度来定义网格计算机的部件” f 7 ”。i n t r a g r i d 实现分布的设备和数据在“网格资源层的共享”，为应用提供共享的计 算设备、存储设备等资源，和集中的计算模式和管理模式。 i n t r a g r i d 通信系统是i n t r a g r i d 的关键部件之一，是由网格网关( g r i dg a t e w a y ) 互连相互独立的机群通信系统组成支持分布式高性能计算的底层通信系统，如图1 2 所 示。 i n t r a g r i d 通信系统主要用于支持分布式高性能计算，向并行计算环境提供底层通 信协议，机群内部和机群问的所有结点都能够通过该协议相互进行通信。机群内部结点 间通信时，使用机群内部互连网络：机群间通信时通过g r i dg a t e w a y 在不同网络间转发 消息实现不同机群的消息进行通信。只有部分网关结点进行消息转发，机群间网络不连 接所有的机群内的结点，这种互连方式虽然限制了机群间结点通信的容量，但具有如下 特征，符合异地机群间远程通信的特征。 1 灵活性机群间的高速i p 网络互连机群的网关结点，网关结点数量不是固定的， 能够按照系统的需求动态的增加或减少，计算结点可以选择转发消息的网关结点。 出于安全性的考虑，不需要机群的所有结点对其它机群可见，只让网关结点可见即 可。甚至网关结点也能够不可见，需要设置登陆结点，做为与外部用户联系的唯一通路。 网关结点的数据包可以由登陆结点转发到异地机群。通过在登陆结点设置反向代理和防 火墙，登陆结点能把到达的消息转发给目标网关结点。 机群s a n 之间是独立的，因此机群内的通信不受其他机群通信的影响，本地机群既 能够进行本地小规模任务的计算，也能参与大规模的协作计算。 2 高性价比使用p 网络互连机群s a n 网，相比一个大规模的全互连s a n 网成 本要低很多，对于某些稀疏通信的程序，或者对于不频繁的长时间的大规模占用全部计 算资源的情况，全互联的s a n 造价会很高，而性能以及利用率并不比i n t r a g r i d 的多 网段互联的系统高出相应的比例。 3 可扩展性i n t r a g r i d 通信系统的可扩展性包括作为计算单元的单个机群规模 的扩展性和整个系统计算单元数量的可增长性。计算单元的扩展包括结点性能提高、结 点数量增加和s a n 网升级。计算单元的扩展会引起机群间通信量的增加，网关结点会限 制机群间通信性能，通过增加网关结点能够避免成为通信瓶颈。计算单元数量的增加会 引起p 网络通信容量的上升，为避免通信瓶颈的出现可以升级p 网络提升通信冗亮的上 限。 第一章概述 1 3 本文工作 图1 2i n t r a g r i d 通信系统网络互联结构 机群系统目前已经成为高性能并行处理系统中的主流结构，机群互连网络通信性能 己达到约1 0 g b s 的带宽。随着机群研究的成熟，另一个研究领域网格正成为研究的 热点。网格的目标是使分布的各种资源，尤其是高性能计算设备和存储设备集中共享， 结构更大规模更复杂的问题，并使用户能够方便的访问和使用这些资源。机群系统在世 界各地被大量地部署，其上的应用也不断增多，已经在网格中占有重要地位。如何释放 机群的计算能力，与异她的高性能计算机协同进行高性能计算成为研究高性能计算机的 一个重要课题。本文研究的对象是n t r a g r i d 结构的面向网格的高性能计算机中用于分 布式高性能计算的通信系统，主要工作包括： 1 提出了一种基于网关机制的i n t r a g r i d 通信系统结构，用于支持i n t r a g r i d 上的分 布式高性能计算。该结构使用若干网关结点连接多个通信网络实现机群间通信，具有统 一的机群内部和外部消息传递式的底层通信协议接口。 2 分析了g r i dg a t e w a y 设计和实现中的关键问题，对分布的多机群环境下的结点全 局标识和通信语义、n t r a g r i d 上多层次的流量控制机制以及多网关机制中的负载平衡 等问题进行了详细探讨。 3 实现了g r i dg a t e w a y 机群间通信协议，并移植了的m p i c h 计算环境。机群间通 信协议和机群内部底层通信协议使用统一的消息传递接口，能够方便地把单个机群上的 m p i c h 系统移植在i n t r a g r i d 多机群环境上。 4 对i n t r a g r i d 环境下的通信模式进行了研究，针对不同通信模式进行了性能测试 与评价。计算结点能够在本结点进行消息转发，称为近转发，或在机群内其它结点上进 行远转发。不同通信模式下性能不同，本文分别进行了分析和测试。 本文以后各章内容安排如下：第二章介绍网格相关的背景知识以及相关研究。重点 介绍了i n t r a g r i d 的系统以及i n t r a g r i d 通信系统的结构和特征。第三章给出了g r i d i n t r a g r i d 环境下机群通信系统互连机制的研究与实现 g a t e w a y 的总体结构和关键问题。第四章介绍了i n t r a g r i d 通信系统g r i ag a t e w a y 机制 的实现。该机制是i n t r a g r i d 中机群外部通信的关键。第五章给出了i n t r a g r i d 机群间通 信系统和其上网格使能的m p i c h 的性能分析。第六章总结全文给出结论。 第二章网格及格点间互连 随着高性能计算应用需求的迅猛发展，单台高性能计算机已经不能很好胜任一些超 大规模应用问题的解决，同时，大量已经存在的计算资源和科学仪器的利用率还不高。 需要将地理上分布的、系统异构的多种计算资源通过高速网络连接起来，以共同解决科 学计算等大型应用问题，网格技术正是为解决该类问题而产生。 在i n t e r n e t 如同公路一样蔓延到每个用户以后，人们在办公和生活上沟通协作时已经 离不开网络。网络上汇集的大量资源，包括重要的行业数据、计算设备、软件、贵重设 备等，已经可以成为从一个侧面衡量一个国家一个地区发达与否的标准。把大量资源有 计划的可控制的共享和传播，为部门、企业和个人提供服务成为今后网络计算的目标。 网络计算在传统的i n t e m e t 计算的基础上向不同的方向发展。目前的i n t e m e t 基础技术已经 不能够满足用户对资源的充分利用，现有资源并没有被更充分的利用，而且按照现有架 构去继续扩大资源从成本和利用率上都不是理想状况。i n t e m e t 上这种资源不断膨胀却缺 乏统一的管理，网络规模不断壮大却很难统一的综合利用的状况成为目前制约资源共享 和协同工作的重要原因。如何减少用于对网络资源利用的限制发挥网络资源的规模优势 是学术界共同关注的问题。 网格的目标是让资源共享、分布的设备间能够协同工作，让用户能够随时随地的使 用网格上的资源，用于解决i n t e m e t 的诸多问题，被认为是下一代的i n t e m e t 。在网格技术 中，计算网格是其中重要的一类。网格的发展从初期的元计算，到虚拟组织( v i r t u a l o r g a n i z a t i o n ) ，到现在的面向服务的概念，计算网格中的重要资源，高性能计算设备和 存储设备，一直是基础架构中的重要部分，是大规模复杂应用的计算平台。因此，在以 机群结构为主导的高性能计算机领域中，具有网格应用特征的高性能计算机是今后的重 要研究方向。本章首先介绍网格和计算网格，然后说明中科院计算所的网格计算机中的 i n t r a g r i d 体系结构及其用于分布式高性能计算的i n t r a g r i d 通信系统，最后对介绍本文 的相关研究。 2 1网格与格点互连 2 1 1 网格及其特征的简述 网格研究从1 9 9 5 年i w a y ”】年项目开始，对于网格的定义也在变化，1 9 9 8 年时网格 最初被定义为“提供对高端计算力相关、一致、广泛且廉价使用的软硬件基础设施”， 2 0 0 0 年在 2 8 中网格的定义调整为是用来“在动态变化的多个虚拟机构间共享资源和协 7 i n t r a g r i d 环境下机群通信系统互连机制的研究与实现 同解决问题。”2 0 0 2 年在 3 0 中，对网格定义做了具体的限定，必须同时满足三个条件： ( 1 ) 在非集中控制的环境中协同使用资源；( 2 ) 使用标准的、开放的和通用的协议 和接口；3 ) 提供非平凡的服务。相对于以上严格的定义，有不少人赞同广义的网格 定义，把网格称为巨大的全球网格( g r e a tg l o b a lg r i d ) 。 在不需要严格界定网格时，网格可以看成是一个由计算资源、存储资源等集成的资 源池，能够充分吸收各种资源，转化为随处可得、可靠的、标准的、经济的计算力。网 格利用互连的网络把分散在不同地理位置的计算资源组织成一台“虚拟的超级计算机”， 实现计算资源、存储资源、数据资源、信息资源、软件资源、通信资源、知识资源、专 家资源等的全面共享与协作，实现互联网络上所有资源的全面连通。每个用户都能参与 到网格中，能够很方便的使用公共的计算能力。 网格所解决的关键问题是“在动态、多机构的虚拟组织中协作式的资源共享和求解 问题” 2 7 1 。网格关心的共享并不仅仅指是文件交换，而是对计算机、软件、数据和其 它资源的的直接访问，这正是出现在工业、科学、工程中的许多合作式解决问题和资源 代理策略所需要的。这种共享必须被高度控制：资源提供者和消费者清楚并小心的定义 共享什么，允许谁共享及共享发生的条件。这样的共享规则定义的一组个人及机构形成 了所谓的一个“虚拟组织”( v i r t u a lo r g a n i z a t i o n ，简称v o ) 。 网格作为先进的重要基础设施，在资源共享、互连互通、应用服务等方面与传统的 i n t e m e t h = 2 m i n ( m n ) l r e c v 结构中 的其他域： l e n g t h ： 接收数据的字节长度 3 7 i n t r a g r i d 环境下机群通信系统互连机制的研究与实现 b u 赶h ： s e n d e rn o d ei d ： s e n d e r j o o r t _ i d ： t y p e ： 所需接收缓冲的尺寸标记 调用g m - p r o v i d e _ r e c e i v eb u f f e r ( ) 时传递的b u f f e r 指针 发送方结点i d 发送方端口i d p e e r 类型h i g h 类型 g m f a s t r e cv e v e n t 、 g m ，k s t _ h i g hr e c 里v e n t 、 g m _ f a s t _ _ p e e r _ r e c v _ e v e n t 、 g m _ f a s t _ h i g h _ p e e r _ r e c v e v e n t 这些事件类型表示接收到了一个长度较小的消息，它被存放在接收队列所指示的 位置以提高小消息性能。p e e r 年i i h i g h 的意思同上。注意尽管接收数据没有放置在 接收缓冲中，用户程序还是应该在接收之前提供合适的接收缓冲以便接收可以进行， 并且此缓冲在f a s tr e c e i v ee v e n t 至o 达时被还给用户。如果用户想接着调用g mr e c e i v e ( ) 且想不丢失数据则应该调用g i n _ m e m o r i z e _ m e s s a g e ( ) 将消息拷贝到缓冲中。 g m n o e v e n t 表示接收事件队列中没有新事件产生。 g m _ s e n t _ e v e n t 此类型事件表明发送完成。e v e n t - s e n t 。m e s s a g e _ l i s t 指向一个以m 儿l 结尾的v o i d 指针数组，它是以前g m _ s e n d ( ) 调用中的那些消息指针的链表。对应该数组中的每个 指针有一个发送令牌隐式地还给用户。 对收到的事件要进行分支处理，下面的例子结构是该通信协议接收消息时通常的处 理流程。， w h i l e ( 1 ) g m _ e v e n t _ t + e ； e = g m _ r e c e i v e ( & m y _ p o r t ) j s w i t c h ( e 一) r e c v t y p e ) ， l c a s eg mf a s th 工g hp e e rr e c ve v e n t ： g m _ p r o v i d e r e c vb u f f e r ( a m y _ p o r t ， g m _ n t o p ( e 一 b u f f e r ) ， e 一) 8 1 z e je 一 p r l o r l c yj ； b r e a k j c a s eg mf a s tp e e rr e c ve 、，e n t ： g m _ m e m o r i z e _ m e s s a g e ( e 一 b u f f e r t e 一 m e s s a g e ，e 一 l e n g t h ) ； c a b eg mr e c vp e e re v 肼t ： g m _ p r o v i d e _ r e c vb u f f e r ( & m y _ p o r t ， s o m eb u f f e r ，e 一 s i z e ， e 一 p r i o r i t y jj b r e a k j c a s eg mn or e c ve v e n t ： b r e a k i 第四章g r i dg a t e w a y 的设计与实现 c a s e g m s e n t e v e n t ： b r e a k j d e f a u l t ： g m _ u n k n o w n ( & m y _ p o t t ，e ) j ) ) 任何应用程序不能识别的接收事件将立刻传递给g i n()过程。它将释放_uilklown 所有与此事件相关的资源。同样未定义的事件类型也将由应用所接收并n g mu n k n o w n ( ) 处理。 将小消息防止在接收队列中的原因有以下几点： 1 大量的小消息是可以被迅速处理完毕的控制消息，不需要拷贝到d m a 缓冲中。 2 对于小消息，执行d m a 操作传输的开销要比将它放置在接收队列中大得多，因此 将小消息放在接收队列中能提高系统性能。 为了防止相同死锁，用户程序必须确保对任何潜在的可能接收到的消息提供一个接 收令牌( 在一定时间内) 。这意味着每次成功地调用g i n ()后，用户程序应该_receive 在下次调用g m _ r e c e i v e ( ) 或者g m _ s e n d ( ) 之前先需要调用g mp r o v i d e r e c e i v e _ b u f f e r ( ) 提交该接收令牌及缓冲区。如果这样一个死锁条件存在的时间过长此端口会被关闭。 5 定时管理机制g m 提供了几种方便的定时通知函数。这些函数允许用户在 一定时间后调用回调函数。定时器的设置个数不受限制但是其带来的开销将按个数增加 线性增长，并且用户必须为每个定时器提供存储空间。 g i n _ i n i t i a l i z e _ a l a r m ( g i n _ a l a r mt 。) 负责初始化一个用户已经分配好空间的 g m _ a l a r m _ t 结构。调用该函数之后就可以调用g i n _ s e t _ a l a r m ( ) 和g i n _ c a n c e l _ a l a r m ( ) 。 g m _ s e t _ _ a l a r m ( ) 设定在指定长度的时间以后调用回调函数。g m _ c a n c e h a l a r m ( ) 取消 一个已经被调度过的定时器，如果未被调度则默认无操作。 41 2 机群间通信协议 4 1 3 通信模式 机群间通信的模式和机群内通信模式基本相同，仍保持原有的端口间无连接的通信 机制，支持s e n d r e c e i v e 和r d m a 操作，用于接收和发送的d m a 缓冲区需要注册或显式 分配。机群间通信的函数是机群内通信函数的子集，其余的函数不受通信模式的影响， 如定时管理机制，内存h a s h 和l o o k a s i d e 机制管理等函数仍可以使用。 机群间通信函数集中一些函数的参数与机群内通信时对应函数的参数不同，为保持 对现有的g m 上的程序兼容，机群间通信函数使用了新的函数名称，使用这些函数进行 机群内通信时，与原有的机群内通信函数完全相同。 在机群问可传送的最大消息长度为1 m 字节，该长度是g m 上m p i c h 传递消息时的最 大数据分片长度。因为底层协议的机群间通信主要是支持m p i c h ，并且由于g m 接收方 i n t r a g r i d 环境下机群通信系统互连机制的研究与实现 采用预分配缓冲区的策略，支持更大的消息长度没有必要，并且带来g r i dg a t e w a y 上网 关程序的缓冲区浪费和管理复杂等问题。机群间通信时同样保证同一端口发送的多个相 同优先级的消息按顺序到达目标端口。不同优先级的消息不会相互阻塞。 机群间通信时也使用令牌控制流量，但与机群内通信不同，这里使用机群内通信时 的令牌控制从计算结点往网关结点的数据传递，在源计算结点到目标计算结点整个路径 上使用另外一组令牌控制。该组令牌对用户不可见，当发送一个数据到网关时，端口交 出该令牌，只有收到发向网关数据的发送返回事件才重新拥有该令牌。 4 1 3 1 基本通信过程 1 初始化通信前打开端口的函数g mo p e n ( ) 与是否进行机群间通信无关， 没有变化。但增加了g m _ g g w _ n o d ei n i t ( g m a d o r t _ t + p o r t ，c h a r + g w _ n a m e ) 函数，p o r t 是己打开的端口，g w是转发该端口消息的网关结点主机名。该函数需要紧接在_name g m()之后调用，网关结点是用户指定的，这是使用静态负载平衡的原因。_open 该函数初始化用于机群间通信的端口，在网关程序上注册该端口为打开状态，并且 得到向端口发送控制消息的缓冲环首地址和其它信息，用户端口方同样从网关得到发送 控制消息的缓冲环首地址，以及本地机群和远程机群的主机名和全局表。 2 消息发送 向远程机群发送消息提供了g m _ g g w _ s e n dw i t hc a l l b a c k ( ) 和 g mg g w( ) 两个函数，前者是普通的消息收发操作，后一_ d i r e c t e d s e n dw i t hc a l l b a c k 个函数，直接写远端进程地址空间的指定区间，也称作r d m a 操作。这些接口与 g i n _ s e n dw i t hc a l l b a c k ( ) 和g m _ d i r e c t e d _ s e n dw i t hc a l l b a c k ( ) 有以下几点不同： a ) 使用全局d 标识目标结点。用户发送前要得到目标结点全局d ，使用 h o s tn a m eg l o b a li d ( ) 等函数在机群主机名表中能够查到，该主机名表是在初始化时 从网关进程得到的。在m p i c h 中，m p ii n i t ( ) 初始化时建立了进程r a n d 到全局i d 的映射关系，所以不需要