（信号与信息处理专业论文）集群计算系统光互连网络研究.pdf

重庆邮电人! 学硕十论文 摘要 摘要 随着我国经济的高速发展，许多领域对大规模、超大规模计算系统处理性能 的要求越来越高。提高计算系统性能的一个重要途径就是采用并行处理技术。集 群( c l u s t e r ) 系统是并行处理系统的一种重要体系结构。它由工作站或高性能微 处理机通过高速互连网络连接而成，是构成未来高性能计算系统和超级服务器的 主要硬件平台。在高性能计算系统的发展过程中，集群( c l u s t e r ) 由于可扩展性 强，性价比高等优势已逐步发展成为当今世界高性能计算机的主流体系结构。 集群系统节点数的增加和单机微处理器速率的增加要求集群互连网络具有 超大容量、交换快速的性能特点。传统的电互连方式受“电子瓶颈”的影响，其 传输和交换速率已接近理论极限，不可避免的在带宽、交换速度等方面阻碍了并 行处理能力，阻碍了集群系统整体性能的进一步提高。光互连具有高带宽、低延 迟、转发速度快等优点，能够突破电互连的“电子瓶颈”限制，成为集群系统互 连网络发展的一个必然趋势。 本文针对上述问题，将高速光互连网络技术应用于集群计算系统的互连网 络，在课题组前期工作的基础上，进行了基于光交叉连接( o x c ) 的集群光互连 网络系统设计。 作为重庆市教委科技攻关项目机群互连系统中的光网络技术研究( 项目 编号：0 2 0 5 0 6 ) 中的一个子课题，本文在对集群系统的关键技术和对光互连中的 光传输和光交换进行探讨分析的基础上，构建了基于光互连网络的集群计算系统 实验平台，进行了实验系统测试改进，并在此基础上提出种基于光交叉连接 ( o x c ) 的实现超高速、超大容量数据交换的集群光互连网络系统，并对系统性 能进行了仿真分析。 本文研究的主要内容如下： 1 分析了集群计算系统中关键技术，并结合集群系统互连网络，对光互 连网络技术中的光传输和光交换技术进行了探讨。 2 设计了一个具体的光互连集群计算实验系统并对实验系统测试进行了 改进。 3 提出一种基于光交叉连接( o x c ) 的实现超高速、超大容量数据交换 的集群光互连网络系统，并对系统性能进行了分析。 关键词：集群光交换 光交叉连接光互连 重庆邮电火学顺十论文摘要 a b s t r a c t w i t ht h ed e v e l o p m e n to fe c o n o m yi no u rc o u n t r y , t h er e q u i r e m e n t sa r ei n c r e a s i n g f o rt h ep r o c e s s i n gp e r f o r m a n c eo fl a r g es c a l e ，g r a n ds c a l ec o m p u t i n gs y s t e mi nm a n y f i e l d s a ni m p o r t a n tw a yo fi n c r e a s i n gt h ep e r f o r m a n c eo fc o m p u t i n gs y s t e mi st h e a d o p t i o no f p a r a l l e lp r o c e s s i n gt e c h n o l o g y c l u s t e rs y s t e mi sa r li m p o r t a n ta r c h i t e c t u r e o fp a r a l l e lp r o c e s s i n gs y s t e m i tc o n n e c tw o r k s t a t i o na n dh i g hp e r f o r m a n c ec p u s w i t hh i g h - s p e e di n t e r c o n n e c t i o n ，i ti st h ep r i m a r yh a r d w a r et h a tm a k eu po ft h eh i g h p e r f o r m a n c ec o m p u t i n gs y s t e ma n ds u p p e rs e r v e ri nf u t u r e i nt h ed e v e l o p m e n to fh e h i g hp e r f o r m a n c ec o m p u t i n gs y s t e m ，t h ec l u s t e rb e c o m e st h ep r i m a r ya r c h i t e c t u r eo f h i g hp e r f o r m a n c ec o m p u t i n gs y s t e mf o ri t sh i g he x p a n s i b i l i t ya n dp e r f o r m a n c e p r i c e r a t i o t h ei n c r e a s i n go ft h ea m o u n to fc l u s t e rs y s t e mn o d e sa n dt h ec o m p u t i n gs p e e do f c p u sr e q u i r et h a tt h ei n t e r c o n n e c tn e t w o r ko fc l u s t e rh a st h ep e r f o r m a n c eo fg r a n d c a p a b i l i t ya n dh i g h s p e e ds w i t c h t r a d i t i o n a le l e c t r o n i ci n t e r c o n n e c t i o nh a sb e e n a f f e c t e d b y 。e l e c t r o n i cc h o k ep o i n t ，i t ss p e e do ft r a n s m i s s i o na n ds w i t c hh a d a p p r o a c h e dt h el i m i to f t h e o r y i ti n e v i t a b l yb l o c k st h ea b i l i t yo f p a r a l l e lp r o c e s s i n gi n b a n d w i d t ha n ds w i t c hs p e e d ，a l s ol i m i tt h ea d v a n c eo ft h ep e r f o r m a n c eo fc l u s t e r s y s t e m o p t i c a li n t e r c o n n e c t i o nh a st h ev i r t u eo fh i 【g hb a n d w i d t h ，l o wd e l a ya n ds p e e d s w i t c he t c ，i tc a nb r e a kt h r o u g ht h el i m i to f e l e c t r o n i cc h o k ep o i n t o fe l e c t r o n i c i n t e r c o n n e c t i o n ，i tb e c o m et h ec u r r e n to ft h ed e v e l o p m e n to fi n t e r c o n n e c tn e t w o r ki n c l u s t e rs y s t e m b a s e do nt h o s ep r o b l e m s ，t h i sp a p e ra p p l yt h eh i g h s p e e do p t i c a li n t e r c o n n e c t n e t w o r kt e c h n o l o g yt ot h ei n t e r c o n n e c t i o ni nt h ec o m p u t i n gs y s t e mo fc l u s t e r b a s e d o nt h ep r e v i o u sw o r ko fo u rr e s e a r c hg r o u p ，t h eo p t i c a li n t e r c o n n e c t i o ns y s t e mo f c l u s t e ri sd e s i g n e db a s i n go no x c s u p p o n e db yt h er e s e a r c hp r o j e c to fe d u c a t i o nc o m m i t t e ei nc h o n g q i n g - - ”t h e r e s e a r c ho n o p t i c a l n e t w o r k t e c h n o l o g y i nc l u s t e ri n t e r c o n n e c t i o n s y s t e m ” ( n o 0 2 0 5 0 6 ) ，ac o m p u t i n gs y s t e mo fc l u s t e ru s i n go p t i c a li n t e r c o n n e c t i o nt e c h n o l o g y i sd e s i g n e di nt h i sp a p e r , a n di m p r o v et h em e t h o d eo ft h et e s to ft h i ss y s t e m ，b a s e do n t h ed i s c u s s i n go ft h ek e yt e c h n o l o g yo fc l u s t e rs y s t e ma n dt h et e c h n o l o g yo fo p t i c a l t r a n s m i ta n ds w i t c h a n da l s ob a s e do nt h ef a c ta b o v e ，a no p t i c a li n t e r c o r m e c t i o n s y s t e mo fc l u s t e ri sp u tf o r w a r db a s i n go no x c ，a n dt h ee m u l a t i o na n da n a l y s i st o i l 重庆邮l u 人学硕： ：论文 摘要 c a p a b i l i t yp a r a m e t e ro f t h es y s t e mi sc o m p l e t e d t h i sp a p e ri so r g a n i z e da sf o l l o w ： 1 t h ek e yt e c h n o l o g yo ft h ec l u s t e rc o m p u t i n gs y s t e mi sa n a l y z e d ，t h e t e c h n o l o g yo fo p t i c a lt r a n s m i s s i o na n do p t i c a ls w i t c hi no p t i c a li n t e r c o n n e c t i o n i sd i s c u s s e db a s i n go nt h ei n t e r c o n n e c t i o no fc l u s t e r 2 a na p p l i e de x p e r i m e n ts y s t e mo fo p t i c a li n t e r c o n n e c t i o nc l u s t e ri sd e s i g n e d ， a n di m p r o v et h em e t h o d eo f t h et e s to f t h i ss y s t e m 3 b a s e do no x c ，a no p t i c a li n t e r c o n n e c t i o ns y s t e mo fc l u s t e ri sp u tf o r w a r d ， w h i c hc a nr e a l i z et h ea b i l i t yo fh i g h s p e e da n dg r a n dc a p a b i l i t ys w i t c h ，a n dt h e e m u l a t i o na n da n a l y s i st oc a p a b i l i t yp a r a m e t e ro f t h es y s t e mi sc o m p l e t e d k e y w o r d s ：c l u s t e r o p t i c a ls w i t c h o x c o p t i c a li n t e r c o n n e c t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。掘我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得重鏖整电盔堂或其他教 育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 智毒锋 签字日期：切年j 月曰 学位论文版权使用授权书 本学位论文作者完全了解重麽邮生盔堂有关保留、使用学位论文的规 定，有权保留并向国家有关部l 、1 或机构送交论文的复印件和磁盘，允许论文被查 阅和借阅。本人授权重送业鱼太堂 可以将学位论文的全部或部分内容编入 有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论 文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 嚏f 之哗 导师签名： 魂孵瑞 签字日期：咖年f 月阳日签字日期：o 一年多月7 。日 重庆| 1 1 1 i 电人学硕十论文引言 弓 目 随着我国经济的高速发展，许多领域( 如石油勘探、环保与气象、国防工业、 生物信息学、商务计算、科学与工程计算等) 对大规模、超大规模计算系统处理 性能的要求越来越高，为了适应社会的发展需求，高性能计算系统作为一个较新 的领域日益受到科研人员的重视。 由于电子信号的最大传输速度是有限的，光靠加速电子部件的速度来改善计 算机的性能以满足用户对计算机愈来愈高的要求是不可能的。提高计算机性能的 一个重要途径就是采用并行处理技术。并行处理是一种有效的强调开发计算过程 中并行事件的信息处理方式，它是- - 1 3 综合性较强的学科，涉及的内容包括算法、 语言、软件和硬件等方面，这几方面互相联系，互为条件，互为保证。由于并行 性蕴涵着提高信息处理速度和解决大规模问题的巨大潜力，展现出由多个处理机 组成更大计算机系统以及幽超大规模集成电路组成计算机的前景，因此对于并行 处理技术的研究在最近20 多年一直是计算机技术领域内的重大课题之一。 集群( c l u s t e r ) 系统是并行处理系统的一种重要体系结构。它由工作站或 高性能微处理机通过高速互连网络连接而成，是构成未来高性能计算系统和超级 服务器的主要硬件平台。集群互连系统中的高速互连网络可以采用现有的成熟技 术，也可以是自行开发的效率更高、速率更快的高速网络。在高性能计算系统的 发展过程中，集群( c l u s t e r ) 由于可扩展性强，性能成本比高等优势已逐步发展 成为当今世界高性能计算机的主流体系结构。因此，研制高性能的集群计算系 统适应了社会当前的发展需求，同时也具有重大的现实意义。 在集群计算系统研究方面，研究的一个侧重点在于如何减少节点机间的通信 开销，另一个侧重点是有关集群计算系统的工作环境。关于前者，目前主要是从 以下两方面着手：是使用新的高速网络，如a t m 、快速e t h e m e t 、f d d i ( f i b e r d i s t r i b u t e dd a t ai n t e r f a c e ) 以及自行设计的专用互联网，如m y r i n e t 等；二是设 计新的精简通信协议，减少传统通信协议的层次，以减小通信开销。关于后者的 研究主要涉及编程环境、任务调度、负载平衡以及全局资源的管理和使用等【2 1 。 在集群系统的互连网络方面，节点数的增加和单机中微处理器速率的增加都对互 连网络的性能提出了更高的要求。集群系统互连网络般都采用电互连网络，虽 然网络技术的进步使得集群系统的通信瓶颈得到有效的缓解，但随着超大规模并 行技术的要求不断提高，要求网络具有超大容量，交换快速的特点，而传统的电 互连方式中的传输和交换设备受电子器件固有的性能缺陷( 如固有的r c 参数、漂 移、串话等缺点) 的影响，其传输和交换速率己接近理论极限，即存在着所谓的 “电子瓶颈”，不可避免的在带宽、交换速度等方面阻碍了并行系统的并行处理 重庆邮电人学硕十论文 引言 能力，它从根本上阻碍了集群系统整体性能的进一步提高。因此，解决集群计算 系统互连网络的“电子瓶颈”就成为了进一步提高系统性能的关键。光互连具有 高带宽、低延迟、转发速度快等优点，能够突破电互连的“电子瓶颈”限制，全 面提高集群互连网络的性能，从而大幅度改善集群系统的整体性能，成为集群系 统互连网络发展的一个必然趋势。将光互连技术引入集群系统中不仅希望光互连 技术可以为集群系统带来高带宽，而且希望光互连技术灵活的可重构性解决处理 器之间的通信协议问题，达到简化协议管理、减少通信延迟、缓解网络传输瓶颈 的目的。在多机系统中，计算节点之间的传输距离在几米到百米的范围。在这样 的互连距离上，光纤互连可以充分地发挥它地优势。由于集群系统对互连网络的 要求是高带宽、低延迟，所以集群系统的网络性能提高的主要方向就是增加传输 速率和带宽，减少网络和交换器件中的延迟。 本论文正是基于这样的一个国际国内背景，从重庆市教委科技攻关项目机 群互连系统中的光网络技术研究( 项目编号：0 2 0 5 0 6 ) q b 发展出来的一个子课题。 该项目的研制主要集中在集群计算系统光互连网络方面，并着重对光互连中的光 传输和光交换进行理论分析，同时对集群系统的关键技术进行了探讨，在此理论 基础上构建了基于光互连网络的集群计算系统实验平台，进行了实验系统测试改 进，并在此基础上提出一种基于光交叉连接( o x c ) 的实现超高速、超大容量 数据交换的集群光互连网络系统，并对系统性能进行了仿真分析。 本论文的具体内容安排如下： 首先在第一章对集群计算系统关键技术进行了介绍：然后在第二章对集群计 算系统光互连网络技术中的光传输和光交换技术进行了重点讨论；在前两章的基 础上，第三章设计实现了集群计算系统的实验方案，对实验系统测试进行了改进， 并提出了基于光交叉连接的集群光互连网络系统，并对集群计算系统光互连网 络的性能进行了分析：在第四章对光互连网络的应用进行了展望。 重庆邮电人学硕十论文第一章集群计算系统关键披术 第一章集群计算系统关键技术 1 1 集群系统概述 为了满足日益增长的高速计算要求，采用并行计算已迫在眉睫。传统上，人 们只有采用巨型机才能构造高性能并行的计算系统，但随着工作站性能、p c 机 性能的提高和网络技术的发展，并行计算领域出现了三大新的方向：对称多处理 机系统s m p ( s y m m e t r i cm u l t i p r o c e s s o r s ) ，大规模并行处理m p p ( m a s s i r e l y p a r a l l e lp r o c e s s o r s ) 和集群( c l u s t e r ) 。s m p 技术已在商业中应用成功，支持 s m p 的操作系统有s u n 公司的s o l a r i s ，a t & t 的u n i xs y s t e mv 4 o m p 版本，d g 公司的d g u x 等。但是，s m p 技术支持的c p u 数目有限，除非针对特别的应用， 很少有s m p 产品能支持3 2 个c p u 。所以，通过s m p 技术实现成百上千个c p u 互 连的难度较大。 m p p 系统能提供很高的性能，但并未取得巨大成功。m p p 并行机早期采用专 用的c p u 芯片，后来逐步被常用的工作站芯片所替代，即便如此，m p p 并行系统 中的节点机并没有运用工作站的技术和产品，如工作站i o 系统、主板和操作系 统。m p p 系统中各节点机具有明确的分工：一些节点机专用于i o 服务，一些节 点机专用于完成计算功能，各节点机通过专用的高速网络互连起来。由于其专用 性，为了开发支持软件和互连机制，需要巨大的初期投资，而市场风险太大，m p p 系统常常缺乏必要的投资。又因为m p p 系统实现周期长，其节点机c p u 往往不能 采用最新的产品，加之很少有程序员能拥有m p p 环境，故m p p 支持软件更显缺乏。 因此，m p p 系统通常成本高，缺乏灵活性，升级、维护困难【3 j 。于是，近年来人 们开始研究一种新的并行计算系统，即集群系统。 1 1 1 集群系统的定义 集群( c l u s t e r ) 定义：组相互独立的服务器在网络中表现为单一的系统，并 以单一系统的模式加以管理【2j l 。 简单的说，集群实际上就是一组计算机，它们作为一个整体向用户提供组 网络资源。这些单个的计算机系统就是集群的节点( n o d e ) 。集群能在同一时间内 执行多条指令或处理多个数据，它是并行计算的物理载体，通过下面对并行计算 机的不同分类方式可以对它有一个总体上的了解。 从物理划分上共享内存和分布式内存是两种基本的并行计算机存储方式除 此之外分布式共享内存也是一种越来越重要的并行计算机存储方式。 重庆邮电人学硕 ：论文第一章集群计算系统关键技术 根据一个j f 行计算机能够同时执行的指令与处理数据的多少可以把并行计 算机分为s i m i ) ( s in g l e i n s t f u c t i o r lm u l t i p l e d a t a ) 单指令多数据并行计算机 和m i m d ( m u l t i p i e i n s t r u c t o nm u l t i p i e d a t a ) 多指令多数据并行计算机。 s m d 和m l m d 这种表达方法虽然至今还在广泛使用，但是，随着新的并行计 算机组织方式的产! 匕，比照上面的划分方法，人们按同时执行的程序和数据的不 同，又提出了s p m d ( s i n g l e p r o g r a mm u l t i p l e d a t a ) 单程序多数据并行计算机 和m p m d ( m u l t i p l e p r o g r a mm u l t i p l e d a t a ) 多程序多数据并行计算机，依据的 执行单位不是指令而是程序，显然其划分粒度要大得多。如果一个程序的功能就 是为一个矩形网格内的不同画片涂上相同的颜色，则对于一个划分得很细的特大 矩形画片，可以将它划分为互不交叉的几个部分，每一部分都用相同的程序进行 着色。s p m d 并行计算机可以很自然地实现类似的计算，一般地，s p m d 并行 计算机是由多个地位相同的计算机或处理器组成的，而m p m d 并行计算机内计算 机或处理器的地位是不同的，根据分工的不同，它们擅长完成的工作也不同。因 此，可以根据需要将不同的程序任务放到m p m d 并行计算机上执行，使得这些程 序协调一致地完成给定的工作。 一个理想的集群是，用户从来不会意识到集群系统底层的节点，在他们看来， 集群是一个系统，而非多个计算机系统。并且集群系统的管理员可以随意增加和 删改集群系统的节点。 集群系统由节点和计算机网络组成，再配置上全局软件，是一种松散耦合的 多机系统。通过各节点的并行运行，可以实现高性能的分布式计算。互连各节点 的网络可以采用通用网络如以太网、f d d i 、快速以太网，甚至更高带宽的h i p p i 和a t m ，现在更为流行的是m y r i n e t ，o s n e t ，g i g a n e t 和s c i 这些专用网络。因 为各并行分布任务间通信量大，网络负载较重，采用低速网络会直接影响应用的 性能，采用高速网络，应用性能将明显提高。节点之间为了协同运行，系统需要 运行全局的任务划分和调度算法，所有资源的分配算法，以及消息传送软件来实 现节点间的并行计算。同时，集群系统还应提高并行编程环境和系统维护等功能。 在用户看来，集群系统是一个超级并行计算环境，意识不到多节点及网络的存在。 1 1 2 集群系统的优点 集群系统与大规模并行处理器相比较有以下优点【4 1 【5 1 ： 集群系统能够实现负载平衡，负载平衡集群允许系统同时接入更多的用户。 以w e b 月e 务器为例，在一个集群结构的服务器组中，必然有一台服务器充当管理 者( c l u s t e rm a n a g e r ) 的角色，它最先收到用户发来的h t t p 、f t p 或其它类型的 w e b 请求，然后判断集群中哪台服务器的负载最轻，就把这个请求发送过去，在 重庆邮电火学顶十论文第章集群计算系统芙键技术 用户访问率较低时，这种负载平衡表现不会很明显，而一旦用户的请求量增大后， 那么这种优势就会显现出来。 集群系统的容错性好，集群中的一个节点失效，它的任务可以转移给其他节 点。可以有效防l l 单点失效。当集群管理服务器发现集群中有一个节点出现故障， 那么它会将连在该节点上的连接重定向到其他节点机上。在重定向的过程中，有 时会出现一些连接丢失的现象，因此重定向过程的时间长短以及用户连接丢失的 比率是考核该集群系统的一个重要依据。同时，由于采用了一种松散耦合的模式， 集群中的各个节点机使用t c p i p 或其他网络协议通过标准的网络设备连接在一 起，可以非常方便地添加或更换集群中的单个节点机，因此松散耦合的集群系统 有较好的可扩展性。 集群系统的资源利用率高、用户投资风险小。目前工作站或高档微机中c p u 性能比超级计算机和m p p 中c p u 性能增长快。这样，整个系统的性能也将呈迅速 发展趋势：配置很大内存的工作站可用相当合理的价格买到：许多公司已安装了 大量可作分布计算的工作站或高档微机，这样，用户的先前投资能够得到保护： 集群系统投资风险小，并且这种松散耦合的结构扩展性好。只要互连网络的带宽 高、延迟小，当系统规模扩大时，仍然能够保持较高的加速比和效率。 集群系统具有良好的性能可扩展性( s c a l a b i l i t y ) ，对集群的研究就起源于 此。提高c p u 主频和总线带宽是最初提供计算机性能的主要手段。但是这一手段 对系统性能的提供是有限的。接着人们通过增加c p u 个数和内存容量来提高性 能，于是出现了向量机，对称多处理机( s m p ) 等。但是当c p u 的个数超过某一阀 值，象s m p 这些多处理机系统的可扩展性就变的极差。主要瓶颈在于c p u 访问内 存的带宽并不能随着c p u 个数的增加而有效增长。与s m p 相反，集群系统的性能 随着c p u 个数的增加。 另外，集群系统比起传统的并行处理系统还有高的性能价格比、开发周期短、 编程方便等几个明显的优点。 1 1 3 集群系统的分类 我们使用4 个互不相关的属性对集群进行分类h 1 ：组装方式、控制、同构性、 安全性。为了体现集群定义的主流和简单性，我们规定每个属性有两个值，如表 l - 1 所示。 眶庆邮电人学硕十论文 第一章集群计算系统芙键技术 表1 1 集群分类中使用的属性 属性 属性值 组装方式 紧密松散 控制 集中分散 同构性 同构异构 安全性 隐蔽暴露 1 组装方式 集群的各个节点可以紧密或松散地组合在一起。这里提及的紧密和松散概念 是相对地理位置而言的。在紧密集群中，节点被较接近地组装在一个或几个同处 一室内的机架中。节点不与外围设备( 显示器、键盘、鼠标等) 相连。在松散集群 中，节点仍与各自的外围设备相连( 例如，它们是完整的s m p 系统，或工作站， 或p c ) ，它们可以在不同的房间内，不同的建筑物中，甚至在地理上相隔遥远的 场所。 组装方式直接影响了通信线路的长度，以及互连技术的选择。紧密集群可使 用通常是专有的高带宽、低延时的通信网络，而松散集群的节点一般通过局域网 或广域网进行互连。 2 控制 一个集群可采用集中控制或管理与非集中控制或管理两种方式。紧密集群一 般采用集中控制方式，而松散集群两种方式均可采用。在集中控制方式下，所有 节点为一个中央操作者所有，并由其进行控制、管理和支配。在非集中控制方式 下，节点有各自的属主。 3 同构性 同构集群的各个节点采用的是相同的工作平台，即它们有相同的处理机结构 和相同的操作系统。这些节点一般由同一厂家生产。异构集群的各个节点采用不 同的工作平台，所以在异构集群中互操作性非常重要。 4 安全性 集群内各节点的通信连接方式可以为暴露式或隐蔽式两种。在暴露式集群 中，节点间的通信线路暴露于外部世界，集群之外的机器也可以访问通信线路和 集群内的节点。因此，集群中的节点要采用标准协议( 如t c p i p ) 。这种暴露式的 集群易于实现，但有以下缺点： 因暴露在外，集群内的通信是不安全的，除非通信子系统执行额外工作来 保证安全性和隐蔽性。 集群外通信会因为一些无法预料的因素导致集群内通信的瘫痪。 标准的通信协议一般开销都比较大。 6 重庆邮i 也人：学硕十沦文 笫一章集群汁算系统关键技术 在隐蔽式集群中，集群内通信与外部世界相屏蔽，这样可缓解上述的几个问 题，但缺点在于目前仍无统一用于有效进行隐蔽式集群内通信的标准。所以，大 多数商用或研究用的集群通过属于同一类型的某个协议来实现高速通信。 1 2 集群计算系统体系结构与并行计算 1 2 1 集群计算系统体系结构 从前，人们普遍认为计算机性能的提高主要是因为生产出了更快更有效的处 理器。这种观念受到了并行处理概念的挑战。分而治之的方法使得集群( c l u s t e r ) 的计算系统能够实现令人咂舌的计算能力。近年来昂贵而特制的并行超级计算机 向集群的转换趋势越来越强，而高性能工作站标准化组件和网络部件的快速发展 成为促成这种转换的驱动因素。 现代计算机的一个公共特点是并行性。不论是计算机的体系结构还是微处理 器的发展方向来看，并行性逐渐体现在每一个可能见到的每一个角落。x 8 6 体系 微处理器的发展就是并行技术发展的一个很好的体现：多流水线、超标量设计都 是提高c p u 的并行能力的关键。而在集群的体系结构中，更是充分利用了并行 性这一特点。创建和使用并行计算机主要是为了解决单处理器的速度瓶颈，利用 并行技术来提高应用性能( 通过优化串行程序) 。另一个角度来看，因为并行技术 的发展，也大大促进了计算机系统的可扩展性，同时在单位成本控制上也有了可 喜的进步，使得基于集群的并行计算系统的性能价格比明显优于独立的计算机系 统，比如小型机和一般的大型主机。 每种体系结构的差别并不大，关键在于互连技术、结点的复杂度和耦合程度 的不同。在集群高性能计算和分布式系统中，以下这三种体系结构是比较具有代 表性的p j 。 1 无共享体系结构 目前大多数集群采用的方式，每个节点都是独立的p c 或者工作站。现在研 究的集群系统大多数属于这一类的体系结构。集群的每一个结点都是完整独立的 操作系统和硬件设备集合。结点之间通过局域网或者开关阵列以松耦合的方式连 接起来，彼此分享结点的部分甚至全部可用资源：c p u 、内存、磁盘、1 0 设备等 等，以形成一个对外单一、强大的计算机系统。这类系统对s s i 的能力较弱，需 要特殊的中间件或者o s 扩展加以支持。 2 共享磁盘体系结构 结点基本上仍是独立的计算机，没有或者不使用本地的磁盘文件系统。分布 重庆邮电火学硕十论文 第一章集群计算系统关键技术 式文件系统正是这类体系结构的应用体现。常见的n f s ，a f s 或者g f s 都属于这 个范畴。而硬件上的解决常常通过共享磁盘阵列或者s a n 来实现。该体系结构 主要能够解决区域存储空间的容量问题，通过构造单一的虚拟的文件系统，提供 给整个集群一个巨大的存储设备。尤其在些高可用的场合，共享磁盘阵列常常 能够解决文件系统容错和数据一致等可靠性问题。 3 共享存储器体系结构 这种结构最不易实现，具有较强的s s i 能力。从实现的难度上讲，不论是硬 件制造的复杂性还是软件的实现难度，这种体系结构都大大超过其他几类体系结 构的实现。实现这类体系结构的集群系统有d s m ( 分布式共享存储集群) 、n u m a 、 c c n u m a 等技术。在这类体系结构中，可以将多个节点的计算资源集合在一起， 形成一个内存空间一致的单一系统。 集群系统中的节点有三种连接方式，如图l 一1 所示： ( a ) 无共享 ( b ) 共享磁盘 ( c ) 共享存储器 图1 1 连接集群节点的3 种方式 p c ：必理器秘高速缓存：m ：存姥器：d j 磁盘：n i c ：网络接日电路：m i o ：存 档器i 0 桥 共享存储器结构的集群是一种新的集群结构，节点间通过s c i 环连接，s c i 环通过一个n i c 模块与节点的存储器总线相连。在共享存储器结构中，互连系 统与每个节点中的存储器总线相连，而在无共享结构和共享磁盘结构中，互连系 统与节点的i o 总线相连。由于存储器总线n t 作频率一般高于i 0 总线，其技 重庆邮电人学硕。t 论文 第一章集群计算系统关键技术 术发展速度也远高于i o 总线的发展速度，而且存储总线没有一个广泛承认的标 准，因此共享存储器结构比其它两种结构更难以实现。i 0 总线的标准很多，目 前其中最新流行的标准是p c ii 0 总线标准。如果通过某个n i c 卡可以将集群节 点中的p c i 总线与一个高速以太网相连的话那么可以保证，该n i c 卡也可以 用于其它使用p c i 作为i o 总线的系统中。p c i 集群当处理器升级或者改变节点 结构时，只要新的系统仍使用p c i 标准，则n i c 卡和互连结构就不需改变。 集群互连系统的主要目标为资源共享、任务并行和容错。主要特征是自主性、 透明性、并行性、互操作性和可扩展性。不同的目标侧重和不同的特征程度，提 供了对分布式并行计算不同层次的支持，已先后提出和实现了许多不同的理论、 体系和系统有：网络操作系统( n o s ) ；分布式操作系统( d o s ) 和分布式系统 环境( d s e ) 。网络操作系统主要目标是资源共享和提供非透明服务，用户具有 完全的自主性，即用户可以采取自己的策略控制本地的所有资源。但是现行的这 种网络机制不利于组成透明的分布式并行计算环境。分布式操作系统着重把互连 系统作为一个整体来管理，对用户完全透明，以面向对象的微核式操作系统代替 单晶式操作系统，已经成为发展方向。分布式系统环境运行在操作系统之上，即 中间件软件( m i d d l e w a r e ) ，主要目标是互操作性和开放性，有较强的自主性。 d s e 技术是构筑网络环境下分布式应用的一种好方法。d s e 作为中问层可集成 不同的独立系统，以提供对分布式应用的支持，用户既可以在原有平台下工作， 又可和d s e 交互，d s e 还可屏蔽底层系统的异构性。 分布式并行计算系统要求参与者在某一时间范围内形成一个相互协同的透 明性较强的整体，然而这和网络系统中各用户的自主性形成了矛盾，因此，如何 能够在一定程度上折中解决这个主要矛盾成为在网络环境下构筑方便实用并行 工作组的焦点。d o s 系统虽然具有很好的透明性，但并不适合于网络下的自主 性环境，若结合d s e 环境为基础，增加系统透明性，适当抑止网络自主性，则 是比较可行实用的技术路线。即：分布式并行计算网络= 网络基础+ 透明性管理 环境+ 有效组织。其体系结构如图l 一2 示。 编程环境和应用 可用性和单一系统映像中间件 l 操作系统l1 操作系统 节点 节点 l 。一。一 商品化或专用互联网 图1 2 集群系统的典型体系结构 集群系统是全体节点机的互联集合，这些互连的节点机能统一协调的工作 重庆邮电人学硕十论文 第一章集群计算系统关键技术 犹如一个单一系统，以提供不会被中断( 可用性) 和有效( 性能) 的服务。在上 图的集群互连系统媳型体系结构中，中间件可集成不同的独立系统和屏蔽底层系 统的异构性。以性能、可用性、可扩展性为目标，物理上建立一个扩展灵活，具 有高可靠性的能提供冗余服务的集群互连系统，逻辑上建立一个在任务分割后适 合单独进行处理并且处理过程中通信量相对比较大的集群互连系统。 集群系统的五个系统结构概念可描述如下： 1 ) 集群节点 每一个节点就是一个完整的p c 机，每个节点有自己的处理器、高速缓存、 磁盘以及某些i o 适配器。此外，每个节点驻留有完整的、标准的操作系统，一 个节点可拥有多台处理器，但只有一份操作系统映像拷贝。 2 ) 单一系统映像中间件 一个集群是一个单一计算资源，集群借助若干单一系统映像( s s i - - s i n g l e s y s t e mi m a g e ) 技术，实现单资源概念，并使集群变得更易使用和管理。 3 ) 节点机间连接 集群中的节点机通常用商品化网络，如以太网、f d d i 、光纤通道以及a t m 进行连接，也可用专用互联网以提高数据交换的速度，此外使用标准协议以平滑 节点间通信。 4 ) 增强的可用性 集群系统提供了一个成本有效方法以增强一个系统的可用性，这是指一个系 统可为用户使用的时间百分比； 5 ) 更好的性能 在若干服务领域中，集群应能提供更高性能。其中一个服务领域是将集群作 为超级服务器使用。如果一个具有n 个节点的集群中的每个节点能为m 个客户 服务，则该集群就能同时为m r 个客户服务。另一个服务领域是集群通过分布式 并行处理方法，用最短时间去完成一个大型作业的执行。 1 2 2 并行计算系统 现行流行的并行计算系统主要包括：并行向量处理机( p v p ) ，对称多处理机 ( s m p ) ，大规模并行处理机( m p p ) ，集群( c l u s t e r ) ，分布式共享存储器( d s m ) 多处 理机。它们都属于m i m d 系统【7 】。 1 p v p p v p 是专门设计定制的高带宽交叉开关网络将专门设计定制的向量处理器 v p 与共享存储模块连接起来，一般不使用高速缓存，而是使用大量的向量寄存 器和指令缓冲器。 重庆邮电人学硕斗j 论文 第一章集群计葬系统关键技术 2 s m p s m p 系统一般使用商品化微处理器，具有片上或外置高速缓存，经由高速 总线r 或交叉开关) 连向共享存储器。每个处理器可等同地访问共享存储器、i o 设备和操作系统服务。s m p 的主要特点是：单一操作系统映像、低通信延迟、 共享总线带宽。同时，s m p 也具有欠可靠和可扩展性较差的问题。 3 m p p m p p 一般采用商品化微处理器和专门设计的互连网络，节点由高带宽及低 时延的高速专有网络互连。m p p 的主要特点是它具有很好的可扩展性，可以扩 展至数千台( 甚至更多) 处理器，同时主存、i o 能力和带宽也成比例增加。 4 d s m d s m 分布式共享存储多处理机的高速缓存目录d i r 用以支持分布高速缓 存的一致性。处理器对物理分布的共享存储器的访问是不对称的，这也是d s m 与s m p 的区别所在。 d s m 较好地改善了s m p 的可扩展性能。一般地，d s m 可以扩展到上百个 节点，能提供每秒数千亿次的浮点运算功能。但由于受c a c h e 一致性要求和互连 网络性能的限制，当节点数目进一步增加时，d s m 并行机的性能也将大幅下降。 5 c l u s t e r 我国的曙光1 0 0 0 a 、曙光2 0 0 0 、曙光3 0 0 0 以及前不久推出的曙光4 0 0 0 l 等都是集群架构的并行计算系统。 c l u s t e r 的每个节点都是一个完整的微机，可以是一台p c 机或s m p 。 各个节点一般由商品化的网络互连，节点问的互连方式是松散耦合的。 每个节点一般有本地磁盘，一个完整的操作系统驻留在每个节点上。 s m p 、m p p 、d s m 和c l u s t e r 等并行结构趋向融合，d s m 是s m p 和m p p 的自然结合，m p p 和c l u s t e r 的界限逐渐模糊。在中国现在使用p v p 并行向量机 很少，使用最多的是s m p 、d s m 、c l u s t e r 架构的并行计算机。国内主要的高性 能计算机厂商如曙光、联想、浪潮生产的都是c l u s t e r 架构的并行计算机。节点 为2 4 个处理器的s m p ，互连网络为千兆网、m y r i n e t 等，节点操作系统一般为 l i n u x 。 和s m p 、d s m 等相比，集群在较低的费用下，具有高性能、可扩展性、高 吞吐量、易用性等特点。按照应用目的( 科学计算，商业计算) 分类，集群可分为高 性能集群和高可用集群：按照节点硬件分类，可以分为p c 集群、工作站集群、 s m p 集群：按照节点操作系统分类，可以分为l i n u x 集群、n t 集群等：按照节 点体系结构和操作系统的类型，可分为同构集群、异构