（计算机应用技术专业论文）核心级机群通信监控系统的研究.pdf

摘要 摘要 随着机群系统的飞速发展，机群通信网络规模不断扩大，复杂性也不断增加，研究 机群通信监控系统对保证通信系统的健壮运行和系统软件的调试和性能优化都具有重 要的意义。本文从基本理论和设计实现的角度分析了机群通信监控系统的相关问题，提 出了管理器代理模型的结构，以及核心级监控的监控策略，并介绍了一种基于b c l 4 ( b a s i cc o m m u n i c a t e l i b r a r y 4 ) 的核心级机群通信监控系统。 本文首先介绍了机群系统和机群通信系统的基本概念和结构特点，并介绍了一些机 群通信监控系统的相关研究。然后对机群通信监控系统的结构和监控层次进行了分析， 给出了监控系统的管理器代理模型和模块结构。提出了用户级监控、核心级监控、板卡 级监控的概念，并对核心级监控的特点、优点和关键问题进行了阐述。 随后，本文重点介绍了一种基于b c l 4 的核心级机群通信监控系统的设计与实现。 文章首先对曙光机群通信系统和b c l - 4 通信协议进行了介绍，然后对监控系统的设计与 实现进行了详细阐述，包括监控系统的模块结构和设计，核心级监控协议，以及实现的 关键技术等。 最后，本文对基于b c l - 4 的核心级机群通信监控系统进行了性能测试和总体分析， 总结全文，并对未来的工作进行了展望。 关键词：机群，机群通信系统，监控系统，核心级监控 核心级机群通信忱拄系统的 i j f 宄 r e s e a r c ho nk e r n e ll e v e lc l u s t e rc o m m u n i c a t i o n m o n i t o r i n gs y s t e m z h a o y i ( c o m p u t e ra p p l i c a t i o nt e c h n o l o g y ) d i r e c t e db yd o c t o rm aj i e w i t ht h ed e v e l o p m e n to ft h ec l u s t e rs y s t e m ，t h es c a l eo fc l u s t e rc o m m u n i c a t i o nn e t w o r k i s b e c o m i n gl a r g e r , a n dt h ec o m p l e x i t yo fi t i s i n c r e a s i n g s ot h er e s e a r c ho nt h ec l u s t e r c o m m u n i c a t i o nm o n i t o r i n gs y s t e mi s v e r yi m p o r t a n tt og u a r a n t e et h es y s t e mr o b u s t n e s s ， d e b u gt h es y s t e ms o f t w a r ea n di m p r o v et h ep e r f o r m a n c e t h i sd i s s e r t a t i o na n a l y z e st h e r e l a t e dp r o b l e m so fc l u s t e rc o m m u n i c a t i o nm o n i t o r i n gs y s t e m ，i n c l u d i n gt h eb a s i ct h e o r i e s a n di m p l e m e n t a t i o n w ep r o p o s eam a n a g e r a g e n tm o d e la n dak e r n e ll e v e l m o m t o r i n g s t r a t e g y , a n d d e s c r i b eak e r n e ll e v e l m o n i t o r i n gs y s t e m b a s e do nt h eb c l - 4b a s i c c o m m u n i c a t i o n p r o t o c 0 1 a f t e r i n t r o d u c i n g t h eb a s i c c o n c e p t s a n da r c h i t e c t u r eo fc l u s t e ra n dc l u s t e r c o m m u n i c a t i o ns y s t e m ，t h i sd i s s e r t a t i o na n a l y z e st h ea r c h i t e c t u r ea n dm o n i t o r i n gl e v e lo f c l u s t e rc o m m u n i c a t i o n m o n i t o r i n gs y s t e m t h em a n a g e r a g e n t m o d e li s g i v e n ，a n d t h e c o n c e p t s o fu s e rl e v e l m o n i t o r i n g ，k e r n e l l e v e l m o n i t o r i n g ，c a r dl e v e lm o n i t o r i n g a l e p r e s e n t e d ，t h ec h a r a c t e r , m e r i ta n dd i f f i c u l t yo f k e r n e ll e v e lm o n i t o r i n ga r ea l s od i s c u s s e d t h e nt h ed i s s e r t a t i o nc o n c e n t r a t e so nt h ed e s i g na n di m p l e m e n t a t i o no fak e r n e ll e v e l c l u s t e rc o m m u n i c a t i o n m o n i t o r i n gs y s t e m b a s e do nt h eb c l 一4b a s i cc o m m u n i c a t i o n p r o t o c 0 1 a f t e r i n t r o d u c i n gt h ed a w n i n g c l u s t e rc o m m u n i c a t i o n s y s t e ma n dt h eb c l - 4c o m m u n i c a t i o n p r o t o c o l ，t h es t r u c t u r ea n dt h ed e s i g no f t h em o n i t o r i n gs y s t e m ，t h ek e r n e ll e v e lm o n i t o r i n g p r o t o c o l ，a n dt h ek e yt e c h n i q u e so fs y s t e mi m p l e m e n t a t i o na r ed e s c r i b e di nd e t a i l f i n a l l y , t h ed i s s e r t a t i o na n a l y z e st h em o n i t o r i n gs y s t e m ，c o n c l u d e st h ew o r k t h a tw eh a v e f i n i s h e d ，a n dg i v e ss o m ea s p e c t so f t h er e s e a r c hw o r kt h a tw e m i g l l td on e x t k e yw o r d s ：c l u s t e r , c l u s t e rc o m m u n i c a t i o ns y s t e m ，m o n i t o r i n gs y s t e m ，k e m e ll e v e l m o n i t o r i n g 声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果。就我所知，除了文中特别加以标注和致谢的地方外，论文中 不包含其他人已经发表或撰写过的研究成果。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名：起毅 日期：庆卯，8 关于论文使用授权的说明 中国科学院计算技术研究所有权处理、保留送交论文的复印件，允许 论文被查阅和借阅；并可以公布论文的全部或部分内容，可以采用影印、 缩印或其它复制手段保存该论文。 作者签名：耙孝殳导师签名：马布匕日期：加弘，b 第章引 1 1 机群系统 第一章引言 1 1 1 计算机体系结构的分类与发展 一九四六年世界上出现了第一台数字计算机e n i a c ，在这之后短短五十多年的时间 里，计算机技术有着突飞猛进的发展，先后经历了从电子管、晶体管、中小规模集成电 路到大规模和超大规模集成电路的演变过程【1 1 。在此期间，器件性能的提高使得计算机 的处理能力飞速增长。时至今日，计算机的单机速度尽管仍在提高，但己难以满足计算 的需求，像过去那样主要靠提高器件的速度已不可能得到所期望的高性能，必须从计算 机体系结构的设计方面另找出路。研究并行可扩展的计算机体系结构成为提高计算机系 统性能的一个重要途径【l j l “。 按照用指令流和数据流进行分类的f l y r m 方法，计算机系统可分为四大类：单指令 流单数据流系统( s i s d ) 、单指令流多数据流系统( s i m d ) 、多指令流单数据流系统 ( m i s d ) 、多指令流多数据流系统( m m m ) 。 s i s d 系统是指传统的顺序处理计算机。后三类从广义上来说均属于并行处理系统， 其中，s i m d 系统是多个处理单元在同一控制器下工作的计算机系统，系统中各处理单 元执行相同的指令流，但作用于不同的数据流上如向量计算机和阵列计算机均属此类。 由于系统在同一控制器的控制下进行工作，各计算部件必须执行相同的指令，就限制了 这类系统的应用范围。m i s d 系统在概念上来说是可以存在，但这种指令级并行、数据 级串行的系统目前尚无实例。m i m d 系统则是多个处理机各自执行不同的指令流，并分 别作用于不同的数据流上。这类系统是实现作业、任务、指令和数据各个级别全面并行 的理想结构，是当今并行处理的主流系统。根据各处理机间耦合程度的不同，m i m d 系 统又可分为共享存储( s h a r e dm e m o r y ) 的多处理机系统( m u l t i p m c e s s o r ) 和分布存储 ( d i s t r i b u t e dm e m o r y ) 的多计算机系统( m u l t i c o m p u t e r ) 两类。 共享存储的多处理机系统是指多个处理机通过总线、开关阵列或多级网络等方式共 享个公共的存储器分散在各个处理器中的应用程序的各部分之间可以方便地通过共 享的存储变量来交换数据并实现各种互斥和同步操作。由于受到存储器带宽的限制，这 类系统的可扩展住( s c a l a b i l i t y ) 较差，般很难达到较大的规模和非常高的性能。 分柿存储的多计算机系统的每个处理结点通常都包括处理器、存储器和| j 6 | | 络接口等 核心级机群通信监控系统的研究 部件，可以看成是一个完整的计算机，各个处理结点之间则通过一个高速互连网络连接 在一起。处理结点之问的数据传输一般不是通过共享存储器，而是通过在互连网络l 二进 行消息传递来实现。它采用分布式存储器，各个处理器可以访问自己局部的存储器，电 可以通过互连网络以消息传递的方式间接访问其它结点上的存储器，由于高性畿的互连 网络能够连接多达成千上万个处理结点，因此，这种多计算机系统具有良好的可扩展性， 可以把多达上万个处理机连在一起构成一个规模较大的高性能并行处理系统。 按照其结点机的通用化程度，多计算机系统又可分为大规模并行计算( m a s s i v e l y p a r a l l e lp r o c e s s i n g ，m p p ) 系统和机群( c l u s t e r ) 系统两种类型，两者的主要区别就在 于机群系统的结点机通常采用现成的s m p 服务器、工作站和p c 机，是一个具有处理器、 内存、硬盘以及网络接口等部件的完整计算机系统，可以独立地工作。m p p 的代表机型 有c r a y 的t 3 d 厂r 3 e 、t h i n k i n gm a c h i n e 的c m 2 c m 5 、i n t e l 的p a r a g o nx p s 和f u j i t s u 的v p p 5 0 0 等，国家智能计算机研究开发中心研制的曙光一1 0 0 0 并行系统也采用了m p p 这种结构。具有代表性的机群系统有i b m 的s p 2 、s g i 的p o w e rc h a l l e n g e a r r a y 、 m i c r o s o f t 的w o l f p a c k 、d e c 的t r u c l u s t e r s 、s u n 的s p a r c c l u s t e r1 0 0 0 2 0 0 0 p d b 和 b e r k e l e yn o w 等，国家智能计算机研究开发中心的曙光1 0 0 0 a 、及以后的曙光系列超 级服务器也都属机群系统。 最初的多计算机系统多属于m p p 类型。这类系统结点一般是高性能专用处理部件， 每个结点独立构成一个计算机。在早期，m p p 系统在超级计算机市场上取得了很大的成 功。但由于采用了专用部件，m p p 系统的成本较高，同时也很难有一个统一的标准。随 着多计算机规模的不断增大，计算机系统的成本( 性能价格比) 成为在设计计算机系统 时需要考虑的一个重要因素。同时r i s c 技术的发展运用和高性能网络产品的出现，机 群系统在性能价格比( p e r f o r m a n c e c o s t ) 、可扩展性( s c a l a b i l i t y ) 、可用性( a v a i l a b i l i t y ) 等方面都显示出了很强的竞争力，尤其是它在对现有单机上的软硬件产品的继承和对商 用软硬件最新研究成果的快速运用这两方面表现出传统m p p 系统无法比拟的优势。机 群系统逐渐成为设计超级计算机和超级服务器的一种主流结构。 1 1 2 机群系统的定义与特征 定义1 机群就是由一组计算机系统( 结点) 通过高性能网络或局域网互联而形成 的具有单一系统映象( s i n g l es y s t e mi m a g e ，s s i ) 的高可用、高性能、高可扩展性的计 算机集群系统。它的每个结点都是一个完整的计算机，如s m p 服务器、工作站或p c 机， 可以独立工作”。 机群系统一般其有以下几个特征5 1 ： 构成系统的每一个结点都是完整的计算机系统。结点机可以是s m p 服务器、工 作站，也可以是p c 机，每个结点机上都安装有一份完整的操作系统。 连接各结点麴互联网络提供结点问高住能、高砸靠性和可扩展的通信服务，人 2 第一章；i 高 们将这种网络称为系统域网( s y s t e ma r e a n e t w o r k ，s a n ) 。这种网络通常作 为结点计算机的i o 设备，通过网络接口卡( n e t w o r ki n t e r f a c ec a r d ，n i c ) 连接 到结点机的i o 总线上。 整个系统呈现给用户的是单系统映象。系统中所有分布的资源被组织成一个 统一的整体由用户管理和使用，用户感受不到单个结点计算机的存在。从用户 的角度看，一个机群系统就如同一个具有巨大配置的单一计算机系统。单一系 统映象由几方面的内容构成，主要包括单一登录点( s i n g l ee n t r y p o i n t ) 、单一 控制点( s i n g l ec o n t r o lp o i n t ) 、单一文件系统( s i n g l ef i l es y s t e m ) 、单一内存 空间( s i n g l em e m o r ys p a c e ) 和单一作业管理( s i n g l ej o bm a n a g e m e n t ) ，此外 还有单一用户界面( s i n g l eu s e ri n t e r f a c e ) 、单一进程空间( s i n g l ep r o c e s ss p a c e ) 等。单一系统映象是机群系统中的关键技术之一。 整个系统具有可扩展性( s c a l a b i l i t y ) 。机群系统的可扩展性是指通过方便地增 加或升级一个系统的现有资源使其满足人们对性能和功能的更高需求，包括 资源可扩展、性能可扩展、软件可扩展等诸多方面。 整个系统具有高可用性( a v a i l a b i l i t y ) 。由于机群系统中的每个结点都是一个完 整的计算机系统，都有一份完整的操作系统，因此一个或几个结点的故障不会 影响整个系统的正常运行整个系统可以降级使用直至故障结点得到修复。 1 1 3 机群系统的结构 机群系统的典型体系结构如图1 1 所示2 1 ： 图1 1 机群系统的典型体系结构 机群系统的编程环境和应用包括如下一些软件： 编程环境。包括编程使用环境和些工具软件。编程使用环境包括系统的管理 软件、p v m 和m p i 上层通信库、编译器和基本库，以及数据库、w e bj i l l 务器等 ， 通用软件；工具软件用于支持不同种类的应用，如服务器聚集包、并行调试器、 优化数学库等。 3 核心级机群通信监控系统的研究 应用。包括应用基础和应用程序。应用基础足针对不同应用程序 发的基础支 撑包，如并行算法与数学库、深度偏移软件包、数据库中间件等：应用程序包 括科学计算、网络服务、数据库和事务处理等多种应用。 可用性和单一系统映象基础设施是把机群系统中所有结点的映象转化为单一系统映 象的一层软件。单一系统映象通常对系统支持的应用程序和各种子系统中最紧迫需要的 方面进行单一映象化它让用户在整个机群系统中使用这些应用程序和子系统时，感觉 与使用一台单机工作站一样方便。 机群系统中结点操作系统一般采用易于扩展操作系统例如u n i x ，w i n d o w sn t l i n u x 等。在机群系统中除了结点本身的操作系统以外，还必须对操作系统进行一些 扩展，以便支持高速通信和单一系统映象等功能。 商品化或专用的互联网为机群中的结点提供连接和通信服务。 1 1 4 机群系统的分类 基于不同因素，机群可以有多种分类方式 郇。一般可根据应用目的将机群系统分为： 高性能( h p ) 机群。 高可用( h a ) 机群。 按照结点归属可将其分为： 专用机群。 非专用机群。 按照结点硬件通常可将其分为： p c 机群( c o p ) 。 工作站机群( c o w ) 。 s m p 机群( c l u m p ) 。 依据结点操作系统，可分为： l i n u x 机群( 如b e o w u l f 系统与曙光4 0 0 0 l 系统) 。 s o l a r i s 机群( 如b e r k e l e y n o w ) 。 n t 机群( 如h p v m ) 。 a i x 机群( 如曙光3 0 0 0 系统与m ms p 2 系统) 。 微软w o l f p a c k 机群等等。 而依据结点构成，还可将其分为两类： 同构机群，即所有结点有相同的体系结构，运行相同的操作系统。 异构机群所有结点并不需要有一致的系统结构，也不需要运行相同的操作系 统。 此外，单独的机群可以通过内部连接组成一个更大的系统( 机群集群) ，实际上 i n t e r n e t 本身就可被视为一个计算机群。使用w a n 二的汁钳机资源进行赢r k 能计t 算产：j f ： ￥ 4 第一章引著 出一个新的领域，被称为元计算( m e t a c o m p u t i n g ) 。 1 2 机群通信系统 1 2 1 机群通信系统的定义 定义2 机群高效通信系统是指连接机群系统各处理结点的通信硬件以及建立于其 上的通信软件，它主要的功能就是为各处理结点上应用程序的进程之间提供高效、可靠 和有序的通信服务嗍。 1 2 2 机群通信系统的结构 图1 2 机群通信系统硬件结构 应用程序 m p i i 叶- 1 和n x 等并行缱程环j ! 蠡 基本遥信库 网络接口驱动程序 网络接口通信控铡程序 图1 3 机群通信系统软件层次 机群高效通信系统一般由互连网络、网络接口和结点上的通信软件三部分构成，其 中通信软件又分为底层通信软件和高层通信软件两个层次。 如图1 2 所示1 “机群通信系统的硬件结构主要由高速互连网络和网络接口两部分 核t l , 级机群通信监控系统的研究 组成。高速互联网络实现机群结点间消息包的传递功能，要求具有低延时和高带宽的特 点，网络接口则是连接机群结点f o 总线和互连网络的桥梁。 机群通信系统的软件层次如图1 3 所示【4 l ，一般自下往上可分四个层次： 网络接口通信控制程序。主要处理结点提交的消息包的发送和从互连网络传来 的消息包的接收，在网络接口没有嵌入式通信处理器的系统中，一般不存在这 一层次的通信软件。 网络接口驱动程序。其功能是实现对网络接口硬件的驱动以及通信资源的管理 和保护，在网络接口没有通信处理器的情况下，驱动程序通常还承担中断和系 统调用方式下通信过程的控铝4 任务。 基本通信库。又称底层通信库，通常与通信控制程序和网络接口驱动程序合称 为底层通信软件。它建立于网络接口驱动程序之上，主要为高层通信软件提供 一些基本的通信原语，如点到点的通信功能。 并行编程环境。如m p i 和p v m 等，利用基本通信库的通信功能，为用户应用 程序提供一个基于消息传递的并行编程环境。 1 2 3 机群通信系统的特点 机群自身结构和应用的特点决定了其高效机群通信系统所具备的一些主要特征，这 些特征其实也是机群高效通信系统设计和实现所要达到的主要目标【 ，它们包括： 高性能。对桃群通信系统面言，通信性能不但始终是人们最为关注的指标，而 且是衡量一个机群通信系统成功与否的主要标志。描述通信系统性能的参数主 要有结点机通信软件开销( s o r w a mo v e r h e a d ) 、通信延时( l a t e n c y ) 和通信带 宽( b a n d w i d t h ) 。通常人们选择小消息的通信延时和大消息的通信带宽作为评 价机群通信系统性能的主要参数。随着网络硬件通信性能的不断提高，网络接 口和结点机上通信软件的开销往往成为影响机间通信性能的主要瓶颈。因此在 继续研制性能更高的网络硬件的同时，人们已经将主要精力转移到研制高性能 的网络接口和通信软件上来。 可扩展。机群系统的可扩展性首先体现在它的机问通信系统具有良好的可扩展 性，没有机问通信系统的可扩展就谈不上机群系统的可扩展。机间通信系统的 可扩展性主要包括通信网络硬件的物理可扩展、通信网络性能可扩展和通信软 件可扩展三个方面。通信网络硬件的物理可扩展要求互联网络硬件模块化，目 前使用的可扩展高性能网络通常都是由若干个s w i t c h 构成，增加互连的s w i t c h 个数就可以实现网络物理上的扩展。通信网络性能的可扩展是指随着网络规模 的扩展，通信的累积带宽相对结点机个数最好呈线性增长，而通信延时要保持 缓慢而有限的增长。通信软件可扩展主要体现在通信软件对一些硬件资源的需 求不要随系统规模的扩大而无限制地快速增长。 6 第一章引言 高可用。机群通信系统的高可用性体现在，当系统中部分结点因出现故障而无 法正常工作时，不会影响通信在其它结点上的正常进行，这些结点仍能进行难 常的消息传递。 在并行处理系统中，并行计算时间是由各结点计算时阃和结点问数据通信开销两大 部分构成。对于目前的机群系统而言，其结点运算速度问题由于近年来硬件技术的高速 发展相对不很突出，此时如果由结点间通信所造成通信开销比例过大，必然影响整个机 群系统的性能，于是建立一个高效的机群通信系统成为一个关键问题。 1 3 机群通倍监控系统 1 3 1 机群通信对监控系统的需求 高效的机群通信系统是机群系统发展到今天的一个主要动力，同时也是其继续发展 的一个重要基础。通信系统的容量和性能直接影响了整个机群系统对高性能计算的适用 性。随着机群通信网络规模的不断扩大，复杂性的不断增加，需要更好地监控网络硬件 设备，及时处理各种突发事件，以保证良好的通信性能和服务质量。同时，底层的机群 通信监控系统可以提供上层应用无法看到的细节性数据，如：不同通信阶段的网络延时、 中断处理时间、详细的发送、接收、出错的包信息、出错原因分析等。这些关键性数据 有助于定位出错点，识别程序中的通信瓶颈，对机群通信系统软件的调试和性能优化具 有重要的意义。机群通信监控系统的控制功能还有助于机群通信系统的自管理。 1 3 2 机群通信监控系统的相关研究 f l a s h p o i n t 内存性能监视器【8 1 f l a s h p o i n t 是运行于s t a n f o r d 大学的f l a s h 并行计算机系统上的内存性能 监视器。该性能监测器是基于一个可编程控制器实现的，主要是监测运行程序 的内存状态，帮助程序员进行内存性能的调整( t u n i n g ) 。 m u t p 瑾于m y r i n e t 一2 0 0 0 的图形网络监控工具1 9 1 m u t e 是一个基于m y r i n e t - 2 0 0 0 的图形化的网络监测工具，通过装在m y r i n e t 交换机上的一个监视卡对网络进行监控。m u t e 可以监视网络拓扑结构分析网 络的通信量，监视硬件部件的实时状态，还可以对结点进行配置等。m u t e 还提 供了出g n o m e g ，r k 图形包生成的可视化界面。 s m i l e 机群的性能监视器0 1 在m u n i c h 犬学s m i l e 项目中研制了一个硬件监视器，阁于监视s m i l e 机 群系统域阐的通信流量。浚监视器通过监测应用程序运行时实时通信状态的洋 7 核心级机群通信监控系统的研究 细信息，帮助自适应系统在运行时对数据进行正确分发，并有利于系统性能的 评价和优化。s m i l e 硬件监视器由三部分组成：一个b l i n k 接口部件、一个计 数部件和一个p c i 接口部件。b l i n k 接口部件与s c i 网卡相连，监视器通过 b l i n k 接口获得网络数据并传给计数部件，计数部件对通信流量信息进行统计， 然后通过p c i 接口传递给主机方，同时主机方可以通过p c i 接口传递配置参数 对监视器进行配置。 s h r i m p 机群的性能监测工具i i l 】 p r i n c e t o n 大学研制的s h r i m p 机群是基于m y r i n e t 网络的p c 机群系统。该机 群的性能监控工具是通过在网卡控制程序( m c p ) 中嵌入性能监测代码实现的。 s h r i m p 的性能监测工具提出了基于m y f i n e t 网络的一种新的监控策略，采用扩 展运行于l a n a i 处理器上的网卡控制程序( m c p ) 的方法实现了通常由硬件监 视器实现的功能。可以监视到如不同通信阶段的网络延时、中断处理时间和结 点间的同步信息等底层通信过程的关键信息，同时可以对上层不同的应用进行 了监测和性能评价。 1 3 3 机群通信监控系统的设计目标 机群通信监控系统的目标是为机群通信系统提供一个低消耗、高效率、可扩展、易 使用的监控工具。低消耗、高效率是监控系统要实现的首要目标，同时还要兼顾系统的 可扩展性和易用性。本节我们对机群通信监控系统的设计目标进行详细阐述。 低消耗。低消耗即低的资源占用率，是指尽可能少地占用系统资源，不能影响 并行应用的正常运行和占用过多的系统通信带宽。通常，机群监控系统都采用 专用的监控服务器和监控网络，并在监控信息的采集和收集过程中占用大量的 系统资源，包括c p u 、内存和网络带宽。因此，对于机群通信监控系统，如何 利用现有的资源实现监控功能，又能保证整个机群的性能目标，是在监控系统 的设计中需要着重考虑的问题。 高效率。高效率是指监控系统能够快速采集监控信息，并通过高效的监控协议 进行传递。机群底层通信网络通常是高速的系统网络，监控系统要监控底层高 速通信网络的实时变化，及时处理各种突发事件，必须具有高效性。这对于监 控系统的设计和实现来说就是实现髓控信息的快速采集和高效的监控协议。 可扩展。可扩展包括规模可扩展和功能可扩展。规模可扩展是指监控系统的监 控舰模能够满足机群规模不断扩大的需求：功能可扩展是指监控系统能够方便 地增加新的功能。机群系统发展迅速规模不断扩大，对监控系统也不断提出 新的要求。因此，在监控系统的设计中要考虑监控规模的可扩展性，既能对中 小规模通信系统进行监控，也能满足大规模通信系统的监控需求：同时，监控 系统还能够进行二次开发，方便地增加新的功能。 r 第一章，j i 高 易使用。易使用是指监控系统提供友好的用户界面和可视化操作，具有良好的 使用性。易用性是监控系统是否能被推“应用的关键，因此，在保证系统低消 耗、高效率、可扩展的同时，还必须为用户提供易学易用、方便管理的用户界 面，提高系统的易用牲。 1 4 本文的贡献及内容组织 1 4 1 主要工作及贡献 本文从机群通信监控系统对机群通信系统的意义出发，给出了机群通信监控系统的 结构模型，分析了监控层次，提出了核心级监控的监控策略，并介绍了曙光通信监控系 统：一种基于b c l - 4 的核心级机群通信监控系统的设计与实现。主要贡献可以概括为以 下几个方面： 给出了机群通信监控系统的结构模型。本文在分析了基本网络管理体系结构， 机群监控系统的模块结构和拓扑结构的基础上，给出了机群通信监控系统的管 理器，代理模型和模块结构，并分析了集中式和分布式拓扑结构各自的优缺点和 设计原则。为曙光机群通信监控系统的设计与实现提供了理论依据。 分析了机群通信监控系统的监控层次。本文对机群通信监控系统的监控层次进 行了分析，给出了用户级监控、核心级监控和板卡级监控的概念。 提出了核心级监控的监控策略。本文通过对机群通信监控系统监控层次的分析， 提出了核心级监控的监控策略，并阐述了核心级监控的特点、优点和关键问题。 实现了基于b c l - - 4 的核心级机群通信监控系统。在对机群通信监控系统的结构 模型、监控层次、以及核心级监控进行了理论研究的基础上，我们通过扩展 m y r i n e t 网卡驱动程序和网卡控制程序( m c p ) ，实现了基于b c l - 4 的核心级机 群通信监控系统。在b c l - 4 通信协议中增加了监控模块，完成了对曙光机群通 信系统的核心级监控，并有助于b c l 一4 通信协议的自管理。 1 4 2 内容组织 本文针对曙光机群通信系统对机群通信监控系统的体系结构、模块结构和监控层次 进行了较深入的研究。给出了集中式管理器代理模型和分布式管理器代理模型两种结 构，并介绍了机群通信监控系统基本的模块结构。同时，还提出了用户级监控、核心级 监控、板卡缴监控的概念并对核心级监控的特点、优点及关键问题进行了分析。在此綦 础l ，本文还介绍了基于b c l 4 的核心级机群通信监控系统的设计与实现。具体组织如 核心级机群通信雌控系统的研究 f ： 本文首先在第一章中介绍了机群系统和机群通信系统的基本概念和结构特点，分析 了机群通信对监控系统的需求并给出了机群通信监控系统的相关研究和设计目标。 随后第二章中，通过分析基本网络管理的体系结构，机群啦控系统的模块结构和拓 扑结构，文章给出了机群通信监控系统的管理器代理模型和模块结构分析了集中式和 分布式拓扑结构的区别，并给出了机群通信监控系统的模块结构。 第三章对机群通信监控系统的监控层次进行了分析，提出了用户级监控、核心级监 控、板卡级监控的概念，阐述了核心级监控的特点、优点和关键问题，并进一步对核心 级机群通信监控的层次结构和监控内容进行了分析。第二章和第三章的内容作为理论基 础，对曙光机群通信监控系统的设计与实现有一定的指导作用。 第四章介绍了曙光机群通信监控系统基于b c l - 4 的核心级机群通信监控系统的 设计与实现。首先对曙光机群通信系统和b c l 4 通信协议进行了介绍，然后对基于 b c l 一4 的核心级机群通信监控系统的设计与实现进行了详细阐述，包括监控系统的模块 结构和设计，核心级监控协议，以及实现的关键技术等。 在第五章中，我们对扩展前后b c l 一4 通信协议的带宽和延时性能进行了比较，并从 资源占用率、商效性、可扩展性、易用性方面对监控系统进行了分析。 最后，在第六章中总结了全文，并对进一步的工作进行了展望和讨论。 第二章机群通信髓控系统的结构 第二章机群通信监控系统的结构 本章首先分析了基本网络管理的体系结构，接着分析了机群监控系统的模块结构和 拓扑结构。在此基础上，本章第三节给出了机群通信监控系统的管理器代理模型和模块 结构，分析了集中式和分布式管理器代理模型的区别。 2 1 基本网络管理的体系结构 机群是由网络连接的众多结点的集合。机群及机群通信系统的监控都是建立在网络 环境之上，就这一点来说，机群监控和网络管理有一定的共通之处，有定的借鉴意义。 图2 1 给出了基本的网络管理体系结构： 被管对象 图2 1 基本网络管理体系结构 网络管理系统由四部分组成【1 3 1 ：多个被管代理( m a n a g e d a g e n t s ) ，至少一一个网络 管理者( n e t w o r km a n a g e r ) ，或称管理器，一个管理协议( n e t w o r km a n a g e m e n tp r o t o c 0 1 ) ， 一个或多个管理信息库( m a n a g e m e n t i n f o r m a t i o n b a s e ，m i b ) 。用户主机和网络互连设 备等所有被管理的网络设备称为被管对象( m a n a g e do b j e c t s ) 。四个组成部分的功能可 以描述如下： 被管代理。被管代理用于响应来自管理器的请求，完成相应的监控功能可以 嵌入到被管对象中，也可以通过外部机制与被管对象之间建立远程连接。 管理器。管理器在网络上与被管代理通信，发送命令以及接受应答，呵以包括 核心级机群通信监拄系统的 i j f 究 一个或多个管理进程。 管理信息库。管理信息库是用于存放管理信息的虚拟信息库。被管对象都具有 一个或多个变量来描述其状态，这些变量都存放在管理信息库的数据结构中， 构成了管理信息。 管理协议管理协议是最重要的组成部分。定义了管理器和被管代理之间的通 信方法，规定了管理信息的存储结构，信息库中关键字的含义和各种事件的处 理方法。 2 2 机群监控系统的结构 2 2 1 机群监控系统的模块结构 机群监控系统通常由四个部分组成：信息采集模块( i n f o r m a t i o np r o b i n gm o d u l e ， i p m ) 、信息收集模块( i n f o r m a t i o n c o l l e c t i o n m o d u l e ，i c m ) 、信息接口库模块( i n f o r m a t i o n a p i l i b r a r ym o d u l e t a m ) 、控制与可视化模块( c o n t r o l a n dv i s u a l i z a t i o nm o d u l e ，c v m ) 。 它们的关系如图2 , 2 所示【1 4 】。 图2 2 机群监控系统的模块结构 信息采集模块( i p m ) 。信息采集模块是机群监控系统与结点操作系统的接口模 块，主要负责结点信息的采集，同时也可以对结点进行某些状态检查生成事件 信息。采集到的信息和事件将被发送或收集到机群监控系统的其它模块。 信息收集模块( i c m ) 。信息收集模块负责收集和存储机群的监控信息( 结点 的信息和事件) ，并综合分析收集到的监控信息生成相应的事件。该模块还可以 对监控信息进行缓存以减少由于监控给整个机群系统的运行带来的影响。 信息接口库模块( 1 a m ) 。信息接口库模块是外部应用程序与机群监控系统的 1 2 第二章机群通信监控系统的结构 接口模块，使得外部程序能够访问和使用机群监控系统的监控信息。 控制和可视化模块( c v m ) 。控制和可视化模块向用户呈现机群的性能状态， 允许用户设定呈现的方式和内容，并提供控制功能。该模块实际上是使用i a m 的外部应用程序。 机群监控系统的模块结构反映了机群监控系统的典型构架。其中摩m 和i c m 是机 群监控系统的核心，完成了机群监控系统的主要功能。 2 2 2 机群监控系统的拓扑结构 机群监控系统通常有两种拓扑结构：集中式的拓扑结构和分布式的拓扑结构。 集中式的拓扑结构采用集中的方式收集监控信息，即各个结点口m 采集到的监控信 息直接传输到一个专用服务器集中管理。集中式的拓扑结构具有结构简单、信息收集效 率高的优点，但是随着机群规模的不断扩大，集中式结构中监控服务器的负担越来越重， 同时占用大量的网络带宽，造成了系统瓶颈。所以扩展性问题是集中式拓扑结构需要面 临的挑战。 分布式拓扑结构将监控的机群划分成多个域，每个域由多个代理( a g e n t ) 和一个二 级管理器( i n t e r m e d i a t el e v e lm a n a g e r ) 构成。二级管理器收集各个代理的监控信息。 同时接收上一级管理器的请求，并把自身所在域收集到的监控信息发送给上一级管理 器。这样监控信息逐层传递最终到达监控服务器。分布式拓扑结构也会带来新的问题， 如缺乏全局性控制、信息采集的同步、增加了系统复杂性和降低了标准化程度。 m o r * 咱 舛l k 岫l c 哪删如口却0 b m 廿哪曲喇e n i 嘣n l m a r w j m 曩| g r a t o 沁虹m - d n a o r - 唁d * a o o n m d 蛔n - 哪口k l h 帕u 帅t 喇咖d a q 卯* c 一意- 磊磊磊i = 磊赢盅t “ 图2 3 机群监控系统拓扑结构的选择原则 集中式和分靠式拓扑结构并不是两种对立的解决方案，选择哪种拓扑结构取决于目 标系统的规模和对性能的要求，龄控系统的结构也要适应用户的需求。若无需高频率监 1 3 核心级机群通信髓控系统的研究 控，监控信息的结构简单且数量较少，同时监控管理器和监控代理之问的网络连接又具 有高带宽的特性，可以选择集中式的拓扑结构，反之，选择分布式的拓扑结构。图2 3 1 5 ： 描述了根据监控系统和机群系统的具体特点选择拓扑结构的原则。 2 3 机群通信监控系统的结构 2 3 1 机群通信监控系统的体系结构 类似现代网络管理系统，机群通信监控系统采用管理器拜理结构。代理位于被监控 结点上，负责采集、修改本地的系统信息，而管理器位于管理结点上，接收从各代理传 来的监控信息，进行分析、处理，并向代理发出监控指令，从而达到对被监控结点进行 监控的目的。管理器与代理之间通信协议可以是标准的通信协议，如简单网络管理协议 s n m p 、公共管理信息协议c m o t 、s o c k e t 等，也可以是为某系统设计的专用的通信协 议。管理器代理结构模型如图2 4 所示。 圈2 4 集中式管理器代理模型 图2 4 给出了典型的集中式拓扑结构的管理器，代理模型。随着机群规模的不断扩大， 和监控信息复杂性的增加，为了降低管理结点的通信开销，解决系统的扩展性问题，机 群通信监控系统还可以采用分布式的管理器代理结构。在管理器和代理之问增加一个二 级管理器( i n t e r m e d i a t el e v e lm a n a g e r ) ，作为管理器收集代理的监控信息并向代理发出 峨控指令，同时又作为上一级管理器的代理把收集到的监控信息上传给上一级管理器， 并且接收来自上一缴管理器的监控指令。同一级的管理器可以相互合作，以提高系统的 第二章帆群通信髓控系统的结构 可靠性。集中式的管理器代理结构可以方便地扩展为分布式的管理器f 理结构，代理 端的设计不需要做任何改动，管理器端只需要做少量的改动，利用二级管理器完成对机 群通信系统的监控。分布式管理器代理模型如图2 5 所示。 图2 5 分布式管理器代理模型 2 3 2 机群通信监控系统的模块结构 作为枫群监控系统的子系统或作为机群通信系统的监控和调试工具，机群通信监控 系统也拥有机群监控系统的四个基本模块。图2 6 给出了机群通信系统的模块结构图。 在代理端有一个信息采集模块，管理器端有信息收集模块、信息接口库模块、控制与可 视化模块。通信协议规定了管理器和被管代理之间的通信方法和监控信息的格式。 图2 6 枫群通信监控系统的模块结构 1 5 核心纽廿【群通信峨挖系统的研究 位于代理端的信息采集模块，负责本地监控信息的采集，完成了监控代理的主要功 能。信息采集模块是整个监控系统的个关键模块，其信息采集频率、采集信息的类型 和大小都直