[工学]PC集群高性能运算系统的机构设计和应用软件的开发.doc

哈尔滨石油学院本科生毕业设计（论文）分类号： 单位代码：UDC： 密 级： 哈尔滨石油学院本科生毕业设计论文论文题目：PC集群高性能运算系统的机构设计和应用软件的开发学 士 生： 李 洋 指导教师： 张大为 教授 工程领域： 石油与天然气工程 2012年 5 月 10 日IThesis for the Graduate Candidate TestThe High Performance Computing Systems Construction Design And Applying Softwares Development（论文英文题目） Candidate: Zhang Shuquan Tutor: Zhang Dawei,Li Youxiao Field: Oil and Natural Gas EngineeringDate of oral examination:20th June 2008（答辩日期）University: Daqing Petroleum InstituteIII 学位论文独创性声明本人所呈交的学位论文是我在指导教师的指导下进行的研究工作及取得的研究成果。据我所知，除文中已经注明引用的内容外，本论文不包含其他个人已经发表或撰写过的研究成果。对本文的研究做出重要贡献的个人和集体，均已在文中作了明确说明并表示谢意。 作者签名： 日期： 学位论文使用授权声明本人完全了解哈尔滨石油学院有关保留、使用学位论文的规定，学校有权保留学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版。有权将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查阅。有权将学位论文的内容编入有关数据库进行检索。有权将学位论文的标题和摘要汇编出版。保密的学位论文在解密后适用本规定。学位论文作者签名： 导师签名： 日期： 日期：摘 要 随着地震勘探开发技术的飞速发展，数据采集精度不断提高，数据处理的数据量急剧膨胀，成指数增长，同时对数据处理技术也提出了新的要求 ，以前作为特殊处理方法的叠前时间偏移和叠前深度偏移处理方法已经成为常规处理手段，而这些处理方法需要耗费大量的CPU资源。以目前处理中心现有设备根本无法完成这样的处理任务，因此必须购置新的处理系统。如果购置传统的大型机需要几千万元的资金，而构建PC集群，只需十分之一的资金，而处理的能力达到传统大行机的3倍，而且PC集群具有很好的扩展性，因此构建PC集群这一课题具有重要的理论意义和应用价值。本课题利用高性能的节点、网络交换机、存储等硬件资源和地震资料处理软件资源，通过合理的结构设计，构造一个高性能的并行运算系统，以满足地震资料叠前时间偏移和叠前深度偏移处理生产的需要。同时，通过开发研制集群监控软件和图形化的管理界面，实时动态监控管理PC集群的每个节点的CPU、内存和硬盘的使用情况，合理组织作业，充分利用计算机宝贵资源，保证整套PC集群发挥最大的效率。本课题的研制成功，使得研究院地震资料处理中心具有了叠前时间偏移和叠前深度偏移的处理能力，同时使得地震资料处理经济效益提高一倍，本课题的成果具有很好的推广价值和应用前景。关键词：高性能运算； 结构设计；监控软件；资料处理IAbstractWith the development of the seismic exploration technique,the collection precision of the seismic is more and more higher.The quantity of the seismic data which need process rapidly expand and is increasing by exponent and bring forward more demand to processing technique.The pre-stack time migration processing technique and pre-stack depth migration processing which were special processing technique have become regular processing method.These processing method will cunsume a large quantity CPU resources. Now the processing equipment we have cant deal with the task,so we need purchase some new processing machines. For purchasing the classic large computer, we will expend tens of millions of yuan RMB.If we purchase the Pc_cluster system,we only expense one-tenth cost of it and acquire three times processing ability.The pc_cluster expand easily.So constructing a pc_cluster has its theoretical meaning and practical applying value.In this project,we use high performance computing node ，switching equipment ,storage and seicmic data processing software to construct one high performance computing system by reasonable construction design. For this computing system,we can meet the demands of the pre-stack time migration and pre-stack depth migration in production.At the same time,we develop the graphical software to monitor and manage the status of every node include the information of the CPU ,Memory and Disk etc.Through the software,we can organize the processing task and utilize the precious machine resource.The pc_cluster can exert its largest efficiency.The completment of this project ,our processing center of seismic data of research institute owe the ability of pre-stack time and depth migration.Also this project increase the economic benefit of process.We can spread the production of this project and the foreground is full of light.Keywords:High Performance Computing； Construcion Design； Monitor Software； Seismic Data processing 目 录第1章 前言1 1.1微机集群的国内外发展现状.1 1.2微机集群的技术原理.1 1.3微机集群的可靠性 .3 1.4 微机集群的优势. .3 1.5微机集群的发展趋势4第2章 高性能运算系统的结构设计.52.1硬件产品的选择.52.2系统软件的安装.132.3集群运算系统的优化.14第3章 集群监控软件的开发.183.1软件开发的目的意义.183.2算法的研究设计.183.3程序的具体实现.19第4章系统的测试34结论.35参考文献.36致谢.38III 第1章 前 言1.1集群的历史及发展现状集群并不是一个全新的概念，其实早在七十年代计算机厂商和研究机构就开始了对集群系统的研究和开发。由于主要用于科学工程计算，所以这些系统并不为大家所熟知。直到Linux集群的出现，集群的概念才得以广为传播。高性能计算机技术是衡量一个国家科技水平及综合国力的重要标志之一，目前世界上一些发达国家都在争相投入巨额资金对它进行开发和研究。PC集群计算机就是最廉价的高性能计算机，具有良好的可扩展性、可移植性，具有成熟的MPI并行软件开发环境，现在PC集群已经应用到军事、航天、银行、天气预报和资料处理等各个领域，具有很多的成功的应用实例。目前国外的一些传统的生产的大型机的计算机公司例如美国的IBM公司、HP公司都拥有自己的集群产品，其他向美国DELL公司、联想公司和法国的CGG公司也都在生产自己的集群产品。国内的公司如曙光在生产大型机的同时，把重点转向了PC集群的生产，曙光的集群产品在物探行业有很多的成功的案例，在BGP的机房里就有曙光的512个节点。利用廉价的PC构建高性能的集群运算系统取代传统的大型机是当前发展的趋势。在集群监控软件方面，很多pc集群都没有自己的集群监控软件，有些即使有，功能也不完善，有些集群监控软件是第三方开发的软件，效果也不是很理想，我们在BGP第五物探大队看到香港一家公司开发的集群监控软件，以曲线的形式反映cpu、内存和硬盘的使用情况，图形效果不是很直观。为了使我们构建的PC集群高性能能运算系统，高效稳定的运行，更好的为地震资料处理服务，完成我们的生产任务，我们必须开发一套图形化的集群监控系统，实时动态监控集群的运行状况，以便合理安排组织并行处理作业，充分合理的利用好宝贵的计算机资源。在集群管理软件方面，每个集群厂家都有自己的管理软件，如IBM的免费XCAT集群管理软件，可以对集群进行简单的安装和用户帐号等一些常见的任务，但目前几乎所有集群厂家都没有一套图形化的集群管理系统来管理集群用户帐户、打印机、绘图仪等管理任务。因此，我们有必要开发一套图形化直观的集群管理系统，以便方便快洁的实现集群的管理。1.2 PC集群的技术原理微机集群技术分硬件和软件两部分：市场上可以买到的标准硬件（计算节点、管理节点、节点、网络设备和存储）和免费软件（Linux操作系统、各种并行、管理平台等）。集群的运算主要有计算节点完成，最早的集群使用的处理器是Intel 486,浮点运算能力有限，因此那时微机集群的瓶颈在处理器的运算速度。微机处理器已经从32位3.0GHz处理器发展到了现在64位架构的处理器，而且主频也超过了3.0GHz。从Pentium Pro处理器开始,Intel在处理器中增加了多处理器设计的线路，PentiumII和PentiumIII也都延续了这一做法。Pentium 4 不在支持多处理器线路，同样主频的Xeon处理器仍然增加了多处理器线路的同时。微机服务器属于对称多处理机SMP，而基于微机服务器的的SMP服务器不能解决多处理器同时访问存储器的问题。即在一个时钟周期内，一个存储单元只能有一个存储器进行读或写操作。微机集群实际上是大规模并行处理机MMP低成本的变种。与MPP相同，微机集群也是通过消息传递实现计算节点之间的进程互相作用。微机集群与大规模并行处理机MMP关键的差别在于计算节点之间互联技术的优劣。在MMP中，节点的存储总线采用高带宽、低延迟的高速专用网络互联，另外，MMP还有专用的软件用于提高通信速度，而微机集群是节点的系统总线互联。在多数情况下，微机集群计算方面的性能相等或优于MPP，但微机集群的通信能力比MPP要低一个量级左右。因此，微机集群的性能主要取决于网络技术。软件方面，虽然微机集群并不一定限于使用免费、开放软件，比如有些集群采用Windows 操作系统，但主要是使用Linux 等免费、开放的操作系统和并行、管理软件，当然有时也使用企业版的LINUX操作系统。和UNIX 系统一样，Linux 是一个真正的多用户、多任务的分时的功能强大的操作系统。Linux 内核最初是由芬兰赫尔辛基大学的学生Linus Torvalds 在1991年底推出，很快Torvalds 把Linux内核纳入自由软件GNU许可证协议。由于内核和源代码开放，Linux的发布完全没有商业利益在内，这就保证Linux的健康发展，现在Linux已经成为功能强大的微机操作系统之一。Linux 具有强大的网络功能，这对微机集群是必需的。顾名思义，因为微机集群就是用网络连接的一群微机，如果没有强大的网络功能，微机之间的互联和通信就会效率很低。Linux 又是可以有用户定制的操作系统，这对集群也很重要，我们没有必要在每个计算节点上运行完整、功能齐全的内核，这样即可以节省节点内存和CPU的资源开销，同时也可以提高系统的可靠性。微机集群的并行计算基本上是采用消息传递模式。最主要的消息传递并行标准是Massive Passing Interface(MPI)。较早的还有Parallel Virtural Machine (PVM)，是1994年以前广泛使用的标准。现在MPI是占统治地位的并行通信标准、并行变成环境。MPI通信功能可靠完备、容易使用、容易移植，是几乎所有计算机都支持的并行环境，而且是免费的。集群的管理是一个富有挑战性的任务。我们开发集群的目的就是进行并行计算，充分利用PC集群集群CPU多的优势，但由于分布式并行计算的特点，我们有效的使用集群的方法就是避免任何一个节点同时运行多个任务。比如我们资料处理提交一个并行作业到32个计算节点进行运算，如果其中某个节点同时提交了其他的任务，那么这个节点运行就会比其他节点慢，这样其他31个节点在完成任务后，就必须等待这个节点也完成预算任务后才能继续运算下一个任务，从而影响了整个集群的运行效率。虽然现在的一些应用软件可以实现负载转移，但是还是应该避免在一个节点运行多个任务。1.3 PC集群的可靠性PC集群的由于价格较低，因而人们常常怀疑其可靠性。其实，微机集群的低价格是建立在标准硬件和免费软件基础上的。微机集群是将通用、兼容和标准硬件连接起来，组建技术比较简单。原则上讲，技术越简单，可靠性就越大。至少理论上是这样。但是，由于微机集群中独立硬件数量较多，一般都可达到几百个到上千个，因而发生故障的可能性也增大。曾有人统计，一台1000个节点的MPP传统超级计算机每天至少有一个节点失效。同样对微机集群情况类似。假定每个节点平均无故障时间为24000小时，那么一个1000台节点的微机集群整个系统无故障时间只有24小时。也就是说，平均每天就可能有一个节点发生故障。要提高整个系统的平均无故障时间，就必须提高每个节点的无故障时间，但这是很困难的，而且几乎是不可能的。然而，集群个别节点的这类故障对整个系统来说并不是致命的，和MPP一样，微机集群每个节点的内核是完全独立的，一个节点的故障并不影响其他节点的运行。因此我们可以用机器的可用性来反映这种系统故障对系统使用的影响。可用性可以用正常运行的时间与总时间（运行加修理）的比来表示。同样以上面的例子为例，假定一个节点的在总共1000小时的时间里，只有1小时是发生故障后修复所用的时间，那么它的可用性就是99.9%，此时整个系统的可用性为99.9%，而两个节点同时发生故障的可能性为0.001x0.001,即0.000001,可以忽略不计。另外，我们可以采取冗余设计和故障转移技术，将故障节点的任务转移到冗余节点或其他节点，从而保障集群是可用的，当然如果是管理节点，那么整个系统就崩溃了。软件反面，开放免费软件并不等于不可靠，正是因为有了MPI等免费软件，才使得大部分计算机得以利用，只要选择成熟的开放软件，可靠性还是有保障的。另外，现在也有很多商用软件，向有些编译器也被用于集群上。1.4 PC集群体系的优势随着计算机技术和网络通信技术的飞速发展，计算机更新的频率越来越快，几乎每隔几个月都会有新的产品投入市场，因此如果购置传统的大型并行处理机，由于价格十分的昂贵，我们无法对设备及时的更新，最终导致设备陈旧老化，处理能力由于设备能力的原因提高缓慢的后果。而如果利用廉价的微机产品构建pc集群并行处理系统，则具有很大的优势，主要有以下几点：1、PC集群具有良好的可扩展性，如果生产需求增加，那么我们可以购买一些节点把它扩充到原有的PC集群中去，从而提高了原有集群的整体性能和处理能力。2、PC集群具有良好的可维护性，如果有些节点出现故障或损坏，由于这些产品在市场很容易买到，所以我们只须对这些故障节点进行更换即可。3、易于更新，由于pc产品价格便宜，投入资金少，所以设备更新相对容易，如果有新的更好的产品出现，那么我们可以对部分节点或全部节点进行更新，或者把新的产品加入到原有集群产品中去。4、集群产品具有良好的并行开发环境，目前很容易获得免费的MPI并行开发平台。5、集群搭建具有良的软件环境，操作系统我们可以使用免费的LINUX操作系统，在集群管理方面我们可以使用Xcat集群管理软件进行集群的构建。另外，之所以选择这方面的研究，也是因为在集群的构建和管理上好有很大的开发空间，目前几乎所有的集群厂商都没有并行运算环境中的图形化的用户管理工具和完备的集群监控软件，而这些恰恰是集群管理过程中非常重要的东西，我们有必要做一下这方面的开发工作，这也有利于推动PC集群的推广和普及。1.5 微机集群的发展趋势 微机更符合开放、通用和兼容的特征，而这些正式计算机快速健康发展所必须的。微机和工作站都可以用来构件集群，而且目前许多在工作站上的先进技术已经或即将被应用到微机上，例如以前在工作站上应用的缓存技术已经应用到微机的处理器当中。工作站逐渐被微机取代，这是一个必然的趋势。从目前工作站发展的速度与微机发展的速度的对比，也说明了这一点。互联网技术将决定集群的网络技术，虽然目前有许多为集群量身订做的网络技术如Myrinet等，还有应用于传统超级计算机上先进的网络互连技术将应用于集群领域，目前的刀片的网络技术采用这一点。但从集群通用、开放、兼容的标准的特点来看，互连网技术将可能决定集群的网络技术。微机集群的方向就是超级计算机的发展方向。微机和互连网技术在未来是年几年将会有更大的发展，微机集群将取代传统的超级计算机。5 第2章 高性能运算系统的结构设计2.1 硬件产品的选择2.1.1计算节点的选则 节点硬件要求主要包括以下几个方面：较高的CPU主频，CPU的主频越高，时钟周期越短，执行一条指令的速度也就越快;较高的缓存速度和较大的容量，作为CPU和内存之间的髙速缓存，很大程度提高了CPU的性能；较大的内存容量和较高的速度，内存容量决定了运算规模的大小；较高的总线带宽，决定数据通信速度大小。1、 在高端的服务器和低端的个人微机之间的选择在处理器方面，服务器要将数据、硬件设备等提供网络共享，在运行网络应用程序时要处理大量的数据，因此要求CPU要有很强的处理能力。相当多的服务器采用对称多处理器技术，多颗CPU共同进行数据运算，大大提高服务器的能力；在I/O性能方面，服务器的I/O性能很强大，远比微机要强。服务器上采用了SCSI卡、RAID卡、髙速网卡、内存中继器等设备，大大提高了服务器的I/O能力； 在可靠性上，服务器需要常时间连续运行，所以可靠性比微机高的多。 由于我们的集群主要用于地震资料处理，需要很高的运算性能和I/O能力，同时由于我们提交的并行作业有时需要连续运行一周甚至几周的时间，因此对及其的可靠性要求比较高，因此我们选择服务器产品。本次根据需要选择IBM的HS21 系列服务器产品。 2、CPU的选择 CPU是微机的核心部件，CPU的性能从下面几个指标考虑。 主频，CPU的主频=外频x倍频。主频是衡量CPU工作速度的重要指标，在同样的条件下，主频越高，CPU的运算速度也越快。外频也叫前端总线频率或系统总线时钟频率，具体的说就是CPU与周边设备数据传输的频率。目前最快的外频已经达到1333MHz。 缓存（Cache），也是影响CPU性能的重要指标，分一级缓存（L1 Cache）和二级缓存（L2 Cache），目前还有三级缓存和四级缓存。缓存结构复杂，成本较高，一般不能做的太大。目前L1 Cache 约为64KB，分别独立的存放指令和数据，L2缓存从2M、4M到6M不等。通常L2缓存速度与CPU相同，CPU通过二级缓存和内存交换指令和速度，因此L2缓存的速度和容量很大程度影响CPU的性能。下面图2-1时CPU与内存、缓存之间的关系示意图：MicroprocessorProcessorcore L1Data cacheL1Instr管理网络n KVM a用户网络c。h接用户局域网eL2Unified cacheMemory SystemMain m管理节点12G万兆网络交换机-SupervisorDIMM 图2-1通过性能指标的考虑，我们选择了Intel Xeon 5160 3.0 GHz 1333MHz FSB 2x2MB L2 Cache Dual Core。3.内存 内存的存取速度、容量和可靠性对节点的性能有很大的影响。 CPU处理的指令和数据就存放在内存中，CPU根据需要从内存中读取指令和数据。 内存RAM又称为随机存取存储器，其中的内容可以随机存取，在计算机断电后，数据马上消失。RAM进一步细分又可以分为SRAM(Static RAM)和DRAM(Dynamic RAM).由于SRAM不存在数据刷新的问题，其速度约为DRAM的35倍。但其成本至少是DRAM的4倍。目前市场上主流的内存有两种：DDR SDRAM和RDRAM。DDR SDRAM(Double Data Rate SDRAM,简称DDR),称为双数据传输率同步随机存储器。DDR建立在以前的SDRAM的基础上，区别是允许时钟脉冲的上升沿和下降沿都可以数据的读写，从而提高了数据的读写。目前内存的频率通常为677MHz。 同时，为了考虑内存的稳定可靠性，我们需要考虑内存的校验模式。内存常用的错误校验方式有ECC(Error Checking and Correcting),即错误检测和纠正。在这个模式下可以检测纠正2、3为甚至4为的错误。它是通过在内存条上增加一条具有检错和纠错功能的电路来实现的。因此为了保证微机集群的可靠性，可以考虑具有ECC 的DDR内存。通过性能价格等综合考虑，我们决定选择 PC2-5300 CL5 ECC DDR2 FB-DIMM 667 MHz chipkill内存，容量位4GB（2x2GB）。4、主板的选择对于组建大型微机集群，我们决定采用服务器主板，因为服务器一般做工精细、可靠。我们首先介绍一下主板的结构原理。主板是计算机最基本也是最重要的部件之一。其中最重要的是主板的芯片组（chip set）。芯片组是CPU与其他周围设备沟通的桥梁，是主板的灵魂和核心。芯片性能的优劣就决定了主板性能的好坏与级别的高低。由芯片组决定的重要性能有：CPU的类型、主板的系统总线频率（即CPU的外频）、倍频系数、扩展槽的种类和数量、AGP接口的速度（2X，4X，8X）等。目前用的最多的是Intel 公司的芯片组。主板的PCI总线也比较重要。PCI(Peripheral Component Interconnect)总线是Intel在1991年提出来的，也是目前主流的微机扩展总线标准，其地址总线和数据总线均为32位或64位。BIOS（Basic Input Output System）也是主板的重要的部分。在BIOS 中包含了一组例行程序，其中很重要的启动功能。BIOS支持的启动设备包括有软盘、硬盘、CD-ROM、USB-CDROM、网络启动等。其中USB-CDROM的启动功能对于不带CDROM的节点机来说，是一个可以用来启动机器。因此主板选择的要点是CPU类型、CPU插口、内存类型、芯片组和前端总线。5、网卡的选择网卡是网络适配器（Network Interfaces Card）的简称。对于集群来说，要求网卡具有很高的稳定性、可靠性。否则严重的丢包率会造成网络阻塞。网络技术是微机集群的关键，因此选择较高质量的网卡就显得非常重要。如果需要实现微机集群的网络启动，网卡还要具有远程唤醒和远程引导的网卡。远程唤醒就是在一台电脑上通过网络启动另一台已经关闭电源的电脑，这对于管理大型微机集群特别有用。因此我们选择了PRO/1000 PT Dual Port Server adapter by Intel PCI-E 双口千兆网卡。6、硬盘的选择 虽然由于集群的数据都存储在网络存储上，但在集群并行运算过程中，每个节点都要存储一些中间数据，因此每个节点硬盘的选择也很重要。特备是硬盘的速度，对于节点的运算速度产生很大的影响，因此我们要选择性能好、速度快的硬盘。从整体的角度上，硬盘接口分为IDE、SATA、SCSI和光纤通道四种，IDE接口硬盘多用于家用产品中，也部分应用于服务器，SCSI接口的硬盘则主要应用于服务器市场，而光纤通道只在高端服务器上，价格昂贵。SATA是种新生的硬盘接口类型，传输速度快，有着广泛的前景。在IDE和SCSI的大类别下，又可以分出多种具体的接口类型，又各自拥有不同的技术规范，具备不同的传输速度，比如ATA100和SATA；Ultra160 SCSI和Ultra320 SCSI都代表着一种具体的硬盘接口，各自的速度差异也较大。IDE的英文全称为“Integrated Drive Electronics”，即“电子集成驱动器”，它的本意是指把“硬盘控制器”与“盘体”集成在一起的硬盘驱动器。SCSI的英文全称为“Small Computer System Interface”（小型计算机系统接口），是同IDE（ATA）完全不同的接口，IDE接口是普通PC的标准接口，而SCSI并不是专门为硬盘设计的接口，是一种广泛应用于小型机上的高速数据传输技术。SCSI接口具有应用范围广、多任务、带宽大、CPU占用率低，以及热插拔等优点，但较高的价格使得它很难如IDE硬盘般普及，因此SCSI硬盘主要应用于中、高端服务器和高档工作站中。 光纤通道的英文拼写是Fibre Channel，和SCIS接口一样光纤通道最初也不是为硬盘设计开发的接口技术，是专门为网络系统设计的，但随着存储系统对速度的需求，才逐渐应用到硬盘系统中。光纤通道硬盘是为提高多硬盘存储系统的速度和灵活性才开发的，它的出现大大提高了多硬盘系统的通信速度。光纤通道的主要特性有：热插拔性、高速带宽、远程连接、连接设备数量大等。光纤通道是为在像服务器这样的多硬盘系统环境而设计，能满足高端工作站、服务器、海量存储子网络、外设间通过集线器、交换机和点对点连接进行双向、串行数据通讯等系统对高数据传输率的要求。 SATA（Serial ATA）口的硬盘又叫串口硬盘，是现在硬盘的发展的趋势。2001年，由Intel、APT、Dell、IBM、希捷、迈拓这几大厂商组成的Serial ATA委员会正式确立了Serial ATA 1.0规范，2002年，虽然串行ATA的相关设备还未正式上市，但Serial ATA委员会已抢先确立了Serial ATA 2.0规范。Serial ATA采用串行连接方式，串行ATA总线使用嵌入式时钟信号，具备了更强的纠错能力，与以往相比其最大的区别在于能对传输指令（不仅仅是数据）进行检查，如果发现错误会自动矫正，这在很大程度上提高了数据传输的可靠性。串行接口还具有结构简单、支持热插拔的优点。其次，Serial ATA的起点更高、发展潜力更大，Serial ATA 1.0定义的数据传输率可达150MB/s，这比目前最新的并行ATA（即ATA/133）所能达到133MB/s的最高数据传输率还高，而在Serial ATA 2.0的数据传输率将达到300MB/s，最终SATA将实现600MB/s的最高数据传输率。目前又出现了SAS接口的硬盘，SAS(Serial Attached SCSI)即串行连接SCSI，是新一代的SCSI技术，和现在流行的Serial ATA(SATA)硬盘相同，都是采用串行技术以获得更高的传输速度，并通过缩短连结线改善内部空间等。SAS是并行SCSI接口之后开发出的全新接口。此接口的设计是为了改善存储系统的效能、可用性和扩充性，并且提供与SATA硬盘的兼容性。 SAS的接口技术可以向下兼容SATA。具体来说，二者的兼容性主要体现在物理层和协议层的兼容。在物理层，SAS接口和SATA接口完全兼容，SATA硬盘可以直接使用在SAS的环境中，从接口标准上而言，SATA是SAS的一个子标准，因此SAS控制器可以直接操控SATA硬盘，但是SAS却不能直接使用在SATA的环境中，因为SATA控制器并不能对SAS硬盘进行控制；在协议层，SAS由3种类型协议组成，根据连接的不同设备使用相应的协议进行数据传输。其中串行SCSI协议(SSP)用于传输SCSI命令；SCSI管理协议(SMP)用于对连接设备的维护和管理；SATA通道协议(STP)用于SAS和SATA之间数据的传输。因此在这3种协议的配合下，SAS可以和SATA以及部分SCSI设备无缝结合。综合考虑硬盘的性能，我们选择了IBM 146GB 10K 2.5 SAS 热插拔HDD 硬盘。2.1.2 交换机的选择对于现在微机集群，当处理器的速度达到一定数值级之后，集群的整体性能很大程度是由节点之间的网络传输速度决定的。因此，为了构建高性能的集群，除了节点选择好的网卡外，最重要的就是交换机的选择。首先是交换机背板带宽，这决定了交换机的速度。其次要考虑交换机的丢包率，丢包率也叫帧丢失。网络就象一条交通要路，其传输的数据犹如行驶的车辆。车的流量随时变化的，也就是数据流量在不停的变化，处理器的速度也随之不停的改变，并且呈现很尖锐的曲线变化。丢包恰恰出现在负载变化率最大的时候。这是因为处理器在处理交换机缓存中的数据时，由于瞬间的数据量变化使缓存与处理器之间造成瞬间的传输拥塞或中断，随之出现了丢包现象，数据就从处理器和缓存之间的这条“缝”中漏掉了。为了解决这个问题，高端的交换机一般采用加大缓存和使用更快的处理器，使得丢包率小于0.3%。为此，我们选择了Force10 E1200作为数据中心交换机，是一款全线速万兆以太网交换机，它的背板带宽可达900Gbps,可提供672个全线速以太网端口或56个10GB的端口。Force10 E系列交换机提供高密度千兆以太网端口，汇接配置了千兆以太网适配器的服务器，提供无阻塞、高性能的服务器群之间的通信。Force10为追求更高性能和更低总体拥有成本的下一代数据中心提供了新型解决方案，产品已经在Google、Yahoo、Amazon、Rent-A-Car、ESPN、Friendster、Microsoft、百度等数据中心中使用。2.1.3集群存储系统的选择作为集群高性能运算系统，除了运算部分外，集中网络存储是集群系统另一个重要的部分。网络存储的容量、速度和可靠性是存储的重要指标，同时对于集群的整体运算性能起到至关重要的作用。集群在运算过程中需要从集中存储上读取数据，而且运算的中间数据和运算结果存储到网络存储上。目前集群常用的存储结构多位SAN结构。由于地震资料数据量比较大，特别是随着野外采集精度的不断提高，仅吉林探区每年三维的数据量就有12TB左右，特别是进几年叠前时间偏移和深度偏移等处理技术的应用，不但要耗费大量的机器时间，而且需要大量存储，这都对于存储提出很高的要求。不但要求海量存储，而且对磁盘的可靠性和速度提出了更高的要求。目前网络存储多维双通到结构，每个通道的带宽达4GB，髙速缓存达8GB16GB。我们选择HDS AMS 1000存储，该系列存储产品采用最新的模块化阵列系统结构，与HDS USP产品同为HDS TagmaStore家族系列产品。其内部采用内外光纤通路设计、双控制器管理、 高速缓存全部为NVCACHE与镜像写设计模块化设计以及部件级热拔插设计能够提供247的即时数据存取。其主要特点有：以中端价格，提供高端性能与容量。将服务器内置的存储迁移到可扩展的外部存储上，将多个存储系统整合到一个存储平台，或构建第一个SAN；支持iSCSI和/或光纤通道连接支持NAS连接，支持协作性的文件共享应用将SAN、iSCSI和NAS整合到一个平台中（同时支持任何两种协议）；采用SATA和光纤通道磁盘，容量从几个TB到超过300TB，跨系统提供应用特有的性能、可用性和保护；具有Cache Partition Manager和RAID-6等高级功能，帮助提高性能、可靠性和可用性分区和专用高速缓存可以使大数据流量的应用获得最佳性能。4096个逻辑单元 (LUN)为几乎任何工作量提供卓越的性能；选择SATA/光纤磁盘混插或单一光纤通道磁盘配置，采用最经济的存储解决方案执行任何存储任务。整合存储，预见增长。进行整合和集中管理以降低成本；SATA和光纤通道混插配置可最大扩展为300TB，光纤通道磁盘配置可扩展为135TB。符合法规要求，保护数据，减少恢复时间。增强的SATA数据保护提供了无与伦比的数据可用性和可恢复性；RAID-6既确保了高可用性，又保证了RAID组重建灵活性；Hi-Track“回叫”服务/远程维护工具实现了724诊断服务，防止隐患成为故障；完全冗余的热插拔功能可以保证应用运行；系统内卷复制或增量复制可满足频繁的在线备份需求，Hitachi TrueCopy Remote Replication软件实现了远程复制。扩展现有的SAN或部署到分层架构中。使用存储管理软件和Hitachi HiCommand Suite软件来管理和配置系统，通过支持iSCSI连接（AMS1000支持双协议），将SAN延伸到更小的服务器，采用归档和长期防篡改数据保留解决方案，满足监管达标要求，与日立企业级存储系统结合，在分层存储环境中组建完整的数据生命周期管理解决方案。17到此，集群的硬件部分选择基本完成，图2-2为集群结构示意图：接用户局域网。用户网络 KVM管理网络Supervisor万兆网络交换机管理节点12I/O节点24计算节点656机柜（16）42U机柜(12)计算网络42U机柜(1) 百兆网络交换机 百兆网络交换机机柜（20）机柜（21、22） 用户网络工作站光纤存储交换机 管理网络 计算网络 图2-2HDSAMS1000 2.2 系统软件的安装2.2.1系统的安装首先进行管理节点的安装，为了保证系统的稳定性和处理应用软件的需求，我们安装Radhat 企业版AS4.5,对存储节点的安装可以和管理节点的安装可以同时进行，只不过在对存储节点安装时需要安装HBA卡的驱动，使得存储节点可以挂接光纤存储。 计算节点的安装则是通过管理节点通过网络进行安装的。具体安装过程是，管理节点安装完后，将安装镜像拷贝到管理节点的制定目录中，其他节点就可以通过网络同时进行安装。安装通常在一至两个小时内完成安装。2.2.2系统的设置在系统安装完成后，通常需要进行一些配置。我们的大部分配置工作是在管理节点上进行的。对于一个较大的集群来说，节点机一多，网络管理的任务也相当繁重，即一些网络参数如IP地址、子网掩码、网关等的配置。最好能有一个集中式的管理，自动进行配置。这个问题的解决办法就是dhcp。Dhcp是dynamic host configuration protocol的缩写，即动态主机配置协议。Dhcp的功能是客户机通过dhcp服务器来获取网络的配置参数。Dhcp 服务器实际上是管理网络参数的一个服务器。Dhcp服务器有三种IP地址分配方法。自动分配，给客户机分配一个固定地址；动态分配；管理员手工分配。通常我们采取自动分配的方式。Dhcp的守护进程为dhcpd,配置文件为/etc/dhcpd.conf。我们通常配置Dhcp服务器只对允许的MAC地址做出相应，即将每个节点的MAC地址和IP进行绑定。下面是一个简单的配置文件的例子：Node0:/etc #cat dhcpd.confServer-identifier 192.168.1.253;Deny unknown-clients;Subnet 192.168.1.0 netmask 255.255.255.0Use-host-decl-name on;Optiong subnet-mask 255.255.255.0;Option routers 192.168.1.253;Group Server-name “192.168.1.253”; Hostname node2 hardware ethetnet 00:05:5b:ff:cf:76;fixed-address 192.168.1.2;Node0:/etc#.2.2.3集群所需网络功能测试微机集群实质上是一些微机用网络连接起来，所以能不能进行并行计算首先是网络功能是否正常。检测TCP/IP、NFS、NIS、远程shell命令、远程无口令登入功能是否正常。注意超级网络服务器的配置文件为/etc/inet.conf。必须保证在服务器和节点机上都确保shell、login服务已经被激活、启动.2.3 微机集群的性能测试 我们通常使用 Linpack测试程序对集群进行速度测试。Linux 速度测试是世界超级计算机500强排序的依据，其测试速度只对线性代数有效。Linpack测试给出的是每秒中能达到的最大浮点运算次数。得到的最大浮点运算次数的大小与Linpack测试程序具体的计算类型有关，就是计算过程中数据交换的频繁程度有关。就是与每单位次数的浮点计算中要进行多少大小的数据交换，即通常所说的数据密集程度有关。 2.4 集群运算系统的优化2.4.1网卡捆绑集群在进行运算的时候一方面在计算节点之间要传输大量的数据和信息，同时需要从集中存储中提取大量的数据，而从集中存储中提取数据是通过I/O节点进行的。这样的数据传输可能是一个数据包含有大量的数据块，也可能是一个数据包只有很少数据的的小数据包。大的数据包对网络带宽有较高的