汽车有限公司CAE高性能计算平台方案建议书

汽车有限公司CAE高性能计算平台方案建议书（初稿）文档说明此文件属于商业机密文件.经过有关方面批准方可从作者获取.保密说明本建议书属于商业机密文件，书中的所有信息均为北京九联云天科技有限公司机密信息，仅供XX汽车客户使用。务必妥善保管并且仅在与项目有关人员范围内使用，未经北京九联云天科技有限公司明确做出的书面许可，不得为任何目的、以任何形式或手段（包括电子或机械复印、录音或其他形式）对本文档的任何部分进行复制、存储、引入检索系统或者传播。特别声明本建议书内容，包括价格和配置，只适用于XX汽车客户。尽管北京九联云天科技已经尽力使本文档内容完整和有效，但仍可能有技术方面不够准确的地方或印刷错误。如果需求有所变化，北京九联云天科技将对有关内容进行相对应的调整，并在本投标未来版本中体现。IBM是国际商业机器公司的注册商标。本文档提及的其他公司、产品和服务的名称，可能是其他公司的商标或服务的标志。本建议书的有效期为自递交之日起3个月。第1章概述CAE一直是高性能计算的主要应用领域。随着现代汽车技术的发展，特别是与其它学科如数学、物理、化学、材料科学的结合，汽车应用所需处理的数据信息量不断增加，对运算能力的需求也越来越大，由于并行计算技术的飞速发展，汽车CAE模拟的应用平台也逐渐从巨型机过渡到高性能计算机系统，这也为用户提供了一个具有更高性价比的选择。近年来，高性能计算作为大规模CAE应用的基石，在工业和制造业领域的应用越来越普遍和广泛。从TOP600的统计信息来看，工业领域所占的比例在不断增加。2005年6月，工业用户使用的高性能计算机占到52.8％。而其中的半导体和制造业用户所占的比例相当可观。其中美国半导体公司大约有70台。许多国际著名的制造业大公司已实现了产品的虚拟化设计和制造，并实现了全球资源共享，利用全新的理念设计产品。美国、日本的一些公司都拥有总计算能力超过数十万亿次的高性能计算机用于新产品的研发。主导世界制造业方向的大集团公司目前都拥有大量的超级计算机用于产品设计和数据处理，制造业信息化是知识经济时代企业核心竞争的必要组成环节。中国在世界上有“世界制造中心”的称号，但是实际上我们的制造还大多数属于很简单的浅层面。更多的时候，通常的做法是产品在国外设计研发，在国内生产。不过，在如今，国内的制造业一方面有了自己的进步，另一方面，国外的知名企业也纷纷将自己的研发中心设置在了国内。在开始阶段，在国内作的研发可能还更多的出于本地化需求，不过，相信在不久的以后，会有更多的分析和研发需求会在中国出现。从设计产品的设计到研发到制造，整个环节都会在国内实现。目前，在汽车领域，国内的CAE进展的比较早,典型的应用有汽车的冲撞试验。XX汽车有限公司，1992年5月18日成立。2002年10月25日，由中国东风汽车公司与法国雪铁龙公司的合资合作提升为与法国标致雪铁龙集团的合资合作，导入标致品牌，新的合资公司于2003年1月成立，新合资公司的中文名称不变仍为XX汽车有限公司(XX公司总部位于中国湖北武汉，分别在武汉、襄樊两地建有包括冲压、焊装、涂装、总装、发动机、车桥、变速箱等工艺的武汉一厂、武汉二厂、襄樊工厂。2008年3月，XX公司已具备年产30万辆整车、40万台发动机的生产能力；生产高档轿车的武汉第二工厂将于2009年下半年全面建成投产，届时，XX公司将具备年产45万辆整车的生产能力。XX公司实行“一个公司、两个品牌”的经营模式，东风标致商务部总部设在北京，东风雪铁龙商务部总部设在上海。目前拥有东风雪铁龙、东风标致两大品牌的七大车型系列，包括东风雪铁龙凯旋、世嘉（三厢/两厢）、萨拉·毕加索、新爱丽舍（三厢/两厢）、C2，东风标致的307（两厢/三厢）、207（两厢/三厢）。随着今年下半年第二工厂高档轿车的下线，XX公司的产品线将覆盖经济型、中高档、高档等各个细分市场。XX公司自成立以来，始终肩负“成就拥车梦想，优化生活品质”的光荣使命，开创了中国汽车发展史上“高起点、大规模、专业化”建设的先河。在充分消化、吸收两大股东领先技术和先进管理经验的基础上，不断创新发展，创造了“一撞、一漂、一贴、一认证”的奇迹，取得了“家用第一车、环保第一车、安全第一车”和“史上最牛车”等诸多殊荣，树立了“安全可靠、环保舒适、创新科技”的产品形象和品牌形象。始终坚持“关怀每一个人，关爱每一部车”的经营理念，不断为广大用户提供满意的产品和服务，树立起了良好的口碑和企业形象。近年来，XX公司的建设发展步伐不断加快，年产销量先后突破10万辆、20万辆，并正在向更高目标迈进，生产经营已呈现出良好的发展态势：产销稳步增长，成本控制成效显著，经营质量明显提升，自主研发能力日益增强。同时，随着XX公司以品牌战略、产品战略、成本竞争战略、质量领先战略、自主研发战略、工业化战略、人力资源战略、组织与信息化战略、供应链战略、可持续发展战略等十大核心内容为支撑的永续发展战略的确立，XX公司的未来发展之路更加清晰，更加充满希望和期待。未来几年，XX公司将进一步加大新产品的投放力度，进一步提升产品竞争力和市场营销能力，全力打造2-3款年销量过10万辆的战略车型。以追求品质口碑领先、追求科学稳健发展、追求人车社会和谐为事业梦想，以成为最让人信赖的轿车企业为发展愿景的XX公司已拉开来新一轮跨越式发展的大幕，必将在未来的中国汽车市场焕发更加夺目的光彩。随着科研水平的不断提高，汽车CAE模拟对计算能力的需求也不断增长。经过广泛调研，XX汽车决定采购一套高性能计算机系统用以运行CAE软件。

第2章关于IBM高性能计算的简介高性能计算多年来一直是科技综合实力竞争的制高点，也在一定程度上反映了各大公司在系统研发方面的实力。在过去十年中，高性能计算技术正处于创新的高峰期，其处理速度和总体计算能力的发展远高于摩尔定律描绘的芯片技术的发展速度。作为行业的技术领先者，IBM公司在这一领域积累了长达半个世纪的丰厚经验，并在关键技术领域不断创新，发明了包括并行处理、对称多处理机和高性能计算机系统等并行计算的核心技术，并通过它们始终保持着在业界的领先水平。过去15年以来，IBM的专利数量都一直居于所有美国公司的首位。IBM长期以来致力于高性能计算领域的技术发展和应用完善，当其它IT厂商由于机会或者财务限制，在这种科学计算市场中进进出出时，IBM就从每年50亿美金的研发经费中按比例、持续地投入高性能计算领域。IBM承诺将保持在高性能计算领域的领先位置。IBM发明了包括并行处理、对称多处理机和集群等技术，并通过它们始终保持着在业界的领先水平。并且IBM还承诺，通过利用和增强基于开放资源技术与工业标准服务器的Linux集群，来提供给客户更多的机会。IBM将会成为这种方案的领先提供商，我们在世界各地成立了专门的队伍，为Linux的发展贡献力量，帮助客户或合作伙伴将应用移植到Linux平台，开发更多的新技术和应用。IBMLinux集群系统是利用先进的体系架构将IBM的Systemx系列服务器、Systemp系列服务器以及TotalStorage存储解决方案连接起来，通过集群技术实现高性能运算。由于Linux集群系统性能卓越，可用性高，扩展能力强和易于掌握等优势，一经推出，就被科学运算领域和商用领域的用户认可。众所周知，IBM公司长期以来在高性能运算方面投入了大量的精力，并取得了很好的成绩。在高性能运算TOP500名中，IBM公司占有很大的份额。IBM的大规模并行处理机SP系统已广泛地运用在各个领域，该机（深蓝）曾在1997年中的“人机大战”中因战胜棋王卡斯帕罗夫而享誉全球。作为后起之秀的Linux集群系统，吸取了SP大规模并行机的诸多优势，并且将SP上的优秀的系统管理软件和并行处理方面的程序移植到Linux集群系统上，如并行系统管理软件PSSP和通用并行文件系统GPFS等，从而使Linux集群系统不仅能在并行运算方面的性能得到保障，增强了集群系统的可管理性，最新的技术进步使得在相同的空间内采用刀片式服务器，从而将节点密度提高一倍，大大降低成本。也正因为如此，IBM的Linux集群解决方案越来越受到众多的用户群的关注，其中包括著名的蓝色基因(BlueGene)以及目前在全球高性能计算集群中排名第一的“走鹃”（RoadRunner）。图1：蓝色基因系统示意图在2008年6月最新公布的全球500强超级计算机中，188套来自IBM，其中5套位于前10名，35套位于前100名，其每秒钟的运算能力总和达到了8903万亿次，是500强所有系统运算能力总和的39.4%，占绝对主导地位。其中，全球最快的计算机是IBM的“RoadRunner”，实测浮点运算能力达到每秒1105万亿次。以下是目前全球超级计算机前十强的名单，IBM占据了5席：#Ven-dorRmaxTFlopsInstallation1IBM1105DOE/NSSA/LANL(QS22/LS21)2Cray1059OakRidgeNL-Jaguar(XT5QC2.3GHzOpteron)3IBM825.5FZJJuelich(72racksBlueGene/P)4SGI487.0NASAAmes(AltixQC3.0/2.8Xeon)5IBM478.2DOE/NSSA/LLNL(104racksBlueGene/L)6Cray463.3NICSUTenn-Kraken(XT5QC2.3GHzOpteron)7IBM450.3ArgonneNatlLab(40racksBlueGene/P)8Sun433.2TexasAdvCompCenter(QC2.3GHzOpteron)9IBM415.7DOE/NSSA/LLNL(36racksBlueGene/P)10Bull274.8FZJJuelich(QC2.93GHzNehalem)来源：http://www.toP600.org在国内，IBM的高性能计算机系统客户遍布生命科学、环境科学、物理学、化学、数学等自然学科领域，以及高等教育、石油勘探、航空航天、汽车制造等各行各业，其中包括目前国内运算能力最强的中国国家气象局UNIX高性能计算机系统（21.7TFlops），以及目前国内排名第二的中科院网络中心百万亿次超级计算机。为了更好地提供高性能计算应用支持，IBM和许多全球领先的高性能计算应用软件提供商进行了紧密合作。在CAE领域，长期以来IBM的行业专家在CAE代码并行化和优化方面有着有丰富的经验。第3章汽车行业CAE应用程序的特点及计算平台的选择汽车行业CAE分析的过程一般说来，CAE分析主要包括前处理、计算分析和后处理这3个过程。前处理主要是建立问题的几何模型、进行网格划分、建立用于计算分析的数值模型、确定模型的边界条件和初始条件等；计算分析是对所建立的数值模型进行求解，经常需要求解大型的线性方程组，这个过程是CAE分析中计算量最大、对硬件性能要求最高的部分；后处理则是以图形化的方式对所得的计算结果进行检查和处理图1给出了采用计算机进行产品开发的流程，包括建模、前处理（模型修改和网格生成）、计算分析、交叉学科综合及后处理几个部分。其中高性能计算主要应用于计算分析部分，统称为计算机辅助工程（CAE）。图1是CAE的分析过程。图1计算机主要在CAE分析过程的后期解算部分发挥作用CAE高性能运算应用程序的特点CAE高性能运算的应用可以分为隐式有限元分析（IFEA）、显式有限元分析（EFEA）和计算流体动力学（CFD）三个子学科。采用隐式算法的软件主要有ABAQUS/Standard、ANSYS、MSC.NASTRAN等，适合求解静力、模态、屈曲等问题；采用显式算法的软件主要有ABAQUS/Explicit、LS-DYNA、PAM-CRASH等，适合求解接触、碰撞、冲击等问题。几乎所有的制造企业的高性能计算都依赖于独立软件开发商（ISV）提供的商业软件，只有流体动力学算题中结构网格计算类型的部分软件是用户自己开发的。因此制造行业用户在购买硬件平台的同时通常会购买相应的科学计算软件产品。而在某种程度上，往往是应用软件的特性决定了硬件平台的选择。从对计算资源的需求来说，隐式解法的基本特点是内存占用多、磁盘IO大、进程通信量大，因此，隐式解法要求系统的内存容量大、访存带宽高、磁盘IO速度快、通信延迟低；相对而言，显式解法对内存、磁盘IO和通信延迟的要求要低一些。从软件的扩展性上来说，隐式算法和显式算法有明显的区别。采用隐式算法的软件，扩展性相对较差，计算性能在8-16CPU以上就很难获得进一步的提升。而采用显式算法的软件，扩展性就要好得多，在64-128CPU以内都能获得较好的并行性能。下表给出了常用的CAE软件，并列出这些软件的特点，包括并行方式和可扩展性。常用分析软件

CAE应用软件分类应用软件并行方式扩展性静态隐式有限元分析（IFEAStatics）ABAQUSpthreads低高ANSYSOpenMP,MPIMSC.Nastranpthreads,MPI动态隐式有限元分析（IFEADynamics）ABAQUSpthreadsANSYSOpenMP,MPIMSC.Nastranpthreads,MPI显式有限元分析（EFEA）LS-DYNAOpenMP,MPIPAM-CRASHOpenMP,MPIRADIOSSOpenMP,MPI计算流体动力学（CFD）FLUENTMPISTAR-CCMPIPowerFLOWOpenMP,MPI从上表中我们可以了解到CAE应用软件具有以下特点：（1）IFEA类应用软件（如ABAQUS、ANSYS和MSCNastran）硬件平台支持的可扩展性不是很好。Nastran对内存，I/O性能要求高；（2）IFEA类应用软件通常使用共享内存方式（pthreads或OpenMP），进行并行处理，其中ABAQUS不支持消息传递方式（MPI）的并行；（3）EFEA类应用软件（如RADIOSS、LS-DYNA和PAM-CRASH）和计算流体动力学软件（如FLUENT、STAR-CD和PowerFlow）的硬件平台支持的扩展性相对较好。RADIOSSS/LSDYNA对CPU，I/O性能要求高；（4）EFEA类应用软件和CFD软件以采用消息传递并行方式（MPI）为主。高性能计算（HPC）服务器体系结构分类及特点目前市场上常用的高性能计算服务器大致可以分为以下3种体系结构，即：1．并行向量处理机（PVP）PVP系统含有为数不多、功能强大的定制向量处理器（VP），以及定制的高带宽纵横交叉开关和高速数据访问。由于这类系统对程序编制的要求较高，价格很昂贵且难于管理，因此，这种类型计算机主要集中在一些大型国家关键部门，在这里不再赘述。2．对称多处理机（SMP）SMP系统采用商品化的处理器，这些处理器通过总线或交叉开关连接到共享存储器。今天市场上常见的机型有IBMp系列服务器、HPQ的SuperDome、Alpha的ES、GS系列及SGI公司的Altix系列。SMP系统通常具有以下特点：（1）系统内的CPU共享并可以直接访问所有的内存；（2）由一个操作系统管理整个系统；（3）支持共享内存方式的并行模式，如OpenMP、pthreads等；（4）支持消息传递方式的并行模式，如MPI、PVM等（5）系统的价格相对较高；（6）为提高系统的使用效率，需要有功能强大的资源管理软件和作业调度软件配合进行系统管理。如LSF、PBS及IBM的WLM和TivoliWorkloadSchedulerLoadleveler等。3．工作站集群（COW，ClusterOfWorkstation,简称Cluster）Cluster结构是近年来发展势头很好的一种体系结构。这类机型的技术起点比较低，用户甚至可以自己将一些服务器或微机通过以太网连接起来，配以相应的管理、通讯软件来搭建Cluster。但是如果要构造高性能、结构合理并具有好的RAS特性的Cluster却不是一件容易的事情。几乎所有的国内、外计算机厂商都有自己的Cluster集群产品，如IBM的Cluster1350、联想的深腾系列及曙光的天潮系列等。Cluster系统通常具有以下特点：（1）系统由多个独立的服务器（在Cluster概念下称为节点）通过交换机连接在一起。每个节点拥有各自的内存，某个节点的CPU不能直接访问另外一个节点的内存；（2）每个节点拥有独立的操作系统；（3）需要一系列的集群软件来完成整个系统的管理与运行，包括：Cluster系统管理软件，如IBM的CSM、xCat等；

消息传递库，如MPI、PVM等；

作业管理与调度系统，如LSF、PBS，IBM的TivoliWorkloadSchedulerLoadleveler等；

并行文件系统，如PVFS、IBM的GPFS等；（4）支持消息传递方式的并行模式，如MPI、PVM等；（5）只能在单个节点内部支持共享内存方式的并行模式，如OpenMP、pthreads等；（6）性能价格比好。CAE硬件平台的选择CAE在制造企业中承担着关键的业务，所以其高性能平台的选择非常重要，这个平台直接影响CAE的运行性能表现、整体成本和系统维护等方面问题。想让CAE能实现“随需应变”，在高性能计算平台的选择上就需要进行全面的考虑。1．CAE软件使用SMP系统存在的问题理论上讲，SMP系统可以胜任CAE应用程序的运行，但是不可避免地存在一些问题。首先是SMP系统价格相对较高。而且CAE的某些应用软件的扩展性不好，如隐式有限元分析（IFEA）类软件通常只能用到最多8个CPU。这个特点决定了配置超过8CPU的大SMP服务器没有太大的必要，反而会造成投资的浪费。此外，SMP系统由一个操作系统管理，如果没有强大的资源管理软件和作业调度软件配合，很容易造成CPU分时处理多个任务的现象，即在一个CPU上同时运行多个进程，从而影响整个系统的使用效率，同时难于保证关键任务的按时完成。常用的作业调度软件有PBSpro、LSF和OpenPBS，其中开放源代码的OpenPBS很难胜任复杂的CAE应用软件的管理，尤其是对共享内存方式并行模式（OpenMP，pthreads）的管理。而LSF和PBSpro的价格比较高，同样会增加用户的投资。2．CAE软件使用Cluster系统存在的问题目前市场上的Cluster系统通常是用PC服务器作为节点构建的，每个PC服务器内部一般配置2个CPU。这种类型的Cluster系统在承担CAE应用软件运行任务时也存在一些问题，比如共享内存方式的并行模式只能运行在一个节点内部，也就是说，最多只能用2个CPU去处理OpenMP/threads类型的CAE任务，很难满足应用的时效性要求。又因为单CPU的处理能力限制，需要更多的CPU来完成一个计算任务，这样就需要购买较多CPU的软件许可证，增加了用户的投资。3．SMP-Cluster混合架构：CAE应用平台的最佳选择如上所述，不同CAE软件对计算机系统的需求差异很大，例如NASTRAN应用对内存和I/O的要求很高；而CFD类的应用对CPU速度及网络连接有较高的要求。为此，该计算机系统必须是一个平衡的系统，在CPU速度、内存容量与带宽、存储容量与带宽及网络连接等各个方面都不应该存在性能瓶颈。当设计CAE高性能计算整体解决方案时，要充分考虑用户需求，比如资金预算、问题类型、分析规模、用户数量、软件License个数等，以此来确定最终的硬件选型。根据客户以上各方面需求的综合分析，可采用以下三种方案：1）以隐式分析为主的解决方案常用的隐式有限元软件有ABAQUS/Standard、ANSYS、MSC.NASTRAN等。根据隐式有限元分析要求内存容量大、磁盘IO快、通信延迟低的特点，推荐采用基于SMP架构的IBMPower产品，小规模的隐式分析也可采用x3850X5或x3755。2)以显式分析为主的解决方案

常用的显式有限元软件有ABAQUS/Explicit、LS-DYNA、PAM-CRASH等。相比而言，显式有限元软件对系统硬件的要求略低一些，从性价比以及软件的扩展性出发，推荐采用由2路的IBMSystemX作为计算节点的集群系统。采用集群系统进行显式有限元分析具有以下优点：

1）采用集群系统，节点硬件配置可以略低一些，节省投资。

集群节点采用XXX系列处理器，系统内存的配置推荐XGB/Core，配置硬盘。

2）采用集群系统，可以为用户提供更多的CPU资源。

在同等价格的情况下，集群系统可以为用户提供更多的CPU资源。可以同时满足多个用户、多个计算任务的需求。同时集群的各个节点也可独立进行运算。

3）采用集群系统，各个节点可以协同工作。

集群系统的特点在于虽然各个节点的计算性能有限，但是多个节点可以通过高性能网络进行协同工作，共同完成大规模问题的求解。目前主流的计算软件也都支持集群并行计算。

4）采用集群系统，进行扩展非常方便。

当需求增加时，通过增加节点数量，可以立即提升系统的整体运算能力，用户以前的投资不会浪费。

在集群系统中，网络的性能直接影响整个系统的实际运算能力。目前市场上主要有三种高性能计算网络：千兆以太网、万兆以太网和Infiniband。应该根据用户的预算和系统规模进行选择。5）兼顾隐式和显式分析的解决方案：SMP-Cluster混合架构针对SMP系统和Cluster系统在处理CAE应用时存在的问题，我们可以考虑一种综合这两类体系结构优势的高性能计算机系统——SMPCluster。如图2所示。

图2SMPCluster和OpenSMP、Cluster的比较IBMCluster1350Linux集群系统（IBM刀片中心）：IBM将目前最紧凑的刀片式服务器加入到Cluster1350集群产品中，使集群系统的集成度提高了一倍，即在一个7U高的刀片抽屉中可以放置14个刀片服务器。该产品不仅集成了IBM在x系列服务器、p系列服务器方面的多种技术和特点，而且是开放的技术标准，在系统的结构和散热方面都有许多的独到之处，其关键的中间板的冗余设计，大大提高了整个系统的可靠性，连接线缆的减少使集群系统的可维护大大提高。IBM刀片中心BladeCenter可以安装四种类型的刀片式服务器，一种是采用IntelXeon芯片的HS22刀片式服务器，一种是采用AMD芯片的LS22/LS42刀片式服务器，一种是采用IBMPower6芯片的JS22刀片式服务器，一种是采用IBMPower架构CELL芯片的QS20刀片式服务器。使用IBM刀片中心作为节点来构成Cluster1350系统具有以下特点：（1）采用刀片服务器作为节点，使传统Cluster系统具有更高的集成度，更加省电，稳定性更高；（2）刀片中心可以在7U高度中安装14片刀片服务器共28颗CPU的集群系统。刀片之间操作系统独立；（3）节点间连接采用IBM为HPC专门设计的高性能交换机，其单通道带宽达到10Gb/s，并且每个节点都配置了双通道作为冗余配置。这样在保证跨节点通信的优越性能的同时，提供了较高的稳定性；（4）整个系统节点间使用消息传递方式的并行任务（MPI或PVM）。（5）完善的集群管理环境，统一进行资源管理和作业调度。管理软件包括：xCAT集群系统管理软件，可以同时管理多个集群,包括UNIX集群和Linux集群；TivoliWorkloadSchedulerLoadleveler作业调度软件，具有强大的作业调度、记帐及断点/续算功能；充分优化的并行使用与开发环境IBMPE，提供高性能的、完善的并行作业运行与管理；高性能的并行文件系统GPFS，为整个集群提供稳定的共享文件系统。GPFS是一种高性能共享磁盘文件系统，可提供对集群中所有节点的快速数据访问。单节点最高带宽15GB/s，I/O平衡调度改善吞吐性能，已安装的美国ASCIPurple实测达到102GB/s；（6）高性能价格比。IBM优势IBM，即国际商业机器全球服务公司，1911年创立于美国，是全球最大的信息技术和业务解决方案公司，目前拥有全球雇员31万多人，业务遍及160多个国家和地区。在过去的九十多年里，世界经济不断发展，现代科学日新月异，IBM始终以超前的技术、出色的管理和独树一帜的产品领导着全球信息工业的发展，保证了世界范围内几乎所有行业用户对信息处理的全方位需求。众所周知，早在1969年，阿波罗宇宙飞船载着三名宇航员，肩负着人类的使命，首次登上了月球；1981年哥伦比亚号航天飞机又成功地飞上了太空。这两次历史性的太空飞行都凝聚着IBM无与伦比的智慧。IBM在产品技术发展路线上始终保持清晰稳定的发展方向，产品设计生产上全面保护用户的已有投资。IBM是唯一一家在高端服务器行业有能力自己设计、研发和制造的厂家。IBM设计和制造CPU的成就是非凡的。从我们目前所熟知的铜芯片、绝缘硅技术，到后继的low-Kdielectric和siliconstrainin等新技术已一一被发明出来。总体而言，IBM有很强的技术实力，在高性能服务器中引进了大量的主机上的先进技术，依靠“整体”的系统解决方案保证系统的可用性和可靠性，将高性能计算推广应用到“实际生产处理”系统中。IBM多年在世界最快500套超级计算机中(TOP600)排名第一。截止到2006年11月，其中前5套IBM占据前4套，前50套IBM占有46%，全部500套中IBM占48%。IBM不仅在硬件技术上处于领先地位，在高性能计算软件方案上也有着独到之处。对于高性能计算机复杂的管理难点IBM有同时支持Unix/Linux平台的高效管理软件（IBMxCAT）。对于影响大型高性能集群性能的I/O难点IBM有性能领先的通用并行文件系统（IBMGPFS）,GPFS可以根据用户系统规模的不断扩展线性提升系统I/O带宽。对于提高系统效率的作业管理软件，IBM有积累了长期大规模高性能计算经验的IBMTivoliWorkloadSchedulerLoadleveler，他可以实现资源利用率和吞吐量的最大化。对于影响高性能计算程序的编程环境IBM有历经几十年的强大编译器（最优的SPECOMP2001性能）和优秀的数学与科学函数库ESSL,PESSL。IBM更有经过充分优化的并行运行环境IBMPE及调试工具。其次，IBM在系统层面保证（大型）高性能计算系统的可用和可靠性，除上述系统连接、监控和系统管理功能外，IBM的优势在于IBM全球服务部以其在高性能计算上多年的经验和积累，将根据“应用”和“客户”的具体需求对整个系统运行环境的客户化，包括IP地址规划、主机名规划、操作系统包规划、各种服务规划以及集群系统本身的安装、维护、客户化、集群作业的分发、集群资源的分配、并行软件编译环境等等。这点对于高性能计算进入实际生产应用意义深刻。在高性能计算方面，IBM有一批资深的技术专家，他们不仅了解IBM的产品和技术，而且了解行业的应用，熟悉行业的应用软件，这些专家负责与应用软件商和客户应用的密切技术合作和支持，经常地与应用软件开发商一起研究和优化应用软件，使应用软件在IBM的计算机体系结构上运行得更好。有了这些专家的支持，可以使大量的应用软件可以平滑地在IBM的平台上运行，帮助用户更好地使用IBM的技术和产品，协助用户调试和优化相应的应用软件。最后，厂家长期、稳定的产品售后服务和技术支持体系也是保证一个生产处理系统正常运行的因素。IBM中国公司在1998年就投资1500万美元成立了国内最大的技术支持中心－IBM中国技术支持中心（IBMChinaTechnicalSupportCenter，即TSC），为国内的用户、代理商及IBM内部提供技术支持服务。正是由于IBM在高性能计算方面长期以来的不懈努力，使IBM在“大规模”高性能计算方面拥有大量用户（安装并已进入实际生产运行）。并且，IBM公司与业内多家应用软件提供商和服务商有大量的合作和成功案例，IBM的高性能计算解决方案能在硬件和系统的层面满足应用的需要，IBM中国公司在此提供建议书，其目的在于根据IBM在并行计算项目方面的多年经验，为用户提供一个技术上的参考意见，并通过IBM的服务支持，协助用户以最高的性价比获得稳定、可靠的运行。第4章CAE高性能计算系统设计原则应用通用性原则如上所述，不同CAE软件对计算机系统的需求差异很大，例如NASTRAN应用对内存和I/O的要求很高；而CFD类的应用对CPU速度及网络连接有较高的要求。为此，该计算机系统必须是一个平衡的系统，在CPU速度、内存容量与带宽、存储容量与带宽及网络连接等各个方面都不应该存在性能瓶颈。半导体技术和计算机技术的飞速发展，使得不停地有新技术出现以提高某一方面的能力，因此综合优化利用所有在某一时刻最新最先进最成熟的技术才能建立一个全方面均衡的系统，任何一个主要部件的先进不代表整个系统的先进，任何一个主要部件的落后也会导致整个系统的落后。但毋庸置疑，一个全面实现均衡设计的先进系统必然是一个成本较高的系统，最先采用新技术通常都会带来一些额外的代价。因此设计一个有具有不同特点的多个子系统构成的高性能计算系统也是一个对CAE应用非常适合的做法。但这类系统应该具有一个较好的管理机制，能够将不同特点的作业分发到最适合的子系统上进行运算，以获得总体上均衡的效果。系统高扩展性原则CAE高性能计算系统在提升作业吞吐能力（支持多用户、多作业）的同时，还有一个重要的目标是用来支持中、小规模计算机系统无法解决的特殊业务问题。为此，该计算机系统不应该是众多低端服务器的简单堆叠。用来构建该计算机系统的计算服务器必须具有强大的处理能力，并配合以高性能的网络连接。下表列出了Power575服务器与Intel最新的发布的、采用两路Nehalem芯片（8核）的服务器的一些指标对比，从中可以看出Power575服务器出了具有强大的计算性能优势外，更是一台性能平衡的系统，在内存及I/O等各方面均有优异的性能。IBMPower575服务器2-wayNehalem服务器性能比理论峰值速度(GFlops)60193.766.42倍缓存容量(MB)6401835.56倍内存带宽(GB/s)273328.53倍I/O带宽(GB/s)9419.24.9倍系统高可用性原则建设大规模的高性能计算机系统将面临众多的技术难题，其中系统的稳定性、安全性及易管理性是该计算机系统应具有的基本特征。最终用户不应该在系统管理和维护上投入过多的人力与物力，而是将精力集中于相应的科研工作。为此，我们推荐采用更稳定的Power服务器和可靠性很高的刀片系统作为计算节点，辅之以成熟的软件系统和关键部件的冗余化设计，从而建立高可用的高性能计算系统。处理器性能最大化原则在CAE用户所处的应用领域存在一个现象，即作业的运行时间很难通过增加所使用的处理器数量来减少。下面分别列出了ANSYS和ABAQUS在典型高性能计算机上不同个数处理器上运行标准测试所花费的时间。加速比1CPU2CPU4CPUABAQUS,7StandardBenchmarks11.481.95ANSYS,12StandardBenchmarks11.301.57ABAQUS是典型的非线性有限元分析程序，从上表可以看出，即使使用4个CPU，也无法将计算时间缩短至只使用一个CPU时的50%。而ANSYS多处理器并行的效率更差。分析以上数据我们可以得出结论，若要提高工作效率，缩短作业的运行时间或者在一定的时间内运行更多的作业或更复杂的作业，只有提高单处理器的性能才能实现。也就是说，由8个相对性能为一的处理器构造的高性能计算系统不如使用由4个相对性能为2的处理器组成的高性能计算系统的使用效果好，理想状态下对两个4CPU的作业它们的性能是一样的，而对于一个作业来讲后者只需前者一半的时间就可完成作业。对于这类应用，高性能的Power处理器是比较理想的选择，选择性能尽可能高的Power处理器还有另一个好处，就是在得到同样的运行效率的前提下，在应用软件许可证上的花费更少。高性价比原则只遵循上面的原则会造成系统购置成本不受限制地增加，所以需要在高性价比原则给以制约。对于显式有限元分析以及流体和碰撞等应用，选择性能价格比更高的刀片式服务器，无疑是非常理想的选择。同时高性价比原则也不能仅理解成硬件系统的性价比，而应该将所需软件的费用一并纳入考虑内容；也不应只是考虑系统在采购时的性价比，而应考虑系统故障造成的时间损失和信誉损失、维修备件成本、维修人员成本、能源费用等。第5章CAE高性能计算平台方案关于XX汽车CAE项目投资的几点建议根据测试结果及我们以往在汽车行业的经验，理想的计算环境应该是SMP小机+Linuxcluster的混合架构；项目投资应有计划、分步骤地有序进行，一期可先上cluster保证碰撞和显式计算并规划好未来扩展的计划；保证ABAQUS、NASTRAN等隐式计算可以在cluster架构下过渡性地运行，明年二期可以平滑地迁移到计划的SMP小型机上，不建议采用X86SMP服务器存储需要考虑并行文件系统，可以考虑一期用两个I/O节点保证I/O吞吐量并兼顾可靠性，后期可平滑扩展；考虑到碰撞等应用对时间延迟的敏感性，建议采用InfiniBand等高速网络连接，并制订后期扩展计划作业调度方面，一期可考虑开源软件，后期可选择LSF,PBSPro，LoadLeveler等商业版作业调度系统。总体方案描述根据客户需求,一期采用刀片集群方案，二期扩展SMP小型机，具体方案描述如下：使用一套刀片中心，8片刀片，内置万兆交换机为各刀片之间提供10Gb/s带宽。随着用户需求的增长，该系统可同过增加刀片中心灵活的扩展。基本配置如下：1）计算节点:8片HS22CPU：2颗XeonX56702.93GHzCPU(IntelXeon六核处理器,2.93GHz,12ML3缓存,总线6.4GT/s)RAM：24GBHDD：2x146GB2.5”SAS热插拔的硬盘集成2个千兆以太网卡万兆的子卡三年免费维护2）用于安装计算节点的BladeCenterHChassis1个管理模块1个两组（4个）2900W电源模块内置千兆以太网交换机BNT万兆交换机三年免费维护3）管理节点：1台IBMx3650M3CPU：2颗XeonE56302.53GHzCPU(四核至强处理器2.53GHz12MB三级缓存，最高支持1066MHz内存频率，5.86GT/sQPI，支持超线程、TurboBoost功能)RAM：16GBHDD：2块146GB2.5”SAS热插拔的硬盘集成2个千兆以太网卡1个双口独立千兆以太网卡三年免费维护4）I/O节点：2台IBMx3650M3CPU：2颗XeonE56302.53GHzCPU(四核至强处理器2.53GHz12MB三级缓存，最高支持1066MHz内存频率，5.86GT/sQPI，支持超线程、TurboBoost功能)RAM：16GBHDD：2块146GB2.5”SAS热插拔的硬盘集成2个千兆以太网卡1个双口光纤通道卡万兆以太网卡远程控制卡三年免费维护5）存储设备IBMDS5300高性能磁盘阵列双控制单元12块300GB，FC磁盘6）机柜套件1个42U，19英寸标准机柜1套15英寸液晶显示套件1套NetBAYConsoleSwitch(KVM)，含键盘，鼠标4个PDU含配套电源线7）软件部分1．操作系统：Linux2．集群管理系统：IBMxCAT本系统集群管理软件采用xCAT完成集群管理功能，本方案建议选择主管理节点作为xCAT的管理服务器，安装xCAT服务器端软件。xCAT服务器端软件通过AMM网络与刀片中心的管理模块通讯，得到刀片的状态信息，例如为部署刀片操作系统需要的网卡MAC地址。通过软件分发网络，与存储节点和登陆节点通讯，进行硬件管理。xCAT管理操作，通过软件分发网络，与计算节点，存储节点，登陆节点通讯。xCAT工作逻辑如下图所示：xCAT能够通过单点控制来管理基于Intel的Linux系统群集。这样便简化了群集的管理，使其能够很方便地扩展，有助于提高系统管理员的效率。同时，该软件还充分利用了IBM在硬件上的先进技术，如集成的系统管理处理器（ServiceProcessor），使管理软件能够以远程方式管理每一个系统节点，从而方便系统的管理。xCAT包括一种能够监控软硬件事件的基础设施，在适当的时候可以触发自动恢复操作。CSM的这种较高可靠性基础设施和事件监控功能，有助于快速检查和解决问题，从而增强了群集的可用性。具体来讲，IBM的集群系统管理软件可以实现如下的功能：实现系统的并行安装和配置；管理和同步节点的配置文件；提供系统远程运行命令操作，允许以命令或脚本方式运行在集群中的所有节点上支持用户帐户统一管理；提供远程硬件控制，如：节点的远程开机、关机和重新启动；动态监视系统资源使用情况；3．编译器：GNU编译器：C/C++编译器，Fortran77/90/95/编译器4．并行环境软件：IBMTivoliWorkloadSchedulerLoadleveler,MPI－CH,Maui/OpenPBSTivoliWorkloadSchedulerLoadleveler——是一种动态任务计划和负载平衡软件，可在集群的内部支持数以千计的各种任务；5．文件系统：IBMGPFS（通用并行文件系统）GPFS——是一种高性能共享磁盘文件系统，可提供对集群中所有节点的快速数据访问。单节点最高带宽15GB/s，I/O平衡调度改善吞吐性能，已安装的美国ASCIPurple实测达到102GB/s；6．系统监控管理软件：IBMSystemsDirector8）技术集成IBM完成硬件系统平台，操作系统，系统平台软件的安装调试以及与LS-DYNA,radioss,NASTRAN等专业软件商联合安装与调试，确保用户的应用软件的正常运转。9）日常维护使用IBM提供的高级群集管理软件xCAT，能够通过单点控制来管理基于AIX/Linux系统群集。这样便简化了群集的管理，使其能够很方便地扩展，有助于提高系统管理员的效率。同时，该软件还充分利用了IBM在硬件上的先进技术，如集成的系统管理处理器（ServiceProcessor），使管理软件能够以远程方式管理每一个系统节点，从而方便系统的管理。通过现场培训用户可以简便的完成系统管理工作。二期扩展方案根据现有的架构，二期可以方便地增加刀片加入现有集群，并通过xCAT管理新增加的小型机；同时，GPFS并行文件系统在线扩展文件系统和添加I/O节点，并支持分级存储。方案具有非常好的扩展性。第6章相关产品技术介绍IBMBladeCenter要点：提供业界最全面的兼容机箱、刀片服务器、存储器和联网产品的选择性。通过多层冗余提供极为牢靠的可用性。端到端的可靠性和最佳业务实践承诺。通过创新的冷却技术提供卓越的电源效率。基于开放技术提供卓越的I/O性能和交换功能。高效整合：IBMBladeCenterH将服务器、存储、网络、I/O与应用程序紧密地集成在一起，客户可以使用通用构建模块构建强大而灵活的IT基础架构。业务增长时，只要插入新的刀片即可，非常简单。模块化设计能节约大量的电缆成本，而且在很大程度上减少了由于电缆太多而造成的混乱和路由上的麻烦。由于电缆数量的减少，能够大大提高机架后面的空气流通自由度。刀片中心具有非常高的可靠性及可用性，刀片中心中连接后部共享模块和前部刀片服务器的中间背板，其上半部与下半部的功能相同并相互独立，从而实现了背板的冗余配置。所以IBM刀片中心中的所有部件都可以冗余配置，包括风扇、电源、交换机模块、和管理模块等，甚至刀片中心的背板都是冗余的，从而消除了单点故障。另外，风扇、电源、交换机模块、和管理模块等部件都是可以热插拔的。电力传输没有单点故障,14台刀片服务器总体上拥有坚如磐石的可用性。BladeCenter机箱提供了一个大量可选择的平台：基于Intel平台刀片(HS,HC系列),基于AMD平台刀片(LS系列),基于POWER平台刀片(JS系列)，基于Cell/BE平台刀片(QS系列)，支持Windows,AIX,Linux,i5OS等操作系统。提供了最大化的灵活性，一个机箱里可以混合使用多种刀片以满足客户的不同需求。使用强大的IBMCoolBlue™（酷蓝）技术来管理您的数据中心，这种产品和工具组合可帮助客户计划、管理和控制数据中心的电源和冷却系统，从而建立环保的绿色数据中心。IBMCoolBlue技术能够准确预测具体配置对电源和冷却的需求，从而实现对电源和冷却架构进行切实的规划。可以帮助您消除数据中心的热区。还具有行业唯一的电源虚拟化（封顶）功能，根据需要将电源从一台服务器移到另一台服务器。此功能可以在有限的电源供应基础上在最大限度上提高对服务器的利用率。BladeCenterVirtualFabric技术采用灵活、开放的互连架构，帮助您在最大限度上提高应用性能。BladeCenter支持各种不同的结构，包括以太网、光纤通道、InfiniBand、iSCSI和新的SAS，让您可以轻松实现向无盘服务器和无状态服务器的转变。IBMDirector及AMM（高级管理模块）一组强大的管理工具，可帮助简化IT环境的管理。BladeCenter可提供开放、易于使用且无缝集成的工具，让您可以将精力集中在业务方面，而不是IT方面。IBM刀片中心的独特设计IBM刀片中心具有非常高的可用性。刀片中心中的所有部件都可以冗余配置，包括风扇、电源、交换机模块、和管理模块等，甚至刀片中心的背板都是冗余的，从而消除了单点故障。另外，风扇、电源、交换机模块、和管理模块等部件都是可以热插拔的。如右图所示，其中：1：电源模块。最多可以配置4块，其中2块为冗余配置。每个刀片服务器内不再单独配备电源，从而减少了电源的个数，相应地减少了故障点；2：管理模块。最多可以配置2块，为冗余配置。管理模块中配置有单独的管理处理器，负责整个刀片中心的硬件配置、故障诊断与监督等管理；3：风扇（或冷却模块）。最多可以配置2块，为冗余配置。每个刀片服务器内不再单独配备风扇，从而减少了风扇的个数，相应地减少了故障点；4：以太网交换机模块。可以是千兆以太网交换机，也可以是Nortel的2-7层交换机模块。最多可以配置2块，可以是冗余配置，也可以分开使用。如果分开使用，刀片服务器上的2个千兆以太网卡分别连接到2个交换机上，配置成2个独立的网段，以改善性能并方便使用；5：光纤交换机模块或Pass-thru模块。光纤交换机模块用来连接刀片服务器内的光纤卡（需另外配置），并可以与外部的交换机相连，改善服务器的I/O性能；Pass-thru模块用来将刀片服务器内部配置的如Myrinet网卡等适配器与外部的交换机相连（注意：该模块不能用作交换机使用）另外，如右图所示，刀片中心中连接后部共享模块和前部刀片服务器的中间背板，其上半部与下半部的功能相同并相互独立，从而实现了背板的冗余配置。支持32-bit和64-bit混合平台及多种操作系统，便于服务器的集中与整合。刀片中心中可以混插JS22刀片服务器和HS22刀片服务器（Intelbase）。JS22采用的是64-bit的RISC芯片，而HS22采用的是32/64-bit的Intel芯片。将两者安装在同一个刀片中心内，使得该服务器整合能满足用户的多种需求。同时，JS22支持标准的UNIX-AIX和Linux操作系统；而HS22支持Linux和Windows/NT操作系统。可见在一个刀片中心中可以同时存在多种操作系统，并由刀片中心的管理模块统一管理，对要求多操作系统的用户是非常方便的。IBM刀片中心的紧凑设计。每个BladeCenterH刀片中心的高度为9U，内部可以安装14个刀片服务器，28颗处理器，从而使得JS22的计算密度是1U服务器集群的2倍。不仅如此，刀片中心还将所有的连线整合到交换机模块中，不仅节省了空间，同时也降低了成本。另外刀片中心的这种模块化设计也非常方便与采用新的技术，当某个部件的技术得到更新后，只需用新的部件替换掉老的部件就可以了。这样对于保护用户的投资是非常有利的。在刀片中心上整合的软盘驱动器和CD-ROM使得在某个特定的刀片服务器中安装特定的软件更加方便，同时借助IBM的管理软件Director和xCAT的强大功能，使远程安装软件也非常容易。1.完善的系统与硬件管理工具–IBMDirector6.1刀片中心提供统一的系统与硬件管理工具对整个刀片中心进行管理，包括如硬件列表、硬件故障报警、硬件健康状态报告等。这些管理与监视功能是通过刀片中心中管理模块上的管理处理器来实现的，使管理功能独立于刀片服务器之外，提高系统可用性。2.极低的总拥有成本（TCO）紧凑的结构在减少机柜数目的同时节省了占地空间，节约了成本；创造性的设计与高度的集成极大地减少了冷却与系统供电成本。一个满负荷运行的刀片中心功率为1635watts；相同处理器数目的使用IntelXeon处理器的1U服务器机群功率约为3000watts~5000watts；模块化设计减少了各种连线的数量，节约了成本。这些连线包括：电源线、以太网络线、光缆线等。

IBMBladeCenterHS22智能新一代，英特尔®至强®处理器5600要点改进服-HS22提供无与伦比的RAS功能和创新的管理功能降低成本-更高的性能、更高的利用率、更高的效率管理风-BladeCenter平台久经考验、稳定可靠设计满足多种功能需求IBM®BladeCenter®HS22提供灵活的选件来支持广泛的工作负载，包括虚拟化和企业应用。结合使用基于UEFI的直观工具，可以对HS22进行快速定制和部署，同时，顶级的可靠性有助于保持系统正常运行。与业内最为灵活的多种机箱及非x86刀片组合。HS22可以满足您多样化的需求。打造优良的性能HS22提供卓越的性能，支持最新的Intel®Xeon®处理器、高速I/O，并支持较高的内存容量和较快的内存吞吐量。与上一代刀片相比，HS22运行应用程序的速度高达原来的两倍。实际上，您甚至会发现许多应用程序运行速度比在竞争对手的四插槽刀片更快。针对电源和散热效率进行了优化HS22的特色是采用了创新型机械设计，专为提高散热能力进行了优化，这样，即使在苛刻的条件下也能帮助刀片保持平稳运行。结合使用低电压组件、业界最节能的机箱和强大的电源管理工具，HS22可帮助控制功耗并最大限度提高效率。IBMBladeCenterHS22一览表外形单宽度（30mm）处理器（最大）可选两个英特尔®至强®处理器5600系列，高达2.93GHz处理器数量（标配/最多）1/2内存（最大）12个DDR-3VLPDIMM插槽（高达96GB的内存总容量和高达1.333MHz的内存速度）扩展插槽每个刀片共有8个I/O端口（包括4个高速I/O端口），配备1个CIOv插槽（标准PCI-Express子卡）和1个CFFh插槽（高速PCI-Express子卡）磁盘托架（总数/热插拔）2个热插拔托架，支持SAS硬盘驱动器或固态驱动器最大内部存储量1、2高达600GB的内部总存储量网络接口带有双千兆以太网端口的Broadcom5709S板载网卡，支持TOE热插拔组件内部存储托架RAID支持RAID0、1和1E（配备电池供电缓存的可选RAID5）系统管理UEFI固件、IBM集成管理模块（IMM）、预测性故障分析®、进行虚拟化的可选嵌入式虚拟机管理程序、IBMSystemsDirectorActiveEnergyManager™、光通路诊断、IBMSystemsDirector以及IBMServerGuide™支持操作系统Microsoft®Windows®、Linux®、SunSolaris和VMware有限保修3三年客户更换元件和有限保修1要获得最大的内部硬盘和内存容量，可能需要将所有标配的硬盘驱动器和/或内存以及所有硬盘托架和内存插槽中的配置，更换为可支持的最大容量的驱动器。变速CD-ROM、CD-R、CD-RW和DVD的实际播放速度可能有所不同，通常低于最大速度。2提及存储容量时，1GB=1,000,000,000字节，1TB=1,000,000,000,000字节。实际可访问容量低于该值。3IBM硬件产品可能使用新零件制造，也可能同时使用了新零件和可用的旧零件。无论属于何种情况，我们的保修条款同样适用。要索取适用的产品保修副本，请致函以下地址：WarrantyInformation,P.O.Box12195,RTP，NC27709，Attn：Dept.JDJA/B203。对于第三方产品或服务，包括指定为ServerProven或ClusterProven的产品或服务，IBM不作任何声明或保证。有关更多信息，请访问：Systemx主页/cn/systems/x选件/cn/servers/eserver/xseries/options.shtml经销商园地IBMSystemx3650M3适用于关键业务应用的性能优化服务器，具有领先的性能、支持虚拟化和易管理特性要点利用更高的性能功耗比来提高成本效益利用灵活的设计来简化管理和服务利用弹性架构和虚拟化环境来管理风险创新的技术IBMSystemx3650M3为关键业务应用提供卓越的性能。其节能设计可在2U的空间内支持更多内核、内存和磁盘容量，并且易于维护和管理。借助更高的计算性能功耗比以及最新的Intel®Xeon®处理器技术，您可以在降低成本的同时保持高性能和可用性。简化的管理和维护x3650M3提供了可扩展的灵活设计以及简单的升级路径，可升级到16个硬盘托架及192GB内存。全面的系统管理工具包括先进的诊断、线缆管理臂以及对资源的单点控制，轻松实现系统部署、集成、维护和管理。降低风险并保持可用性通过全新的6GbpsRAID适配器，I/O性能提升一倍，x3650M3为关键业务应用和虚拟化环境提供了理想的弹性架构。对更大的内存和磁盘容量的支持使您能够充分利用更高的处理速度。x3650M3的指定配置是IBM易捷优势产品组合的一部分，在设计时充分考虑了中型企业的需要。易于管理的易捷型号/配置可能会因国家/地区的不同而有所差异。绿色节能IBM®Systemx3650M3采用了强大、久经考验的技术和灵活、符合能源之星标准的设计。该服务器借助基于QuickPathInterconnect技术的英特尔®至强®5600系列处理器提供了六核计算能力，通过采用低功耗组件以及智能化散热设计，使产品性能功耗比与上一代服务器相比得到了大幅提升。强大的系统管理x3650M3提供了功能丰富的管理能力，涵盖从电源管理一直到预测性硬件监控。集成管理模块(IMM)可对系统进行不间断监控，并在发现潜在系统故障或变更时通知客户，从而提高服务器的可用性。VirtualMediaKey选件提供了远程在线支持能力而无需占用I/O插槽，IBMSystemsDirectorActiveEnergyManager™提供了高级电源监控和通知功能。虚拟化设计x3650M3旨在提供领先的虚拟化功能，支持行业领先的虚拟化解决方案VMwareESXi4嵌入式虚拟化管理程序。此外，x3650M3还提供了卓越的每内核内存容量，支持您更加有效、经济地实施虚拟化。IBMSystemStorageDS5000系列模块化企业存储系统要点：全新的拥有极致、均衡性能的第七代架构大幅提升应用程序性能“按需购买”的可扩展性，DS5100最高可扩展到256个驱动器，DS5300最高可扩展到448个驱动器，可以满足最苛刻的容量要求高达700,000IOPs和6,400MBps主机接口卡可提供出色的投资保护和生命周期寿命，现在具有4Gbps或8GbpsFC连接能力以提高效率并降低成本双活动型热插拔控制器、电源和许多非中断性的固件升级实现高可用性对包括Microsoft®Windows®、UNIX®和Linux®在内的最常用操作系统的异构支持切实的性能，可以满足整合/虚拟化所带来的各种不同和整合工作负载的需要针对中端市场客户的创新的自加密磁盘解决方案可让您在将驱动器送回进行维修、报废或转用时尽可以放心驱动器上面的敏感数据不会泄露，并且该解决方案不会对性能造成影响。IBMSystemStorage™DS5000系列存储系统可以满足当前和未来苛刻的开放系统要求，并同时为生命周期寿命确立新的标准。DS5000系列第七代架构建立于数十年设计专业知识之上，可提供行业领先的性能、真正的可靠性、多维可扩展性以及无与伦比的投资保护。DS5000系列同样擅长于支持事务型应用程序（如数据库和OLTP）、吞吐量密集型应用程序（如HPC和多媒体）以及整合和虚拟化的并发工作负载。通过其稳健的性能以及超凡的可靠性和可用性，DS5000系列存储系统可支持要求最严格的服务级别协议（SLA）。并且如果要求有变化，您可以添加或更换主机接口、增加容量、添加缓存并且可以对其即时重新配置系统，从而确保它可以跟进您不断发展壮大的企业。借助于此多维可扩展性，DS5000系列存储系统可以将正常为三年的生命周期延长到四年，通过延迟（甚至消除）将数据迁移到新系统所需的开支，并允许您在更长的时间段内分配采购成本来保护您的存储投资。通过这样延长生命周期，DS5000系列可在其他系统报废后相当长的时间内继续创造价值。DS5000系列的驱动器级加密提供了经济的数据安全性并且没有性能影响。此外，DS5000系列还提供多个复制选项、驱动器级加密和永久缓存备份，可以帮助确保断电时获取缓存中的所有数据并确保其安全。常见特性针对19英寸机架而设计的高效、紧凑的4U封装“按需购买”支持在不中断业务的情况下扩展容量使用方便、配置简单的管理界面可以管理DS3000和DS4000®系列并行硬件升级和固件载入，支持高可用性设计可连接至IBMSAN交换机、导向器和路由器对包括MicrosoftWindows、UNIX和Linux在内的最常用操作系统的异构支持硬件概要新一代企业级控制器技术现场可更换主机接口卡（HIC）o每个控制器两个o当前版本支持4和8GbpsFCHIC（总共16个主机端口）16个4Gb/sFC驱动器接口可支持多达448个FC/SATA驱动器（在DS5300中，在DS5100中为256个驱动器）设计将来可升级到高达32GB的专用数据缓存（每个控制器16GB）o选项包括每个控制器4、8或将来16GB的缓存o专用的缓存镜像通道o在发生电力中断时永久的缓存备份o现场可升级支持RAID6、RAID5、RAID3、RAID10、RAID1和RAID0两种性能级别（基本型：DS5100和高性能型：DS5300），IBMSystemStorageDS5000系列软件特性一览表特性优势灵活、可更换的主机接口当客户的基础架构变化时可现场更换充分利用现有的投资，同时为将来做好计划提供独特的投资保护并延长生命周期行业领先的性能支持要求最严格的服务级别协议（SLA）并通过增长保持SLA非常适合于整合和虚拟化等拥有并发工作负载的环境线性可扩展的IOPS性能通过增长保持SLA每增加一个新驱动器总体IOPS性能便会提升均衡的性能DS5000系列在IOPS和MB/s方面同样表现超凡，并且可以支持拥有广泛性能要求和最苛刻SLA的应用程序非常适合于拥有不同工作负载和应用程序需求的数据仓库、整合和虚拟化环境可以同时支持数据库和OLTP等事务应用程序以及HPC和多媒体等吞吐量密集型应用程序用于RAID奇偶校验磁盘计算的自定义XOR引擎可以高效地处理计算密集型的奇偶计算，从而带来卓越的基于磁盘的性能，是RAID5和RAID6配置的理想之选支持多个RAID级别，包括RAID6为关键任务数据提供高可用性和安全性可以灵活地配置系统，以满足不同的服务等级冗余的热插拔组件通过支持在不停止I/O的情况下更换组件保持数据可用性最多448个FC或SATA驱动器支持最苛刻的容量要求可以混用FC和SATA磁盘驱动器支持在指定的FC驱动器上实现全盘加密，从而在驱动器的整个生命周期内保护数据安全将FC磁盘分配给要求高性能并拥有高I/O速率的应用程序，而将相对低廉的SATA磁盘用于性能要求较低的应用程序，从而在单个系统中实现分层存储DSStorageManager软件功能丰富的管理软件可以支持最高的利用率和不间断的数据可用性配置灵活性支持自定义的LUN调节以确保最高性能或利用率集中管理所有本地和联网的基于DSStorageManager的系统通过一个集中的界面实现快速的存储配置和监视可在不中断数据访问的情况下配置卷、进行日常维护以及添加新机柜和容量动态扩展能力可以联机为新的主机组或现有的卷提供未使用的存储空间，并随需提供额外的容量可以消除由于增长、重新配置或调节所引起的应用程序中断多达512个分区可以提供足够的分区以便有效地支持大规模的整合或虚拟化环境，从而帮助降低硬件和存储管理成本完全集成的复制功能多种选项使管理员能够最佳地满足其复制需求可以使用本地或远程副本进行文件还原、备份、应用程序测试、数据发掘或灾难恢复支持异构开放式操作系统支持Microsoft®Windows®、UNIX®和Linux®系统，使DS5000系列存储系统可以在任何和所有的开放系统环境中运行IBM并行文件系统GPFS简介IBMGPFS文件系统是一种专门为群集环境设计的高性能、可扩展的并行文件系统。GPFS可以在群集中的多个节点间实现对共享文件系统中文件的快速存取操作，并提供稳定的故障恢复和容错机制。-被业界超大规模高性能计算机系统所广泛使用GPFS文件系统被广泛应用于世界上超大规模的高性能计算机系统中，包括运行速度最快（478TFlops）的IBMBlueGene系统。在当前TOP500计算机排名中的232套IBM计算机系统几乎都采用了GPFS并行文件系统方案。在中国规模最大的5个高性能计算机系统中也无一例外地使用GPFS作为并行文件系统，这其中包括运行关键业务的气象部门和超级计算中心。这些项目成功实施和顺利运行充分证明了GPFS完全可以胜任用来构建超大规模的计算机系统。-高可扩展性GPFS具有无可比拟的扩展性，如下表所示：项目最大限制Linux集群中经过验证的值集群中的节点数81922441单个文件系统容量299Byte2PB集群中并行文件系统个数25632单个文件系统中文件个数2,147,483,648N/A单个文件系统能用到的逻辑卷个数（LUN数）268millionN/A每个逻辑卷容量取决于磁盘阵列系统支持的能力2TBI/O带宽取决于系统硬件配置134GB/s-高性能IBMGPFS并行文件系统软件在设计上不存在任何性能瓶颈，因此GPFS并行文件系统可以充分发挥硬件系统的性能。换句话说，GPFS并行文件系统的性能完全取决于硬件配置的好坏，而文件系统软件本身对性能的影响微乎其微。IBMGPFS并行文件系统与其它并行文件系统之间最大的区别在于GPFS不需要专用的元数据（MetaData）管理服务器，所有元数据分散在磁盘阵列中，并可以由任何I/O节点管理。这样的设计避免了并行文件系统中最可能产生性能瓶颈的因素——MetaDataServer。大规模高性能计算机系统的设计都会采用专用的I/O节点。I/O节点配置光纤通道卡连接外部磁盘阵列，而计算节点及登录节点对磁盘阵列的访问则是利用网络与I/O节点进行数据通讯。在系统规模非常大的时候，用来交换数据的网络通常会成为性能的瓶颈。IBMGPFS文件系统可以充分利用高速网络的特性，提升计算节点与I/O节点间的数据通讯性能，同时最大程度地降低因I/O处理带来的对CPU资源的消耗。在Linux集群系统中，当使用了InfiniBand作为高速网络时，GPFS并行文件系统可以充分利用InfinBand网络的RDMA（RemoteDirectMemoryAccess）特性进行数据通讯。与TCPsocket协议不同，RDMA可以实现计算节点与I/O节点间内存的直接通讯，而最小化CPU的参与。这样在提升I/O带宽性能的同时，降低计算节点CPU资源的消耗，从而保证计算节点内的资源可以更专注于数据计算。IBMGPFS的先进设计保证了GPFS是目前性能最高的并行文件系统，保持着在实际测试中得到的带宽134GB/s世界纪录。-高可用性IBMGPFS文件系统本身提供了丰富的高可用性功能，所有的GPFS相关的管理服务器都能做到冗余配置，并可以由I/O节点中的任意节点担任。具体从GPFS集群（节点）、逻辑卷（磁盘）及文件系统的管理与维护三个层面得以体现。可以将所有服务器划到一个GPFS集群（GPFS集群是并行文件系统的专用概念，是所有要访问并行文件系统的服务器的集合）中，或分成多个GPFS集群。每个GPFS集群设置主、备2个管理服务器，可以选择I/O节点中的任何服务器承担。GPFS集群管理服务器负责管理和维护集群配置信息，如增加或减少节点、改变集群中服务器的属性等。同时，在一个GPFS集群中还可以指定若干个服务器作为“仲裁委员会”的成员（quorumnode），只要该仲裁委员会中一半以上的成员正常运行，就可以保证GPFS正常使用。在磁盘阵列划分好逻辑卷（LUN）并映射到相应服务器后，GPFS将每个LUN转换成网络共享磁盘（NSD），同时为每个NSD指定多个（最多8个）管理服务器，可以由任何I/O节点承担。这样可以充分保证任何I/O节点宕机都不会导致逻辑卷的不可用。在文件系统层面，每个GPFS集群中可以创建最多256个文件系统，每个文件系统都对应多个管理服务器（可以由任何I/O节点承担）。当任何一个文件系统管理服务器宕机时，都会有另外一个服务器自动接替其工作，保证并行文件系统的高可用性。另外，GPFS支持分布式的元数据服务器，支持元数据自动日志功能，实现用户数据和元数据的备份和自动恢复，当一台服务器宕机时，其管理功能可以有另外的服务器接管，不存在单点故障。GPFS支持多路径磁盘访问，一条路径访问失败，GPFS可以自动尝试其它路径，并同时支持节点和磁盘两级故障切换，对上层应用透明，确保应用的继续执行。GPFS支持分布式的块级锁管理，通过令牌机制来避免并发读写冲突。GPFS还支持rollingupdate功能，可以在线升级文件系统。-丰富的功能GPFS还具有其它丰富的功能，如信息生命周期管理（ILM）、多集群间交叉mount、集群化NFS（CNFS）、磁盘