高性能计算解决方案介绍

1、高性能计算解决方案介绍Content高性能计算应用行业及场景高性能计算概述高性能计算解决方案市场拓展及竞争分析1234什么是HPCHPC发展历史（source：）200020131990-20001980-19901970-1980MPP向量机DSMCluster高性能计算系统的架构演变全球HPC系统主流架构（cluster和MPP）以计算为目的，使用了很多处理器的单个计算机系统或者使用了多台计算机集群的计算系统和环境什么是高性能计算HPC市场分析2015年市场空间252亿美金，年复合增长率为8.3%，服务器、存储硬件占比70%区域：北美日本（49%），EMEA（33%）、亚太区（17%）占5

2、0%市场行业：教育科研、政府/国防、生物科学、计算机仿真等区域和行业占比趋势一：应用越来越广由传统科学计算扩散到新兴行业广泛应用于汽车、飞机、船舶、钢铁、石油、新能源、集成电路等众多领域。 增加材料产品率 25% 降低工程技术成本 13%30% 降低人工成本 5%20% 增加设备利用率 30%60% 缩短产品研发周期 30%60% -美国国家科学院工程技术委员会报告工业创新物理，化学，天文，新材料，生物医药等众多领域的 主要研究途径之一；宇宙行星、微观粒子、高温高压等难以实验领域进行 创新研究的唯一途径。科学研究天气预报、传染病扩散、大型集会安全分析、 社会动力学、宏观经济学、高教研究等。基于

3、数学模型使用超级计算机进行数值模拟是 上述领域从定性到定量，获得更可信结果的唯一手段。社会与公众服务交易实时处理，金融模拟分析，商业数据挖掘， 物流与生产排程规划等。在发达国家，金融是超级计算最重要的应用领域之一； 美国有超过10%的超级计算机部署在各大金融机构。商业金融HPC市场洞察方案竞争打法HPC趋势二：集中化、服务化混合共享HPC服务平台* 保证重点优先任务资源* 资源共享利用率高* 灵活分配资源* 统一管理运维共享HPC 服务123Centralize”Shared-platform era”“Solo HPC”Centralize* 统一集中建设* 统一管理* 单位内共享* 统一规

4、划综合平台孤岛集中化共享平台HPC趋势三：计算能力增加，单位能耗降低，存储增长迅猛NO.1 每年计算峰值TOP 500 单位能耗计算能力Source: T Website计算能力每年翻番 单位能耗计算能力快速增长MFlops/WattHPC市场洞察方案竞争打法 存储数据量迅速增长XX HPC 数据存储增长情况HPC趋势四：X86集群+文件系统架构成为主流86%6%97%88%44% 处理器 操作系统GUGPU加速互联网络Intel X868%AMDX869OthersLinuxCPU16%40%12%IBIPOthersCPU+GPGPUOthers3%数据来源：TOP500.org86%Cl

5、usterMPP14%系统架构Cluster、X86、Linux、高速网络、并行文件系统成新的发展趋势95%Parallel File systemNAS5%存储系统HPC市场洞察方案竞争打法2014年HPC市场进展迅猛，订货年增长500% 2014年HPC项目行业分布订货主要来自：中国、中亚、西欧、东北欧70的订货来自：教育科研2014年HPC全球市场分布2014 年HPC解决方案订货20M+，国内海外各半主要四个区域/国家贡献80的订货项目管道超过200个，中标项目超过30个成功项目以中等规模为主（0.4M2M）HPC市场洞察方案竞争打法HPC成功案例在全球快速复制，教育行业形成规模美国数

6、字领域公司（Digital Domain）美国内布拉斯加大学美国田纳西大学澳门气象局新加波GlobalFoundries菲律宾气象局防灾科技学院河南省环保厅北京数据通信研究院北京航空航天大学首都医科大学 上海众信生物有限公司长沙国家超级计算中心广州国家超级计算中心荷兰水利局意大利CNR英国纽卡斯尔大学（1/2/3/4期）俄罗斯圣彼得堡大学委内瑞拉国家石油公司墨西哥农业部墨西哥水利局智利天文台巴西麦肯锡大学法国照明公司 德国爱伦堡水管局波兰PCSS大学波兰华沙大学ICM学院土耳其学术网络与信息中心(ULAKBIM)土耳其Yilidiz科技大学（YTU）土耳其伊斯坦布尔科技大学（ITU）土耳其哈兰

7、大学（HU）中国电力科学院 上海801所天津中新生态城涿州物探凤凰工程北京交通大学西南大学心理学院北京林业大学河北省环保局2013年中标项目2014年中标项目日本九州大学中国日本欧洲亚太美国拉美中亚HPC市场洞察方案竞争打法Content高性能计算应用行业及场景高性能计算概述高性能计算解决方案市场拓展及竞争分析12341HPC概述解决方案2场景及行业3目录 contents 竞争分析4 整体方案及策略 计算节点 存储节点 网络方案 管理软件 开发环境HPC解决方案整体架构典型HPC组网拓扑图存储系统管理/登陆节点计算集群硬件管理网GPU节点胖节点系统管理网高速计算网备注：计算网和数据网往往共用

8、一套网络HPC集群系统组成计算软件存储网络HPC系统的基本构成并行化应用模式应用结点间通讯系统与控制内部互连计算单元处理器，物理层设计，硬件管理Linux, Windows, Unix操作系统与配置管理 操作系统中间件通讯函数库 (MPI, DVSM, PVM, etc) 集群控制与管理 开发工具编译器，函数库，性能分析与调试工具 作业管理批作业序列与调度，集群监控，系统扩展工具供电系统，制冷系统，机房环境基础架构HPC解决方案全景图 ：聚焦硬件平台、软件合作为主Parallel file systemParallel environmentCompile and development Ap

9、plicationCAE/CFDOil explorationAnimation renderingClimatic environmentResearch/ Life sciencesNvidia GPGPURackV3 storageIntel PhiOceanStor 9000QIB/ 0GEIB/40GEBladeWindowsLinuxCentOS+ComputingStorageNetworkHardwareOSComputing environmentSystem & environmentCHESSPBS WorksLSFJ H SchedulerXuanyunBCMClust

10、er ManagementContainer Data CenterModular Data CenterFacilityHUAWEISI or HUAWEISI 计算节点类型特点应用场景MPI计算节点（瘦节点）一般是2路服务器组成集群MPI集群计算，适应于绝大多数HPC应用，一般项目中MPI节点配置数量最多SMP计算节点（胖节点）4路或者8路服务器，内存容量大适用于对单节点有大内存需求的应用，一般内存配置在512G以上GPU计算节点通过协处理器GPU/PHI加速运算，一般要求有1GPU/node、2GPU/node、4GPU/node一些HPC应用支持GPU计算加速，比如生命科学和石油勘探领

11、域的部分软件，推荐配置Nvidia Tesla系列的GPU进行计算加速计算节点包括： MPI节点 胖节点 GPU节点HPC 系统主要性能指标总计算能力：以每秒执行浮点运算的次数(flop/s)为计算性能的基本单位。峰值性能(Rpeak)：集群可以达到的理论性能实际性能(Rmax): 集群实际测试Linkpad可以达到的最大性能。计算效率：实测性能与峰值性能的比值。峰值计算公式：单台服务器峰值性能=CPU主频*CPU核数*CPU个数*单周期最大浮点指令数V2的单周期最大浮点指令数为8V3的单周期最大浮点指令数为16例如：配置E5-2680 V2 CPU(10core2.8GHz)的单台RH228

12、8的峰值性能计算如下：峰值性能=2.8 GHz * 10 * 2 * 8 = 448 Gflops集群峰值：单台服务器的峰值浮点性能计算节点个数applicationOS、执行环境SupercomputerHPC浮点运算快MFLOPS：百万次106 GFLOPS：十亿次109 TFLOPS：万亿次1012 PFLOPS：千万亿次1015 EFLOPS：百亿亿次1018 GPGPU技术什么是GPGPU：利用GPU的处理能力来做通用的浮点运算。GPU与CPU是不同的:CPU的微架构是按照兼顾“指令并行执行”和“数据并行运算”的思路而设计。CPU的大部分晶体管主要用于构建控制电路和CacheCPU的

13、5%是ALU，控制电路设计更加复杂CPU的内存延迟是GPU的1/10GPU其实是由硬件实现的一组图形函数的集合。GPU控制电路相对简单，而且对Cache的需求小，所以可以把大部分的晶体管用于计算单元GPGPU的40%是ALUGPGPU的内存带宽是CPU的10倍计算节点类型特点备选服务器MPI计算节点（瘦节点）一般是2路服务器组成集群刀片：E9000 CH121 V3 E9000 CH140 V3机架： RH2288H V3高密： X6800 XH622 V3SMP计算节点（胖节点）4路或者8路服务器，内存容量大刀片：E9000 CH242 V3机架： RH5885H V3 RH5885 V3

14、RH8100 V3高密：无GPGPU/PHI加速计算节点通过协处理器GPGPU/PHI加速运算，一般要求有1GPGPU/node、2GPGPU/node、4GPGPU/node刀片：E9000 CH220 V3 (2插槽）机架：RH2288H V3 (2插槽) RH5885H V3 (4插槽）高密：X6800 XH622 V3MPI计算瘦节点选择策略根据标书要求选择对应形态服务器开始客户标书是否明确了服务器形态Yes客户标书有超高密度部署要求No刀片服务器机架服务器E9000CH121 V3E9000CH140 V3RH2288H V3客户标书有IB组网要求，并指定需要框式IB交换机NoNoY

15、es超高密度部署选择Yes要求刀片要求2U机架648节点规模以下集群使用框式交换机时，框式交换机直连节点成本最佳由于E9000已经集成了接入层IB/以太交换板，相对机架服务器部署的优点：a.接入层交换机成本相对低b.自研网卡成本较低c.背板连接替代了接入层线缆，维护方便d.背板替代了接入线缆，成本更低如果客户对线缆数目敏感，或一线具备一定售价控制.(提高毛利）能力时优选刀片部分标书直接明确刀片/机架/高密，部分标书以集成密度方式隐性要求高密服务器X6800XH622 V3刀片服务器客户对刀片有倾向性或公司对刀片销售有倾向性Yes售价可控高毛利No如果客户希望每柜部署超过48计算节点，就只能选择

16、高密刀片MPI计算瘦节点选择策略型号优势劣势/注意事项RH2288H V3客户要求使用框式IB交换机时组网方案比刀片佳，成本低，通信时延低。集成密度最差标准两级IB交换组网时线缆多，成本高，部署维护困难。X6800 XH622 V3(首选）集成密度比2U机架服务器高一倍，单机架最多部署40个计算节点使用框式IB交换机时组网方案比刀片佳整体报价最佳外购件（IB卡、线缆、机架交换机）比刀片多，在小规模（135W CPU，本地只支持1个硬盘，可能无法满足部分标书要求MPI计算瘦节点-部件选择策略部件RH2288H V3X6800 XH622 V3E9000 CH121 V3E9000 CH140 V

17、3补充说明CPUE5-2697 V3 (14c, 2.6GHz)E5-2680 V3 (12c, 2.0GHz)E5-2683 V3 (14c, 2.0GHz,特殊场景)同左同左E5-2680 V3 (12c, 2.0GHz)E5-2683 V3 (14c, 2.0GHz,特殊场景)【E5-2697 V3为145W，不支持】E5-2683 V3在HPL测试效率超高，客户对效率值有需求时选用内存如果标书明确容量/频率要求，按标书要求配置。如果没有，则按最低4GB/core计算总容量（推荐每台服务器128GB），优选16GB DIMM条；根据成本考虑选择不同频率DIMM条。同左同左同左标书中一般都

18、会明确内存容量部分标书还会明确内存频率要求本地存储按标书要求选择本地存储HDD/SSD/SATADOM/SD卡即可同左同左同左（CH140 V3没有SATADOM，只有SD卡）客户标书一般都会明确本地存储类型：HDD/SSD/ SATADOM/SD卡，以及容量，数目（一般1个，少数标书要两个）GE网卡一块2口GE intel i350网卡同左一块4口MZ110一块4口MZ111典型集群单节点仅需单GE口10GE网卡一块2口10GE intel 82599网卡同左一块2口MZ510一块4口MZ512典型集群单节点仅需单10GE口IB卡一块单口QDR或FDR接口卡同左一块2口MZ610或MZ611

19、一块2口MZ612或MZ613典型集群单节点仅需单IB口SMP计算胖节点选择策略开始客户标书要求内存768GB客户标书要求8P胖节点NoRH8100 V3客户标书要求胖节点必须是刀片NoNoYes瘦节点是刀片形态（有空余机框槽位），且要求内存1.5TB内存容量2.16GB成本最佳，采用16GB时，5885 V3只支持到768GBYesE9000CH242 V3YesE9000CH242 V3RH5885 V3两个考虑点：1.瘦节点是刀片，胖节点整合到机框整合度高2.16GB成本最佳，采用16GB时，CH242 V3只支持到512GBSMP计算胖节点选择策略型号优势劣势/注意事项RH8100 V

20、3(8P部署)支持8P SMP，8P时专用RH5885 V3(低内存部署)机框基础报价低仅最大支持48内存DIMM，在内存容量要求1.5TB时不满足，在内存容量768GB时采用32GB内存条成本高。RH5885H V3(高内存部署)支持96内存DIMM，可支持1.5TB的部署，在内存容量768GB-1.5TB区间时刻采用性价比最高的16GB内存条。机框成本比RH5885 V3略高E9000 CH242 V3(刀片部署)刀片形态，集成度高仅最大支持32内存DIMM，在内容容量要求1TB时不满足，在内存容量512GB时采用32GB内存条成本高SMP计算胖节点-部件选择策略部件RH8100 V3RH

21、5885 V3RH5885H V3E9000 CH242 V3补充说明CPU如果标书有明确要求，按标书明确CPU型号选择如果标书未有明确要求，优选推荐以下CPU：E7-8850 V2 (12c, 2.3GHz)E7-8870 V2 (15c, 2.3GHz)如果标书有明确要求，按标书明确CPU型号选择如果标书未有明确要求，优选推荐以下CPU：E7-4830 V2 (10c, 2.2GHz)E7-4850 V2 (12c, 2.3GHz)E7-4870 V2 (15c, 2.3GHz)同左同左不同客户/应用在标书中对胖节点CPU的要求内存如果标书明确容量/频率要求，按标书要求配置。优选16GB

22、DIMM条；根据成本考虑选择不同频率DIMM条。同左同左同左标书中常见胖节点内存容量要求：128GB/256GB/512GB/1TB，现在还有6TB的需求本地存储按标书要求选择本地存储即可同左同左同左客户标书一般都会明确本地存储类型，以及容量，数目(一般标书要求4个或者6个）GE网卡一块2口GE intel i350网卡同左同左一块4口MZ110典型集群单节点仅需单GE口10GE网卡一块2口10GE intel 82599网卡同左同左一块2口MZ510典型集群单节点仅需单10GE口IB卡一块单口QDR/FDR接口卡同左同左一块2口MZ610/MZ611典型集群单节点仅需单IB口加速计算节点选择

23、策略开始客户标书要求每节点支持4 GPGPU/PHINoRH5885H V3客户选择倾向于集成刀片NoYesRH2288H V3两个考虑点：1.客户指定刀片形态2.客户未指定刀片形态，但是瘦节点为刀片，一线倾向于高整合度方案(我司优势)YesE9000CH220 V3基础成本高，非标书硬性要求4 GPGPU/PHI不要选择一般项目要求每节点部署2 GPGPU/PHI高功耗CPU和超高功耗GPGPU/PHI同时部署时，建议选择高密或机架No加速节点数目=4台X6800XH622 V3Yes加速计算节点选择策略型号优势劣势/注意事项5885H V3(4 GPGPU/PHI部署)支持最多4个GPGP

24、U/PHI成本高4U机框，集成度低RH2288H V3(4台时首选）综合成本和散热能力佳=4台时首选）综合成本和散热能力最佳最多只支持2个GPGPU/PHIE9000 CH220 V3(刀片选择）刀片形态，集成度高最多只支持2个GPGPU/PHI加速计算节点-部件选择策略部件RH5885H V3RH2288H V3E9000 CH220 V3补充说明CPU优选E7-4830 V2 (10c, 2.2GHz)同瘦节点配置，优选：E5-2697 V3 (14c, 2.6GHz)E5-2680 V3 (12c, 2.0GHz)E5-2683 V3 (14c, 2.0GHz,特殊场景)同左不同客户/应

25、用在标书中对胖节点CPU的要求内存如果标书明确容量/频率要求，按标书要求配置。同左同左标书中常见要求加速节点为64GB本地存储按标书要求选择本地存储即可同左同左客户标书一般都会明确本地存储类型，以及容量，数目(一般标书要求2个）GE网卡一块2口GE intel i350网卡同左一块4口MZ110典型集群单节点仅需单GE口10GE网卡一块2口10GE intel 82599网卡同左一块2口MZ510典型集群单节点仅需单10GE口IB卡一块单口QDR/FDR接口卡同左一块2口MZ610/MZ611典型集群单节点仅需单IB口计算节点Review类型特点应用场景MPI计算节点（瘦节点）一般是2路服务器

26、组成集群MPI集群计算，适应于绝大多数HPC应用，一般项目中MPI节点配置数量最多SMP计算节点（胖节点）4路或者8路服务器，内存容量大适用于对单节点有大内存需求的应用，一般内存配置在512G以上GPU计算节点通过协处理器GPU/PHI加速运算，一般要求有1GPU/node、2GPU/node、4GPU/node一些HPC应用支持GPU计算加速，比如生命科学和石油勘探领域的部分软件，推荐配置Nvidia Tesla系列的GPU进行计算加速计算节点包括： MPI节点 胖节点 GPU节点存储解决方案PCLAN服务器NFS ServerPCRH2288NAS之NFSNAS+SANOceanStor

27、V3NAS之统一存储并行存储之Lustre方案并行存储之Oceanstor9000存储解决方案类型特点应用场景NASNFS采用存储型服务器部署NFS Server，容量较小、性能较低。比如RH2288 V3部署NFS Server。对性能没有要求，一般适用于HPC系统预算只有几十万RMB的小项目，甚至可以把NFS Server部署于管理节点上。统一存储直接采用NAS或者统一存储提供服务器，支持NFS和CIFS，能提供较大的容量和性能。比如OceanStor V3统一存储。一般适用于HPC系统预算200万RMB以下且不考虑扩展的系统；性能要求小于2GB/s；适用于有windows客户端访问存储的

28、系统；并行存储Lustre存储通过RH2288和OceanStor V3 FC SAN搭建，部署Intel Lustre文件系统。性能高、扩展性好，原生系统只支持linux客户端。一般适用于HPC系统预算200万RMB以上的项目；性能要求在2GB/s20GB/s；集群中访问存储的节点全部是linux系统；Oceanstor 9000软硬件一体化专用存储，支持linux和windows访问，扩展性好。要求windows客户端访问的场景，优先考虑9000；xyratex软硬件一体化专用存储，业界最高性能超大项目（20GB/s以上），优先考虑xyratex存储解决方案产品选型和策略perferman

29、ce超低端 2GB/s 20GB/s V3 Lustre Oceanstor9000Oceanstor9000 xyratexOceanStor V3RH2288 V3 NFS serverN2000(windows) 超低端方案PCLAN服务器N2000NFSCIFSPC方案适用场景配置N2000适用于windows客户端单控，支持GE或者10GE接入，最大裸容量48TBNFS Server适用于linux客户端选择存储型服务器RH2288 V3或者CH222 V3，部署linux NFS Server。磁盘根据容量需求配置，CPU推荐中低端主流型号，内存配置推荐32G或者64G，网络根据整

30、体组网进行选型，一般是GE或者10GE。方案1N2000方案2NFS ServerOceanstor V3统一存储方案NAS+SANOceanStor V3由底层存储资源池直接提供SAN与NAS服务，数据库和文件共享业务同样高效块和文件一体化，无需额外购买文件引擎，购置成本降低15%，能耗下降10GE交换机（客户提供）管理服务器应用服务器Lustre存储方案Lustre存储方案，根据Oceanstor V3存储的不同档次，按性能可划分为低端、中低端、中高端、高端和扩展五个场景，下面将分别描述每一个场景的方案。Lustre方案分类低端场景中低端场景中高端场景高端场景扩展场景性能写带宽1.5GB/

31、s2.2GB/s3GB/s7GB/s20GB/s读带宽2.5GB/S4.8GB/s7GB/s7GB/s20GB/sLustre方案低端场景1台Lustre管理服务器，配置RH2288 V3(2*E5-2603 V3, 2*16G MEM,2*300G SAS,板载GE )2台MDS节点，配置RH2288 V3 (2*E5-2620v3, 4*16G MEM, 2*300G SAS, 1*QDR/FDR IB卡, 1*双口8G FC HBA)2台OSS节点，配置RH2288 V3 (2*E5-2620v3, 4*16G MEM, 2*300G SAS, 1*QDR/FDR IB卡, 1*双口8G

32、 FC HBA)1台5300 V3，2张4端口8G FC卡，每控32G cache；至少4块15K转 600G SAS硬盘，最多一般24块600G SAS硬盘够用，全部做RAID10，用于MGT(10G)和MDT；建议至少48块 24TB的NLSAS硬盘服务器和FC SAN采用双控8G FC直连，不需FC交换机部署Intel商用版Lustre配置性能IOR最大写带宽1.5GB/sIOR最大读带宽2.5GB/s5300 V3MDS PairOSS PairINFINIBAND8G FCComputing nodes组网图Lustre manage ETH注意：1、整体性能是由存储控制器性能评估得

33、到；2、存储单硬盘性能按写40MB/s，读50MB/s评估。 当前数据仅作参考，后续实测后再更新数据！Lustre方案中低端场景1台Lustre管理服务器，配置RH2288 V3(2*E5-2603 V3, 2*16G MEM,2*300G SAS,板载GE )2台MDS节点，配置RH2288 V3 (2*E5-2620v3, 4*16G MEM, 2*300G SAS, 1*QDR/FDR IB卡, 1*双口8G FC HBA)2台OSS节点，配置RH2288 V3 (2*E5-2620v3, 4*16G MEM, 2*300G SAS, 1*QDR/FDR IB卡, 1*双口16G FC

34、HBA)1台5500V3，配置2张8G FC卡，2张16G FC卡，每控制器64G cache；至少4块15K转 600G SAS硬盘，最多一般24块600G SAS硬盘够用，全部做RAID10，用于MGT(10G)和MDT；建议至少96块 24TB的NLSAS硬盘服务器和FC SAN采用双控8G/16G FC直连，不需FC交换机部署Intel商用版Lustre配置性能IOR最大写带宽2.2GB/sIOR最大读带宽4.8GB/s组网图5500 V3MDS PairOSS PairINFINIBAND8G FCComputing nodesLustre manage ETH16G FC注意：1、

35、整体性能是由存储控制器性能评估得到；2、存储单硬盘性能按写40MB/s，读50MB/s评估。 当前数据仅作参考，后续实测后再更新数据！Lustre方案中高端场景1台Lustre管理服务器，配置RH2288 V3(2*E5-2603 V3, 2*16G MEM,2*300G SAS,板载GE )2台MDS节点，配置RH2288 V3 (2*E5-2620v3, 4*16G MEM, 2*300G SAS, 1*QDR/FDR IB卡, 1*双口8G FC HBA)2台OSS节点，配置RH2288 V3 (2*E5-2620v3, 4*16G MEM, 2*300G SAS, 1*QDR/FDR

36、IB卡, 2*双口16G FC HBA)1台5600V3，配置2张8G FC卡，4张16G FC卡，每控制器64G cache；至少4块15K转 600G SAS硬盘，最多一般24块600G SAS硬盘够用，全部做RAID10，用于MGT(10G)和MDT；建议至少140块 24TB的NLSAS硬盘服务器和FC SAN采用双控8G/16G FC直连，不需FC交换机部署Intel商用版Lustre配置性能IOR最大写带宽3GB/sIOR最大读带宽7GB/s注意：1、整体性能是由存储控制器性能评估得到；2、存储单硬盘性能按写40MB/s，读50MB/s评估。 当前数据仅作参考，后续实测后再更新数据

37、！组网图5600 V3MDS PairOSS PairINFINIBAND8G FCComputing nodesLustre manage ETH16G FCLustre方案高端场景1台Lustre管理服务器，配置RH2288 V3(2*E5-2603 V3, 2*16G MEM,2*300G SAS,板载GE )2台MDS节点，配置RH2288 V3 (2*E5-2620v3, 4*16G MEM, 2*300G SAS, 1*FDR IB卡, 1*双口8G FC HBA)2台OSS节点，配置RH2288 V3 (2*E5-2620v3, 4*16G MEM, 2*300G SAS, 1*

38、FDR IB卡, 2*双口16G FC HBA)1台5800V3，配置2张8G FC卡，4张16G FC卡，每控制器128G cache；配置24块3.5寸15K RPM 600G SAS硬盘，全部做RAID10，用于MGT(10G)和MDT；建议至少175块（225块对应9GB） 24TB的NLSAS硬盘服务器和FC SAN采用双控8G/16G FC直连，不需FC交换机部署Intel商用版Lustre配置性能IOR最大写带宽（可交付7GB/s，优化目标9GB/s）IOR最大读带宽（可交付7GB/s，优化目标9GB/s）注意：1、整体性能是由存储控制器性能评估得到；2、存储单硬盘性能按写40M

39、B/s，读50MB/s评估。 当前数据仅作参考，后续实测后再更新数据！组网图5800 V3MDS PairOSS PairINFINIBAND8G FCComputing nodesLustre manage ETH16G FCLustre方案扩展场景1台Lustre管理服务器，配置RH2288 V3(2*E5-2603 V3, 2*16G MEM,2*300G SAS,板载GE )2台MDS节点，配置RH2288 V3 (2*E5-2620v3, 4*16G MEM, 2*300G SAS, 1*FDR IB卡, 1*双口8G FC HBA)6台OSS节点，配置RH2288 V3 (2*E5

40、-2620v3, 4*16G MEM, 2*300G SAS, 1*FDR IB卡, 2*双口16G FC HBA)1台5300V3，2张8G FC卡，每控32G cache，25块15K RPM 600G SAS硬盘,全部做RAID10，用于MGT(10G)和MDT；3台5800V3，每台存储配置4张16G FC卡，每控制器128G cache；每台存储配置175块 24TB的NLSAS硬盘服务器和FC SAN采用双控8G/16G FC直连，不需FC交换机部署Intel商用版Lustre配置性能IOR最大写带宽20GB/sIOR最大读带宽20GB/s5300 V35800 V3MDS Pai

41、rOSS PairOSS PairOSS PairINFINIBAND8G FCComputing nodesLustre manage ETH16G FC16G FC16G FC5800 V35800 V3注意：1、整体性能是由存储控制器性能评估得到； 2、存储单硬盘性能按写40MB/s，读50MB/s评估。 当前数据仅作参考，后续实测后再更新数据！OceanStor 9000组网类型内部组网由部署完成，客户无需关注10GE交换机、IB交换机或千兆交换机10GE交换机、IB交换机或千兆交换机（客户提供）GE交换机管理服务器应用服务器OceanStor 9000前后端10GE组网前端千兆后端万

42、兆组网前端10GE，后端IB组网前后端IB组网前后端千兆组网（不推荐）注： 除前后端GE组网不单独配置GE管理交 换机，其他组网都需单独配置一台GE管理交换机2. 除IB交换机外，其他软硬件均为自研I Node SAS盘节点仅支持前后端10GE或前端GE后端10GE组网，I Node SATA盘节点仅支持前后端GE组网OceanStor 9000存储系统性能交底类型并发数(NFS/CIFS)带宽（MB/s）单节点支持的文件数P 节点（1*SSD+24*SAS）900/2000HPC场景：纯读/纯写带宽：600 (IO块1M)纯读/纯写带宽：500 (IO块64k）媒资场景（CIFS协议）：极限

43、读/写带宽：500 稳定读/写带宽：4005000万（48G内存）1亿 （64G内存）C 节点（1*SSD+35*SATA）900/2000宣传值：800MB/sHPC场景：纯读/纯写带宽：600 (IO块1M)纯读/纯写带宽：500 (IO块64k）媒资场景（CIFS协议）：极限读/写带宽：500 稳定读/写带宽：4005000万（48G内存）1亿 （64G内存）M 节点（12*SATA）900/2000HPC场景：纯读/纯写带宽：200MB/S媒资场景下（CIFS协议）：极限纯读/纯写带宽：200MB/s稳定读/写带宽：200MB/s5000万（32G内存）1亿 （48G内存）2014年7

44、月更新网络类型特点硬件管理网BMC硬件管理网络，一般是百兆或者GE网络。通过带外管理，包括硬件上下电、硬件设备监控等。一般硬件管理网和系统管理网连通，因为集群管理软件和双机HA软件需要与BMC通信。系统管理网集群管理软件所进行的系统管理，一般是GE网络。高速计算网集群节点间计算时通信的网络，一般要求低延迟高带宽，infiniband最常见，部分场景10GE和40GE适用。数据网计算节点访问存储的网络，通常情况下，这个与计算网络合并共用链路。网络系统可分为硬件管理网、系统管理网、高速计算网、数据网4种类型，每种网络的特点描述如下：计算网络&数据网络计算网络用于不同节点进程间的数据交互，通常通过M

45、PI实现，部分数据交互较频繁的HPC应用，需要高速低延时的计算网络，常见的计算网络类型包括IB、10GE、40GE。数据网络用于节点访问文件系统，常见的数据网络包括IB、10GE、40GE，大部分情况下，数据网络与计算网络合一，部分对可靠性和性能要求较高的集群也会将数据网络独立出来使用单独的网络设备。p1p0Compute Nodesp1p0Compute NodesCompute Network Core SWData Network Core SWBlade Chassis NData SWCompute SWBlade Chassis 1Data SWCompute SWp1p0Mana

46、gement Nodep1p0Management Nodep1p0Compute NodesNASStorage Nodesp1p0Compute Nodesp1p0Compute NodesCompute Network Core SWBlade Chassis NCompute SWBlade Chassis 1Compute SWp0Management Nodep0Management Nodep0Compute NodesNASStorage Nodes计算网络是Infiniband客户是否是阿拉伯国家选择Intel 12X00系列IB交换机是是是否指定FDR否是否计算节点为刀片M

47、ellanox IB交换机是否要求支持VPI是否是否与Mellanox设备连接是否是否计算网络是10GE10GE交换机否是计算网络是40GE40GE交换机否是IB路由算法MINHOP algorithm最短路径算法UPDN algorithm基于Min Hop算法，路由需要遵循rank规则FatTree algorithm该算法需要基于Fat Tree组网，路由遵循rank规则Fat Tree组网结构特点连接到同一个远端Switch的端口叫端口组，同一Rank的Switch必须有相同的“UP端口组”，根rank没有UP端口组；同一Rank的Switch必须有相同的“Down端口组”,Leaf

48、Switch除外同一Rank的每个UP端口组中端口个数相同；同一Rank的每个Down端口组中端口个数相同所有终端节点的HCA卡都在同一Rank上二叉树胖二叉树胖树Rank0Rank1Rank2Rank3L1L2L3Nodes机架IB组网方案12334353661181181181181181181181181181181181181Spine Switch18 x 36-port SwitchLeaf Switch36 x 36-port SwitchNodes648 Nodes1241241241241241241Spine Switch12 x 36-port SwitchLeaf Sw

49、itch36 x 36-port SwitchNodes864 Nodes36 Nodes108Nodes648 Nodes864 Nodes(阻塞)IS5100SX6506IS5600SX653612800-360(UHD)Non-blocking, Balanced,Fat TreeNon-blocking, Balanced, Fat TreeBalanced, Fat TreeBlocking Ratio 2:1推荐推荐推荐推荐刀片IB组网方案1Spine Switch16 x 36-port SwitchLeaf Switch36 x CX611 16/18-port SwitchN

50、odes576 Nodes1Spine Switch8 x 36-port SwitchLeaf Switch36 x CX611 16/18-port SwitchNodes576 Nodes16Nodes32Nodes576 Nodes576 Nodes(阻塞)Non-blockingNon-Blocking , Balanced,Fat treeBlocking ratio 2:1BalancedFat Tree161696Nodes16161616556Non-blocking, Balanced, Fat Tree161616161616161616161616注意：刀片infini

51、band组网方案外置交换机必须使用Mellanox IB交换机，Intel IB交换机与E9000 CX611交换板不兼容三层IB组网方案- Fat Tree机架方案(11664)刀片方案(10368)11118118118118Spine Switch18 x 648-port SwitchLeaf Switch648 x CX611 36-port SwitchNodes 11664 Nodes11Spine Switch16 x 648-port SwitchLeaf Switch648 x CX611 16/18-port SwitchNodes 10368 Nodes16161616

52、Non-Blocking , Balanced,Fat treeNon-Blocking , Balanced,Fat tree注意：刀片infiniband组网方案外置交换机必须使用Mellanox IB交换机，Intel IB交换机与E9000 CX611交换板不兼容案例解析IB网络管理网络GPU加速节点RH2288H V3 *4存储系统OceanStor 5300V3I/O节点RH2288H V3 *4安装并行文件系统lustreIB交换机 * 2两台堆叠为72口CH121V3*16 CH121V3*16CH240*8CH240*7E9000 ChassisE9000 ChassisE9

53、000 ChassisE9000 Chassis管理登陆节点RH2288H V3 *2胖节点RH8100V3 FC网络管理交换机 S5700IPMI 管理网交换机 S5700软件软件组件详细描述OSRedhat6.x/CentOS6.x集群管理软件和作业调度软件CHESS、BCM、PBS pro、platformMPIOpen MPI、MPICH、MPICH2、MVAPICH、MVAPICH2、Intel MPI、platform MPI数学库Gotoblas开发工具Intel ICS、gcc、PGI并行化应用模式应用Linux, Windows, Unix操作系统与配置管理 操作系统中间件通

54、讯函数库 (MPI, DVSM, PVM, etc) 集群控制与管理 开发工具编译器，函数库，性能分析与调试工具 作业管理批作业序列与调度，集群监控，系统扩展工具高性能计算相关术语常用术语参考描述作业调度提供作业管理、队列管理、计算节点管理、调度管理等多个特性提供个性化、通用化、命令行、模板等多种作业提交方式支持GPGPU 作业调度，可定制常用软件作业提交界面支持人工干预作业优先级、重新运行作业等多种实用功能集群监控提供集群物理视图，包括机架、机柜、服务器等设备状态提供图形化界面展示整体集群或单个节点的运行状况提供CPU、内存、网络、硬盘等性能指标监控，并支持GPGPU 和IB 网络监控集群管

55、理提供集群节点管理、集群账户管理、文件管理、并行命令、IPMI 管理等多个特性支持用户数据安全隔离，支持针对多个集群节点进行批量操作，支持批量上电下电操作可实现集群操作系统的一键式批量部署能耗管理支持预先设置节能策略，做自动节能处理高性能计算相关术语常用术语参考描述统计分析提供集群报表的产生和导出功能，可满足用户根据不同的需求进行灵活的统计分析根据客户的作业情况提供记帐功能，支持基于用户、队列的作业计费，支持自定义收费标准告警管理提供邮件告警和Portal 界面告警机制支持可配置的硬件告警、系统服务告警、自定义服务告警支持告警条件设置，告警分级，告警阈值配置流程管理提供图形化流程设计工具，降低

56、流程设计的难度，提高用户的工作效率支持拖拽式的流程设计和多种复杂流程，具有完备的流程实例管理和实时流程运行图展示功能故障管理支持管理节点互备，可在出现故障时快速恢复提供集群节点镜像创建，删除，浏览等镜像管理功能支持节点快照，节点快速恢复，可使用同一个镜像同时恢复多台主机支持对集群节点定期备份，集群故障时可快速恢复集群主要的备选集群软件排他选型策略：软件名称厂家简介BCMBright Cluster ManagerBright Computing是一套用户HPC机群的部署、测试、监控和管理的完备解决方案。它简化了CPU和GPU混合机群管理工作的复杂度，使管理员不需要具备非常高深的Linux或者H

57、PC专业知识就可以非常容易的管理多套机群。CHESSClustertech HPC Environment Software Stack联科是联科自主研发的集群管理软件，CHESS包括两大模块：CHESS内核信息基础架构和CHESS HPC工具集；涵盖了资源管理、作业调度、用户环境、并行文件系统、消息传递库、数学函数库、并行调试、性能分析等软件子模块，为HPCC提供一个完备、稳定、易管理、可定制、可扩展的软件环境。JHJH Scheduler、JH Portal、JH Analytics、JH License Manager、JH Security、JH JobBroker、JH Deskto

58、p 景行锐创是一套整体解决方案，以图形工作站集群为中心，建设一个三维设计和仿真计算一体化云平台；将为设计人员提供统一、高效、安全、可靠的大型三维模型设计平台和仿真计算平台；并在用户使用和操作上实现一体化，用户和系统管理员只需要通过浏览器，登录一个统一的门户，就可以完成所有的EDA设计、CAD设计、CAE前后处理、EDA/CAE仿真计算和系统管理维护工作。FusionCluster是一套用于HPC集群部署、调度、监控和管理的完备解决方案，它具备智能化的调度策略、强大的管理功能和灵活的可扩展性，可帮助用户最大限度的利用计算资源，同时降低成本和加速业务执行。集群软件选型策略区域BCMCHESSJHF

59、usionCluster海外主推（易用性）限于东南业及A类国家不能销售（交付、售后服务）不能销售（安全红线）国内命令行操作用户群主推（低成本）在CAE行业主推需定制化；低商务；低要求软件部分 集群管理软件5.IBM Platform6.Bright Computing BCM 使用范围：全球使用策略：大型项目或者客户指定要求的项目维保服务：？报价模式：根据角色按节点进行授权收费，其中服务集成和定制费用需要另外收费。折扣策略：100%运作方式。使用范围：海外区域（不含A 类国家）使用策略：全部项目规模，在CAE 和石油行业需要与其他调度软件进行集成。维保服务：按行业和节点数量提供软件升级和Bug

60、 处理支持报价模式：根据行业按节点数量收取license 费用（硬件生命周期可用）和维保服务费用（默认不含维保，必须至少购买1年的维保服务，有1年/3年/5年可选。）折扣策略：海外 85%100%软件部分 集群管理软件Kylincluster景行创锐 使用范围：仅限中国区（特殊行业项目使用）使用策略：仅适合200节点以下中小型特殊项目，方案配置前请和研发沟通和备案维保服务：含第一次上门部署实施和培训服务， 1年5*8的远程维保服务报价模式：根据项目节点的总数量，选择对应阶梯的软件报价，每个项目只需购买一套折扣策略：100%使用范围：仅限中国区使用策略：仅适合128节点以下中小型CAE 行业项目