高性能计算平台建设方案

高性能计算平台建设方案1.验证理论、发展理论主要工具，另首先，它是在理论指导下发展实用技术，直接为经济发展服务；计算科学发展也有相当悠久历史，只是在计算机这一强大计算工具问世之前，计算只能利用人类大脑和简单工具，计算应用于科学研究有天然不足，限制了它作用发挥；伴随计算机技术发展，使用科学计算这一先进技术伎俩不停普及，逐步走向成熟。科学计算能够在很大程度上代替试验科学，并能在很多情况下，完成试验科学所无法完成研究工作。科学计算也直接服务于实用科技，并为理论发展提供依据和机会。在许多情况下，或者理论模型过于复杂甚至还未建立，或者试验费用过于昂贵甚至不允许进行，此时计算模拟就成为求解问题唯一或主要伎俩了。现在，高性能计算已广泛应用于国民经济各领域，发挥着不可代替主要作用：a)基础学科中深入知识发觉，问题规模扩大和求解精度增加需要更高性能计算资源。比如，计算立体力学、计算材料学、计算电磁学。b)多学科综合设计领域中大量多部门协同计算需要构建高性能综合平台。比如，汽车设计、船舶设计。c)基于仿真工程科学结合传统工程领域知识技术与高性能计算，提供经济高效地设计与实践方法。比如，基于仿真医学实践、数字城市模拟、核电、油田仿真工具、新材料开发、碰撞仿真技术、数字风洞。d)高性能计算提升众多行业服务、决议时效性，提升经济效益。比如，实时天气预报、城市交通控制、视频点播服务、动漫设计、网络游戏、基于RFID货物跟踪、智能电子商务。e)数据密集型应用需要高性能数据处理，以应对数据爆炸式增加带来难题。比如，高能物理试验数据处理、遥感数据处理、商业智能、生物信息学、RFID数据挖掘、金融业分析抵押借贷、移动电话流量分析。建设内容高性能计算平台是面向全校提供高速计算服务公共计算平台，主要运行科研计算任务，而且能够依照应用任务对硬件资源不一样需求，动态分配和调整平台资源，管理计算作业。用户经过校园网或VPN远程提交计算作业、获取计算结果，并能够依照权限调整，实现权限控制，硬件细节对用户透明。用户界面实现图形化交互窗口和SSH登陆相结合方式。平台主要硬件设备有：管理节点、计算节点、存放IO节点、Infiniband交换机、高速存放、千兆以太网交换机；软件方面有：64位Linux操作系统、并行开发环境、并行文件系统、作业调度管理系统、硬件集群管理系统等，利用高速infiniband网络互联组成计算环境，经过并行计算支撑软件和作业调度系统使它们协同工作。平台支持同时运行Ansys、Fluent、Gauss、MaterialsStudi、ADMS、Opera、HFSS、MTSS、MAGIC、CST、Icepak等商业软件，并支持C（C++）、Fortran77/90等语言编译和运行环境，以确保学院自编应用程序计算求解需求。设计标准高性能计算平台应具备处理大规模复杂运算，尤其是浮点运算能力。它将为全校提供优化设计、分析、验证伎俩，最终实现提升科研质量、缩短科研周期、降低科研成本。所以，方案设计以用户现场测试结果为基础，依照用户对未来应用模式及业务量需求预测为前提，强调高性能以及可行、合理和低风险。架构设计和系统选型遵照以下标准：先进性本系统方案所采取技术既要符合业界发展方向，又要在未来几年内仍具备很高技术先进性，保持在同类系统中领先地位。这么有利于提升整个系统计算与处理能力，确保系统使用周期。有限投资获取最大计算性能在有限投资前提下，高性能计算平台应具备优异处理能力，它不但具备符合要求峰值性能(PeakPerformance)，更主要是应具备稳定应用性能（sustainedperformance）。各种复杂研究课题在本系统中能够得到准确、快速计算结果。可扩展性伴随对计算机系统性能要求不停提升，高性能计算平台应具备较强扩展能力，能够方便地实现节点增加、系统扩充和升级，以有效保护前期投入。提议采取第三方集群管理和作业调度专业软件，集成安装与硬件设备无关，计算节点扩展不受硬件品牌限制。开放性和兼容性系统应符合公认工业标准，包含体系结构，硬件，I/O,网络，操作系统，开发环境和开发工具等。便于和其余平台上系统互操作。应用开发软件丰富本系统平台上应具备丰富软件资源，能够提供研究课题处理方案和对应软件系统。比如高性能计算方面开发环境和应用开发软件，linux、专业平台软件商,不但提供处理节点间协调和通信中间件，使整个系统节点能够真正实现合作，负载均衡，还能针对不一样应用需求，提供一系列并行计算应用。性价比优越本系统在性价比喻面在同类系统中应具备显著优势，能满足用户应用同时，充分考虑后期运维费用，尽可能采取绿色节能型设备，降低运维功耗，比如采取刀片式服务器。管理简单，用户易用尽可能降低数据中心设备管理难度，简化架构，底层硬件对用户透明，本着不改变设计师原有使用标准基础上选择适宜软件架构，突破集中式资源布署应用难屏障，实现应用简单易用目标。总而言之，本项目标建设，在遵照统一领导、统一规划、统一标准、统一组织建设标准之下，最大程度上确保系统按照预期目标顺利实施。总体架构依照我们对学校高性能计算平台需求调研分析，以及其它高校高性能计算试验室考查，结合实际应用需求、当前计算规模大小、存放需求量等一系列原因，充分结合总体设计标准，针对学校高性能计算应用特点，从满足应用需求角度出发，建立一个高可扩展、易管理Cluster高性能计算平台环境。主要是基于计算网络、存放网络、管理网络、监控网络一体化网络建设高性能计算集群系统：计算网络采取Cluster、高速InfiniBand计算网与千兆以太管理网协同工作架构。计算节点采取刀片服务器。存放网络大部分数据都存放在FC架构存放系统中，选取低端扩展容量大磁盘阵列，利用SAN交换机互联，经过存放I/O节点为高性能计算平台提供存放服务，便于维护、管理和备份。管理网络经过资源调度管理软件管理整个高性能计算平台。用户经过网络远程访问高性能计算平台，获取高性能计算平台计算资源进行求解运算。监控网络经过基于硬件设备专业集群管理软件对硬件系统进行集中管理、配置，减轻管理维护人员工作负担，为运维人员提供高效便捷管理方式。硬件部分应包含：计算节点（集群节点和小型机节点）管理节点I/O节点高速互连系统软件部分应包含：操作系统集群管理软件作业调度系统并行文件系统并行程序开发环境数学库、并行库标准应用软件客户应用软件高性能计算平台硬件系统依照应用需求，小型机待今后扩展建设。平台架构图依照应用需求，小型机待今后扩展建设。平台整体架构图以下：采取32节点Cluster高性能计算集群（每个计算节点IntelXeonX56502Processors/6Cores/24G内存），主要运行分布式计算应用，利用MPI现实并行计算，提升应用效率。现在采取1台管理节点作为高性能计算平台管理服务器，以后依照应用需求将管理节点增加到2台。现在采取2台存放节点作为高性能计算平台存放I/O节点，以后依照应用需求扩展存放I/O节点。32节点高性能计算集群节点、2节点I/O服务器集群、1台管理节点均经过带宽20GbpsInfiniband高速网络互连。计算集群节点经过20GbpsInfiniband网络连接I/O节点，经过I/O节点专门并行文件系统访问存放。I/O节点经过4Gbps光纤通道卡连接至磁盘阵列环境中，配置1台磁盘阵列（可选HPPG3FF或IBMDS3400），10TB可用容量，以满足高性能计算环境对存放性能和空间巨大需求，I/O节点存放链路完全多路径融合，与磁盘阵列见无单点。高性能计算平台全部经过管理节点上高性能计算资源管理平台软件对用户公布使用。管理节点经过1000Base-T千兆以太网连接到校园网络中，各院系经过该网络Web使用高性能计算平台资源，基于用户原有使用习惯图形化交互界面，并最终经过网络可视化查看计算过程，取得计算结果。主要设备选型计算节点采取32节点刀片服务器作为计算节点（每个节点采取2ProcessorsIntelXeonX5650/6Cores/18GBmemory），Intel六核处理器在中规模计算量上性能相当于同主频四核CPU1.5倍以上。依据见Intel提供数据分析图：管理节点采取1节点机架式高端服务器（采取2ProcessorsIntelXeonX5650/6Cores/24GBmemory）作为高性能计算平台管理节点。存放节点采取2节点机架式高端服务器（采取2ProcessorsIntelXeonX5650/6Cores/36GBmemory）作为高性能计算平台存放I/O节点。计算网络采取最少2台Infiniband高速网络交换机（20Gbps无阻塞）刀片机箱内置模块，作为高性能计算平台关键计算网络。详细指标见附表说明。Cluster集群系统Cluster采取32台刀片式服务器组成计算节点，经过2台I/O存放节点连接磁盘阵列，I/O节点布署专用并行文件系统，负责向计算节点提供共享存放服务。管理节点布署高性能计算资源管理平台软件，利用应用虚拟化技术，实现用户经过网络对高性能平台图形化透明使用，远程接入完全遵照用户原有软件使用方式，使用习惯。高效、易用提供高性能平台计算服务。现在用户大量应用运行在Linux64平台上，为了满足当前用户应用与未来发展需求，采取Linux并行计算集群进行Cluster建设。待建Cluster方案架构图待建Cluster计算节点采取刀片服务器，节点处理器采取英特尔®至强®X5650六核核处理器（2Processors/6Cores）。Cluster集群系统计算理论浮点峰值为：2.66G×4×32×2×6=4085.76Gflops=4Tflops浮点峰值＝CPU主频×CPU核每个时钟周期执行浮点运算次数×服务器数量×每个服务器CPU核数。Cluster计算集群具备以下特点和优势：具备很高性能价格比。采取先进Beowulf架构，扩展性好即可扩充到几百上千个节点，从而取得很高性能和比较低总体成本。计算集群全部采取高速Infiniband网络互连，具备极高性价比。采取工业标准设备和顺应高新技术发展趋势。如集群并行计算技术，开放代码程序。支持Windows平台应用，具备Linux扩展能力。计算节点计算节点是高性能计算关键节点，负担着计算、分析、求解真正任务，计算节点性能很大程度上决定整个高性能平台所具备计算能力，依照调研详细情况，充分考虑用户环境，采取刀片式服务器做计算节点，每节点配置2Processors/6Cores处理器，内存依照经验，每core配置2GB内存，所认为计算节点合理配置24GB内存（内存配置为3倍数）。特征：密集计算能力：英特尔®至强®六核处理器配有多个RDIMM插槽、多个千兆/万兆服务器适配器，能够提供集中计算功效和愈加出众系统扩展能力；2个英特尔至强5600系列处理器；采取高级ECC96GBPC3-10600(DDR3-1333)存放式RDIMM；可选择1个小外型高性能热插拔串行SCSI(SAS)硬盘。布署多样性：嵌入式技术和2个中间件插槽让您能够在高效紧凑外形中进行多样性布署。可提供高速图形远程控制台功效，以及对服务器状态信息进行远程网络访问能力；可经过管理程序安装功效、Disk-On-Key和安全特征提升设备灵活性管理节点管理节点用来承接外部用户接入集群系统，进行程序编译、调试、并行计算任务分发与布署，此节点还安装有集群管理软件，做为主节点对整个集群进行管理和作业调度等工作。现在采取一台机架式高端服务器（2Processors/6Cores/24GB内存）作为高性能计算节点管理节点，依照今后应用需求，可再扩展一台机架式高端服务器。I/O存放节点I/O节点用来连接后台大容量数据存放设备，整个集群经过此节点来进行数据大规模存取与调用。计算节点与I/O节点之间经过InfiniBand高速网络相连，确保充分I/O数据带宽。现在暂时采取两台机架式高端服务器（2Processors/6Cores/36GB内存）作为高性能计算集群I/O节点，今后依照应用需求，可逐步扩展I/O节点。同时在I/O节点上布署并行文件系统，并发利用I/O节点对磁盘阵列进行读写操作。计算网络Cluster高性能集群系统计算节点全部经过高速Infiniband互连技术实现互联，高速Infiniband互连网络主要用于计算节点之间进行MPI通讯，交换节点应用进程信息和计算数据。整个高性能集群管理网络和用户网络经过千兆以太网将每个节点连接起来。管理网络主要用于节点管理信息传输。存放网络采取SAN交换机和磁盘阵列，主要用于各节点与I/O节点之间数据传输，包含应用程序和数据装载、计算结果保留等等。Infiniband网络Infiniband关键计算网络互连采取多台Infiniband交换机（带宽20Gbps），互连网络拓扑图以下：InfiniBand对性能影响InifiniBand是一个用于高性能计算集群和企业级网格运算高性能工业标准网络架构。InfiniBand以其10-40Gbps高速带宽和低延迟优异性能显现出卓越性价比。该技术能使由低端服务器组成集群或网格，相较于昂贵高端服务器，以一样甚至更高速度完成复杂计算任务，也是实现该功效第一个高速网络技术。管理网络管理网络千兆以太网交换机搭建。全部Cluster集群计算节点、I/O节点和管理节点都经过千兆以太网交换机连接起来，组成统一IP网络环境。监控网络经过基于硬件设备集群管理软件对硬件系统进行集中管理、配置，减轻管理维护人员负担。为运维人员提供高效便捷管理方式。存放系统高性能计算平台配置一台扩展能力最少支持48个磁盘驱动器阵列，I/O节点可经过4Gbps光纤通道卡连接至存放环境中。计算节点服务器经过I/O节点访问磁盘阵列，全局布署并行文件系统。高性能计算平台软件系统高性能计算平台软件主要包含高性能计算资源管理平台软件、集群管理软件、并行文件系统、64位Linux操作系统、集群并行计算环境等一系列软件。经过优化配置，合理架构，最大化软件应用性能，为客户提供一个简单，易用高性能计算环境。平台逻辑架构以下：64位Linux操作系统因为学校现有用户基本上熟悉Linux运行环境，对于运行在计算节点服务器（X86_64CPU架构）上操作系统，现在选择64位Linux高级平台操作系统作为每个集群节点操作系统。而且，Linux操作系统优势还表现在以下方面：开放标准：开放意味着创新，意味着按需订制；低成本：软件成本/人员培训成本/移植成本/管理成本；高性能：表现在Linux系统资源低占用率和在高性能运算优势；操作系统低占用率；Linux在高性能运算方面优势；高可扩展性、可维护性。集群管理软件为了愈加好地管理和监控集群系统，方便系统维护，必须配置有效、实用和友好界面集群管理软件。集群管理实用程序能够有效地管理大量计算节点。带有图形用户界面（GUI），能够依照需要和集群中任意数量节点进行定制。借助集群管理软件，只需在单一显示器上单击鼠标即可访问全部计算节点控制台。经过集群管理软件，能够监控、暂停、开启、重启或关闭选定任何节点。还能够连接到集群中多个节点，并经过一次键盘输入以广播方式向其发出命令。集群管理软件具备将一个系统配置向集群中全部计算节点传输功效。作业调度系统作业调度系统设计上表现以下几个标准：图形化交互界面，采取应用虚拟化技术将仿真求解软件使用方式完全经过网络透明提供给用户使用，确保系统使用易用性。最终用户和IT基础结构复杂性相分离标准，既简化了用户操作，又提升了用户工作效率。系统可扩展性标准，集群系统计算能力扩展和设备增减，不会影响前端用户工作。安全性标准，确保开放条件下系统安全性。并行文件系统并行文件系统是一个主要用于I/O数据，面向应用提供支持用户级文件系统，它能够有效提升数据I/O性能和科学计算程序计算速度。集群并行计算环境MPICH–消息传递接口MPI（消息传递接口）是全球工业、政府和科研部门联合推出适合进程间进行标准消息传递并行程序设计平台，也是现在应用最广并行程序设计平台，几乎被全部并行计算环境（共享和分布式存放并行机、MPP、集群等）和流行多进程操作系统所支持，基于它开发应用程序具备良好可移植性。MPI一个最成熟和最广泛使用版本就是MPICH，它是MPI一个详细实现，能够无偿从网上下载。MPICH开发与MPI规范制订是同时进行。所以MPICH最能反应MPI改变和发展。MPI程序通常被称为SPMD（SingleProgramMultipleData）程序，即相同程序对不一样数据进行处理。当然用MPI也能够编写出MASTER/SLAVER类具备显著主从关系程序。MPI语言绑定因为MPI是一个库而不是一门语言，所以对MPI使用必须和特定语言结合起来进行。FORTRAN是科学与工程计算领域语言，而C又是现在使用最广泛系统和应用程序开发语言之一，所以对FORTRAN和C支持是必须。另外，C++作为面向对象高级语言，伴随编译器效率和处理器速度提升，它能够取得靠近于C代码效率。面向对象编程思想已经被广为接收，所以在MPI-2中除了和原来FORTRAN77和C语言实现绑定之外深入与Fortran90和C++结合起来，提供了四种不一样接口为编程者提供了更多项选择择余地。标准库函数标准库函数包含支持PORTRAN77/90和C/C++语言数学库、并行库和相关编译器。标准应用软件现在提出需求应用软件：Fluent流体工程仿真计算软件（并行版）MaterialsStudio化学、材料工业模拟软件ANSYS通用有限元分析软件ADMS环境评测模型软件Gauss量子化学计算软件（注：商业软件费用不包含在建设经费里面）项目经费预算经费起源因为本项目是学校整合资源，统一建设，共享使用标准下立项建设，所以，其经费来自不一样渠道，见下表：序号项目名称预算经费123合计经费支出预算序号设备名称描述数量预算1计算节点（刀片式服务器）刀片机箱、刀片服务器、IB交换机和千兆以太网交换机等32台155万元2管理节点、存放I/O节点机架式服务器3台15万元3磁盘阵列配置24块10Krpms，6Gbps，600GBSAS硬盘1台20万元4软件及项目集成专业集群监控软件、专业非开源作业调度软件、64位Linux操作系统、并行开发软件和函数库等，及项目集成安装、培训、售后3年服务1套20万元共计210万元附页——高性能计算平台技术参数要求第一部分：计算节点刀片服务器(32片刀片)设备设备配置说明数量刀片机箱刀片式服务器，标准机柜安装；最多支持≥10个服务器，支持不一样型号刀片服务器（包含intel/AMD刀片）混插；支持刀片服务器或扩展刀片。≥2LCD/LED显示器前端控制面板；支持初始配置向导、当地服务器刀片、机箱和模块信息以及故障检测。配置最大冗余热插拔电源，支持N+1、N+N电源冗余模式，N≥2，支持单相/三相，电源模块满配。配置最大冗余热插拔风扇，风扇模块满配，提升刀片性能。支持8个互联模块托架，支持LAN/SAN连接，支持互联交换机和直通模块。配置4XQDRInfiniband内置网络交换模块，≥10个下行链路，≥12个上行链路，全部端口支持40/20Gbs（QDR/DDR）带宽，配置对应线缆（IB4XQDR/DDR）和配件。配置1Gb或10Gb以太网交换机内置模块，≥4个1Gb上行链路，上行链路可堆叠，全部端口全线速。配置对应堆叠线缆和配件。集成内置管理模块；可远程监控图形界面；可远程从当地光盘开启安装操作系统；集成虚拟电源、虚拟介质、虚拟KVM技术。在网络上经过浏览器管理，能够实现对物理机统一管理。自动发觉、更新机箱和服务器；监控设备配置和改变；监控硬件、软件运行情况。集群计算节点每个节点配置两颗CPUIntelXeonX5650（主频≥2.66GHz,12MBL3Cache，1333MHz前端总线）。32每个刀片配置DDR3-1333内存,采取RDIMM内存或FBDIMM，≥12个内存插槽；每个刀片服务器配置内存≥24GB。每个刀片4XQDR/DDRInfiniBandConnectXIB双通道适配卡。每个刀片配置1个146GB10KSFF2.5”SAS硬盘，能够实现在线热插拔硬盘功效。每个刀片配置嵌入式双端口1Gb或10GbE多功效服务器网络适配器。配置快速分发软件，可同时分发安装windows，Linux等主流操作系统。

第二部分：管理、存放I/O节点设备设备配置说明数量管理节点机架式服务器（带上机架导轨）。1节点配置两颗CPUIntelXeonX5650（主频≥2.66GHz,12MBL3Cache，1333MHz前端总线）。配置DDR3-1333内存,采取RDIMM内存或FBDIMM，支持高级ECC，服务器配置内存≥24GB。配置硬件SASRAID控制器，高速缓存≥512MB，带电池保护;支持硬件RAID0/1。配置2个146GB10KSFF2.5"SAS硬盘，能够实现在线热插拔硬盘功效。集成双端口多功效千兆服务器网络适配器卡。配置冗余电源和风扇。三年原厂保修。I/O节点机架式服务器（带上机架导轨）。2节点配置两颗CPUIntelXeonX5650（主频≥2.66GHz,12MBL3Cache，1333MHz前端总线）。配置DDR3-1333内存,采取RDIMM内存或FBDIMM，服务器配置内存≥36GB。配置硬件SASRAID控制器，高速缓存≥512MB，带电池保护;支持硬件RAID0/1。配置2个300GB10KSFF2.5"SAS硬盘，能够实现在线热插拔硬盘功效。集成双端口多功效千兆服务器网络适配器卡。配置冗余电源，风扇。配置1块Qlogic4GbHBA卡。配置Infiniband4xQDR/DDRHCA卡。三年原厂保修。第三部分：存放系统设备设备配置说明数量磁盘阵列厂家自主研发，拥有完整知识产权，非OEM产品。1配置双冗余控制器，缓存每控制器1GB(双控2GB)。主机接口每控制器2个主机端口,光通道(FC)4Gbps自感应1Gbps/2Gbps。RAID级别RAID-0,-1,-3,-5,-10。支持最大驱动器数≥48个硬盘驱动器，支持6Gb/sSAS、SATA磁盘。配置最大冗余风扇和电源,热插拔。机架支持业界标准19英寸机架。配置容量许可图形化磁盘阵列存放管理软件；磁盘阵列管理软件为满配容量或不限制容量许可证，未来磁盘扩容，不需要磁盘阵列管理软件升级费用。SAN支持不一样类型FC交换机。配置主流操作系统AIX，HP_UX，Solaris，Windows，Linux等对应平台支持软件。配置24块SAS硬盘，转速≥10Krpms，容量≥600GB，带宽≥6Gbps，配置对应磁盘扩展柜。支持主流操作系统：HP-UX、IBMAIX、SUNSolaris、MSwindows、Linux等。支持快照克隆，增强数据保护。配置多路径故障切换和负载均衡功效，提供最少2个支持Linux64许可。可实现≥128个LUN，无需LUN扩展许可；最大LUN容量≥1TB。支持主机最大数量≥16，且无需额主机扩展许可。三年原厂保修。第四部分：集群系统软件软件软件配置说明数量操作系统支持集群Linux64位版本。1并行环境MPICH（支持以太网MPI环境）。1Mvapich2。OpenMPI(Infiniband和以太网MPI环境)。Mvapich(支持InfinibandMPI环境)。应用开发环境GNUC/C++编译器。1GNUFortran77编译器。IntelC/C++编译器(支持OpenMP)。IntelFortran77/90编译器(支持OpenMP)。PGIC/C++编译器(支持OpenMP)。PGIFortran77/90编译器(支持OpenMP)。BLAS、GOTO、Atlas、LAPACK数学库。ACMLGPU/CPU高性能数学库。并行文件系统Lustre、GPFS等。1集群监控软件作业调度软件君富EasyCluster、GridView、PlatformRocks等，非开源专业软件，集成安装与硬件设备无关，计算节点扩展不受硬件品牌限制，并提供相关承诺证实。1套此次支持节点数最少35个。采取Web界面，管理员界面无法提交任务，支持SSH提交