gpuhpc集群实施实施方案

XXXX大学XXXX系统仿真平台建设方案XXXX科技1/21名目第一章概括....................... 错误!不决义书签。高性能计算环境进展的趋向......................................更高、更全面的性能要求..................................................................................更为严格的估量拘束......................................................................................................................................................................其次章设计方案系统设计原则...................................................整体方案构造...................................................计算效劳器方案................................................GPU计算节点效劳器型号及配置................................鉴于KEPLER的nvidia 芯片GPU加快技术......................................................................计算任务提交及治理..........................................C计算集群方案............................................LUSTER宝德Cluster 计算集群构造...................................Cluster 节点系统配置........................................节点互连、治理和用户网络....................................Cluster 计算集群节点治理....................................Cluster 计算集群作业治理....................................宝德Cluster 计算集群的特色和优势...........................高性能计算外接储存需求剖析.....................................方案的优势.....................................................第三章产品清单2/21

!不决义书签。!不决义书签。错误!不决义书签。!不决义书签。第一章 概括XXXX特别有幸能为XXXX系统仿真平台系统建设提出建议。我公司介绍了先进的系统建设方案，考虑了系统的适用性、高可用性、安全性、可治理性以及灵活扩展力量。XXXX依靠先进的技术和优异的支持效劳，信任经过两方的合作，可使中国XXXX大脑初级视觉系统仿真平台系统建设工程顺当实行，进而为用户供给一个强健、安全、高可用的运转环境，并进一步成立长期的友善合作关系。高性能计算系统是提升一个科研机构争论水平的重要根底设备，也是一个国家科技与经济实力的标记。它不单是一个高速办理的计算机系统、更重要的是在其之上运转的各样应用对科学领域产生特别深远的影响。20 世纪90 年月中后期以来，很多高性能计算应用领域愈来愈多地期望利用半导体和计算机技术进展的成就经过更大规模、更精准的数值模拟和数字计算来进展产品设计和科学争论，提升科学争论水平、厂商市场竞争力以致国家的综合国力。另一方面，人们也要求利用工业标准芯片等开放性的技术降低投资、 加快开发，在规定经费估量和时间框架内达成规模愈来愈大的计算任务。高性能和高经济效益相联合已经成为高性能计算领域最惹人注视的进展趋向。高性能计算环境进展的趋向更高、更全面的性能要求高性能技术计算是利用数值模拟和数字技术方法探究和展望未知世界的技术。这一技术广泛应用于核武器争论和核资料贮存仿真、 生物信息技术、医疗和药争论、计算化学、GIS、CAE、全世界性长期气象、天气和灾祸预报、工艺过程改进和环境保护等很多领域。最近几年来，跟着争论的深入和竞争的加剧， 各个领域愈来愈多地使用模拟的方法来解决科研和生产中的实质问题。 模拟的模型愈来愈大、计算的精度愈来愈高、对超级计算机性能要求也愈来愈高。比方，在一个 33/21维模型中，假设把从每个方向取 100个分点增加取到1000个分点，对计算机资源的需求将增加1000倍以上。高性能计算应用不单规模愈来愈大，并且常常必须在规定的时间内达成任务不然就失掉了计算的价值〔如天气预报、传得病防治〕。这就对计算机系统的计算力量、系统带宽、内存容量、储存设备和 I/O吞吐力量以及应用软件的开发技术都提出了更高、更全面的要求。向通用化方向进展过去人们一般把计算机应用分为科学计算、信息办理和自动掌握等种类。此中，以信息办理为主的应用统称公司应用，是市场容量最大的应用领域。初期的公司应用与高性能计算应用有很大的差异，涉及的计算比较简洁、使用的数据量也不大，对计算机系统的主要要求是能够支持大量用户〔包含网上用户〕进展事务办理如信息输入、查问和统计等，而关于计算力量、储存容量要求也不高。所以，高性能计算应用常常使用与公司应用不一样的系统，影响了产品批量的扩大。目前，人类正在从工业化社会进入信息社会，技术的连续创、市场需求的瞬间Internet、电子商务、电子商务公司等现代化手段，来适应时代的进展。很多式的公司应用对计算力量、储存容量和系统带宽的要求都愈来愈高、愈来愈急迫，高性能计算应用和其余种类应用的界限也日趋淡化。目前，几乎全部应用领域都需要使用能够供给高计算力量、系统带宽和储存容量的计算机系统，促进用户选择一样的系统知足各样种类的需求，为利用大量量、低本钱的通用产品知足高性能计算应用需求创立了有益的条件。更为严格的估量拘束跟着竞争的加剧和应用的普及，高性能计算不再是一个不惜工本的应用领域，很多工程的估量拘束愈来愈严格。这就要求厂商生产全系列的产品知足不一样规模应用的需求、更为靠谱地保护用户原有投资、加快IT投资回报，并且也要务实现资源按需供给和更大范围的资源共享，推动了网格和公用效劳等的计算模式的进展。4/21使用商品化零件为了促进高性能计算广泛应用肯定降低本钱，不然很难为更多的用户所接受。由于高端的高性能计算系统〔特别是超级计算机〕需要使用很多计算节点和互联设备等零件，所以肯定保持每个零件的低本钱。初期的超级计算机系统使用特意定制的办理器和互联设备等零件价钱特别昂贵。此后， CrayResearch 公司T3DCRAYT3EAlpha办理器。目前商品化办理器和效劳器性能日趋提升、价钱也日趋降落，为利用它们成立高端和超级计算机系统供给ASCI打算，力争降低超级计算机系统的(COTS)硬件和软件零件，把力气集中在进展主流计算机工业不行以有效地供给的特意技术。目前已经极少再有厂商使用特意的零件如向量办理器来成立超级计算机系统。 此后的进展趋向是在高端和超级计算机系统中尽可能广泛地承受商品化和大量量的工业标准零件， 包含处理器、互联设备、I/O、储存、操作系统、语言、编译程序、编程工具和应用软件。人们留意到，鉴于开放性IA－32系统构造的XeonPentium4办理器的超级计算机已经在TOP500Itanium办理器系列〔IPF〕势必以其开放性、大量量和64位寻址和办理力量，对超级计算机水平的提升产生划时代的影响，以远比32位系统构造时代高的性能和性价比来知足日趋增加的需求。HP的高性能计算系统，势必加快×××在高性能计算领域获得更为丰富的科研成就。高性能计算应用的特色CPU,它对所运转的():(特别64),内存带宽和内存容量及系统框架。全部这些要素都是相互关系的。高性能计算寻常利用各样数学方程式来成立模型和模拟物理现象。跟着各样模型愈来愈大，愈来愈简单，数据集的规模也急5/21100*100*100100万个元素，该模型仅占用32MB101000*1000*1000，包含1032GB的内存！所以不管是散布式内存仍是共享CPU办理，就需要高带宽，高容量，低延CPU进展计算。而超级计算机主要用来办理这样宏大的工作负载。这样的负载所要求的超级CPUI/O子系统，旨在实现最高的运算速度。一样这样的负载所要求的超级计算机还肯定承受多级别并行办理技术，能够利用几十个甚至几千个办理器来办理一项任务；这样的并行办理技术也需要超级计算机要承受高性能的互连设备和系统设计，以较高的本钱去换取最高的性能。高性能计算主机性能评论系统权衡主机系统或办理器计算办理力量的测试系统 (BenchMark)也有多种，如SPEC、Linpack等,特别是经过Linpack 值更能够权衡一个主机系统或一个办理器芯片的实质运算力量, 而不只是是虚的理论峰值力量。过去，人们使用系统能够到达的履行指令最大速率如每秒履行百万指令数 /(MIPS/MFLOPS)来量度计算机硬件性能。可是，这些量度指标的适用价值格外有限，它们只好给出理论上最大的性能，并无全面反响计算机系统的实I/O性能等。别的，硬件性能量度和系统系统构造都是非标准的，使得人们很难使用它们作为效劳器选型的性能指标。所以，消灭了计算机系统性能基准测试的观点，即由某些中立的非盈余机构开发出一组经过细心兼顾设计和组合的程序，来量度计算机系统运转这组程序的性能指标。此类程序一般称为基准测试程序。不一样的计算机系统都运转同一组基准测试程序，就能够相对客观地比较计算机系统的性能。目前有很多特意设计基准测试程序和治理各样计算机系统基准测试指标的机构，此中最着名的是 6/21其次章 设计方案系统设计原则帮助用户成立一套既能最大限度地知足用户实质需要且技术又处于领先地位的高性能计算环境是我公司为高性能计算用户设计方案的根本动身点。我们以为，XXXX大脑初级视觉系统仿真平台系统应拥有办理大规模的简单运算，特别是浮点运算及图像办理的力量。它将为图形化剖析供给优化工程设计、剖析、考证的手段，最终实现提升设计质量、缩短计算周期、降低开发本钱。方案设计以用户现场测试结果为根底，依据XXXX对将来应用模式及业务量需求展望为前提，重申高性能以及可行、合理和低风险。架构设计和系统选型依据以下原则：先进性本系统方案所承受的技术既要切合业界的进展方向,又要在将来几年内仍拥有很高的技术先进性，保持在同类系统中的领先地位。这样有益于提升整个系统的计算与办理力量。有限投资猎取最大计算性能在有限的投资前提下，高性能计算系统应拥有优异的办理力量，它不单拥有(PeakPerformance)，更重要的是应拥有稳固的应用性能〔sustainedperformance 〕速的计算结果。可扩展性系统应拥有很强的扩展力量。跟着对计算机系统性能的要求不停提升，该计算机系统应拥有扩展力量，并且简洁实现。开放性和兼容性本计算机系统应切合公认的工业标准，包含系统构造，硬件，I/O,网络，操作系统，开发环境和开发工具等。这样，便于和其余平台上的系统互操作。7/21应用软件丰富本系统的平台上应拥有丰富的软件资源， 能够供给争论课题的解决方案和相应的软件系统 。我公司与高性能计算方面的独立软件开发商亲热合作， 比方：Fluent,ANSYS 等专业工程软件商,RedHat,Etnus,Pallas,Platform 等专业平台软件商, 不单供给办理节点间的协调解通信的中间件，使整个系统节点能够真实实现合作，负载均衡，还可以针对不一样应用需求，供给一系列并行计算应用。优异的技术支持由于本系统是比较简单的计算机环境， 在使用过程中不行防止的会遇到一些技术问题。当遇到这些问题时能够猎取有效的支持，决。性能价钱比优胜

使问题得以圆满的解由于本系统比较宏大，价钱要素也比较重要。本系统在性能价钱比方面在同类系统中应拥有明显的优势，关于三院三部来说在采买大型系统中应当考虑的重要要素。治理简洁尽量削减量据中心的设备治理难度。整体方案构造XXXX,联合与有关业务处室的沟通。从知足应用需求的角度动身，我们建议成立一个高可扩展、SMPCluster构造的高性能计算环境，整体方案架构以下：GPU计算节点，主要运转并行计算、图形剖析等应用。GPU计算节点效劳器承受高性能计算操作系统环境，并8/21运转动向资源治理工具对任务的资源分派进展治理和调动。12个储存节点，并经过用户网络和治理网络进展互联。Cluster/封闭等，并经过软件对用户提交的任务进展作业治理。GPU节点效劳器和集群治理节点经过1000Base-T 千兆以太网连结到三部的骨干网中，各室工作组经过该网络申请计算资源和提交任务。GPU节点效劳器和储存节点可经过扩展的IB光纤通道卡连结到SAN中，满足高性能计算环境对储存性能和空间的巨大需求。计算效劳器方案GPU计算节点效劳器型号及配置依据以上剖析，我们配置两台宝德PR4768GW 作为GPU计算节点效劳器。宝德PR4768GW 拥有两颗E5-2690V312 核CPU，256GBDDR4内存和8块NVIDIATESLAK80GPU加快卡，特别适宜做高性能计算效劳器，并最多可支持32CPU及扩展至内存。宝德PR4768GW 以以下图所示：宝德PR4768GW 计算效劳器的配置以下：效劳器型号 办理器内存硬盘

2XIntelXeonProcessorE5-2690V316X16GB/DDR4/2133/MHz/ECC/REG2TB/SATA/6Gb/128M/7200rpm/ /公司级9/21SATA/6Gb/s/16nm/MLCGPU加快卡网络接口〔内置〕

8XNVIDIA/TESLA/K80/4992C/24GBMellanox/56GB/40GB/ IB卡X520-SR2///SFP+模块扩展网卡 1*10/100/1000Base-TDVD-ROM机柜电源电扇

1*DVD+RW42U，PDUN+1热拔插电源电扇鉴于KEPLER的nvidia 芯片GPU加快技术TeslaK80 的目标领域包含数据剖析和科学计算。它的单精度计算性能最高能够到达每秒9万亿次浮点运算，而花费级的 GeForceGTX980 很难超出每秒5万亿次。这款显卡由2个KeplerGK210GPU 所构成，每个图形办理单元可支持最高12GBGDDR5闪存〔合计24GB〕。除此以外，TeslaK80 还支持480GB/s 的带宽，4992个CUDA并行办理核心，DynamicNvidiaGPUBoost 等定制技术，以及动向并行〔DynamicParallelism 〕。依据Nvidia 的说法，这些配置让K80大幅超越了现有的最正确硬件。他们还宣称，TeslaK80 比最优异的CPU还要快10倍。依据Nvidia 在网站上挂出的一张图表，TeslaK80 任K40拥有大幅的提升。跑分红绩也显示出，K80也一样领跑全局，不管是化学、物理仍是机器学习领域。GPU办理器供给的存放器资源10/21高性能计算环境宝德PR4768GW 承受CENTOS操作系统，供给高性能计算环境的根底,并协作相应的系统治理软件、语言编译器、并行模式、有关数学库

,还可支持目前流行的各样第三方高性能计算商业软件包和应用软件包均衡软件)和checkpoint,Etnus Pallas

,比方Platform 的Vampir及Gaussian,这些可依据实质要求灵活配置()。

,以运转高性能计算应用程序和商业软件在此系统下的C,C++和Fortran 编译器呈现出优异的实质应用性能统库充分利用了此架构的先进技术,此中包含:

,操作系为科学和技术计算供给了常用数学软件Itanium2 ;

,并针对MPI。实现对集群架构信息传达接口的高性能,可移植的并行信息传达的应用

, 为开发人员供给了API和软, 是散布式计算的抱负选择。计算任务提交及治理全部向宝德PR4768GW 计算效劳器提交的任务其所需的CPU内存等系统资源是经过动向资源治理工具来进展治理的。动向资源治理是一个特别简洁、高效、易用的资源分区和治理工具，经过它，系统治理员可依据计算效劳器的资源状况及提交任务的优先级给使用用户灵活11/21分派和调动CPU、内存及I/O等系统资源，当更高优先级的任务提交后， HPWLM可动向调整系统资源的分派，保证高优先级的任务猎取所需的资源。动向资源治理可经过当地或远程终端进展治理。Cluster 计算集群方案Cluster

计算集群构造宝德公司作为高性能科学计算集群技术的领导者，可供给最强盛的、易于治理LinuxLinux的优势、最好的软件、内部互连、工业标准的计算机平台、宝德集群技术专家、支持和效劳向用户供给拥有增加Linux集群系统。Linux集群系统也叫做BeowulfCluster宝德Beowulf 集群的规律架构以下：

集群系统。Beowulf 机群定义1计算节点2 开发环境 治理工具 客户应用标准应用 连

文件系统互 计算节点3部 计算节点4内5

编译器工具调试工具

数学库并行库

批办理系统作业调动n

/设备驱动软件治理工作站硬件硬件局部应包含：计算节点治理节点12/21I/O节点软件局部应包含：操作系统集群治理软件开发环境数学库、并行库作业治理系统文件系统和客户应用软件标准应用软件HPBeowulf集群的规律架构，我们为本工程设计的Cluster计算集群方案以下：上述Cluster 高性能集群主要为Fluent、Fastran 等流体类应用供给计算环境，此外，依据现场测试的结果，LS-Dyna应用在此SMP和Cluster 架构上均有特别优异的表现，用户也可选择在此 Cluster 计算集群中来运转此类应用。13/21Cluster 节点系统配置依据用户需求，配置高性能治理节点配置配置以下：效劳器型号 宝德PR2750G办理器内存硬盘

2XIntelXeonProcessorE5-2640V38X8GB/DDR4/2133/MHz/ECC/REG2X240GB/SATA/6Gb/s/16nm/MLCMellanox/56GB/40GB/ IB卡X520-SR2///SFP+模块扩展网卡 1*10/100/1000Base-TDVD-ROM机柜电源电扇储存节点配置

1*DVD+RW42U，PDUN+1热拔插电源电扇1台储存节点，配置以下：效劳器型号 宝德PR4036GS办理器内存硬盘

2XIntelXeonProcessorE5-2640V38X8GB/DDR4/2133/MHz/ECC/REG28X4TB/SATA/7200PRM/寸/公司级14/21480GB/SATA/6Gb/s/16nm/MLC网络接口〔内置〕 Mellanox/56GB/40GB/ 单口IB卡1XLR382B/8/SAS12Gb扩展网卡 1*10/100/1000Base-TDVD-ROM机柜电源电扇

1*DVD+RW42U，PDUN+1热拔插电源电扇治理节点经过集群掌握治理计算节点，并进展作业的调动治理。节点互连、治理和用户网络宝德高性能集群系统的计算节点经过高速的 Infiniband 互连技术实现互联，高速的Infiniband互连网络主要用于计算节点之间进展 MPI通信，互换节点应用进度信息和计算数据。Infiniband 互连承受36端口的Infiniband 互换机。整个高性能集群的每个节点连结分别连结到两个网络，治理网络和用户网络。治理网络主要用于节点治理信息的传输，用户网络又称储存网络，主要用于各节点与I/O节点之间的数据传输，包含应用程序和数据的装载、计算结果的保存等等。治理网络和用户网络均承受中兴以太网络产品搭建。治理网络承受千兆以太网互换机，用户网络〔储存网络〕承受万兆系列以太网互换机。网络互换机配置以下：互连互换机 32端口Infiniband 互换机，15/21〔Infiniband〕以太网互换机-24*10GBase-TSFP+〔用户网络〕-4*10/100/1000Base-T能定制端口〕mini-GBIC〔双功以太网互换机-24*10/100Base-T〔治理网络〕4*10/100/1000Base-Tmini-GBIC〔双功能定制端口〕ClusterI/O节点和治理节点及上述互连互换机和以太网1242U的机柜中〔PDU〕，安装地点进展适宜调整，以优化机柜配线。Cluster 计算集群节点治理为了有效的治理计算集群系统，治理节点配置了治理力量很强的治理软件。Beowulf集群系统环境下的治理软件，它负责系统的(Cloning)和大事的剖析与治理。经过使用友善的用户界面，集群治理将变得更为高效。也将经过削减有关的Cluster计算集群成为一个经济高效的解决方案。集群治理软件，使得全部计算节点的远程文本掌握台在效劳器的全部状态下〔OS或暂停〕WEB阅读器，远程接见任何活动节点的图形掌握台。Cluster集群系统治理员能够远程掌握效劳器电源，而不管效劳器处于何种状态〔即便效劳器关机〕BIOS设置。16/21集群治理软件还拥有将一个系统配置向集群中的全部计算节点流传的功能。CMU能够经过网络将一个映像效劳器的磁盘分区内容克隆到计算节点当地磁盘中。这可用于计算节点的首次安装，以及向核心或目前系统配置流传更内容等。在目标分区与初始映像不一样的状况下，则会要点考虑目标磁盘分区。在克隆阶段对目标磁盘进展分区，防止了在首次安装时期对各个计算节点进展分区。集群治理适用程序能够有效地治理大量计算节点。带有图形用户界面〔GUI〕，能够依据需要和集群中随便数目的节点进展定制。借助集群治理，只要在单调显示屏上单击鼠标即可接见全部的计算节点掌握台。软件主窗口可经过接见配置显示界面来设置掌握台效劳器硬件。经过集群治理，能够监控、暂停、启动、重启或封闭选定的任何节点。还可以够连结到集群中的多个节点，并经过一次键盘输入以播送的方式向其发出命令。也能够治理来自集群的大事，如节点的增加或削减等。Cluster 计算集群作业治理高性能计算用户经过登录治理节点进展作业的提交， 作业提交后，由治理节点上的作业治理软件进展治理和散发。作业治理为生产环境设计的，它可供给了图形和命令行两种用户界面来提交批办理、交互式作业，并供给查问作业、行列、系统的状态和追踪作业的办理。17/21在作业运转以前，用户可将需要的文件拷贝到履行节点上，和将这些指定的文件在作业履行完以后，拷贝出来。只有在全部的文件成功传输以后，作业将会被列入调动表。提交任务的用户能够指定作业的优先级，能够向行列和系统层供给默认值。first-in,firstout调动，或许改进的调动算法。作业治理能够使用户定义广泛的批办理作业的内部有关性。这些有关性包含：履行次序、同步履行和依据指定作业的成功或失败结果条件履行。宝德Cluster 计算集群的特色和优势宝德Cluster 计算集群拥有以下特色和优势：Beowulf架构，扩展性好即可扩大到几百上千个节点，进而猎取很高的性能和比较低的整体本钱。方案承受惠普公司的高性能、高靠谱性的产品。高节点内存带宽，高性能的网络互换产品，集群治理软件。方案承受工业标准设备温适应高技术进展的趋向。如 Linux技术，集群并行计算技术，开放代码程序。由宝德公司供给专业效劳支持。高性能计算外接储存需求剖析本次方案涉及的储存地区网络的设计，给计算效劳器和集群储存节点配置的244TB硬盘问虑临时的应用需要，高性能计算对储存空间的巨大需求是显而易见的。在这里，我们依据现场测试的结果，剖析储存的容量要求，供 XXXX在规划储存地区网〔SAN〕设计时参照。假定以三个月作为用户的活泼生产数据迁徙到近线储存空间 〔作为非屡次访18/21问数据〕的周期，以一年作为非屡次接见数据迁徙到离线备份设备〔作为离线备份数据〕SAN总储存空间需求为高性能磁盘空间加上近线磁盘空间：高性能磁盘空间=