高性能计算专业系统设计专项方案

高性能计算系统

方案设计

第1章需求分析

1.1高性能计算和大规模数据解决应用

高性能计算作为一种先进科研手段，在国内应用发展小久，得到了普遍注重，近年来国

家投入逐年加大。

高性能计算应用条件已经成熟，体当前：

♦价格相对低廉高性能机群系统为高性能计算应用提供了物质基本；

♦高性能计算应用技术门槛逐渐减少；

♦国家勉励有关单位做高性能计算研究，有关投入不断加大：

♦诸多高校科研人员使用高性能计算手段，获得了较好成果。

1.1.1计算机架构

由于各学科高性能计算应用软件种类繁多，各种软件应用特点也各不相似，对计算资源

需求存在差别，方案设计需要充分考虑到实际应用特点，

作为高性能计算基本设施核心，当代高性能计算机发展从20世纪70年代向量计算机开

始，也已有了30年发展历程,先后浮现了向量机、多解决器并行向量机、UPP大规模并行

解决机、SMP对称多解决机、DSM分布式共享存储计算机、Constellation星群系统、Cluster

集群系统、混和系统等各种主体架构，并分别在不同步期占据着应用主流。

开放Cluster集群系统具备较多优势，已经占据了当前高性能计算机主流位置，在

T0P500中占据了约80%份额，在中小规模高性能计算系统中更是占据统治地位。

ArchitectureShareOverTime

1993-2009

5oo

4OO

3ooMRP

S

E■Cluster

蔓■SMP

■Constellations

S2OO

■SingleProcessor

■Others

1OO

《

F寸S9Z86oSZS-s9ZS6-LI

6666666sooo0S00

尽

66So尽Z

6666zo0

UUUUU6sNszN/N0

99UV/o99S9

SS00So'000S

SSsSs

Tos

op50Release

ArchitectureShareOverTime

1993-2009

1.1.2软件并行特点

按照应用程序与否为并行程序，可以分为如下几类：

♦串行程序

程序运营中只有一种进程或线程。串行程序不能运用高性能计算机各种解决器并

行特点，但可以同步运营程序各种任务或算例。

♦共享内存并行程序

程序运营中可以有各种进程或各种线程，可以使用各种解决器进行并行计算。但

这种并行程序不能在分布式内存机群系统上运营。

♦消息传递并行程序

消息传递式并彳j•程序可以在所有架构计算机上运营，可以同步使用数目诸多解决

器，以加速程序运营。

在高性能集群系统上，各种程序都可以运营，可以使用集群系统一种CPU,一种节

点或各种节点。

1.13互连网络

高性能计算系统互连网络涉及计算网络，数据1()网络，管理监控网络等。

对于并行程序来说，进程之间通信量也有着明显差别。对于进程间通信量较小程序来说,

使用高性价比千兆以太网就可以满足需求。

对于通信密集型并行程序，各种进程之间数据互换频繁，对互连网络性能规定很高，规

定具备较高带宽和很低延迟，千兆以太网就不能较好满足规定，需要使用高速网络，如

Infiniband,其单向带宽达到20Gb,延迟不大于2微秒。

InterconnectFamlly/Systems

November2010

InterconnectIamily/Performance

November2010

Propnetary

从T0P500排行榜中咱们可以看到，千兆以太网和Infiniband网成为高性能计算机网

络互联主流，特别从性能份额上来说，Infiniband网更是占据了绝大某些份额，因此在国

际主流较大系统中，Infiniband计算网逐渐成为主流。

高性能网络基本性能如下

OperatingsystemFamilyShareOverTime

1993-2010

500

■Unix

uS

l■Unux

-a

AS■BSDBased

S■Mixed

■Others

o

f6rQS9n860-m^S9860

66666600ooO00。5

I666660oO00。

、IUC1z0zoZAS2S

9、rS、s、

099999、9、999990

000。000ooO000

一

一--.

为了使得集群系统有较好兼容性，可以配备各种操作系统，如［inux

(Redhat,Suse),WindowsHPCserver等.

第2章系统方案设计

2.1方案总体设计

2.1.1系统配备表

单

序号名称技术规格数量

位

1硬件某些

1.1计算子系统

京则19英寸5U机架式刀片机箱、可以支持14个计算

刀片：

1*管理模块，集成远程KVM和远程虚拟媒体；

刀片平台TC4600台5

2*千兆网络互换模块，提供6个RJ45千兆接口；

4*冗余热插拔散热模块；

，1榔电源（3+1冗余热拔插）；

2*IntelXeonE5-2660八核处器(2.2GHz)；

CB60-G158*8GBDDR31333MHz：

计算刀片带FDR计算l*300G2.5寸10000转SAS硬盘;片63

刀片l*56GbInfiniband接口：

2yoOOM以太网接口;

2U机架式;

2XIntelXeonE5-2660八核处器（2.2GHz）；

8X4GBDDR31333MHz；

1X300G2.5寸10000转SAS硬盘；

管理/登录曙光

IX56GbInfiniband接口；台2

节点I6201-G10

2X1000M以太网接口；

1*冗余电源：

1*超薄DVD-RW；

1*上架导轨：

1.2存储子系统

3U,16盘位，双控制器，4个8Gb/sFC+8个1GbTSCST

曙光

主机通道，双锂电池，2*2GBCache：冗余电源:含4

存储系统DS600-G10套1

个SFP（8Gb）:Cache容量可升级为2*16GB；600G15000

双控FC

转6GbSAS硬盘*16块

1.3网络子系统

IB互换机FDRInfiniband互换机，36端口台2

计算网络Infiniband

MXMC2207310-00556GBQSFPFDR5MIB光缆根65

线缆

管理网络千兆互换机•18端口互换机，10/100/1000baseT铜接口台2

TLFW-1000T龙芯防火墙标配6个千兆电口，1U机架。

并发连接数120万，吞吐量1G,支持SSLVPN隧道数

集群安全模

防火墙300配合Nikey智能密钥*10：曙光精心打造USBKey台1

块

解决方案，内置8位国产安全芯片，自主开发COS。硬

件实现数字签名，私钥永不出Key。

1.4机柜子系统

曙光天潮原标配2个PDU、双侧门，无电源箱，无监控液晶触摸一

个3

则机柜沐机

机柜系统

曙光天潮原

380V无监控电源箱个1

则电源箱

曙光智能机

支持四台机柜温湿度远程监控食1

柜监控系统

监控系统

曙光集群监监控液晶触摸一体机，含LCD、触摸屏、监控主机各1

货1

控中心套，安装在机柜前面板门上

曙光集群控1U手动伸缩控制台（曙光17”液晶显示肝、鼠标、键盘、

控制台套1

制台8口切换器等）

视频切换SKVMSKVMIVOverIP（包括键盘鼠标）台1

系统CIMKVM节点控制模块个7

2软件某些

操作系统LinuxSuSELinux公司版套1

GridViewHPC版，支持系统布置、系统监控、集群管

理、数据报表、统一告瞥、作业调度。

（■：-65

曙光basicportal,包括serial和mpi,支持互动作业，

集群管理

GridVicw年业故障自动切换重启，文献传播，查看修改文献操作。

系统

2.5GridviewClusQuota集群配额系统,可支持顾客机时

配额管理，充值计费管理，顾客信用管理等功能。（可套1

必）

曙光

应用门户Cridvicw

包括Fluent软件作业调度套1

系统Clusportal

系统

GNU编译错，支持C/C++Fortran77/90

编译器套1

Intel编译器，支持C/C++Fortran

应用开发

数学库MKL,BLAS、LAPACK、ScaLAPACK.FFTW套1

环境

MPI并行环OpenMPI（支持Infiniband和以太网MPI环境）套1

境MBICH2（支持千兆以太网MPI环境）套1

2.1.2系统柘扑图

系统拓扑图

=；内向

路史港」甑火堆干亮次我旗

并行存储系统（96T）

管理/登陆节点

台）

（2M份系统（20T）

以太网

逃税校的交换机

岛速Inifinibnnd交换机

计

算

系

统

刀片集群（TC4600本地KVM控制台

好管缝衿

M机房环境

2.13系统方案阐明

.计算系统CPU整体峰值性能达到17.7万亿次，可以扩展到500万亿次；

.重要产品都采用了冗余设计（电源、电扇等），存储系统采用冗余设计，系统可靠

性有较高保证；

.系统功耗（不含空调制冷系统）不超过为，1超千瓦，电费可按此核算；

.曙光公司将为顾客提供完善服务，涉及安装调试、系统优化、顾客培训等，这些都

不单独收费，顾客不必考虑这些方面费用；

.一光公司提供5年免费上门服务，极大减少了顾客运营维护费用；

.曙光公司是领先专业高性能机算机及方案提供商，拥有较多成功案例，涉及百万亿

次超级机算机成功案例，产品可靠性和稳定性得到了充分验证。

2.1.4需求相应分析

•先进性

本系统中，咱们使用刀片集群架构，为当前高性能发展先进趋势。使用最新一代

IntelE5-260（）解决器，为当前性能最高X86解决器。使用FDR网络，也为当前最为

先进网络技术。同步，系统中使用并行文献系统、自动功耗管理系统和HPC应用WEB

potaL均代表着HPC先进发展方向。

•高可靠、高可用需求

系统采用刀片服务器，冗余电源，双控制器存储系统、高档别RAID系统，以及核

心节点HA双机，同步，高效管理监控系统也是保证系统高可靠、高可用保证。

•适合顾客应用软件需求

顾客应用软件众多，顾客众多，对计算需求大，系统共配备101TFL0PS计算能力。

针对某些应用对节点同网络需求高，配备了高带宽，低延时FDRInfiniband网。带宽

达到56Gbps,延时不大于lus。同步，海量计算时10并发读写量巨大，对存储容量和

性能需求惊人，系统配备了并行存储系统，可以实现所有存储统一地址和并发读写。

•易使用需求

系统配备了HPCWEBPortal,可以有效减少顾客使用难度。同步，针对系统和应

用专业培训，也能提高使用人员使用水平。针相应用软件安装调试也大大减少了顾客使

用难度。

•可扩展性需求

集群架构可以保证计算系统良好扩展，同步，并行存储架构也实现对存储系统扩展。

•易管理维护需求

配备高效管理系统，支持监控、告警、管理、报表等多项功能，解决管理员后顾之

忧，同步，对管理员培训和对系统运维支持，也能有效提高系统管理水平。

•节能环保需求

配备了刀片系统和高效节能系统，支持空载节点自动待机，可以有效减少能耗，协

助顾客节约运维成本，

2.2计算系统

2.2.1刀片集群

系统共配备63个双路8核刀片服务器，主频2.2Ghz,双精度峰值接近17万亿次。

当前，开放集群(Cluster)系统具备较多优势，已经占据了当前高性能计算机主流位置,

在TOP500中占据了80%以上份额，在中小规模高性能计算系统中更是占据统治地位。刀片

式集群系统在计算密度、功耗散热、运营成本、维护成本、可靠性等方面，都明显优于其他

系统，且为系统扩容升级提供了良好基本，刀片系统优势重要体当前如下几种方面。

■计算密度更高

提高计算密度是刀片服务器发展重要动力之一。对于大规模并行计算机来说，提高计算

密度特别重要，刀片式集群系统有效提高了计算密度。

■机房规定减少

大规模高性能计算机将对机房空间提出较高规定，并且要为系统扩容升级留下空间。刀

片式集群系统实现了较高计算密度，并且有效减少了系统功耗，对系统空调等散热系统规定

也相对减少。

■功耗散热减少

刀片服务器功耗部件较少。刀片柜中电源将由各种刀片共享，因此会使用高效率电源，

减小了系统功耗，同步产生热量减少，减少了冷却系统耗电量。

节能设计体当前曙光刀片服务器各个层面：

1）依照实时功耗拟定工作电源个数，使电源工作在最佳效率曲线上。

2）修改计算刀片操作系统内核，实现节能

3）多计算刀片任务调节调度

■布线简朴

在机架式服务器构成集群系统中，系统布线是一种很大问题。系统线缆也许涉及高性能

计算网络（Infiniband,以太网等）、数据网络、管理网络、监控网络、电源网络、KVM网

络等，这些线缆需要连接到每一种计算单元。特别是在高密度、计算单元数目又比较多状况

下，系统布线足令设计人员头疼问题。

刀片式集群系统可以大大减少系统布线数量。各种刀片服务器可以共用冗余电源，内置

互换机将高速网络（Infiniband等）、数据网络、管理网络、KVM网络集成在一起，只需要

对刀片柜进行布线，刀片柜内部计算刀片通过背板连接，无需布线。

依照计算，使用刀片式集群，可以节约85%以上系统布线。

■可靠性提高

曙光刀片服务器采用无源背板进行系统互连，与老式线缆连接方式相比，把可靠性提高

到了一种数量级以上。刀片系统采用模块化、冗余、热插拔设计，进一步提高了系统可靠性。

■管理以便

曙光刀片服务器管理监控高度集成：通过统一监控界面，监控所有刀片资源，涉及机箱

电源、电扇、计算刀片、背板、互换机。管理系统整合当前两大监控技术，即【PUI以及KVM

（OverIP）,真正实现监视控制一体化。同步，为实现以便快捷刀片服务器管理，通过优化

管理软硬件设计，改进可管理性，增强布置和可服务性，这些将减少总所有权成本。

2.2.2IntelE5-2600解决器性能优势

3月，IntelXeon解决器E5-2600发布，E5-2600解决器相比上代双路服务器Xeon560（）

系列解决器在解决器架构上进行了重大调节，从而带来最高达到77%性能提高。E5-26DO相

比上代5600解决器，在解决器核心数、流水线长度、内存带宽等各种方面都对做出了重大

提高，因此导致了性能巨大奔腾。

对于最能衡量高性能计算解决能力speccpufp性能，相比上一代解决器，最多高达77%

性能提高。

Intel®Xeon®ProcessorE5-2600ProductFamily

SPCCfp*_rate_base2006Estimates

AddtlRsktE5-2600SKUs□___

Higheri$better

—,Workstation

8C135W8C150W-JXbilySKU

2.9GHz3.1GHzU5.2687W

8C130W

pnowE5-2667

g3.46GHz2.7GHzGHz

u8C115W

e338

>既6GHyX56752.6GHzES-2643

p|8C115W

।Z4GHz2C80W|

v95W(zLl3.0GHz।E5.2637

GHzX5660BC9^

2.2GHz

X5650

狐GH¥8C95W

2.0GHzAllestimatesassumeuseof

Intel®Compiler12.1

P1222：80W6C95W

J2.53GHzX56492.5GHz

e

p；6C95WLowPower

uXS645

s2.3GHz

s80W

X5620乐GH严火8C70W

2.40GHz1.8GHz

1554C80WE5607<C80W

226GHz2.4GHz

<C80W

80WE5606

£132'2.13GHz1.8GHz

AHSKUs.frequenciesandfeatures

/・・一4

11080WarePRELIMINARYandcarchange

1.60GHzwithoutnobce

(Intel)

对于众多高性能计算应用，相比上代解决器，基本都超过50%以上性能提高。

2SSandyBridge-EPHPCApplicationPerformance

HPCSuiteWorkloads,SingleNode

Xeon'E5-2690deliveringgreatgenerationalperformanceincrease

通过调节流水线长度和增长CPU核心数，相比上代解决器,linpack性能最多超过100%

性能提高。

Intel®Xeon®ProcessorE5-2600ProductFamily

MatrixMultiplicationPerformanceonLinpack

U

M

Opt)^on・XS69O626”(W6«>6*70E526606237E5-2W0E5-2640£526为£>2X3£>262。6?609€W603(M637

6276(3.46GM1.1.9Gsp.7GHz.(2XCH«r(24GHz,{2.2GMx.<2.9GMx.Q.OCIU,<2.5GMr.(2.刈4(33GH^[ZOG“凡p4GW«r(11CH/,0Q2,

(13GHz.6CSC8c8c8C.8c6cte父，式.工工4c4c2c

：6C11SWJBOW)11SW)1MW)11SW)11SW)9SW)1J0W)9SV09SW)95W)130W)9SW)80M8SV)80M

Acceleratematrixmultiplicationperformancebyupto2X

withtheIntel®Xeon®processorE5-2600productfamily

2.2.3GPGPU计算节点

系统共配备4台GPGPU节点，该GPGPU节点配备4块\VDIAC2075GPU卡，共提供单精

度峰值16TFL0PS,双精度峰值8TFL0PS。

GPGPU计算是指运用图形卡来进行普通意义上计算，而不是老式意义上图形绘制。时至

今日，GPU已发展成为一种高度并行化、多线程、多核解决器，具备杰出计算功率和极高存

储器带宽，如图所示。

GTW-GeRrceGTX280G71-Gf*orr7WGTYNV3S-GfFwreFY$950U»»

W-GcfotteMJ9GXXGR-yc/VUCTlNV»-Gt*wtePl5«»

CPU和GPU每秒浮点运算次数和存储器带宽

CPU和GPU之间浮点功能之因此存在这样差别,因素就在于GPU专为计算密集型、高度

并行化计算而设计，上图显示正是这种状况，因而，GPU设计能使更多晶体管用丁•数据解决,

而非数据缓存和流控制，如图所示。

DRAM

CPUGPU

GPU中更多晶体管用于数据解决

当前，已有非常多高性能应用完毕了在GPU系统上移植。

GPGPU适用的应用

2.3网络系统

本方案网络系统设计从性能和可靠两个原则出发，采用2套网络。网络配备都考虑r扩

展余量，以便系统扩充。

网络方案设计充分考虑到了计算节点、存储节点、网络互换机性能参数，在保证了系统

稳定前提下，使每台设备都能得到最大限度运用。

2.3.1千兆管理网络

配备1台高品位千兆互换机，配合刀片机箱管理模块，连成千兆管理网络。该互换机

1U高，48个千兆端口，实现系统中所有节点联通。千兆管理网络用于系统管理控制、系统

监控、作业递交、作业监控管理等方面数据通讯。

2.3.2Infiniband高速网

系统配备2台36端口InfinibandFDR互换机，共同构成56GbpsFDR全线速网络。

单向56GbFDRInfiniband网络相比,相比上代单向40GbQDRInfiniband网络,性能

得到了非常大提高。这得益于三方面:

1FDR网络传播性能提高,传播性能从QDR40Gb增长至UFDR56Gb。

2FDR网络编码效率梃高，编码效率从QDR8/10提高到FDR64/66。

3PCI-E3.0编码效率提高,编码效率从PCI-E2.08/10提高到PCI-E3.0128/130。

综合起来，QDR网络由于编码效率影响，带宽仅能达到

Bandwidth(QDR)=40Gbps*0.8*0.8/8=3.2GBps

而FDR带宽可达到

Bandwidth(QDR)=56Gbps*(64/66)*(128/130)/8=6.6GBps

实际达到一倍以上性能提高

InfiniBandBandwidthBi-Directional

14000

W

M

P

U

e

g

Bytes

—IBQDR—IBFDR

(

u

so

Rs

U

3

勺

—IBQDR—IBFDR

对于网络密集型高性能应用，FDR网络带来性能提高也是非常明显，如下图所示分子动

力学应用NAME网络设备升级成FDR后，性能和扩展性都得到大幅提高.

，0

文,由用共质1非

问效，对

访一使介高往

统生前中，储更往

据点当大

备群存于也

数节，很、

0.及具集对量

2他统量能容

献。点能。

e其系问性储

I文点节s性能

C有在f高访列存

P量几性

所会n模储阵中

/大下为问

算都规存盘集

d行如访

n计改式大对磁群

a进为修储。

加老中于高集

Bi要结、存写

参为在由提能

ni归写高读

f需证较统，过性

n，要读提发

I保，系群通高

步重献来并

R为现献集要，

D定能献

同点文实文用需人

Q规性文

-算特种来行应们惊

-储络量

-计显一统并0咱力

-，1海