高性能计算机和曙光ghpc1000集群系统

1、高性能计算机和曙光GHPC1000集群系统技术支持中心 张新凤曙光信息产业（北京）有限企业第1页目 录1 高性能计算介绍1.1 什么是高性能并行计算机1.2 流行高性能计算机架构1.3 集群技术趋势2 本项目GHPC1000集群系统介绍第2页1.1 什么是高性能并行计算机由众多部件组成，含有运算速度快、存放容量大、可靠性高特征。也称为：巨型计算机、超级计算机当前任何高性能计算和超级计算都离不开使用并行技术，所以高性能计算机必定是并行计算机。第3页1.2 流行高性能计算机架构并行向量机SMPDSM（NUMA）MPP，节点能够是单处理器节点，也能够是SMP，DSMCluster混合架构 第4页19

2、93年 高性能计算机在TOP500中改变第5页1.3 集群技术趋势MPP/PVP在结构大规模系统，应用饱和性能方面含有优势，资金充分依然会选择 ；大型CC-NUMA系统将逐步走向衰落：它优势是大物理内存，大量CPU共享内存高效编程对用户是一件困难事；大规模并行计算效率问题；不适合结构更大系统；价格高，优势丧失；SMP系统存在访存瓶颈，造成可扩展性限制 ，不能用于构建更大并行机器（64路以上）集群系统因为无可比拟性价比优势占据主流位置。 第6页1 高性能计算介绍2 本项目GHPC1000集群系统介绍目 录第7页设计目标及设计思绪基于通用CPU + 专用GPU高性能计算集群GPU峰值速度：183T

3、Flops(单精度)高性能、高可靠高性能计算平台第8页系统整体配置节点：计算节点1(A620r-T)： 432=86台 GPU显卡：GTX295计算节点2(A620r-T)： 162=32台 GPU显卡：C1060IO节点(A620-H)：1台存放：DS6310EE 1台容量： 16TB网络：计算网： Infiniband 1套 36口IB交换机 1台96口IB交换机 1台 20Gb IB 网卡 119块管理网： 千兆以太网 1套 48口交换机 3台水冷和支撑系统：水冷机柜 6个控制系统系统：SKVM 系统 1套集群控制台 1套 软件系统：操作系统GridView管理系统Powerconf节能

4、软件系统GNU编译器并行环境CUDA开发环境详见配置表第9页系统整体拓扑图第10页计算结点：A620r-T 曙光GPU计算节点A620r-T：43台GPU处理单元:1Nvidia GTX295 GPU卡处理器：1颗AMD Opteron 2378 2.4G四核处理器 内存：16G内存硬盘：1160GB SATA 热插拔网络：集成21000MInfiniband：集成DDR 20Gb/s HCA 第11页计算结点2：A620r-T 曙光GPU计算节点A620r-T：16台GPU处理单元:1Nvidia C1060 GPU卡处理器：1颗AMD Opteron 2378 2.4G四核处理器 内存：1

5、6G内存硬盘：1160GB SATA 热插拔网络：集成21000MInfiniband：集成DDR 20Gb/s HCA 第12页机箱结构-整体示意图机箱前部硬盘GPU卡2风扇主板1电源1电源2主板2GPU卡1第13页整机方案细节描述主板规格主板技术规格Form Factor：大约 16.7”x6.8” （42.3cm x 17.3cm）CPU:最高支持2颗AMD barcelona or shanghai 处理器Chipset:Nvidia nForce3600内存：16 DIMM插槽，支持DDR2 533/667 ECC REGLAN:2 Gigabit LANInfiniband: Me

6、llanox InfiniHost III Lx DDR MT25204A0-FCC-D single portSATA:4-SATA2 Support Raid 0,1,5PCIE: 1全长全高 PCI-Ex16 (支持双卡宽度，每机箱支持2片卡）IPMI 2.0图片仅供参考第14页曙光天阔GPU-SERVER主板第15页存放系统I/O结点磁盘阵列曙光A620r（1台） ：处理器：2AMD Opteron 2378 2.4G内存：16GB DDR2-667硬盘：1146GB SAS 热插拔HBA：112Gb/s SAS 4x HBA卡网络：2千兆IB：20Gb IB HCA曙光DS6310E

7、E盘阵(16T):企业级存放系统，热插拔Raid控制器性能：4个SAS 4x主机通道扩展性：最大扩展至80个驱动器可靠性：Cache镜像及掉电保护容量：16块1TB SATA磁盘第16页存放系统Infiniband计算节点冗余企业级后端存放架构业界主流nfs网络文件系统IO节点：1台盘阵容量：16T第17页A620r-H : 产品技术规格规 格备 注处 理 器支持2路Opteron 系列普通功耗处理器L2/L3512K / core，共享2MB L34核巴塞罗那处理器L2/L3512K / core，共享6MB L34核上海处理器芯片组NVIDIA nForce3600内存/Max16DIMM

8、s / 64GB支持DDR2 533/667 ECC、Reg光驱、软驱DVD-RW，可选USB-DVD驱动器，USB软驱硬盘控制器集成SAS 控制器，支持HostRAID0，1，1E可选SAS RAID卡，支持RAID5，6硬盘控制器集成SATA 控制器，支持HostRAID0，1，5最大支持6块硬盘做HostRAID硬盘位最大12个热插拔硬盘位可支持SATAII，SAS网卡2个1000M（Nvidia）扩展性能2PCI-E x16插槽（x8速率）3PCI-X 133/100插槽1PCI 32插槽说明：均为Low Profile扩展卡。显 卡 集成ES1000图形控制器 32MB显存电 源60

9、0W 电源可选11冗余电源监控可选IPMI管理卡第18页关键架构图 第19页DS6310EE/DS6312EESAS-SAS磁盘阵列，单控/双控；处理器：Intel IOP 341，主频1.2GHz接口 ：每控制器 4个SAS 4主机端口，1个SAS 4扩展接口驱动器接口 ：SAS ，支持SAS/SATA硬盘Raid级别：0、1、1E、5、6、50、60 热插拔控制器；DS6310EE单控，DS6312EE冗余双控； 每控制器512 MB - 2048 MB Cache ，配置Cache保护电池； 3U 机架安装机柜，带有 16个磁盘托架 ；能够经过SAS 4扩展接口连接最多4个16盘位扩展柜

10、，80块SAS/SATA2硬盘经过盘阵内嵌Dawning RAID Manager 实现轻松布署和管理，支持串口管理 ；支持后台同时；重建；冗余检测；SMART condition polling；在线扩容支持在线扩展逻辑磁盘容量，方便用户应用系统规划与调整；支持RAID级别迁移，降低用户维护成本，降低系统重新规划带来数据丢失风险；后台RAID迁移：支持RAID0、5、10、50、1E之间相互迁移；第20页登陆管理软件IP：子网掩码：用户：administrator密码：password DS6310系列磁盘阵列管理端口支持虚拟IP技术，可将一台磁盘阵列上两个控制器管理端口绑定在一个虚拟IP上

11、，虚拟IP与两个控制器IP无关，他们能够设置在一个网段中，也能够不在。默认虚拟IP为，子网掩码，控制器默认真实IP为/3，子网掩码：。 登陆后会弹出安全警报，点击“是”才能正常登陆管理软件。第21页登陆后界面第22页总体管理（关闭、重启系统，恢复出厂设置） 点击树形菜单中“管理工具”，在出现界面中可进行DS6310存放系统大部分管理操作，如：关闭、重启系统，恢复出厂设置等。第23页用户管理 只有权限为“Super”用户能够进行创建用户操作，点击“创建”标签，即可进行创建操作，新用户在创建时可选择4种权限，分别为： View：允许用户查看全部信息，但不能进行任何操作； Maintenance：允

12、许用户进行重建、PDM、介质巡检以及冗余检验等维护操作； Power：允许用户进行创建（不允许删除）RAID、LUN，更改RAID级别，改变Stirpe size，改变RAID、LUN、物理磁盘以及控制器组件等操作。 Super：允许用户进行全部操作。 “密码”标签中可进行修改用户密码操作，需要注意是，权限为“Super”用户能够修改本身其它用户密码（包含其它Super user），而其它用户只能修改本身密码。需要修改时，先在“信息”标签中点击对应用户，然后点击“密码”标签进行对应操作即可；只有权限为Super用户能够进行删除其它用户操作（包含其它Super user），点击“删除”标签进行对

13、应操作；“会话”标签中能够查看当前登录到系统用户列表。第24页网络管理 DS6310系列磁盘阵列管理端口支持虚拟IP技术，可将一台磁盘阵列上两个控制器管理端口绑定在一个虚拟IP上，虚拟IP与两个控制器IP无关，他们能够设置在一个网段中，也能够不在。 在“管理端口”标签中所查看以及设置都是虚拟IP。 点击“端口配置”进行虚拟IP设置。第25页网络管理（续）第26页网络管理（续） 在“维护模式”标签中所查看以及设置都是控制器真实IP。 点击对应控制器“端口配置”进行真实IP设置。第27页固件升级 在“固件更新”标签中能够升级控制器FIRMWARE。第28页固件升级（续） 使用HTTP方式进行固件升

14、级，选择HTTP升级方式后点击“下一步” 第29页固件升级（续） 点击“浏览”按钮，选择升级文件后点击“提交”上传文件。 第30页固件升级（续） 确认无误后点击下一步，当进度到达100%后，重启磁盘阵列完成操作。 第31页建立RAID DS6310系列磁盘阵列支持RAID0、1、10、1E、5、50、6经过先进RAID虚拟管理技术，在创建RAID时，每颗物理磁盘能够被分割成不一样区域，这些不一样区域能够用来创建不一样RAID级别逻辑磁盘，每组逻辑磁盘Stripe Size以及缓存使用方式能够自行设定。第32页建立RAID（续）1、点击树形菜单中“磁盘阵列”选项，出现如图所表示界面，其中“信息”

15、标签显示当前存放系统已经有RAID基本信息； 2、点击“创建”标签，或标签旁边下拉菜单，选择创建方式；自动配置：以默认配置与参数创建RAID，假如有足够磁盘数量，将会创建热备盘（RAID0除外），用户无法选择参数；快速配置：用户能够选择少许参数进行RAID创建；高级配置：完全由用户自定义RAID参数。第33页建立RAID（续）3、在“磁盘阵列别名”输入栏中设置RAID别名，并在“物理驱动器”框中选择磁盘，左边框中为备选磁盘，右边框中为已选磁盘，在左边框中点击期望选择磁盘（能够使用CTRL与Shift键复选），点击“”按钮，点击“下一步”。第34页建立RAID（续）4、DS6310系列磁盘阵列支

16、持同一磁盘组（RAID）中不一样LUN采取不一样参数。为LUN设置别名，选择对应Raid级别、容量、条带大小、扇区大小、读写策略以及首选控制器ID后（启用LUN关联后此项被激活），点击“更新”按钮。按摄影同方式设置其它LUN，设置完成后点击“下一步”按钮。第35页建立RAID（续）5、确认无误后点击“提交”按钮完成设置，树形菜单中也有了对应RAID选项“磁盘阵列0”。第36页删除RAID1、在树形菜单中点击“磁盘阵列”选项 ；2、点击“删除”标签，；第37页删除RAID（续）3、勾选期望删除RAID，并点击提交，弹出确认对话框，在对话框中输入“confirm”并点击“OK”完成操作。 第38页

17、设置映射 DS6310系列磁盘阵列支持自动映射，即全部与磁盘阵列建立连接主机，全部能够自动识别到DS6310磁盘阵列上全部存放空间，但为了便于管理以及提升数据安全性，DS6310提供了映射与LUN屏蔽功效，这两个功效往往一起使用。 总体步骤： 1、添加开启器（HBA卡）； 2、屏蔽全部LUN； 3、设置LUN与开启器（HBA卡）映射关系第39页设置映射（1）添加开启器（HBA卡）1、点击树形菜单中“存放服务”选项，在出现页面中点击“开启器”标签右侧下拉菜单，选择“添加开启器”，在输入框中输入对应HBA卡WWN，点击“添加”按钮完成操作（HBA卡WWN号可在“光纤通道管理”“已登陆设备”页面查看

18、）； 第40页设置映射（2）屏蔽全部LUN2、屏蔽全部LUN，方法为点击树形菜单中“存放服务”选项，在出现页面中点击“LUN映射”标签，勾选“开启LUN屏蔽”选项，点击“提交”按钮；第41页设置映射（3）建立映射3、设置LUN映射，点击 “LUN映射”标签左侧下拉菜单项选择择“添加LUN映射”，在出现界面中“开启器”下拉菜单中选择对应WWN。在“LUN映射和屏蔽”列表中选择想要映射逻辑磁盘，选择方法为在“LUN”栏输入框中输入一个LUN号，有LUN号逻辑磁盘为已映射逻辑磁盘，无LUN号逻辑磁盘为未映射逻辑磁盘，对于每个HBA卡，必须有个逻辑磁盘LUN号为“0”；第42页取消映射 将LUN号置空

19、，即取消此逻辑磁盘映射关系。 第43页管理RAID改变RAID参数添加删除逻辑驱动器（LUN）开启后台活动开启运输模式 点击树形菜单中“磁盘阵列x”（x代表任意数）选项 ，调出如图所表示界面第44页管理RAID改变RAID参数 点击“设置”标签，可进行RAID参数设置。第45页管理RAID添加逻辑驱动器（LUN）点击“添加逻辑驱动器”标签，出现如图所表示界面，为LUN设置别名，选择对应得Raid级别、容量、条带大小、扇区大小、读写策略以及首选控制器ID后（启用LUN关联后此项被激活，请查阅DS6310系列磁盘阵列用户手册5.9节），点击“更新”按钮。按摄影同方式设置其它LUN，设置完成后点击“

20、下一步”按钮，在图5-38所表示界面中确认信息后，点击“提交”按钮完成设置。 RAID中必须要有还未分配空间，才能添加LUN第46页管理RAID删除逻辑驱动器（LUN） 点击“删除逻辑驱动器”标签，出现如图所表示界面，勾选想要删除逻辑驱动器（LUN），点击“提交”，在出现确实认对话框中输入“confirm”并点击“OK”按钮完成操作。第47页查看/开启后台活动管理RAID点击 “后台活动”标签，即可查看当前后台活动。点击 “后台活动”标签右侧下拉菜单，即可开启对应后台活动。迁移：此选项下可执行逻辑磁盘RAID迁移以及在线容量扩展功效；重建：此选项下可执行RAID重建功效；PDM：DS6310系

21、列磁盘阵列具备PDM（Predictive Data Migration，预先数据迁移）功效，PDM是当一些条件具备情况下，将RAID中某个物理磁盘预数据迁移到热备援磁盘中，最大程度地防止数据丢失；当Media Patrol检测到磁盘故障、当系统统计坏块到达一定数量时，PDM会自开工作；在有特殊需求时，我们也能够手工执行PDM工作；过渡：过渡功效是利用一个还未定义物理磁盘或一个不可恢复还未使用热备磁盘代替一个已经属于某个RAID可恢复热配磁盘，并将后者恢复为其初始状态（即恢复为未使用可恢复热备磁盘）。 第48页格式化逻辑驱动器（LUN）在树形菜单中选择想要格式化逻辑驱动器，在出现界面中点击“后

22、台活动”标签右侧下拉菜单，选择“初始化”，出现如图所表示界面，设置各项参数后点击“提交”进行格式化，第49页管理热备磁盘 点击树形菜单中“备用驱动器”选项。第50页管理热备磁盘创建热备磁盘点击“创建”标签进行热备磁盘创建：备用类型：选择备用类型，“Global”为类型可作为整个存放系统热备盘；“Dedicated”类型只能使用于指定RAID。可回复：可回复热备磁盘会在损坏物理磁盘被新物理磁盘替换后，自动恢复为热备磁盘；物理磁盘：左侧框中为备选磁盘，右侧框为已选磁盘；专用于磁盘阵列：当备用类型为“Dedicated”是，此项激活，左侧框为备选RAID，右侧框为已选RAID。设置完成后点击“更新”

23、按钮，按照一样方法设置其它热备磁盘，全部设置完成后点击“提交”按钮。第51页管理热备磁盘删除热备磁盘点击“删除”标签，勾选想要删除热备磁盘，点击提交，在出现确实认对话框中输入“confirm”并点击“OK”完成操作。第52页迁移与扩容 选择树形菜单中“磁盘阵列”，点击界面中“后台活动”标签右侧下拉菜单，选择“开启迁移”。 界面中左侧框为扩容备选磁盘，右侧框中为已选择磁盘，选择扩容所需磁盘后点击“下一步”，也可不选择磁盘直接点击“下一步”。 第53页迁移与扩容 在“逻辑驱动器”列表中选择想要进行RAID迁移或扩容逻辑驱动器（LUN），在“步骤2-迁移逻辑驱动器”列表中设定迁移参数，如需要扩容，则

24、勾选“扩展容量”选项，并在“容量”输入框中输入扩展后容量，设置完成后点击“Update”按钮，按照一样方法设置其它LUN，全部完成后点击“下一步”按钮，在出现界面中确认信息，有误则点击“返回”重新设置，无误则点击“提交”，在出现确实认对话框中输入“confirm”并点击“OK”按钮完成操作。 第54页计算网络选取IB领导企业Voltaire，装备世界（RoadRunner）及中国最大超级计算机（曙光5000A）全部结点（计算结点、存放结点）全线速无阻塞设计，确保网络性能外置1台96端口模块化IB 20Gbps交换机和1台36端口IB 20Gbps 计算节点计算节点计算节点 计算节点IO节点第5

25、5页#bytes #repetitions tusec Mbytes/sec 0 1000 1.47 0.00 1 1000 1.57 0.61 2 1000 1.56 1.22 4 1000 1.53 2.49 8 1000 1.55 4.92 16 1000 1.60 9.52 32 1000 1.62 18.86 64 1000 1.61 37.90 128 1000 1.80 67.65 256 1000 2.05 119.26 512 1000 2.67 183.08 1024 1000 3.74 260.15 2048 1000 6.15 317.20 4096 1000 10.6

26、6 366.34 8192 1000 16.52 472.94 16384 1000 17.49 893.52 32768 1000 27.55 1134.41 65536 640 47.72 1309.74 131072 320 88.68 1409.62 262144 160 170.73 1464.31 524288 80 334.62 1494.24 1048576 40 662.45 1509.54 2097152 20 1318.55 1516.82 4194304 10 2637.10 1516.82 全部采取单向20Gb/双向40Gb Infinihost IV Infiniband网卡，降低了网络延迟Infinihost IV：ConnectX延迟对HPC更为主要曙光5000得到了几乎线性HPL加速性能网卡延迟Infinihost III2.7-3.5usInfinihost IV(ConnectX)1.26us第56页579xx0系列 InfiniBand导向级交换机共8款第57页58通用模块关键交换模块边缘交换模块管理卡风扇模块电源模块9xx0导向级交换机家族- 模块通用使用一致性管理界面相同使用相同固件Firmware风扇分布,散热方式电源分布线缆管理第58页59从前向后吹风并行气流通路气流经过全部元件均匀散热自调整转速风扇模