3_5高性能计算集群功能测试报告_CJLR20190711v1

高性能计算集群功能测试报告2019-7-11作者: 李永义目录高性能计算集群功能测试报告01.高性能计算集群功能测试目的22.高性能计算集群系统基本情况23.高性能计算集群功能测试过程和结果63.1. 测试提交DCV Linux Desktop交互式任务63.2. 测试提交DCV HyperView APP交互式任务113.3. 测试提交Optistruct MPP求解器批处理计算任务143.4. 测试提交Optistruct SMP求解器批处理计算任务193.5. 测试提交Abaqus求解器批处理计算任务213.6. 测试提交Simpack求解器批处理计算任务233.7. 测试提交LS_Dyna MPP求解器批处理计算任务273.8. 测试提交LS_Dyna SMP求解器批处理计算任务323.9. 测试通过列表文件提交多个LS_Dyna SMP求解器批处理计算任务343.10. 测试提交nCode求解器批处理计算任务363.11. 测试提交PowerFLOW求解器批处理计算任务383.12. 测试提交PowerFLOW Coarse to Fine求解器批处理计算任务433.13. 测试RTM集群监控功能454.测试结论501. 高性能计算集群功能测试目的本测试文档主要描述了在CJLR高性能计算集群上，通过Platform PAC用户Web界面的提交各种任务的过程，包括前后处理交互式任务，求解器批处理任务，目的是让读者通过阅读本文档了解CJLR高性能计算仿真集群的使用流程，了解其操作过程。 CJLR高性能计算仿真集群Platform PAC仿真计算平台web门户6:8080CJLR高性能计算仿真集群Platform RTM监控平台22. 高性能计算集群系统基本情况高性能计算集群系统需要由计算节点，管理/登录/存储节点，存储设备，网络设备，外围附属设备等硬件设备，操作系统，集群管理软件，GPFS并行文件系统，作业调度和应用软件等部分组成。 集群系统硬件情况如下：分项类别型号具体配置数量单位计算集群及存储计算节点Flex System刀箱10U，支持14个刀片，6*2500W冗余电源，冗余风扇；1 x Lenovo Flex System EN2092 1Gb 以太网可扩展交换机（10个uplink口，可升级10G上联）1 x Lenovo Flex System 56Gb IB6131 Infiniband 交换机（18个uplink口）3年7*24*4小时原厂服务。2台SN5502x Intel 6134 8C 3.2GHz；6x 32G DDR4-2666MHz；支持24个DIMM，最大3TB；2x 600G 15K SAS；最大支持2块热插拔硬盘；1x 530-4i RAID卡支持RAID0/1；1x 4口千兆（万兆自适应）子卡；1x 双口56Gb FDR子卡；服务器自带远程管理和硬件监控。3年7*24*4小时原厂服务。28台大内存节点SR6502x Intel 6134 8C 3.2GHz；16x 32G DDR4-2666MHz；支持24个DIMM，最大3TB；2x 600G 15K SAS；最大支持24块热插拔硬盘；1x 530-8i RAID卡支持RAID0/1/5；1x 4口千兆；1x 双口56Gb FDR卡；冗余电源；服务器自带远程管理和硬件监控。3年7*24*4小时原厂服务。2台GPU服务器SR6502x Intel 6134 8C 3.2GHz；6x 32G DDR4-2666MHz；支持24个DIMM，最大3TB；2x 600G 15K SAS；最大支持24块热插拔硬盘；1x 530-8i RAID卡支持RAID0/1/5；1x 4口千兆；1x 双口56Gb FDR卡；1x NVIDIA P4000；冗余电源；服务器自带远程管理和硬件监控。3年7*24*4小时原厂服务。2台IO存储节点SR6502x Intel 4116 12C 2.1G；2x 32GB DDR4-2666MHz；支持24个DIMM，最大3TB；1x 530-8i RAID卡；2x 600G 15K SAS；最大支持24块热插拔硬盘；1x 4口千兆；1x 双口56Gb FDR卡；2x 单口16G FC卡；冗余电源；服务器自带远程管理和硬件监控。3年7*24*4小时原厂服务。2台管理节点SR6502x Intel 4116 12C 2.1G；2x 32GB DDR4-2666MHz；支持24个DIMM，最大3TB；1x 530-8i RAID卡；2x 600G 15K SAS；最大支持24块热插拔硬盘；1x 4口千兆；1x 双口56Gb FDR卡；冗余电源；服务器自带远程管理和硬件监控。3年7*24*4小时原厂服务。2台IB交换机及配套IB交换机SX6036Mellanox SX6036 36口FDR IB交换机（单电，后向前通风，含管理），3年保修（4SG7A10359）。2台IB交换机SX6025Mellanox SX6025 36口FDR IB交换机（单电，后向前通风，无管理），3年保修（4SG7A10356）。1台IB线缆FDR CableMellanox 56Gb VPI铜缆-3米，3年保修（4Z57A11466）50条存储设备存储V70002U，24块2.5盘位，双控制器，256GB缓存，配置8端口16G FC，最大硬盘数量504块。配置remote mirror支持双活功能、配置快照软件(flashcopy)，支持分层，外部虚拟化，压缩等特性，配置14块3.84TB SSD。3年7*24*4小时原厂服务。原厂实施安装1套集群系统整合完成后，系统软件情况如下：软件名称版 本安装节点安装目录备注CentOS Linux7.4所有节点操作系统xCAT2.14.x管理节点/install; /opt/xcat集群管理系统Platrom LSF10.1所有节点/share/apps/lsf10.1作业调度系统GPFS5.0.x所有节点并行文件系统Intel编译器、MKL数学库和MPI环境所有节点/share/apps/intel/ipsxe2018u3测试版gcc所有节点/usr/binC编译器g+所有节点/usr/binC+编译器3. 高性能计算集群功能测试过程和结果3.1. 测试提交DCV Linux Desktop交互式任务采用firefox浏览器访问PAC仿真计算平台web门户采用启动DCV客户端工具打开返回的链接地址输入系统账号名和密码，正常访问Linux Desktop桌面使用完成后，logout退出桌面，释放集群资源3.2. 测试提交DCV HyperView APP交互式任务采用firefox浏览器访问PAC仿真计算平台web门户，选择HyperView 2017 DCV APP交互式任务点击Trust使用完成后，点击File-Exit菜单退出HyperView，释放相关的集群资源3.3. 测试提交Optistruct MPP求解器批处理计算任务采用firefox浏览器访问PAC仿真计算平台web门户，选择Optistruct求解器模板填写相关参数，选择输入文件，提交计算任务后台命令查询，计算任务运行正常测试杀掉当前计算任务3.4. 测试提交Optistruct SMP求解器批处理计算任务采用firefox浏览器访问PAC仿真计算平台web门户，选择Optistruct SMP模板3.5. 测试提交Abaqus求解器批处理计算任务采用firefox浏览器访问PAC仿真计算平台web门户，选择Abaqus求解器模板3.6. 测试提交Simpack求解器批处理计算任务采用firefox浏览器访问PAC仿真计算平台web门户，选择Simpack求解器模板3.7. 测试提交LS_Dyna MPP求解器批处理计算任务采用firefox浏览器访问PAC仿真计算平台web门户，选择LS_Dyna MPP求解器模板查看到作业排队等待原因是LS_Dyna License资源不足LS_Dyna MPP可用License数量为3杀死这个任务，重新提交2个进程的计算任务3.8. 测试提交LS_Dyna SMP求解器批处理计算任务采用firefox浏览器访问PAC仿真计算平台web门户，选择LS_Dyna SMP求解器模板3.9. 测试通过列表文件提交多个LS_Dyna SMP求解器批处理计算任务采用firefox浏览器访问PAC仿真计算平台web门户，选择LS_Dyna SMP列表模板选择准备好的LS_Dyna 任务列表文件LS_Dyna 任务列表文件中的相关计算任务，被一次性提交由于License不足，任务都在排队之中；杀死相关的测试任务。3.10. 测试提交nCode求解器批处理计算任务采用firefox浏览器访问PAC仿真计算平台web门户，选择nCode任务模板3.11. 测试提交PowerFLOW求解器批处理计算任务采用firefox浏览器访问PAC仿真计算平台web门户，选择PowerFLOW任务模板选择“离散和仿真”3.12. 测试提交PowerFLOW Coarse to Fine求解器批处理计算任务采用firefox浏览器访问PAC仿真计算平台web门户，选择PowerFLOW Coarse 2Fine任务模板一次提交操作，4个计算任务提交成功；手动杀死相关比较耗时的计算任务。3.13. 测试RTM集群监控功能采用firefox浏览器访问RTM监控平台web门户可以实时查看集群各个节点的负载情况监控Fle