4_2高性能计算集群用户培训20191215v1

1、高性能计算基础知识和集群用户培训，/魏2019年12月。高性能计算和并行计算的基础知识是计算技术发展的推动力。自从计算机诞生以来，人类对计算机性能的需求一直是无止境的。计算机在应用领域需要解决的问题越来越复杂，规模越来越大。中长期高精度天气预报、环境监测和灾害预报、人类社会模拟、虚拟核试验、生物基因解码、新药物开发和海量信息处理都需要高性能计算机。今天的计算机性能远远不能满足应用要求，它所能解决的问题仍然只是人们期望解决的问题的一小部分。高性能计算应用的主要领域是科学和工程计算，如高能物理、核爆炸模拟、天气预报、石油勘探、地震预测、地球模拟、药物开发、计算机辅助设计中的模拟和建模、流体力学计算

2、等。近年来，在集成电路的设计和制造中，对高性能计算的需求激增。在2014年接受中国南方网采访时，中国科学院超级计算中心主任迟坦言：“超级计算是一堆没有开发利用的废铁。”有高性能的机器，却没有人才来提供高水平的服务。效果是一样的。这台机器5年后就过时了。”，世界上最快的计算机系统，2019年6月500大亮点，如何获得更强的计算能力？路径1:提高处理器和其他操作组件的运行速度缺点：受限于光速、热力学定律和处理器制造所需的大量资金。路径2:连接多个处理器或协处理器，并使用它们的组合计算能力。目前，这是一个技术上可行、成本效益高的解决方案。并行计算机是由一组处理单元组成的，它们通过相互通信和协作，可以

3、以更快的速度共同完成大规模的计算任务。并行计算机的两个最重要的组成部分是计算节点和节点之间的通信和协作机制。并行计算机体系结构的发展主要体现在计算节点性能和节点间通信技术的提高。SMP的全称是对称多处理技术，这意味着一组处理器(多个处理器)被收集在一台计算机上，并且所有的处理器共享内存子系统和总线结构。大规模并行处理(MPP)，一种大规模并行处理系统，由许多松散耦合的处理单元组成。应当注意，这是指处理单元，而不是处理器。每个单元中的中央处理器都有自己的私有资源，如总线、内存、硬盘等。群集是一组计算机，它们作为一个整体为用户提供一组网络资源。这些单个计算机系统是集群的节点。群集中的每台计算机称为

4、一个节点，节点可以增加或减少。计算机在这些节点上虚拟化，供用户使用；从用户的角度来看，无论节点数量多少，总是使用一台计算机。分布式共享内存处理器系统、对称多处理器系统以及并行计算的基本编程模型。OpenMP是为在单个主机上进行多核/多处理器并行计算而设计的工具，OpenMP更适合在单台计算机的共享内存结构上进行并行计算。并行计算是通过线程间共享内存来协调的，这在多核/多处理器结构中具有高效率、低内存开销和简单直观的编程语句，因此很容易通过编译器来编程和实现(最新版本的C、C和Fortran编译器基本上都内置了OpenMP支持)。OpenMP最大的缺点是它只能在一台主机上工作，不能用于多台主机之

5、间的并行计算！要在多主机联网集群环境中使用OpenMP(例如，在超级计算机上)，必须有额外的方法，例如MPI OpenMP混合编程。消息传递接口是消息传递函数库的标准规范，支持Fortran和c语言MPI是一个新的库描述，而不是一种语言。有数百个函数调用接口，可以用Fortran和C语言直接调用。MPI是标准或规范的代表，而不是它的具体实现。MPI是一种消息传递编程模型，已经成为这种编程模型的代表和事实上的标准。MPI、OpenMPI、mpich、mpich2、mvapich2、英特尔MPI、平台MPI、MPI 3360消息传递接口、openmp3360开放多处理、高性能计算集群系统的体系结构

6、组成、总体架构概述、网络浏览器、移动客户端、普通电脑、用户终端、私有云集群资源(A)、共享云资源、工作负载管理、GPU显示资源、门户和资源调度、缓存、中央处理器工作站、存储、私有云集群资源(B、C)、多集群多集群调度转发特定多集群多集群调度将特定负载转发给其他私有云计算资源，数据传输将所需数据提前同步到公共云，并将计算结果返回给私有云存储； 同时，提供数据缓存功能以减少相同数据文件的重复传输。缓存、缓存、缓存、资源连接器根据负载情况执行预定策略，自动应用和扩展云中的计算资源，并自动传输和缓存数据传输数据。远程3D可视化传输技术客户端只有图形交互，没有文件传输。高性能计算集群系统-软件平台、X8

7、6架构服务器、ARM架构服务器、华为云、其他公共云、RHEL、CentOS、SLES、Ubuntu、资源层、系统层、环境层、应用层、集群部署、CUI命令行界面/图形用户界面、集群监控、作业调度、集群管理、集群报告、混合云管理、并行消息传递库MPICH/OpenMP/PVM、数学库英特尔MKL/Goto/Blas、编译器GNU/英特尔编译器、CAE设计仿真ABAQUS LS-DYNA、物理化学VASP高斯、海洋气象学MM5 WRF、石油勘探许可证管理，分布式存储，EDA设计模拟HSPICE Virtuoso Analog，AI Deep Learning TensorFlow Caffe2，Co

8、ntainer Docker/奇点，用户集群环境概述，集群系统，高性能计算集群系统-系统拓扑，高性能计算集群系统-系统环境，为用户提供磁盘空间、计算CPU和应用软件资源。 用户拥有帐户和密码，可以登录高性能计算集群系统；为用户提供存储数据的磁盘空间，包括：输入文件、输出结果、计算中间数据等。数据文件可以通过网页、ftp、ssh等传输。用户可以申请CPU、内存等计算资源，一般通过作业调度系统申请和使用计算资源；向用户提供预先安装的应用程序，包括许可证；用户可以编译和安装自己的应用程序；用户登录模式，ssh登录IP地址，15，SSH端口22采用putty SSH客户端工具，或

9、SecureCRT和Xmanager系列Xshell等客户端工具。执行Linux命令和其他操作。网络登录的IP地址和端口https:/10 . 10 . 114 . 21533609002建议使用支持html5技术标准的firefox或chrome浏览器。、用户通过浏览器登录到WEB界面。建议使用火狐或chrome等网络浏览器工具通过命令行登录集群网络用户界面，提交计算任务和管理计算。提交计算任务的网络图形界面-以fluent求解器为例、提交计算任务的网络图形界面-作业管理、登录集群的用户命令行、命令行界面、用户使用SSH工具登录网络界面，并使用putty SSH客户端或SecureCRT工具

10、登录集群命令行界面。命令行界面修改自己的密码，使用putty SSH Client或SecureCRT等工具，命令行登录到集群命令行界面。根据提示进行更改密码操作。用户user101mgt02 $ passwd更改用户101的密码。(当前)Ldappassword :新密码：重新键入新密码：密码：所有身份验证令牌更新成功。命令行界面提交计算任务-以fluent求解器为例1，准备输入文件和输入数据用户101 gt02 $ CP-r/tmp/testv 19。用户101 gt02 $ lltestv 19/total 1555145-rw-rw-r-1用户101用户101 265 11月18日08

11、:46 Readme -rw-rw-r - 1用户101用户101 448541785 11月18日083:46 Testcore 80 FcC . cas-rw-r-w-r-1用户101用户101 11439262.象棋作业提交脚本命令行提交的计算任务示例，统一放置在/share/jobscripts/目录中，用户可以复制、引用和修改。user 101 mt 02 $ CD testv 19/user 101 mt 02 testv 19 $ CP/share/job scripts/fluent 19 . chess。用户101 gt02 testv 19 $ cat fluent 19

12、. chess #/bin/bash # BSUB-J fluent 19 # BSUB-q normal # BSUB-n 320 # BSUB-o出局。%J.txt #BSUB -e错误。% j . txt # BSUB-R span ptile=80 # # BSUB-x INPUT _ FILE=Testcore 80 FcC . Jou # INPUT _ FILE=CAV . Jou export ANSA _ SRV=2325 gt02，2325 gt01 FLUENT _ RUN _ CMD=/share/apps/ANSYS _ Inc/v 195/FLUENT/bin/FLUENT $ FLUENT _ RUN _ CMD-g 3ddp-LSF-MPI=Intel-PIB . infini path-I $ INPUT _ FILE，命令行界面提交建议使用vi文本编辑器或其他文本编辑器来修改象棋作业提交脚本。修改使用320个计算内核，每个节点最多80个内核# bsub-n320 # bsub-r spantile=80。修改后的输入文件是test core 80 FCC . Jou _ file=test core 80 FCC .