并行计算机与并行计算

1、并行计算机与并行计算第1页，共41页，2022年，5月20日，7点42分，星期三情况介绍分子反应动力学国家重点实验室交叉分子束动力学课题组理论与计算化学国际合作中心研究员2人，其中一位为中国科学院院士，高级访问学者1人，博士后研究人员6人，博士研究生18人，硕士研究生4人与多个国际学术团队有很好的合作，与纽约大学化学系张增辉教授合作建立理论与计算化学国际合作研究中心第2页，共41页，2022年，5月20日，7点42分，星期三主要研究工作实验方面： 交叉分子束对光解，碰撞反应，立体化学动力学的研究 激光诱导荧光方法对光解，立体化学动力学的研究 飞秒激光对超快动力学过程的研究理论方面： 准经典轨线

2、方法对反应动态学的研究 量子力学方法对反应动态学的研究 复杂体系势能面的构造，拟和 量子化学及其他方法对分子结构，物质特性，化学反应过程的研究1997-2001年，发表文章84篇，其中英文66篇第3页，共41页，2022年，5月20日，7点42分，星期三HPC Server第4页，共41页，2022年，5月20日，7点42分，星期三并行计算机与并行计算为什么要建造并行计算机并行计算机的类型什么是并行计算，并行进程的特性及并行模型的分类工作站集群(COW)的基本结构中国科学院十五计划中关于并行计算部分第5页，共41页，2022年，5月20日，7点42分，星期三为什么要建造并行计算机第6页，共41

3、页，2022年，5月20日，7点42分，星期三什么是超级计算环境超级计算（Supercomputing），从技术的意义上说，是为了在问题的求解上具有更快的速度、更高的精度、更大的规模、更好的性能价格比而采用的非主流计算的设施和方式。 第7页，共41页，2022年，5月20日，7点42分，星期三计算速度的要求问题: 科学和工程问题的数值模拟与仿真计算密集数据密集网络密集三种混合要求:在合理的时限内完成计算任务秒级制造业分钟级短时天气预报(当天)小时级中期天气预报(310日)尽可能快长期天气预报(气候)可计算湍流模拟第8页，共41页，2022年，5月20日，7点42分，星期三问题的规模第9页，共4

4、1页，2022年，5月20日，7点42分，星期三计算机的规模:TOP10 (2001年7月)第10页，共41页，2022年，5月20日，7点42分，星期三IBM Builds Worlds FastestSupercomputer to Simulate Nuclear Testing for U.S. Energy Department第11页，共41页，2022年，5月20日，7点42分，星期三以动物的食物链为例第12页，共41页，2022年，5月20日，7点42分，星期三第13页，共41页，2022年，5月20日，7点42分，星期三打破高性能计算的壁垒210021002100210021

5、002100210021002100单处理器共享存储局域并行机群广域并行机群GFLOPS第14页，共41页，2022年，5月20日，7点42分，星期三并行计算机分类第15页，共41页，2022年，5月20日，7点42分，星期三Flynn分类法SISD（单指令流单数据流）系统SIMD（单指令流多数据流）系统MISD（多指令流单数据流）系统MIMD（多指令流多数据流）系统五种物理机模型: 实际的机器体系结构 PVP (Parallel Vector Processor, 并行向量机) SMP (Symmetric Multiprocessor, 对称多处理机) MPP (Massively Par

6、allel Processor, 大规模并行处理机) COW (Cluster of Workstation, 工作站机群) DSM (Distributed Shared Memory, 分布共享存储多处理机)第16页，共41页，2022年，5月20日，7点42分，星期三几种我们常见的并行计算机CPUCPUCPU总线或交叉开关SM(a) SMP, 物理上单一地址空间CPUCPUCPU定制网络LMLMLM虚拟分布共享存储(DSM) (b) DSM, 逻辑上单一地址空间P/CP/CP/C定制/标准网络LMLMLM(c) Cluster/COW, 物理/逻辑上多地址空间SMPMPPMPPWANLM

7、DSMSM(d) Grid (Cluster of Clusters)第17页，共41页，2022年，5月20日，7点42分，星期三什么是并行计算，并行进程的表述及并行模型的分类第18页，共41页，2022年，5月20日，7点42分，星期三什么是并行计算进程 1 发送信息进程 2 接收信息传统的串行计算，分为“指令”和“数据”两个部分，并在程序执行时“独立地申请和占有”内存空间，且所有计算均局限于该内存空间。 并行计算将进程相对独立的分配于不同的节点上，由各自独立的操作系统调度，享有独立的CPU和内存资源（内存可以共享）；进程间相互信息交换通过消息传递； 进程 1 进程 2 第19页，共41页

8、，2022年，5月20日，7点42分，星期三并行算法的表述在并行算法的表述中，所有描述串行算法的语句及进程均可调用，而只是为了表达并行性而引入几条所谓的并行语句当几个算法步要并行执行时， 我们可以写作 Do step i to j in parallelstep istep i+1step j或者是： 当几个处理器同时执行相同的操作时，我们可以写作for all i parallel do.end for第20页，共41页，2022年，5月20日，7点42分，星期三例如 n=2*k个数的求和输入： n=2*k个数存入数组A中输出：S=sigma(A(i)begin (1) for i=1 to

9、 4 parallel doB(i)A(i) end for (2) for h=1 to logn=2 dofor i=1 to n/2*h=1 parallel doB(i)B(2i-1) + B(2i)end for end for (3) SB(i)end把每一个A(i)赋给B(i)n=4,k=2,就是4个数的加和h= 1 to 2h=1 I=1 to 2 (4/2*1) B(1)B(1)+B(2) B(2)B(3)+B(4)h=2 I=1 to 1 (4/2*2)B(1)B(1)+B(2)SB(1)若有2*2=4个处理器，则在1(h)级可能的并行运算数目为4/2*1=2.则运算任务分

10、摊给前两个处理器第21页，共41页，2022年，5月20日，7点42分，星期三硬件结构抽象模型(自然模型) 共享存储的模型和语言(适于PVP, SMP, DSM)X3H5, PthreadOpenMP消息传递的模型和语言(适于MPP, Cluster, COW)MPI (Fortran, C, Gamess, Vasp)PVM (Fortran, C)数据并行的模型和语言(适于在MPP/Cluster上实现SPMD应用)Fortran 90HPF(High Performance Fortran) 并行模型的分类第22页，共41页，2022年，5月20日，7点42分，星期三基于程序构造的模型C

11、SPLinda （Fortran, C, Gaussian）Global (Molpro，Columbus)基于问题描述的模型GAMMAUNITY基于并行计算理论的模型PRAMBSPLogP第23页，共41页，2022年，5月20日，7点42分，星期三Yale 大学Nicholas Carriero 和David Gelernter 于1986年基于分散数据结构和共享存储系统的并行计算模型. Linda模型定义了一个功能强大的逻辑存储器(TS)和在其上的一组核心操作(in, out, read, eval), 它们能够方便地嵌入到不同的语言(如, C, Fortran)中而构成相应的并行语言(

12、C-Linda和Fortran-Linda等) 该模型同时还支持动态程序设计和两种不同的编程风格(Master/Slaver和Divide-and-Conquer),为用户开发不同类型 的应用程序提供了灵活的手段.Linda模型第24页，共41页，2022年，5月20日，7点42分，星期三（进程从TS中提取任务或数据进行计算, 并将结果或生成的新任务放入TS中. 并行执行的进程之间通过TS进行间接的通信和同步. TS是一个可被多个进程共享的、能同时存放数据和任务的数据箱）TS共享数据箱进程 2进程 4进程 3进程 1第25页，共41页，2022年，5月20日，7点42分，星期三Linda模型的

13、应用Linda in GaussianHF: SP Opt FreqMP2: Sp Opt FreqDFT: SP Opt Freq 可以将串行代码改编为并行代码支持C和Fortran语言第26页，共41页，2022年，5月20日，7点42分，星期三 MPI已经成为一种标准，应用越来越广泛。而最流行的MPI工具集当属mpich/mpi/mpich，是目前高效率的超大规模并行计算（1000个处理器）最可信赖的平台。在当前所有的消息传递软件中, 最重要最流行的是MPI, 它能运行在所有的并行平台上, 包括SMP和PVP. 二者已经在Windows NT 和Windows 95这样的非Unix平台上

14、实现. 程序设计语言支持C, Fortran和Java.在国产的三大并行机系列神威、银河和曙光上都实现了对MPI和支持.MPI(Message Passing Interface)MPI模型目标: 是提供一个实际可用的、可移植的、高效的和灵活的消息传递接口标准. MPI以语言独立的形式来定义这个接口库, 并提供了与C、Fortran和Java语言的绑定. 这个定义不包含任何专用于某个特别的制造商、操作系统或硬件的特性. 由于这个原因, MPI在并行计算界被广泛地接受.第27页，共41页，2022年，5月20日，7点42分，星期三MPI并行程序设计平台由标准消息传递函数及相关辅助函数构成，多个进

15、程通过调用这些函数（类似调用子程序），进行通信； 一个程序同时启动多份，形成多个独立的进程， 在不同的处理机上运行，拥有独立的内存空间， 进程间通信通过调用MPI函数来实现；每个进程 开始执行时，将获得一个唯一的序号（rank）。 例如启动P个进程，序号依次为0，1，P-1；MPI并行进程的实现第28页，共41页，2022年，5月20日，7点42分，星期三消息传递是相对于进程间通信方式而言的，与具体并行机存储模式无关，任何支持进程间通信的并行机，均可支持消息传递并行程序设计；几乎有共享和分布存储并行计算环境均支持进程间的消息传递通信；进程0发送一个整数给进程1；进程1将该数加1，传递给进程2；

16、进程2再将该数加1，再传递给进程3；依次类推，最后，进程N-1将该数传递给进程0，由进程1负责广播该数给所有进程，并打印输出。 进程 1传递信息进程 3传递信息进程 2传递信息进程 0传递信息第29页，共41页，2022年，5月20日，7点42分，星期三在商品化的并行机上, MPI的环境一般是由系统管理人员事先设置好的，用户不需要变动它.而在用户自已配置的NOW(工作站机群)上运行MPI程序则需要设置以下配置文件：(1)由于加载程序到结点上运行需要调用了Unix系统的rsh命令，所以需要在每个结点上设置 .rhosts文件，以使rsh能正确执行；(2) 由于NOW环境的异构性，需要在启动时指定

17、运行结点的体系结构；若未指定，是指使用与启动并行程序的结点具有相同体系结构的结点.在启动并行程序的机器里，具有相同体系结构的几台机器的名字存放在一个名为$MPICH/util/machines/machines.的文件中，一台机器的名字占有文件的一行，其中$MPICH是一个环境变量，指明MPICH软件安装后所在的目录.并行程序加载运行时是按照文件中机器名字的先后顺序依次加载的.商业机中的MPI第30页，共41页，2022年，5月20日，7点42分，星期三程序用以下并行C编译器mpcc来编译:执行下列命令将可执行程序myprog加载到n个节点上: mpcc myprog.c o myprogmp

18、irun myprog np n MPI进程是重型的单线进程. 它们拥有不同的地址空间. 因此, 一个进程不能直接访问另一个进程地址空间中的变量. 进程间的通信用消息传递来实现. MPI的编译与运行第31页，共41页，2022年，5月20日，7点42分，星期三工作站集群(COW)的基本结构第32页，共41页，2022年，5月20日，7点42分，星期三 COW简介工作站机群（Cluster of Workstation）是将一群工作站用某种结构的网络互联起来，充分利用各工作站的资源，统一调度、协调处理，以实现高效并行计算。通信原语库以及并行程序设计环境工具: MPI、PVM、linda互联网络：

19、 LAN（Myricom Myrinet/Gigabite/Ethernet ）节点： 高档微机，对称多处理机SMP操作系统： Unix、Linux、NT、改进和修改的操作系统通信协议： TCP/IP、特定的协议第33页，共41页，2022年，5月20日，7点42分，星期三 基本实现原理1 网络文件系统NFS(Unix、Linux) 、网络驱动器(Windows)，MFS(Mosix kernel).2 网络信息服务NIS (Unix、Linux) 、NIS+(Solaris)、域（NT）3 并行开发环境及编译器MPI、PVM ，Linda, HPF, GNU GCC/G77 4 数学库 Fr

20、ee Scalapack.5 通信软件 Free Myricom GM6 作业管理 GNU Open PBS7 系统管理 GNU SCMS8 监控管理 GNU OSCAR9 负载均衡 Mosix第34页，共41页，2022年，5月20日，7点42分，星期三软件配置：操作系统：每一个节点都装有多用户，多任务的RH 7.2 linux(2.4.19)网络文件系统：NFS，MFS网络信息系统：NIS编译器：GNU C, GNU Fortran 77, Absoft F95 F90 F77, PGI F90 F77 C C+并行开发环境：LINDA, MPI负载均衡：Mosix数据并行语言高性能编译器

21、和运行库：HF77, PGI HPF，Free Scalapack计算软件：Parallelized Gaussian 98 A.9 (with Linda support), Gamess, Molpro,各种自编程序和交流程序 HPC Server第35页，共41页，2022年，5月20日，7点42分，星期三中国科学院十五计划中关于并行计算部分第36页，共41页，2022年，5月20日，7点42分，星期三中国科学院网络信息中心高性能计算研究室现有计算设备：Power Challenge XL 并行对称多处理系统 日立SR2201超级计算并行机系统曙光2000-II超级服务器详细配置可以查询：第37页，共