并行计算 (2)ppt课件

1、并行计算、集群与网格技术在虚拟天文台中应用探讨天津大学IBM中心 于策2004-121;.2内容大纲n并行计算技术n集群及相关技术n网格计算3如何满足不断增长的计算力需求？n用速度更快的硬件，也就是减少每一条指令所需时间n优化算法（或者优化编译）n用多个处理机用多个处理机(器器)同时解决一个问题同时解决一个问题q并行计算并行计算4串行计算与并行计算5并行的层次n程序级并行n子程序级并行n语句级并行n操作级并行n微操作级并行并行粒度粗细6共享内存与分布式内存P=处理器M=内存S=网络交换设备PMPPMPMS7局部共享内存SPMPPMPNodeNode8实现并行计算的常见方法n1、多线程程序n2、

2、基于OpenMP的并行程序n3、基于消息传递的并行程序qPVMqMPI9XPVM10XPVM11并行计算环境简介nPVP（Parallel Vector Processor）q使用专用向量处理器q银河I，CrayT90，NEC的地球模拟器。nSMP（Symmetric Multiprocessor）q同一主板上多个处理器可以等同访问共享存储器、I/O设备和操作系统服务qIBM RS6000。nClusterq由很多连接在一起的独立计算机组成，像一个单独的集成的计算机一样协同工作q集群的节点可以是SMP（或者PVP）qCluster1350，蓝色基因。12在虚拟天文台中的应用情形n处理实时性要求

3、很高的大量观测数据n观测数据的并行可视化处理n并行数据挖掘n并行数据服务提供n。13集群技术n集群概念最早由IBM于20世纪60年代提出n集群一般由高速网络连接起来的高性能工作站或PC机组成。集群在工作中像一个统一的整合资源，所有节点使用单一界面。14集群 Not a Cluster Cluster15集群计算系统体系结构16集群相关技术n网络层q网络互联结构、通信协议、信号技术等。 n节点机及操作系统层q高性能PC或工作站、分层或基于微内核的操作系统等。 n集群系统管理层q资源管理、资源调度、负载平衡、并行I/O、安全等。 n应用层q并行程序开发环境、串行应用、并行应用等。17Cluster

4、1350nCluster1350是IBM公司目标定位于高性能计算市场的Linux集群，包括一套完整的解决方案，集成了众多IBM与非IBM的先进的软硬件技术，有其特有的技术优势与强大的服务支持。18Cluster1350逻辑结构19Cluster1350节点硬件、网络和操作系统(天津大学IBM中心）n管理节点qIBM eServer xSeries 345 (1)n计算节点qIBM eServer xSeries 335 (16)n网络q千兆以太网n操作系统qRed Hat Linux 7.320CSM（Cluster System Management）nCSM是IBM公司开发，专门用于集群系

5、统管理的中间件，在Cluster1350解决方案集成。qCSM的设计思想与体系结构来自PSSP (IBM Parallel System Support Programs for AIX)与其它一些开源的集群管理软件。还有一些中间件及技术，虽然不直接为用户服务，但构成了CSM的不可或缺的基础，包括RMC、SRC、RSCT等。21CSM22Cluster1350系统管理n整个集群由单一结点控制q所有结点的n开机、关机、状态查询n显示远程控制台n安装操作系统n升级(安装)各结点系统及应用软件n。q一个完整的集群只需一套外置输入/输出设备(键盘、鼠标、显示器)23Linux 集群上可用的任务调度系统

6、nMosix（Multicomputer Operating System for UnIX ）q可以自动完成节点间进程迁移q需要重新编译Linux内核q对用户来说是透明的nPBS（Portable Batch System）q由NASA的Ames研究中心开发 q为了达到集群系统整体上的负载平衡，对各个节点上的任务进行调度，但不进行节点间任务迁移q不需要重新编译内核24集群上的应用程序（计算）开发n适于开发基于消息传递的并行应用程序q可以使用PVM/MPIn步骤：q配置并行计算的编译与运行环境n主要是rsh/sshq设计、编写、编译程序n使用PVM/MPI提供的程序库及编译环境q部署应用程序n

7、ftp、rcp、scp、CSM、NFS、GPFS等方式q运行程序25配置高可用集群n最大程度地减少服务中断，而不是容错。qHearbeatqLVS（Linux Virtual Sever）qIBM 的 Tivoli 和 WebSphere 系列软件q26Heartbeat 集群27LVS集群28集群在虚拟天文台中的角色n高性能计算q构成虚拟天文台网格环境中强有力的计算资源n高可用服务q在网格环境中提供稳定、可靠的数据、计算、调度等服务29网格计算 “Resource sharing & coordinated problem solving in dynamic, multi-inst

8、itutional virtual organizations”30On Demand31理想的网格32理想的网格Storage ElementComputingElementWorker NodeUser InterfaceReplica Catalog+Replica ManagerResource Broker+Information IndexCertification AuthorityUser InterfaceTESTBED SITE 1TESTBED SITE 2Job Status:Front EndCertificate ServerTESTBED SITE 3Storag

9、e ElementComputingElementWorker NodeUser InterfaceReplica Catalog+Replica ManagerResource Broker+Information IndexCertification AuthorityUser InterfaceTESTBED SITE 1TESTBED SITE 2Job Status:Front EndCertificate ServerTESTBED SITE 3Storage ElementComputingElementWorker NodeUser InterfaceReplica Catal

10、og+Replica ManagerResource Broker+Information IndexCertification AuthorityUser InterfaceTESTBED SITE 1TESTBED SITE 2Job Status:Front EndCertificate ServerTESTBED SITE 3Storage ElementComputingElementWorker NodeUser InterfaceReplica Catalog+Replica ManagerResource Broker+Information IndexCertificatio

11、n AuthorityUser InterfaceTESTBED SITE 1TESTBED SITE 2Job Status:Front EndCertificate ServerTESTBED SITE 3Storage ElementComputingElementWorker NodeUser InterfaceReplica Catalog+Replica ManagerResource Broker+Information IndexCertification AuthorityUser InterfaceTESTBED SITE 1TESTBED SITE 2Job Status:Front EndCertificate ServerTESTBED SITE 338网格计算环境示例GridWANClusterGridSMPGridSMPGridClusterUI/APIGridLANGridSMP