并行计算、集群与网格技术在虚拟天文台中应用探讨

1、并行计算、集群与网格技术在虚拟天文台中应用探讨内容大纲并行计算技术集群及相关技术网格计算如何满足不断增长的计算力需求？用速度更快的硬件，也就是减少每一条指令所需时间优化算法（或者优化编译）用多个处理机(器)同时解决一个问题并行计算串行计算与并行计算并行的层次程序级并行子程序级并行语句级并行操作级并行微操作级并行并行粒度粗细共享内存与分布式内存P=处理器M=内存S=网络交换设备PMPPMPMS局部共享内存SPMPPMPNodeNode实现并行计算的常见方法1、多线程程序2、基于OpenMP的并行程序3、基于消息传递的并行程序PVMMPIXPVMXPVM并行计算环境简介PVP（Parallel V

2、ector Processor）使用专用向量处理器银河I，CrayT90，NEC的地球模拟器。SMP（Symmetric Multiprocessor）同一主板上多个处理器可以等同访问共享存储器、I/O设备和操作系统服务IBM RS6000。Cluster由很多连接在一起的独立计算机组成，像一个单独的集成的计算机一样协同工作集群的节点可以是SMP（或者PVP）Cluster1350，蓝色基因。在虚拟天文台中的应用情形处理实时性要求很高的大量观测数据观测数据的并行可视化处理并行数据挖掘并行数据服务提供。集群技术集群概念最早由IBM于20世纪60年代提出集群一般由高速网络连接起来的高性能工作站或P

3、C机组成。集群在工作中像一个统一的整合资源，所有节点使用单一界面。集群 Not a Cluster Cluster集群计算系统体系结构集群相关技术网络层网络互联结构、通信协议、信号技术等。 节点机及操作系统层高性能PC或工作站、分层或基于微内核的操作系统等。 集群系统管理层资源管理、资源调度、负载平衡、并行I/O、安全等。 应用层并行程序开发环境、串行应用、并行应用等。Cluster1350Cluster1350是IBM公司目标定位于高性能计算市场的Linux集群，包括一套完整的解决方案，集成了众多IBM与非IBM的先进的软硬件技术，有其特有的技术优势与强大的服务支持。/developerWo

4、rks/cn/linux/cluster/l-ibm1350/index.shtmlCluster1350逻辑结构Cluster1350节点硬件、网络和操作系统(天津大学IBM中心）管理节点IBM eServer xSeries 345 (1)计算节点IBM eServer xSeries 335 (16)网络千兆以太网操作系统Red Hat Linux 7.3CSM（Cluster System Management）CSM是IBM公司开发，专门用于集群系统管理的中间件，在Cluster1350解决方案集成。CSM的设计思想与体系结构来自PSSP (IBM Parallel System S

5、upport Programs for AIX)与其它一些开源的集群管理软件。还有一些中间件及技术，虽然不直接为用户服务，但构成了CSM的不可或缺的基础，包括RMC、SRC、RSCT等。CSMCluster1350系统管理整个集群由单一结点控制所有结点的开机、关机、状态查询显示远程控制台安装操作系统升级(安装)各结点系统及应用软件。一个完整的集群只需一套外置输入/输出设备(键盘、鼠标、显示器)Linux 集群上可用的任务调度系统Mosix（Multicomputer Operating System for UnIX ）可以自动完成节点间进程迁移需要重新编译Linux内核对用户来说是透明的PB

6、S（Portable Batch System）由NASA的Ames研究中心开发 为了达到集群系统整体上的负载平衡，对各个节点上的任务进行调度，但不进行节点间任务迁移不需要重新编译内核集群上的应用程序（计算）开发适于开发基于消息传递的并行应用程序可以使用PVM/MPI步骤：配置并行计算的编译与运行环境主要是rsh/ssh设计、编写、编译程序使用PVM/MPI提供的程序库及编译环境部署应用程序ftp、rcp、scp、CSM、NFS、GPFS等方式运行程序配置高可用集群最大程度地减少服务中断，而不是容错。HearbeatLVS（Linux Virtual Sever）IBM 的 Tivoli 和

7、WebSphere 系列软件Heartbeat 集群LVS集群集群在虚拟天文台中的角色高性能计算构成虚拟天文台网格环境中强有力的计算资源高可用服务在网格环境中提供稳定、可靠的数据、计算、调度等服务网格计算 “Resource sharing & coordinated problem solving in dynamic, multi-institutional virtual organizations”On Demand理想的网格理想的网格The picture above describes a DataGrid testbed with three sites and a Certif

8、ication Authority. For space reasons we do not show all the machines of each site.The user requests a certificate to the Certificate Authority web front-end.The certificate is produced and signed by the Certificate Server.The user gets the certificate.Now that the user has his/her certificate instal

9、led on his/her User Interface, he/she can submit his/her job requests.After creating a proxy process with temporary credentials (“grid-proxy-init” command), the user submits his/her job request to the Resource Broker.SubmittedThe Resource Broker queries the Replica Catalog and Information Index to f

10、ind suitable resources (storage space, data and computing power).WaitingThe Resource Broker selects the resources.ReadyThe Resource Broker submits the job to the selected Computing Element(s).ScheduledThe Computing Element delivers the job to its Worker Node(s), which will do the real work.DoneOutput ReadyThe output is moved to the Resource BrokerThe user gets his/her outputCleared网格计算环境示例GridWANClusterGridSMPGridSMPGridClusterUI/APIGridLANGridSMPGridSMPGridSM