并行计算、集群与网格技术在虚拟天文台中应用探讨.ppt

并行计算 集群与网格技术在虚拟天文台中应用探讨 内容大纲 并行计算技术集群及相关技术网格计算 如何满足不断增长的计算力需求 用速度更快的硬件 也就是减少每一条指令所需时间优化算法 或者优化编译 用多个处理机 器 同时解决一个问题并行计算 串行计算与并行计算 并行的层次 程序级并行子程序级并行语句级并行操作级并行微操作级并行 并行粒度 粗 细 共享内存与分布式内存 P 处理器M 内存S 网络交换设备 局部共享内存 实现并行计算的常见方法 1 多线程程序2 基于OpenMP的并行程序3 基于消息传递的并行程序PVMMPI XPVM XPVM 并行计算环境简介 PVP ParallelVectorProcessor 使用专用向量处理器银河I CrayT90 NEC的地球模拟器 SMP SymmetricMultiprocessor 同一主板上多个处理器可以等同访问共享存储器 I O设备和操作系统服务IBMRS6000 Cluster由很多连接在一起的独立计算机组成 像一个单独的集成的计算机一样协同工作集群的节点可以是SMP 或者PVP Cluster1350 蓝色基因 在虚拟天文台中的应用情形 处理实时性要求很高的大量观测数据观测数据的并行可视化处理并行数据挖掘并行数据服务提供 集群技术 集群概念最早由IBM于20世纪60年代提出集群一般由高速网络连接起来的高性能工作站或PC机组成 集群在工作中像一个统一的整合资源 所有节点使用单一界面 集群 NotaClusterCluster 集群计算系统体系结构 集群相关技术 网络层网络互联结构 通信协议 信号技术等 节点机及操作系统层高性能PC或工作站 分层或基于微内核的操作系统等 集群系统管理层资源管理 资源调度 负载平衡 并行I O 安全等 应用层并行程序开发环境 串行应用 并行应用等 Cluster1350 Cluster1350是IBM公司目标定位于高性能计算市场的Linux集群 包括一套完整的解决方案 集成了众多IBM与非IBM的先进的软硬件技术 有其特有的技术优势与强大的服务支持 Cluster1350逻辑结构 Cluster1350节点硬件 网络和操作系统 天津大学IBM中心 管理节点IBMeServerxSeries345 1 计算节点IBMeServerxSeries335 16 网络千兆以太网操作系统RedHatLinux7 3 CSM ClusterSystemManagement CSM是IBM公司开发 专门用于集群系统管理的中间件 在Cluster1350解决方案集成 CSM的设计思想与体系结构来自PSSP IBMParallelSystemSupportProgramsforAIX 与其它一些开源的集群管理软件 还有一些中间件及技术 虽然不直接为用户服务 但构成了CSM的不可或缺的基础 包括RMC SRC RSCT等 CSM Cluster1350系统管理 整个集群由单一结点控制所有结点的开机 关机 状态查询显示远程控制台安装操作系统升级 安装 各结点系统及应用软件 一个完整的集群只需一套外置输入 输出设备 键盘 鼠标 显示器 Linux集群上可用的任务调度系统 Mosix MulticomputerOperatingSystemforUnIX 可以自动完成节点间进程迁移需要重新编译Linux内核对用户来说是透明的PBS PortableBatchSystem 由NASA的Ames研究中心开发为了达到集群系统整体上的负载平衡 对各个节点上的任务进行调度 但不进行节点间任务迁移不需要重新编译内核 集群上的应用程序 计算 开发 适于开发基于消息传递的并行应用程序可以使用PVM MPI步骤 配置并行计算的编译与运行环境主要是rsh ssh设计 编写 编译程序使用PVM MPI提供的程序库及编译环境部署应用程序ftp rcp scp CSM NFS GPFS等方式运行程序 配置高可用集群 最大程度地减少服务中断 而不是容错 HearbeatLVS LinuxVirtualSever IBM的Tivoli和WebSphere系列软件 Heartbeat集群 LVS集群 集群在虚拟天文台中的角色 高性能计算构成虚拟天文台网格环境中强有力的计算资源高可用服务在网格环境中提供稳定 可靠的数据 计算 调度等服务 网格计算 Resourcesharing coordinatedproblemsolvingindynamic multi institutionalvirtualorganizations OnDemand 理想的网格 理想的网格 ThepictureabovedescribesaDataGridtestbedwiththreesitesandaCertificationAuthority Forspacereasonswedonotshowallthemachinesofeachsite TheuserrequestsacertificatetotheCertificateAuthoritywebfront end ThecertificateisproducedandsignedbytheCertificateServer Theusergetsthecertificate Nowthattheuserhashis hercertificateinstalledonhis herUserInterface he shecansubmithis herjobrequests Aftercreatingaproxyprocesswithtemporarycredentials grid proxy init command theusersubmitshis herjobrequesttotheResourceBroker Submitted TheResourceBrokerqueriestheReplicaCatalogandInformationIndextofindsuitableresources storagespace dataandcomputingpower Waiting TheResourceBrokerselectstheresources Ready TheResourceBrokersubmitsthejobtotheselectedComputingElement s Scheduled TheComputingElementdeliversthejobtoitsWorkerNode s whichwilldotherealwork Done OutputReady TheoutputismovedtotheResourceBroker Theusergetshis heroutput Cleared 网格计算环境示例 Grid Cluster Grid SMP Grid SMP Grid Cluster UI API Grid Grid SMP Grid SMP Grid SMP Grid Cluster Cluste