高性能计算机和开源软件.ppt

高性能计算机和开源软件 霍志刚高性能计算机研究中心中国科学院计算技术研究所2009年1月13日 内容提纲 讲演目的曙光系列高性能计算机简介高性能计算与开源软件 1990 03建立 863计划306主题 智能计算机主题1990年建立国家智能计算机研究开发中心 李国杰院士1990年首任智能中心主任 曙光一号 1990 05准备四个大组建立总体方案确立1992 03攻坚人生能有几回搏 洋五七干校 1993 11应用应用试算推广援外产业化1994年3月曙光一号并行计算机作为代表性科技成就被李鹏总理写入政府工作报告 中国第一台对称式共享存储多处理机获得电子部 93 电子十大科技成果 奖中国科学院科技进步特等奖国家科技进步二等奖自主研发中断控制器中国第一个细粒度并行UNIX操作系统 人生能有几回搏洋插队 曙光1000 1992春 开始准备曙光1000 东方一号 的研究工作1993夏 Wormwhole芯片挫折1994初 龙山会议1995 05 顺利通过鉴定 开创我国采用大规模并行体系结构构造超级计算机的技术路线达到国内当时最高运算速度获得中国科学院科技进步特等奖国家科技进步一等奖自主研发消息传递编程环境WRC2008是中国第一个Wormhole互连芯片 管理规范 设计规范 工艺规范龙山会议 1995年6月曙光公司 曙光2000 第一台出口的高性能计算机 陆续出口到喀麦隆 埃及 尼日利亚 巴基斯坦 伊朗等 获得中国科学院科技进步一等奖国家科技进步二等奖 全面进军机群系统 Whycluster 性能 价格 Regionofdiminishingreturns Cost effectiveprocessors 处理器性价比曲线 Fromhttp www cs utk edu dongarra lyon2000 Talk02 Chuck Seitz ppt 曙光3000 获得国家科技进步二等奖2001年 中国十大科技新闻 五年来科技的 十大瞬间 曙光4000 获得2004年6月TOP500中排名第10位2003年 中国十大科技新闻 中国科学院科杰出科技成就奖国家科技进步二等奖 体系结构 采用星群结构 处理器 采用低功耗AMDCPU 总CPU核数超过30000个 系统规模 1920个节点 节点为四路四核SMP 内存 大于122TB存储 采用500TBFC盘列 50GB sI O性能 峰值速度 浮点运算能力达到233 5TF Linpack值 180 6TFlops Linpack效率 77 35 互连网络 系统通过Infiniband 千兆以太网互连 通信性能 单向单链路持续带宽 2GB s 消息延迟1 6us2008年11月TOP500的TOP10 前十中唯一的一个非美国生产和应用的计算机 前十中有7台用于美国国家安全应用 曙光5000A 系统指标 曙光5000A配置简表 曙光5000A现场照片 IB交换机 ISR2012后视图 ISR2012逻辑拓扑 IB网互连 A1 F8 曙光5000A的刀片 曙光5000A的CPU Opteron8347HE原生四核共享2MBL3TDP 68W High Efficiency ACP 55W大页面支持 特点 高密度 具有自主知识产权的4路4核高密度刀片主板 和世界上第一款7U的10片4路4核64位CPU的工业标准刀片服务器 刀片服务器采用全内置的ConnectXDDRIB二层交换模块 全内置的管理Ethernet网交换模块 单机箱40CPU 160核的超高计算密度并实现了单节点内部的并行计算 特点 高效能 四路刀片和八路胖节点设计 大幅度提升并行应用的并行效率 单CPU核可直接寻址64GB 刀片 128GB 胖节点 内存 满足大内存应用的需求 基于ConnectX的DDRInfiniband互联 胖树无阻塞设计 MPI实测延迟1 6us 高效并行文件系统提供50GB s的IO访问带宽 特点 高效冷却 采用了机柜水冷系统 既降低对主机机房的要求 降低了机房噪音 又提高冷却系统的效率 水冷 风冷的设计实现了水电分离 保证了系统的安全性备份的被动散热系统可以在水冷失效的情况下保证系统的正常运行 提高了系统的稳定性 特点 低功耗 采用低功耗AMDBarcelona处理器 比常规CPU节约30 耗电 全系统因此节电超过200KW 采用标准DDR2内存设计 比采用FBD内存节电约60 全系统因此节电超过300KW 全系统刀片设计 比常规机架式节电约10 全系统因此节电约60KW 液冷系统散热技术 比常规空调风冷节约30 的空调耗电 全系统因此节电约60KW 节能软件的利用 采用节能软件和作业调度相结合 系统全年预计可节约20 的耗电 机群面临的挑战 HPC开源软件栈 OpenPBS SLURM 机群管理中间件 典型开源软件项目 Linux操作系统 典型开源软件项目 OFEDMissionofOpenFabricsAlliance OFA todevelop distributeandpromoteaunified transport independent open sourcesoftwarestackforRDMA capablefabricsandnetworks includingInfiniBandandEthernet Thesoftwarestackisdevelopedformanyhardwarearchitecturesandoperatingsystems includingLinuxandWindows OFAalsomanagesinteroperabilitytestingofthesoftwarestackacrossmanyvendorplatformsandproducttypes Fromhttp www openfabrics org 典型开源软件项目 MPICH事实上标准中的事实上标准相关项目MPIforMyrinetExpress MX MVAPICH2forInfiniBandMPIforBG LandBG PMPIforSiCortexMPIforCrayMicrosoftMPIIntelMPIHP MPI Fromh