超级计算机前世今生.ppt

超级计算机的前世今生,陈付龙 安徽师范大学数学计算机科学学院,高性能计算,处于信息技术前沿的超级计算机一直是一个国家的重要战略资源,对国家安全、经济和社会发展具有举足轻重的意义.超级计算(SUPERCOMPUTING ) 、高性能计算( High Performance Computing, HPC )的话题在近两年来是一年比一年热,不仅是因为国内市场上曙光、联想、浪潮等企业加大了投入和市场宣传,使广大用户能有更多机会去了解这些深不可测的庞然大物;而从全球的发展趋势中,高性能计算机系统(或超级计算系统)角逐激烈,从万亿次(Teraflops)到十万亿次,甚至到千万亿次(peraflops),计算性能峰值的增长越来越快. 在传统的气象分析,石油勘探、核实验模拟、蛋白质折叠等超级计算应用之外,我们还看到与我们生活息息相关的高性能计算应用,包括汽车制造设计,电影动画模拟,药物研究及国家网格构建.可毫不夸张地说,我们每一个人都在享受着高性能计算的直接或间接的服务,什么是超级计算机（Supercomputer）,指计算能力（尤其是计算速度）为世界顶尖的电子计算机。它的体系设计和运作机制都与人们日常使用的个人电脑有很大区别。现有的超级计算机运算速度大都可以达到每秒一兆（万亿，非百万）次以上。“超级计算”（super computing）这名词第一次出现是在媒体“纽约世界报”于1929年关于IBM为哥伦比亚大学建造大型报表机（tabulator）的报导。,什么是“超级计算机”？在计算机科学技术百科辞典中做了如下简短的解释： “具有非常高的运算速度，有非常快而容量又非常大的主存储器和辅助存储器，并充分使用并行结构软件的计算机，也常称为超级计算机。” 如果再通俗一点讲，“超级计算机”是计算机中功能最强、运算速度最快、存储容量最大的一类计算机。 超级计算机通常是指由数百数千甚至更多的处理器（机）组成的、能计算普通PC机和服务器不能完成的大型复杂课题的计算机。 它是世界各国国家科技发展水平和综合国力的重要标志。,超级计算机的玩家,1960年代，超级计算机由希穆尔克雷在Control Data Corporation里设计出来并领先市场直到1970年代克雷创立自己的公司克雷研究。凭着他的新设计，他控制了整个超级计算机市场，并占据颠峰位置长达五年（1985-1990）。到了1980年代，正值小型电脑市场萌芽阶段，大量小型对手加入竞争。在1990年代中叶，很多对手受不了市场的冲击而消声匿迹。今天，超级计算机成了一种由像IBM及惠普等大型电脑公司所特意设计的电脑。虽然这些公司通过不断并购其他公司而增强了自己的经验，但除他们以外的元老公司克雷研究依然是超级计算机领域的巨头。,克雷-2（Cray 2）1985年至1989年时全球最快电脑,历史,“超级计算机”一词并无明确定义，其含义随计算机业界的发展而发生变化。早期的控制数据公司机器可达十倍速于竞争对手，但仍然是比较原始的标量处理器。 到了1970年代，大部分超级计算机就已经是矢量处理器了，很多是新进者自行开发的廉价处理器来攻占市场。 1980年代初期，业界开始转向大规模并行运算系统，这时的超级计算机由成千上万的普通处理器所组成。 1980年代中叶，将适量的矢量处理器（一般由8个到16个不等）联合起来进行并行计算成为通用的方法。 1990年代以后到21世纪初，超级计算机则主要由基于精简指令集（RISC）的处理器（譬如PowerPC或PA-RISC以及Alpha）互联进行并行计算而实行。,曾经的第一,ENIAC UNIVAC Blue Gene ,AtanasoffBerry Computer (ABC)（1942年）,阿塔纳索夫-贝瑞计算机（Atanasoff-Berry Computer，简称ABC） 世界上第一台电子计算机，为爱荷华州立大学的约翰文森特阿坦那索夫（John Vincent Atanasoff）和他的研究生克利福特贝瑞（Clifford Berry）在1937年至1941年间开发。 30 OPS,TRE Heath Robinson （1942年）,200 OPS 英国帕雷屈里庄园,Flowers Colossus （1944年）,花巨人 5 kOPS Post Office Research Station, Dollis Hill, England,UPenn ENIAC （1946年）,100 Kops 阿伯丁射击场, 马里兰, 美国,ENIAC,冯诺依曼,IBM NORC （1954年）,IBM海军军用品研究计算器 (NORC) 67 kOPS 美国维珍妮亚州海军试验基地,MIT TX-0 （1956年）,83 kOPS 美国麻省理工大学,IBM AN/FSQ-7 （1958年）,IBM AN/FSQ-7电脑美国IBM公司为半自动地面防空系统研制的一种第一代专用电脑，它使用了58,000支电子管，耗电1,500千瓦。 400KOPS 美国空军23号基地,UNIVAC LARC （1960年）,UNIVersal Automatic Computer Livermore Advanced Research Computer 250 kFLOPS 劳伦斯Livermore国家实验室, 加利福尼亚, 美国,IBM 7030 “舒展” （1961年）,1.2 MFLOPS 洛斯阿拉莫斯国家实验室, 新墨西哥, 美国,CDC 6600/CDC 7600/CDC STAR-100 （1964/1969/1974年）,3 MFLOPS /36 MFLOPS/100 MFLOPS 劳伦斯Livermore国家实验室, 加利福尼亚, 美国,Burroughs ILLIAC IV（1975年）,150 MFLOPS 美国航空航天局Ames研究中心, 加利福尼亚, 美国,Cray-1（1976年）,250 MFLOPS 洛斯阿拉莫斯国家实验室, 新墨西哥, 美国,CDC Cyber 205（1981年）,400 MFLOPS 40 systems worldwide,Cray X-MP/4（1983年）,941 MFLOPS 洛斯阿拉莫斯国家实验室; 劳伦斯Livermore国家实验室; Battelle; 波音,M-13（1984年）,2.4 GFLOPS 复合计算机科学研究学院， 莫斯科, 苏联,Cray-2/8 （1985年）,3.9 GFLOPS 劳伦斯Livermore国家实验室, 加利福尼亚, 美国,ETA10- G/8（1989年）,10.3 GFLOPS 佛罗里达州立大学, 佛罗里达, 美国,NEC SX-3/44R（1990年）,23.2 GFLOPS NEC 府中厂，府中, 日本,想法的机器 CM-5/1024（1993年）,65.5 GFLOPS 洛斯阿拉莫斯国家实验室; 国家安全代办处，美国,富士通 数字风洞（1993年）,124.50 GFLOPS 全国航空航天实验室, 东京, 日本,英特尔 模范 XP/S 140（1993年）,143.40 GFLOPS Sandia国家实验室, 新墨西哥, 美国,富士通 数字风洞（1994年）,170.40 GFLOPS 全国航空航天实验室, 东京, 日本,日立 SR2201/1024（1996年）,220.4 GFLOPS 东京大学 , 日本,日立/筑波 CP-PACS/2048（1996年）,368.2 GFLOPS 计算物理中心， 筑波大学 , 筑波, 日本,英特尔 ASCI红色/9152/9632（1997/1999年）,1.338 TFLOPS/2.3796 TFLOPS Sandia国家实验室, 新墨西哥, 美国,IBM ASCI White（2000年）,白色“提高战略运算能力计划” 速度：7.226 TFLOPS 用途：模拟核试验 位置：美国加州罗兰士利物摩亚国家实验室,NEC地球模拟器（2002年）,35.86 TFLOPS 日本地球模拟器中心,IBM Blue Gene/L（2004-2007年）,70.72 TFLOPS /136.8 TFLOPS/ 280.6 TFLOPS/ 478.2 TFLOPS 美国能源部/IBM/NNSA/LLNL,IBM Roadrunner （2008年）,1.026 PFLOPS / 1.105 PFLOPS 美国新墨西哥州洛斯阿拉莫斯国家实验室,Cray XT5 （2009年）,2.331 PFLOPS 美国橡树岭国家实验室,天河一号 （2010年）,2.507 PFLOPS / 2 .566 PFLOPS 中国天津国家超级计算中心,K Computer（2011年）,8.162 PFLOPS 日本富士通,2005.4.5,40,超级计算机的发展历程回顾 “巨型机之父”西蒙.克雷,从真正意义上来说，研制出符合超级计算机定义产品的人应是西蒙.克雷（S.Cray)博士,此人后来被西方称为”巨型机之父”.1963年,他研制出世界上第一台巨型机CDC6600,该共安装了35万个晶体管,运算速度为1MFLOPS. 在这以后,巨型机走过了五代,即单芯片系统、向量处理系统、大规模并行处理(MPP)体系、共享内存结构和机群系统(CLUSTER). 超级计算机的日渐火爆也吸引了软件巨头微软. 最近微软件表示他也要涉足HPC领域,已独立成立了“高性能计算”部门,并计划针对HPC开发一款”Windows Server HPC Edition”的新版本操作系统.,2005.4.5,超级计算机的五代,超级计算机通常是指由数百数千甚至更多的处理器（机）组成的、能计算普通PC机和服务器不能完成的大型复杂课题的计算机。 为了帮助大家更好的理解超级计算机的运算速度我们把普通计算机的运算速度比做成人的走路速度，那么超级计算机就达到了火箭的速度。在这样的运算速度前提下，人们可以通过数值模拟来预测和解释以前无法实验的自然现象。,超级计算机的相关基本理论及描述,新一代的超级计算机采用涡轮式设计，每个刀片就是一个服务器，能实现协同工作，并可根据应用需要随时增减。单个机柜的运算能力可达460.8千亿次/秒，理论上协作式高性能超级计算机的浮点运算速度为100万亿次/秒，实际高性能运算速度测试的效率高达84.35%，是名列世界最高效率的超级计算机之一。通过先进的架构和设计，它实现了存储和运算的分开，确保用户数据、资料在软件系统更新或CPU升级时不受任何影响，保障了存储信息的安全，真正实现了保持长时、高效、可靠的运算并易于升级和维护的优势。,2005.4.5,冯.诺依曼体系超级计算机架构图,P,M,PPP PPP PPP,M,P,P,P,P,M,P,P,P,P,System Area Network,M,M,M,M,单处理器架构,向量处理器架构,共享内存多处理器架构,分布内存多处理器架构,超级计算机的结构 根据Top500的分类方法, 当前超级计算机的体系结构有以下几种。 1)对称多处理(SMP) 对称式多处理器(SMP)：Symmetric Multi-Processor的缩写。是指在一个计算机上汇集了一组处理器(多CPU)。各处理器完全相同, 平等地访问软硬件资源, 处理器间通过总线或者交叉开关相连, 共享存储器, 但有各自独立的Cache。SMP的优势在于其透明的编程模式, 串行程序一般可不加修改直接运行于SMP之上。缺点是由于对公共内存和I/O的竞争, 加上维护Cache一致性的开销, 导致扩展能力有限。,2)大规模并行处理(MPP) MPP指在同一地点由大量处理器构成的并行计算机, 一般以通用64位微处理器作为处理节点, 多为分布存储方式, 节点间通信用消息传递方式, 其规模可扩展到数千节点。MPP系统的优点是峰值速度高, 并有良好的可扩展性。主要缺点是消息传递能力与节点运算能力难以匹配。 3)机群(Cluster) Cluster是用高速互连网络连接起来的一组微机或工作站, 各节点都是独立的(有独立完整的内存和操作系统)计算机。互连常采用商用计算机网络(ATM、FDDI、以太网等), 采用消息传递方式通信。它具有规模可扩展、性价比高等优点, 缺点主要是多操作系统难于管理和维护, 而且通信延迟大。,机群系统包括下列组件：高性能的计算结点机(PC、工作站或SMP)；具有较强网络功能的微内核操作系统；高效的网络/交换机(如千兆位以太网和Myrinet)；网卡；快速传输协议和服务；中间件层；并行程序设计环境与工具。 4)群聚集(Constellations) Constellations指以大型SMP(处理器数目不少于16个)为节点构成的Cluster, 各节点间通过高速专用网络互连, 也称为机群SMP(Cluster-SMP或CSMP)。新近的巨型机多采用这种结构, 如IBM ASCI White系统由512个节点机构成, 每个节点含16个Power3处理器, 节点内共享存储, 节点间由交叉开关互连。,2005.4.5,48,关于机群(CLUSTER)架构,根据TOP500官方网站的资料统计,在荣登榜名的系统中,有320套使用INTEL的处理器,54套使用IBM POWER处理器,48套采用HP PA-RISC, 采用AMD处理器的有31套. 在TOP500中,有296套系统采用了机群系统.占了49.8%.在前10名的系统中,机群系统占了7个. 机群系统采用普通商业芯片和内连技术.,2005.4.5,49,关于机群(CLUSTER)架构,机群架构脱胎于早年的大规模并行处理(MPP, Massive Parallel Processing ).它大受青睐的原因是其经济性和公开性,与MPP不同之处是,它一般采用廉价的普通服务器为运算节点,小规模的系统一般用以太网内连,外加免费公开的操作系统LIUNX和并行编程接口MPI. 使超级计算机的造价告别了天文数字,应用足迹也能涉足千家万户. 但因机群系统大量使用IA服务器,随着节点数的增加,其耗能和散热问题严重,可管性和可用性和可持续运算能力大大降低.按目前技术水平,很难做到一万个节点以上.,2005.4.5,50,超级计算机的应用,目前对于超级计算机需求飞速增长的行业主要是在生物信息学方面.传统行业,如能源(石油,核技术) 、空气动力学、战略武器的研发方面仍有较强的需求. 1.超级计算机在航天飞行器设计中的应用 (1)科学计算:要完成目前风洞试验无法进行的课题.如风洞试验的马赫数比实际飞行的低,就要靠数值方法来补推,还有上百成千个弹道计算也要全靠计算机完成. (2)数据库建设:用于改进设计的定量分析和新飞行器的定量分析,大大缩短飞行器的设计周期,减少风洞试验次数. (3)计算机辅助设计:如波音757飞机,几乎所有的空气动力方面的设计都用计算机. (4)计算机仿真:用计算机模拟实际飞行和对抗.据权威人士介绍,要用计算机代替风洞进行数值模拟,需要具有1000MB的内存容量,10101011次/秒的计算机.,2005.4.5,51,2.在地震勘探中的应用 (1)地震勘探:地球物理勘探是对地下作间接的测量,弄清地质构造,寻找碳氢化合物.在地震勘探中,用可控方法产生弹性波场(可近似看作为声波),传入地下,因地下介质的非均匀性,被散射到地面检波器阵列,记录在磁带上.地面检波器阵列一般有481024个检波器,每个检波器每12毫秒记录一个采样点,每个样点16位,记录时间长度为315秒,因此,每个记录长度达24万7200万字节. (2)地震数据处理:是一个十分复杂的数据转换过程,一般地震数据处理系统均包含200300个应用程序,每个应用程序包含几千行至几万行FORTRAN源语句,计算量很大.,2005.4.5,52,(3)向量处理:地球物理中,许多算法可向量化. (4)并行处理: (5)输入/出:用于地震数据的汇集,处理和存储. 下面几个领域,只有超级计算机才能胜任: 交互地震处理 三维地震处理 迭前三维偏移 弹性波模型,2005.4.5,53,3.在油藏数值模拟中的应用 油藏数值模拟是根据达西定律和物质守恒定律原理把复杂的物理现象抽象成数学问题,然后求该数学问题的解,以便定量地研究不同岩石和不同油、气流，在不同开采方式下，油、气、水的运动规律。 油藏数值模拟的数学问题是一个偏微分方程组,解偏微分方程组大多用有限差分法进行离散化,然后解非线性的代数方程组,这需内存容量大,运算速度快的计算机.在油藏数值模拟软件中大量使用线性和非线性的插值技术,当这段程序向量化后,处理效率可大大提高.,2005.4.5,54,在油藏数值模拟软件中,另一个问题是解大型稀疏线性方程组,约占整个运算时间的6080%,这部分程序经向量化后,也大大提高了软件的处理效率.,2005.4.5,55,4.在石油勘探中的应用 中国大庆油田有限责任公司每年能开采大约5000万吨原油,是全球领先的石油和天然气生产商之一.2002年大庆在石油和天然气探测方面投入1.8亿美元.公司采用了129台基于英特尔至强(XEON)处理器的双路联想系统.,配置了paradig公司的先进软件.大庆预计与专有超级计算机解决方案相比可节省70%的成本.2002年,在中国黑龙江省发现了拥有300亿立方米的天然气储量.,2005.4.5,56,5.在天气预报中的应用 当代衡量一个国家气象业务发展水平,从设备上主要看两项:巨型计算机和气象卫星. 现代天气预报是在第二次世界大战中发展起来的,最初是天气图的主观预报,从上世纪50年代开始,出现了用计算机制作数值天气预报.现被公认为最好的天气预报