版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、高性能计算综述*摘要:高性能计算简称 HPC(High Performance Computing),是计算机科学的一个分支,特 指当今具有超强计算能力的一类计算机。它致力于开发高性能计算机,主要采用模拟方法, 解算当今超大、超高、超复杂的计算任务,研究并行算法及开发相关软件。高性能计算已被 公认为继理论科学和实验科学之后,人类认识世界改造世界的第三大科学研究方法。本文就 这一领域技术的地位作用、优势、现状与发展、分类、技术难点和研究方向、应用、发展展 望等问题作一概要介绍。关键词:超级计算;高性能计算;高效能计算;大规模并行处理1引言高性能计算(High Performance Comput
2、ing , HPC是计算机科学的1个分支,主要指从 体系结构、并行算法和软件开发等多个方面研究开发高性能计算机的技术。高性能计算本身 并没有确切定义,它是指通过一定途径,获得比当前主流计算机更高性能的计算能力的技术。高性能计算已被公认为继理论科学和实验科学之后,人类认识世界、改造世界的第三大 科学研究方法,是科技创新的重要手段。在当前社会情况下,高性能计算已经成为一个国家 综合实力的体现,对国家战略的发展有着重要影响。目前,高性能计算技术已经广泛应用于 航空航天、汽车制造、核试验模拟、军事情报搜集处理、天气预报等多方面。通过高性能计 算,人们可以完成很多目前计算机无法完成的实验,既可以免除真实
3、实验的巨大费用,乂不 会对环境造成任何的影响。通常来讲,高性能计算有2种表现方式:提升单机的计算能力;通过网络连接多台 计算机,进而提升计算能力。第一种方式多是指提升CPU的处理能力,而随着CPS频的提高受制于制作工艺,CPU的发展方向已经由单核向多核发展。事实证明,很多情况下 CPU过 多的核心反而会降低CPU勺处理能力。近几年出现的GPGP披术已经成为提升单机处理能力 的主要技术。第2种方式是通过整合多台网络计算机而提升计算能力,因此性价比较高,已经逐渐成为主流方式。2高性能计算的地位作用美国在计算机与信息技术领域,一直处世界霸主地位。高性能计算机与高性能计算技术 被认为是美国国家的制高点
4、技术,历届政府都高度重视,重点发展。克林顿总统时代,大力 推进 HPCC( High Performance Computing & Communications )计划,大力研制一代代新机器,建设许多超级计算中心,利用高性能计算机解决许多科技方面的“大挑战问题”,推动 众多科学和技术领域的大发展。HPC涓划还把因特网(Internet )公开民用,推向全球,推 动了信 息化时代的到来。布什总统时代,虽然重点是反恐,但对高性能计算的发展丝毫没有 放松。2005年总统IT顾问委员会的专题咨询报告,再次提出“ HPC®国家核心竞争力,要大 力发展”。奥巴马总统执政以来,经济问题、
5、医改问题一直是当务之急,但也没有放松HPC发展。2011年1月25日总统国情咨文报告中,再提到中国拥有了世界上最快的计算机,美 国决不能松劲。科学技术发展历来依靠“理论、试验”,而今天“计算”已是第三手段,而且是越来越重 要的手段。许多科技领域的发展已离不开“计算”,许多学科已与计算相互复合。HPC在 国家科技、国防、产业、金融、服务、生活等方面都占有不可或缺的重要地位。譬如:核物 理、核能、核动力、核安全技术;空气动力学(航天、航空、航海、高速运载器);大气、海 洋与空间(天气与灾害预报,全球变暖);能源(油气勘探与开采,新能源);生命科学、生 物工程、新药研制;新材料;高新制造(汽车、微电
6、子);信息与社会安全(密码学、监控); 数据中心与服务中心等等。中国自1958年开始自主研制计算机,并用于解决中国国内的各种需求,成绩卓著。 1983 年国防科技大学研制成功中国第一台 HPC机银河亿次计算机 Y4 1 ,使中国成为 继美、日后国际上少数能自主研制 HPC机的国家之一。2010年8月国防科技大学为“国家超 级计算天津中心”研制成功的天河机 T已1A,其计算速度在当年11月国际TOP50C#名中, 列世界第一,为国家赢得荣誉,为中国HPCg展与应用作出了新贡献。全球HPC机的研制,美国占绝对优势,全球最快 500台计算机中,美国研制的占3/4 以上。其次是日本和中国,欧洲研制的极
7、少。但世界各国都高度重视HPC能力的建设与应 用,2011年6月底世界最高性能,500台计算机的装备使用情况如下:美国:256台,世界绝对第一;中国:62台,世界第二;欧洲:125台,其中,德国30台,英国27台,法国25台;业洲:103台,其中除中国62台外,日本26台,其他国家拥有很少。2011 年6月底世界最快的10台机器(运算速度均达每秒1000万亿次以上),美国拥有5 台,中国和日本各2台,法国1台。高性能计算机的发展水平已经成为衡量一个国家高新科技水平和综合实力的重要标志。 高性能计算机可以对所研究的对象进行数值模拟和动态显示,从而获得实验很难甚至无法得 到的结果。它相对于理论科学
8、和实验科学,有其独特的优越性。首先,高性能计算既免除了 真实实验的昂贵代价,而且不会对环境产生任何影响,即所谓无损伤研究。第二,高性能计 算可以实现全过程全时空的研究,获取研究对象发展变化的全部信息。第三,高性能计算可 以低成本地反复进行,获得各种条件下全面系统的数据。事实证明,有了高性能计算不再需要进行核试验,有了高性能计算可以预测海啸和地震的危害,有了高性能计算可以通晓人类大脑的奥秘和生命的密码。在我国为满足国民经济发 展的需要,高性能计算的需求正在迅速增长。无论是国家安全、石油气象等主要领域,还是 以生物医药、微观结构研究为代表的新一代科技,都高度依赖高性能计算。它们的发展很大 程度上取
9、决于高性能计算的发展。尤其是基础科学领域,对计算的需求永无止境,而且越高 性能的计算机越能产生高精度高时效的成果。3高性能计算的优势3.1计算科学应用是高性能计算技术发展的源动力计算科学的兴起是20世纪后半叶最重要的科技进步之一,大大丰富了当今世界的科学 研究活动。高性能计算作为计算的高端,代表计算机发展的方向和应用的前沿,更加得到关 注和重视。有关高性能计算的突破和发展都被视为科技的重大进步,随着技术的下移,对相 关产业的发展有广泛的带动作用。回顾历史,任何时候研制的最高性能的计算机总是服务于 当时的科学计算需求,主要研究领域包括新型材料、药物设计、气候模拟、核武器模拟、电 磁学、工业产品、
10、海量数据处理、国防和安全等,或者称是以科学计算为最初应用的靶子进 行设计的,如日本地球模拟器系统与 旧M蓝色基因系统两个项目。而高性能计算机技术逐步 向商用领域转移与转化,计算性能及与其相匹配的存储容量、互连网络带宽等指标成为高性 能计算机设计者追求的持续关键指标。我国早期的高性能计算机依赖于进口,极大地限制了应用,这也激发了我国自主研发高 性能计算机的决心。随着自主研制的高性能计算机“神威”、“银河”、“曙光”等的发展,美国和日本对我国的限制也一步一步放宽,大型计算机的价格也在下跌。各种因素的综合促 进了高性能计算的应用。近几年随着我国在高性能计算技术和应用方面的大力支持,我国各 个领域的计
11、算应用开始利用高性能计算工具,高校纷纷开设并行计算相关课程。随着社会信 息化步伐的加快,高性能计算应用将快速发展。3.2高性能计算机研制推动应用的发展经过近半个世纪的发展,高性能计算机从最初的向量计算机,历经对称多处理机(SMP)、大规模并行处理机(MPP), 一直发展到机群系统(cluster )和星群系统(constellation ),实现了飞速发展。万亿(Tflops)、白万亿乃至千万亿(Pflops)次的高性能计算机将逐渐进入 人们的视野。近两年,关于研制千万亿次高性能计算机的讨论日渐火热。美日两国更是在千万亿次高 性能计算机的研制上进行了激烈的竞争,相继推出千万亿次机器的研制计划。
12、例如日本Riken 高性能计算中心和NECt对生化领域的MDGRAPE-颔计在2008年安装在美国能源部橡树岭 国家实验室的Cray Baker和IBM的蓝色基因P P计划等。目前预计千万亿次系统将在 2009 2011年间集中涌现在我国,千万亿次高性能计算机的研制也提上了议事日程。根据十一五高 性能计算机研发计划,我国将在2008年完成2台白万亿次高性能计算机系统的研发, 并适时 推出千万亿次高性能计算机。高性能计算机性能的提高必将推动应用的发展。在美国,高性能计算主要用于核武器研 究、国家防御、国家安全、能源与环境、生物科学、地球科学、材料科学、天文学、药物设 计、物理化学、电子器件及金融
13、领域。日本的高性能计算主要为重大的科学探索和研究服务, 如地球模拟器主要用于大气与海洋模拟、固体地球模拟、多尺度模拟等。欧盟国家投资高性 能计算主要鼓励生命科学、信息技术、纳米技术、天文和空间科学、食品质量和安全、可持 续发展等项目。我国高性能计算以经济发展为目的,涉及气象数值模拟与预报、地震预报、 生物信息、药物设计、环境科学、空间科学、材料科学、计算物理、计算化学、流体力学、 地震三维成像、油藏数值模拟、天体星系模拟、金融、制造等众多领域。3.3高性能计算应用促进科技创新和社会进步随着研究的深入和竞争的加剧,各领域越来越多地使用高性能计算技术来解决科研和生 产中的实际问题。高性能计算应用的
14、发展不但促进了科技创新,也促进了社会的进步。高性 能计算应用发展水平逐渐成为衡量一个国家综合国力和国际竞争力的重要指标。国外的高性能计算应用已经具有相当的规模,在各个领域都有比较成熟的应用实例。在 物理、化学、生物等科学研究领域已广泛利用高性能计算手段,在其它领域也广泛被应用。 例如在政府部门大量使用高性能计算机,能有效地提高政府对国民经、社会发展的宏观监控 和引导能力,包括打击走私、增强税收、进行金融监控和风险预警、环境和资源的监控和分 析等等。例如在能源领域,世界上石油公司通过高性能计算机处理石油勘探数据,为能源的 发现提供了支撑。在工业产品设计领域,例如美国通用机械(GM河通用电气(GE
15、)等跨国集团用网络将全球各地设计中心的服务器和贵重设备连接成一个整体,以便于工程师和客户共同 设计产品,设计时间可缩短100倍。对很多大型企业来说,采购成本是总成本的重要组成部 分,例如福特等集团用高性能计算机构造了一个网上集市,通过网络连到它的3万多个供货商。这种网上采购不仅能降低价格,减少采购费用,还能缩短采购时间。此外,制造、后勤 运输、市场调查等领域也都是高性能计算机大显身手的领域。随着“网络计算”和“后PC时代”的到来,全世界将有数十亿的客户端设备,它们需要连到数白万台高性能服务器上。高 性能计算机将越来越得到产业界的认同,成为重要的设计、生产和管理工具。高性能计算应用在高性能计算技
16、术的支持下为我国的科技创新作出了巨大贡献,并且和 高性能计算技术在相辅相成中不断发展。近年来,我国对大规模科学计算和高性能计算都给 予了极大的重视和投入。国家 973计划和863计划均有对高性能计算方面的大量投入,而且 包括计算机界的许多学者认识到应用的重要性,特别是高性能计算的应用,给予了高度的关 注。在传统的高性能计算应用领域如国防安全,核爆模拟,石油勘探数据处理,天气预报, 洋流研究等有更大的发展。在新的应用领域,如生物信息,基因,纳米材料,微电子,工业 产品设计和制造等方面也有很快的发展。在信息处理领域,政府、金融、流通领域纷纷用高性能计算资源处理海量数据。高性能计算的应用得到各方面的
17、关注和重视。高性能计算相对于理论科学和实验科学,有其独特的优越性。首先,高性能计算既免除 了真实实验的昂贵代价,而且不会对环境产生任何影响,即所谓无损伤研究。第二 ,高性能 计算可以实现全过程全时空的研究,获取研究对象发展变化的全部信息。第三,高性能计算可以低成本地反复进行,获得各种条件下全面系统的数据。事实证明,有了高性能计算不再 需要进行核试验,有了高性能计算可以预测海啸和地震的危害,有了高性能计算可以通晓人 类大脑的奥秘和生命的密码。3.4网格是高性能计算应用发展的新趋势21世纪网络化是高性能计算应用最重要的趋势,网格(grid)已经成为高性能计算的一个 新研究热点。用美国网格计算领导人
18、Foster的话来说,网格是构筑在互联网上的一组新兴技 术,它将高速互联网、高性能计算机、大型数据库、传感器、远程设备等融为一体,为科技 人员和普通白姓提供更多的资源、功能和交互性,让人们透明地使用计算、存储等其他资源。在网格方面美国大大领先于其他国家,美国当前对于网格研究的支持可与其70年代对Internet 研究的支持相比,10年后可望普及到国民经济和社会发展的各个领域。TeraGrid是由美国国家科学基金会发起,由 9个超算中心和国家实验室针对科学研究中出现的资源共 享、合作研究等问题提出的。T eraGrid利用高性能网络,将分布在全国的高性能计算机、 高端科学仪器、数据资源连接在一起
19、,具有超过102Tflops的计算能力和15PB的存储能力。其他国际上比较知名的网格还有欧盟的 EGEE英国的e -Science 和环太平洋网格应用与中 问件联盟PRAGMA。我国对网格技术的研究也给与大力支持,十五、八六三计划的高性能计算专项和软件专 项等重大科研项目都与网格技术有关。 中国国家网格(China National Grid, CNGrid)就是“八 六三计划”高性能计算机及其核心软件,重大专项支持建立的网格示范平台。CNGrid 一期项目有8个计算结点遍布全国六大城市,总计算能力达到16Tflops,存储能力达到200TB,已经支持科学研究、资源环境、制造业和服务业的11个
20、行业应用,包括资源环境网格、航空制造网格、气象网格、科学数据网格、新药研发网格、森林资源与林业生态工程网格、生物信 息网格、教育网格、城市交通信息服务网格、仿真应用网格和国家地质调查网格。3.5发展公共超级计算中心具有战略意义超级计算中心是一个现代发达国家不可缺少的信息基础设施。从全球来看,超级计算中 心在主要工业化国家和第三世界的部分大国都有部署,都得到政府的大力支持,超级计算中 心由政府为主投资进行设备更新和运营支持是全球的普遍模式。我国目前为数不多的超级计 算中心由特定的部门建设和应用,有部分的开放,但很难被外界使用。国家科技部和教育部 也曾经投资建设了一些高性能计算中心,但缺乏长期持续
21、的支持和发展。近年来有地方政府 建立超级计算中心,但缺乏国家级的高性能计算中心,缺乏长远的规划和目标。从我国的国情出发,设立少数公共超级计算中心不仅能满足我国高性能计算的强烈需求, 同时能使有限的资源得到最有效的利用。众所周知,高性能计算机的发展速度快,初始投资 和日常维护都需要大量的资金,如果机器在生命周期内不能最大效益的发挥作用,必然形成 资源浪费。一个部门和机构很难建立大规模的计算中心,但峰值的需求乂不能得到满足。超 级计算中心有大量的用户,各用户之间对资源的峰值需求有交错性,从而使超级计算机保持 稳定的高利用率。超级计算中心的初始投资和运营维护费用分摊到所有用户上,能大量节约 社会投资
22、,提高政府资金的效率。客户能够使用的高性能资源超出了自身能够建设的范围, 但成本却大大降低。所以超级计算中心在美国乂被称作“ Cycle Shop”。超级计算中心在高性能计算产业链中扮演着独特的承上启下的重要作用。超级计算中心 直接面对高性能计算终端用户,深刻理解用户的需求、各类应用特点,其经验对于高性能计 算软硬件厂商非常重要,对高性能计算用户的培养和教育对于扩大高性能计算市场极其重要。 同时目前绝大多数的超级计算中心的非盈利特性,使得其没有把运行重点放在直接经济利益 回报上,从而能够代表政府去做与产业集合紧密、合作各方多赢的事情。这都有利于一个健 康、良好、多赢的高性能计算市场的形成和发展
23、。超级计算中心要自觉地、主动地在学术和 市场问广泛合作,游刃有余,申接起不同的价值链,让更多的人力资源、资金、技术、商誉 更快地流动和转移。超级计算中心是各学科知识聚集融合的场地,远远有别于一个单纯在计算机科学方面开 展研究的IT研究机构,对于推动高性能计算应用的深度和广度至关重要。通过各类基础科学、工程科学的各类科学家和专业技术人员与计算机专家、计算科学专家的互动,能积累丰富的 经验、知识和成果。同时,超级计算中心在多学科交融的过程中,可以有更多的机会、更创 新的模式为国家知识创新、科技创新提供更有效的支撑。4现状与发展4.1高性能计算的现状与发展高性能计算与传统计算相比较,其最大特点是速度
24、快、计算结果精确。而对高性能计算 的研究也正围绕着这样一个特点,主要从两个方面进行研究:致力于开发尖端高性能计算 机。利用现在迅猛发展的网格技术,实现高性能计算。自1946年第一台计算机ENIACft宾夕法尼业大学问世以来,在这短短的50年左右的时间里, ”冯、诺依曼”体系的高性能计算机的迅猛发展,并且日益走向成熟大体来讲,高性能体系结构主要包括:"Cra式"的向量超级计算机集群、可扩展的单处 理器和多处理器集群。目前集群系统也正从大规模并行计算机和运行专用软件的集群向运行 标准软件的专用集群和由商用硬件和软件自制而成的Beowulf系统集群系统转变。网格计算是网络技术发展
25、的新阶段。 我们采用网格技术可以将Internet或者某个局域网 中的所有这些闲置的软件或者硬件资源都联系起来形成一个潜在的资源池,产生了强大的计 算能力。当用户需要进行大规模计算时,他可以使用这个资源池里的资源进行计算,这时就 像家里的用电不需要考虑我们所使用的电源是由哪个发电厂生产的一样,不需要考虑所使用 的具体资源所在的位置。这样的话,不管是何时何地,我们的计算机资源都能得到合理的应 用,而且能够得到一个理想的计算效果。在未来的高性能计算的发展中,尖端的高性能计算机是网格计算中的重要计算资源,而 网格技术也为未来取得一个高性能计算的能力提供了一个优良的环境。4.2中国高性能计算的现状与发
26、展由于我国在高性能计算技术上起步比较晚,工业水平及相应的经济发展程度低,再加上 美国等西方国家一直把高性能计算技术作为重要的战略资源,长期以来对我国的实行全面的 封锁和禁运,一直以来我国的高性能计算技术远远地落后于世界先进水平。20世纪90年代以来,随着“神威”、“银河”、“曙光”、“深腾”等一批知名产品的出现, 我国成为继美国、日本之后的第三个具备高性能计算机系统研制能力的国家,被誉为世界未 来高性能计算市场的“第三股力量”。我国在高性能计算机研制方面取得了较好的成绩,掌握 了研制高性能计算机的一些关键技术,参与研制的单位也由科研院发展到企业界,有力地推 动了高性能计算的发展。目前,我国的高
27、性能计算环境已得到重大改善,总计算能力与发达 国家的差距逐步缩小。我国的高性能计算技术拓宽了我国科学技术研究的深度和广度,提高了我国工业的生产效率,同时也节约了很多生产成本。我国的高性能计算技术目前主要在石 油行业、天气预报、核能模拟、生物工程等领域得到了广泛的应用。但是中国高性能计算的应用还不够广、不够深入,应用水平和应用效率都比较低下。我 国对高性能计算应用的投入还远远不够,应用研发力量薄弱且分散,缺乏跨学科的综合型人 才,从事高端应用软件研发的单位很少,企业界基本未介入,没有良好的相互交流的组织渠 道等。高性能应用软件的开发和高效并行算法研究尚不能与高端计算机发展同步,在一定程 度上存在
28、为计算机“配”软件的思想。我国高性能计算应用的研究与发明明显滞后于高性能 计算机的发展。国外品牌还占领着很多关乎国计民生的关键领域和行业,国产高性能服务器 的市场份额仍然偏低。4.3高性能计算的发展阶段自1946年ENIA诞生以来,人们就没停止对高性能计算的追求,总体经过以下几个阶段:4.3.1 PVP20世纪70年代出现的向量机可以看作是第一代的高性能计算机,以 Cray Research公 司开发的Cray系歹0计算机为代表。当时的并行向量机 (Parallel VectorProcessing , PVP) 通过增加处理器个数、扩展存储器的方式不断提升计算能力,占领高性能计算市场达20年
29、之久。其架构如图1所示,不过随着并行向量机处理器数目的增加,使得定制费用和维护费用 越来越昂贵,性价比越来越低,已难以满足高性能计算机市场化的要求。这个类型的计算机 以 CDC公司的 CDC860(» CDC STAR- 10必代表。4.3.2 SMP随着大规模集成电路的出现,微处理器应运而生.随着微处理器性能的不断提高,对称 多处理(Symmetric Multi-Processing , SMP计算机取代了 PVP,直接导致并行向量机退出 了高性能计算市场。这种技术在IL-LIAC IV时代就开始尝试应用了,其架构如图2所示:但是SM毗算机可扩展的处理器数目有限,加之对I /O和
30、存储器操作的不便都限制了其 发展。4.3.3 MPP20世纪90年代初,大规模并行处理(MassivelyParallel Processing , MPP成为HPCg展的方向,并以ILLIAC IV和Cray I为代表,MPPg构下多个节点间通过网络进行连接,微 处理器之间通过消息传递进行通讯。如图 3所示,MPP系统使用专门的网络和操作系统,而 与此同时,随着个人PC的发展,集群出现了。图3栾枸4.3.4集群集群是价格低廉并且方便的高性能计算方法,通过本地网络连接多台计算机来共同完成 工作,集群中的计算机处丁平等地位,通过相互协作完成计算。集群以较低的成本获得计算 能力大幅度的提升,使高性
31、能计算趋丁平民化。集群结构如图 4所示,集群获得了计算能力 成倍的提高,与之相伴的就是并行与分布式计算技术。并行计算(Parallel Computing,或并行处理、平行计算)一般是指许多指令得以同时进行的计算模式。分布式计算(DistributedComputing)是一种把需要进行大量计算的工程数据分成小块,由多台计算机分别计算,上传运算结果后,将结果统一合并得出数据结论的计算 模式。目前实现并行与分布式计算最常见的技术是 PVhffi MPI。MPI已经成为并行计算的标准。国4 集街的架枸集群的扩展毕竟是有限的,丁是人们想将互联网上尽可能多的闲置计算机资源纳入到集 群中来,这样就产生了
32、网格计算技术,网格计算是分布式计算的1种。4.3.5 网格网格(Grid)这个词源丁电力网格(Power Grid)。“网格”与“电力网格”形神相似。 方面,计算机网纵横交错,很像电力网络;另一方面,电力网格用高压线路把分散在各地的 发电站连接在一起,向用户提供源源不断的电力,用户只需插上插头、打开开关就能用电, 不需要知道电能是从哪个电站送来的,也不需要知道它是水电、火电还是核电。建设网格的 目的也是一样,其最终目的是希望它能够把分布在因特网上数以亿计的计算机、存储器、贵 重设备、数据库等整合起来,形成一个虚拟的、空前强大的超级计算机,以满足不断增长的 计算、存储需求,并使信息世界成为一个有
33、机的整体。网格的架构如图5所示:国与 网格的桀的网格本质上是计算机集群,但是与集群有所不同。集群只是将多台计算机通过网络连接 在一起,通过软件分工合作,来共同完成任务,然后将结果反馈集中。对用户来讲,面对的 好像不是多台计算机的集群,而是 1台计算机。集群要提升计算能力,只能通过增加服务器 1种途径。而对丁 1个集群来讲,能增加的服务器数量显然是有限的,这也就限制了集群计 算能力的进一步提升,而且随着服务器数量的增加,集群的性价比也会不断地下降。而对丁 网格来说,它面对的是整个因特网上的计算机,理论上具有无限扩展的可能,可以虚拟出空 前强大的计算机。另外,集群在执行任务时要求集群中的每台计算机
34、都是同构的,而网格则 不需要。网格可以动态地获取限制资源并加以利用,也可以在任务完成后马上释放资源,合 理使用负载,而这一点集群是做不到的。4.3.6 云计算随着高性能计算技术的进一步发展,出现了 “云计算”技术,云计算的核心思想是将大量用网络连接的计算资源虚拟化后进行统一管理和调度,构成1个计算资源池向用户按需提供服务。提供资源的网络被称为“云”,“云”中的资源在使用者看来是可以无限扩展的, 并且可以随时获取,按需使用,按使用付费。云计算网络的架构如图6所示:网格计算和云计算看起来比较相似,都是将网络上的资源形成1个资源池,然后按需分配给使用者,很多人甚至将云计算叫做“网格2.0” ,但实际
35、上两者在本质上是有所不同的。一般情况下,网格是针对某种具体的需求而开发出来的,用丁完成特定的任务,因此会 出现各种各样的网格,比如生物网格、地理网格、国家教育网格等等。网格的作用是为了获 得更强大的计算能力,它将1个需要巨大计算量的任务细化成多个相互之间不关联的子任务, 然后通过网格软件从纳入网格中的所有计算机资源中寻找空闲资源,将子任务分发给空闲节 点进行计算。子节点在完成计算后会将结果返回进行汇总,然后再接收下个任务。若子节点 在运算过程中发生崩溃,没能及时返回结果,也不会影响整个项目的进行,其所承担的任务 会被调度系统分配给其他的节点继续完成。从这一方面讲,作业调度是网格的核心价值,而
36、云计算网络是通用的,目前还没有出现以某个具体应用命名的云网络。云计算网络的目的不 再是单纯追求强大的计算能力,而更像是为了按需分配资源。比如某企业在云计算网络中租 用了 1台虚拟服务器,当某些特定时刻,计算量或者网络的访问量激增的时候,云计算网络 会动态地增加该服务器的计算能力和网络带宽,以满足企业的需要。当需求变小的时候,云 计算网络乂会动态地释放部分资源,使资源的调度总是维持在一个比较合理的水平。企业只 需要按照使用情况付费,而不需要像以前那样必须去购买能够满足最大需求的物理设备。云计算作为一种新的高性能计算网络目前仍在发展中,上述几种高性能计算方式的优缺 点总结如表1所示。表1几种高性能
37、计算方式的优缺点名标优点破点超级计算机可提供超强的计算能力价格昂贵,性价比低多核多CPU在一定范围内效果提升明显扩展数量受限制集群计算能力提升明显扩展数星受限制网格计算可无限扩展,按需使川服务为特定功能构建,通用性差云计算可无限扩,赛按需使用服务良好的通用性4.3.7 GPGPU近几年,出现了 GPGPU( General Purpose GPU通用计算图形处理器),即使用GPU!行 通用运算的技术,并由此产生了 CPU + GPU勺高性能计算方式。该方式下 CPU注丁申行计 算,而并行计算部分交由GPU来完成。GPU参与并行运算后,将计算机的运算能力提升了几 倍到几十倍,将PC转变成了高性能
38、计算机。目前的GPl行运算技术有2种,分别为NVIDIA公司的基丁 Geforce8以上显卡的CUDA 技术和AM酷司的基丁 ATI显卡的Stream 技术。而Intel公司也在开发自己的 GPGPUJ术。5高性能计算机的分类依据市场对HPCM的应用需求,HPCM可以分为两大类:(1)服务型(容量型)1)普及计算型:一般的计算中心,面向各种各样用户算题需求,同时为多个用户算题 服务,系统要易得,用得起,一般不特别追求计算高效高速,也不强调一 个用户独霸全系统。2)数据型:各种数据中心、服务中心,面向大量或巨量用户的同时访问,要求 响应快、 服务好。譬如Google搜索服务,全球有600万台服务
39、器构成的HPCK统来支撑服务。3)音视频型:视频制作,大片点播中心,网游支持中心等。譬如,“阿凡达” 3D影片制作, 用了一台每秒运算205万亿次的HPCM,是HP公司生产的总共3.5万核的Cluster机' 这类HPCM大量需求,市场巨大。它要求便宜易得,用得起,其应用特性是同时为众多用户服务,高性能主要表现为巨大的用户量,故可称为“容量型HPCM”,是一群小鸡共同吃一堆谷物的方式。“商用CPW商用互连网络+开源软件”组成的cluster机非常合适。(2) 计算型(能力型)该型HPCM主要应用于大规模的科技工程问题计算求解, 系统可以同时支持多 个用户算 题,但特别强调全系统同时为一
40、个用户题高效便捷求解服务。机器能力表现为如同一头大象, 可扛起千斤重担。这类机器被称为“能力型 HPCM”,是高端HPCB,要求其大规模处理器的 访存快捷、并行协同计算好、相互通信高效、机器能耗合理、系统可靠可维。无疑这类机器需要特殊设计、制作。这类HPC机,市场需求不大,但是是高端需求,是技术制高点。能做这类机器的单位、 公司全球仅少数几家。设计制作这类机器的技术途径大致有:自己设计定制专用CPU商用CP4自己设计定制的专用高效加速处理器,构成异构型机;自己设计定制的高速高效互连网络。6高性能计算的主要技术难点和研究方向架构HPC机至今唯一技术途径是:由CP4本地存储器构成一个结点机,然后把
41、 大量结 点机互连成系统,以大规模并行计算来获得高速、高性能。并行的结点机数或称“核”(core, 可执行计算程序的基础单元)数,现已高达几十万个。HPg算技术发展的难点均由此产生, 规模越大,矛盾越突出,这可能是相伴HPC终身的永恒主题。高性能计算的主要技术难点是:(1) 难用:如何把一个计算问题分解为可并行协同计算的几千、几万、几十万个小问题, 即“大规模的并行算法”,是个巨大的难题;计算对象数据,如何合理放置到几千、几万、几十万个结点上去,使核的计算能方便快速得到和交换数据(结点问数据交换是很低效 的),是相关的乂一大难题,即“数据流的组织”问题;人的思维及传统的程序概念是申行执 行的,
42、如此大规模的并行,程序 怎么编,所编程序如何在结点机架构不同的系统问可移植, 都是很困难的,即“可编程、可移植”问题。(2) 低效:由于上述的难题难以很好解决,实际问题的有限并行度与机器大规模并行的 架构不匹配,高速运算能力与访存取数很慢的不匹配,结点机高性能与结点机之间的极慢的通信传输能力不匹配等等导致HPCM解算实际问题时低效,全系统的计算能力实际能用上的 只有几成,譬如30敬不错了,差的只有5%。当然,对特定问题、针对特定的机器架构, 由高手精心设计程序,也可以获得很高的可用率,这也是HPCM的魅力所在。(3) 高成本:大规模,几白个大机柜,成千上万个结点机,机器价格很高,1千万亿次/秒
43、的HPCM要上亿美元,而巨大的功耗(兆瓦级)及相应的散热冷却,也代价高昂,年电费需上千万兀,有人戏称买得起用不起。如此庞大系统,如此局功耗局热,乂会使系统稳定可靠性大为降低,有的平均只能稳定几小时,系统维护成本也很高。由此10年前就有人提出,高性能计算要向高效能方向努力,highperformance改为(或强调) highproduc -tivity 。高效能就是要解决或缓解上述难题,其含 义是:提高:HPCS统的 实用性能,HPC统的可编程性,HP芸统的可靠、可信性;同时降低:HPCK统的开发与 硬件成本,HPC系统的运行成本(特别是 功耗),HPC系统的维护成本。因此,HPC技术的主 要
44、研究方向是:(1) 高效能并行计算机体系结构:首先是处理器的高效架构,CPUS是高性能的核心动 力,也是高性能的核心基础,单片上众核已是CPU勺主流方向,Intel展示过80核的单片CPU CPU内嵌加速处理器(如GPU也是成功的方向;面向计算领域的专用新型异构众核体系结构, 算法与体系结构紧密结合,可能是有前途的方向。(2)以存储为中心的体系架构:访存速度的提升远落后于CPL#算速度的高速 增长(即 “存储墙”壁垒),如何加速数据流的提供是提高 HPg算效率的核心关键。目前流行的是越来越复杂的多级Cache (缓存),需要有创新思路和精巧的新设计。革命性的举措是以存储为 中心来设计组织系统,
45、让计算部件从目前的主导地位变为从届地位。但这一思想提出多年难 有突破,也许专用机上有希望。(3) 基于光的高可扩展互联网络技术:HPC内大量结点机之间的互联网络是数 据流组织及机问通信的渠道,是HPC效率发挥的关键。机问访问比结点机内部访问慢几个量级,提 高互联网络的性能(带宽、时延)可大为提升 HPC勺效能,是HPC机研制的核心技术。另一 方面,光互连比电互连有许多优势,目前 HPCM机柜之间已普遍采用光互连。下一步是在机 柜内实现光互连,进一步在板内、以至芯片内采用光互连。这方面的研究在广泛深入展开,竞争极为激烈。光传输中一个重大技术壁垒是交换,目前仍借助电。如能突破“全光交换技 术”,将
46、是信息技术中的一次革命性的发展。(4)多层次低功耗控制技术:HPC勺高功耗是其发展的主要障碍之一,是影响成本、节能、系统可靠性的主要因素,降低功耗是一巨大挑战。目前接近10P FLOPS的顶级HPC机功耗达10兆瓦,若无有效技术创新,1EFLOP&即1000PFLOP3的HPC机功耗达1000 MW,是无法接受的。控制、降低功耗要多层次上下功夫,芯片低功耗是基础,是最重要的 举措。需要工艺、体系结构两方面的创新。此外控制硬件分而治之(不工作的部件降功耗, 休闲),软硬件结合控制分而治之(编译给出部件忙闲状态,操作系统管理硬件资源),也是重要技术途径。(5)面向体系结构的编译与优化技术:
47、大规模并行是编译和优化的大难题,几十万、上 白万个核的并行编程与优化是巨大挑战。面向体系结构,算法、体系结构、编译三结合来研 究,可能是一条有效的技术途径。面向新的体系结构,创新新的编程语言、编程平台、编程 和优化工具,以隐藏复杂的体系结构,方便用户使用,提高硬件应用效率,是推广HPC机 应用的重要工作。(6) 系统可靠稳定性:巨大的规模,巨大的功耗,使HPCM可靠性大为降低,以至不可接受。后果是大型算题经常中途夭折,得不到结果,大量浪费机器资源和人力资源。如何把故障部件从系统中隔离出去,进行维修,修好再加入系统,这一全过程中仍保持系统及用 户题计算持续有效运行是巨大挑战。有人已提出“连续故障
48、”(即系统不断出故障,稳定工 作时间很短)的概念,要求此时全系统不崩溃,仍能让联机用户题有效计算下去。7高性能计算的应用在国际高科技竞争日益激烈的今天,高性能计算技术已成为体现一个国家综合实力的一 种标志。最早高性能计算主要面向科学计算、 数值计算等应用,例如:天气预报、航天飞行、 地震资料处理、基因匹配与拼接研究等。在飞机制造方面,为了确保飞行的安全,飞机在飞 行前必须经过大量的试验。传统的飞机设计通过 ”风洞实验”,模拟飞机在空中飞行的环境, 这需要逾亿元的费用,目前我们采用了高性能计算机来模拟仿真”风洞实验”,从而精确计算各种指标。这样不仅使飞机研发周期缩短了,而且研发费用也大幅下降。目
49、前随着信息社会的迅猛发展,越来越多的领域都涉及到处理海量的数据。这些需求迫 使高性能计算已经不只是局限在科学计算、国家高端科技上,在工业和商业领域也不断地体 现其价值。例如:船舶设计、汽车制造、证券指数计算、电力安全评估、建筑工程抗震性评 估、电磁辐射计算等。在大型建筑和桥梁的设计和施工过程中, 设计者必须考虑到许多因素, 诸如材料承受力、天气、温度、共振等方面,而且这些因素之间是互相关联,相互作用的。 我们要保证建筑和桥梁在竣工后能够安全可靠地使用,必须充分分析这些所有因素相互作用 对建筑和桥梁产生的所有影响,在这个分析过程中涉及到大量复杂的计算。采用高性能计算 机辅助设计,在计算机中不仅计
50、算各个因素所产生的影响,而且能够有很明显的视觉效果。 这样不仅大大的提高了效率,减少了研发成本,而且设计出来的建筑、桥梁不但满足各项安 全指标,而且还美观。汽车设计方面,上海超级计算中心把基于大规模并行计算机和并行商业软件的计算资源 提供给用户用于汽车碰撞模拟和汽车外形 CFD模拟,同时和专业工程咨询公司联合为汽车设 计和制造厂家提供汽车设计的工程咨询服务。满足了不同用户、不同层次的需求,对推动中 国汽车自主研发起到了重要作用。例如,目前典型的汽车碰撞计算题目规模在50万到80万有限元单元。用一般的工作站计算,需要 100多小时,而使用“曙光4000A'的32CPU可以 在4小时内完成
51、计算,对缩短汽车研发周期具有重大的作用。航空航天是高性能计算传统的应用领域。飞机的外形布局、构形都需要通过计算和试验 的方式进行筛选、优化、评定和验证。传统的风洞试验非常昂贵,而计算机模拟可以大大减 少试验次数,同时加快研制进程。航空航天设计中采用了大量的计算模拟,这些计算需要大 规模的计算机和商业程序。上海超级计算中心自2003年6月以来为上海飞机设计研究所提供 支线飞机的空气动力学计算,计算规模达到了 600万单元,至今共完成几白个飞行工况的计 算分析,总机时超过了 40万个CPU、时,获得的有效数据量超过 800GB为支线飞机的研制 提供了重大保障。另一方面的应用,飞机大攻角气动特性分析
52、需要更大规模的计算,上海超 级计算中心利用“曙光4000A'对1300万网格的飞机CFD®题进行了计算,这也是目前国内该领域最大规模的计算。物不仅阻碍节点移动,也限制了信号的无线传输,利用现有算法进 行分簇,簇的数目将增多。OC如法通过设置备用节点改善了网络的连通性,并且对最小ID算法进行改进来减少簇的数目,降低簇的更新,从而适应了障碍物环境下的分簇。模拟结果表明OC酣法可以在一定程度上改善网络性能。材料设计是高性能计算的重要应用领域。红外光电技术是世界各国政府共同关注的战略 性高技术,目前国际上对红外光电功能材料的研究已从一般性常规的基本科学问题转向器件 应用中高准确度物理
53、模型的建立与相应的特定物性的科学研究。上海技术物理研究所利用“曙光4000A'主要研究红外光电子器件材料中的缺陷、杂质和沉积的量子特征体系对电子 结构、声子结构和电导等物理性质的影响,计算的理论方法基于当今广泛采用的密度函数理 论和线性响应理论。在长期的研究中得到了很有价值的成果。地质勘探方面,高性能计算主要用于研究地震波在地下各种复杂介质中的传播规律,通 过地球内部结构的研究,进行工业油气勘探和开发。在求解三维波动方程中庞大的计算量成 为实际模拟面临的主要难题,而高性能计算机是使用维波动方程实现地震波传播数值模拟的 重要保障。同济大学地球物理系和上海超级计算中心合作,实现了自行开发的波动方程数值 模拟程序在超级计算机上的并行化,并对国外已完成的案例进行了对比计算,结果优于国外, 同时对大庆油田陆相断陷模型进行了实际计算,获得了重要的地层发现。市政工程方面,目前地震安全性评价仅限于对工程场地的地震动参数进行评价,并且仅 采用一维等效线性模型计算土层的地震反应,没有考虑地面三维形状的影响和土层与结构的 耦合效应。考虑地面三维形状和土层结构耦合效应的特大型工程地震安全性评价的核心是一 个大规模非线性结构动力学正问题,采用普通计算机根本无法完成,必须采用大规模的超级 计算机。上海交
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2026年青海省海南藏族自治州单招职业倾向性考试题库带答案详解(轻巧夺冠)
- 2026年黄河交通学院单招职业技能考试题库含答案详解(考试直接用)
- 2026年长沙民政职业技术学院单招职业技能考试题库附答案详解(突破训练)
- 2026年陕西警官职业学院单招职业适应性测试题库及完整答案详解
- 2026年陕西能源职业技术学院单招职业倾向性测试题库附参考答案详解(突破训练)
- 2026年陕西艺术职业学院单招职业技能考试题库完整参考答案详解
- 2026年青岛工程职业学院单招综合素质考试题库含答案详解(精练)
- 2025年扬州大学公开招聘教学科研和医务人员175 人备考题库(第二批)及答案详解一套
- 2026广东省农业科学院设施农业研究所招聘劳动合同制人员1人考试备考题库及答案解析
- 车位营销方案主题(3篇)
- 种植多肉教学课件
- 语文●全国Ⅰ卷丨2024年普通高等学校招生全国统一考试语文试卷及答案
- (高清版)DG∕TJ 08-2405-2022 水运工程装配式护岸结构技术标准
- 2025智能接地箱技术规范
- 抗癫痫发作药物联合使用中国专家共识2025
- 春天的秘密幼儿园教育
- 人工智能在档案管理中的应用与发展
- 《医学影像检查技术学》课件-足X线摄影
- 部队采购招标资料3篇
- 南京财经大学C语言期末(共六卷)含答案解析
- 2024年度中国协同办公平台行业研究报告
评论
0/150
提交评论