超级计算中心的建设和运营模式讲义

1、超级计算中心的建设和运营模式曙光信息产业(北京)有限公司2009年10月报告人：聂华 建设超算中心成为国家/地区战略任务 超算中心规划和建设方式 云计算中心的运营服务模式探讨 机遇与挑战主题10/22/2021210/22/20213“战略计算”一词首次出现在1995年美国为了确保核库存的性能、安全性、可靠性而实施的“加速战略计算创新（ASCI）计划”。 ASCI共投资10亿美元，主要参与者有Sandia、Los Alamos、Lawrence三个国家实验室和Stanford、Chicago等五所大学，在工业界选择了IBM、Intel、SGI和Cray四个合作伙伴。ASCI计划为DOE提供了5

2、台10-100TFlops的超级计算机，其中包括我们熟悉的Intel ASCI Red、IBM ASC Purple等。20年来，美国最大的超级计算机全部部署于DOE的国家实验室。“超级计算”是美国的“国家战略”过去18个月美国利用超级计算机获得的主要科技突破： 解密蛋白质表面结构的特殊作用，为新药研制提供用力的帮助 理解火焰中气体/热能/化学反应燃烧三者关系，促进清洁能源研究 高温超导材料获得一系列理论突破 上述成果将对生物、制药、新能源、新材料等工业领域产生深远影响，是美国未来竞争力的主要保障美国总统信息咨询委员会报告中国的“两弹一星”、“载人航天”、科技进步、经济腾飞也都离不开“超级计算

3、机”的支撑。超级计算是国家/地区核心竞争力的重要标志10/22/20215主要国家均有由政府投资兴建营运超级计算中心 保障计算资源先进性 保障计算资源使用的合理性 保障技术服务的专业性 韩国超算中心韩国超算中心 3030万亿次万亿次 芬兰超算中心芬兰超算中心 8686万亿次万亿次 美国圣地亚哥超算中心美国圣地亚哥超算中心 4242万亿次万亿次美国国家超算应用中心美国国家超算应用中心 164164万亿次万亿次 西班牙巴塞罗那超算中心西班牙巴塞罗那超算中心 9494万亿次万亿次 美国德州超算中心美国德州超算中心 580580万亿次万亿次 德国尤利希研究中心德国尤利希研究中心 10001000万亿次

4、万亿次 美国新墨西哥超算中心美国新墨西哥超算中心 170170万亿次万亿次 中科院超级计算中心中科院超级计算中心 140 140万亿次万亿次上海超级计算中心上海超级计算中心 200 200万亿次万亿次 日本东京工业大学日本东京工业大学GSICGSIC 170170万亿次万亿次国内外超算中心的建设和发展10/22/20216 “超级计算机”的“中国力量”：曙光、银河、神威 1983年，国防科大研制成功每秒1亿次“银河”巨型机 。 1992年，国防科大研制成功每秒10亿次“银河II”巨型机。 1995年，中科院计算所研制成功每秒25亿次MPP计算机-曙光1000。 1997年，国防科大研制成功“银

5、河III”百亿次巨型机。 1999年，国家并行机工程中心研制成功每秒3840亿次的“神威I”。 2004年，每秒10万亿次“曙光4000A”超级计算机研制成功，列Top500第10位，标志中国继美、日后，进入世界超算领域前列。 2008年，每秒230万亿次“曙光5000A”超级计算机研制成功，再次入围全球TOP500前10名。 2009年，国防科大研制成功每秒1.2千万亿次的“天河一号”，受到国人瞩目。“超级计算机”在中国的发展10/22/20217工业创新科学研究社会与公众服务国家和社会安全超级计算日益成为现代社会运行的基柱10/22/20218工业创新科学研究社会与公众服务国家和社会安全工

6、业创新超级计算日益成为现代社会运行的基柱10/22/20219工业创新科学研究社会与公众服务国家和社会安全科学研究超级计算日益成为现代社会运行的基柱10/22/202110工业创新科学研究国家和社会安全社会与公众服务商业金融超级计算日益成为现代社会运行的基柱10/22/202111工业创新科学研究社会与公众服务国家和社会安全社会与公众服务超级计算日益成为现代社会运行的基柱10/22/202112工业创新科学研究社会学国家和社会安全国家与社会安全超级计算日益成为现代社会运行的基柱10/22/202113计算模拟与传统的理论分析和观察实验是当今进行科研创新的三大支柱计算，创造未来10/22/202

7、114超算中心的建设，因为技术含量高、功能强，能够承载高端的科技应用，聚集高水平的人才，必将提升超算中心所在城市地方科技实力。超级计算中心建设一般规模较大，应用可以辐射周边区域，相邻区域重复建设难度大，所以抢占超算中心建设先机，争夺区域科技发展的引领地位、争取高端产业聚集对建设中心城市至关重要。 高性能的超级计算中心建设，可以吸引聚集需要高性能计算平台的高端应用，提升区域科研水平，增强企业的核心竞争力，进而推动城市地方经济建设。超算中心所完成的关键性高端科研项目提升城市显示度和美誉度。具有高性能的超级计算平台，可以作为吸引、引进高端人才的硬件条件，提升城市的教育、科研水平和质量。高性能的超级计

8、算机作为IT基础设施，可以改善区域投资环境，促进城市招商引资。超算中心建设因何成为城市争夺的热点10/22/202115曙光50005个中科院超算分中心曙光5000A上海超算中心已完成2期、3期曙光6000华南(深圳)超算中心曙光5000A成都超算中心曙光4000A甘肃超算中心已完成1期、2期曙光5000北京市计算中心互联网其他：广州超算中心、沈阳超算中心等建设规划已进行立项论证曙光机在国内超算中心中全面部署 建设超算中心成为国家/地区战略任务 超算中心规划和建设方式 云计算中心的运营服务模式探讨 机遇与挑战主题10/22/20211610/22/202117 第一阶段：前期调研 成立筹备组

9、本地高性能计算需求分析 厂商技术方案及案例调研 第二阶段：可行性研究 编写项目建议书，组织评审 编写可行性研究报告及评审 第三阶段：立项 编写项目建设方案及评审 政府批准立项 第四阶段：土建及选型 设备选型及签订合同 土建招投标及施工（若有） 第五阶段：安装调试 机房基础设施准备 超级计算机软硬件系统集成 技术培训 第六阶段：交付运行 试运行 正式交付超算中心的建设流程10/22/202118面向教育、科研、企业以及政府等单位提供随需应变的计算资源、存储资源和软件资源技术支持服务 并行编程，程序移植 高性能计算相关软件的应用 高性能计算系统环境的使用（作业管理系统、开发环境）高级技术咨询服务和

10、共性技术开发 并行软件、专用软件、共享或商业软件的用户定制开发 提供高级数学建模、算法设计服务 提供虚拟产品设计中以CAE应用（结构分析，流体分析，热分析，电磁场分析，或多场耦合分析）为核心的工程咨询服务 培训服务：系统技术，并行编程，计算方法，软件使用，网格计算等 为高性能计算机硬件厂商、应用软件厂商提供演示体验中心、用户测试等外包服务 为各类欲购置或自行搭建高性能计算平台的用户提供第三方技术咨询 软件传播、交流和共享服务。超算中心的核心业务规划10/22/202119建设超级计算中心绝不等同于购置一台高性能计算机，还需要做多方面的系统、业务建设以确保服务质量和使用效率 土建、基础设施建设、

11、改造 超级计算机系统 软件、应用支持 人员队伍建设 服务运营机制超算中心建设的“复杂性”商业软件资源需求举例10/22/202120序号序号 软件名称软件名称 描述描述 1 FLUENT 通用计算流体力学分析软件 2 LS-DYNA 瞬态响应动力学分析软件 3 PAM-CRASH 瞬态响应动力学分析软件 4ANSYS.Multiphysics 多物理场耦合分析软件 5 NASTRAN 通用有限元分析软件 6 MARC 非线性有限元分析软件 7 FEKO 高频电磁场分析软件 8 STAR-CD 通用计算流体力学分析软件 9 CFX 通用计算流体力学分析软件 10 OPTIMUS 过程集成与优化设

12、计软件 11 HyperWorks 有限元前后处理和优化设计软件序号序号 软件名称软件名称 描述描述 12 ABAQUS 非线性有限元分析软件 13 IDEAS 有限元分析及前后处理软件 14 ICEM-CFD CFD前后处理软件 15 AI*ENVIRONMENT CAE前后处理软件 16 GAMBIT FLUENT配套前处理软件 17 MasterFEM 有限元前后处理软件 18 Medina 有限元前后处理软件 19 Oracle 数据库软件 20 GEFEP-P 汽车碰撞并行仿真软件 21 CADEM-P 汽车覆盖件冲压并行仿真软件10/22/202121序号序号 软件名称软件名称 描

13、述描述 1 QCHEM 量子化学计算软件 2 NWCHEM 量子化学计算软件 3GAUSSIAN 量子化学计算软件 4 MOLPRO 量子化学计算软件 5 GAMESS 量子化学计算软件 6 CPMD 分子动力学从头计算程序 7 ABINIT 电子结构计算程序 8 VASP 分子动力学模拟 9 SIESTA 分子和固体的电子结构计算 10 WIEN2K 固体电子结构计算 11 ESPRESSO 分子动力学模拟序号序号 软件名称软件名称 描述描述 12 SMEAGOL 分子动力学模拟 13 NAMD 分子动力学计算程序 14 EGO 分子动力学程序 15 GROMACS 分子动力学通用软件包 1

14、6 DOCK 分子对接程序 17 BLAST 序列相似性检索程序 18 MM5中尺度数值模式的计算程序 19 GRAPES 全球和区域气象分析预报系统 20 FDS 火灾模拟程序 21 COSMOMC 天体物理计算科学软件资源需求举例10/22/202122建设保障超算中心业务正常运行的服务和运营团队 外派技术和管理人员培训学习，掌握管理与应用的相关技术。 招聘高性能计算领域博、硕士研究生到中心工作，以保证超级计算中心拥有较强的技术实力，可以进行多种业务的开展。超级计算中心财务部公共关系部人力资源部技术支持部研究开发部科学计算部办公室工程计算部人员队伍建设举例10/22/202123政府投资建

15、设和运营 服务于”长三角“地区制造业、高新技术企业以及教育科研等用户 在气象预报、药物设计、生命科学、汽车、新材料、土木工程、物理、化学、航空、航天、船舶等十个应用领域取得了一批重大成果 全程保障ARJ支线飞机全机外形、气动阻力、气动升力的设计 支持大飞机公司完成翼型、机翼、翼身组合体、发动机吊挂等设计任务 支持荣威750、550、奇瑞A3、A01D虚拟设计，A3获CNCAP五星安全大奖 上海外环隧道、崇明过江隧道、过江大桥的安全评估和设计仿真 对蛋白质-蛋白质相互作用准确预测，完成世界影响力的新药设计和研究船舶水动力特性的数值模拟支线飞机空气动力学设计分析船尾组合浆区域压力发布飞行器优化设计

16、汽车碰撞与安全性评估金属催化过程药分子设计地质构造与抗震性能评估以上海超算为例分析典型超算中心运营模式10/22/202124服务于350家机构的2500名科技工作者支持各类国家和地方科研项目支持各类国家和地方科研项目30003000个个孕育孕育10001000篇世界一流水平学术论文篇世界一流水平学术论文保障数百个企业新产品研发和工艺革新保障数百个企业新产品研发和工艺革新催生数十个国家级科技奖项催生数十个国家级科技奖项上海超算中心对区域科技创新的巨大作用10/22/202125超算中心需要成功地运营，创造出效益，得到投资者认可，才能获得进一步发展的机会，以上海超算中心为例：超算中心的分期建设原

17、则10/22/202126传统的超算中心主要作为公共计算平台，旨在提升区域科研能力和企业核心竞争力，通常需要财政补贴以维持正常运营。超算中心的收入来源 计算资源按需服务 高级技术咨询服务 企业赞助超算中心的主要支出 IT设施电力消耗 人员工资等成本 物业管理及其他费用超算中心的运营成本10/22/202127全面采用“绿色计算”方案采用高效能服务器系统采用刀片式服务器采用虚拟化技术采用电源管理技术采用水冷散热技术实际效果电费得到了有效控制管理运营人员没有扩编面临的主要问题和难题基础设施的分期改造带来的混乱服务器淘汰更新过快仍然“吓人”的电费账单仍然依赖政府的财政拨款曙光5000A高度关注运营成

18、本探索适合超算中心应用的新技术和新平台已投入大规模运行的GPGPU机群安装于中科院过程控制研究所业界首款全兼容SSI标准的TC36002009年旧金山IDF大会上正式发布PHPC推动HPC的普及基于龙芯CPU的主板设计PowerConf节能软件10/22/202129政府划拨 2000年一期 3.5 年3000万元 2004年二期 3 年4500万元 2009年三期 3 年9000万元近几年情况2005年年2006年年2007年年2008年年2009年年2010年年总运营费用总运营费用180020002200270050005000财政拨款财政拨款150015001500030003000自筹

19、经费自筹经费300500700270020002000上海超算中心运维资金情况10/22/202130超级计算中心建成时间人员规模设备更新费用来源日常运营费用及来源（美元/每年）美国圣地亚哥超级计算中心1985400联邦机构6000万其中2000万来自NSF；其余主要来自联邦机构、州政府的各个研究项目美国国家超级计算应用中心1986500联邦机构超过2000万美元主要来自NSF，部分来自于州政府（700万）、大学及其他联邦机构芬兰科学计算中心1970140中央政府机构5000万其中65%来自教育部，20%来自合作项目，15%来自其他方面瑞士国家超级计算中心199140联邦机构900万其中850

20、万来自联邦机构；仅有50万来自第三方韩国KISTI超级计算中心1988中央政府机构3000万其中1000万来自韩国政府直接拨款；1000万来自与政府部门、高校的研究项目；另外1000万来自其他项目国际上超级计算中心维资金情况10/22/202131基础设施一次规划，避免分期改造 广泛调研，全面设计，一次投入（总计投入超过7亿）设备分批入场，快速投入运营 一期设备快速入场，在2010年直接服务于深交会 二期、三期设备按业务需要规模入场，追求综合效益最大 化先科学计算，再城市信息服务 以现有的科学计算为先导，快速提供服务，快速出成果 数字城市、电子政务是华南超算中心未来的主要方向注重公共基础设施服

21、务属性，以政府支持为主 强调超算平台对地方科技的强大支撑作用 重点发挥超算平台的公益效应华南(深圳)超算中心的建设方式 建设超算中心成为国家/地区战略任务 超算中心规划和建设方式 云计算中心的运营服务模式探讨 机遇与挑战主题10/22/20213210/22/202133支持方观点：超算中心建设是一种先进的模式 优化、集中IT软硬件资源，本身就是一种节约行为反对方观点：超算中心运营是政府的财政负担 经济不足够发达地区，持续的财政拨款需求的确让政府头疼到底谁错了？ 如果没有超算中心，政府每年分散的IT投资浪费触目惊心 虽然有了超算中心，大多数政府并没有改变原有的IT投资方式 原有的投资没有减少，

22、又有了新的需求，自然就产生财政负担！问题解决途径：集中投资后，分散投资必须得到有效控制 按现有的政府财政申请和拨款模式，很难有效操作 从超算中心的自我经营模式寻找突破点 新模式的探讨：分散的IT投资，改由政府统一向超算中心采购服务超算中心运营模式引发的矛盾10/22/202134成立事业单位编制超算中心运营团队负责后期运营，主要资金来源为财政拨款，对外服务收入作为有益补充。政府及共建单位成立股份制合资公司进行企业化运营，并由政府提供基础运营费用补贴。政府设定基本运营指标外包第三方企业运营并提供税收减免等优惠政策，企业自负盈亏。在保证运营指标的前提条件下，企业可以利用超算中心进行相关的商业运作，

23、以补充运营费用、提升运营水平。进一步的大胆设想：厂商投资建设超算中心并负责运营，政府定期、定量采购超算中心软硬件服务，以补贴厂商建设投资和超算中心运营费用。新型超算中心的运营模式探索10/22/202135全新建设运营模式：曙光投资建设超算中心并负责运营，政府定期、定量采购超算中心软硬件服务，以补偿建设投资和运营成本。用户收益 政府消除了对未来不确定性的担忧。 超算中心面向政府信息化应用，将大大提高政府信息系统的集中度，可节约大量经费。 政府获得了招商引资的效果。 超算中心亦成为城市的科技名片，有较强显示度。成都超算中心的大胆尝试将日常将日常IT投入投入转化为服务采购转化为服务采购10/22/

24、202136利益模型分析超算中心厂商政府服务提供服务提供定期定量的定期定量的服务采购承诺服务采购承诺分期回报分期回报再投资再投资服务提升服务提升优质的呈现优质的呈现达成战略合作协议达成战略合作协议将日常将日常IT投入投入转化为服务采购转化为服务采购分期回报分期回报10/22/202137基于硬件的租赁服务基于硬件的租赁服务基于人力的技术服务基于人力的技术服务基于平台的基于平台的服务服务?网络和安全技术HPC系统运维技术HPC应用运维技术网格计算技术并行编程技术数据处理及可视化HPC系统技术应用领域技术基于平台的服务呈现？云计算模式！对成都超算中心建设模式的解读10/22/202138政府主导的

25、新型超算中心建设将进入快速发展阶段 超算中心是政府基础设施建设的一部分 “公共服务”是未来超算中心的基本属性超算中心应用模式将不断拓展 科研类：面向教育和科研领域用户的科学计算应用 企业类：提供计算、存储和软件资源，对企业用户提供服务，按需付费 政务类：IT投资集中化，建设成政务信息共享、交换中心 金融类：面向金融、证券等行业的海量数据挖掘 灾备类：面向政府或大型企业提供数据和应用的灾难备份与恢复服务。 电子商务类：线上交易平台与商务智能 数据处理类：海量互联网数据的处理和分析。超算中心的发展要求超算中心的兴起是IT产业的发展趋势IT资源由分布趋于集中，大型超算中心（乃至未来的云计算中心）的建

26、设将进入快速发展时期 资源整合提高使用效率并易于管理和更低的TCO 保证最佳的应用水平和服务支持IT资源将以“按需服务On-Demand-Service”模式展现给用户 以超算中心为平台支撑的“云计算中心”的呈现 软件即服务 Software as a service 基础架构即服务 Infrastructure as a Service 平台即服务 Platform as a service云计算中心超算中心10/22/202139利用企业、品牌优势进行广泛联合合作，关注云计算技术趋势 VMware战略合作关系，开展云计算虚拟化技术领域探索 Microsoft战略合作关系，在云计算系统平台技

27、术领域探索 INTEL、AMD战略合作关系，在云计算硬件芯片级支持技术方面探索 EMC战略合作关系，在云计算数据服务领域探索 NOVELL战略合作关系，共同投资建设云计算展示平台 SGI战略合作关系，提供大型主机、数据中心与计算解决方案级体验曙光应用体验中心对用户提供免费的云计算体验服务 曙光具有云计算平台、云计算技术科研开发力量 曙光具有提供多样化云计算硬件平台的优势 曙光具有强大的云计算应用支持领域工程师队伍 曙光具有提供云计算服务模式的基础 曙光具有国内最成功的实战案例曙光迎接云计算时代的到来10/22/202140 建设超算中心成为国家/地区战略任务 超算中心规划和建设方式 云计算中心的运营服务模式探讨 机遇与