先进计算产业发展联盟气象领域联想算力应用研究报告_第1页
先进计算产业发展联盟气象领域联想算力应用研究报告_第2页
先进计算产业发展联盟气象领域联想算力应用研究报告_第3页
先进计算产业发展联盟气象领域联想算力应用研究报告_第4页
先进计算产业发展联盟气象领域联想算力应用研究报告_第5页
已阅读5页,还剩24页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

气象领域联想算力应用研究报告目录前言 3一、数值天气预报 4()数天气报介绍 4()数天气报模分类 4()数天气报现与发趋势 5()数天气报计模式高性计算 6二、数值海洋预报 9(一)数值海洋预报介绍 9(二)数值海洋预报模式分类 9(三)数值海洋预报现状与发展趋势 10(四)数值海洋预报与高性能计算 11三、环境空气质量预报 13(一)空气质量预报介绍 13(二)空气质量预报的模式分类 14(三)空气质量预报现状与发展趋势 15(四)空气质量预报与高性能计算 16四、 联在气领域算力台和化 17() 联天气气候HPC架构 171、想天和气候HPC架构 172、想万异构算平台HPC软实现理 213.联想DSS-G高能存系统高效率 21()数天气报模优化 221MPI并计算的I/O优化 222GPU并计算硬件构优化 23五联想算在象行应用例 24()国案例 24()全案例 26前言气象海洋天气预报和环境研究是高性能计算传统应用领域。1950年,由气象学家朱尔.查尼、数学家约翰.冯.诺依曼和拉尔夫.皮奥特领导的团队在ENIAC上进行了世界上第一次成功的数值天气预报计算。尽管ENIAC的预报效果非常粗糙且不及时,但从科学史的角度看,其效果是革命性的和成功的。它首次证明了利用物理定律和数学方程,通过计算机求解来预测天气是可能的。这为整个现代数值天气预报奠定了理论和实践基础,验证了数值天气预报的可行性,预测出了大尺度天气形势的演变,是气象学历史的转折点。随着计算机的发展,数值天气预报技术也快速发展,成为天气预报的最主要方法,大幅提高预报的准确率、时效性,对农业、水利、海洋开发、电力、航空、防雷、旅游、交通、环境保护、国防等相关行业的发展产生了积极作用。高性能计算集群技术的快速发展更进一步推动了数值天气预报、数值海洋预报、数值空气质量预报的产生与发展,它们作为一类重要的社会公共产品,促进了各个行业的发展,极大的促进了社会进步,也是新质生产力的重要组成部分。近几年人工智能技术与强大算力的深度融合,正以前所未有的方式重塑着气象、海洋与空气质量预报的精准度。在气象领域,AI模型能够从海量历史数据中学习复杂的非线性天气演变规律,极大提升了中短期天气预报的精度,并对极端天气事件进行更早预警。算力则支撑起更高分辨率的数值模型与复杂的AI算法训练,实现全球到局部地区的精细化模拟。在海洋预报方面,结合卫星遥感与监测数据,AI可高效预测海浪、潮汐、洋流及温度变化,为航运、渔业和防灾提供关键支持。对于空气质量,AI能精准追踪污染源、模拟污染物扩散路径,并量化不同排放源的贡献,使得区域性的污染预报和溯源变得可能。本质上,超算平台提供的强大算力是训练和运行庞大AI模型的基石,而AI则作为加速器和优化器,让传统数值预报向着更精准、更快速、更细致的方向飞跃。一、数值天气预报(一)数值天气预报介绍天气,即天气现象,包含温度、湿度、气压、风力、云雾、雷电、降雨、降雪,对人们的生产生活具有重大的影响,如降温容易导致凤寒等疾病、降雨容易产生洪涝灾害、干旱影响农作物的生长、雷电雨雪影响交通等。数值天气预报是指根据大气的物理和运动特性,在一定的初值和边值条件下,通过计算机进行数值计算、求解描写流体演变过程的流体力学和热力学的控制方程组预测未来一定时间内的流体运动状态和大气现象的方法。数值天气预报一般通过计算机完成,我们把进行数值天气预报的一系列程序、方法、过程、工具的集合称为数值天气预报模式,简称数值模式。经过半个多世纪的发展,科学家们研制出了各种各样的(二)数值天气预报模式分类数值天气预报的模式可以从预报区域、网格分辨率、预报时间、控制方程性质等维度进行划分,不同的应用模式有不同的控制方程解法。根据预报区域的不同,可以将数值天气预报模式分为全球模式和有限区域模式,全球模式的预报区域为整个地球,有限区域模式的预报区域为地球的一部分。根据网格分辨率的不同,天气预报模式可分为大尺度模式、中尺度模式、小尺度模式和微尺度模式。根据预报时间的不同,可以将天气预报模式分为长期预报模式、中期预报模式和短时预报模式,长期预报模式的预报时间大于71-7短时预报模式的预报时间小于1天。根据控制方程性质的不同,可以将天气预报模式分为静力模式、非静力模式、正压模式、斜压模式、可压缩模式、非可压缩模式,根据控制方程离散方法的不同,可分为谱模式、有限差分模式、有限元模式、有限体积模式等。根据应用领域的不同,不同模式可以选择不同的坐标系,对原始方程进行相应的变换,生成模式对应的控制方程。关于控制方程数值解法,谱方法主要用于全球模式,在有限区域模式中很少用到。有限差分法在全球模式、区域模式中都得到了应用。有限元法、有限体积法在全球模式中应用较多,区域模式中也有一定的应用。数值模式工作流程一般可分为前处理、主模式和后处理三个过程。前处理进行资料的传输、下载、数据同化等;主模式是整个系统的主要部分,完成控制方程的求解,计算大气中各个因素的未来变化;后处理主要是指概率预报、数据可视化、图形化产品生成等。具体来讲,前处理进行初始场、边界条件、雷达、卫星、气象站观测等资料的传输、下载、数据同化及数据格式转换;主模式包括控制方程的数值表达,数理优化,算法优化,初始参数设置,及结果输出等工作。后处理包含人工神经网络预报、概率预报、数据可视化、数据传输、数据发布、客观分析、模式释用等工作。(三)数值天气预报现状与发展趋势20世纪80年代以来,我国的气象数值模式得到了很大的发展,初步建立了以数值预报为基础的新一代天气预报系统和与之相适应的天气预报业务技术体系。建立了包括全球中期预报,有限区域数值预报,热带气旋路径数值预报,沙尘暴,空气质量和核污染扩散传输数值预报,海浪数值预报等较完整的数值预报业务体系。数值天气预报产品得到了广泛应用,业务预报水平明显提高。中短期天气预报初步实现了从手工绘制天气图,以预报员经验为主要方法的传统作业方式向以数值预报产品为基础,人机交互气象信息加工处理系统为平台的新的预报制作方式的过渡。台风路径,区域性暴雨,沙尘暴等灾害性天气预警、预报水平有了较大的提高。目前,全球中期数值天气预报可用时效可达10天以上;水平分辨率达1千米的中尺度数值预报模式将投入业务使用,并具有预报强天气的能力。在主模式方面,预报预测的准确率、时效性、精细化程度和服务水平将显著提高,区域精细化预报成为各地气象局等相关单位的发展方向。精细化以及时间和空间的无缝隙预报是必然的选择。集合预报技术将在不同时空尺度和不同对象的预报中发挥重要作用,成为灾害性天气预报和延伸预报的最主要手段。在数据同化方面,各种资料的同化与融合,特别是卫星、雷达资料,不仅是各种数值预报的需要,也是向预报人员提供时空分辨率更高,协调一致的实况场的需要。在气象服务方面,专业气象服务的精细化,个性化和针对性要求显著提高。除了能提供准确的重大灾害性天气的预报服务和短期气候预测服务外,还能提供全方位,多层次,系列化和更具针对性,个性化的气象服务。数值预报在可预见的将来需要由单一的天气预报领域向更广的领域拓展。美国、英国等国家已开始向环境领域拓展,着眼于天气对环境影响的多样化预报服务。展望未来,天气业务将大大突破现有范畴,向地球系统领域延伸,实现对大气及相关环境要素的监测预报。(四)数值天气预报计算模式与高性能计算数值天气预报所需要的计算能力非常高,远远大于同期普通计算机可提供地计算能力。因此,数值模式常常运行在先进的计算机上,是高性能计算机的最主要的应用之一,也是高性能计算机发展的主要推动力之一。当前先进的高性能计算机,如美国橡树岭国家实验室、美国阿贡国家实验室,日本理化研究所、瑞士国家超算中心、我国的天河、太湖之光等,都被用来运行超大规模的数值计算与气候模拟应用,其模拟结果得到广泛的讨论和应用。常用天气预报计算模式有WRF、Grapes、AREMS、ARPS、ECMWF-IFS等。WRF:天气研究与预报模式是一个开源、社区型的中尺度预报模式和研究工具,在全球学术界和业务界应用广泛,具有高度灵活,用户可以根据自己的需求选择不同的物理参数化方案,如积云对流、微物理过程、边界层方案等的特点。既能用于业务预报,也广泛用于科学研究,是目前应用最为广泛中尺度天气预报模式,几乎所有国家的气象部门、大学和研究所都在使用WRF或其变种。Grapes:由中国自主开发的气象数值模式,分为Grapes-MESO区域模式和Grapes-GFS全球模式,预报与短期气候预测模式通用。中国中尺度预报系统GRAPES-MESO是中国自主研发的区域模式,成为中国气象局区域天气预报业务的主力;该模式针对中国的复杂地形和独特的天气系统进行了大量优化,对中国地区的暴雨、强对流等灾害性天气有较好的预报能力;针对中国及周边地区的气候和地形特点进行了优化,是中国气象局全球预报业务的核心。中国全球预报系统GRAPES-GFS针对中国及周边地区的气候和地形特点进行了优化。AREMS:先进区域预报模式系统是中国科学家自主开发的,由武汉暴雨所和中科院大气所合作开发的中尺度暴雨数值预报模式系统,综合考虑中国区域的地形特点和复杂的水汽演变过程,对中国区域暴雨有较强预报能力。AREMS在模拟中国西部高原地区、山脉背风坡效应等复杂地形下的天气时,具有先天的优势。该模式已在国内气象、水文、环境和军事保障等领域的科研和业务单位得到广泛使用。ARPS:是由美国俄克拉荷马大学的风暴分析和预报中心开发的一个区域预报系统,适用于时空尺度很小的中小尺度和风暴尺度的天气系统如龙卷风等,在实时资料变分同化方面优势明显。ECMWF-IFS,欧洲中期天气预报中心-集成预报系统是全球预报模式,其在资料同化、模式物理过程和处理超高分辨率数据方面具有优势,尤其在5-10天中期预报领域优势明显。对温带气旋、阻塞高压等大型天气系统的预报也较为可靠,是世界各国气象机构的重要参考。数值天气预报的基本思想是将地球大气划分为三维网格,在每个网格点上,根据流体力学和热力学的基本物理定律建立一组复杂的数学方程组,然后利用超级计算机从已知的当前大气状态出发,一步步求解这些方程,从而推算出未来大气的演变。网格划分的尺度大小也决定着计算量的大小,对高性能计算提出不同的需求。数值天气预报本质上是求解一组描述大气运动的纳维-斯托克斯方程等非线性偏微分方程,这个过程决定了其独特的计算特点:计 特点具体描述对计算的影响极 高的 行度大气被离散化为数百万至数亿个网格点。每个时间步,每个网格点上的动力框架、物理过程计算在很大程度上是独立的。计算任务可以在空间上进行域分解,分配给成千上万个处理器核心同时计算,适合大规模MPI+OpenMP并行计算架构。计算通信开销成为性能瓶颈的关键。高性能计算机的互联网络延迟、带宽性能至关重要。计算与通信的重叠能力是优化重点。与通网格点计算独立,但相邻网格点之间信密需要交换计算气压梯度、平流输送数集并据,导致频繁的进程间通信。存内存模式需要将整个三维大气状态包括温与存度、气压、湿度、风场等载入内存。需要大容量、高带宽的内存系统储带随着分辨率提高,内存需求呈立方级和并行文件系统;I/O往往成为宽需增长;同时,初始场、边界条件和结制约整体效率的环节。求果输出需要极高的I/O吞吐。复杂模式包含动力框架和物理过程参数化。动力框架通常具有规则、可向量化的计算模式;而物理参数化则可能是条件分支多、不易向量化的。的计对CPU的浮点计算能力和内存缓算访存有很高要求。混合精度计算是存模常用的优化手段。式强耦总计算步数极其庞大,例如全球合的方程组是强耦合的,变量相互影响。10天预报,时间步长10分钟,需非线求解通常需要迭代算法,且时间积分要1440步。任何单步计算的优化性系是小步长以维持数值稳定性。都会因步数巨大而产生显著影响统。数据在模式运行前,需要将海量观测资料对算力提出额外的大规模需求,特别是线性代数运算和优化算法,需要专门的数学库和加速器支持。同 化与短期预报场融合,生成最优的初始的 预场。这通常涉及求解一个巨型变分问处 理题,计算成本有时可与模式积分本身开销相当。基于以上计算特点,数值天气预报对算力提出了近乎贪婪的需求,对浮点计算性能需求极高,分辨率决定了成倍的计算量增加,分辨率加倍,网格点数量增加8倍,同时为满足稳定性准则条件,时间步长可能需要减半,总计算量增加约16倍。另外需求大规模并行且高效率,需要能有效调度数千至数百万个计算核心协同工作的软件框架和硬件平台;需求大容量和高带宽,高分辨率模式需要TB甚至PB级别的内存容量来存储网格变量;需求低延迟、高带宽互联减少进程间通信的等待时间,保证大规模并行计算的效率;需求极高的并行I/O吞吐率,用于快速读写初始场、边界条件和海量的预报结果数据。数值天气预报是典型的计算与通信双密集型科学计算应用。其对算力的需求来源于对更高分辨率、更复杂物理过程、更精确初始场的不懈追求。这种需求直接推动了高性能计算机在峰值速度、并行规模、互联网络、存储架构和能效等方面的持续演进。文中提到的所有软件,无论是开源的WRF,还是国家级的业务系统如Grapes和IFS,都是当今世界顶级超算中心最重要的应用负载之一,它们不断挑战着计算技术的极限。二、数值海洋预报(一)数值海洋预报介绍海洋,作为孕育生命的摇篮和连接世界的纽带,自古至今与人类文明的演进息息相关。从渔汛渔场、海上贸易到气候变化,人类社会的生存与发展始终离不开对海洋运动规律的深入认识和精准预测。正是在这一现实需求的推动下,地球流体力学作为一门新兴的交叉学科迅速发展起来。它融合了大气科学、海洋学、物理学与数学,致力于研究地球自然界中流体宏观运动的基本规律,为理解与预测海洋现象奠定了理论基础。二十世纪六十年代,随着电子计算机计算能力的显著提升,人类迈入了海洋数值预报的研究与试验阶段。这一进程主要沿着三个方向逐步推进:首先是对海浪的数值预报研究。早在七十年代初期,科学家们便已开始进行海浪的数值计算试验,尝试通过数学模型模拟和预测海浪的生成与传播。随后,潮汐的数值预报方法与模拟试验也逐步展开。至八十年代中期,二维潮汐数值模拟技术日趋成熟,能够较为准确地再现潮位的周期性变化。更为复杂的三维海洋温度、盐度、流场的数值模拟方法研究自七十年代启动,并在九十年代进入试验性预报阶段,开始对包括温、盐、流及水位在内的多项海洋要素进行系统性数值预测。随着同化至数值模式中的实测数据种类日益丰富、数据质量不断优化,以及模式物理过程与计算方案的持续完善,海洋数值模式如今已在基础研究中发挥重要作用,并稳步向着更加精准、可靠的业务化预报方向迈进。(二)数值海洋预报模式分类数值海洋预报模式可根据其核心动力框架、空间维度、预报要素及应用目的进行系统分类。按动力框架分类是最根本的划分方式。正压模式假设密度均匀,仅能模拟由风应力直接驱动的海流与水位变化,是潮汐和海啸预报的主流工具。而斜压模式则考虑了温度、盐度对海水密度随深度和空间的变化,能够模拟如上升流、中尺度涡旋等由密度差异驱动的复杂海洋现象,是现代海洋环流与气候预测的核心。按空间维度分类体现了模式的复杂度和分辨率,二维模式主要描述海表或垂向平均状态,广泛应用于风暴潮漫滩、海表溢油等灾害预报;三维模式则能完整再现海洋的立体结构,是现代海洋温、盐、流预报的基石,也是研究海洋垂向能量与物质输运不可或缺的工具。按预报要素与应用分类,则直接对应业务需求。专业化专项模式各司其职,如海浪模式专攻风浪与涌浪的生成与传播,海冰模式模拟冰盖的厚度、密集度与运动,水质或生态模式则预测污染物扩散、藻华暴发等生物地球化学过程。(三)数值海洋预报现状与发展趋势数值海洋预报是现代海洋科学与业务服务的核心支柱,它通过构建基于物理定律的海洋数值模式,并融合日益丰富的如卫星、浮标等海洋观测数据通过资料同化系统,实现对海温、盐度、海流、海浪、风暴潮、海冰等多种海洋环境要素的预测。20世纪下半叶以来海洋数值模式结合海洋观测,逐渐成为海洋动力环境预报和研究的主要工具。近些年来,除大气数值预报模式外,相继有多种海洋环境数值预报模式应用于海洋气象预报服务业务,这些预报模式有海雾数值预报模式、海浪数值预报模式、风暴潮数值预报模式、海洋污染物扩散数值预报模式。海洋数值预报产品是指利用数值模拟方法得到的海洋气象、波浪、海流等预报数据。以数值预报产品为基础,结合预报员主观预报经验的数值预报释用方法是当前海洋气象预报的主要方法,为海洋防灾减灾、航运安全和生态保护提供了关键信息。当前的发展趋势是构建多系统耦合模式,即将大气、海洋、海浪、海冰等模式动态连接,形成一个综合性的地球系统预报框架。这种耦合模式能够更真实地反映圈层间的相互作用,是提升中长期气候预测和台风强度预报等关键领域精度的前沿方向。随着人工智能技术应用到预报过程,AI辅助传统数值预报,实现降本增效。如AI算法可用于优化资料同化过程,更智能地融合异构观测数据,提升初始场质量。AI可构建参数化方案的替代模型,以数据驱动的方式更高效地模拟次网格尺度物理过程,弥补物理模型的不足。AI还能对高分辨率模式输出进行统计降尺度与偏差校正,低成本地提升产品的局地化精度。基于深度学习的模型,直接从海量历史观测和再分析数据中学习海洋演变规律,可在预报海表温度、中尺度涡旋等预报精度和速度上得到提高。(四)数值海洋预报与高性能计算数值海洋模拟的目标在于对试验场区的海面风、海面温度、湿度和海面气压等海洋气象要素和海水温度、盐度、海流和海浪等海洋水动力环境进行连续周期性的数值模拟,将场区实测要素与数值模拟数据相结合,并依托数据可视化技术实现场区模拟数据的动态可视化分析,以期形成一个可知的、可测的、可靠的海洋环境场区。海洋的运动和大气一样遵循一定的规律,受到流体力学、热力学等物理规律的支配,并且可以用方程组的形式定量表达。给定边界条件,通过数值方法求解这些方程组,由已知时刻的状态分析未来时刻的状态,这一过程就是数值模拟。海洋运动原始方程分为动量方程、连续方程、温度方程、盐度方程和密度方程。根据原始方程,可以使用不同的坐标系和变量,对原始方程进行变换,得到合适的模式控制方程。这些方程的求解需要大量计算,高性能计算集群系统是用于海洋数值模式的运算硬件基础;高性能计算集群系统将极大的影响数值模拟的精度和效率;在该系统上部署海洋数值模拟子模块等相关软件后,可进行相关计算。海洋领域模式众多,多为开源软件,比较常见的应用软件包括:FVCOM、ROMS,HYCOM、WaveWatch3、ECOMSED、ECOM、POP、POM、MOM4、MITgem等,每一种软件对计算能力要求也不同。FVCOM:美国佐治亚海洋学院实验室和麻省大学海洋实验室开发的海洋数值预报模式,研究近海岸线常用模式。主要用于近海、河口、海湾等复杂海岸线和水下地形区域,擅长模拟潮汐、风暴潮、生态水文耦合过程;采用非结构三角形网格,能灵活拟合曲折的海岸线和进行局部加密,有限体积法保证质量、动量和能量守恒,虽然非结构网格效率高,但对复杂区域的模拟需要大量网格单元,并行计算效率是关键。ROMS:较为通用的海洋模式系统、广泛应用于区域尺度的海洋环流、上升流、中尺度涡旋、海洋生态系统研究,大至全球尺度环流,小至河川渠道水体运动及海洋生物,地质和海冰研究。采用曲线正交坐标和地形跟随坐标,具有先进的物理参数化方案和强大的数据同化能力,拥有庞大的用户社区。进行高分辨率区域模拟或长期气候积分时,需要较强的计算资源和高效的并行计算。HYCOM:美国迈阿密大学开发的原始方程全球海洋环流模式,包合广泛海气要素,适应于层次效应显著的大洋范围,开放源代码。主要用于大西洋和全球尺度的海洋环流预报与气候研究,是美国海军业务化预报的核心模式之一。最大特点是混合垂向坐标,在海洋上层是等密度面坐标,在沿海浅水区是地形跟随坐标,在深层是Z坐标,兼具各自优点。作为全球或大洋盆地尺度的模式,需要大型超级计算机进行业务化运行和集合预报。中国在海洋数值预报领域的软件研发起步较早,并已经建立了自主可控的业务化预报系统,打破了国外技术的垄断。突出的国产海洋预报软件有业务预报以CMA-OCM等为代表,保障了日常的海洋环境预报需求;气候研究以LICOM为代表,支撑着我国在全球气候变化领域的发言权和科学研究;近海应用以FIO-COM和MASNUM等为代表,针对我国近海特点进行了优化,预报精度高。“哪吒”等AI海洋预报模型通过学习海量的历史再分析数据和观测资料,能够以极快的速度完成传统数值模式需要数小时才能完成的全球海洋预报,在预报精度和效率上展现出巨大潜力。CMA-OCM中国气象局-海洋环流模式,代表了国内业务化海洋预报的先进水平,这是一个基于HYCOM框架经过深度国产化开发和优化的全球海洋预报系统,它继承了HYCOM的混合垂向坐标优点,能够同时精确描述大洋层化和浅海地形。作为中国全球海洋业务预报的主力,每日发布全球范围的温度、盐度、海流等要素的预报产品。针对中国近海复杂的地形和海洋现象,中国科研机构开发了更具针对性的模型,如LICOM和FIO-COM。LICOM(LASG/IAPClimateSystemOceanModel)是一款完全由我国科学家自主研发的全球海洋环流模式,其动力框架和物理过程均为自主设计。经过多年发展,已从LICOM1.0发展到如今的LICOM3.0,它是中国参与世界气候研究计划和政府间气候变化专门委员会气候评估报告的核心工具之一,主要用于长期气候模拟和预测,代表了我国在海洋气候模式领域的高水平。FIO-COM自然资源部第一海洋研究所-区域海洋模式,包括海浪-潮流-环流耦合模式等。其模式特色在于注重多过程耦合,例如将海浪的混合效应参数化并引入环流模式,显著改善了对上层海洋混合的模拟精度。广泛应用于中国近海及邻近大洋的海洋环境预报、海洋灾害预警和科学研究。这些海洋软件对计算资源要求高,如CMA-OCM全球海洋业务预报系统,算力需求高,需要高性能计算集群。业务预报要求每天在固定时间内完成未来数天到十天的预报,计算任务有严格的截止时间,这需要强大的企业级HPC集群计算力作为保障,以保证预报产品的准时、稳定产出。AI预报模型对算力的需求模式与传统物理模型完全不同,呈现训练成本极高,但预报成本极低的特点。训练阶段需要大量的GPU计算资源,模型需要从海量的历史数据中学习物理规律,这个过程可能需要成千上万个GPU小时,成本高昂。一旦训练完成,进行实际的预报推理所需计算量非常小,可以在秒级内完成传统模式需要数小时计算的全球预报,能耗极低。三、环境空气质量预报(一)空气质量预报介绍环境空气质量预报是一门通过科学方法预测未来空气污染状况的学科,它对公众健康、环境管理和经济发展具有至关重要的作用。其基本原理是基于对大气物理和化学过程的理解,将大气视为一个巨大的反应器,通过数学方程组量化污染物的生命周期,这一过程主要包括来自人为源和自然源的排放、风场平流和对流作用导致的输送、湍流导致的混合扩散、污染物之间发生气相、液相和固相化学反应形成的化学转化以及最终通过干沉降和湿沉降从大气中清除。当前主流的数值预报,正是通过超级计算机求解这些复杂的方程,模拟出污染物浓度的动态变化。精准的空气质量预报已成为现代城市管理和公共服务中不可或缺的一环。空气质量预报不仅服务于公众健康,为易感人群提供出行建议,减少污染暴露风险。也是政府决策的科学基石,为启动重污染天气预警、制定精准减排措施提供关键依据,从而有效减缓污染程度。长期的预报与评估数据,有助于我们更深入地理解污染成因,推动能源结构与产业布局的优化,服务于长期的生态文明建设。(二)空气质量预报的模式分类空气质量预报是现代环境科学的重要分支,其技术体系主要围绕三大类模式展开:基于历史数据规律的统计预报、基于物理化学机理的数值模型,以及新兴的人工智能方法,共同构成了当前空气质量预报的技术框架。统计预报模型通过建立污染物浓度与气象参数之间的数学关系进行预测。这类模型计算简便快捷,对计算资源要求较低,适合快速发布短期预报。但其本质上缺乏对大气物理化学过程的机理描述,当遇到前所未有的污染气象条件时预报性能会显著下降,且在不同区域间的移植性较差,这些局限性限制了其在业务预报中的独立应用。空气质量模型的核心在于通过数学方程量化大气污染物的生命周期,这一过程涵盖了从排放、输送、扩散、化学转化到最终被清除的完整链条。数值模型是当前空气质量业务预报的核心体系,其发展经历了三个重要阶段。第一代模型以高斯扩散和拉格朗日轨迹模型为代表,采用相对简化的湍流扩散理论,适用于惰性污染物的近场扩散模拟,但对复杂化学过程的处理能力有限。第二代欧拉网格模型通过将大气划分为三维网格,在每个网格内求解质量守恒方程,实现了对光化学烟雾等复杂污染过程的模拟。第三代综合空气质量模型则确立了“一个大气”的理念,采用模块化设计将气象过程、排放清单与化学传输紧密耦合,能够同时模拟臭氧、细颗粒物等多种污染物的相互影响和转化。美国的CMAQ、CAMx以及中国的NAQPMS等模型已成为全球区域空气质量模拟的主流工具,而WRF-Chem等在线耦合模型更实现了气象场与化学场的双向反馈机制,代表了当前数值模拟的较高水平。近年来,人工智能技术为空气质量预报开辟了新路径。基于深度学习的方法能够从海量历史数据中自动学习污染物与气象条件间的复杂非线性关系,实现秒级预报速度,在计算效率上展现出显著优势。(三)空气质量预报现状与发展趋势当前,全球范围内对空气质量预报的需求日益增长,推动着预报技术从传统方法向智能化、精细化方向快速发展。纵观国内外现状与发展趋势,空气质量预报正经历着深刻变革。在国际层面,欧美等发达地区的空气质量预报长期建立在成熟的数值模型基础上。欧洲中期天气预报中心等机构依托超级计算机,运行如CMAQ、EMEP等复杂的化学传输模型,实现了对污染物在大气中物理化学过程的精确模拟。这些模型虽然科学基础坚实,但计算成本高昂,且通常需要数十公里级的分辨率。近年来,国际学术界呈现出两大发展趋势:一是积极拥抱人工智能技术,探索地球系统大模型的开发。例如,英伟达的FourCastNet与欧洲中期天气预报中心合作,通过深度学习技术实现了媲美传统数值预报的精度,而计算时间大幅缩短;美国阿贡国家实验室的Aurora模型则展示了AI在高效模拟大气成分方面的巨大潜力。二是关注点从区域污染扩展至全球性环境问题,如沙尘暴、野火烟雾等的跨洲际传输模拟,体现了“一个大气”的整体理念。中国的空气质量预报展现出独特的发展路径,作为后起之秀,中国成功研发了NAQPMS、GRAPES-CUACE等自主数值预报系统,并已在全国业务化运行。中国研制了具有自主知识产权的多物种、多尺度的嵌套网格空气质量预报模式系统NAQPMS,可以对城市及区域尺度一次、二次污染物的演变规律值进行数值模拟,并成功在北京奥运会、上海世博会、广州亚运会、天宫发射等期间,对省级、直辖市区域内的空气质量进行预报工作。中国在技术路线上积极推动数值模式与人工智能的融合创新;在应用层面,中国的预报服务更侧重于解决国内面临的复合污染难题,致力于实现PM2.5与臭氧的协同模拟与控制,并努力将预报精度提升至公里级甚至街道级,以满足精准防控的需求。无论是国内还是国际,空气质量预报都将朝着技术融合化、感知智能化、服务精准化的方向迈进。将物理机制与数据驱动深度融合,利用AI技术整合多源观测数据生成高精度的大气环境全景图,推动预报服务向更精细的时空尺度发展,并构建统一平台实现对多圈层环境问题的集成模拟与综合研判,这些都将是领域发展的必然趋势。(四)空气质量预报与高性能计算空气质量预报模式目前应用较多、较成熟的有:中国的NAQPMS模式、美国环保署EPA的Models-3/CMAQ模式、美国Environ公司的CAM宏模式,以及基于WRF的WRF-Chem模式等。NAQPMS模式是中国科学院大气物理研究所自主研发的区域城市空气质量模式系统,代表现今国内空气质量模式发展的水平,已在北京、上海和广州等多个城市的环保部门实现业务化运行。NAQPMS模式成功实现多尺度多过程的数值模拟,可同时模拟计算出多个尺度的空气质量,在各个时步对各计算区域边界进行数据交换,实现多尺度的双向嵌套;模式包括了平流扩散模块、气溶胶模块、干湿沉降模块、大气化学反应模块等物理化学模块;模式采用并行计算,理化过程实现高度模块化,运算效率可保证在线实时模拟。Models-3/CMAQ模式是美国环保署极力推广使用的第三代空气质量模式系统,基于“一个大气”的理念设计完成,考虑大气中多物种和多相态的污染物以及相互影响,克服主要针对单一物种的缺点;以及化学输送平流模式过程、气相化学过程、烟羽处理、干沉降、湿沉降等过程,同时包含有气溶胶模块,可计算气溶胶转化,提供多种气相化学机制选项,适合区域城市尺度空气质量模拟预报。CAMx模式是由美国ENVIRON公司开发的三维欧拉型城市至区域尺度空气质量模式,可用于多尺度的、有关光化学烟雾和细颗粒物大气污染综合模拟研究,融入了当今许多空气质量模式的先进技术,如双向嵌套技术、次网恪PIG技术、化学机理编译器和快速化学数值解法等。WRF-Chem模式是美国NCAR等气象组织最新发展的区域大气动力主化学隅合模式,相比其他大气化学模式,WRF-Chem优点是气象模式与化学传输模式在时间和空间分辨率上完全稠合,实现在线传输。WRF-Chem模式考虑平流、扩散和对流过程等输送、干湿沉降、气相化学、气溶胶、辐射和光分解率、生物所产生的放射、气溶胶参数化和光解频率等过程。WRF是目前最流行的中尺度数值天气预报模式,可以为大气化学模式在线提供大气流场。空气质量数值预报是通过求解描述大气中污染物输送、扩散、转化和清除的复杂偏微分方程组,来预测未来空气质量状况的科学手段。这一过程计算量极其庞大,也是高性能计算主要应用之一,对计算机系统提出了全面而严苛的性能要求。所有模式都对高性能计算集群、高速互联网络、大容量内存和并行文件系统有强烈依赖。分辨率越高、模拟区域越大、化学机制越复杂,对算力的依赖程度就越高。空气质量数值预报对计算机的需求是全方位和极端化的,要求系统在计算、通信、内存和I/O四个关键维度上都具有顶尖且平衡的性能,任何一方面的短板都会成为木桶效应中的短板,制约整体效率。世界各国的顶级超算中心,如美国的橡树岭、阿贡,中国的“天河”、“神威”系列都有运行包括空气质量预报在内的地球系统模式,并作为其最重要的使命之一,并持续推动着高性能计算技术向前发展。四、联想在气象领域的算力平台和优化(一)联想天气和气候HPC架构1、联想天气和气候HPC架构联想设计了天气和气候HPC架构,用于提高天气预报和气候建模能力。该架构以高性能计算系统、高性能计算管理系统、高性能计算网络系统组成基础可扩展单元,同时集成高性能计算存储系统。扩展单元利用联想海王星水冷服务器,配备通用处理器计算能力,并集成了先进的水冷技术,以实现最佳性能和能效,该解决方案包括高速InfiniBand网络和内存技术,为准确的天气预报和气候模拟提供所需的计算能力。图:联想天气和气候HPC架构联想天气与气候架构基于EveryScale192384个CPU1020484096个CPU。考虑到Dragonfly+等其他扩展网络拓扑,架构可呈指数级增长。图:联想EveryScale天气与气候可扩展单元可扩展单元由四个计算机架和一个中央网络机架组成,该机架容纳高速InfiniBand叶交换机和骨干交换机,以及以太网连接。联想机架机柜提供了足够的电缆布线通道,可以有效地将InfiniBand连接引导到相邻的网络机架,同时还可以容纳所有必要的以太网连接。基础机架可方便地扩展,为任何规模的预测模型提供按需增长。联想天气和气候架构的基础硬件组件是计算节点和网络基础设施,作为一种集成解决方案,它们在联想机架中结合在一起;计算基础设施建立在最新一代联想海王星超级计算系统之上;网络基础设施同时支持InfiniBand和以太网。服务器、网络组件和操作系统可以作为解决方案集成在一起,是一个用于设计、制造、集成和交付数据中心解决方案的框架,聚焦于HPC高性能计算、技术计算和AI人工智能环境。通过预先测试和验证大量联想和第三方组件,联想提供组件和固件级别最佳配方指南,将根据客户的需求量身定制,为他们的工作负载提供最佳运行。硬件还预先集成、预先布线、预先加载了最佳配方和可选的操作系统映像,并在制造过程中在机架级别进行了测试,以确保可靠的交付并最大限度地减少客户数据中心的安装时间。联想用于天气和气候应用的参考设计采用了利用InfiniBand的高速网络,结构采用胖树拓扑结构实现节点全交换。图:网络拓扑对于需要广泛可扩展性的大型天气和气候解决方案,Dragonfly+拓扑是一种高效的选择。这种拓扑结构提供了直径较小的网络,同时保持了高带宽并最大限度地减少了延迟。Dragonfly+对于需要全对全或多对多通信的大型节点数量特别有益,这对全局天气和气候模型至关重要。Dragonfly+中的自适应路由可确保组之间的全局链路平衡,优化性能。对于较小的区域任务,可以在Dragonfly+拓扑的一组内安排作业,为本地化或树形友好的流量提供最佳结构。这种设计强调平衡的通信和鲁棒性,使其适用于高复杂度的环境。图:四组Dragonfly+网络拓扑Dragonfly+组本身采用胖树拓扑结构,确保了整个网络中具有均衡IO的扁平通信层次结构。胖树网络提供可预测的性能,这对于具有一致和高吞吐量要求的应用程序至关重要。这两种拓扑都为天气和气候解决方案提供了坚实的网络互连基础,满足了可扩展性、高带宽和低延迟的需求,确保了复杂模拟和模型的稳健性能。联想天气和气候HPC架构实现了容量计算和能力计算的最佳平衡。在高性能计算中,容量计算和能力计算都起着至关重要的作用。容量计算是指为同时解决许多小问题而优化的系统。这些系统最大限度地提高了吞吐量,有效地处理了大量任务。容量计算适用于需要并行处理许多独立或松散耦合任务的应用程序,通过完成大量小规模计算来实现高生产率。能力计算旨在解决需要大量计算能力的大型复杂问题,这些系统侧重于快速解决单个计算密集型任务的能力,能力计算对于优先执行需要大量资源的主要模拟或分析的应用程序至关重要。由于需要先进的硬件和强大的处理能力来处理要求苛刻的算法,将计算性能作为能力来提供的成本通常更高。对于天气数值计算来说,能力计算尤为重要,因为它允许快速处理大规模天气和气候模型,这对准确的预测和风险评估至关重要。容量计算是必要的,通过有效地生成大量产品来向各种用户描述预测的环境状态。联想天气和气候架构,旨在为天气预报和气候研究的数值模拟提供容量和能力计算之间的最佳平衡。2、联想万全异构智算平台HPC软件实现管理联想万全异构智算平台HPC联想万全异构智算平台HPC软件应用于天气和气候计算集群,其核心优势之一在于深度集成业界领先的SpectrumLSF作业调度系统,构建了高效、智能的集群管理与任务调度中枢。该调度系统具备高吞吐量的资源调度能力,通过成熟丰富的策略库,实现对异构计算资源的精准分配与优化利用。它不仅提供计算工作流的自动化支持,简化复杂任务流程,更集成了集群优化的软件许可管理功能,有效控制成本并提升软件使用效率。平台拥有广泛的商用应用软件集成接口,确保各类专业应用能够无缝接入并高效运行。通过直观的运营仪表板,管理员可以清晰掌握集群实时状态与作业执行情况。系统还提供智能数据暂存区管理,优化数据访问性能,并结合商业智能与容量规划工具,为集群资源的科学规划和未来扩展提供可靠的数据洞察。联想万全异构智算平台借此构建了一个策略成熟、管理自动、运维可视、规划智能的一体化HPC解决方案,显著提升科研与工程计算的整体效率。3.联想DSS-G高性能存储系统提高效率联想DSS-G是一款面向高性能计算、人工智能、大数据及云环境的可扩展存储解决方案,以“极致性能”为核心设计理念,旨在应对数据密集型工作负载的严峻挑战。10GB/s2500GB/sDeclusteredacross代应用,消除了数据孤岛,为复杂的HPC/AI图:联想高性能存储和性能(二)数值天气预报模式优化随着数值天气预报向更高分辨率、更复杂物理过程发展,其对计算资源的需求呈指数级增长。传统基于CPU的纯MPI并行架构已面临瓶颈,模式的深度优化成为释放算力、实现超精细预报的关键。其优化主要围绕两大核心方向展开,一是解决大规模并行下的IO墙问题,二是以GPU为代表的异构计算架构优化。1、MPI并行计算的I/O优化由于数值天气预报大多使用开源的模型,这对模式的优化提供了可能,结合联想多年服务于中国广大的气象和海洋预报客户,联想对模式进行了优化,经过多家气象海洋用户使用,收到了很好的效果,大大缩短了预报时间。当模式在数万乃至数十万个MPI进程上运行时,传统的每个进程独立写入文件的方式会引发I/O性能灾难,导致计算节点在输出结果时长时间等待,严重拖慢整体效率,联想优化策略包括I/O聚合优化和异步I/O优化。I/O聚合优化是将成千上万个MPI进程的输出数据在内部网络中进行整合,仅由少数特定的I/O服务器进程统一写入文件系统。利用MPI-IO等标准库,结合HDF5或NetCDF-4等支持并行I/O的文件格式,将大量小文件写操作聚合为少量大文件写操作,极大减轻存储系统的压力。异步I/O优化将计算与I/O解耦,实现计算与I/O重叠。模式在推进计算的同时,在后台异步地将数据写出;专门的I/O线程或进程负责数据处理和写入,计算进程在完成数据发送后立即返回继续计算,无需等待磁盘写入完成,从而减少整体时间。图; 异步I/O模式运行优化图:MPI-IO模式运行优化:从串行到并行2、GPU并行计算与硬件架构优化CPU在处理复杂的物理参数化和化学传输时效率不高,GPU凭借其成千上万个计算核心和极高的内存带宽,为数值模式带来了革命性的加速可能。联想在应用中实现了CPU-GPU协同计算的异构编程,形成CPU负责逻辑控制与串行任务,GPU负责大规模并行计算的高效分工。CPU作为指挥中心,将计算任务和数据派发给GPU计算;联想根据用户不同的算法需求,对适合GPU大规模并行特性的算法进行编程,同时精细管理CPU与GPU之间的数据传输,尽可能让数据留在GPU显存中,减少来回拷贝的次数,避免在PCIe总线上形成新的瓶颈。联想为全球领跑的海洋环流数值模式-“妈祖”模式提供了高效的运行平台支撑。该模式采用GPU并行加速技术,具备对海量数据进行快速计算的能力,运行高效低耗,是国际海洋业务化同类模式中的首创。通过并行化处理,原本可能需要超过1000小时的计算任务,现可在几百至上千台服务器上运行,并在几十分钟内快速生成预报结果。此外,“妈祖”模式在节能减排方面成效显著,制作全球10公里分辨率的海洋环流数值预报时,相比传统CPU超算模式,可节省80%以上的设备购置经费,降低能耗90200520五、联想超算在气象领域应用案例联想超算在气象行业有广泛的案例应用,在领域内发挥着重要作用。每天联想的超算都为全球十几家重要的气象组织和机构提供稳定的服务,这包含了众多的国家级以及地区级的气象预报中心,遍布北美,南美,欧洲,中东和亚洲。图:联想超算在气象海洋领域的应用举例(一)国内案例北京市气象局承担北京市行政区域内对重大灾害性天气跨地区、跨部门的联合监测、预报工作,及时提出气象灾害防御措施,并对重大气象灾害作出评估,为本级人民政府组织防御气象灾害提供决策依据;管理北京市行政区域内公众气象预报、灾害性天气警报以及农业气象预报、城市环境气象预报、火险气象等级预报等专业气象预报的发布;组织制订和实施北京市行政区域气象灾害防御规划和应急管理工作;负责北京市行政区域内突发公共事件气象保障工作。2022因素之一,冬奥会雪上项目几乎全部在山地特殊气候条件下举行,受天气气候的影响情况十分复杂,需要时间精确到分钟级、空间到百米级的精准赛事气象专项预报、兼顾多方需求的气象信息服务和高水平的沟通组织服务能力。联想为北京气象局提供了强大计算能力和存储资源等全套解决方案,以及多年以来领先业界的产品性能和质量,为北京气象局提供有力的冬奥会气象精细化数值模式的业务计算基础,达到了浮点运算峰值2.3PFlops计算能力,心业务计算能力提高了将近20倍,不仅支撑高分辨率、高精度的冬奥会特殊需求,同时完全满足北京局在未来的三到五年的业务需求。图:HPC集群及存储系统架构该高性能计算系统集成了完整的管理系统,包括作业管理、

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论