天气预报模型.docx

天气预报模型：软件体系结构与性能J. MICHALAKES, J. DUDHIA, D. GILL, T. HENDERSON,J. KLEMP, W. SKAMAROCK, W. WANG中小尺度气象部门，国家大气研究中心，Boulder，美国科罗拉多803072004年5月第一个非测试版的天气研究和预报（WRF）建模系统是为大气研究和运行NWP用户设计和实施全功能的下一代建模系统的一个关键的里程碑社区。以效率，可移植性，可维护性和可扩展性作为基岩需求，WRF软件框架允许增量和合理的快速开发，同时保持总体一致性和坚持架构及其接口。 WRF 2.0版本支持该模型设想的全部功能，包括在一系列高性能计算平台，多个动态核心和物理选项上的高效可扩展性能，低开销双向交互嵌套，移动嵌套，模型耦合，以及与其他常见模型基础设施工作（如ESMF）的互操作性。1. 介绍WRF项目已经开发了下一代中尺度预报模型和同化系统，以推进中尺度降水系统的理解和预测，并促进研究和运营预测社区之间的更紧密的联系。随着2004年5月向社区发布WRF 2.0版本，将WRF建模系统广泛传播给大量用户，并将其应用于各种领域，包括风暴规模研究和预测，空气质量模拟，图1 WRF系统示意图野火模拟，飓风和热带风暴预测，区域气候和作战数字天气预报正在良好进行。2004年年底，注册下载次数超过2,500件。来自20个国家的93个机构的173名参与者于2004年6月在NCAR参加了年度WRF用户研讨会，并听取了28次涉及以WRF模式开展工作的科学报告。在NOAA国家环境预测中心和美国空军气象局，正在进行WRF的运行实施。已经形成了NOAA / NCAR / DoD联合发展试验中心，以促进研究界的新发展的持续测试，评估和过渡在NCEP，AFWA和美国海军通过在各中心建立的操作测试中心的操作。 如图1所示，WRF系统包括WRF模型本身，用于为理想化，实数据和单向嵌套预测产生初始和横向边界条件的预处理器，用于分析和可视化的后处理器，以及三维变化数据同化（3DVAR）程序。除了标准初始化（SI）程序之外，每个预处理器和3DVAR是使用WRF高级软件框架（ASF）实现的并行程序。程序之间的数据流通过ASF的I / O和模型耦合API输入和输出。 WRF模型（图中的大框）包含两个动态内核，为机构和应用程序提供额外的灵活性。 NCAR开发的高级研究WRF（ARW;最初的欧拉质量或“EM”核）使用时分高阶Runga-Kutta方法来整合可压缩非静力方程的保守公式16。 ARW作为WRF第2版为研究界提供支持，正在美国空军气象局正在运行实施。 NOAA / NCEP的WRF的操作实现使用适应于来自非流体静力中尺度模型（NMM）的WRF ASF的动力学3 8 9 15。WRF ASF实现了WRF软件架构11，是WRF模型和3DVAR系统开发的基础。它具有模块化的层次化软件组织，可以将科学代码与并行性以及其他架构，实现和安装相关的问题隔离开来。这种设计对于管理一系列用户，应用程序和平台的单源代码模型的复杂性也至关重要。本文介绍WRF软件的实现和性能，包括WRF 2.0中提供的新功能：双向交互和移动嵌套，支持模型耦合，以及与新兴社区建模基础设施（如地球系统建模框架）的互操作性。2. WRF高级软件框架WRF ASF包括多个可分离层和支持组件：驱动器层，中介层，模型层，称为注册表的元编程实用程序，以及用于处理器间通信，数据格式的外部包的应用程序接口（API） I / O。 WRF ASF的好处是促进快速开发，易于扩展，充分利用WRF社区的开发工作，软件重用，以及适应社区模型基础设施（如ESMF）。驱动层处理模型域数据结构的运行时分配和并行分解;组织，管理，交互和控制嵌套域，包括模型中的主时间循环;高级别接口到模型域上的I / O操作;以及当WRF是更大耦合的应用系统的一部分时与其他组件的接口。在驱动程序中，每个域都抽象地表示为单个对象：Fortran90派生数据类型，包含动态分配的状态数据，指向嵌套层次结构中的其他域。嵌套表示为根源于顶级（最粗糙分辨率）域的域的树。每个模型时间步长涉及递归深度优先遍历这棵树，推进每个节点及其子节点到下一个模型时间。强制，反馈和嵌套移动也在驱动程序中处理。中介层包含单个模型域上的特定动态核心的一个时间步长。动态核心的求解例程包含对模型层例程的完整集合调用以及处理器间通信（晕轮更新，并行转置等）和多线程的调用。当前的WRF实现使用RSL通信库12，而RSL通信库又使用消息传递接口（MPI）通信包。在使用OpenMP的求解例程中还规定了片上的共享存储器并行性 - 分布式内存补丁内的第二级域分解。模型层包括构成模型的实际计算例程：平流，扩散，物理参数化等。模型层子程序通过标准模型层接口调用：所有状态数据作为参数，连同正在计算的图块的三个网格维度中的每一个中的起始和结束索引一起被传递。模型层子例程可以不包括I / O，停止语句，多线程或处理器间通信，确保它们可以针对任何瓦片分解或在瓦片上执行的顺序被连贯地执行。模型层接口是ASF与在模型层工作的程序员/科学家之间的合同。遵守接口确保结合到WRF中的模型层包将在框架本身被移植到的任何并行计算机上工作。具有数据依赖性的模型层例程依赖于中介层在它们被调用之前执行必要的处理器间通信。程序员通过向注册表添加条目来描述通信类型和模式，然后插入符号以在求解例程中的适当位置执行通信。注册表是关于WRF数据结构的信息的简明数据库，以及用于从数据库中的符号自动生成大部分WRF图2嵌套分解与通讯代码的机制。注册表数据库是表的集合，列出并描述了WRF状态变量和数组及其属性，例如维度，时间级数，与特定动态核心的关联，与特定物理包的关联，输入的成员资格，输出，或重新启动数据集，对数据进行通信操作，以及一些描述性元数据，例如变量或数组表示的内容及其单位。从该数据库，注册表生成用于基础设施的层之间的接口的代码，用于通信和嵌套的打包和解包代码以及对于模型I / O代码的例程的逐字段调用，否则将极其耗时并且容易进行手动写入和管理。在WRF中添加或修改状态变量或数组是在注册表中修改一行或两行的问题。目前，注册管理机构自动生成总共250万条WRF代码中的60万条。外部软件包的API也是WRF软件框架的一部分。这些允许WRF使用不同的软件包用于自描述数据格式，模型耦合工具包和库，以及通过简单地将外部软件包适配到接口来进行处理器间通信的库。清洁API还支持在其他方向重用;例如，地球系统建模框架开发人员正在调整WRF I / O API以在ESMF软件中使用。WRF基础设施的文档，包括注册表的参考文档，WRF I / O应用程序接口规范以及基于Web的WRF代码和文档浏览器6在线维护。WRF的其他软件文档正在进行中。3. 巢和移动巢嵌套是网格细化的一种形式，其允许将昂贵的较高分辨率计算集中在感兴趣区域上。 WRF 2.0包括对单向和双向交互嵌套域的支持。 WRF中的嵌套是非旋转和对齐的，使得父网格点与下面的嵌套上的点重合，这消除了对更复杂的广义重新格栅计算的需要。嵌套配置在运行时通过名称列表指定。 WRF ASF支持在模拟期间的任何时间创建和删除嵌套，但是如果运行需要嵌套分辨率地形或其他下边界数据的输入，则WRF模型当前被限制为开始嵌套;这个限制将在不久的将来得到解决。巢可以伸缩（嵌套在巢内）到任意水平的细化水平。垂直细化尚未实现。精化比是整数，通常为1：3。在2.0.3版本中发布了移动嵌套的原型实现。这个版本用于4公里移动巢模拟飓风伊万（2004年9月）。可以在线查看动画。高效和可扩展的嵌套实现是一个关键问题。嵌套模拟中的所有域都在同一组进程上分解，嵌套域与父进程同步运行。交换强制和反馈信息需要通信以在每个父时间步骤中跨进程散布和收集数据。此外，父域数据到嵌套点的插值是负载不平衡的，因为它仅在父域和嵌套共享的域的区域上发生。这通过首先将父域数据重新布置到存储对应的嵌套域点的过程而被部分地减轻，允许在本地和在更大数量的过程上执行内插。图2示出了覆盖嵌套边界（包括用于西北巢角的“a”和“b”）的过程的父域数据被传送到计算嵌套边界（包括过程“c”）的过程。通过同一组进程）。在重排父域数据之后，在嵌套边界处理上局部地执行父 - 嵌套网格插值。嵌套开销通过将同等大小的父域和嵌套域运行为双向交互域，然后分别作为独立的单域运行来衡量。嵌套的开销在5和8之间，取决于过程的数量，以及在并行MM5模型中观察到的15开销的目标内。大多数开销出现与内插的成本相关，其使用相对昂贵的非线性算法。移动嵌套的方法与双向嵌套相同，一些额外的逻辑添加到框架和模型代码：1.确定是否是移动的时间，如果是，移动的方向和距离。2.调整嵌套点上的点与父域上的对应点之间的关系。3.在嵌套移动的相反方向上在嵌套的2维和3维状态数组中移动数据。4.当嵌套移动到相对于父域的新位置时，初始化嵌套的前边缘。在上述步骤1中需要另外的工作以结合自动特征跟随嵌套移动机制，并且在步骤4中允许运行时间摄取嵌套分辨率下边界数据，例如在移动的前边缘上的地形和土地利用巢。最后，将解决将移动耦合到诸如海洋模型的外部模型的问题。4.I / O和型号耦合WRF ASF中的I / O和模型耦合API在WRF模型和用于I / O和数据格式化的外部软件包之间提供了一个统一的，与软件包无关的接口。用于NetCDF，并行HDF5，本地二进制和GRIB1 I / O的API的实现可运行时分配给框架的I / O流.WRF I / O和模型耦合API也支持模型耦合，在5 6下和PRISM耦合框架7中完善的一个想法。 “耦合作为I / O”是有吸引力的，因为它允许在已经存在用于I / O的模型的控制结构和接口内封装组件数据交换的细节。它需要对模型本身很少（如果有的话）修改，它容易且有效地适应于不同形式的耦合（顺序或并行），它可以在在线和离线模式之间透明地（从应用的角度）切换，耦合，并且它自然地适合于诸如网格计算的分布式计算环境。已经开发了WRF I / O和模型耦合API的两个模型耦合实现：模型耦合工具包（MCT）10是社区气候系统模型（CCSM）耦合器的基础;模型耦合环境库（MCEL）2是基于CORBA的基于客户端 - 服务器的耦合框架。图3黄海模拟的耦合图显示WRF（大气），ADCIRC（海洋环流），SWAN（波模型）和LSOM（沉积物光学）。 WRF的U和V速度为空气; U和来自ADCIRC的是水。WRF I / O和模型耦合API的MCT实现支持对WRF和区域海洋建模系统（ROMS）之间紧密耦合到适度耦合的相互作用的边界条件的定期，计划的交换。 WRF风应力和热通量被发送到海洋模型，并且从ROMS接收海表面温度。执行WRF / ROMS耦合的三个性能基准，并且耦合开销是标称的，远低于耦合系统的总运行时间的1。耦合的WRF / ROMS系统已被用于后续的科学研究，涉及14中描述的理想化的飓风涡流。 WRF / ROMS MCT实现已经在Globus工具包中的MPICH-G2库在基本的计算网格上进行了演示.1 ROMS在西雅图NOAA太平洋海洋环境实验室（PMEL）的一个Intel Linux节点上运行; WRF在博尔德NOAA预报系统实验室（FSL）的四个Linux节点上。即使在地理分布式系统中，使用基于Globus的MCT的WRF / ROMS耦合的开销也小于2。WRF I / O和模型耦合API的MCEL实现支持具有更宽范围的空间和时间尺度或者不规则的数据驱动的相互作用的模型集合的耦合。图3显示了1999年11月的一个高风力事件的黄海沿海环境的四模型模拟的输出.WRF耦合到由ADCIRC海洋和SWAN波模型组成的系统。 ADCIRC和SWAN反过来提供了一个模拟潜水员可见度的沉积和光学模型1。使用非结构化网格的ADCIRC也通过WRF I / O API与MCEL接口，以证明其适用于其他模型和网格系统。 MCEL支持并发耦合，意味着组件在不同组的处理器上同时运行。图4显示了组件之间的相互作用的时序。与MCT一样，测量的耦合开销很小。 WRF，大气，是模拟的主要成本。因此，我们从WRF大气的角度测量耦合开销。从WRF测量的耦合的成本在每个方向上每次交换仅为15-20毫秒。使用WRF在4个处理器上运行，耦合开销可以忽略不计 - 小于总运行时间的一半。在32个处理器上，耦合的开销低于运行成本的5。图4四个并发执行模型之间的数据交互时间表。耦合间隔T为1小时。地球系统建模框架，一个新兴的基于社区的标准和软件基础设施采用不同的方法来建模耦合。与将耦合处理为I / O的形式相反，ESMF组件被重构以符合顶级“符合ESMF”的组件接口。这允许基于ESMF的驱动程序控制模型初始化，集成和最终化。通过将导入和导出状态对象传递通过组件的顶层接口，可以在组件之间交换耦合数据。目前不支持多可执行的执行和与分布式和网格计算环境的兼容性。WRF适用于支持顶层接口要求，作为ESMF耦合组件进行互操作，但也将通过I / O类耦合机制通过WRF I / O和模型耦合API继续互操作。实现一种通过WRF I / O和模型耦合API呈现自身的ESMF耦合的形式也正在被探索。5. 性能 WRF软件的关键目标是在共享，分布式存储器和混合并行架构以及向量和标量处理器类型上的可移植性和效率。 WRF ASF支持两级分解策略，首先通过分布式内存补丁分解每个模型域，然后在每个补丁内通过共享内存磁贴分解。框架和模型层接口允许驱动层在任意形状和大小的矩形补丁和瓦片上分解域，为结构化计算尽可能有效地提供最大的灵活性。为了实现WRF性能可移植性的目标，在各种目标计算机平台上进行常规基准测试。图5表示2004年年底WRF性能的快照;最新的结果被维护并在web上定期更新.1图中的测试用例是在美国大陆（CONUS）域上的48小时，12km的解决方案。该域的计算成本是每平均时间步长（72秒）大约220亿个浮点操作。性能被定义为模型速度，忽略I / O和初始化成本，直接测量为在模型积分的代表性时段内每时间步长的平均成本，并且被表示为标准化浮点速率和模拟速度。这些是速度的等效测量，但是浮点速率表示速度作为相对于理论峰值能力的效率的测量，而模拟速度，模拟时间与实际时间的比率作为实际时间的测量更相关途径。 这个WRF基准的目的是证明目标架构上的WRF模型的计算性能和扩展。基准旨在提供用于比较不同架构的性能和用于将WRF计算性能和缩放与其他类似模型进行比较的手段。鉴于高性能计算硬件的不断发展和不断增加的多样性，定义什么被计为一个过程是很重要的。对于这个基准，并行过程是指令和相关状态的最细粒度序列，其产生解的可分离和不相交部分。通常，进程的数量是在给定运行期间并行执行的WRF瓦片的数量。图5 2004年底WRF性能结果。6.结论自从2004年发布以来，WRF第2版已经在研究和运营社群中越来越多地采用。除了为中尺度模拟和数据同化提供一个共同的工具，WRF项目也开始服务于更广泛的目标，促进沟通，合作和协作，特别是在区域气候，空气质量模拟和数值的WRF工作组天气预报研究。 WRF软件通过持续的工作，包括研讨会，教程，帮助台服务和在线文档为用户社区提供支持。 NCEP和空军气象局的运行实施正在进行中，NOAA / NCAR / NCAR联合发展测试中心促进了WRF项目将研究转化为运行的目标。多机构WRF开发工作的核心是WRF ASF：一个灵活，可维护，可扩展的框架，允许对各种用户，机构和应用程序的WRF软件进行快速开发，支持和维护。在全系列高性能计算系统上的可移植性和效率是一个关键目标。最后，WRF ASF及其接口的模块化设计有助于将WRF与PRISM和ESMF等社区模型基础设施工作进行模型耦合和集成。致谢M. Yang (NCSA), T. Black, N. Surgi. and S. G. Gopalakrishnan (NOAA/- NCEP), D. Schaffer, J. Middlecoff, G. Grell (NOAA/FSL), M. Bettencourt (AFRL), Shuyi Chen and David Nolan (U. Miami), Alan Wallcraft (NRL), Chris Moore (NOAA/PMEL). JIN Zhiyan (CMA), D. Barker, A. Bourgeois, C. Deluca, R. Loft (NCAR), J. Wegiel (AFWA), T. Hutchinson (WSI), R. Jacob and J. Larson (ANL).参考文献1.Allard, R., C. Barron, C.A. Blain, P. Hogan, T. Keen, L. Smedstad, A. Wallcraft, C. Berger, S. Howington, J. Smith, R. Signell, M. Bettencourt, and M. Cobb, “High Fidelity Simulation of Littoral Environments,” in proceedings of UGC 2002, June 2002.2.Bettencourt, M. T. Distributed Model Coupling Framework, in proceedings of HPDC-11,July 2002.(/gannon/- hpdc/hpdc11.html)3.Black, T., E. Rogers, Z. Janjic, H. Chuang, and G. DiMego. Forecast guidance from NCEPs high resolution nonhydrostatic mesoscale model. Preprints 15th Conference on Numerical Weather Prediction, San Antonio, TX, Amer. Meteor. Soc., J23-J24. 2002.4.Coats, C.J., J. N. McHenry, A. Lario-Gibbs, and C. D. Peters-Lidard, 1998:MCPL(): A drop-in MM5-V2 module suitable for coupling MM5 to parallel environmental mode