Future Directions for Adaptive Mesh Refinement in ASCI and Other LLNL Simulation Projects.doc

自适应网格加密在ASCI和其他LLNL仿真工程的未来方向摘要我们已经调查了劳伦斯利弗莫尔国家实验室的各种计算应用测试自适应网格加密（AMR）研究和模拟技术。AMR的技术最初开发来用双曲方程组的数值计算解决流体动力学。但是，科学家现在开始将这AMR的方法用到新的应用领域，包括通过双曲线和椭圆/抛物型方程，中子运输，即结合不同的物理模型的混合方法（例如，离散和连续）建模问题，任意拉格朗日-欧拉（ALE）方法。扩展传统的AMR方法至这些应用领域，则需要对数值方法、算法、快速的线性和非线性求解器、并行化技术和软件框架的更好的理解。未来需要为这次调查提供了持续AMR研究在应用科学计算中心（CASC）的基础。在支持ASCI和其他实验室等方面作用巨大。在其他实验室的ASCI和演讲努力的支持。为此，我们已经开始了一个平行的原型设计框架的开发项目。这将促进数值和算法在AMR应用的探索，而且能使科学家迅速的探索现有AMR技术的扩展。1 简介这份报告详细介绍了劳伦斯利弗莫尔国家实验室（LLNL）的各种代码的努力，要么采用目前的自适应网格加密（AMR）或使用该计划的AMR的调查结果。这次调查的目标是为确定在LLNL的AMR的计算需要，并确定在发展方面的共同主题。这项调查提供了ASCI在应用科学计算中心（CASC）正在进行中的AMR研究和其他实验室工作的支持基础。建设的AMR是对各种系统的数值解决方案的计算技术的支持，这些系统是在计算域内利用不同程度的空间的及颞的决议的偏微分方程 。如果关注计算机资源（cpu时间和记忆），在它们需求最大的局部基于数值精度要求的计算域，AMR是一个重要的技术。这个技术需要大量的在物理和数值上易分辨的，三维的asci模拟支持。已构建好的AMR方法是植根于Berger，Colella和Oliger工作。这个词的构成是指逻辑矩阵块区的使用。局部解决方法是实施经由一个层级，这个层级上的计算网格与每个级别相关联的一个块区集合。结构性AMR的最初推出应用流体力学。最近，结构性AMR已成功地应用于流体动力学，多孔介质流，非线性固体力学，中子输运，剪切带的形成。还有其他的AMR应用方法，例如非结构化细化和结构化细化，这是与数值方法和软件支持根本上的不同。在这次调查中，我们针对权衡各种方法和重要推理的优缺点一个一个的选择方法。经验表明，AMR应用相比采用统一的计算网格的代码要求大量复杂的程序设计和较长的开发时间。基于这个调查的结果，为了用CASC建设的AMR，我们正在发展一个普遍的，灵活的，平行的软件框架。这个框架将会为方便将来的AMR研究和发展提供一个重要的工具。我们的目标是提供一个可用的易延展的软件框架，这个框架可以支持各种对实验室的兴趣的应用。这个基础设施将会为用CASC的数值和算法的探究的基础的AMR提供一个环境。还会为在各种实验室计划下的特定应用的AMR发展提供一个基础。thk方法的优点包括：降低了代码发展的时间，更广泛深入的研究了AMR应用的数值方法。这份报告包括五个部分和一个附录。在第2节中，我们简要描述非结构化、结构化的单元和基于片区的结构化AMR方法。第3节提供了一个更详细的AMR的介绍，用以构建由Berger，Colella和Oliger开发的AMR技术。在第4节从我们的AMR的调查结果，目前需要的ASCI和其他代码在LLNL的发展而努力。我们描述关注有关各个代码组，为我们提出的AMR工作提出一个研究问题和潜在的影响的总结。我们主张结构化的AMR的使用，我们的讨论围绕着我们认为很便利的应用的这种自适应细分的类型。第5节对CASC的AMR架构的开发工作的简要概述。特别是，这次调查是由设计原则制定后，进行认真的审议后的结果。最后，附录A介绍了基本辐射流体力学方程组的运输和使用的两个应用。图表1：结构化网格层次AMR的三级分解，说明不同的层次细化。中间和最细的水平层是组成三个片区。最粗的一级由单一的片区组成。所有片区的界限都用粗线段标明，粗网格由细网格所涵盖的阴影所组成。2 自适应网格加密方法论数值模拟，特别是那些需要在复杂的三维空间物理里，往往是计算密集型。通常情况下，才需要高分辨力的部分计算本地化域。因此，一个网格，均匀而且不全面的覆盖整个域的物理现象。自适应网格细化着重在计算工作近局部现象需要的地方。通过支持空间和，在某些情况下，时间，以高效，直观的方式细化，局部加密可以提供希望与计算成本降低分辨率（以内存和执行时间）。在本节中，我们描述了三个主要的AMR的方法：结构化的片区的细化，结构化单元细化和非结构化细化。2.1 结构化的细化结构化AMR的方法（我们在第3节中更详细说明）采用了层次结构。结构化AMR的提供了一个环境，使一个小数目计算丰富的任务（在业务方面在一个精致的区块中定义）可以被组织在一个高度结构化的方式。在这个层次中的每个单元都聚集计算，形成一个集合在逻辑上矩形的修补程序。网格的层次水平使一个抽象的粗整数格单元指数的计算域空间。每个成功的精细程度，又是一本精致全球指数的空间。区块数据依赖中描述了这些抽象的指数空间而言大大简化簿记。图1说明了AMR的网格结构简单而明显细化程度是分开的。图2显示了扁平复合网格配置突出局部的空间细化。图表2：与分解式的图形相关的符合网格设置，这种扁平的观点表明了局部空间的细化2.2 非结构化的细化其他不是基于区块方法的局部网格方法已经开发为各种应用。这些局部加密策略可以分成两类，我们应称之为非结构化和单元。这些方法不是群集着单元形成的区块，而是单独管理单元。因此，非结构化和单元的方法需是根本上不同于以区块为基础网格和数据管理结构的方法。在大多数情况下，这些替代方法不能利用简单的一个抽象的索引空间概念去管理数据间的传递。因此，管理的网格结构和高度耦合的数据，更复杂的运作，并要求数据结构显着的结构比AMR更为复杂。非结构化细化算法通常集中在通用有限元网格，其中节点可在任意位置和连接性等特性。图3显示，它提供非结构网格对比图2中的显示。由于计算节点，因此，数据，都没有安排在一个普通的连接模式，相邻节点之间的通信涉及相当大的管理间接寻址。这种非结构化间接寻址可以在现代高速缓存的计算机体系结构上导致严重的性能问题，这是由于有限的内存带宽和延迟，以及需要高度的缓存的位置，有效地利用浮点单元。此外，由于描述网格的结构非常复杂，图的连通性信息往往必须分布在处理器并行执行的内存，尤其是对网格的动态变化。因此，通信和数据依赖问题解决，就可以大大非结构化的方法，当相对于结构化方法更昂贵的时候。此外，非结构网格应用程序不容易的支持，因为本地时间细化非结构化网格相关的数据不存储在一个层次对应不同的使用细化的水平。因此，非结构化细化已被用来单独的获得局部准确的空间，求解椭圆型偏微分方程（PDE）的或隐式时间积分。这样做的，非结构化的方法往往试图获得一个固定的费用（例如，一个固定的最大精度单元的数量计算）。Riide提出了一个有趣的自适应细分方法该解决方案构建在一个迭代过程的有限元空间层次结构，以满足精度要求椭圆偏微分方程。不过，目前尚不清楚这是否适用于解决本地时间细化这一问题。单元的方法，计算个别细分单元，但单元具有相同的几何形状和规律的连接性，如图4所示。网格配置管理通过树形数据结构，保持单元之间的父子关系。因此，数据管理可以解释分层方式方面的基本网格，所以不同网格细化水平可以认为是相对容易。因此，这种改进方法支持时间格是相当简单的改进方式。图5显示了亲子分解视图关系对于图4复合网格的配置。虚线箭头表示某种子亲联系。在单元的方法，没有试图向群集的细化区块去开发数据局部性，就像已经完成的构造法一样。该结构的缺乏管理，使更多的数据管理和并行变得复杂，引入了更多间接的过多的和相应的性能问题，但在HP-自适应细分技术的应用在双曲线在这种模式的问题上已取得实质性进展。2.3 结构化和非结构化方法的选择有几个应用相关的理由去选择三个自适应网格加密方法之一。权衡各种情况涉及实施的难易，缓存利用率和单处理器的性能，并行效率和易用性，适用数值方法的效率和准确性。单个单元的方法需要复杂的基于指针的数据结构来管理小区间传递。在这些较少的结构方法，计算任务必须由操相互关联的单个的网格单元来操作完成。这种不规则的差分结果和广泛的对间接的寻址解决检索邻近单元存储的信息的使用。如果配置不够细化复杂，簿记开销可能控制有用的计算工作。与块区方法相比，非结构化和单元到单元的方法也许能够更容易地适应复杂的几何学和制作更少的计算域细化区域。为了保持逻辑矩阵块区结构，结构化的自适应网格加密通常细化比适当的解决方案更多的单元。因此，低结构化方法可能看起来允许更有效率的细化复杂的物理特性。然而，最近的重要工作表明，结构化的局部细化对包括不规则的形状区域是适当的。与其他科学计算应用程序的细化策略相比以块区为基础的结构化自适应网格加密方法有多个好处。1.块区使用局部的数据。数值核心可以编程为统一的计算网格，因为数据被存贮为逻辑矩阵数列。2.块区的位置和大小以及沟通的深度，可以很容易的借助简单的区域微积分运算基于抽象的索引空间所表现出来。3.数据可以容易地分布在并行程序块中。因为自适应网格加密过程层级结构(基于抽象的索引空间)可以简洁的表现出来，结构的信息可以借助内存处理器进行复制。因而，传递的方式表现出块区间的数据可以并行的进行计算，而并没有进程间的通信。4.由于与自适应相关的数据被存贮在一个与网格细化水平面层级相应的掌权者下面，局部的时间细化运算可以用一根简单的，递归的方式来进行。5.用来解决关于自适应网格配置的方程式数值程序容易与自适应网格加密数据结构区分开来。6.数据逻辑矩阵列非常适合用来设计和执行有效和正确的计算方案程序，例如激波捕捉计划方案和分等级的多重网格代数程序6,57,44。2.4 总结总的来说，自适应网格加密显著的减少了数据仿真计算的成本。权衡执行自适应运算比对统一的网格使用软件需求需要更大的设计努力和复杂性。自适应网格加密的三种不同类型可以如上描述，相比其他依据数据管理和计算效率，结构化的方法有其更为真实的好处，特别是对于那些可以使用局部时间细化的应用程序而言更是如此。此外，我们相信这种方法能够十分普遍的应用于绝大多数当前考虑的应用程序较小的结构细化方法。3 结构化自适应网格加密的概述我们所描述的结构化自适应网格加密方法是基于Berger，Colella和Oliger6,7所引入的方法论提出的。结构化的自适应网格被设置为局部嵌套的加密网格的一个水平面层级。每一个水平面都是由一组平行六面体区域所组成，每一个由网格单元的理论逻辑矩形串所构成的水平面也称作为一个块区。除粗粒度之外的任一水平面上块区的结构配置都是由下一个粗粒度水平面上的单元集合所决定的。也就是说，块区是依据粗粒度网格指标空间递归优化而定义的。嵌套加密是指于在某一水平面上的块区组合与下一个粗粒度水平面相对应的块区组合之间的这样一种情形，假如这种情形确实存在的话。此种网格结构的例子如下图像2所示。3.1 时间细化在传统的自适应网格加密方案中，双曲线守恒定律系统通过显式微积分方法与时间进行整合。时间在和一般水平面层级进行整合时，需要精确的时间来满足各种不同水平面网格层级空间精度下的Courant-Friedrichs-Lewy(CFL)条件。时间积分整合过程可视为是关于某一水平面层级上的数据和继承性更好的水平面上的数据的递归算法。某一特定水平面上数据的递归算法过程如下：1.为该水平面上数据的积分确定初始时间增量。2.循环当前水平面上的时间量度，直到当前水平面上的模拟时间达到下一个粗粒度水平面上的新的模拟时间为止。每一个时间量度可能会使用到不同的时间增量(基于解决方案的变化和CFL情形的稳定性要求)。(a) 通过结合时间量度的时间增量推进当前网格水平面上的块区 (例如：守恒定律积分)。(b) 如果前述存在的话，通过递归调用方法整合当前水平面，以推进至下一个比当前水平面更好的水平面上的新时间。(c) 假如合适的话，考虑将所有好的水平面与当前水平面做比对。3. 当时间量度循环结束时，将当前水平面上的解决方案与下一个粗粒度水平面进行同步。图6：假设细化时间量度序列的比率为4。在这里，我们有三个网格级别：粗粒度，优粒度和中间粒度。圆圈表示时间量度和水平面层级开始趋向好的水平面层级的发起处。网格间隔为2。注意到中间粒度的步骤38后，我们顺势从步骤22之后的粗粒度水平面层级重回递归调用口令。图6举例说明了一个关于三个水平面层级网格细化问题的假定时间量度序列 (从粗粒度到优粒度分别标识为0,1和2)。图中的数字表示三个水平面网格上时间量度的顺序。时间层级的递归过程开始于最粗粒度水平面层级。然后，结合水平面层级0，对这些水平面层级重复申请时间量度递归运算，直到水平面层级1和2被推进到新时间。在某个特定水平面层级上推演时间积分之前，算法必须计算一个合适的时间增量。使用清晰常用的微积分法的标准步骤调用CFL情形。这种方法满足在可能会在某个特殊的网格水平面层级上最大的稳定时间增量。被CFL情形要求的小些的时间增量将会最可能被用来促进再次处理和同一层次下不同水平面的同步。如果当前水平面是层次结构中最优秀的，并且该水平面不允许再次进行细化，那么算法可以任意使用在数据稳定性要求下的最大时间增量值。如果确定水平面层级还能进行细化，不管使用何种方法，那么时间量度的数值由经常被选择的水平面之间的网格细化比率的除数决定。由于自适应网格加密范围扩展至新的问题领域，新的时间量度选择方法和时间积分程序也将被有所要求25,26。3.2 边界信息的传递自适应网格加密需要重要考虑的因素之一是边界信息在细化块区网格层级组合之间的适当传递。邻近的数据单元间的信息传递要早于任何一个块区操作行为。因此边界数据传递的有效性和可靠性是至关重要的。用来传递边界信息的方法也必须是非常普通的，因为结构化的网格配置相当的复杂。在结构化的自适应网格加密方法中，每一个块区都被“幽灵单元”所层层包围着。这些“幽灵单元”在不同因素细节条件物理边界条件和粗-细粒度分界面条件下完全的分离开来；因此，在不同层级结构中对所有块区的数字处理在本质上是相同的。图7：在自适应网格加密过程中“幽灵数据单元”的潜在来源。被虚线段分割的区域和最近的块区计算域边界(左边黑体垂直线)含有“幽灵单元”的填充。有些“幽灵单元”充满了直接从内部邻近的优化块区中复制的数据，有的由指定的物理边界数据计算域填充。其余的“幽灵单元”充满了来自粗粒度水平面层级的时间和空间价值数据。4 自适应网格加密代码工作的综述自适应网格模拟技术领域的研究是由应用科学计算中心是由在 LLNL的ASCI（美国高级战略计算机）和非ASCI代码需要下展开的。我们已经调查了下面的代码工作，以更好地了解当前和未来的计算要求：前四个代码的ASCI项目，模拟一些辐射转移和流体力学方程组（见附件）的形式。在这四个中，只有Ardra和ARES是基于结构化网格，因此，成为结构性自适应网格加密的候选。ALE3D和KULL采用适应性非结构性网格类型的替代技术，因此，它们需要不同的数值方法和软件框架。AMTRAN在B组的一个生产中子代码，目前利用了空间网格形式直接耦合到离散坐标的数值方法。由于AMTRAN是一个有点成熟的代码，CASC明显不会去干这个工作。ParFlow是一个地下仿真项目，旨在对水文应用。Ardra分析中子输运代码是一个用于研究的核测井，托卡马克反应器流场和医疗的应用。DSMC /NS（直接仿真蒙地卡罗/纳维斯托克斯）的工作包括多物理场仿真模块由Alejandro Garcia亚历杭德罗加西亚（圣何塞州立大学物理系）和Berni Alder（LLNL的）主持。这些工作都使用了结构计算网格，因此，他们为我们的结构性AMR的项目提供了优秀的测试问题。在我们的调查中，我们有包括两个CASC代码和多物理场仿真模块应用，以便更好地了解什么类型的AMR技术可能在未来所需要。我们专注于ASCI代码，以及许多有趣、独特的涉及Ardra，ParFlow和混合应用程序代码计算问题，是为了分析越加重要的ASCI，是将变得更加复杂的物理引入仿真模型。例如，DSMC/NS 的Garcia 和 Alder模型流体流动项目使用两种不同的物理模型。DSMC /NS模拟流体通过直接基于随机粒子相互作用的模拟蒙特卡罗方法在稀薄的地区的流动;其他水流动态解决了标准Navier-Stokes方程。Garaizar已研制出一种AMR的算法，它结合了基于离散本构关系的弹性/塑性连续模型，来研究颗粒材料的剪切带构造。 H部分有兴趣从事于在裂纹扩展和断裂的地区的类似多物理场模型的模拟。这里，使用原子力方法，按照实验原子间力法则，模拟裂纹尖端的将会被模仿，反之，材料大部分将使用标准连续方程组。ARDRA分析应用的局部网格细化，要求对引进到复合网格配置统一电网发展强劲预条件的延伸。在这方面的研究将适用于中子的ASCI的努力，使用某种形式的局部网格细化的需要。在以下五个部分，我们描述了Odyssey, ARES,，ParFlow，ARDRA分析和混合应用的详细计划。对于每一个努力，我们目前的模型方程与数值方法，软件实施，并来自于CASC的潜在贡献。 4.6节里总结的各种工作，我们的代码可能的贡献，并概述了的研究问题。4.1 Odyssey奥德赛是对流体力学和辐射扩散研究的ASCI快速原型代码的A组。它是基于以前的AMR在应用数学集团（AMG的）的开发上形成的。尽管AMR在流体力学问题方面是一种成熟的方法，但尚未被应用对涉及耦合辐射扩散处理的应用程序。因此，奥德赛是打算作为实验平台探索正在使用中的拉格朗日或ALE（任意拉格朗日欧拉）技术。目前的开发团队是由下列人员：4.1.1奥德赛模型方程与数值方法通过奥德赛开发团队为蓝本的方法是基于耦合辐射扩散流体动力学方程描述，并在附录中描述细节。从长远来看，该代码将包含中子输运，蒙特卡罗运输，射线追踪（激光能量沉积），以及复杂的材料建模。然而，最直接的问题是：（1）制定切实可行的迭代程序解决方案应用于辐射扩散方程离散化，（2）产生线性方程组并行分布式内存架构的代码（例如，ASCI的蓝色太平洋），（3）对于合并后的扩散和辐射流体力学模拟确定合适的连接方法。4.1.2奥德赛代码结构奥德赛开始作为AMR的流体力学代码的衍生物。部分的代码保留的某些BoxLib的C + 的功能。这已被修改，以符合该条约的框架，模拟LLNL的发展12。大多数宏观的奥德赛是用C +写的，而数值内核是用C写的。与BoxLib结构相似，奥德赛数据分布方面，使用逻辑矩形区块（patches）代表众多未知的区块。 对于共享内存的机器上并行执行，奥德赛采用了bag-of-tasks模式。所有块区被整合是一个共享的工作队列中。当处理器的面世，从根本上消除了一个块区从工作队列。而且执行所需的计算工作。这种类型的方法是共享具有一个平面内存模型的内存机器，如克雷J90(CRAY J90)。但是，共享工作队列方式不能扩展到基于缓存的共享内存的机器，因为工作任务可能在处理器内存之间迁移。4.2 ARESARES是一个B组下发展的ASCI辐射扩散和流体力学代码。这代码扩展了以往CALE的代码的功能，以解决三维空间的问题。ARES和CALE都是用了ALE（任意拉格朗日欧拉）数值技术，这种技术已被广泛用于的实验室开发的代码。目前ARES开发团队包括下列人员：4.2.1ARES模型方程与数值方法ARES的物理模型是基于耦合辐射扩散和流体力学方程描述，这些在附录中可见。这些方程类似Odyssey。Odyssey和ARES之间的主要区别在于解决方法：Odyssey采用了含有自适应网格的欧拉解决方案，而ARES采用ALE方法，即采用了与移动流场的网格。4.2.2 ARES代码结构像它的前身CALE一样，ARES是用C编写，采用ALE的一体化战略的块结构计算网格。这些区块都围绕着“幽灵”地带指定边界条件。该边界的存在是屏蔽尽可能多的用户，这是指开发人员的实际节点指标，而不是幽灵指数。所有