多物理大规模并行程序研制.pdf

多物理大规模并行程序研制 2004 年 第 3 4 期 第 126 页 多物理大规模并行程序研制 多物理大规模并行程序研制 Jim E Morel ASCI 计划旨在发展超大规模并行的多物理程序 以便在没有核试验的情况下 能 可靠地模拟核武器行为过程 开发多物理程序用于核武器设计的任务一直进行得不顺 利 这里必须解决与时间和非线性方程相关的大型系统 而且这些方程组模拟了不同类 型的物理过程 因而 需要把整个计算过程分解成多步 其中每一步涉及的方程组只对 应单个物理过程 这样 我们把描述单个物理过程的模块联接起来 就得到了需要的总 体程序 考虑到程序研发队伍中基本上没有专家熟悉整个物理过程 这种分解的技术重 要性就可想而知了 通常 一个程序研发队伍中只有一两个人对程序中所描述的各个不 同物理过程有全面的了解 而多数小组中的专家只熟悉所开发相应模块的对应物理过 程 如今 每个程序研发小组仅在人数上有所不同 一个 ASCI 程序研发队伍通常含有 多个研发小组 由研发小组而非个人来负责单个物理过程模块 将整体过程分解为一系 列单个物理过程求解 这种传统的计算技术依然用于 ASCI 计划中的程序研发 人们称 之为算子分裂 为了示范这种作法 我们需要对时间离散的基本概念稍作回忆 人们一般是通过一 个线性化过程 加之对非线性项的迭代来求解非性系统的 特别是非线性方程要用线性 方程来近似 每求解一个线性方程组 非线性项得到更新 重复这样的过程直至解收敛 为了理解算子分裂 我们仅需要求解线性方程组 下面我们回顾一下时间离散的基本概 念 虽然通常对方程的离散是针对所有变量进行的 但为了突出算子分裂 我们没必要 明显给出空间变量的离散 例如 考虑与时间相关的线性系统 Af t f 1 其中 f 是未知函数 t 是时间 A 是线性算子 一个完全显式的离散形式如下 n n Af t nff 1 2 其中 n 是时间指标 nn ttt 1 是时间步长 n t是一个时间步的开始时间 1 n t是终 止时间 上述方程的求解本质上就是作用A于 n f上 所以工作量不大 nnn Aftff 1 3 然而显式方法在时间步长不够小时一般是不稳定的 这种小步长的限制对有些物理过程 2004 年 第 3 4 期 国外核武器研究 第 127 页 如有强激波的流体计算 是可以接受的 但对某些物理过程 如辐射输运计算 是不 可忍受的 为了得出无条件稳定计算方法 必须采用时间全隐式离散格式 1 1 n n Af t nff 4 它的计算量一般要比显式大得多 因为要求一个作用于 n f的逆算子 nn fAtIf 11 5 假设求解两个耦合的方程 譬如求等离子体中的电子与离子温度方程 eiee e ve TTTK t T C rr 6a 与 ieii i vi TTTK t T C rr 6b 这里Te是电子温度 Ti是离子温度 Cve和Cvi分别是电子与离子的热容 Ke和Ki分别 是电子与离子的热传导系数 是耦合系数 其刻画了电子与离子间内能的互相转换 虽然现在的计算机有能力求解如下的全隐式离散方程 1111 n e n i n ee n e n e ve TTTKTT t C rr 7a 与 1111 n i n e n ii n i n i vi TTTKTT t C rr 7b 但是求解并非总是很容易 分裂算法就是将求解方程 6a 和 6b 的过程分解成求解 一系列稍微简单点的子过程 譬如 先计算电子部分 2 1 2 1 n ee n e n e ve TKTT t C rr 8 然后计算离子 2 1 2 1 n ii n i n i vi TKTT t C rr 9 然后耦合 11 2 1 1 n e n i n e n e ve TTTT t C 10a 与 11 2 1 1 n i n e n i n i vi TTTT t C 10b 多物理大规模并行程序研制 2004 年 第 3 4 期 第 128 页 10 式这样的耦合 我们称为局部耦合 因为它的计算不像 8 和 9 式那样在空 间上涉及相邻网格 与非局部耦合相比 这种局部耦合容易计算 也易于并行化 由 8 到 10b 我们可以得出半隐的差分方程 因为先一步已完成了算子的作 用 11 2 1 1 n e n i n ee n e n e ve TTTKTT t C rr 11a 与 11 2 1 1 n i n e n ii n i n i vi TTTKTT t C rr 11b 由于每个求解步是全隐格式 整体求解过程是无条件稳定的 而且分裂过程所得整 体解与全隐格式所得解在精度上几乎是一样的 除非被分裂成子过程的解在两步或多步 中是近似相等或反差很大的极端情况 如果出现极端情况 时间步长要取得比全隐式时 小得多 另外 分裂算法在处理一些渐近极限时也会遇到困难 近年来 出现一种全隐 计算的技术可以替代算子分裂方法 在原则上可用来处理多物理的大型系统 即 Newton Krglov方法 在此不进行详细讨论 但是可以肯定地说在ASCI计划的程序工 程中尚未充分考虑 然而 它可以作为长期工作的一个选择 短期内ASCI计划仍然依 赖算子分裂方法 同时尝试深入理解算子分裂的不足并进行改善 上面的例子说明 算子分裂也可用于将耦合的多物理计算过程分裂成一系列局部耦 合的单个物理过程求解 例如 在辐射流体计算中 可以先进行流体计算 然后转辐射 输运计算 最后是局部耦合计算 这种方法 可以独立研发流体与辐射软件模块 也很 容易将这两者耦合起来 但是 这并不意味着流体与辐射输运研发小组可以完全独立进 行 直至它们完成各自的模块后再进行耦合 在编写程序之前 必须进行充分规划和协 调 以确保各自数值计算处理的相容性 例如 当在流体计算中把温度定义于网格单元 中心 如果在辐射计算中也这样定义 那么很容易耦合这些软件模块 而且计算的整体 精度也可能最高 相对于串行计算或向量式计算 为了确保相容性 多物理大规模并行计算中不同物 理过程程序研发小组间的规划和协调要复杂得多 原因是在多处理器的分布式计算机 上 为了获得最优计算性能 对应于不同物理建模的程序模块常常需要在处理器上使用 不同的数据分配模式 分布式计算机将数据存贮在每个处理器上 其数据分配就将数据 映射到处理器上 在很多情况下 每一个数据只与一个空间单元有关 所以这时只要分 配空间单元于每个处理器即可 相关信息也变得更加直观 我们通过对网格进行着色以 显示网格和处理器的映射关系 这实际就是空间区域分解 例如 三维流体计算的矩形 网格区域分解如图1 a 辐射计算的矩形网格区域分解如图1 b 可以从颜色看出单元 2004 年 第 3 4 期 国外核武器研究 第 129 页 的分配模式是完全不同的 所以 在流体与辐射计算中两者所需数据必须重新分配 这 显然使得耦合计算更加复杂 有一段时间 人们甚至认为它是不可忍受的 但ASCI的 计算经验表明只要被耦合的两个过程的计算量充分大 这种重新分配便不成为问题 毫 无疑问 流体与辐射计算正是这种情况 使多物理大规模并行程序研制变得极其复杂的另一个问题是程序本身的研发问题 因为在其研制过程中必须考虑数据的传递 相对于串行机或向量机而言 这就又增加了 程序研制的复杂性 如今 在ASCI程序研制队伍中工作的物理学家 需要更多的计算 机及程序语言方面的知识 这与以前在串行机或向量机上的程序开发完全不同 同时 也对参加程序研制的新的科研人员提出了更高要求 需要进行更多的培训 虽然已有对 武器设计人员的正规培训计划 但是还没有软件开发方面的培训计划 虽然我们在软件 开发平台上做了很多努力 希望在没有更多计算机知识的情况下 每个人都可以进行并 行程序研制 但是这样的一些措施对ASCI计划中的多物理程序研制并非十分有效 最后 人们要求ASCI计划的程序研制时间周期远远短于传统武器程序的研制时间 其原因是现在每一个程序研制队伍中都有数十人 然而 目前我们这么多人却在按照传 统模式进行程序研发 但这种开发模式只适应于小规模 而不适用于大规模 还没有一 个研发小组找到更好的办法 没有一个ASCI计划中的程序开发小组找到一种可以有效 地 充分地利用组内人力资源的方法 这是一个行政问题而不是技术问题 但其重要性 可以和ASCI中任何技术问题相比 困难程度也一样 而且 因为大家都在忙于研制程 序的关键模块而没有精力投入对程序开发过程的研究 所以上述问题越来越严重 最新 的ASCI计划要求进行程序开发过程及开发环境的研究 我们也希望从其它大规模计划 实施中得到经验 如SIDAC a 流体动力学 b 辐射输运 图 1 流体动力学与辐射输运的空间畴分解 一个 3 维矩形网格被分成 8 个计算畴 用不同颜色表示 将每个计算畴分配到不同的处理 器 一次流体动力学计算 a 的最佳划分与辐射输运 b 截然不同 多物理大规模并行程序研制 2004 年 第 3 4 期 第 130 页 Jim Morel 于 1972 年在路易斯安那州立大学获数学学士学位 1979 年在新 墨西哥州立大学获核工程学博士学位 1974