混合架构超算并行程序设计与应用-习题及答案ch02

第二章异构混合架构概述1.查询最新的TOP500榜单，统计超算使用的芯片类型、厂商和数量。在本次超算500强榜单当中，采用AMD芯片的超算系统总量增加到了101套，正式突破了一百大关，同比增加达到38%。在本次榜单当中，第一次进入榜单的超算系统当中，有84%的超算系统采用了AMD芯片。除了在整体数量和新进数量方面表现亮眼之外，在顶尖排名当中，AMD的表现也十分不俗，在前十当中，AMD芯片占据了四位，在前二十当中，AMD芯片占据了12位。本次排名第一的全球顶尖超算依然是美国的Frontier，而这一台超算是搭载了全套的AMD方案。处理器采用了第三代的EPYC，加速卡则是AMD的InstinctMI250X。再加上AMD刚发布不久的第四代EPYC刚开始上市就被中东部署的ShaheenIII所采用。2.目前TOP500榜单，最有名的是按照浮点计算性能排行。思考是否还有其他排序标准，以及它们侧重点的区别。除性能排行榜TOP500榜单为，大会还公布了侧重能效的Green500（全球最高能效超级计算机）榜单，排在首位的则是Henri超算。它是基于联想ThinkSystemSR670V2。CPU为Intel的Icelake架构至强Platinum8362，GPU则是NVIDIA的H10080GBPCIe显卡。3.查阅相关资料，比较GPU、DCU等加速设备之间的不同点及优缺点。CPU对于现代计算任务有几个明显的优势：灵活性——CPU是一种通用处理器，可以处理许多任务，以及多个活动之间的多任务。在许多情况下更快——在处理RAM中的数据处理、I/O操作和操作系统管理等操作时，CPU比GPU更快。精度——CPU可以支持比GPU精度更高的中等数学运算，这对于许多用例来说都很重要。高速缓存——CPU有一个很大的本地高速缓存，这让它们可以处理大量的线性指令。硬件兼容性——CPU兼容所有类型的主板和系统设计，而GPU需要专门的硬件支持。与GPU相比，CPU有以下缺点：并行处理——CPU不太擅长处理需要数百万个相同操作的任务，因为它们的并行性有限。发展较慢——CPU是一项非常成熟的技术，已经达到其发展的极|限，而GPU有更大的改进潜力。兼容性——几种类型的CPU，包括x86和ARM处理器，以及软件可能不兼容所有类型。GPU的独特优势包括：高数据吞吐量——GPU可以对许多数据点并行执行相同的操作，因此它可以以CPU无法比拟的速度处理大量数据。大规模并行—个GPU有数百个核心，使其能够执行大规模并行计算。适用于专门的用例——GPU可以为深度学习、大数据分析、基因组测序等专门任务提供巨大的加速。与CPU相比，GPU的缺点包括：多任务——GPU可以大规模执行一项任务，但不能执行通用计算任务。成本——单个GPU目前比CPU贵得多。专门的大型GPU系统成本可达数十万美元。处理复杂性——GPU可能难以处理结构不完善的任务。它们无法有效地处理分支逻辑、顺序操作或其他复杂的编程模式。4.查阅相关资料，选择3个先进超算，比较它们针对数值模拟机器学习等专业领域，在芯片设计、指令集等方面做出的优化。日本的富岳超级计算机在排名中较为靠前，但是，该计算机出现了排名不确定的问题。富岳超级计算机是由日本国家信息通信技术研究所开发的，用于芯片设计、天气预报等领域。但是，在2019年的超级计算机排名中，该计算机的排名不确定，因为该计算机的数据存在错误。此外，光环计算机研究中心研发的日本京超计算机也曾遭遇排名不确定的问题。中国的超级计算机曾经得过多次冠军。但是，在2023年的排名中，中国的超级计算机排名居于第七的位置。需要指出的是，中国的超级计算机的性能已经更新了至少超过2代以上，性能的速度之快被誉为世界最快，但是排名的确存在一定的不确定性。5.访问超算中心主页，查询手册，了解超算资源的申请方式，以及计算节点的登录和使用方式。一、申请账号首先，需要在超级计算机的官方网站上申请账号。申请时需要提供个人信息和研究领域等相关信息。申请通过后，会收到一封邮件，其中包含账号和密码等信息。二、登录系统使用超级计算机需要通过SSH协议登录系统。在Windows系统中，可以使用PuTTY等SSH客户端软件进行登录。在Linux和Mac系统中，可以使用终端进行登录。登录时需要输入账号和密码。6.完成单机的Linpack性能测试(建议使用HPL)，有条件可采用多机互连实现。linpack测试包括三类，linpack100、linpack1000和hpl。在上述三种测试中，linpack100对数组的求解规模为100阶的稠密线性代数方程组，它只允许采用编译优化选项进行优化，不得更改代码，甚至代码中的注释也不得修改。linpack1000的求解规模为1000阶的线性代数方程组，为了达到指定的精度要求，可以在不改变计算量的前提下做算法和代码上做优化。而hpl即highperformancelinpack，也叫高度并行计算基准测试，它对阶次n没有限制，即求解规模可以改变，除基本算法(计算量)不可改变外，可以采用其它任何优化方法。前两种测试运行规模较小，已不是很适合现代计算机的发展，因此现在使用较多的测试标准为hpl，而且阶次n也是linpack测试必须指明的参数。目前linpack测试中，hpl配置文件中n的取值往往会根据测试者的经验，根据内存容量的80％左右相应地取值。但由于各类服务器的实际配置和应用场景的不同，对应的最佳性能往往会存在一定偏差，使得测试结果不能达到最优。因此，需要提出一种linpack测试的优化方法，通过相应的算法在测试中选出最优的阶次n从而得到最优的测试结果。7.用OpenMP、MPI分别实现计算值的并行程序，记录串行程序和并行程序的执行时间及使用的核数。MPI可以在多个计算节点之间传递数据，并使这些节点在同一时间执行不同的计算任务，从而实现并行计算。在使用MPI进行并行计算开发时，需要将计算任务划分为多个子任务，并将这些子任务分配给不同的计算节点。每个节点都需要执行自己的计算任务，并将计算结果传递给其他节点。这需要使用MPI提供的一些函数来实现8.讨OpenMP+MPI并行(节点内用OpenMP，节点间用MPI)和纯MPI(节点内和节点间都用MPI)并行两种方案的优劣。MPI和OpenMP是两种常用的并行计算技术，它们分别用于分布式计算机系统和共享内存计算机系统中。使用这些技术可以将计算任务划分为多个子任务，并将这些子任务分配给不同的计算节点或CPU核心。这些技术提供了一些函数或指令来实现数据传输和任务分配。在实现并行计算应用时，需