《高性能计算集群系统效能评测与调优》教学设计（计算机科学与技术专业硕士研究生）

《高性能计算集群系统效能评测与调优》教学设计（计算机科学与技术专业硕士研究生）

  一、设计理念与依据

  本教学设计立足于“新工科”建设背景下对高层次、复合型计算系统人才的迫切需求，深度融合计算机体系结构、并行计算、系统软件与性能工程等多学科知识。设计遵循“成果导向教育（OBE）”与“探究式深度学习（IDL）”理念，以真实的科研与工程问题（如大规模科学计算、人工智能模型训练）为驱动，将集群绩效评估从单纯的理论知识传授，升华为一个涵盖系统观测、建模分析、瓶颈诊断与优化决策的完整系统工程实践能力培养过程。课程旨在打破传统教学中硬件、软件、应用分离的藩篱，引导学生建立“自上而下（应用需求-系统行为）”与“自下而上（硬件事件-系统性能）”双向贯通的系统级思维，掌握在复杂、不确定性的真实环境中进行科学评估与效能调优的方法论。

  二、教学目标

  （一）核心素养与高阶思维目标

  1.系统思维与抽象能力：能够将复杂的集群系统抽象为多层次的性能模型（如Roofline模型、排队网络模型），理解各层级（应用、运行时、通信库、操作系统、硬件）之间的相互作用与性能耦合关系。

  2.工程实践与创新能力：能够独立设计并执行严谨的集群性能评测实验，熟练运用先进的性能剖析工具链，从海量性能数据中定位瓶颈、分析根因，并创造性地提出并验证多种可能的优化策略。

  3.科学分析与量化评估能力：掌握性能分析的基本科学方法，理解性能指标（如浮点算力、带宽、延迟、扩展效率）的物理意义与局限性，能够基于统计方法合理解读性能数据，撰写符合学术规范与技术标准的性能评估报告。

  4.伦理与职业素养：理解性能评估中的公平性、可重复性与透明度原则，关注能效优化背后的绿色计算社会责任，培养严谨、求实的工程师精神。

  （二）知识目标

  1.深入理解现代高性能计算集群的体系结构特点，包括异构计算节点（CPU/GPU/其他加速器）、多层次互联网络（InfiniBand,Omni-Path）、并行文件系统等关键组件的性能特性。

  2.系统掌握主流的性能评测指标体系，包括面向系统的（Linpack,HPCG,IO-500）、面向组件的（STREAM,OSUMicro-Benchmarks）和面向应用的（自定义性能指标）基准测试程序集。

  3.精通全栈性能剖析工具，包括硬件性能计数器（如PAPI,perf）、MPI性能分析工具（如IntelTraceAnalyzer,Vampir）、应用级剖析器（如gprof,VTune,NVIDIANsight）以及系统级监控工具（如Ganglia,Prometheus）。

  4.掌握经典的性能分析模型与方法，如Amdahl定律、Gustafson定律、Roofline模型、负载不平衡分析、通信开销分析等，并能将其应用于实际性能问题的诊断。

  （三）能力目标

  1.能够根据特定应用场景的需求，设计并实施完整的性能评测方案，包括测试环境准备、基准选择、参数配置、数据采集与预处理。

  2.能够综合运用多种剖析工具，对并行应用程序进行深度性能诊断，准确识别计算瓶颈、通信瓶颈、内存瓶颈或I/O瓶颈。

  3.能够基于瓶颈分析结果，提出针对算法、并行策略、数据布局、通信优化、系统配置等多方面的具体优化建议，并通过实验验证优化效果。

  4.能够以清晰、专业的方式，口头及书面呈现性能评估结果、分析过程和优化结论。

  三、学情分析

  本课程面向计算机科学与技术专业全日制硕士研究生。学生已具备以下前置知识与能力：坚实的计算机组成原理与操作系统基础；良好的数据结构和算法基础；熟悉至少一种并行编程模型（如MPI、OpenMP或CUDA）；具备基本的Linux系统操作和脚本编程能力。

  然而，学生普遍存在以下学习挑战：对大规模复杂系统的整体性能行为缺乏直观认知和系统性理解；性能分析经验多局限于简单的程序计时，对全栈、多维度的性能数据关联分析能力薄弱；面对真实应用中非理想化的性能问题（如扩展性突降、性能抖动）时，缺乏系统性的诊断思路和有效工具的支持；优化方案往往停留在代码层面，对系统层、运行时层的协同优化考虑不足。

  因此，本教学设计的重点在于搭建从理论到实践的桥梁，通过精心设计的渐进式实践项目，引导学生经历“认知-分析-诊断-优化-报告”的完整工作流程，在解决真实问题的过程中，整合碎片化知识，构建系统化的性能工程能力。

  四、教学重难点

  教学重点：

  1.集群性能评估的完整方法论框架：从目标定义、指标选择、工具使用、数据采集到分析报告的标准化流程。

  2.多层次性能瓶颈的协同诊断技术：如何关联应用层性能表象与底层硬件/系统事件，准确定位根本原因。

  3.基于性能模型的定量分析能力：运用Roofline等模型，对应用程序的性能上限和优化潜力进行理论预测与实证分析。

  教学难点：

  1.性能数据的多维度解读与噪声处理：理解性能波动的原因，区分系统性瓶颈与随机干扰，做出合理推断。

  2.复杂交互式瓶颈的分解与归因：例如，通信-计算重叠不佳、内存带宽竞争、I/O与计算流水线失衡等复合问题。

  3.优化方案的权衡与决策：在性能提升、编程复杂性、可移植性、能耗等多目标约束下，评估并选择最合适的优化策略。

  五、教学资源与环境

  1.硬件环境：接入包含至少32个计算节点（配备多核CPU及高性能GPU）、高速InfiniBand网络、并行存储（如Lustre）的高性能计算集群实验室。每个节点部署完善的性能计数器支持。

  2.软件环境：集群管理系统（如Slurm）、完整的并行编程环境（IntelMPI,OpenMPI,CUDAToolkit）、性能剖析工具套件（IntelVTuneAmplifier,NVIDIANsightSystems/Compute,Score-P+Cube,TAU,Extrae+Paraver）、系统监控仪表盘（Grafana+Prometheus）。

  3.案例库：包含典型计算模式（稠密/稀疏线性代数、粒子方法、谱方法、深度学习训练/推理）的基准程序及代表性科学计算应用（如CP2K,OpenFOAM,GROMACS,TensorFlow/PyTorch分布式训练脚本）。

  4.教学材料：自编讲义与实验指导书、经典论文选读（如Roofline模型原论文、Top500/HPCG报告）、性能优化最佳实践白皮书、在线性能分析工具官方文档。

  六、教学实施过程（总计32学时，含理论讲授、实验研讨与项目实践）

  第一单元：绪论与性能评估基础（4学时）

  1.场景导入与问题提出（1学时）：播放一段关于前沿科研（如气候变化模拟、新药发现）严重依赖超算资源且面临算力瓶颈的短片。引出核心问题：“我们如何客观地评价一个价值数千万乃至上亿的集群是否‘物尽其用’？如何让应用在集群上‘跑得更快’？”明确本课程的核心价值——从“集群使用者”转变为“集群效能医生与优化师”。

  2.性能评估导论（1学时）：系统阐述性能评估的目的（采购决策、验收测试、系统调优、应用优化）。辨析关键术语：性能vs效率、基准测试vs剖析、延迟vs吞吐量、弱扩展vs强扩展。介绍性能评估的基本流程：目标定义->工作负载选择->指标确定->环境配置->实验执行->数据分析->报告撰写。

  3.集群体系结构回顾与性能特征（2学时）：深入剖析现代HPC集群的“器官”与“经络”。重点讲解：（1）多核/众核处理器架构（CPU微架构、GPUSM架构）与内存层次结构（缓存、NUMA）的性能特点及关键指标（峰值算力、内存带宽、缓存延迟）；（2）高速互连网络的拓扑与通信模型（点对点、集合通信）的性能特性（带宽、延迟、消息速率）；（3）并行文件系统的I/O性能模型。强调“木桶原理”在集群性能中的体现。

  第二单元：性能评测工具箱（一）——基准测试（6学时）

  1.基准测试原理与分类（1学时）：讲解合成基准、内核基准、应用基准的区别与适用场景。强调基准测试的可重复性、可比性与代表性原则。分析基准测试常见的误区（如过度优化、不具代表性）。

  2.系统级基准测试实践（2学时）：学生以小组形式，在真实集群上运行HPL（Linpack）和HPCG基准测试。任务：（1）根据集群配置，理论估算HPL的预期性能；（2）实际运行并获取结果，计算集群的实测浮点性能与理论峰值性能的比值（效率）；（3）对比HPL与HPCG的结果，分析两者差异所反映出的不同系统性能侧面（计算密集vs内存访问/通信密集）。（4）使用系统监控工具（如Grafana），观察运行期间集群的CPU、内存、网络、功耗等资源利用率情况。研讨：为何HPL效率通常高于HPCG？效率数值的绝对高低意味着什么？

  3.组件级与微基准测试实践（2学时）：分组实验：运行STREAM测试评估内存带宽，运行OSUMicro-Benchmarks测量MPI点对点、集合通信延迟与带宽。任务：绘制不同消息大小下的带宽/延迟曲线，分析其变化规律；测量不同进程数下Allreduce操作的时间，观察其扩展性。引导学生理解这些微观数据是解释宏观应用性能的基础。

  4.基准测试报告撰写研讨（1学时）：展示一份规范的基准测试报告样例，解析其结构（摘要、测试环境、方法、结果、分析、结论）。学生小组就HPL/HPCG实验结果进行初步报告撰写练习，并相互评议，重点关注数据呈现的规范性（图表、单位）和结论的客观性。

  第三单元：性能评测工具箱（二）——性能剖析（8学时）

  1.性能剖析原理与工具概览（1学时）：阐述剖析（Profiling）与跟踪（Tracing）的区别。介绍全栈性能剖析体系：硬件事件采样、函数调用统计、通信事件记录、I/O活动追踪。概述主流工具链及其适用场景。

  2.硬件性能计数器实战（2学时）：讲解PAPI接口与常用硬件事件（如FP_OPS,L1_DCM,BR_INS）。实验：使用PAPI或perf

工具，对一个矩阵乘法程序（不同规模、不同优化版本）进行采样分析。任务：（1）测量不同版本程序的浮点运算速率、缓存缺失率；（2）分析性能差异与硬件事件计数的相关性。难点指导：如何选择有意义的事件组合，避免事件复用导致的计数不准。

  3.应用级与并行剖析实战（3学时）：

    a.CPU应用剖析：使用IntelVTuneAmplifier对一款开源CFD程序（如miniFE）进行热点分析。识别计算热点函数，进行底层架构热点分析（微指令、缓存、内存访问），初步判断是计算瓶颈还是内存带宽瓶颈。

    b.MPI程序剖析：使用IntelTraceAnalyzer或Score-P/Cube对同一个CFD程序的并行版本进行分析。任务：生成关键路径图、查看时间轴视图、分析负载平衡情况（柱状图）、统计点对点与集合通信开销。引导学生发现通信模式与负载不均的具体位置。

    c.GPU程序剖析：使用NVIDIANsightSystems对一个CUDA程序（如矩阵乘或简单物理模拟）进行时间线分析。识别核函数执行、内存拷贝、流同步等活动的耗时与重叠情况。

  4.剖析数据关联分析与瓶颈诊断方法（2学时）：这是本单元的升华环节。展示一个包含计算、通信、I/O的复杂mini-app案例。引导学生将VTune的CPU热点、Cube的通信统计、系统监控的I/O带宽数据置于同一时间框架下进行关联分析。通过分组讨论，尝试构建一个时间消耗的“账单”，并识别最主要的性能瓶颈（例如，是通信等待导致CPU空闲，还是计算太慢导致通信无法重叠）。教授“假设-验证”的诊断思路：如果认为是通信瓶颈，尝试增大计算粒度或改变通信模式，观察效果。

  第四单元：性能模型与分析方法（6学时）

  1.并行扩展性理论（1学时）：重温Amdahl定律与Gustafson定律，通过数学推导和图示，深刻理解其物理意义与适用前提。通过案例计算，展示加速比上限与并行部分比例、处理器数量的关系。

  2.Roofline性能模型精讲与实践（3学时）：

    a.理论推导：详细讲解Roofline模型的构建过程——如何根据硬件特性（峰值算力、内存带宽）绘制“屋顶线”，如何计算应用程序的操作强度（ArithmeticIntensity）。

    b.模型应用：学生使用剖析工具（如EmpiricalRooflineToolkit）或自行编写脚本，对2-3个典型计算内核（如矩阵乘、Jacobi迭代、稀疏矩阵向量乘）进行实测，计算其AI，并将其绘制在集群的Roofline图上。

    c.瓶颈诊断与优化方向指引：分析各内核在模型图中的位置。若位于“屋顶”下方，属于内存带宽瓶颈，优化应侧重于提升数据局部性、优化内存访问模式；若位于“屋顶”水平部分，属于计算瓶颈，优化应侧重于提高指令级并行、使用SIMD或更高效的算法。引导学生讨论：对于某个特定内核，距离“屋顶”的垂直/水平距离分别意味着什么？

  3.通信与I/O性能建模简介（2学时）：介绍LogP/LogGP模型用于描述点对点通信开销。通过OSU微基准测试数据拟合模型参数。介绍简单的I/O性能模型，分析顺序I/O与随机I/O、聚合I/O与小文件I/O的性能差异。通过一个简单的并行I/O测试，观察进程数增加时聚合带宽的变化。

  第五单元：综合实践与优化项目（6学时）

  这是课程的高潮与集成部分，采用完全项目式学习（PBL）模式。

  1.项目发布与分组（1学时）：发布2-3个可选的真实世界简化版应用项目，例如：（A）基于MPI+OpenMP的分子动力学模拟程序（热区计算+全局通信）；（B）基于MPI+CUDA的卷积神经网络训练程序（数据并行+参数同步）；（C）基于MPI的并行网格生成与求解程序（计算+密集I/O）。学生根据兴趣3-4人一组，选择项目，并领取初始代码。

  2.项目开题与方案设计（1学时）：各组在教师指导下，完成项目开题报告。报告需明确：性能评估的初始目标（如：将强扩展效率提升至70%以上）；拟采用的评测指标与工具链；初步的性能测试与剖析计划。进行开题答辩，接受其他小组和教师的质询，完善方案。

  3.项目执行与迭代优化（集中实验，3学时）：各组在集群上实施自己的性能评估与优化计划。教师与助教巡回指导，提供工具使用支持，并重点引导学生：

    a.建立基线：首先对原始代码进行全面的性能剖析（使用全套工具），建立性能基线，形成一份详细的“诊断书”。

    b.设定优先级：基于诊断结果和Roofline等模型分析，确定最关键的1-2个优化方向（如优化循环结构、改变数据分布以减少通信、实现通信计算重叠、调整I/O策略）。

    c.实施与验证：实施具体的优化代码修改或参数调整。每进行一项重大改动，必须重新运行基准测试和关键部分的剖析，定量评估优化效果（加速比、效率提升），并与预期进行对比。

    d.迭代循环：重复“剖析-诊断-优化-验证”的循环，直至达到预定目标或优化收益递减。鼓励尝试多种方案并进行对比。

  4.项目总结与答辩（1学时）：各小组提交完整的项目报告（需包含原始性能分析、优化策略论述、每一步的量化效果对比、最终结论与反思），并进行15分钟的公开答辩。答辩需展示关键的性能数据图表，清晰地陈述问题发现、解决思路和实施效果。答辩由教师与其他小组共同评分。

  第六单元：前沿拓展与课程总结（2学时）

  1.前沿话题研讨（1学时）：邀请领域专家（或播放权威讲座录像）介绍当前性能评估的热点与挑战，如：异构计算系统的能效评测、AI工作负载的专用基准测试（如MLPerf）、云上HPC的性能可预测性与成本评估、性能分析中的人工智能辅助（AIforPerformanceAnalysis）。引导学生思考未来发展方向。

  2.课程总结与反思（1学时）：师生共同回顾课程知识地图，从评估方法论、工具箱、分析模型到综合实践，强化系统认知。学生分享在整个课程学习中最深刻的感悟、遇到的最大挑战及解决之道。教师总结性能工程师的核心素养——对系统的好奇心、对数据的审慎态度、解决问题的韧性与创造力。最后，布置开放性思考题：“如果让你为一个即将采购的、用于通用人工智能研究的超大规模集群设计验收性能测试方案，你会考虑哪些方面？”

  七、教学评价与反馈

  本课程采用多元化、过程性评价体系，强调对能力成长与工程实践过程的考核。

  1.形成性评价（40%）：

    a.实验报告（20%）：针对第二、三单元的基准测试与性能剖析实验，提交规范的实验报告。评估重点：实验步骤的清晰度、数据采集的准确性、图表的规范性、分析的深度与逻辑性。

    b.课堂研讨与提问（10%）：鼓励在理论课和实验课中积极提问、参与讨论、分享见解。

    c.阶段性小测（10%）：在第三、四单元后，进行开放式问题小测，考察对性能分析模型和瓶颈诊断方法的理解与应用。