2025大模型在超大规模集群上的性能提升实践

Meta基于1.6万H100LLAMA43.1，6KH100MovieMeta基于1.6万H100LLAMA43.1，6KH100MovieXAI2.4万H100集群训练，自建10万H100集群训练Grok- 万10LLaMA41010H100Nemotron340B0.6万卡H10010H100Meta基于1.6万H100LLAMA43.1，6KH100MovieMeta基于1.6万H100LLAMA43.1，6KH100MovieXAI2.4万H100集群训练，自建10万H100集群训练Grok-LLaMA3LLaMA3全部用户角度看AI生态、生态：NVIDIAPyTorchAI靠堆量勉强满足ScalingLawSRAMHBMIO、光罩面积限制、Systemon跨节点互联、硅光互联、光交换（224GSerdes逼近物理极限Scaleup/Scaleout新建智算超算能耗逼近国内外相关AI阿里云：\h阿里云AI基础设施全面升级，模型算力利用率提升超\h火山云：\h百度百舸：\h面向10GoogleTPU：\hGoogleCloud6TPU4.7AIAmazonAWS：\h亚马逊云科技瞄准生成式AIMETA：\hMetaWillSoonGeta100000GPUClusterAI 集群线性度：XX%集群算力利用率：XX%

MC2

计算优化通信优化计算优化通信优化并行算法内存优化

MindSpore8

集群稳定运行

故障智能检测和隔离

任务分钟级恢复MindX

MindX

MindX

通信加速解码优化量化压缩通信加速解码优化量化压缩最优并行调度优化

通信量O(n²

AI组网方案演进：参数面多轨下行降速，样本面与业务面合一，影响IO图例 25G图例 25G网10GE网 M-LAGGE带外网 GE带内网400GROCE

2*25GE

2*25GE

2*25G

参数 存储后组网方案演进：参数面多轨下行降速，样本面与业务面合一，影响IO 每台存储通用服务器上行2*25GETCPIP（NFS），上联计算业务Leaf；后端网络2*25GE 100GRoCE汇聚出口

25G管理 堆

GE带外网络

25GRoCEM-GE带内网络

带内

Leaf

Leaf

2*25GE2*25GE

2*25GE

2*100G LeafSpine

2*25GE 2 3

公网、云专网、IP公网、云专网、IP100G

25G

10GEGE

25GRoCEGE管理带外

堆 带内

Leaf

Leaf

100GROCE200GROCE400GROCE

Atlas900A2

2*25GE 2*25GE

2*100G

2*100G

LeafSpine

512卡A100租用一个月的价格：11601*(512/8)*7.895858040.96585.8对于3DAttention而言，空间分辨率提升n倍，序列长度和动态内存变为n^2倍，Attention开销变为n^4倍；视频帧数提升n倍，序列长度和动态内存变为n倍，Attention开销变为n^2倍。3DAttention序列长达数百K，FA耗时占比95%+，3B模型+720p5s视频NPU单步迭代耗时[1,1200,[1,19200,[1,38400,[1,67200,[1,57600,[1,115200,[1,201600,[1,1200,[1,19200,[1,38400,[1,67200,[1,57600,[1,115200,[1,201600,720P9s视频对应的序列长度为200k，对性能和内存均提出重大挑战，单步迭代耗时170s，SPGC和HostGC和HostDeepSpeedZero0和Zero2在进入DiT之前，会经过视频数据读取、分辨率变换、视频VAE编码、文本编码等多个步骤，若果要处理的视频是不同分辨率的，例如2K、4K、1080P等，会导致不同Sample（Batch）的预处理开销显著不同，导致Host负载不均衡，进而严重影响训练性能。因此总结文生视频场景有三个典型基于（1）和（2）：可采取数据预处理的方案，即在Epch0保存E编码和文本编码，从第二次Epch和文本编码；或提前计算并保存编码，减轻st开销，避免st输入数据多且复杂：Sora基于Text2Video，属于多模态类型，输入数据包含Timestep（用于扩散模型）、文本编码（用于Cross图1.SP基本原理，源自Ulysses图2原始Attention权重矩 图3聚类后的Attention权重矩 第一阶段——聚类：Attention模块中的SoftmaxQKT)权重矩阵如图1和图2个TokenQ𝑖与向量K的相似度呈现一定规律性，可以将规律分布相近的TokenQ𝑖进行置固定阈值e，对相似度小于e的TokenK𝑖进行过滤，因此每份𝐶𝑄𝑖都将对应得到更小矩阵𝐶K𝑖。然后对重排矩阵𝐶𝑄𝑖、𝐶K𝑖进行计算，得到权重矩阵的子结果（如图4红色框内部分所示），整体计算性能提升与矩阵𝐶K𝑖