2025AI存储MLPerf Storage benchmark工具解读

AIMLPerfStorageMLPerfStorageMLPerfStorage AI业务特点和对存储的挑战AIMLPerfStorage MLCommons是什么组织？MLPerf是由图灵奖得主大卫·帕特森（DavidAI性能基准测试，被誉AI领域的“奥运会”。MLCommons2018MLPerf基准AIAI MLPerfStorage存储和处理训练数据是机器学习（ML）管道的关键部分，数据提MLPerfStorage工作组的主要目标是创建一个测试基准，用来评估 ML管道（长期目标MLPerfStorage（ML） MLPerfStorageBenchmarkMLPerfStorage通过对多种AI工作负载在各种加速器上的I/OMLPerfStoragePyTorchTensorflowMLPerfHPC工作负载的存储系统性能，并且无需使用昂

MLPerfStorageBenchmarkSimulatedtrainingSimulatedtraining“thinktime” MLPerfStorageBenchmarkv1.0ReferenceSynthetic-fromKiTS193D-146maximizeMB/s,and#ofacceleratorswith>90%acceleratorutilizationSynthetic–from150maximizeMB/s,and#ofacceleratorswith>90%acceleratorutilizationSynthetic–from2maximizeMB/s,and#ofacceleratorswith>70%acceleratorutilizationNVIDIAA100 MLPerfStorageBenchmarkMLPerfMLPerfStorageDLIO每个MLPerfStorage加速器利用率加速器数量 MLPerfStorageBenchmarkv1.0open preview MLPerfStorageBenchmarkv2.0 v2.0 IOMLPerfStorage MLPerfStorage

3D-3D- 每GPU需要2.9GBps的读带 千卡集群需要2.9TBps读带宽GPU600MBps600GBpsGPU200MBps200GBps 不同GPU类型对存储的性能要求

1GPU10GPU20GPU

B200GPU的演进还在继续 AI的数据增长挑战 AI的数据处理挑战

Pre-

NVIDIA存储性能推荐/dgx-superpod/reference-architecture-scalable-infrastructure-h100/latest/storage- 65573703618AI存储面临的主要挑战checkpoint产生瞬AI的爆发，数据容量AI未来对存储性能要求的 F9000X第5代英特尔®至强®F9000X第5代英特尔®至强®可 NVIDIANDR400InfiniBand 支持E3.S/U.2PCIe5.0TLC /400GbEEthernetRoCE 和QLCNVMeSSD单节点90GBps2倍以上带宽性F8000XF8000XNVIDIAHDR200/200GbEEthernetU.2PCIe4.0TLC和QLCNVMeSSD单节点40GBps NFSNFSNFSNFSNFSNFSNFSNASNASScalePFSPFSPFSPFSTCP/IPNFSPOSIX

读带宽节点数 1个 2个 4个 8个 dirdirfiledirdirfilefiledirfilefilefilefil