阿里云PAIl打造云上大模型训练新基建

ALIBABACLOUDINTELLIGENCEGROUP阿里云PAI打造云上大模型训练新基建贾珂|阿里云PAI训练产品负责人从感知AI,GenAI升级到AgenticAl,最终通往AGl的路径AGAG20252025阿里内部平台完成商业化2015201620172018201920202021Google发布微软发布AzureGoogle发布PAI4.0智算平台，飞天智算平台正式发布PAI灵骏Serverless平台发布，大模型训练基础设施202220232024阿里云AI基础设施系列模型发布全球AI市场里程碑大语言模型Qwen3-Qwen3-4BA22B大语言模型Qwen3-Qwen3-4BA22BQwen2.5-Qwen2.5-0.5B最新发布Qwen2.5-Qwen2.5-0.5B最新发布Qwen-7B最新发布Qwen-7B最新发布100MMLU编程Qwen2.5-Qwen2.5-最新发布视觉理解与生成语音理解视觉理解与生成语音理解与合成文本表征专项模型专项模型Qwen-ImageQwen3-VLQwen-Qwen-Image-EditClaude3.5SonnetGPTo1proDeepSeek-R1DeepSeek-R1RakutenAI-7BeNemotron-322BeNemotron-322BBaichuan2Pile-T54040全模态多场景Embedding-Qwen3-与排序Embedding-Qwen3-2020Qwen2.5-Math-7B20232024pre-20222022DavidMcCandless20232024pre-20222022DavidMcCandless,TomEvans,PaulBartonInformationisbeautiful//Sep20252025MMLU=benchmarkformeasu*=parametersundisclosed//source:LifeArchitect//dataQwen2.5-Math-300+开源模型资源成本：分布式AI怎么跑人力成本：Al怎么写无比复杂，也看不懂的代码)无比复杂，也看不懂的代码)app.py:app.py:server=tornado.HTTPServer(..)server.listen(port)IOLoop.instance(.start(FROMorder_tablePAI=1算力平台+2个核心引擎+n个PAI=1算力平台+2个核心引擎+n个LLM工具与应用解决Al开放模型与数据集生态开放模型与数据集生态企业级模型服务与应用平台全链路操作审计开发工具CLI/API/SDK/SandboxAgent工具与工作流编排多模态/AIGC/PhysicalAl数据与模型能力打通oSS/KMS覆盖Pre-Training·Post-Training·Test-TimeBladeLLM/VLLM/SGLang/EasyRec/IntelligentScheduler/KVCache/Spot完整流程paiMoE/paiTurboX/ChatLearn&paiMoE/paiTurboX/ChatLearn&veRL/Llumnix/Slurm/Ray/AIMaster/一个算力平台：调度&容器&网络&资源面向网络/算力/存储/容器迭代的统一抽象PAI-灵骏计算资源云原生通用计算资源大数据计算资源(MaxCompute/EMR/Flink)RDMA(RoCE)·IB·eRDMACPFS·NAS·OSS·KVACK·容器运行时MultimedlaMultimedlaMonday,March11,2019存储存储·超高性能网络建设难?以太网更难，拥塞如何控制?延时如何极致?RDMA如何稳定?计算任务的计算任务的硬件故障、网络抖动导致无法长周期运行计算任务；传统容错方式，时间和算力资源浪费严重并行计算的并行计算的GPU服务器之间，GPU集群的网络性能导致模型计算效率（MFU）远低于理论计算效率研发和应用研发和应用效率人力成本高，技术门槛高，需要提升模型开发和应用效率，降低模型的使用门槛大模型的算力基础设施大模型的算力基础设施不是简单的硬件堆砌模型训练需要高效的算力，模型流程需要在线快速反馈迭代，所以云上的AI训练平台是大模型的最优产品方案开始训练checkpoint实际失败时间发现失败时间任务无法拉起任务无法拉起checkpointcheckpoint(0.5小时)故障定位时间故障定位时间(0.5-2小时)(0.5-1小时)新的训练开始总损失：1.5~5.5小时Model3.24%FunctionSupport5.06%14.37%7.09%Aggregation5.87%ConfgurationCommunitiveOperator3.85%Backend3.85%3.85%Efficiency&AccuracySynchronization3.44%Memory&Utilization2.23%4.25%source:RiseofDistributedDeComponentCategoryFaultyGPUGPU30.1%GPUHBM3MemoryGPUSoftwareBugDependencyNetworkSwitch/CableNetwork8.4%HostMaintenanceUnplannedMaintenance7.6%GPUSRAMMemoryGPU4.5%GPUSystemProcessorGPU4.1%NICHost7NCCLWatchdogTimeoutsUnknown7SilentDataCorruptionGPU6GPUThermalInterface+SensorGPU6SSDHost30.7%PowerSupplyHost30.7%ServerChassisHost20.5%IOExpansionBoardHost20.5%DependencyDependency20.5%CPUHost20.5%SystemMemoryHost20.5%Table5Root-causecategorizationofunexpectedinterruptionsduringa54-dayperiodofLlama3405Bpre-training.About78%ofunexpectedinterruptionswereattributedtoconfirmedorsuspectedhardwareissues.千卡网络分钟级检测·识别10大类数百种GPU·误快速定位慢节点·性能基线预检····事中容错AIMaster+节点自愈任务级监控与自动容错Hang/OOM/硬件故障自动响应节点无感分钟级自愈异常信息自动化响应事后恢复EasyCKPT痛点：大模型训练痛点：大模型训练GPUECC/NVLink错误超出预期，GPU掉卡无法预判，网络PAI-PAI-算力/训练任务监控与告警PAI-SanityCheck干卡网络分钟级检测皇华北6(鸟兰察布)配皇华北6(鸟兰察布)配·任务资温QBCPU(横数):190192内存(GB);270724603753200奥型节点数量CPU(核数)GPU(卡数)GPU余量-11卡当前使用：1卡检湖时机③据长检时间(分钟)①检瓣时机⑦分钟□计算性雄检测□节点通信检测-□A1-Reduce-单节点②□-Reduce两节点向◎mm闭时资源③驱动设置请选择■提供Quota算力、训练任务、GPU维度等多层级200+监控指标，全面掌弹性容错训练引擎弹性容错训练引擎集群监控组件控制层调度器作业控制器集群监控组件隔离替换机器—隔离替换机器—坏机器提示一按需ckpt数据层数据层PyTorchPyTorch组合效果PyTorch持久化层持久化层统一故障信息采集平台统一故障信息采集平台痛点：大模型痛点：大模型Checkpoint动辄几十GB,周期性暂停训练导致8%+时间浪费；恢复时精度难以保证任务重新初始化周期任务重新初始化周期Pod调度、网络重连、任务回滚任务暂停任务暂停故障中断故障中断计算资源总损失=1.周期性Ckpt时间+2.故障中断造成的计算浪费+3.任务重新初始化时间训练前、中、后监控、检测、自愈、续跑，维护提升训练任务全生命周期稳定性指标传统方案(Before)PAI方案(After)故障检测故障后被动响应，人工排查数小时事前SanityCheck+事中自动检测，分钟级定位容错恢复用户自行处理，任务中断需人工重启AIMaster自动容错，用户无感分钟级自愈周期性暂停，小时级保存，8%+时间浪费EasyCKPT秒级保存，精度无损≈0%开销运维成本需要专职运维团队7x24值守平台自动化响应，人工运维成本大幅降低分布式训练任务覆盖GPU占比50%;自动发现线上故障节点1000起+,月检测240+,节点自愈率98%累计检测故障节点数量周检测故障节点数量月检测故障节点数量累计检测故障节点原因分布自愈检测覆盖率一异常数目EfloNodeHardwareErorValue:670一异常数目AmperfopuUncorectableEeeValue:170一异常数目AmperfGpuUnheathyValue:1192345Container67ApplicationApp.App.App.App.App.资源共享程度App.App.App.ApplicationTenantTenantApplicationDataPlatformLnabled高InfrastructureFrom“GartnerReferenceArchitectureforMulti-tenancyG00205983数十万卡+算力集群，HPC、训练、推理统一管理和一体化调度，90%+有效算力利用率AI框架(Custom/TorchAcc/BladeLLM,Cosmos-RL/verRL/Ray/Megatron/Deepspeed/VLLM/Triton)异构算力混合调度CPU、GPU|ECS、EGS、灵骏裸金属|多品牌，多规格，多卡型的混合使用拓扑亲和性调度拓扑亲和性调度GPU机器-AGPU机器-B网络拓扑和任务规模智能匹配，性能提升30%~40%灵活排队调度策略灵活排队调度策略智能、FIFO、遍历、均衡等多种调度策略；日均提交数企业级资源管理企业级资源管理Team1,增加闲时任务，扩大资源上限算力资源共享，每月免费供500万+卡时(相当于1000台随机调度GPU机器-AGPU机器-A性能差距：512卡30%～40%4worker为例：w0->W1->w2->w3->w0(RingAlIReduce通信)基于QuotaTree,父子Quota、闲时资源，自动实现用户自身自由最优分配，提升利用率xx客户，单月提交闲时资源任务数万，总计30万卡时+,资源提升20%+GPU调度量(卡数)用户监控拓扑资源信息父Quota,开启抢占策略，抢占子Quota任务调度策略②智能策略之允许抢占子级算力⑦工作空间任务来绑定标签之网络信息提交任务需要带上自己的名字方便协调资源，看不出来名字联系不上的任名称创建时间更新时间人工智能平台PAI人工智能平台PAI工作空间详情快速开始数据准备智能标注(ITAG)特征平台(Features模型开发与训练交互式建模(DSw)分布式训练(DLC)自动机器学习(Auto模型部署模型在线服务(EAS任务灵骏智算-jiufeng_dedicated_normal资源概览(用量/总量)CPU(核数):32/288内存(GiB):60/4800GPU(卡数):2/24低PyTorch使用闲时资源，全集群资源算力共享会出现资源回请确认代码中跑。建议开启自动源，从而重新1.可接受：任2.只接受：任(Quota)的收而导致任务被停止的情况。包含checkpoint机制，确保任务可以顺利重新启动续容错，在资源被回收情况下，系统将自动寻找合适的资运行任务。务可以使用账号下的空闲资源。务只使用账号下的空闲资源，不使用自己的资源配额资源。节点数量GPU(卡数)CPU(核数)内存(GiB)共享内闲时资源⑦可接受只接受A/B实验(ABTest)弹性资源共享资源多引擎，多算力AI算力管理视角通用计算资源Quota2Quota3资源购买AI资源组：基于资源组，完成Al算力资源购买资源配额(Quota):基于Quota,实现算力分配和管理，资源分配的可管可控资源使用AI工作空间成员&角色(使用管理)数据准备AI训练DLC推理服务EAS·模型服务AI工作空间：基于AI工作空间实现算力资源绑定、算力资源配置、角色管理完成使用的可管可控AI资产镜像、模型、代码、实例·高达10K+节点的扩展规模，满足大模型超大任务的需求，支持独占资源(预付费)、公共资源(后付费)和竞价资源(Spot)使用。计算科学生命/环境科学现代物理/化学PAI调度引擎(云原生的统一调度)PAl-通用计算资源PAl-灵骏智算资源AGI自动驾驶Gpu1·DockerDContainerContainer等)、常驻集群降低至0.125卡；过状态持久化+自动恢复+内模型训练接收的训练数据常常是图片或者视频帧数据，在训练过程中，数据会经过在DataLoader内的数据加载到数据处理过程，再给到训练，而对于图片、视频帧数据的计算不能很好的overlap,进一步导