AI-Infra全链路性能分析和优化实战

Aı_ınfra全链路性能分析和优化实战孙禹峰阿里云技术专家现任阿里云技术支持专家,8年A0领域实践经验,聚焦于训推框架及A00nfra相关技术,有云上多行业客户训推业务的全链路性能分析和优化场景落地的能力.l.背景与挑战:大模型时代的训推性能问题痛点ll.核心方法论:全链路性能分析体系与瓶颈定位lll.核心方法论:全链路性能优化方法lV.实战攻坚:基于业务场景的深度优化案例V.前景与展望背景与挑战大模型时代的训推性能问题痛点横向领域技术要求广,理解要求高大模型训推优化是跨学科的系统工程'需深度络及容器编排技术'构建全栈能力体系。定位困难与MTTR(平均恢复时间)过长GPU单价高'训推任务规模随着参数量以及私有化部署的需求上涨而上涨'而伴随着性能问题复现、定位复杂'时效要求高。场景瓶颈各您'多模态数据常致CPU先于GPU受限;行业诉求分化'高精度敏感领域技术广度由窄到宽技术深度由浅入深.从单点突破到全栈覆盖,横跨计算、存储、高性能网络以及容器等技术栈。技术深度由浅入深.从单点突破到全栈覆盖,横跨计算、存储、高性能网络以及容器等技术栈。诊断调优由表及里.从配置及日志的初步分析,到细粒度客户覆盖由点到面.从单客深耕到场景化、行业化规模覆盖,以最佳实践并横向复用服务方怯由被动到主动.从被动响应到智能驱动,结合Al+,以主动治理、平台工具和产品化服务构建标准化体系核心方法论系统级效率指标.训练—MFU丶有效训练时长训推业务指标计算资源指标.cPU利用率)上下文切换率)内存使用率.GPU利用率)Tensorcore利用率)SM活跃率存储资源指标高性能网络指标信算子以及GDR等通信耗时案例1:基础监控方案..Data+oader在线训练分离的数据校验任务在切换云产品形态后,同规格pod训练性能大幅下降..基于基础监控指标对比发现您常环境cpu持续打满.训练任务进线程树深度您常,大量线程等待线程上下文切换.结合现象及开源框架逻辑,定位到绑核延迟导致框架获取cpucore数量您常进而导致线程数fork您常引发争抢案例2:profiling方案.客户基于SGLangruntime自建的推理httpserver若干时间后RT稳定增长,重启实例后可以恢复但周期性复发..常规监控问题出现前后并无明显您常,仅显存略微上升一段时间后持平.案例2:profiling方案.结合trace上的”耗时空洞",我们定位到了RT增长的根因是因为radixcache到达容量上限后,同步阻塞的evict行为导致[0]初始阶段:缓存为空→新请求不断加入→构建radixtree节点↓[1]缓存积累期:随着prompt涌入,树深度和宽度持续扩展,显存增长↓[2]容量逼近阈值:触发周期性或按需的evict()操作以释放空间↓[3]Evictio"阶段:优先级堆排序+同步释放→单次耗时可达数十毫秒至百毫秒级↓[4]RT上升显现:请求处理因缓存驱逐延迟严重→监控出现RT上升核心方法论.自建服务发现与Pod直连功件网络转发延迟..GA)CEN等代理或专线方案解决跨境或跨regio"网络延迟问题..LLM推理服务中prefi++与Decode混跑导致Decode延迟抖动,GpU算力.基于prefi++_Decode分离架构,将两阶段调度到专用节点,通过Kvcache高速传输衔接,实现Decode零中断、资源独立扩缩与整体吞吐提升..部分视觉、智驾的训练场景中GPU使用率低,cPU及内存在加载和处理多模态数据的部分瓶颈明显.RemoteDataLoader方案..大部分训练场景中会对同一份数据进行多轮(epoch)的训练.类比开源JuiceFS的本地盘管理系统,PAS产品侧有本地缓存加速的能力用以在多轮训练中减少网络通信带来的性能损耗.SD场景经常涉及多模型切换后以及多副本实例扩容时均会遇到加载缓慢的问题.分布怯缓存加速.PAS_EAS利用推理服务自身的空闲内存缓存模型文件,以文件系统目录形怯呈现,多个实例组成P2P网络,新实例直接从已有缓存的实例获取数据,无需回源oSS/NAS..模型预热缓存服务部署.使用额外的缓存服务资源,用于推理服务的冷启动Qwen_omni在特定机型推理慢,高请求负载下cPU持续打高,但GPU利用率低.是典型的cPU关键路径瓶颈问题.基于trace分析和特定的资源、业务场景要求,将cPU+oad很高的默认基于+ibrosa的音频加载与张量转换改为Torchaudio+FFmpegonGPU实现cPU与GPU的计算卸载与平衡,减少cPU争抢,提高推理效率.前景与展望Agent)skill等促使多种AI应用爆发'进而驱以X