面向新型智算中心的技术探索

李锴项目经理趋势挑战：计算领域中，算力密度的增长速度超过I/O增长产业发展：深度学习迎来大模型时代，万亿参数模型将成新常态参数规模向万亿推进机器学习算力增长迅速参数规模向万亿推进参数：~参数：~1万亿数据：20万亿Tokens参数：15亿数据：40GB参数：1750亿参数：1750亿数据：45TB+X算力增长100亿倍参数：1750亿算力增长100亿倍数据数据：45TB*），），模型背景：数据并行对GPU显存和互联存在高性能要求Pull，更新模型参数GPUGPUGPUPull，更新模型参数GPUGPUGPUGPUGPUGPUGPUGPUGPU信GPUGPUPush，梯度累加GPU通GPUWorkerWorkerWorkerWorkerGPUGPUGPUGPUGPUGPUGPUGPUGPUGPUGPUGPUGPUGPUnGPU1GPU0WorkerWorkerWorkerWorkerWorkerGPUnGPU1GPU0Data_1Data_1数据并行拆分数据并行拆分GPU0GPU6架构背景：张量并行参数从千亿迈向万亿，服务器从8卡扩展到百卡 协议层级：计算总线的通信协议众多，私有和标准协议大量存在在高速互联层面的思考•思考1：为实现内存、显存I/O增强，如何拓展内存带宽和容量？•思考2：为快速增加的参数规模，如何优化总线级的通信协议和拓扑结构？•思考3：在万亿参数量的新常态下，如何突破单机8卡的互联的局限性？•思考4：在互联协议中，涵盖私有化和标准化两种路径，后续该如何选择？CXL（ComputeExpressLink）概念提出并发展•定义：CXL协议是一种开放的行业标准互连，在CPU与加速器、内存和智能I/O等设备之间提供高带宽、内存一致性的连接•场景：包括AI、ML、云基础设施、网络、边缘计算等对异构和内存系统相关的场景，在CPU、GPU、FPGA、智能网卡和其他加速器中部署标量、矢量、矩阵和空间架构的多样化组合SpecificationReleasedSpecificationReleasedSpecificationSpecificationCXL总线在协议层面具备实现缓存一致性能力CXL协议是包括CXL.io、CXL.cache、CXL.mem三种子协议组成，通过提供多种子协议，CXL技术可以更好地满足不同领域和应用的需求主机处理器CXL设备设备内存设备内存AcceleratorLogicCacheCacheMemory主机内存主机内存 CXL总线可支撑多种应用场景关键Features关键Features三种Type场景部分协议的技术参数对比低高低低高无无无重点领域：中国移动重点打造NICC新型智算中心新型智算中心新互联新算效新存储新平台新节能拓扑优化：高速互联应实现GPUP2P互联，交换拓扑是演进趋势直连模式全互联模式交换拓扑模式"""-----------s"""-----------s架构探索：构建基于Switch拓扑结构的S²架构总线Switch总线Switch总线Switch模式转变：基于CXL构建统一内存池HBM和DDR分立•数据多次复制，延迟高，影响模型训练效率•AI模型开发复杂，需要手动管理数据搬移基于CXL打造内存池化•数据无需多次搬运，GPU可快速访问巨量共享内存•提供统一寻址空间，AI软件模型开发简化统一内存池产业推进：联合产业界共同制定CXL技术准入验证要求积极联合产业界，共同制定CXL技术准入验中国移动、英特尔、新华三、浪潮电子信息、超聚变、联想、博通、三星、记忆科技、腾讯、中国信通院、工业富联、得一微、深圳忆联等单位共同订制•目标：本测试规范旨在为CXL（ComputeExpressLink）协议的实现提供指导和支持。帮助各相关单位对CXL技术的一致性探索与实现，并提供一致性和互操作性的保证，以满足高性能计算系统的需求。•范围：本测试规范的范围涵盖了CXL协议的主要测试要求，包括CXL环境要求、CXL物理测试要求、CXL协议层测试与敖犬、CXL性能测试要求、CXL兼容性测试要求、CXL错误处理测试要求、以及为满足业务