2023NICC新型智算中心算力池化技术白皮书

PAGE\*ROMANPAGE\*ROMANIINICC（2023）20238目 录前 言 I目 录 II算力池化技术背景 1传算心存资源率问题 2GPU资源利用率不足30% 2资源碎片化导致分配率低 3池术提高源效的关键 4算力池化定义与目标 6算化定义 6算化目标 6算力池化架构与关键技术 8算化台技架构 8算化术能层级 10算化键技术 12软件定义的资源分配方式 12算力资源高质量管理技术 14泛在化碎片的池化整合技术 16算力池化产业实践 19业商化技实践 19中动化技实践 24展望与倡议 26参考文献 27缩略语列表 28PAGEPAGE1算力池化技术背景着5G、边缘计算等支撑技术的持续发展，数智业务转型过程中所产IDC20252016202510163ZB,70%GPU、AI片为主要算力资源的智算中心正逐步取代通用数据中心成为算力发AIChatGPTGPUA80030GPU30%GPUAWSre:Invent2018GPU20%Facebook2021GPU30%GTC2022GPU25%GPU（）AI（）（）网络带宽瓶颈制约：智算中心设备和服务器之间的通信需传统智算中心的GPU资源利用率问题是一个综合性的问题，需要资源碎片化导致分配率低AI（）任务类型差异：智算中心提供的算力资源可以用于不同种（）任务规模差异：任务规模不同，所需求的算力资源不同，规格与硬件配置无法对齐，从而导致算力资源碎片化；（）（）AIGPUAI（）使得分散在各服务器中的CPU、GPU、AI资源，还可以为在集群的一个节点中执行的单个AIAI（）CPUGPUAI辑上聚合，AIAIAIAI算力池化定义与目标GPU/AI计算技术（Kubernetes、OpenStackKubernetesGPU/AIGPU/AIGPU/AIGPU/AIRuntimeAPI互连互通的CPUGPU、AIAI给，契合多样化业务的差异需求。隔空取物。基于高速无损网络，跨节点调取GPU、AI芯片等智能CPUGPUAI化零为整。整合分布在多机上的零散资源，汇聚碎片为可再分配变静为动。革新传统的资源静态分配、本地绑定的机制，使能资算力池化架构与关键技术算力池化平台技术架构AIK8S(Kubernetes)图1 算力池化平台技术架构KubernetesKubernetesPODKubernetesKubernetes度、分配，需配合KubernetesGPUAI调度、分配；（KubernetesKubernetesKubernetes设备插件：配合Kubernetes调度扩展，为KubernetesDockerdContainerd等−GPUAI如CUDARuntime）APIAIPOD根据上述技术架构，当AIKubernetesAPI创建应用时，可按新增的池化资源类型指定申请的资源数量（如pool.kubernetes.io/gpu:Kubernetes1010将调度结果响应给KubernetesKubernetes常执行AIKubernetesPOD作POD过KubernetesPODGPU。AIPODGPUAIGPUGPUAI算力池化技术能力层级活的聚合、调度以及释放海量AIAI11PAGE1图2 算力池化技术能力层级阶段1，静态管理。GPU/AIGPU/AI1/21/4GPU/AI机可以共享和使用GU/AI21年英伟达在部分AmpereGPUMIGA1007阶段2以单物理GPU/IGP/I11MB）AIGPU/AI实时响应上层应用对资源需求的变化，实现vGPU/AI动态伸缩现GPU/AI芯片资源超分。阶段池化技术的重大突破在于支持CPUGPU/AIAI服务质量管理资源，次选远程调用，任务资源不足时将AI任务进行队列化管理，等待释放出充足资源时再运行。算力池化关键技术软件定义的资源分配方式传统的依赖于硬件支持的虚拟化技术下，AI应用通过访问GPU/AI池化技术主要通过以下两种实现了软件定义的资源分配：API劫持技术API通过劫持对RuntimeAPI（CUDAAPI）3.11AIPODGPU/AIAPIAIAI时的API11MB图3 API劫持技术图解APIGPU/AIGPU/AI应用程序监视器技术GPU/AIHypervisor（（）图4 应用程序监视器技术图解APIAIAPIAIAPI（如CUDA）算力资源高质量管理技术（一）资源细粒度分配以物理硬件算力1%，显存1MB为基本单位。（二）资源限额管理通过时分等算力控制技术，对不同租户之间、同租户不同进程、不同租户不同进程之间实现GPU算力及显存的隔离与控制，减少资源争抢带来的性能扰动，避免程序恶意抢占算力资源。（三）资源无感动态伸缩（四）资源超分及峰谷互补预留的资源量与实际的使用量之间存在较CPUGPUGPUCUDAunifiedmemory。（五）智算任务队列化管理AICPU训练开始后才开始使用GPUCPUAICPU、内存等资源的可用情况触发，泛在化碎片的池化整合技术力，有更高概率满足AI（一）泛在化资源跨机整合技术CharacterizingDeepLearningTrainingWorkloadsonAlibaba-PAI》分析了阿里一个训练集群上的负载特征（5）：59GPU81GPU（8GPU（10.7128需要16）。图5 阿里某训练集群的负载特征CPUGPUGPU48单机CPUGPU3.1CPUGPU/AIPOD调度的CPUGPU/AIAIGPUGPUPOD以将GPU（二）智算业务SLA分级及自动服务质量管理在兼顾训练任务的整体吞吐率、GPU/AI内所有GPU/AIGPU/AI算力池化产业实践业界厂商池化技术实践趋动科技OrionX池化平台OrionX（猎户座）AIAIGPU/AIOrionXAIAIAIOrionXAPI劫持技术将vGPUGPU/AIAIGPU/AIOrionXGPU图6 趋动科技OrionX软件架构VMwareBitFusion和Radium池化平台2020VMwarevSphere集成了VMwareBitfusionGPUvSphereBitfusion采用客户端/PODBitfusionPOD的访问。可以在vSphereBitfusion客户端计算机上运行应用程GPUvSphereBitfusion服务器图7 VMwareBitFusion软件架构VMwareProjectRadium方式进行GPUBitfusionHALFBOTTOMHALF22PAGE1行，BOTTOMHALFRadium图8 VMwareRadium软件架构中兴TECSOpenPalete平台TECSOpenPaletteDockerkubernetesCPUCPUGPU/AIGPU/AI（KubernetesGPUDeviceKubernetesKubernetesPodGPUKubernetesPodGPU；针对AIGPUIndexKubernetesPodGPUIndex图9 中兴TECSOpenPaletteGPU方案架构TECSOpenPaletteCPUGPU华为基于Volcano的CCE平台VolcanoCCEGPU/AIGPU/AIGPU/AIVolcano图10 华为基于的CCE方案架构在线离线混合调度：CCE（WebTensorflowPSworkerSparkDriver和executor2101GPU虚拟化：基于HCEOS2.0CE提供结合Vlcno、GPUGPU力，可以更高效的利用GPU中国移动池化技术实践IaaS图8 中国移动智算中心技术架构容器基础设施EKIAPICPU、GPU/AI/展望与倡议GPT、StableDiffusionAIGCGPU/AI联合展开算力池化关键技术攻关。联合攻关异构算力集中调度技联合推动算力池化标准体系建设。联合制定池化运行时标准，实联合打造算力池化技术开源实现。联合众多GPU/AI芯片的制造2828缩略语列表缩略语英文全程中文释义AIArtificialIntelligence人工智能CPUCentralProcessingUnit中央处理器GPUGraphicsProcessingUnit图形处理器CUDAComputeUnifiedDeviceArchitectureNVIDIA推出的GPU运行时APIApplicationProgramInterface应用程序接