CN114510319B 一种基于Kubernetes集群GPU空间共享的方法 （中国科学院信息工程研究所）

US2021208951A1,2021.07.08一种基于Kubernetes集群GPU空间共享的方法本发明公开了一种基于Kubernetes集群GPU前数据处理集群中GPU资源利用率低的问题，提出了关于GPU显存与活跃线程相结合的打分规了SchedulerExtender和DevicePlugin，进一改进的蚁群算法，能够有效提高集群资源利用2源和多进程服务MPS信息缓存进SchedulerExt3)若Pod信息内容的格式符合集群特征，则APIS4)调度器根据Pod所需的调度资源将不符合条件的工作节点进行过滤，再将符合条件9)调度器将Pod与工作节点绑定信息、工作节点状态信息、Pod使用调度信息发送给3.如权利要求2所述的方法，其特征在于，Device工作节点的GPU型号和GPU显存资源并进行4.如权利要求1所述的方法，其特征在于，SchedulerExtender根据打分规则进行打G=α*Sgpum+β*Smps；gpummpsgpummps3gpummpsgpummpsgpummpsgpummpsgpummpsgpummps作节点已部署的任务消耗的GPU显存，表示第j个工作节点已部署的任务消耗的活跃ρ28.如权利要求6所述的方法，其特征在于，蚁群算法求解中最优蚂蚁路径的约束条件4上述约束条件分别分配在第j个工作节点上所有任务所用GPU显存与活跃线程比之和，代任务中从将任务i分配到工作节点j上分泌的信息素总量；Gij表示工作节点的资源优先5[0001]本发明涉及计算机技术领域，具体涉及一种基于Kubernetes集群GPU资源实现共可以利用GPUs的并行计算引擎来更加高效地解决比[0006]专利公布号为CN111506419A专利名称为一种GPU资源共享方法及装置，提出了一6可调度被控主机中筛选出满足第一预设条件的目标被控主机和所述目标被控主机中满足资源浪费问题依旧存在。[0008]当前大多数GPU共享方法都存在或多或少的问题，甚至有些方法不适用于[0009]本发明的目的是提供一种基于Kubernetes集群GPU空间共享的方法方法，提高集存资源和多进程服务MPS信息缓存进SchedulerExtend[0015]4)调度器根据Pod所需的调度资源将不符合条件的工作节点进行过滤，再将符合条件的工作节点信息、为Pod分配的GPU显存和活跃线程比信息发送给Scheduler7中的设备插件管理器DevicePluginManager进行连接，来获取工作节点的GPU型号和GPUgpummpsgpummpsgpummpsgpummps8工作节点的GPU显存总量，分别表示第j个工作节点的活跃线程比总量；U""表示第[0044]上述约束条件分别分配在第j个工作节点上所有任务所用GPU显存与活跃线程比9添加了SchedulerExtender和DevicePlugin，进一步改变了以往调度策略中的静态调度及其他模块之间的数据交互和通信。其他模块通过APIServer查询或修改数据，只有API的信息通过APIServer发送到Etcd中软件或模块cAdvisor监控Node节点和[0065]多进程服务(MPS)是CUDA应用程序编程接口(API)的另一种二进制兼容实现。MPS运行时体系结构旨在透明地使多进程CUDA应用程序(通常是MPI作业)能够在最新的NVIDIA(基于Kepler)GPU上利用Hyper-Q功能。Hyper-Q允许在同一个GPU上并发地处理CUDA内核。个流式多处理器中所有的线程在同时工作，则该gpummpsgpummpsgpummpsgpummps分别代表第j个Node节点已部署的任务消耗的GPU显存和活跃线程比；加入信息素浓度的更新公式(即上述三个公式的第二个公式)中作为信息素的挥发因子ρ,[0094]ρ为挥发因子，Δτij(t)表示每轮迭代蚁群从起点i到终点j上留下的信息素的增SchedulerExtender机制和DevicePlugin机制分别设计了SchedulerExtender(调度器负责确定全局调度程序进行过滤和绑定时Node节点上的单个GPU设备是否可以提供足够的GPU内存，并将GPU分配结果记录到PodSpec注释中以便在绑定时进行后续过滤，默认据和Scheduler传递过来的中间调度[0099]Kubernetes集群中每个Node节点的资源以及状态由Kubelet汇总，将此信息发送一个最优的Node节点，最后由最优Node节点的Kubelet创建此Pod。为了实现Node节点ExtenderResource资源的管理和分配，需要在Node节点Kubelet以及GPU之间创建指定的统GRPC的方式对Kubelet中的设备插件管理器DevicePluginManager进行连接。Device节点的Pod以及Node节点上要结束运行的Pod信息中的活跃线程比信息，来对存储的每个[0103]第三步：APIServer接收到信息后，将它们存储到Etcd中，并且在客户端使用[0