CN110704186A 基于混合分布架构的计算资源分配方法、装置和存储介质 （国家计算机网络与信息安全管理中心）

心置和存储介质本发明提出了一种基于混合计算资源的分同一个Spark计算引擎上的深度学习框架组成，针对所述计算引擎层统一封装各个深度学习框物理机搭载的计算资源类型划分不同的逻辑集2所述计算引擎层由多个构建在同一个Spark计算引所述混合计算封装接口层，用于针对所述计算引擎层统一封所述资源调度层包括多种异构计算资源，所述异构计所述资源调度层，具体用于根据为物理机标注机器标所述节点管理器，用于向所述资源管理器发送注册请求所述节点管理器，还用于在系统运行过程中，向所述资所述资源管理器，还用于根据各个节点管理所述计算引擎层，还用于通过所述访问接口接收用户所述资源管理器，还用于根据各个节点管理器的资源状态信息和所述资源需求信息，所述节点管理器，具体用于如果根据所述资源需求信息，判断3所述节点管理器，还用于减少维护的空闲加速资源记录容器标识和为其分配的加速资源数量之所述节点管理器，还用于在检测到所述容器运行结束时所述节点管理器，还用于从所述已分配加速资源列表4有HadoopMapReduce所具有的优点,但不同于MapReduce的是，Job中间输出结果可以保存[0003]本发明要解决的技术问题是，提供一种基于混合分布架构的计算资源分配方法、[0007]所述资源调度层包括多种异构计算资源，所述异构任务队列中的任务调度到具有与所述队列标签相5表中记录容器标识和为其分配的加速资源数量之6[0031]所述资源调度层12包括多种异构计算资源，所述异构计算资源包括以下至少一[0032]具体实施时，在计算引擎层11部署的深度学习框架可以包括AngelOnSpark和分别负责提供参数服务器服务，完成模型训练任务以和逻辑控制的功能。为了完成[0035](2)配置angel-2.0-bin/bin/spark-on-angel-env.sh下的SPARK_HOME，ANGEL_[0039]TensorFlowOnSpark框架的架构较为简单，SparkDriver程序并不会参与TensorFlow内部相关的计算和处理。其设计思路像是将一个TensorFlow集群运行在了[0040]本发明实施例提供的基于混合计算资源的分布式计算系统可以构建于Linux操作7负责运行无需加速的普通批处理与实时计算任务；如果Node2上挂载了GPU(图形处理器)的任务被提交到具有相应加速资源的逻辑集群中，可以按照任务类型，在Resource的调度算法，提交到某个队列中的任务只能被调度到具有与队列标签相同标签的节点(物[0047]具体实施时，NodeManager负责分配回收本机资源并负责资源的虚拟化，NodeManager可以使用虚拟个数的方式来表示本机的加速资源，并维护虚拟个数到实际加速资8的。扩展资源模型中资源向量的维度只和计算框架的种类以及包含的处理步骤个数相关，[0053]此外，NodeManager提供配置文件接口共用户调整计算节点上的GPU和FPGA虚拟ResourceManager报告虚拟资[0056]原生YARN采用双层资源调度模型：在第一层中，ResourceManager的Scheduler9步把申请到的资源分配给内部子任务。第二层的调度策略由AM设计者根据应用来进行设FairScheduler内部使用的是DRF(DominantResourceFairness)多维资源调度算法，十源占用份额较小的队列具有分配资源的优先权。此外，DRF还可对用户的主占用率进行比被动地加载并应用于不同的队列。FairScheduler中的DRF只考虑了CPU和内存两种资源，[0061]步骤1：节点的NodeManager通过周期性心跳向ResourceManager汇报本节点信[0064]步骤4：Scheduler根据设定的策略在此节点上分配一个Container给最合适的应程序的Container以心跳应答的方式返回