CN119415245A 一种基于动态权重计算的gpu资源调度方法及系统 （中国医学科学院医学信息研究所）

一种基于动态权重计算的GPU资源调度方法本发明公开了一种基于动态权重计算的GPU流程对算法进行预运行；获取算法算力资源数而不出现排队等待或因资源竞争导致任务失败2根据算法初始权重和分析任务设计的算法流程对算根据算法算力资源数据、预评估的算法算力资源以及算法任务3.根据权利要求1所述的一种基于动态权重计算4.根据权利要求1所述的一种基于动态权重计算的通过算法流程的总时长与单个算法时长占比、GPU资源消耗情况计算获得算法的动态6.根据权利要求5所述的一种基于动态权重根据算法信息中的执行权重以及任务调度队列中已有任务的执行8.根据权利要求6所述的一种基于动态权重计算的3计算模块，用于根据预置的显存消耗公式和算法执行4[0001]本发明涉及算法服务技术领域，更具体的说是涉及一种基于动态权重计算的GPU对GPU的计算能力和显存容量提出了更高的要求。目前主流的算法执行流程都是基于工作5[0016]通过算法流程的总时长与单个算法时长占比、GPU资源消耗情况计算获得算法的[0020]根据算法信息中的执行权重以及任务调度队列中已有任6[0043]本发明实施例公开了一种基于动态权重计算的GPU资源调度方法及系统，可有效多算法任务时可以结合具体情况动态优化GPU算力7[0053]总参数量计算公式＝词向量映射参数量+卷积层参数量+全连接层1参数量+全连8[0082]显存占用(MB)＝10*(模型参数数量+输入数据大小*批次)*数据类型大小/调度进行调整，以达到优化显存资源使用的目的。本发明实施例中主要通过Python的9计算资源和时间，通常以大O表示法来表示。算法复杂度的高低直接影响到算法的执行效程中的信息和结果。本发明实施例提供的能够高效地管理及分配计算资源的算法流程引[0106]本发明实施例设计了一套在算法运行时计算模型对GPU资源占用情况，并根据下一步资源消耗预测实现算法任务的动态调度方法。不同于已有的算法模型运行时对GPU的[0112]通过算法流程的总时长与单个算法时长占比、GPU资源消耗情况计算获得算法的要的第一个组件，系统会根据Web服务客户端FeignClient模式请求优先级队列，将待执行算法信息添加到优先级队列中。优先级队列会根据算法信息中的执行权重大小进行排序，行操作。执行操作中若算法执行完毕，系统内会根据其算法之间的关联情况查询下级算法排序。元素实现了带有compareTo()方法的Comparable接口。当系统在结构中插信息以及FeignClient模式获取指定服务器的资源利用情况。若剩余资源足够当前算法执[0132]根据算法信息中的执行权重以及任务调度队列中已有任[0141]本发明实施例公开了一种基于动态权重计算的GPU资源调度方法，根据算法运行时所需要的GPU算力和显存资源，设置预估的默认权重，并在运行时根据算法实际需求的GPU算力与显存与当前可用资源的匹配情况、算法在任务流程中与前后流程的关联性以及估的GPU显存量与服务器剩余GPU显存量的对比。系统将判断当前服务器的剩余GPU显存量[0155](1)当新的算法任务生成时，系统首先会和任务队列中已有的算法根据任务应用[0159](5)判断当前服务器的GPU剩余显存量是否足以执行当前算法任务。如果资源充前GPU剩余显存量三个要素使用任务调度队列的调度处理逻辑，实现了对任务执行过程中由算法库服务获取服务器信息，再根据其服务器信息以及FeignClient模式获取指定服务[0167]在本发明的一个具体实施例中，系统内置的工作流算法中，一些需要使用GPU资[0168]本发明实施例对CNN(卷积神经网络)算法根据CPU与GPU不同的算力资源情况下进586.18566.98329.34247.70[0172]对所