CN119473534A 一种大模型调度系统、方法、服务器、介质及产品 （国网江苏省电力有限公司信息通信分公司）

型的模型参数信息确定与所述大模型匹配的目标算力资源节点上的容器中；所述模型调度模2所述模型管理模块，用于响应客户端针对目标大模型的管理操作，对所述算力调度模块，用于根据所述目标大模型的模型参数信息确定与匹配的目标算力资源节点，并将所述目标大模型挂载至所述目标算力资源节点上的容器所述模型调度模块，用于获取各所述容器的容器参数信息，在所述容器参数大模型创建单元，用于响应于客户端针对目标大模型的创建操作大模型处理单元，用于响应于客户端针对所述目标大模型的处算力节点过滤单元，用于获取所述目标大模型的模型参数运行容器创建单元，用于在所述目标算力资源节点上创建大模异常迁移单元，用于对每个所述容器进行监测，当所述容器述调度指令对所述异常容器上挂载的大模型进行模型对每个所述容器进行监测，获取针对每个所述容器的容器参数对每个所述容器进行监测，获取针对每个所述容器的容器参数信3通过模型管理模块，响应客户端针对目标大模型的管理操作，对所通过算力调度模块，针对每个大模型，根据所述大模型的模型参数模型匹配的目标算力资源节点，并将所述大模型挂载至所述目标算力资源节点上的容器通过模型调度模块，获取各所述容器的容器参数信息，在所述容器所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求7所述的一种大模型9.一种计算机可读存储介质，其特征在于，所述算机程序在被处理器执行时实现根据权利要求7所述的45每个大模型，根据所述大模型的模型参数信息确定与所述大模型匹配的目标算力资源节[0020]应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范6不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、种重度依赖图形处理器(GraphicsProcessingUnit，GPU)的场景可以利用Kubernetes的[0031]图1是本发明实施例一提供的一种大模型调度系统的结构示意图，本实施例可适可以是客户端指定要上传导入的新的大模型。模型参数信息可以理解为大模型的参数信[0037]可以理解的是，本申请中基于Kubernetes平台及大模型调度系统1所运维的大模7[0039]算力调度模块12是大模型调度系统1的核心模块，为大模型的运行提供调度决策客户端的创建操作，获取目标大模型的大模型文件，大模型文件可基于指定的模型规模(7B/13B/33B)和语言(中文/英文)等属性上传。大模型文件通过大模型调度系统中的大模型创建单元上传至Kubernetes平8的目标大模型属性进行指定内容(例如语言)的编辑操作，大模型处理单元响应该编辑操从多个算力资源节点中过滤与目标大模型相匹配的至少一个中间算力9挂载的大模型的运行流量监控与调控。在基于监控的模型运行信息确定存在调控需求时，[0065]可以理解的是，异常迁移单元与负载均衡单元所对应监节点上异常容器内挂载的大模型的模型文件存储热迁移至备用算力资源节点上的备用容型运行容器的监测，获取大模型运行容器内大模型运行所对应的每秒查询流量QPS和响应[0089]图3是本发明实施例二提供的一种大模型调度方法的流程图，可适用于对大模型于在目标算力资源节点上创建大模型运行容器，并将目标大模型挂在至大模型运行容器[0100]图4是本发明实施例三提供的一种大模型调度服务器的结构示意图。大模型调度[0101]图5是本发明实施例三提供的一种大模型调度服务器的部署示意图，为不同的异(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程[0104]处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41载到RAM43并由处理器41执行时，可以执行上文描述的大模型调度方法的一个或多个步机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器[0107]用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合机器上执行且部分地在远程机器上执行或完全在远程机器或服务[0109]为了提供与用户的交互，可以在大模型调度服务器上实施此处描述的系统和技面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网通信网