CN119443258A 推理方法、装置、设备及介质 （中科加禾(北京)科技有限公司）

部署在各GPU上的目标模型的模型参数，该推理理任务按照计算任务和通信任务的组合方式切据切分成与各组子任务对应的输入子数据；之的顺序依赖关系，生成一个与该GPU对应的CUDA该GPU依据模型参数和输入子数据并行执行多组2根据所述目标模型的结构信息，将所述推理任务按照计算任务根据各组子任务中计算任务与通信任务之间的顺序依赖关系，生成根据该CUDA流调度该图形处理器上的CUDA内核，以供该图形处根据各组子任务中计算任务与通信任务之间的顺序依赖关系和性能根据多组子任务在各推理轮中并行执行的任务，生成一个与该图形处理所述根据该CUDA流调度该图形处理器上的CUDA内核，以供该图形处理在依次执行各推理轮时，根据该CUDA流调度该图形处理器处理器依据所述模型参数和所述输入子数据在该推理轮中并针对各组子任务，根据计算任务与计算任务，从多组子任务中将所述第一计算任务和所述第二计算任务分别作为其对应的推理轮中并行执行的任三组子任务和第四组子任务，各组子任务包括按照所述顺序依赖关系排列的矩阵乘操作、3根据所述目标模型的结构信息，将所述目标模型的模型权重文在执行各组子任务中的通信任务时，通过与该组子任务中与通信任务和/或所述拓扑获取模块，用于响应于接收到针对目标模型的推理请求，获取切分模块，用于根据所述目标模型的结构信息，将所生成模块，用于根据各组子任务中计算任务与通信任务之间的推理模块，用于根据该CUDA流调度该图形处理器上的CUDA内所述处理器用于通过运行所述存储器中的程序，实现如权利要求1_8中任一项所述的被处理器运行时使得所述处理器实现如权利要求1_8中任一4上所分配的一个CUDA(ComputeUnifiedDeviceArchitecture，统一计算设备架构)流的5个处理器关联的存储器，存储器用于存储程序指令,程序指令在被一个或多个处理器读取处理器运行时使得处理器实现上述第一方面解决相关技术在调度GPU上用于执行计算任务的CUDA内核和用于执行通信任务的CUDA内核6相关技术在调度GPU设备端上不同的CUDA内核以分别执行计算任务和通信任务所存在的很120通信连接；NVLink(连接)用于GPU设备端120中各GPU之间通信连接；其中，NVLink是[0027](1)响应于接收到针对目标模型的推理请求，获取部署在各图形处理器上的目标[0028](2)根据目标模型的结构信息，将推理任务按照计算任务和通信任务的组合方式[0029](3)根据各组子任务中计算任务与通信任务之间的顺序依赖关系，生成一个与该[0030](4)根据该CUDA流调度该图形处理器上的CUDA内核，以供该图形处理器依据模型[0032]图2为本申请实施例提供的推理方法的流程图，以该方案应用于图1中的CPU主机的推理请求时，从GPU设备端(例如图1所示的GPU设备端120)中确定用于部署目标模型的该目标模型的模型参数主要包括目标模型中各个层的7[0040]例如，卷积层通过卷积核与输入张量的局部区域进行乘过PCIe(PeripheralComponentInterconnectExpress)或NVLink(连接)获取部署在各[0046]在一个示例中，推理请求可以为应用层下发的用于对目标模型进行推理的指结构信息，将推理任务按照计算任务和通信任务的组合方式切分成与该GPU对应的多组子8[0052]例如，卷积层通过卷积核与输入张量的局部区域进行乘计算任务和通信任务的组合方式切分为与该图形处理器对应的多组子任务”进行详细描集(all_gather)、全归约(all_reduce)、广播(broadcast)、归约(reduce)、归约散射9约(All_Reduce)操作、广播(broadcast)操作、归约(Reduce)操作、归约散射(Red活操作可以包括SiLU(SigmoidLinearUnit)，ReLU(RectifiedLinearUnit)和GeLU计算任务与计算任务是指该组子任务中一个任务的完成需要依赖该组子任务中另一个或理和组织在GPU调度CUDA内核以供该GPU并行执行[0079]在本实施例，通过计算任务与计算任务来生成一个用于并行执行多组子任务的[0083]在本实施例，根据通信任务中通信操作的类型来确定最终会基于部分或全部GPU[0086]在本实施例，多组子任务中的通信任务和计算任务都是由CPU主机端根据CUDA流解决相关技术在调度GPU上用于执行计算任务的CUDA内核和用于执行通信任务的CUDA内核性能指标。可选的，这些性能指标通常可以使用CUDARuntime(运行)API(ApplicationVisualProfiler(可视化探查器)等)来涉及GPU设备端的计算任务执行和性能数据收集。通过综合分析CPU主机端和GPU设备端的[0099]在本实施例，通过NVIDIANSYS(NsightSystems)工具可以在CPU主机端或GPU设[0102]下面实施例对上述步骤S204即“根据该CUDA流调度该图形处GPU根据模型参数和输入子数据并行执行各推理轮中并行执行的任务，直至完成并行执行可以将不在同一子组任务中的多个计算任务与通信任务并行执行，以提高GPU的计算资源据对推理结果和/或推理速度的要求，将多组子任务对应拆分成几个推理轮中并行执行的四组子任务中各组子任务包括按照计算任务与计算任务所定义的先后顺序排列的矩阵乘行的第三组子任务中张量操作和第三组子任[0118]针对第一计算任务和第二计算任务，分别确定其对应的推理轮中并行执行的任任务中全归约操作并行执行的第二组子任务中矩阵乘操作作为第二推理轮中并行执行的约操作并行执行的第三组子任务中张量操作和第三组子任务中规约操作作为第五推理轮[0121]在图8中，第一子组任务包括：矩阵乘_1、All_Reduce_1、张量操作(+)_1和[0123]以GPU1执行All_Reduce_1为示例，由该GPU1根据矩阵乘_1的输出结果和All_会相同；接着执行RmsNorm，RmsNorm的输入为张量操作(+)的输出，那么每个GPU对应的地利用GPU的硬件资源并行执行不在同一子组任务中的计算任务和通信任务，避免不必要[0138]在本实施例，通过开销更小的CUDA内核同步原语唤醒该组子任务中的全归约操[0139]其中，CUDA内核同步原语(CUDAKernelSynchronizationPrimitives)是指在信任务之间的消息传递需通过GPU全局访存进行，导致唤醒通信任务的消息传递开销大的[0145]在执行各组子任务中的通信任务时，通过与该组子任务中与通信任务和/或拓扑GPU3)之间进行两轮通信，将GPU1、GPU2和GPU3所有的数据聚合在各GPU上，即最终GPU1、[0154]在一个示例中，以All_Reduce为示例，Ring_based(环形)通信算法需要进行2*[0158]在本实施例，采用OpenAI(美国开放人工智能研究中心)API格式接收到针对目标行的第三组子任务中张量操作和第三组子任中与通信任务和/或拓扑图对应的通信算法完成各图形处理器之[0187]处理器1301可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可通过总线系统和/或其他形式的连接机构(未[0194]计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本以完全地在用户CPU主机端上执行、部分地在用户设备上执行、作为一个独立的软件包执[0200]提供所公开的方面的以上描述以使本领域的