CN119248525B 推理系统的内存管理方法和装置 （支付宝(杭州)信息技术有限公司）

本申请一个或多个实施例提供一种推理系括用于部署所述推理引擎的计算设备上搭载的GPU；所述推理引擎维护了用于调度推理请求集队列中正在执行的推理请求集合相关联的数据存管理时间窗口内与所述推理请求集合对应的所述推理请求集合分配GPU内存；在所述内存管正在执行的推理请求集合相关联的数据处理时2算资源包括用于部署所述推理引擎的计算设备上搭载的GPU；所述推理引擎维护了用于调根据针对所述Prefill调度队列中正在执行的Prefill推理请求集合进行数据处理的在所述Prefill内存管理时间窗口结束时，重新根据针对所述Prefil根据针对所述Decode调度队列中正在执行的Decode推理请求集合进行数据处理的数述Decode推理请求集合对应的GPU内存需求量，以及根据所述GPU内存需求量，为所述在所述Decode内存管理时间窗口结束时，重新根据针对所述De2.根据权利要求1所述的方法，所述根据与所述Prefill调度队列中正在执行的确定与所述Prefill调度队列中正在执行的Prefill推理请求集合中的推理请求对应的最大令牌数量，并根据与所述最大令牌数量对应的令牌处理时长确定Prefill内存管理3.根据权利要求1所述的方法，所述根据与所述Decode调度队列中正在执行的Decode确定与所述Decode调度队列中正在执行的Decode推理请求集合中的推理请求对应的4.根据权利要求1所述的方法，计算内存管理时间窗口内与推理计算内存管理时间窗口内与推理请求集合对应确定与所述内存管理时间窗口对应的前一个内存管理时间窗口内的最大GPU内存使用量，以及各个目标内存管理时间窗口内与所述推理请求集合对应的静态GPU内存使用量之将所述静态GPU内存使用量与所述动态GPU内存使用量之和，确定5.根据权利要求4所述的方法，所述计算内存管理时间窗口内与推理请求集合对应的3确定与所述Prefill推理请求集合中的各个推理请求对应的令牌所需的第一GPU内存使用量，以及基于所述Prefill推理请求集合中的各个推理请求生成一个令牌所需的第二Prefill内存管理时间窗口内与所述Prefill推理请求集合对应的静态G6.根据权利要求4所述的方法，所述计算内存管理时间窗口内与推理请求集合对应的确定基于所述Decode推理请求集合中的各个推理请求生成一个令牌所需的GPU内存使用量，并将所述GPU内存使用量确定为所述Decode内存管理时间窗口内与所述Decode推理7.根据权利要求1所述的方法，所述根据所述GPU获取与所述Decode推理请求集合对应的当前根据所述当前GPU内存使用量和所述GPU内存需求量，判断是否满足GPU内存分配条件如果满足所述GPU内存分配条件，根据所述GPU内存需求量，为所述如果满足所述GPU内存释放条件，释放用于执行所述Decode推理请求集合的GPU内存，并更新所述当前CPU内存使用量，以在根据更新后的当前GPU内存使用量和所述GPU内存需所述当前GPU内存使用量和所述GPU内存需求量之和小于预设的9.根据权利要求7所述的方法，所述释放用于执行所述Decode推理请求集合的GPU内判断所述Decode推理请求集合中的推如果所述数量大于所述第三阈值，将与所述Decode推理请如果所述数量不大于所述第三阈值，基于与所述Decod算资源包括用于部署所述推理引擎的计算设备上搭载的GPU；所述推理引擎维护了用于调第一内存管理模块，根据针对所述Prefill调度队列中正在执行的Pre存管理时间窗口内与所述Prefill推理请求集合对应的GPU内存需求量，以及根据所述GPU4第二内存管理模块，根据针对所述Decode调度队列中正在执行的重新根据针对所述Decode调度队列中正在执行的Decode推理请求集合进行数据处理的数据处理时长，确定与所述Decode内存管理时间窗口对应的后一个Decode内存管理时间窗其中，所述处理器通过运行所述可执行指令以实现如权利要求5引擎（InferenceEngine）、用户界面（UserInterface）、解释机制（Explanation推理引擎的计算资源包括用于部署所述推理引擎的计算设备上搭载的GPU；所述推理引擎[0007]根据与所述Prefill调度队列中正在执行的Prefill推理请求集合相关联的数据述Prefill推理请求集合对应的GPU内存需求量，以及根据所述GPU内存需求量，为所述[0009]根据与所述Decode调度队列中正在执行的Decode推理请求集合相关联的数据处理时长，确定Decode内存管理时间窗口，并计算所述Decode内存管理时间窗口内与所述6述推理引擎的计算资源包括用于部署所述推理引擎的计算设备上搭载的GPU；所述推理引理时间窗口内与所述Prefill推理请求集合对应的GPU内存需求量，以及根据所述GPU内存间窗口内与所述Decode推理请求集合对应的GPU内存需求量，以及根据所述GPU内存需求新根据与所述Decode调度队列中正在执行的Decode推理请求集合相关联的数据处理时长，确定与所述Decode内存管理时间窗口对应的后一个Decode内[0017]其中，所述处理器通过运行所述可执行指令以实现如上述任一项所述方法的步请求集合对应的GPU内存需求量，并根据该GPU内存需求量，为该推理请求集合分配GPU内集合相关联的数据处理时长，确定与该内存管理时间窗口对应的下一个内存管理时间窗7量为该推理请求集合分配GPU内存，这样不仅可以保证推理引擎在批量执行推理请求的过中的不同阶段来设置内存管理时间窗口，以及预测在所设置的内存管理时间窗口内的GPU例中所描述的实施方式并不代表与本申请一个或多个实施例相一致的所有实施方式。相[0031]随着人工智能技术的发展，基于大模型（例如：大语言模型LargeLanguage8自然语言处理领域，特别是大语言模型中，推理过程通常涉及根据给定的输入提示语言处理中，文本被分割成的一系列小单位，如单词或字符等，具体取决于模型的分词方式。生成了一定数量的Tokens或者遇到了特定的9内存管理时间窗口内与该推理请求集合对应的GPU内存需求量，并根据该GPU内存需求量，量为该推理请求集合分配GPU内存，这样不仅可以保证推理引擎在批量执行推理请求的过中的不同阶段来设置内存管理时间窗口，以及预测在所设置的内存管理时间窗口内的GPU[0050]API服务器是一种专门设计用于处理客户端请求并返回响应的服务器，通常是应[0051]具体而言，API服务器通常作为推理系统的统一入口，处理所有来自客户端的请[0054]与之相应地，上述API服务器可以被部署在上述推理引擎所在的计算设备上；或些资源中的一部分用于执行Prefill阶段的推理计算，使用这部分资源的推理引擎可以被源中的一部分用于执行Prefill阶段的推理计算，使用这部分资源的推理引擎可以被称为[0059]更进一步地，用于执行Prefill阶段的推理计算的计算设备或其部分资源上可以部署至少一个计算实例（可称为第一计算实例这些第一计算实例共同组成了上述[0064]负载感知调度是指在计算系统中根据各个节点或资源的当前负载情况来分配任为了实现动态平衡各个节点的工作负载，避免某些节点过载而其他节点空闲的情况发生。推理请求调度至该第一计算实例，以使用该第一计算实例的GPU资源来针对该推理请求进推理请求对应的Prefill阶段的推理计算结果调度至该第二计算实例，以使用该第二计算理请求进行路由，以将推理请求转发至上述推理引擎中的上述第一计算实例的请求路由[0070]对于用于部署上述推理引擎包含的Prefill引擎部分的计算设备或其部分资源而设备上的Prefill代理，由该Prefill代理进一步地将该推理请求调度至该第一计算实例，以使用该第一计算实例的GPU资源来针对该推理请求进行Prefill阶段的[0072]对于用于部署上述推理引擎包含的Decode引擎部分的计算设备或其部分资源而在其管理的第一计算实例在完成针对推理请求的Prefill阶段的推理计算后，可以根据各推理请求对应的Prefill阶段的推理计算结果发送至部署在该第二计算实例所在的计算设Prefill阶段的推理计算结果继续进行Decode阶[0077]除此之外，上述代理内部还可以包含两个组件，分别为内存预测器（Memory正在执行的推理请求集合中各个推理请求所处的执行阶段来进行GPU内存管理，实现推理[0083]Prefill阶段通常发生在生成文本的初始阶段，其主要目的是为模型提供一个初到生成完整的输出序列。在Decode阶段，模型会在已有的文本基础上逐字或逐词地生成新义的内容。[0086]步骤302：根据与所述Prefill调度队列中正在执行的Prefill推理请求集合相关所述Prefill推理请求集合分配GP[0087]在本实施例中，在通过上述Prefill调度队列将一个推理请求集合（可称为Prefill推理请求集合）中的各个Prefill推理请求调度至各个第一计算实例进行执行之后，该Prefill调度队列维护的该Prefill推理请求集合中的各个Prefill推理请求的执行状态可以由未执行状态更新为正在执行状态。而对于该Prefill调度队列中正在执行的Prefill推理请求集合而言，可以根据与该Prefill推理请求集合相关联的数据处理时长，的GPU内存管理任务的时间单位，即在该Prefill内存管理时间窗口内执行一次Prefill阶推理请求集合中的各个Prefill推理请求包含的令牌的数量进行比较，以确定其中最大的以将与该最大令牌数量对应的令牌处理时长确定为上述Prefill内存管理时间窗口的长[0089]在本实施例中，在确定了上述Prefill内存时间窗口的情况下，可以计算该Prefill内存管理时间窗口内与上述Prefill推理请求集合对应的GPU内存需求量，从而可引擎执行该推理请求集合中的推理请求的过程中，根据实际的GPU内存需求量来为其分配即根据与上述Prefill调度队列中正在执行的Prefill推理请求集合相关联的数据处理时[0093]在本实施例中，在上述Prefill内存管理时间窗口内的GP重新根据与上述Prefill调度队列中正在执行的Prefill推理请求集合相关联的数据处理正在执行的Prefill推理请求集合相关联的数据处理时长确定的第T个Prefill内存管理时间窗口，则可以计算第T个Prefill内存管理时间窗口内与该Prefill推理请求集合对应的个Prefill内存管理时间窗口结束时，可以重新根据与该Prefill调度队列中正在执行的而可以计算第T+1个Prefill内存管理时间窗口内与该Prefill推理请求集合对应的GPU内求集合对应的GPU内存需求量时，具体可以先计算该Prefill内存管理时间窗口内与该Prefill推理请求集合对应的静态GPU内存使用量，然后确定与该Prefill内存管理时间窗口对应的前一个Prefill内存管理时间窗口内的最大GPU内存使用量，以及各个目标Prefill内存管理时间窗口内与该Prefill推理请求集合对应的静态GPU内存使用量之和，并将该最大GPU内存使用量与该静态GPU内存使用量之和之间的差值，确定为该Prefill内存管理时间窗口内与该Prefill推理请求集合对应的动态GPU内存使用量，其中目标Prefill内存管理窗口为在该Prefill推理请求集合的执行过程中，位于该Prefill内存管理时间窗口之前的Prefill内存管理窗口，最后将该静态GPU内存使用量与该动态GPU内存使用量之和，确定为该Prefill内存管理时间窗口内与该Prefill推理请求集合对应的GPU正在执行的Prefill推理请求集合相关联的数据处理时长确定的第T个Prefill内存管理时间窗口，则与第T个Prefill内存管理时间窗口对应的前一个Prefill内存管理时间窗口为第T_1个Prefill内存管理时间窗口，在该Prefill推理请求集合的执行过程中位于第T个Prefill内存管理时间窗口之前的目标Prefill内存管理窗口为第1至T_1个Prefill内存管间窗口内的最大GPU内存使用量，PrefillNeedResource[T]表示第T个Prefill内存管理时Prefill内存管理时间窗口之前的所有Prefill内存管理时间窗口内的静态GPU内存使用量[0100]需要说明的是，上述静态GPU内存使用量指的是在推理过程中可预见的需要使用可以为该推理引擎预留足量的虚拟GPU内存，而在后续的推理过程中再采用上述内存管理求集合对应的静态GPU内存使用量时，具体可以确定与上述Prefill推理请求集合中的各个Prefill推理请求对应的令牌所需的GPU内存使用量（可称为第一GPU内存使用量以及基于该Prefill推理请求集合中的各个Prefill推理请求生成一个令牌所需的GPU内存使用量定为上述Prefill内存管理时间窗口内与该Prefill推理请求集合对应的静态GPU内存使用[0103]步骤306：根据与所述Decode调度队列中正在执行的Decode推理请求集合相关联推理请求集合）中的各个Decode推理请求调度至各个第二计算实例进行执行之后，该Decode调度队列维护的该Decode推理请求集合中的各个Decode推理请求的执行状态可以内存管理时间窗口内与上述Decode推理请求集合对应的GPU内存需求量，从而可以根据该[0107]在实际应用中，可以由上述Decode代理中的内存预测器即根据与上述Decode调度队列中正在执行的Decode推理请求集合相关联的数据处理时长，定与该Decode内存管理时间窗口对应的后一个Decode内在执行的Decode推理请求集合相关联的数据处理时长确定的第T个Decode内存管理时间窗集合对应的GPU内存需求量时，具体可以先计算该Decode内存管理时间窗口内与该Decode推理请求集合对应的静态GPU内存使用量，然后确定与该Decode内存管理时间窗口对应的前一个Decode内存管理时间窗口内的最大GPU内存使用量，以及各个目标Decode内存管理使用量与该静态GPU内存使用量之和之间的差值，确定为该Decode内存管理时间窗口内与该Decode推理请求集合对应的动态GPU内存使用量，其中目标Decode内存管理窗口为在该管理时间窗口内与该Decode推理请求集合对应的GPU内在执行的Decode推理请求集合相关联的数据处理时长确定的第T个Decode内存管理时间窗Decode内存管理时间窗口，在该Decode推理请求集合的执行过程中位于第T个Decode内存这种情况下，以DecodeStaticResource[T]表示第T个Decode内存管理时间窗口内的静态GPU内存使用量，DecodeMaxResource[T]表示第T个Decode内存管理时间窗口内的最大GPU内存使用量，DecodeNeedResource[T]表示第T个Decode内存管理时间窗口内的GPU内存需(DecodeStaticResource[0]+DecodeStaticResource[1]+…+DecodeStaticResource管理时间窗口对应的前一个Decode内存管理时间窗口内的最大GPU内存使用量，以及该Decode内存管理时间窗口之前的所有Decode内存管理时间窗口内的静态GPU内存使用量之[0116]需要说明的是，上述静态GPU内存使用量指的是在推理过程中可预见的需要使用可以为该推理引擎预留足量的虚拟GPU内存，而在后续的推理过程中再采用上述内存管理集合对应的静态GPU内存使用量时，具体可以确定基于该Decode推理请求集合中的各个Decode推理请求生成一个令牌所需的GPU内存使用量，并将该GPU内存使用量确定为该于一个Decode推理请求生成一个令牌所需的GPU内存使用量，可以是基于该Decode推理请求包含的Prompt生成一个令牌所需的集合对应的当前GPU内存使用量。然后，可以根据该当前GPU内存使用量和该GPU内存需求[0120]需要说明的是，上述GPU内存分配条件和上述GPU内存释放条件是互斥的两个条[0122]如果满足上述GPU内存释放条件，则可以释放用于执行上述Decode推理请求集合GPU内存需求量，确定满足上述GPU内存分配条件的情况下，根据该GPU内存需求量，为该DCGM是一款用于管理和监控数据中心内GPU资源的工具，它能够帮助有效地管理大规模的[0125]具体而言，以DecodeNeedResource[T]表示第T个Decode内存管理时间窗口内的表示上述第二阈值，则可以在DecodeCurrentResource[T]+DecodeNeedResource[T]<Threshold1时确定满足上述内存分配条件，而在DecodeCurrentResource[T]>Threshold2[0126]在实际应用中，DecodeCurrentResource[T]+DecodeNeedResource[T]>Threshold1且DecodeCurrentResource[T]<Threshold2的这一段时间可以作为释放GPU内上述Decode推理请求集合的GPU内存时，可以根据该Decode推理请求集合中的Decode推理可以将与该Decode推理请求集合中的各个Decode推理请求对应的令牌从GPU内存中卸载[0130]如果上述Decode推理请求集合中的Decode推理请求的数请求集合对应的GPU内存需求量，并根据该GPU内存需求量，为该推理请求集合分配GPU内集合相关联的数据处理时长，确定与该内存管理时间窗口对应的下一个内存管理时间窗量为该推理请求集合分配GPU内存，这样不仅可以保证推理引擎在批量执行推理请求的过中的不同阶段来设置内存管理时间窗口，以及预测在所设置的内存管理时间窗口内的GPU现，比如由处理器402从非易失性存储器410中读取对应的计算机程序到内存408中然后运[0136]上述推理系统的内存管理装置可以应用于如图4所示的设备，以实现本申请的技上搭载的GPU；所述推理引擎维护了用于调度处于Prefill阶段的推理请求集合的Prefill[0137]第一内存管理模块502，根据与所述Prefill调度队列中正在执行的Prefill推理存管理时间窗口内与所述Prefill推理请求集合对应的GPU内存需求量，以及根据所述GPU[0138]第二内存管理模块504，根据与所述Decode调度队列中正在执行的Decode推理请重新根据与所述Decode调度队列中正在执行的Decode推理请求集合相关联的数据处理时[0140]确定与所述Prefill调度队列中正在执行的Prefill推理请求集合中的推理请求对应的最