CN114860459B 多流并行数据处理中避免内存需求暴涨的系统及其方法 （北京一流科技有限公司）

多流并行数据处理中避免内存需求暴涨的本公开涉及一种在多流并行数据处理中避免内存需求暴涨的系统及其方法。所述系统包所包含的计算逻辑节点任务插入其所属对应的务流计算引擎确认所要插入的计算逻辑节点不从而使得被重构的张量释放节点所在的任务流中的其后的计算逻辑节点申请内存的执行在所2任务流计算引擎，随着任务的执行，在将任务所包含的计算张量信息获取组件，在任务流计算引擎确认所要插入的计算所有任务流上需要使用所述张量的计算逻辑节点的输出端都连接到所述张量释放节点的流中的其后的计算逻辑节点申请内存的执行在所述张量释放节点完成张量释其中，所述任务流计算引擎在所述张量被所述张量所生成的随着任务的执行，通过任务流计算引擎在将任务所包含的属对应的任务流中时，确认所要插入的计算逻辑节点是否为张量生成逻辑节点，如果不在任务流计算引擎确认所要插入的计算逻辑节点不是张量基于张量信息获取组件所获得信息，通过张量释放节点重构组件重构张量释放节点，使得所有任务流上需要使用所述张量的计算逻辑节点的输出端都连接到所述张量释放节任务流中的其后的计算逻辑节点申请内存的执行在所述张量释放节点完成张量释放之后，其中所述任务流计算引擎在所述张量被所述张量所生成的计算逻辑节点的其他下游计算任务流计算引擎，随着任务的执行，在将任务所包含的计算3张量信息获取组件，在任务流计算引擎确认所要插入的计算所有任务流上需要使用所述张量的计算逻辑节点的输出端都连接到所述张量释放节点的所述张量的计算逻辑节点所属的任务流中最后使用所述张量的计算逻辑节点之后的计算逻辑节点申请内存的执行在所述张量释放节点完成张量释随着任务的执行，通过任务流计算引擎在将任务所包含的属对应的任务流中时，确认所要插入的计算逻辑节点是否为张量生成逻辑节点，如果不在任务流计算引擎确认所要插入的计算逻辑节点是张量生基于张量信息获取组件所获得信息，通过张量释放节点重构组件重构张量释放节点，使得所有任务流上需要使用所述张量的计算逻辑节点的输出端都连接到所述张量释放节生成所述张量的计算逻辑节点所属的任务流中最后使用所述张量的计算逻辑节点之后的计算逻辑节点申请内存的执行在所述张量释放节点完成4[0003]但是在进行多流并行的数据处理方法往往存在不同流之间的参数交换以及不同节点输出端连接到生成所述张量的计算逻辑节点所属的任务流中使用所述张量的计算逻申请内存的执行在所述张量释放节点完成张量释流计算引擎在所述张量被所述张量所生成的计算逻辑节点的其他下游计算逻辑节点所使5流计算引擎在发射了重构的张量释放节点之后，再次接收到针对同一张量的释放节点时，[0008]根据本公开的另一个方面一种在多流并行数据处理中避张量的计算逻辑节点所属的任务流中使用所述张量的计算逻辑节点和其下游计算逻辑节被重构的张量释放节点所在的任务流中的其后的计算逻辑节点申请内存的执行在所述张任务流计算引擎在所述张量被所述张量所生成的计算逻辑节点的其他下游计算逻辑节点流计算引擎在发射了重构的张量释放节点之后，再次接收到针对同一张量的释放节点时，插入其所属对应的任务流中时，确认所要插入的计算逻辑节点是否为张量生成逻辑节点，述张量的计算逻辑节点所属的任务流中使用所述张量的计算逻辑节点的下游计算逻辑节述张量的计算逻辑节点之后的计算逻辑节点申请内存的执行在所述张量释放节点完成张务插入其所属对应的任务流中时，确认所要插入的计算逻辑节点是否为张量生成逻辑节6到生成所述张量的计算逻辑节点所属的任务流中使用所述张量的计算逻辑节点的下游计后使用所述张量的计算逻辑节点之后的计算逻辑节点申请内存的执行在所述张量释放节[0013]通过采用根据本公开的在多流并行数据处理中的避免内存需求暴涨的系统及其间建立直接的连接关系以及与生成计算逻辑节点的下游计算逻辑节点之间建立直接连接申请内存的节奏，从而防止计算速度快的任务流过快地处理导致的内存需求量量的暴涨，[0015]图1所示的是现有技术中对流并行数据处理结构中存在内存需求量暴涨的示意[0016]图2所示的是根据本公开的在多流并行数据处理中的避免内存需求暴涨的系统的[0017]图3所示的是根据本公开的在多流并行数据处理中的避免内存需求暴涨的系统的一个或多个相关联的列出项目的任何或所有7本公开范围的情况下，在下文中，两个可能对象之一可以被称为第一逻辑节点也可以被称[0023]图1所示的是现有技术中对流并行数据处理结构中存在内存需求量暴涨的示意要该计算逻辑节点所申请的内存中保存的数据未被使用完成或者计算逻辑节点未完成其图2所示的是根据本公开的在多流并行数据处理中的避免内存需求暴涨的系统的第一实施8[0027]当任务流计算引擎130确认所要插入的计算逻辑节点是张量生成逻辑节点时，这信息。为此，张量信息获取组件110获取需要使用所生成的张量的所有计算逻辑节点的信信息获取组件110所获得信息通过改写的方式重构张量释放节点。如果不存在针对该张量逻辑节点S1-n1、S1-n2以及S2-n2之间的关系，重构出如图2所示的张量释放节点S1-rn3(T1)其处于作为张量T1的生成计算逻辑节点S1-n1的下游计算逻辑节点S1-n2之后以及使得张量释放节点S1-rn3(T1)与处于任务流S2中使用张量T1的计算逻辑节点S2-n2之间存在游计算逻辑节点所对应的执行体需要在接收到张量释放节点S1-rn3(T1)所对应的执行体完成张量T1的释放的消息之后，才能够开始执行操作并申请内存。通过张量释放节点S1-rn3(T1)来限制后续计算逻辑节点申请内存的节奏来控制任务流S1在处理速度比较快的情节点输出端连接到生成所述张量的计算逻辑节点所属的任务流中使用所述张量的计算逻辑节点和其下游计算逻辑节点之间，以便任务流计算引擎110将所重构的张量释放节点插节点申请内存的执行在所述张量释放节点完成张量释[0029]图3所示的是根据本公开的在多流并行数据处理中的避免内存需求暴涨的系统的9中的最后使用张量T1的计算逻辑节点的输出端都连接到张量释放节点S2-rn3(T1)的输入辑节点的直接下游计算逻辑节点（例如S1-n4）的输入端，从而建立张量释放节点S2-rn3放节点S2-rn3(T1)需要等待所有任务流中使用张量T1的计算逻辑节点完成使用之后才能辑节点所对应的执行体需要在接收到张量释放节点S2-rn3(T1)所对应的执行体完成张量限制后续计算逻辑节点申请内存的节奏来控制任务流S1在处理速度比较快的情况下内存端连接到生成所述张量的计算逻辑节点所属的任务流中使用所述张量的计算逻辑节点的下游计算逻辑节点的输入端，以便任务流计算引擎110将所重构的张量释放节点插入含有任务流中最后使用所述张量的计算逻辑节点之后的计算逻辑节点申请内存的执行在所述所有任务流上需要使用所述张量的计算