CN114327856B 数据处理方法、装置、电子设备及存储介质 （腾讯科技（深圳）有限公司）

据配置信息中包括的N个任务节点和N个任务节对任务流程图中的流程节点进行分组，得到M个流程节点分组，对M个流程节点分组中每个流程2获取计算任务的配置信息；所述配置信息包含执行所述计算任务的N个任务节点以及根据所述N个任务节点和所述N个任务节点之间的数据流向构造所述计算任务的任务遍历所述任务流程图中的流程节点，并根据遍历结果对所述任务流程任务节点用于构成第二流程节点分组，所述M个流程节点分组包括所述第一流程节点分组对所述M个流程节点分组中每个流程节点分组分配内存资源；其中，根据为所述每个流程节点分组分别分配的内存资源，对应对所述每第u个任务节点之间的循环计算配置信息，则在所述循环计算配置信息所指示的循环计算次数内所述第u个任务节点的任务处理结果为所述第v根据所述内存资源剩余量和所述内存资源总量从所述至少一个计算设备中确定目标根据所述目标计算设备的内存资源分别为所述每个流程节点分组分根据所述目标计算设备的内存资源为所述目标流程节点分组分配所述目标内存资源个任务节点指向所述N个任务节点中的多个任务节点的数据流向时所生成，所述分支节点3的输入和输出是第k个任务节点的任务处理结果，所述分支节点的输出是所述多个任务节所述遍历所述任务流程图中的流程节点，并根据遍历结果对所若遍历到所述分支节点，则将所述多个任务节点中的目标任务将所述多个任务节点中除所述目标任务节点之外的任务节点确定为将所述第一流程节点分组和所述第二流程节点分组确定为将所述每个流程节点对应的计算子任务添加到子任务队列；基于线程调度器依次对所述子任务队列中每个计算子根据为所述每个计算子任务分配的计算线程和为所述每个计算子任务对应的流程节所述根据为所述每个流程节点分组分别分配的内存资源，对应对所述每个根据为每个流程节点分组分别分配的内存资源调用所述图像处理模型对所述初始图将对所述初始图像进行图像处理后的图像确定为所述图像处理任务的所述任务计算构造模块，用于根据所述N个任务节点和所述N分组模块，用于遍历所述任务流程图中的流程节点述分支节点所连接的除所述第一流程节点分组中的任务节点之外的任务节点为独立任务4述M个流程节点分组中的任一个为目标流程节点分组，为所述目标流程节点分组分配的内处理模块，用于根据为所述每个流程节点分组分别分配的内存资源，算机指令被处理器执行时实现如权利要求1-5配置基于AI(ArtificialIntelligence,人工智能)模型的模型计算任务的执行流程图以如何节省计算任务执行过程中所耗费的内存资源成为一[0005]获取计算任务的配置信息；该配置信息包含执行计算任务的N个任务节点以及针67[0039]本申请实施例提出的数据处理方法实现于电子设备，该如本申请技术方案可以实现该技术领域中的相关AI模型的流程[0041]本申请实施例可涉及云技术相关技术领域，比如具体可涉及云计算(cloud程节点进行分组，得到M个流程节点分组，并在至少一个计算设备中确定出目标计算设备(设为第2个计算设备)，以及根据目标计算设备的内存资源分别为每个流程节点分组分配基于该任务流程图得到M个流程节点分组之后，可以基于电子设备自身的内存资源分别为8节点分组内的流程节点进行针对该计算任务该AI模型计算任务的初始图像进行图像处理，得到该AI模型计算任务对应的任务计算结执行计算任务中的具体步骤而配置的任务节点，该任务节点中定义了执行具体步骤的方法，例如基于图像处理模型的图像处理任务中可以包含用于调用图像处理模型的任务节9据输入至任务节点之后，在该任务节点会将对该输入数据执行所指示的步骤(即进行任务向第j个任务节点的数据流向，该数据流向用于指示第i个节点的任务处理结果是第j个任[0055]可选的，配置人员(如开发人员)可以通过计算任务的执行流程(又称计算任务所是由配置人员根据电子设备提供的节点配置界面进行N个任务节点[0058]在一些实施例中，电子设备可以根据配置信息得到基于计算任务定义的N个任务个任务节点的输出流为第j个任务节点的输入流，该每个任务节点的输入流可以为输入队程图之后，可以将该任务流程图进行可视化并发送给配置信息对应的配置人员(如开发人员)以进行确认，可以提高计算任务的可观性，以及在需对计算任务的配置信息进行修改包含第k个任务节点，分支节点是当配置信息中包含第k个任务节点指向N个任务节点中的多个任务节点的数据流向时所生成，分支节点的输入和输出是第k个任务节点的任务处理务节点的数据流向的任务节点。该分支节点中可以包含对输入的第k个任务节点的任务处任务节点存在指向多个任务节点的数据流向时，会生成用于判断第k个任务节点的任务处理结果流向哪个任务节点的分支节点，即该第k个任务节点的分支节点与该多个任务节点流程节点分组确定为M个流程节点分组。即电子设备可以采用深度优先搜索(DFS，DepthFirstSearch)思想，在任务流程图中遍历到的最长路径所包含的任务节点以作为第一流节点所连接的除添加到第一流程节点分组中的任务节点(即分支节点所连接的多个任务节点中除目标任务节点以外的任务节点)作为独立任务节点，并生成独立任务节点所属的第点分组中的任务节点以外的任务节点作为独立任务节点，即将任务节点7作为独立任务节任务节点7所属的第二流程节点分组包括任务节点7；由此得到任务流程图对应的M个流程[0067]可选的，对任务流程图中的流程节点进行分组可以是对像处理模型的图像处理任务中包括R个流程节点，R个流程节点包括W个调用图像处理模型过程中若因大量内存资源被占用导致设备运行流程图中额外生成一个内存分配节点(可称为MemoryAllocator)，该内存分配节点为源节进行任务处理即为对流程节点(任务节点)中的数据进行该流程节点所指示的数据处理方点分组中每个流程节点分组分配内存资源，根据为每个流程节点分组分别分配的内存资于或等于N的正整数，若配置信息包含第v个任务节点和第u个任务节点之间的循环计算配置信息，则在循环计算配置信息所指示的循环计算次数内第u个任务节点的任务处理结果为与第u个任务节点相连接的除以第i个任务节点以外任务处理结果满足循环条件，则第u个任务节点所连接的分支节点继续将该任务处理结果第二数据集，然后第v个任务节点继续对此前第一输入流中的第一数据集和此时第二输入[0084]在一些实施例中，电子设备获取M个流程节点分组的内存资源总量具体可以是在组的所需内存资源量，将每个流程节点分组的所需内存资源量的总和作为内存资源总量。中央处理器)、NPU(Neural-networkProcessingUnit，嵌入式神经网络处理器)或DSP在目标计算设备中为任务流程图的每个流程节点分组分别分配的数据集2使用的内存资[0089]在一个可能的实施方式中，M个流程节点分组中的任意一个流程节点分组表示为内存资源具体可以是，获取目标流程节点分组中每个流程节点分别对应的节点内存资源内存资源以对该流程节点分组中的流程节点[0092]在一个可能的实施方式中，电子设备可以通过线程调度器实现多线程的任务处配的计算线程和为每个计算子任务对应的流程节点所属的流程节点分组分配的内存资源，根据每个数据集和流程节点分别生成每个数据集所属的针对该数据集的任务处理结果。该计算线程池中的计算线程数量可以根据配置信息确定，流程节点分组分配数据集[2.1]对应内务节点3生成针对时间戳1的计算子任务3和对任务节点3生成针对时间戳2的计算子任务4；[0098](3)电子设备基于线程调度器依次为子任务队列中的每个计算子任务分配计算线计算线程3中基于目标计算设备1执行计算子任务3，得到时间戳1的任务处理结果(数据集子设备根据任务流程图的指示调度目标计算设的任务节点又可称为模型推理节点，该模型推理节点可以是基于TNN(一种模型推理引擎)实现的，该基于TNN的模型推理节点可以提高模型计算效率，以及基于上述描述的技术方目标计算设备的计算装置调度器等等；(3)该任务流程图中包括的流程节点可以有多种类以使用TNN推理引擎或者用于图像识别等处理的OpenCV推理引擎；(5)该电子设备和/或计[0104](1)电子设备可以根据任务节点1(可称为GeneratePTS)所在流程节点分组分配的的人脸图像得到人脸配准数据，该任务节点1包含模型推理节点，该模型推理节点可以为[0105](2)电子设备可以根据任务节点2(可称为ImagePreprocess)所在流程节点分组分[0106](3)电子设备可以根据任务节点3(可称为GenerateStyleCodes)所在流程节点分[0107](4)电子设备可以根据任务节点4(可称为ProcessFacebodyImage)所在流程节点[0108](5)电子设备可以根据任务节点5(可称为ProcessFaceImage)所在流程节点分组[0109](6)电子设备可以根据任务节点6(可称为CalculateMask)所在流程节点分组分配[0110](7)电子设备可以根据任务节点7(可称为Merge)所在流程节点分组分配的内存资节点分组的内存资源总量，以及获取至少一个计算设备中每个计算设备的内存资源剩余[0119]在一个可能的实施方式中，分配模块1004在用于对M个流程节点分组中每个流程[0125]分配模块1004在用于根据目标计算设备的内存资源分别为每个流程节点分组分[0127]将目标流程节点分组的每个流程节点分别对应的节点内存资源量中的最大值确节点包含第k个任务节点，分支节点是当配置信息中包含第k个任务节点指向N个任务节点中的多个任务节点的数据流向时所生成，分支节点的输入和输出是第k个任务节点的任务[0140]根据为每个计算子任务分配的计算线程和为每个计算子任务对应的流程节点所[0144]根据为每个流程节点分组分别分配的内存资源调用图像处理模型对初始图像进和N个任务节点之间的数据流向构造计算任务的任务流程图；分组模块遍历任务流程图中的流程节点，并根据遍历结果对任务流程图中的流程节点进行分组，得到M个流程节点分流程节点分组分别分配的内存资源，对应对每个流程节点分组内的流程节点进行任务处[0152]获取计算任务的配置信息；该配置信息包含执行计算任务的N个任务节点以及针[0158]在一个可能的实施方式中，处理器1101在用于对M个流程节点分组中每个流程节[0164]处理器1101在用于根据目标计算设备的内存资源分别为每个流程节点分组分配[0166]将目标流程节点分组的每个流程节点分别对应的节点内存资源量中的最大值确节点包含第k个任务节点，分支节点是当配置信息中包含第k个任务节点指向N个任务节点中的多个任务节点的数据流向时所生成，分支节点的输入和输出是第k个任务节点的任务[0179]根据为每个计算子任务分配的计算线程和为每个计算子任务对应的流程节点所[0183]根据为每个流程节点分组分别分配的内存资源调用图像处理模型对初始图像进