CN114691356B 数据并行处理方法、装置、计算机设备及可读存储介质 （树根互联股份有限公司）

本发明实施例公开了一种数据并行处理方处理数据，以得到对应待处理数据的多条子数2根据预设计算模型拆分所述待处理数据，以得到对应所述待处理数据的多条子数据，根据预设的有序字典和所述血缘元数据，合并各数据处理器反馈的处理结其中，根据预设计算模型拆分所述待处理数据，以得到对应所为每一条子数据关联对应的血缘元数据，所述血其中，为每一条子数据关联对应的血缘元数据用于根据根据预设的有序字典和所述血缘元数据，合并各数据处理器反馈的处理结将各数据处理器反馈的处理结果集合至预设的有序字典，所述有序按照待处理数据的属性分组序号排列顺序以及分组组数对有序字典中的处理结果进获取所述待处理数据关联的待处理任务，所述待处理任务包括根据所述数据输入输出模式和所述映射计算逻辑生成具备分组序号的多个数据处理根据所述并行计算模型对所述待处理数据进行划分，以得到所述待处根据所述并行计算模型将计算逻辑相互依赖的子数据根据各子数据组对应的计算逻辑和各数据处理器的分组序号将全部子数据分配至不3数据拆分模块，用于根据预设计算模型拆分所述待处理数据，以并行计算模块，用于根据预设分组规则，将全部子数据分配数据合并模块，用于根据预设的有序字典和所述血缘元数据，合所述数据合并模块具体用于：将各数据处理器反馈的处理结果集合至预设的有序字存储空间超过预设容量阈值，所述有序字典会自动调用存储空间中次序最前的处理结果，根据所述数据输入输出模式和所述映射计算逻辑生成具备分组序号的多个数据处理根据所述并行计算模型对所述待处理数据进行划分，以得到所述待处6.一种计算机设备，其特征在于，包括处理序，所述计算机程序在所述处理器上运行时执行权利要求1-3任一项所述的数据并行处理7.一种计算机可读存储介质，其特征在于程序，所述计算机程序在处理器上运行时执行权利要求1-3中任一项所述的数据并行处理4[0013]根据本申请实施例的一种具体实施方式，根据预设计算模型拆分所述待处理数[0015]根据所述数据输入输出模式和所述映射计算逻辑生成具备分组序号的多个数据5[0019]根据各子数据组对应的计算逻辑和各数据处理器的分组序号将全部子数据分配[0020]根据本申请实施例的一种具体实施方式，根据预设计算模型拆分所述待处理数[0023]按照待处理数据的属性分组序号排列顺序以及分组组数对有序字典中的处理结[0024]根据本申请实施例的一种具体实施方式，根据预设的有序字典和所述血缘元数[0033]根据所述数据输入输出模式和所述映射计算逻辑生成具备分组序号的多个数据6数据均关联对应所述待处理数据的血缘元数据，各所述血缘元数据包括所述唯一标识信[0042]通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含7[0048]在具体实施例中，所述数据并行处理方法可以运用在各数据拆分器会自动为所述待处理数据生成相对据进行拆分处理时，会为所述待处理数据拆分出的每一条子数据关联所述唯一标识信息，所述归属标识信息对所述子数据进行分类和合[0060]所述数据拆分器按照不同分组的输入输出模型和映射计算逻辑对所述待处理数[0061]根据本申请实施例的一种具体实施方式，根据预设计算模型拆分所述待处理数8[0063]根据所述数据输入输出模式和所述映射计算逻辑生成具备分组序号的多个数据输入模式和所述输出模式之间的映射关系构9[0079]在本实施例中，所述并行计算模型包括上述输入输出模处理数据，则能够根据输入模型的属性类型和分组序号对所述待处理数据进行分组划分，以得到所述待处理数据的分组组数和多条具有属性分组序号的[0080]根据本申请实施例的一种具体实施方式，根据预设计算模型拆分所述待处理数识信息、所述子数据对应的属性分组序号和所述子数据所属于的待处理数据的分组组数。[0091]根据各子数据组对应的计算逻辑和各数据处理器的分组序号将全部子数据分配[0092]在具体实施例中，所述并行计算模型的具体结构可以参[0093]根据所述并行计算模型能够将计算逻辑相互依赖的多条子数据分配至同一个数[0098]具体的，所述数据合并器会预先建立一个有序字典作为[0099]根据本申请实施例的一种具体实施方式，根据预设的有序字典和所述血缘元数[0101]按照待处理数据的属性分组序号排列顺序以及分组组数对有序字典中的处理结字典能够按照接收所述输出结果的时序为每一输出结果分配对应的[0104]根据本申请实施例的一种具体实施方式，根据预设的有序字典和所述血缘元数[0111]参考图2，为本申请实施例提供的一种数据并行处理装置的述待处理数据关联的待处理任务，所述待处理任务包括数据输入输出模式和映射计算逻[0118]根据所述数据输入输出模式和所述映射计算逻辑生成具备