CN114492844B 机器学习工作流的构建方法、装置、电子设备及存储介质 （京东城市(北京)数字科技有限公司）

司WO2021086362A1,2021.05本公开提供了一种机器学习工作流的构建要被运行的工作流步骤和已经成功运行的工作2根据所述目标工作流模板的组织结构信息，生成所述目标工作流模板对所述目标节点的哈希值进行验证，确定需要被运行的工作流步工作流步骤，然后利用所述需要被运行的工作流步骤和所述已经成功运行的工作流步骤，所述利用定义的哈希计算图的计算方式，根据所述目标工作流模板对应的参数信息，所述目标节点对应的输入参数的参数信息，计算所述目标节点对应的输入参数的哈希值；其中，所述组件是所述目标工作流模板中的组件，所述目标节节点的哈希值计算公式为：将节点对应的输入参数的哈希值与节点对应的输出参数的哈希值计算公式为：将节点的哈希值与节获取所述目标节点对应的组件的输入参数的参数信息，利用将所述目标节点的上游节点的哈希值和所述目标节点的上游节点对应的输出参数的对所述目标节点对应的组件的输入参数的哈希值与所述目标节点的上游节点对应的3述文件的哈希值为所述目标节点对应的配置参数若是，则标记所述目标节点对应的工作流步骤为已经成功运行根据所述已经成功运行的工作流步骤的运行信息监听所述目标工作流配置文件中每个步骤的运行状态，在所述步骤运行成功的情况生成模块，用于根据所述目标工作流模板的组织结构信息，计算模块，用于利用定义的哈希计算图的计算方式，构建模块，用于对所述目标节点的哈希值进行验证，确所述计算模块，还用于根据目标节点之间的连接关系和组件的参数，目标节点对应的输入参数的哈希值和所述目标节点对应的配置参数的哈希值代入到所述其中，所述组件是所述目标工作流模板中的组件，所述目标节存储装置，用于存储至少一个程序，当所述至少一个程序被所4行指令被处理器执行时实现如权利要求1至8中任一项5计算公式为：将节点对应的输入参数的哈希值与节点对应的配置参数的哈希值进行求和，[0008]在本公开一些示例性实施例中，所述根据所述目标工作6述目标工作流模板对应的参数信息，计算所述目标哈希计算图包含的目标节点的哈希值，入参数和所述目标节点对应的配置参数；根据所述目标节点对应的输入参数的参数信息，应的输入参数的哈希值和所述目标节点对应的配置参数的哈希值代入到所述节点的哈希[0012]在本公开一些示例性实施例中，所述计算所述目标节点对应的配置参数的哈希7[0021]图1示出了可以应用本公开示例性实施例的机器学习工作流的构建方法的示例性[0025]图5示出了根据本公开示例性实施例的计算目标哈希计算图包含的目标节点的哈[0027]图7示出了根据本公开示例性实施例的计算目标哈希计算图包含的每个目标节点[0028]图8示出了根据本公开示例性实施例的机器学习工作流的构建装置的结构示意8[0032]图1示出了可以应用本公开示例性实施例的机器学习工作流的构建方法的示例性[0034]服务器101可以是提供各种服务的服务器，例如对用户利用客户端所进行操作的算目标哈希计算图包含的目标节点的哈希值；服务器可例如对目标节点的哈希值进行验[0038]下面，将结合附图及实施例对本公开示例实施例中的机器学习工作流(MachineLearningPipelines)的构建方法的各个步骤进[0039]图2示出了根据本公开示例性实施例的机器学习工作流的构建方法的流程图。本[0040]如图2所示，本公开示例性实施例提供的机器学习工作流的构建方法可以包括以9组件的普通配置参数为{参数名称:test_size,参数类型:Float}和{参数名称:target_[0052]本公开示例性实施例中，哈希计算图的计算方式可以包括：(1)节点的哈希值=Hash(该节点对应的输入参数的哈希值+该节点对应的配置参数的哈希值)，Hash()是指利参数的哈希值+该节点的所有输入参数的参数名称的哈希值，该节点对应的配置参数的哈希值＝该节点的所有配置参数的哈希值+该节点的所有配置参数的参数名称的哈希值。由[0054]图5示出了根据本公开示例性实施例的计算目标哈希计算图包含的目标节点的哈对应的输入参数为文件合并(按行)组件的输入参数d和节点B对应的输出参数b2，节点D对应的输出参数c1和节点D的输出参数d1，节点E对应的配置参数为线性回归组件的配置参[0063](1)获取目标节点对应的组件的输入参数的参数信息，利用哈希算法对获取的参[0066](2)将目标节点的上游节点的哈希值和目标节点的上游节点对应的输出参数的参值与a1的参数名称的哈希值进行求和，得到节点B的上游节点A对应的输出参数a1的哈希[0068](3)对目标节点对应的组件的输入参数的哈希值与目标节点的上游节点对应的输置参数的实际运行参数信息，主要包括组件的普通配置参数的实际值和运行资源配置参成功运行的工作流步骤，然后利用需要被运行的工作流步骤和已经成功运行的工作流步作流步骤即可，并且将该目标节点对应的工作流步骤标记为已经成功运行的工作流步骤。[0080]图7示出了根据本公开示例性实施例的计算目标哈希计算图包含的每个目标节点[0090]图8示出了根据本公开示例性实施例的机器学习工作流的构建装置的结构示意[0091]如图8所示，机器学习工作流的构建装置800可以包括：获取模块801、生成模块哈希计算图包含的目标节点的哈希值；构建模块804可用于：对目标节点的哈希值进行验目标节点对应的输入参数的哈希值和目标节点对应的配置参数的哈希值代入到节点的哈储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM903中，还存储有系统900操作所需的各种程序和数据。发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，得该计算机设备执行上述实施例的各种可选实现方式中者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识