CN113867983B 图数据挖掘方法、装置、电子设备及机器可读存储介质 （杭州海康威视数字技术股份有限公司）

JiaweiJiang等.PSGraph:HowT到的Embedding存储到所述分布式内存管理系Embedding进行ML模型的训练和预测。该方法可2构建分布式图神经网络训练函数，利用所述分布式图神经依据所述分布式内存管理系统中保存的所述Embedding进行机器学习ML模型的训练和所述依据分布式图神经网络的训练策略，对所述图结构数据进行切分依据分布式图神经网络的训练策略，对所述图结构数据以及至少一个worker节点的内存中存储有至少两个子图数据，该work依据目标图深度学习框架对分布式图神经网络训练的要求，对图结构数据进行切分；依据预先定义的图神经网络模型以及与所述图神经网络模型关联分布式训练的初始化、训练数据的读取和构建、子图采样进行mini6.一种图数据挖掘装置，其特征在于，应用于基于Apache3训练单元，用于构建分布式图神经网络训练函数，将得到的表征Embedding存储到所挖掘单元，用于依据所述分布式内存管理系统中保存的所述Embedding进行机器学习所述切分单元依据分布式图神经网络的训练策略，对所述图结构数据进行切依据分布式图神经网络的训练策略，对所述图结构数据以及至少一个worker节点的内存中存储有至少两个子图数据，该work和/或，所述切分单元依据分布式图神经网络的训练策略，对所述图结构数据进行切依据目标图深度学习框架对分布式图神经网络训练的要求，对图结构数据进行切分；依据预先定义的图神经网络模型以及与所述图神经网络模型关联分布式训练的初始化、训练数据的读取和构建、子图采样进行mini9.一种机器可读存储介质，其特征在于，所述机4[0008]根据本申请实施例的第一方面，提供一种图数据挖掘方法，应用于基于Apache[0012]依据所述分布式内存管理系统中保存的所述Embedding进行ML模型的训练和预[0013]根据本申请实施例的第二方面，提供一种图数据挖掘装置，应用于基于Apache5[0017]挖掘单元，用于依据所述分布式内存管理系统中保存的所述Embedding进行ML模[0022]图2是本申请一示例性实施例示出的一种基于ApacheSpark架构实现的数据处理[0028]在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申6[0032]Horovod：分布式深度学习训练框架，使用该框架可以比较方便的完成分布式训7据2及其对应的特征数据存储在分布式内存管理系统中worker节点2的内存中，子图数据3及其对应的特征数据存储在分布式内存管理系统中worker节内存管理小系统中存储的子图数据，进行分布式图神经网络模型训练，并将得到的[0058]步骤S130、依据分布式内存管理系统中保存的Embedding进行ML模型的训练和预[0059]本申请实施例中，当按照上述实施例中描述的方式得到了Embedding并保存至分并引入共享内存的分布式内存管理系统，打通Spark和图神经网络训练架构之间的数据传8[0066]在另一个示例中，至少一个worker节点的内存中存储有至少两个子图数据，该[0069]如图2所示，为本申请实施例提供的一种基于ApacheSpark架构实现的数据处理系统的架构示意图，如图2所示，该数据处理系统可以包括Driver(驱动器)、集群管理器图神经网络模型的训练并获取Embedding以及SparkML练参数，并读取相关数据进行预处理成为DataFrame或RDD(ResilientDistributed[0075]示例性的，预处理后的数据可以包括结构化的构图数据(通常形式是二元组或三9得到分布式GNN训练所需的子图数据和子图对应的[0091]示例性的，针对每个数据分区中的预处理数据(即子图数据和子图对应的特征数[0092]4、根据用户定义的GNN模型及相关训练参数构建出用于分布式GNN模型训练的函并将得到的Embedding存储到分布式内量设置为与GNN分布式训练所需GPU卡数相同，从而保证一个Task绑定一张GPU。之后通过分布式内存管理系统中的Embedding并进行数据格式的转化，使用用户定义的逻辑完成[0118]所述切分单元520依据分布式图神经网络的训练策略，对所述图结构数据进行切