CN119449799A 一种数据通信的管理方法、计算集群和服务器 （华为技术有限公司）

器不同服务器的工作节点和服务节点之间的通信获取数据的效率，减少计算集群执行任务的时2所述多个服务器包括的一个服务器中的第一管理节点获取所述多个工作节点中的第一工作节点的第一数据获取请求，所述第一数据获取请求包括待获取的第一数据的源标所述第一管理节点根据所述第一数据的源标识及所述服务节点的数量执行预设运算所述第一管理节点向所述目标服务节点发送所述所述目标服务节点根据所述目标标识获取第二数据，并将所述所述第一管理节点根据所述第一数据的源标识及所述服务节点的数量执行预设运算所述第一管理节点对所述源标识执行以所述服务节点的数量为模的所述第一管理节点对所述源标识除以所述服务节点的数量后取整并加上所述目标服3.根据权利要求1或2所述的方法，其特征在于，所述第一管理节点统计所述多个服务节点所管理的所有数据标识被读取所述第一管理节点在接收到所述第一数据获取请求后，确定所述所述第一管理节点对所述源标识在所述标识集合中的排名执行以所述服务节点的数所述第一管理节点对所述源标识在所述标识集合中的排名除以所述服务节点的数量所述目标服务节点响应所述内存创建指令创建排序内存，所述排序内3所述第一管理节点统计所述多个工作节点执行数据获取任务的步所述多个服务器包括的一个服务器中的第一管理节点用于：获取所述多所述第一管理节点用于：根据所述第一数据的源标识及所述服务节所述目标服务节点用于：根据所述目标标识获取第二数据，并将所述所述第一管理节点具体用于：对所述源标识执行以所述服务节点的8.根据权利要求6或7所述的计算集群，其特征在于所述第一管理节点还用于：统计所述多个服务节点所管理的所有数所述第一管理节点还用于：在接收到所述第一数据获取请求后，确定所述第一管理节点具体用于：响应于所述源标识属于所述标识集合，对所述4所述接口电路用于接收来自所述服务器之外的其它服务器的信号并传输至所述处理所述处理器和所述接口电路通过逻辑电路或执行代码指令用于实现权利要求1至5中13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序或指5(Parameterserver，PS)架构形态部署。PS架构是包括调度节点(Scheduler)、服务节点构可执行AI应用的训练过程，训练过程中每个工作节点和多个服务节点会进行数据通信。点的数量执行预设运算确定源标识对应的目标标识，并确定目标标识对应的目标服务节6[0014]作为一种可选的实现方式，在第一管理节点向目标服务7[0017]针对于工作节点从服务节点获取数据的过程，管理节点会将数据的标识进行映点需要跨服务器从目标服务节点获取数据的通信次数，避免数据通信过程中的长尾现象，8识属于标识集合，对源标识在标识集合中的排名执行以服务节点的数量为模的取模运算，[0021]在一种可选的实现方式中，在第一管理节点向目标服务[0028]以上第二方面至第七方面的有益效果，可参照第一方面中任一种实现方式的描9[0039]本申请所涉及的技术方案不仅可能应用于分布式系统的[0044]客户端120可以是运行有应用程序的计算机，该运行有应用程序的计算机可以是[0045]例如，若该运行有应用程序的计算机为物理机，该物理机可以是服务器或终端慧家庭(smarthome)中的无线终端等等。本申请的实施例对客户端120所采用的具体技术[0048]由集群110包含的多个服务器协同执行任务，避免了该任务仅由一个服务器执行指客户端(client)服务器或服务端(serve群110提供的资源池还可包括其他资源池，如由各服务器中处理器所支持实现的工作节点111B)及各种快捷外围部件互连标准(PeripheralComponentInterconnectExpress，是中央处理器(centralprocessingunit，CPU)或其他特定集成电路(application(digitalsignalprocessing，DSP)、现场可编程门阵列(fieldprogrammablegate[0055]调度节点111A用于对集群110中的工作节点和服务节点进行注册，并向各工作节新全量Embedding参数。在每个工作节点的一次训练过程中，只拉取此训练过程所需要的存储器(staticRAM，SRAM)、动态随机存取存储器(dynamicrandomaccessmemory，存取存储器(doubledatadateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器供了全局地址空间，并由集群110对外提供分布式物理地址(DistributedPhysical构建。主机中的应用程序可以通过分布式存储映射(distributedmemorymap，distributedmmap)的方式将文件/对象映射到本地进程的地址空间中。一种可能的情形[0063]服务器实现以上地址的管理可以是通过应用程序实现的，如存储映射(memory识进行管理，在一些情形中，管理节点也称标识管理模块(identificationmanager，ID提供的一种管理节点的结构示意图。该管理节点200可用于实现图2A中管理节点111C或管[0068]以上各模块的名称仅为本实施例提供的示例，不应理解为对各模块的功能限[0069]示例性的，结合图2A中的内存池140对每个服务节点所管理的多个数据标识[0075]在针对稀疏Embedding参数特殊设计的PS架构中，稠密(dense)参数和稀疏(Sparse)参数将被区别对待，因为这种场景下的稠密参数一般可以完整存储于NPU/GPU的高带宽存储器(highbanwindthmemroy，HBM)中，可以利用Allreduce方式进行多个NPU/[0091]结合图2B中的管理节点进行举例，通信模块230可用于向目标标识所属的目标服[0093]结合图2A所示出的集群，该第二数据所存储的地址空间可以是指由服务节点0所[0095]以上图4中所示出的实施例，是以源标识由与工作节点归属于不同服务器中的服说明的，但在工作节点需从本地服务器中的服务节点获取数据的通信次数较多的情况下，[0102]在分桶过程中，服务器中的管理节点对工作节点0所需访问的数据的标识采用下可用于确定将源标识映射后确定的目标标识所公式2可用于确定将源标识映射后确定的目标标[0108]这里对工作节点0所需访问的源标识是源ID＝9的标识映射过程进行举例说明，ID％num＝9％2＝1，服务节点1对应的ID的起始值为100000，则newID＝9/2+100000=点0进行通信，执行数据拉取过程)变更为了跨服[0125]S422、管理节点111C对源标识在标识集合中的排名除以[0127]如服务节点0中的排序内存为地址空间3，服务节点1中的地址空间3和地址空间4的存储容量均由前述的内存池[0133]在分桶和排序过程中，服务器中的管理节点对工作节点0所需访问的数据的源标识采用下面的公式3(fun_mod_ran[0135]其中，rank是指源ID的调用频次的排名(在标识集合中具有排名的数据标识也可的源标识的情况下，各源标识若对应的目标标识会按照排名归属于不同的服务节点所管址空间3拉取1次)、从服务节点1拉取数据4次(从地址空间2拉取3次、从地址空间4拉取1[0147]S810、管理节点通知集群中各服务节点创建主机稠密向量表(hostEmbedding[0148]该hostEmbedding表记录有各工作节点执行模型训练任务所要访问的数据的标识。hostEmbedding表在集群中是跨服务节点分布式申请的，如EmbeddingID范围为0~Embedding表是一种存储在排序内存中的数据结构，用于记录上述的调用频次大于或等于该部分ID申请一块新的地址空间(如图7中的地址空间3和地址空间4)，该新的地址空间和它操作和/或功能分别为了实现上述附图中各个方法的相应流程，为了简洁，在此不再赘[0165]上文中结合图1至图8，详细描述了根据本实施例所提供[0172]内存单元950可以对应上述方法实施例中用于存储集群中各数据的标识等信息的[0173]存储器930用于存储标识集合、映射后的目标标识等，可以是固态硬盘或机械硬管理装置1000中的各个模块的上述和其它操作和/或功能分别为了实现前述附图中方法实只读存储器(programmableROM，PROM)、可擦除可编程只读存储器(erasablePROM，产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令算机