CN114996012B 静态数据处理系统中对数据执行向量化的系统及方法 （北京一流科技有限公司）

静态数据处理系统中对数据执行向量化的本发明公开了一种用于静态数据处理系统包括第一去重前向执行体、词表梳理前向执行数量根据本地协处理器所使用的第二无重复数据的待处理词表分片预取预定数量的词表数据预取前向执行体获得其完成预取的消息时基于预定的向量化规则对预定数量的词表数据执行第二复原前向执行体、表征向量逆梳前向执行2个批次的词表的编号平均划分成与并行运行的多个协处理器数量相等的多个初始数据词中所述多个数据向量化前向执行体针对输入的连续批次的词表执行不同阶段的流式并第一去重前向执行体，用于对所接收到的初始词表分片进为本地协处理器所使用的第一无重复数据词表分片以及预存第一用于复原的数据词表分词表梳理前向执行体，按照数据的序号将本地第一无重复数据第二去重前向执行体，用于在接收到词表梳理前向执行体完成词表数据预取前向执行体，用于从第二去重前向执词表向量化查询前向执行体，在从词表数据预取前第二复原前向执行体，在从词表向量化查询前向执行体复表征向量分片与预取数量的表征向量分片形成第二复原表征表征向量逆梳前向执行体，在从第二复原前向执行体获得其完成复述第二复原表征向量分片中的词表梳理前向执行体从其他协处理器所获得的数据词表所的表征向量逆梳前向执行体所返还的与本地词表梳理前向执行体所发送出去的数据词表第一复原前向执行体，在从表征向量逆梳前向执行体32.根据权利要求1所述的用于静态数据处理系统中对数据执行向量化的系统，其中所第一归并后向执行体，对向量差分执行体输出的表征向量差分表征向量差分梳理后向执行体，基于预存第二用于复原的待处理第一不重复的表征向量差分结果分割出不属于本地协处理器的表征向量差分结果并发送表征向量值更新后向执行体，基于词表向量化查询前向执行表征向量更新后向执行体，用于利用所更新的第二不重复的及所预取的预定数量的词表数据的上下文对初始数据词所述词表划分组件、第一去重前向执行体和词表梳理前向执行体、词4.根据权利要求2所述的用于静态数据处理系统中对数据执行向量化的系统，其中所述词表梳理前向执行体、表征向量逆梳前向执行体、表征向量差分梳理后向执行体通过NCCL通讯方式在不同协处理器之间进行数据交5.一种用于静态数据处理系统中对数据执行将待输入的一个批次的词表的编号平均划分成与并行运行的多个协处理器数量相等的多所述多个数据向量化前向执行体针对输入的连续批次的词表执行不同阶段的流式并通过第一去重前向执行体对所接收到的初始词表分片进行特征序号去通过词表梳理前向执行体按照数据的序号将本地第一无重复数据词表分片基于预定定分割规则属于本地协处理器的第一待处理通过第二去重前向执行体在接收到词表梳理前向执行体完成交换的消4通过词表数据预取前向执行体从第二去重前向执行体获得其完通过词表向量化查询前向执行体在从词表数据预取前向执行体获得其完成预取的消通过第二复原前向执行体在从词表向量化查询前向执行体获得其完成向量化查询处对所预存的第二用于复原的待处理词表分片中的对应的重复的词表执行对应的向量化复第二重复表征向量分片与预取数量的表征向量分片形成第二复原表征向量表征向量逆梳前向执行体，在从第二复原前向执行体获得其完成复述第二复原表征向量分片中的词表梳理前向执行体从其他协处理器所获得的数据词表所的表征向量逆梳前向执行体所返还的与本地词表梳理前向执行体所发送出去的数据词表通过第一复原前向执行体在从表征向量逆梳前向执行体获得其完成表征向量交换的表征向量分片与第一无重复表征向量分片形成第一复原表征向6.根据权利要求5所述的用于静态数据处理系统中对数据执行向量化的方法，其中所通过向量差分执行体对经过损失函数执行体处理后的第一复原表征向量分片进行差通过第一归并后向执行体对向量差分执行体输出的表征向量差分结果基于预存第一通过表征向量差分梳理后向执行体基于预存第二用于复原的待处理词表分片的序号，从第一不重复的表征向量差分结果分割出不属于本地协处理器的表征向量差分结果并发通过表征向量值更新后向执行体基于词表向量化查询前向执行体获得的表征向量的通过表征向量更新后向执行体利用所更新的第二不重复的表征向量差分结果的值以及所预取的预定数量的词表数据的上下文对初始数据词5所述词表划分组件、第一去重前向执行体和词表梳理前向执行体、词8.根据权利要求6所述的用于静态数据处理系统中对数据执行向量化的方法，其中所述词表梳理前向执行体、表征向量逆梳前向执行体、表征向量差分梳理后向执行体通过NCCL通讯方式在不同协处理器之间进行数据交6模Embedding的实现也是大规模深度推荐系统需要解决的核心问题之一，主要是两种技的需求往往又比较低，上述规模的数据集，在MLPerf最新的结果中，使用64张80G7号平均划分成与并行运行的多个协处理器数量相等的多个初始数据词表分片并分配输入及数据向量化后向组件，数据向量化前向组件包括流式部署的多个数据向量化前向执行分片以及预取数量的表征向量分片对所预存的第二用于复原的待处理词表分片中的对应收从其他协处理器的表征向量逆梳前向执行体所返还的与本地词表梳理前向执行体所发8行体获得的表征向量的值以及预定的学习频率，更新第二不重复的表征向量差分结果的值以及所预取的预定数量的词表数据的上下文对初始数据词表分片进运行的多个协处理器数量相等的多个初始数据词表分片并分配输入给对应的协处理器的，地第一无重复数据词表分片基于预定分割规则不属于本地协处理器的数据词表分割出来从词表数据预取前向执行体获得其完成预取的消息以及前一批次词表的表征向量被所述对所预存的第二用于复原的待处理词表分片中的对应的重复的词表执行对应的向量化复9征向量分片中的词表梳理前向执行体从其他协处理器所获得的数据词表所对应的表征向梳前向执行体所返还的与本地词表梳理前向执行体所发送出去的数据词表所对应的表征第一重复表征向量分片与第一无重复表征向量分片形成第一复原表征及通过表征向量更新后向执行体利用所更新的第二不重复的表征向量差分结果的值以及所预取的预定数量的词表数据的上下文对初始数据词表分片进够更好的解决大规模Embedding的问题，实现灵活的分层存储，支持将表象向量词表(按照A100计算大概1750000/TB，Hostmemory价格大概64000/TB，SSD价格大概统中引入一系列定制化的执行体（例如Op在执行体内部实现灵活的数据去重交换等处理，因此，绕开静态并行策略SBP和静态的限制。而且，充分利用OneFlow的任务流[0015]图1所示的是根据本公开的用于静态数据处理系统中对数据执行向量化的系统一[0016]图2所示的是根据本公开的用于静态数据处理系统中对数据执行向量化的系统的词表梳理前向执行体和第二去重前向执行体进行数据交换和去重并形成第二无重复数据[0017]图3所示的是根据本公开的用于静态数据处理系统中对数据执行向量化的系统的词表数据预取(prefetching)前向执行体124进行数据[0018]图4所示的是根据本公开的用于静态数据处理系统中对数据执行向量化的系统的词表向量化查询前向执行体125进行数据[0019]图5所示的是根据本公开的用于静态数据处理系统中对数据执行向量化的系统的第二复原前向执行体126进行复原以及表征向量逆梳前向执行体127进行表征向量逆梳过[0020]图6所示的是根据本公开的用于静态数据处理系统中对数据执行向量化的系统的第一归并后向执行体132和表征向量差分梳理后向执行体133的[0021]图7所示的是根据本公开的用于静态数据处理系统中对数据执行向量化的系统的一个或多个相关联的列出项目的任何或所有本公开范围的情况下，在下文中，两个可能的执行体之一可以被称为第一执行体也可以被[0027]图1所示的是根据本公开的用于静态数据处理系统中对数据执行向量化的系统一的一个批次的词表的编号平均划分成与并行运行的多个协处理器数量相等的多个初始数[0028]对于parallel_num=n并行的Embedding操作，巨大的词表按一定的划分按照预定的划分规则是属于不同的rank的。但是由于词表中的数据在划分之后被编码当前所在的rank。在对词表进行表征向量化过程中，ids为输入的id，数据类型支持int32/int64/int128/uint32/uint64/uint128，ids可能是ordinal或者nominal的。数据词表分片121中基于预定分割规则不属于本地协处理器的数据词表分割出来发送到其处理器的第一待处理词表分片依然存在重复的id，因此为了降低计算量以及节省内存空的待处理词表分片123-1（cur_rankuniqueid）并预存第二用于复原的待处理词表分片[0032]图2所示的是根据本公开的用于静态数据处理系统中对数据执行向量化的系统的词表梳理前向执行体122和第二去重前向执行体123进行数据交换并形成第二无重复数据的待处理词表分片的过程示意图。如图2所示，对于输入的uniqueid，每个Rank首先对uniqueid做partition操作，将对应的embedding属于不同rank的id分到不同的词表分片应的embedding在Rank0上的词表中。然后对每个partition的id数量（num）做一次是每个rank得到的各个partition的num_unique_id，矩阵的列是每个partition在每个每个Rank需要将matrix[rank][0]个id发送给rank0，将matrix[rank][0]个id发送给来词表梳理前向执行体122进行数据分发，在经过NCCL通信方式进行发送/接收（send/[0033]接着，词表数据预取(prefetching)前向执行体124从第二去重前向执行体123获得其完成去重的消息时，按照预定的预取数量，从本地协处理器所使用的第二无重复数据的待处理词表分片123-1中预取预定数量的词表数据。图3所示的是根据本公开的用于静态数据处理系统中对数据执行向量化的系统的词表数据预取(prefetching)前向执行体124理过程中，控制数据获取的成功率，也就是负责提前查询下一个预定数量的待处理批次数待时间，使得数据处理更为顺畅。如图3所示，首先，调用Cache的Test函数，检查关键词Get函数，传入cachemissingkeys，返回kvStorevalues和kvStoremissingkeys和kvStoremissingindices，其中kvStoremStoremissingindices指未查到的部分在kvStore[0034]词表向量化查询前向执行体125在从词表数据预取前向执行体获得其完成预取的消息以及前一批次词表的表征向量被所述数据向量化后向组件更新完成的消息时，基于预定的向量化规则对预定数量的词表数据执行向量化查询处理，从而获得所预取的预定数量的词表数据所对应的预取数量的表征向量分片125-1，即查询得到cur_rankuniqueid对应的cur_rankuniqueembeddings。由于词表向量化查询前向执行体125在从词表数据预取前向执行体获得其完成预取的消息之后才进行查询操作，因此不会出现查询失败的情况或者查询失败的概率比较低。图4所示的是根据本公开的用于静态数据处理系统中对数据执行向量化的系统的词表向量化查询前向执行体125进行数据预取的过程示意图。具体而言，词表向量化查询前向执行体125负责前向计算过程中根据关键词（keys）查到对应值对应的表征向量（embeddingsGet函数返回values及cachemissingkeys和cachemissingindices，cachemissingkeys指在cache中未找到的keys，cachemissingvalues及kvStoremissingkeys和kvStoremissingindices。由于词表数据预取前向执行体124已经进行了预取，因此，表向量化查询前向执行体125查询时对应的keys一定能在[0035]由于词表向量化查询前向执行体125执行的查询操作并不是针对本批次属于本地词表向量化查询前向执行体125获得其完成向量化查询处理的消息后，基于所预存的第二用于复原的待处理词表分片123-2以及预取数量的表征向量分片125-1对所预存的第二用于复原的待处理词表分片123-2中的对应的重复的词表执行对应的向量化复原，获得与所预存的第二用于复原的待处理词表分片123-2对应的第二重复表征向量分片，由此第二重复表征向量分片与预取数量的表征向量分片125-1形成第二复原表征向量分片，即第二复述第二复原表征向量分片中的词表梳理前向执行体122从其他协处理器所获得的数据词表器的表征向量逆梳前向执行体127所返还的与本地词表梳理前向执行体122所发送出去的[0037]图5所示的是根据本公开的用于静态数据处理系统中对数据执行向量化的系统的第二复原前向执行体126进行复原以及表征向量逆梳前向执行体127进行表征向量逆梳过程的示意图。如图5所示，第二复原前向执行体126在从词表向量化查询（embeddinglookup）前向执行体125得到预取数量的表征向量分片125-1（cur_rankuniqueembedding）后，对于输入的预取数量的表征向量分片125-1（cur_rankuniqueembedding首先利用所预存的第二用于复所使用的第一无重复数据词表分片121-1（uniqueid）对应的第一无重复表征向量分片向量交换的消息之后，基于所预存的第一用于复原的数据词表分片121-2以及第一无重复向量分片128-1。通俗而言，就是第一复原前向执行体128按partition排布的各个embeddings复原回idpartition前的顺序，最终得到当前batch的第一复原表征向量分片[0039]返回参见图1，如图1所示，第一复原表征向量分片128-1（cur_batch_unique向量差分执行体131对经过损失函数执行体处理后的第一复原表征向量分片进行差分处一用于复原的数据词表分片的序号执行去重处理，获得第一不重复的表征向量差分结果。得到本batchuniqueid对应的第一不重复的表征向量差分结果132-1（uniqueembeddi成属于本地协处理器的第二不重复的表征向量差分结果133-1（cur_rankunique复的表征向量差分结果132-1（uniqueembeddingdiff）后，将属于不同Rank的id对应的embeddingdiff发给各个Rank上，并收到各个Rank发来的本Rank的id对应的embeddingdiff，收集好后，对cur_rankembeddingdiff执行一次reduce操作，将重复id对应的[0041]图6所示的是根据本公开的用于静态数据处理系统中对数据执行向量化的系统的上词表对应的embedding_diff。表征向量差分梳理后向执行体133（embeddinggradient梳理前向执行体122分发的是当前batch的id，而表征向量差分梳理后向执行体133分发的[0042]返回参见图