CN116932645B 一种数据湖的数据同步方法、装置、系统、设备及介质 （蓝卓数字科技有限公司）

消息队列中滞留的第一目标数据湖表对应的增量数据发送至第一目标数据湖表且同步至第一量同步服务将数据湖消息队列中新增的第一目标数据湖表对应的增量数据发送至第一目标数2外部数仓将第一数据同步请求发送至数据湖消息队列；所述第一数增量同步服务从所述数据湖消息队列中获取所述所述增量同步服务基于所述第一数据同步请求，发送所述第一数据使得所述存量同步服务将第一目标数据湖表中的存量数据同步至与所述第一目标数据湖请求，暂停对所述数据湖消息队列中所述第一目标数据湖表对应的增量数据的增量同步，以使得所述第一目标数据湖表对应的增量数据滞留在所述数据湖在所述增量同步服务查询到所述全局同步状态缓存中的同步进度信息指示所述第一在所述同步进度信息指示所述第一目标数据湖表对应的滞留同步任务已全部完成的的所述第一目标数据湖表对应的增量数据发送至所述第一目标数据湖表且进一步同步至其中，所述同步进度信息基于所述存量同步服务、所述滞留同列中新增的所述第一目标数据湖表对应的增量数据发送至所述第一目标数据湖表且进一所述外部数仓将第二数据同步请求发送至数据湖消息队列；所述第二数所述增量同步服务从所述数据湖消息队列中获取所述第二数据所述增量同步服务基于所述第二数据同步请求，发送所述第二数据所述增量同步服务基于所述第二目标同步关系，将所述数据湖消息队列3在所述增量同步服务查询到所述同步进度信息中的所述第一目标数据湖表对应的第在所述增量同步服务查询到所述同步进度信息中的所述第一目标数据湖表对应的第所述滞留同步服务基于所述全局同步状态缓存中的所述第一偏移量位置和所述第二所述增量同步服务从所述全局同步状态缓存中获取所述第一偏移量位置和所述第二所述增量同步服务将所述滞留同步请求发送至所述滞留同步服务；所述滞留同步服务基于所述滞留同步请求，确定所述滞留的所述第一在所述第一存量同步任务数不为零的情况下，所述在所述第二存量同步任务数不为零的情况下，所述完成一个所述存量同步任务，所述存量同步服务向所述数据湖消息所述增量同步服务从所述数据湖消息队列中获取所述所述增量同步服务将所述第一指示信息发送至所述全局同步状4所述全局同步状态缓存基于所述第一指示信息对所述同步进度信息进重复所述完成一个所述存量同步任务，至所述全局同步状存量同步模块，用于所述增量同步服务基于所述第一数据同滞留同步模块，用于在所述增量同步服务查询到所述全局同步目标数据湖表对应的增量数据发送至所述第一目标数据湖表且进一步同步至所述第一目增量同步模块，用于在所述同步进度信息指示所述第一目标数湖消息队列中新增的所述第一目标数据湖表对应的增量数据发送至所述第一目标数据湖以实现如权利要求1至7中任意一项所述的数据10.一种计算机可读存储介质，所述存储介质中存储有至少一条指令或者至少一段程5湖表对应的增量数据消费后暂存入临时存储介质，如Hive(一种基于分布式系统基础架构[0005]本申请为克服上述现有技术存在的缺陷而提供一种数据湖的数据同步方法、装6[0011]在所述增量同步服务查询到所述全局同步状态缓存中的同步进度信息指示所述[0012]在所述同步进度信息指示所述第一目标数据湖表对应的滞留同步任务已全部完新增的所述第一目标数据湖表对应的增量数据发送至所述第一目标数据湖表且进一步同非稳定态的初始化同步场景，所述外部数仓将第一数据同步请求发送至数据湖消息队列，至由所述增量同步服务将所述数据湖消息队列中新增的所述第一目标数据湖表对应的增量数据发送至所述第一目标数据湖表且进一步同步至所述第一目标数仓的步骤基于非稳[0019]在所述增量同步服务查询到所述同步进度信息中的所述第一目标数据湖表对应7[0020]在所述增量同步服务查询到所述同步进度信息中的所述第一目标数据湖表对应[0021]所述滞留同步服务基于所述全局同步状态缓存中的所述第一偏移量位置和所述[0023]所述增量同步服务从所述全局同步状态缓存中获取所述第一偏移量位置和所述请求中还携带着所述第一偏移量位置和所述第[0038]同步请求发送模块，用于外部数仓将第一数据同步请求发送8一数据同步关系信息至全局同步状态缓存，以更新所述全局同步状态缓存中的同步关系，第一目标数据湖表对应的增量数据发送至所述第一目标数据湖表且进一步同步至所述第数据湖消息队列中新增的所述第一目标数据湖表对应的增量数据发送至所述第一目标数由所述处理器加载并执行以实现上述任意一项所述的数据湖器加载并执行以实现上述任意一项所述的数据湖列中滞留的第一目标数据湖表对应的增量数据发送至第一目标数据湖表且进一步同步至9[0054]图7为本申请实施例提供的运行一种数据湖的数据同步方法的电子设备的硬件结请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过[0057]请参阅图1，其所示为本申请实施例提供的一种数据湖的数据同步方法的流程示系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行数据湖表对应的增量数据发送至所述第一目标数据湖表且进一步同步至所述第一目标数息队列中新增的所述第一目标数据湖表对应的增量数据发送至所述第一目标数据湖表且湖表对应的增量数据发送至所述第一目标数据湖表且进一步同步至所述第一目标数仓的数据同步场景为稳定态的增量同步场景；当外部数仓新增对数据湖表的数据同步需求时，步关系的情况下，通过增量同步服务将新增的第二目标数据湖表对应的增量数据进行消表中将新增的增量数据同步至数仓消息队列。表对应的增量数据的步骤，所述确定所述滞留的所述第一目标数据湖表对应的增量数据，[0074]在所述增量同步服务查询到所述同步进度信息中的所述第一目标数据湖表对应[0075]在所述增量同步服务查询到所述同步进度信息中的所述第一目标数据湖表对应[0076]所述滞留同步服务基于所述全局同步状态缓存中的所述第一偏移量位置和所述[0079]所述增量同步服务从所述全局同步状态缓存中获取所述第一偏移量位置和所述请求中还携带着所述第一偏移量位置和所述第[0095]在一个可选的实施方式中，所述方法还包括重新开启所务将数据湖消息队列中新增的第一目标数据湖表对应的增量数据发送至第一目标数据湖[0103]请参阅图2，其所示为本申请实施例提供的一种数据湖的数据同步装置的结构框所述第一目标数据湖表对应的增量数据发送至所述第一目标数据湖表且进一步同步至所所述数据湖消息队列中新增的所述第一目标数据湖表对应的增量数据发送至所述第一目标数据湖表中将滞留数据同步至数仓消息队列，再由数仓消息队列传输至第一目标数仓，述数据湖消息队列中新增的所述第二目标数据湖表对应的增量数据发送至所述第二目标和非稳定态的初始化同步场景，模块001至005为实现非稳定态的初始化同步场景的模块，步关系的情况下，通过增量同步服务将新增的第二目标数据湖表对应的增量数据进行消表中将新增的增量数据同步至数仓消息队列。步过程，与数据采集端和数据使用端通过消息中间件作业务解耦，消息中间件采用kafka(一种高吞吐量的分布式发布订阅消息系统)。原始业务数据以CDC的形式被实时采集到与解的是，此处的存储器可以是高速RAM存储设备，也可以是非不稳定的存储设备(non_储器中存放的一条或一条以上指令，以实现上述方法实施例提供的数据湖的数据同步方