CN119597749A 数据源的版本管理方法及装置 （株式会社日立制作所）

(10)申请公布号CN119597749A(21)申请号202311159939.8(22)申请日2023.09.08(71)申请人株式会社日立制作所公司11243权利要求书4页说明书14页附图3页(54)发明名称(57)摘要本申请提供了一种数据源的版本管理方法(57)摘要本申请提供了一种数据源的版本管理方法所述快照版本库中所述指定表的表快照文件的数据源日志对表的大小和表的更新频率进行分开始维护一个快照版本库，所述快照版本库用于记录所述至少两个数据源的表21快照文件的相关信息，所述表快照文件为对应表的历史全数据快照文件在需要获取指定表在指定历史时间的历史表数据的情况下，根据所述快照版本库中所述指定表的表快照文件的相关信息进行版本回溯结束2维护一个快照版本库，所述快照版本库用于记录所在需要获取指定表在指定历史时间的历史表数据的情况下，根在任一数据源的任一表的表数据发生更新后，对该表进行全数在所述快照版本库中不存在晚于所述指定历史时间的所述指定表的表快照文件的相在所述快照版本库中存在晚于所述指定历史时间的所述指定表的表快照文件的相关针对每个数据源的每张表，根据该表的快照采集周期，周期根据数据分析系统执行任务的日志，维护一个数据源更新记将该数据源的数据源名和该表的表名作为关键字key,将快照生成时间对应的单位时间作为嵌套关键字nest_key,将表快照文件的根据所述数据源更新记录，确定所述第三表快照文件与所述3针对每个数据源的每张表，在该表对应的当前快照采集周期根据该表的表数据规模、当前快照采集周期中的每个单位时在当前快照采集周期中该表的表数据更新次数不为0或者客户查询次数不为0的情况计算当前快照采集周期中每个单位时间内该表的表数据加权版本维护模块，用于维护一个快照版本库，所述快照版本库用于记录所述至少两个数在任一数据源的任一表的表数据发生更新后，对该表进行全数4在所述快照版本库中不存在晚于所述指定历史时间的所述指定表的表快照文件的相在所述快照版本库中存在晚于所述指定历史时间的所述指定表的表快照文件的相关针对每个数据源的每张表，根据该表的快照采集周期，周期数据源更新记录模块，用于根据数据分析系统执行任务根据所述数据源更新记录，确定所述第三表快照文件与所述根据该表的表数据规模、当前快照采集周期中的每个单位时在当前快照采集周期中该表的表数据更新次数为0或者客户查询在当前快照采集周期中该表的表数据更新次数不为0或者客户查询次数不为0的情况5计算当前快照采集周期中每个单位时间内该表的表数据加权更新次数，包括：根据当计算当前快照采集周期中每个单位时间内该表的表数据加权更新当前快照采集周期中的客户查询次数，计算一个新快照采集周期时，所述新快6[0001]本申请涉及数据版本管理技术领域，具体涉及一种数据源的版本管理方法及装业系统中的结构化数据显著转移到来自数据中心外部的各种来源的半结构化和非结构化数据。这种转移的结果是数据消费者将越来越需要访问驻留在数据湖中的数据以进行分述第一版本的结构化数据和前一版本的结构化数据，获取与所述第一版本相关的差分数7[0013]可选的，所述根据所述快照版本库中所述指定表的表快照文件的相关信息进行版[0014]在所述快照版本库中不存在晚于所述指定历史时间的所述指定表的表快照文件[0015]在所述快照版本库中存在晚于所述指定历史时间的所述指定表的表快照文件的[0017]针对每个数据源的每张表，根据该表的快照采集周期，周期性对该表进行全数据快照处理，生成表数据的表快照文件，并将该数据源的数据源名、该表的表名、快照生成时间及表快照文件的地址信息保存在所述快照版本库中；[0021]将该数据源的数据源名和该表的表名作为关键字k位时间作为嵌套关键字nest_key,将表快照文件的地址信息作为嵌套值nest_value,以<key,list[<nest_key,nes8[0030]在当前快照采集周期中该表的表数据更新次数为0或者客户查询次数为0的情况[0031]在当前快照采集周期中该表的表数据更新次数不为0或者客户查询次数不为0的[0042]在所述快照版本库中不存在晚于所述指定历史时间的所述指定表的表快照文件[0043]在所述快照版本库中存在晚于所述指定历史时间的所述指定表的表快照文件的9[0049]将该数据源的数据源名和该表的表名作为关键字k位时间作为嵌套关键字nest_key,将表快照文件的地址信息作为嵌套值nest_value,以<key,list[<nest_key,nest_value>]>的形式保存在所述快照版本库中。[0059]在当前快照采集周期中该表的表数据更新次数为0或者客户查询次数为0的情况下，确定一个不小于当前快照采样周期的新快照采集周期；[0060]在当前快照采集周期中该表的表数据更新次数不为0或者客户查询次数不为0的据当前快照采集周期中每个单位时间内该表的表数据更新次数以及每个单位时间对应的构或特性可以任意适合的方式结合在一个或多个实施例中。本申请的说明书和权利要求书序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例数据源的版本管理方法，应用于包括至少两个数据源的数据分析系统中图1为本申请实施隔值(Comma_SeparatedValues,CSV)、分布式文件系统(HadoopDistributedFile[0078]步骤21,维护一个快照版本库，所述快照版本库用于记录所述至少两个数据源的[0080]步骤22,在需要获取指定表在指定历史时间的历史表数据的情况下，根据所述快例可以在所述快照版本库中查找与所述历史时间最为接近的所述数据源的所述表的表快统执行任务的日志(执行job日志),确定表数[0085]具体的，可以将该数据源的数据源名、该表的表名和快照生成时间作为关键字述指定历史时间的最近的第一表快照文件，得到所述指定表在指定历史时间的历史表数表快照文件的地址信息作为嵌套值nest_value,以<key,list[<nest_key,nest_value>(星期一至星期日)或多周等。因为同一单位时间(如同一天)可能有多个表进行全数据快[0090]为解决来自每个数据源的每个表的数据改变和模式改变的监视和细粒度管理的时间内该表的表数据更新次数和表数据更新规模、当前快照采集周期中的客户查询次数，[0093](1)如果当前快照采集周期中该表的表数据更新次数为0或者客户查询次数为0,[0094](2)如果当前快照采集周期中该表的表数据更新次数不为0或者客户查询次数不为0,则可以计算当前快照采集周期中每个单位时间内该表的表数据加权更新次数和当前根据当前快照采集周期中每个单位时间内该表的表数据更新次数以及每个单位时间对应单位时间对应的权重，与所述单位时间与当前快照采集周期截[0097]1)根据数据源配置文件，添加数据源并为数据源的每张表设置快照周期并保存到快照采集周期数据库。日期，纵列为数据源_表名，行列交叉为当日此表所发生的变更次数及变更记录文件地址日期更新文件地址：无更新文件地址：更新文件地址：无无更新次数：1更新文件地址：更新文件地址：更新文件地址：无更新文件地址：…更新文件地址：……--……无无更新次数：1更新文件地址：快照采集周期，并设置数据源表名ds_t[0123]A:加权平均计算出此采集周期内变更发生次数：per_day[0132]E:在缓存数据库cacheDB1,用新的快照周[0135]变更发生次数=(1*2+2*1+3*5+6*1+7*3)/7=6.43次/天，每次更新行数=(520+100+920+250+160)/12=162.5行/次。[0136]每天更新量=162.5*6.43=1044.6行/天，新的快照采集周期=7*(4000/5)/1044.6=5.36,基于四舍五入取整后为5天。[0145]1)以数据源，表名为key,获取此表所有的全数据快照版本列表v_lst=List[<快照周期更加合理也减轻了计算/存储资源的压力，也使得客户能更快速的定位回溯历史[0155]请参照图4,本申请实施例提供的数据源的版本管理装置的一种结构，该装置应用于包括至少两个数据源的数据分析系统中，包括：[0156]版本维护模块41,用于维护一个快照版本库，所述快照版本库用于记录所述至少[0157]版本回溯模块42,用于在需要获取指定表在指定历史时间的历史表数据的情况[0163]在所述快照版本库中不存在晚于所述指定历史时间的所述指定表的表快照文件[0164]在所述快照版本库中存在晚于所述指定历史时间的所述指定表的表快照文件的[0170]将该数据源的数据源名和该表的表名作为关键字k位时间作为嵌套关键字nest_key,将表快照文件的地址信息作为嵌套值nest_value,以<key,list[<nest_key,nest_value>]>的形式保存在所述快照版本库中。[0180]在当前快照采集周期中该表的表数据更新次数为0或者客户查询次数为0的情况下，确定一个不小于当前快照采样周期的新快照采集周期；[0181]在当前快照采集周期中该表的表数据更新次数不为0或者客户查询次数不为0的据当前快照采集周期中每个单位时间内该表的表数据更新次数以及每个单位时间对应的的一个或多个处理器和存储器503代表的存储器的各种电路链接在一起。总线架构还可以[0194]处理器501负责管理总线架构和通常的处理，存储器503可以存储处理器501在执[0195]需要说明的是，该实施例中的装算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法的全部或部分步数据分析系统(AI分析系统)开始开始维护一个快照版本库，所述快照版本库用于记录所述至少两个数据源的表快照文件的相关信息，所述表快照文件