CN110674108A 数据处理方法及装置 （中国人民财产保险股份有限公司）

本发明实施例公开了一种数据处理方法及数据表为业务数据历史库中与源数据表对应的预设迁移策略将多个数据分片迁移至目标数据足的存储空间用于存储该生产库中后续产生的2基于业务数据生产库的源数据表中的目标索引字段，将所述源数据表中与已成功迁移至所述目标数基于迁移条数阈值，将各分组中的记录分别按照自按照所述预设迁移策略，将所述多个数据分片中每按照目标分片信息中的处理序号，从所述源数据将所述目标数据分片成功迁移至所述目标数据表中后，将若检测到数据迁移进度控制策略启动运行，则中断按照预若检测到所述数据迁移进度控制策略停止运行，则在预设统计按照所述迁移配置表从所述源数据表迁移至所述目标数据表中的数据分片的迁基于所述目标索引字段，对所述源数据表中预设数据3在所述第一MD5值与所述第二MD5值相等的情况下，在所述第一MD5值与所述第二MD5值不等的情况下分组模块，用于基于业务数据生产库的源数据表中的分片模块，用于将各分组中的记录分别按照自增字删除模块，用于将所述源数据表中与已成功迁被安排成存储计算机可执行指令的存储器，所述可执基于业务数据生产库的源数据表中的目标索引字段，将所述源数据表中与已成功迁移至所述目标数个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操基于业务数据生产库的源数据表中的目标索引字段，将所述源数据表中与已成功迁移至所述目标数4备份表中存放的数据迁移到历史数据库中，以提升业务数据的备份效率。由于系统功能的[0004]对于备份表中数据的迁移，目前采用的萃取、装置、加载(Extract-Transform-[0010]将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分[0012]将所述源数据表中与已成功迁移至所述目标数据表中的数据分片对应的记录删5[0016]迁移模块，用于按照预设迁移策略将所述多个数据分片迁移至所述目标数据表[0022]将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分[0024]将所述源数据表中与已成功迁移至所述目标数据表中的数据分片对应的记录删质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，[0027]将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分[0029]将所述源数据表中与已成功迁移至所述目标数据表中的数据分片对应的记录删中的记录先分组，分组后再对依次每组中的记录分别按照自增字段顺序从小到大进行分6[0039]对于背景技术部分陈述的增量数据迁移方案，在信息大爆炸的今天应用非常普虽然可以解决基于日志文件、基于触发器等其他增量数据迁移方案需要占用生产系统资[0044]可选的，上述源数据表可以为系统的业务数据生产库中用于存储已经过分析处7[0048]步骤107：将源数据表中与已成功迁移至目标数据表中的数据分片对应的记录删中的记录先分组，分组后再对依次每组中的记录分别按照自增字段顺序从小到大进行分引字段可以通过在预先配置的与该源数据表对应的基础配置表tabconfig中确定，以及上89[0061]在将源数据表中待迁移至目标数据表中的记录迁移至业务数据历史库的目标数据表之前的当前时刻与该目标数据表的最新的建表时刻之间的间隔时长大于预先设置的(用于查询表的所有字段名)、sysconstraints表(约束用于限制加入表的数据的类型)、sysindexes表(数据库中的每个索引和表在表中各占一行)读取该待迁移表tabname即源数[0063]可选的，该基础配置表tabconfig中还可以存储有业务数据历史库的目标数据表[0065]在业务数据历史库的目标数据表的表结构与业务数据生产库的源数据表的表结[0071]基于迁移条数阈值，将各分组中的记录分别按照自增字段顺序从小到大进行分置数据序号和终止位置数据序号对应的目标数据分片，目标分片信息具有未成功迁移标[0078]可以理解，为了确保数据迁移实施过程中不再对待迁移的数据记录进行动态划[0098]迁移模块405，用于按照预设迁移策略将所述多个数据分片迁移至所述目标数据[0099]删除模块407，用于将所述源数据表中与已成功迁移至所述目标数据表中的数据[0101]基于迁移条数阈值，将各分组中的记录分别按照自增字段顺序从小到大进行分中的记录先分组，分组后再对依次每组中的记录分别按照自增字段顺序从小到大进行分[0124]处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(IndustryStandardArchitecture，工业标准体系结构)总线、PCI(Peripheral[0128]将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分中的记录先分组，分组后再对依次每组中的记录分别按照自增字段顺序从小到大进行分[0132]上述如本发明图1所示实施例揭示的数据处理装置执行的方法可以应用于处理器网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DigitalSignal理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完行时，能够使该电子设备执行图1所示实施例中数据处理装置执行的方法，并具体用于执[0136]将各分组中的记录分别按照自增字段顺序从小到大进行分片，得到多个数据分中的记录先分组，分组后再对依次每组中的记录分别按照自增字段顺序从小到大进行分[0142]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程