CN115576924B 一种数据迁移的方法 （国网江苏省电力有限公司镇江供电分公司）

本发明公开了一种数据迁移的方法，采用中的数据进行重新分区，重新分区后第i个分区中存储的数据均同时分别对应输入至第i个缓冲阻塞队列的同时消费者线程从阻塞队列中获取2步骤1)同时遍历第i个分区中的每条数据并添加到第i个集合Li中，若Li中的数据的条数达到预设的条数，或者虽然Li中的数据的条数未达到预设的条数但是第i个分区中的数步骤2)消费者线程与生产者线程同时进行，消费者线程生产者线程第k次将Li中的数据写入阻塞队列后，计算第k次写入阻塞队列中数据的大线程从阻塞队列中每读取一条数据时更新cp为cp＝cp_size，size为每次从阻塞队列中读向阻塞队列写完数据的时间tk，计算距离上一次查询数据库的IO使用率的时间interval1=tk_TT，TT为上一次查询数据库的IO使用率的时间，TT初始值为生产者线程的启动的时k＝speedk_1+ZN2*speedk_1，3如果各个分区的数据都被生产者线程写入到阻塞队列中所述将N个分区中的数据进行重新分区，使用的算法是Hash后取模，4数据迁移效率并降低成本。申请号为202110321312.2的专利申请公开了一种数据迁移方过程中还需要考虑数据迁移对数据库所造成的影响。在实际的应用场景中，特别是利用Spark(Spark指ApacheSpark，ApacheSpark是专为大规模数据处理而设计的快速通用的5[0008]步骤1)同时遍历第i个分区中的每条数据并添加到第i个集合Li中的条数达到预设的条数，或者虽然Li中的数据的条数未达到预设的条数但是第i个分区中费者线程从阻塞队列中每读取一条数据时更新cp为cp＝cp-size，size为每次从阻塞队列列的数据的总大小Ck=△Ck+Ck-1，其中，Ck-1者线程向阻塞队列写完数据的时间tk，计算距离上一次查询数据库的IO使用率(IO使用率入数据速度的上升次数N2＝0，speedk＝speedk-1-ZN1*speedk-1，Z为[0-1]；若speedk<队列写入数据的最小速度，maxSpeed是预设的生产者线程向阻塞队列写入数据的最大速6[0017]步骤5)计算当前实际的写入速度speed：speed＝(Ck_C)/interval2，若speed>[0018]步骤6)计算生产者线程的休息时间st，st＝speed*interval2/speedk_生产者线程将数据写入阻塞队列的同时消费者线程从阻塞队列中获取数据并将其写入至7[0030]2.Rdd由N个分区组成,每个分区都会存储一部分数据,一般情况下一个分区对应hive数仓的数据依照规则将不同的数据迁移到4张数据库表中，并且数据是以某个字段的hash值对4取模后拆分的。hash，就是散列值，是把任意长度的输入(又叫做预映射pre_消费者线程则同时读取缓冲区中的数据并将数据写入分区对8[0048]maxSpeed：生产者线程向阻塞队列写入数据的最大速度，初始化maxSpeed＝8M/[0049]minSpeed：生产者线程向阻塞队列写入数据的最小速度，初始化minSpeed＝1M/线程会进入等待状态，直到消费者线程从阻塞队列中读取一部分数据，使得△Ck+cp<[0061]步骤3是如何动态的调整生产者线程向阻塞队列中写数据的[0065]步骤3具体过程：查询数据库IO使用率：生产者线程将Li中的数据写入阻塞队列[0067]3.1.1若rate>＝40％且rate<＝60％,认为分区对应的表的数据库性能良好， k9