CN119537341A 大数据量场景下的数据迁移方法及装置 (富盛科技股份有限公司)_第1页
CN119537341A 大数据量场景下的数据迁移方法及装置 (富盛科技股份有限公司)_第2页
CN119537341A 大数据量场景下的数据迁移方法及装置 (富盛科技股份有限公司)_第3页
CN119537341A 大数据量场景下的数据迁移方法及装置 (富盛科技股份有限公司)_第4页
CN119537341A 大数据量场景下的数据迁移方法及装置 (富盛科技股份有限公司)_第5页
已阅读5页,还剩48页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

本申请实施例提供一种大数据量场景下的在分布式搜索引擎中的待迁移索引及其分片设分布确定对应的迁移任务数据量和迁移任务优时本地文件系统资源利用率输入设定线性回归效提高大数据量场景下的数据迁移效率和准确2确定目标数据在分布式搜索引擎中的待迁移索引及其分片设置根据用户发送的业务需求和用于存储迁移数据的本地文件系统的存储性能确定每次根据所述迁移策略分批次读取待迁移索引中的目标数据,并在写入操作完成后启动多线程对所述分布式搜索引擎中的对应数据进行删除操作,等确定需要迁移的目标数据所在的分布式搜索引擎中根据各所述分片的存储位置和数据量大小确定对应的热点分布,根的大小确定对应的迁移任务数据量,根据所述分片的热点分布确定对应的迁移任务优先预先将迁移任务的数据量和优先级划分为不同的级别并构述迁移策略矩阵中的每一种迁移策略都包含有具体的根据所述迁移任务数据量和所述迁移任务优先级发送的业务需求和用于存储迁移数据的本地文件系统的存储性能确定每次迁移操作时读根据用户发送的业务需求中的预期完成时间和用于存储迁移数据的本地文件系统的根据所述迁移速度中的最大值确定每次迁移操作时读取的数据量和每个存储目录的3根据所述数据量和所述最大文件数确定一个拥有足够可用空间且文件数量较少的目根据所述迁移策略采用多线程将待迁移索引中的目标数据进行根据所述目标数据所属的类别或时间段创建不同的子目录,并将所述持续监控并收集实时迁移速度和本地文件系统资源利用率数据并输入到预先训练好根据所述线性回归模型输出的数据读取量调整比例、存储目迁移策略确定模块,用于确定目标数据在分布式搜索引擎中的待迁入目录确定模块,用于根据用户发送的业务需求和用于存储迁移数据迁移参数更新模块,用于根据所述迁移策略分批次读取待迁移索引新所述每次迁移操作时读取的数据量、所述每个存储目录的最大文件数以及所述迁入目多线程删除模块,用于在写入操作完成后启动多线9.一种电子设备,包括存储器、处理器及存储在处理器执行时实现权利要求1至7任一项所述的大数据量场景下的数据迁移方4[0001]本申请涉及数据处理领域,具体涉及一种大数据量场景下的数据迁移方法及装[0005]针对现有技术中的问题,本申请提供一种大数据量场景下的数据迁移方法及装索引的大小和所述分片设置中的热点分布确定对应的迁移任务数据量和迁移任务优先级,并根据所述迁移任务数据量和所述迁移任务优[0009]根据用户发送的业务需求和用于存储迁移数据的本地文件系统的存储性能确定模型由历史数据迁移数据训练得到;[0011]在写入操作完成后启动多线程对所述分布式搜索引擎中的对应数据进行删除操[0012]进一步地,所述确定目标数据在分布式搜索引擎中的待根据所述待迁移索引的大小和所述分片设置中的热点分布确定对应的迁移任务数据量和5[0016]预先将迁移任务的数据量和优先级划分为不同的级别并构建迁移策略矩阵,其[0017]根据所述迁移任务数据量和所述迁移任务优先级在迁移策略矩阵中进行匹配查[0019]根据用户发送的业务需求中的预期完成时间和用于存储迁移数据的本地文件系[0020]根据所述迁移速度中的最大值确定每次迁移操作时读取的数据量和每个存储目[0023]根据所述数据量和所述最大文件数确定一个拥有足够可用空间且文件数量较少[0028]持续监控并收集实时迁移速度和本地文件系统资源利用率数据并输入到预先训6[0033]迁移参数更新模块,用于根据所述迁移策略分批次读取待迁移索引中的目标数机程序被处理器执行时实现所述的大数据量场景下的数据迁移方法序/指令被处理器执行时实现所述的大数据量场景下的[0038]由上述技术方案可知,本申请提供一种大数据量场景下7参数动态更新每次迁移操作时读取的数据量、每个存储目录的最大文件数以及迁入目录,所述待迁移索引的大小和所述分片设置中的热点分布确定对应的迁移任务数据量和迁移询搜索引擎的元数据或使用专门的分析工具来完成。特别需要注意的是热点分布的识别,8[0060]有了迁移任务数据量和优先级这两个关键参数,下一步就是确定具体的迁移策2GB数据。此外,策略还规定在业务低峰期(如9[0079]对于存储目录的最大文件数,系统通过测试发现,当单个目录中文件数超过10,[0080]在确定迁入目录时,系统扫描了现有的目录结构,发现有一个名为"product_述线性回归模型由历史数据迁移数据训练得到;[0087]在数据迁移的同时,系统实时监控并记录迁移速度和本地文件系统的资源利用能够从过去的迁移任务中学习并应用到当前[0095]系统根据这些建议动态调整参数data/courses/"目录的最大文件数为12,000。同时,系统可能决定创建一个新的迁入目录"/data/courses_202接关系到该分片的迁移难度和所需时间。这些信息可以通过查询分布式搜索引擎的管理如Hadoop或Spark来处理海量的日志数据。分析结果可能显示某些分片的访问频率明显高[0135]这些参数的具体值应该基于系统的历史经验、性能测试结果和理论分析来确地文件系统的可用存储空间计算迁移操作时的迁读取数据量和文件数,系统能够在保证性能的同时避免对源系统和目标系统造成过大压关键存储优化阶段。这两个步骤的主要目标是在考虑本地文件系统的特性和限制的前提于实现所述大数据量场景下的数据迁移方法的全部或部分内容的大数据量场景下的数据[0218]从硬件层面来说,为了能够有效提高大数据量场景下的本申请提供一种用于实现所述大数据量场景下的数据迁移方法中的全部或部分内容的电所述待迁移索引的大小和所述分片设置中的热点分布确定对应的迁移任务数据量和迁移述线性回归模型由历史数据迁移数据训练得到;开配置,例如可以将大数据量场景下的数据迁移装置配置为与中央处理器9100连接的芯其他处理器装置和/或逻辑装置,该中央处理器9100接收输入并控制电子设备9600的各个[0235]该存储器9140可以是固态存储器,例如,只读存储器(ROM)、随机存取存储器功能存储部9142,该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如[0237]通信模块9110即为经由天线9111发送和接收信号的发送机/接收机。通信模块[0239]本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的所述待迁移索引的大小和所述分片设置中的热点分布确定对应的迁移任务数据量和迁移述线性回归模型由历史数据迁移数据训练得到;[0245]本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的大数据量场景下的数据迁移方法中全部步骤的一种计算机程序产品,该计算机程序/指令所述待迁移索引的大小和所述分片设置中的热点分布确定对应的迁移任务数据量和迁移述线性回归模型由历史数据迁移数据训练得现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0253]这些计算机程序指令也可存储在能引导计算

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论