CN119474210A 数据同步方法、装置、电子设备、存储介质和程序产品 （京东科技信息技术有限公司）

开发区科创十一街18号院2号楼6层据同步任务进行压力测试，得到压力测试的结务的执行参数生成所述数据同步任务的并行同所述同步任务队列的执行工况和/或新增同步任2基于所述压力测试的结果和所述数据同步任务的执行参数生成所述数据同步任务的基于所述并行同步参数、所述数据同步任务的优先级和依赖关系生成同步任务队列，基于所述同步任务队列的执行工况和/或新增同步任务对所述数据同步任务进行控在所述测试场景中启动压力测试工具，并基于并发模式能指标结果包括以及所述数据同步任务的源端性基于所述所需的计算资源与服务设备提供的计算资源，基于所述所需的网络资源、所述提供的网络资源、所述源端所述并行同步参数包括并行执行的所述数据同步任务的数量，基于所述数据同步任务的启动时间、延迟时间和任基于与所述队首任务的依赖关系、所述启动时间、所述延在执行所述同步任务队列的数据同步操作的过程中，若检若检测具有任务延迟的第一同步任务队列时，监测到所3基于所述第二同步任务的初始抽取速率和所述第二同步任务的延迟时间配置所述第所述同步任务队列的执行工况包括执行时间，检测到所述同步任务基于调高的所述优先级调整所述延迟数据同步所述同步任务队列的执行工况包括所述源端性能指标和所述目标端性基于所述源端性能指标检测到源数据库性能下降，根据性能下降基于所述目标端性能指标检测到目标数据库性能超过设定指标，动的所述优先级，所述可调同步任务的所述启动时间晚于所述新增同步任务的所述启动时基于资源让出机制调整所述可调同步任务的所述执行参数，以为所述基于所述资源占用趋势对所述同步任务队列进第一生成模块，用于基于所述压力测试的结果和所述数据同第二生成模块，用于基于所述并行同步参数、所述数据同步任务4同步模块，用于基于所述同步任务队列的执行工况和/或新增同步任务对所述数据同其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～10中任意一项被处理器执行时实现权利要求1～10中任意一项所述的理器执行时实现权利要求1～10中任意一项所述的数据5[0002]数据汇集指通过同步数据的方式将分散在各个业务系统的业务数据汇集到数据务的优先级和依赖关系生成同步任务队列，以启动所述同步任务队列执行数据同步操作；基于所述同步任务队列的执行工况和/或新增同步任务对所述数据同步任结果包括以及所述数据同步任务的源端性能指标和目标6动任务依赖于已完成的所述数据同步任务；若检测具有任务延迟的第一同步任务队列时，同步任务队列中的第二同步任务，所述第二同步任务的启动时间先于所述第一同步任务，[0012]在本公开的一些实施例中，基于所述同步任务队列的执行工况和/或新增同步任延迟数据同步任务优先级；基于调高的所述优先级调整所述延迟数据同步任务的抽取速[0013]在本公开的一些实施例中，基于所述同步任务队列的执行工况和/或新增同步任[0014]在本公开的一些实施例中，基于所述同步任务队列的执行工况和/或新增同步任7队列的执行工况和/或新增同步任务对所述数据同步任8数据抽取的时效决定了企业数据服务相应的具体时间，因此如何保障数据同步的可靠性、(MovingPictureExpertsGroupAudioLayerIV，动态影像专家压缩标准音频层面4)播[0041]服务器集群140是一台服务器，或者由若干台服务器组成，或者是一个虚拟化平9[0043]可选地，不同的终端120中安装的应用程序的物流用户端是相同的，或两个终端120上安装的应用程序的物流用户端是不同控制系统平台的同一类型应用程序的物流用户特网、但也可以是任何网络，包括但不限于局域网(Local语言(HyperTextMark_upLanguage，HTML)、可扩展标记语言(ExtensibleTLS)、虚拟专用网络(VirtualPrivateNetwork，VPN)、网际协议安全(Internet还可以使用定制和/或专用数据通信技术取代或者补充上述数据通[0052]在一些实施例中，压力测试的结果可以理解为数据同步任务所处环境的环境参[0062]步骤S208，基于同步任务队列的执行工况和/或新增同步任务对数据同步任务进列中具有第一同步任务，第一同步任务的优先级高于第二同步任务队列中的第二同步任二同步任务延迟时间占比)×0.3)确定第一同步任务的插入抽取速率与第二同步任务初始带宽的剩余量等)以及第二同步任务的进度来动态调整第一同步[0101]在本公开的一些实施例中，基于同步任务队列的执行工况和/或新增同步任务对优化同步效率和资源的利用。ETL(ExtractTransformLoad)工具进行数据同步，可以在工具的配置文件中修改抽取数[0115]在本公开的一些实施例中，基于同步任务队列的执行工况和/或新增同步任务对启动时间晚于新增同步任务的启动时间；基于资源让出机制调整可调同步任务的执行参[0122]监控多条同步任务队列对计算资源和网络资源的占用工况，[0129]在执行数据同步操作过程中，基于压力测试和同步监测单元606中的同步监测功[0133]下面参照图7来描述根据本公开的这种实施方式的数据同步装置700。图7所示的一生成模块704，用于基于压力测试的结果和数据同步任务的执行参数生成数据同步任务于同步任务队列的执行工况和/或新增同步任务对数据同步[0135]下面参照图8来描述根据本公开的这种实施方式的电子设备800。图8显示的电子(包括存储单元820和处理单元810)的总[0138]存储单元820可以包括易失性存储单元形式的可读介质，例如随机存取存储单元[0139]存储单元820还可以包括具有一组(至少一个)程序模块8205的程序/实用工具[0140]总线830可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储[0141]电子设备800也可以与一个或多个外部设备860(例如键盘、指向设备、蓝牙设备[0147]可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序块或者单元的特征和功能可以进一步划分为由多个模块或者应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的