CN110704458A 数据同步方法、装置、计算机设备及存储介质 （平安科技（深圳）有限公司）

道福安社区益田路5033号平安金融中质技术方案实现了各种异构数据源之间的实时低延迟的增量数据同步，提高了数据同步的实时2从所述数据源表中获取目标数据源，并根据所述目根据所述分页数量，从预设的线程池中为每个采用多线程的方式将所述消息中间件报文发送到预设的4.一种数据同步方法，其特征在于，所述数据同步方法包查询模块，用于采用分页查询方式确定所述数据同步3发送模块，用于根据所述分页数量，从预设配空闲线程，并采用多线程的方式将所述消息中间件报文发送到预设的分布式消息中间字段获取子模块，用于获取所述数据变化信息对应的所述目标数据表的同步标识字丢弃子模块，用于若所述同步标识字段的取值为不需9.一种计算机设备，包括存储器、处理器以及存储4库事务处理的原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)和持久性(Durability)的需求。因此，通常比较折中的方案是对于联机事务处理(On-Line[0009]采用分页查询方式确定所述数据同步条数对应的分页数量，以及每页的同步数[0011]根据所述分页数量，从预设的线程池中为每个所述消息中间件报文分配空闲线5配置的数据源表和同步数据表中，确定需要进行数据同步的目标数据源中的目标数据表，同步数据并同步到目标数据库，实现了各种异构数据源之间的实时低延迟的增量数据同6[0044]同步数据表定义了各个业务系统的数据源中需要进行数据同步的数据表的表信以根据业务系统的需要在数据源表和同步数据表中配置和修改需要进行数据同步的数据7行选择，例如，可以通过对目标数据表增加触发器Trigger的方式实现对目标数据表的监数据同步条数为totalRecordCount，则计算totalRecordCount除以pageSize得到的商[0061]其中，预设的分布式消息中间件的报文格式具体可以是目标数据表的数据表ID、8[0062]在本实施例中，对分布式消息中间件不做具体限定，其具体可以是Kafka、[0065]第一服务端采用多线程的方式将消息中间件报文同步发送到分布式消息中间件[0066]在一具体实施例中，第一服务端可以采用基于Java的Executorservice线程池技9[0086]本实施例中，第一服务端根据数据变化信息对应的目标数据表用调度器Scheduler和触发器Trigger实现对定时数据同[0091]若定时数据同步任务被触发，则第一服务端根据数据变化信息计算数据同步条的校验结果为校验成功，当重复数据检查的结果为失败或数据取值范围校验的结果为失[0102]按照预设的告警方式具体可以是通过向预设的监控平台发送告警信息的方式进的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限[0116]丢弃子模块533，用于若同步标识字段的取值为不需要同步，则丢弃数据变化信[0128]成功子模块632，用于若校验结果为检验成功，则将待同步数据同步到目标数据实现一种数据同步方法中第一服务端或者第法中第一服务端或者第二服务端执行的步骤，例如图2所示的步骤S1至步骤S9中第一服务程序被处理器执行时实现上述方法实施例中数据同步方法中第一服务端或者第二服务端包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM