CN110647579A 数据同步方法及装置、计算机设备与可读介质 （北京百度网讯科技有限公司）

质预设历史时间点对应的全量数据迁移至所述目间点后对应的实时数据批量同步至所述目标数一系统如OLTP系统至第二系统如OLAP系统的数2将所述源数据库中预设历史时间点对应的全量将所述源数据库中所述预设历史时间点后对应的实时数据批量同步至所述目标数据将所述第一系统的所述源数据库中的源库/表名称和源表中的字段类型经过映射后迁3.根据权利要求2所述的方法，其特征在于，将所述第一系统的所述源数据库中的源库/表名称和源表中的字段类型经过映射后迁移至所述第二系统的所述目标数据库中，包从所述第一系统的所述源数据库中读取建表语句检测所述建表语句中所创建的所述源库/表名称是否在预先配置的需要迁移的库/表根据所述目标库/表名称，检测预先设置的进度管理节点括对应的所述目标库/表名称；所述进度管理节点独立于所述第一系统和所述第二系统来若未包括，对所述建表语句分别进行语法解析和根据所述目标建表语句，在所述第二系统的所述目标数据库中创建对应的所述目标对所述建表语句中的所述注释和/或所述唯一键分别进行语法解析和语法转换，以使得所述注释和所述唯一键能够被迁移至所述采用多线程并发处理的方式从所述源数据库中获取所述预设历史时间点对应的所述根据预设的库表映射器，将各所述数据的源库/表名称映射为所述目标数据库中对应3若是，将所述内存中写入的各所述数据以及对应的所述目标库/表名称写入预设的队库中获取所述预设历史时间点对应的所述全量数据中、未迁移的各数据及对应的源库/表采用多线程并发处理的方式，按照主键值由小到大将写入所述目标数据库中的各所述数据的主键名称和主键值存储至进度管理节点中，所述进度管理节点独立于所述第一系统和所述第二系统将所述最大主键值后最近邻的主键值对应的数据作为重对于所述源数据库中所述预设历史时间点后对应的各源DML根据所述库表映射器，将各所述源DML语句中的数据的将各所述源DML语句中的数据、对应的所述目标库/表9.根据权利要求8所述的方法，其特征在于，若各4检测各所述源DDL语句中的源库/表名称是否在预先配置的需要迁移的库/表白名单若在，根据预设的库表映射器，将各所述源DDL语根据进度管理节点中存储的所述第二系统的所述目标数据库中已存在的目标库/表名若需要，对各所述源DDL语句分别进行语法解析和语法转换，得到转换后对应的目标通过轮询所述队列，将所述队列中的各所述目标DDL语句作用在所述全量表和所述增在所述进度管理节点中记录各表字段在所述源数据库中所处的位置与在所述目标数在所述进度管理节点中记录所述增加字段对应的所述分在各所述分表的中间状态信息中设置所述增加字段结构迁移单元，用于将第一系统的源数据库的全量数据迁移单元，用于将所述源数据库中预设历将所述第一系统的所述源数据库中的源库/表名称和源表中的字段类型经过映射后迁5从所述第一系统的所述源数据库中读取建表语句检测所述建表语句中所创建的所述源库/表名称是否在预先配置的需要迁移的库/表根据所述目标库/表名称，检测预先设置的进度管理节点括对应的所述目标库/表名称；所述进度管理节点独立于所述第一系统和所述第二系统来若未包括，对所述建表语句分别进行语法解析和根据所述目标建表语句，在所述第二系统的所述目标数据库中创建对应的所述目标对所述建表语句中的所述注释和/或所述唯一键分别进行语法解析和语法转换，以使得所述注释和所述唯一键能够被迁移至所述采用多线程并发处理的方式从所述源数据库中获取所述预设历史时间点对应的所述根据预设的库表映射器，将各所述数据的源库/表名称映射为所述目标数据库中对应若是，将所述内存中写入的各所述数据以及对应的所述目标库/表名称写入预设的队采用多线程并发处理的方式，按照主键值由小到大将写入所述目标数据库中的各所述数据的主键名称和主键值存储至进度管理节点中，所述进度管理节点独立于所述第一系统和所述第二系统6将所述最大主键值后最近邻的主键值对应的数据作为重对于所述源数据库中所述预设历史时间点后对应的各源DML根据所述库表映射器，将各所述源DML语句中的数据的将各所述源DML语句中的数据、对应的所述目标库/表若各所述源DML语句中还包括数据的唯一键值，判断所述内存中是否存储有所述唯一检测各所述源DDL语句中的源库/表名称是否在预先配置的需要迁移的库/表白名单若在，根据预设的库表映射器，将各所述源DDL语根据进度管理节点中存储的所述第二系统的所述目标数据库中已存在的目标库/表名若需要，对各所述源DDL语句分别进行语法解析和语法转换，得到转换后对应的目标通过轮询所述队列，将所述队列中的各所述目标DDL语句作用在所述全量表和所述增若所述源数据库中的多张分表同步在所述目标数据7数据库中增加字段的源DDL语句，在所述进度管理节点中记录各表字段在所述源数据库中所处的位置与在所述目标数据库中对应的表字段所处的位置若所述源数据库中的多张分表同步在所述目标数据库中在各所述分表的中间状态信息中设置所述增加字段8transactionprocessing；OLTP)、联机分析处理(On-LineAnalyticalProcessing；领域的客户关系管理(CustomerRelationshipManagement；CRM)相关业务需要使用线上实时数据给用户打标签，分析评估客户的回访效果；以及金融商业智能(Business[0008]将所述源数据库中所述预设历史时间点后对应的实时数据批量同步至所述目标[0010]将所述第一系统的所述源数据库中的源库/表名称和源表中的字段类型经过映射9[0013]检测所述建表语句中所创建的所述源库/表名称是否在预先配置的需要迁移的否包括对应的所述目标库/表名称；所述进度管理节点独立于所述第一系统和所述第二系[0020]对所述建表语句中的所述注释和/或所述唯一键分别进行语法解析和语法转换，[0022]采用多线程并发处理的方式从所述源数据库中获取所述预设历史时间点对应的[0023]根据预设的库表映射器，将各所述数据的源库/表名称映射为所述目标数据库中[0026]若是，将所述内存中写入的各所述数据以及对应的所述目标库/表名称写入预设中获取所述预设历史时间点对应的所述全量数据中、未迁移的各数据及对应的源库/表名[0031]将写入所述目标数据库中的各所述数据的主键名称和主键值存储至进度管理节[0036]对于所述源数据库中所述预设历史时间点后对应的各源DML语句，获取各所述源[0042]进一步可选地，如上所述的方法中，若各所述源DML语句中还包括数据的唯一键[0046]检测各所述源DDL语句中的源库/表名称是否在预先配置的需要迁移的库/表白名[0048]根据进度管理节点中存储的所述第二系统中已存在的目标库/表名称，判断所述[0053]通过轮询所述队列，将所述队列中的各所述目标DDL语句作用在所述全量表和所将所述队列中的对应地所述目标DDL语句作用在所述全量表和所述增量表中之后，所述方[0055]在所述进度管理节点中记录各表字段在所述源数据库中所处的位置与在所述目[0069]而且本发明的技术方案支持DDL语句的同步，不会因为表结构的变更而导致任务[0082]基于如何将第一系统如OLTP系统中的数据准实时同步至第二系统如OLAP系统的[0084]在同步过程中，将开启两个进程，一个进程从OLTP系统的源MySQL拉取和解析[0090]该方案通过实时监听上游源系统的binlog文件获取到用户执行的DML语句和DDL[0091]该方案直接将上游数据操纵语言(DataManipulationLanguage；DML)语句在下中可以对应包括有MySQL等各种类型的数据库，OLAP系统中对应可以包括有GreenPlum(也字段类型经过映射后迁移至第二系统的目标数据库中。本实施例的源库/表名称包括源库数据库中的源库名称、源表名称和源表中的字段类型经过映射后迁移至OLAP系统的[0106]另外，在实际应用中，OLTP系统的MySQL数据库中多张分表，迁移至OLAP系统的据库中的源库/表名称和源表中的字段类型经过映射后迁移至第二系统的目标数据库中，同时能够支持实现将第一系统的源数据库中的多张分表同步至第二系统的目标数据库中介绍“将第一系统的源数据库中的源库/表名称和源表中的字段类型经过映射后迁移至第[0110]201、检测建表语句中所创建的源库/表名称是否在预先配置的需要迁移的库/表[0111]其中若库/表白名单中未包括相应的源库或者源表，此时表示相应的源库和源表[0113]本实施例的库表映射器可以由工作人员预先配置，其中可以包括OLTP系统的以根据该库表映射器，将将建表语句中的源库/表名称映射为GreenPlum中对应的目标库/[0119]此时的建表语句非步骤200获取的建表语句，而是已经经过步骤202已经经过库/中的注释和/或唯一键分别进行语法解析和语法转换，以使得注释和唯一键能够被迁移至[0126]例如，图2所示实施例的步骤200采用Reader模块来实现，步骤201-204采用将所有列名称和类型信息、默认值、注释的语法解析和转换，拼接成满足OLAP系统的进度管理节点中还可以增加全局变量用于存储下游GreenPlum数据库中已经同步的[0128]300、采用多线程并发处理的方式从源数据库中获取预设历史时间点对应的全量式从MySQL数据库中获取预设历史时间点对应的全量数据中、未迁移的各数据及对应的源[0138]从同步性能考虑，首先GreenPlum数据库的Appendoptimized表单条记录插入的效率非常低，并不适用于类似OLTP数据库同步方式，直接在将上游的DML语句下游实时回[0139]GreenPlum数据库采取通过一定周期批量方式写入下游数据库，需要考虑上游数因此，本实施例中提出在writer模块将数据写入GreenPlum数据库作为消费者线程与读取键值Value存储至进度管理节点中，进度管理节点独立于第一系统和第二系统来实现信息[0144]本实施例的方案时基于预设历史时间点后对应的各源DML语句进行数据批量同骤401根据预设的库表映射器，将各源DML语句中的数据的源库/表名称映射为目标数据库[0148]本实施例的方案中，从上游同步下来的数据会保留它的操作属性，如插入步的数据必须存在唯一键值。本实施例中，根据增量表更新全量表过程是由第二系统如[0156]本实施例的方案时基于预设历史时间点后对应的各源DDL语句进行数据批量同目标数据库以OLAP中的GreenPlum数据库为例，步骤504为了能够顺序将各源DDL语句转换以取增加的表字段在源数据库中的位置下标与在目标数据库中的位置下标之间的对应关列GreenPlum与MySQL对应位置映射关系。这样，后续对于每个增加字段对应的操作，息中还需要添加默认值属性以及对应的位置值，对于未加字段的分表数据同步至下游时，需要在Formatter模块主动添加默认值以及对应的位置值。另外对于多分表修改字段类型字段位置下标,MySQL中的字段位置下标,列类型,列默认值|列名2:GreenPlum字段位置下标,MySQL中的字段位置下标,列类型,列默认值,]；库名2.表名2:[列名1:GreenPlum字段位置下标,MySQL中的字段位置下标,列类型,列默认值|列名2:GreenPlum字段位置下标,结构、进度管理节点中的各分表的中间状态信息、GreenPlum中表结构三者一致即可，在Writer模块每次写入成功后，将进度管理节点中的各分表的中间状态信息保存入外部系[0175]而且本实施例的技术方案支持DDL语句的同步，不会因为表结构的变更而导致任[0177]结构迁移单元10用于将第一系统的源数据库的结构对象迁移至第二系统的目标[0178]全量数据迁移单元11用于将源数据库中预设历史时间点对应的全量数据迁移至[0179]增量数据迁移单元12用于将源数据库中预设历史时间点后对应的实时数据批量[0183]将第一系统的源数据库中的源库/表名称和源表中的字段类型经过映射后迁移至[0185]从第一系统的源数据库中读取建表语句；建表语句中包括所创建的源库/表名称[0186]检测建表语句中所创建的源库/表名称是否在预先配置的需要迁移的库/表白名括对应的目标库/表名称；进度管理节点独立于第一系统和第二系统来实现信息持久化存[0193]对建表语句中的注释和/或唯一键分别进行语法解析和语法转换，以使得注释和[0195]采用多线程并发处理的方式从源数据库中获取预设历史时间点对应的全量数据[0196]根据预设的库表映射器，将各数据的源库/表名称映射为目标数据库中对应的目[0216]若各源DML语句中还包括数据的唯一键值，判断内存中是否存储有唯一键值对应[0219]检测各源DDL语句中的源库/表名称是否在预先配置的需要迁移的库/表白名单[0221]根据进度管理节点中存储的第二系统的目标数据库中已存在的目标库/表名称，[0222]若需要，对各源DDL语句分别进行语法解析和语法转换，得到转换后对应的目标[0228]在进度管理节点中记录增加字段在源数据库中的位置与在目标数据库中的位置或[0237]计算机设备12a典型地包括多种计算机系统可读介质。这些介质可以是任何能够[0238]系统存储器28