CN111782731B 一种数据同步方法及装置 （腾讯云计算（北京）有限责任公司）

本申请实施例公开了一种数据同步方法及用的优势，进而降低数据库之间数据同步的难2入后数据同步配置表包括数据定位信息和数基于所述数据同步模式以及所述数据定位信息，在所述源数据库中确定待同步数据，基于所述数据同步模式以及所述数据表区间参数，确定所述待同基于所述数据同步模式以及所述同步字段参数，确定所述目标数据将所述目标数据表序列中与所述目标同步字段对应的数据确定为所述基于所述数据同步模式以及所述数据表区间参数，确定所述待同对所述数据表区间参数进行解析，得到所述目标数据表序列对基于所述数据表匹配阈值，从匹配通过的数据表中确定目标数或确定所述目标数据表序列对应的数据表匹配标志，以将所述目标数据表进行组合，得到与所述增量数据同步模式对应的所3对所述数据过滤参数进行解析，得到所述目标数据表序列对应的基于所述数据过滤标志以及所述数据过滤阈值，对所述目标数据表序列进行数据过将所述目标数据表序列中的数据字段确定为从所述同步字段参数中解析出所述候选同步字段的字段过基于所述数据同步模式以及所述字段过滤标志，对所述候选同步字段进行字段过滤，利用所述数据同步驱动插件，建立所述源数据库与所述目标数据库之间的数据库连触发数据同步驱动插件将提取后的待同步数据添加到若所述数据同步范围为全量数据范围，则确定所述数据同步模式为全量数据同步模若所述数据同步范围为增量数据范围，则确定所述数据同步模式为增量数据同步模注入单元，用于将所述数据同步参数注入数据同步配置表，数据确定单元，用于基于所述数据同步模式以及所述数据定位信数据同步子单元，用于利用所述数据同步驱动插件，将所述待同4序列确定子单元，用于基于所述数据同步模式以及所述数字段确定子单元，用于基于所述数据同步模式以及数据确定子单元，用于将所述目标数据表序列中与所述目标同对所述数据表区间参数进行解析，得到所述目标数据表序列对或确定所述目标数据表序列对应的数据表匹配标志，以对所述数据过滤参数进行解析，得到所述目标数据表序列对应的将所述目标数据表序列中的数据字段确定为候选同步字段；从所述析出所述候选同步字段的字段过滤标志；基于所述数据同步模式以及所述字段过滤标志，利用所述数据同步驱动插件，建立所述源数据库与所述目标数据库之间的数据库连范围确定子单元，用于基于所述标签属性，确定所述注入后数据全量确定子单元，用于若所述数据同步范围为全量数据范围，则确5增量确定子单元，用于若所述数据同步范围为增量数据范围，6述注入后数据同步配置表包括数据定位信息和数7述待同步数据在所述源数据库中对应的目标数据表序列；[0021]在一实施例中，所述数据同步模式包括全量数据同步模[0024]在一实施例中，所述数据定位信息包括所述目标数据表序列对应的数据过滤参8算机程序被处理器执行时实现本申请实施例提供的任一种数据置表包括数据定位信息和数据库连接信息；基于所述注入后数据同步配置表的标签属性，同步需求提供至少一种数据同步模式，使得在数据同步的难度与效率得到了改善的基础9的用户，如政府侧或企业侧技术人员可以通过自己熟悉的SQL(StructuredQuery以由终端和服务器共同执行；本申请实施例以数据同步方法由服务器执行为例来进行说统可以依据它所支持的数据库类型来作分类，例如关系式、XML(ExtensibleMarkup持多租户的全文搜索引擎，具有HTTP(HyperTextTran同步数据在源数据库中是仅包括了单张数据表内的数据、还是包括了多张数据表内的数中各项信息所对应的参数标签，将数据同步参数中的目标端信息注入到数据同步配置表[0092]其中，数据定位信息可以为用于在源数据库中定位待同据同步配置表中提取以下参数标签对应的参数，以得到数据定位信息：<indexBranch></indexBranch>、<indexSuffixRule></indexSuffixRule>、<indexBranchStart></></condtion>以及<index></in[0094]其中，数据库连接信息可以为用于连接源数据库与目标表中提取一下参数标签对应的参数，以得到数据库连接信息：<host></host>、<port></port>、<http></http>、<user></user>、<password></password>、<url></url>以及<driverClass></driverCl[0098]又如，可以基于待同步数据所对应的数据同步时间来对[0101]在本实施例中，可以基于待同步数据的同步数据范围来对数据同步模式进行划[0108]当检测到针对该注入后数据同步配置表的全量同步触发操作或全量导出触发操标数据表序列；标数据表序列中可以包括至少一张待同步数据在源数据库中所对应的同步数据的目标数据表序列。据表区间参数中<indexSuffixRule></indexSuffixRule>标签与<index></index>标签对[0130]<index></index>标签中对应的参数值为“school”，即表示欲从源数据库中的签中对应的值为“yyyyMMdd”，该值设置了待同步数据所在的数据表的表名后缀规则为index></index>标签与<indexSuffixRule></indexSuffixRule>标签，对源数据库中的数通过。[0131]在另一实施例中，可以仅利用数据表区间参数中的<indexSuffixRule></[0132]其中，数据表匹配阈值可以用于确定待同步数据在源数据库中所属的数据表区据表区间参数中<index></index>、<indexSuffixRule></indexSuffixRule>、<indexBranchStart></indexBranchStart>及<indexBranchEnd></indexBranchEnd>标签对[0135]在本实施例中，参考图9，可以基于数据表区间参数中<indexSuffixRule></indexSuffixRule>标签与<index></index>标签对应的参数值来确定数据表匹配标志，因候选数据表；可以基于数据表区间参数中<index></index>、<indexSuffixRule></indexSuffixRule>、<indexBranchStart></indexBranchStart>及<indexBranchEnd></数据同步模式以及数据表区间参数，确定待同步数据在源数据库中对应的目标数据表序将“creatTime”字段的值属于020-06-0212:00:00-2020-06-04标数据表序列。据库中的数据表进行增量解析，可以得到源数据库中2020年5月2日15:30:00之后的新增标志为数据表名称；目标数据库的当前数据记录标志为1000，且该当前数据记录为学生学以得到目标数据表，进而得到目标数据表序列，其中，该目标数据表中包括源数据库的同步数据对应的数据同步模式为全量数据同步模式，且候选同步字段中包括以下字段：的数据同步模式为全量数据同步模式，且候选同步字段中包括以下字段：String类型的的数据同步模式为全量数据同步模式，且候选同步字段中包括以下字段：String类型的确定为目标同步字段。[0170]其中，JDBC是Java语言中用来规范客户端程序如何来访问数据库的应用程序接[0176]其中，可以将常见数据库对应的数据同步驱动插件都放以将该所需的数据同步驱动插件手动或者自动地配置到该文件路径中。参考图14，图中件，基于注入后数据同步配置表中目标端信息中对的<driverClass></driverClass>参数过将注入后数据同步配置表放置到不同的文件目录中来对该注入后数据同步配置表的标[0196]其中，数据定位信息可以为用于在源数据库中定位待同数据同步配置表的数据同步参数中提取相关所需的参[0200]204、服务器基于数据同步模式以及数据定位信息，在源数据库中确定待同步数配置表中添加<delay></delay>参数标签，并通过设置该标签对应的参数值来实现延时增[0209]207、服务器利用数据同步驱动插件，将待同步数据从源数据库同步至目标数据定所述待同步数据在所述源数据库中对应的目标数据表[0229]在一实施例中，所述数据定位信息包括所述目标数据表序列对应的数据过滤参[0245]由上可知，本实施例的数据同步装置中参数确定单元301确定源数据库与目标数述待同步数据从所述源数据库同步至所述目同步需求提供至少一种数据同步模式，使得在数据同步的难度与效率得到了改善的基础[0249]存储器401可用于存储软件程序以及模块，处理器404通过运行存储在存储器401[0250]输入单元402可用于接收输入的数字或字符信息，以及产生与用户设置以及功能或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接[0251]显示单元403可用于显示由用户输入的信息或提供给用户的信息以及计算机设备成。显示单元403可包括显示面板，可选的，可以采用液晶显示器(LCD，LiquidCrystal传送给处理器404以确定触摸事件的类型，随后处理器404根据触摸事件的类型在显示面[0252]处理器404是计算机设备的控制中心，利用各种接口和线路连接整个手机的各个的进程对应的可执行文件加载到存储器401中，并由处理器404来运行存储在存储器401中得该计算机设备执行上述实施例中的各种可选实现方式中[0264]以上对本申请实施例所提供的一种数据同步方法、装置