CN114398359B 订单数据自动化对账方法、装置及存储介质 （深圳依时货拉拉科技有限公司）

(12)发明专利道梅林路卓越梅林中心广场(南区)A有限公司44340述预设周期内的大数据平台库全量表中增量变步所述MySQL库增量表的数据到所述业务数据库。本发明使用大数据平台IDP(Internet数据准确度较高，根本上解决对账真性数据错将预设周期内的订单数据离线提交到大数据平台库将预设周期内的订单数据离线提交到大数据平台库全量将所述预设周期内的大数据平台库全量表中增量变化的订单数据清洗出来，记录在大数据平台库增量表中将所述大数据平台库增量表的数据同步到业务数通过定时任务，同步所述MySQL库增量表的数据到所述业务数据库2将预设周期内的订单数据离线提交到大数据平台库全量表中；将所述预设周期内的大数据平台库全量表中增量变化的订单数据清洗出来，记录在大数据平台库增量表中；将所述大数据平台库增量表的数据同步到业务数据库MySQL库增量表，具体包括：配置IDP同步数据任务，将所述大数据平台库增量表的数据同步到业务数据库MySQL库增量表，通过定时任务，同步所述MySQL库增量表的数据到所述业务数据库；所述订单数据包括订单子数据、发票数据、账期数据和支付数据；所述大数据平台库全量表包括Hive库全量表；所述将预设周期内的订单数据全量聚合离线提交到大数据平台库全量表中包括：将预设周期内的订单子数据、发票数据、账期数据和支付数据全量聚合离线提交在大数据平台库全量表中；具体是：在大数据平台I发票数据，比对各方金额和状态得出对账状态，所述方法还包括：针对同步所述MySQL库增量表的数据到所述业务数据库时对账失败的数据，获取失败状态，并根据不同失败状态对应的失败原因，调用对应系统的核对与修复接口，按照预设规则自动处理对账失败的数据，使其达到自动对账成功。2.根据权利要求1所述的方法，其特征在于，所述增量表包括Hive库增量表；所述将所述预设周期内增量变化的订单数据清洗出来，记录在增量表中包括：通过脚本任务，对比所述MySQL库中对账数据与Hive库全量表的订单数据，将所述预设周期内增量数据同步到所述Hive库增量表中。3.根据权利要求2所述的方法，其特征在于，所述将所述大数据平台库增量表的数据同配置同步数据任务，将所述Hive库增量表的增量数据同步到所述MySQL库增量表。表的数据到所述业务数据库包括：在所述预设周期内，通过定时任务，采用多线程并发处理所述MySQL库增量表的增量数5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：判断所述MySQL库增量表的数据的订单唯一标识是否存在于所述业务数据库，若不存在则新增订单数据，已存在则更新订单数据。6.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：按照预设规则自动处理对账失败的数据，不能自动对账成功的数据，汇总为所述预设周期内的对账失败数据，并发出通知消息。7.订单数据自动化对账装置，其特征在于，所述订单数据自动化对账装置包括处理器以及与所述处理器耦接的存储器，所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如权利要求1-6任一项所述的方法。8.计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有程序数据，所述程序数据在被处理器执行时，用于实现如权利要求1-6任一项所述的方法。3技术领域[0001]本发明涉及计算机技术领域，特别是涉及订单数据自动化对账方法、装置及存储背景技术[0002]现有的对账方案，是每天或每几天某个时间通过接口的方式拿到企业订单的所有对订单的对账状态为成功或则失败。[0003]上述方案通过接口的方式，对各方的系统压力大，并且依赖关联方系统的稳定性，导致对账数据经常可能需要全量重跑。发明内容[0004]本发明针对现有技术使用通过接口方式拿到企业订单数据，对各方的系统压力大，并且依赖关联方系统的稳定性，导致对账数据经常可能需要全量重跑的技术问题，提出以下技术方案。[0005]为了解决上述技术问题，本发明采用的一种技术方案是：[0007]将预设周期内的订单数据离线提交到大数据平台库全量表中；[0008]将所述预设周期内的大数据平台库全量表中增量变化的订单数据清洗出来，记录在大数据平台库增量表中；[0009]将所述大数据平台库增量表的数据同步到业务数据库MySQL库增量表；[0010]通过定时任务，同步所述预设周期内的订单数据全量聚合离线提交到大数据平台库全量表中包括：[0012]将预设周期内的订单子数据、发票数据、账期数据、支付数据全量聚合离线提交在大数据平台库全量表中。[0013]进一步地，所述大数据平台库全量表包括Hive库全量表；所述增量表包括Hive库增量表；所述将所述预设周期内增量变化的订单数据清洗出来，记录在增量表中包括：[0014]通过脚本任务，对比所述MySQL库中对账数据与Hive库全量表的订单数据，将预设周期内增量数据同步到所述Hive库增量表中。[0015]进一步地，所述将所述对账增量表的[0016]配置同步数据任务，将所述Hive库增量表的增量数据同步到所述MySQL库增量表。[0017]进一步地，所述通过定时任务，同步所述MySQL库增量表的数据到所述业务数据库[0018]在所述预设周期内，通过定时任务，采用多线4[0020]判断所述MySQL库增量表的数据的订单唯一标识是否存在于所述业务数据库，若不存在则新增订单数据，已存在则更新订单数据。[0021]进一步地，所述方法[0022]针对同步所述MySQL库增量表的数据到所述业务数据库时对账失败的数据，获取失败状态，并根据不同失败状态对应的失败原因，调用对应系统的核对与修复接口，按照预设规则自动处理对账失败的数据，使其达到自动对账成功。[0024]按照预设规则自动处理对账失败的数据，不能自动对账成功的数据，汇总为所述预设周期内的对账失败数据，并发出通知消息。[0025]本发明采用的另一种技术方案是：[0026]订单数据自动化对账装置，所述订单数据自动化对账装置包括处理器以及与所述处理器耦接的存储器，所述存储器中存储有计算机程序，所述处理器用于执行所述计算机程序以实现如上所述的方法。[0027]本发明采用的又一种技术方案是：计算机可读存储介质，所述计算机可读存储介质中存储有程序数据，所述程序数据在被处理器执行时，用于实现如上所述的方法。[0028]本发明的有益效果是：区别于现有技术的情况，本发明提供订单数据自动化对账方法，包括将预设周期内的订单数据离线提交在大数据平台库全量表中；将所述预设周期内的大数据平台库全量表中增量变化的订单数据清洗出来，记录在大数据平台库增量表中；将所述大数据平台库增量表的数据同步到业务数据库MySQL库增量表；通过定时任务，同步所述MySQL库增量表的数据到所述业务数据库。本发明使用大数据平台IDP(InternetDatagramProtocol:数据报协议)代替原来的实时接口，对各方系统的压力减小，也可以避免因为各系统的抖动带来数据的不准确性，企业对账数据准确度较高，根本上解决对账真性数据错误，客观上提升部分运营处理对账问题的个人效率，也提升用户对账体验。附图说明[0029]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他[0030]图1是本发明提供的订单数据自动化对账方法一实施例的流程图；[0031]图2是本发明提供的订单数据自动化对账方法另一实施例的订单数据自动化对账方法的流程图；[0032]图3是本发明提供的订单数据自动化对账方法的整体流程图；[0033]图4是本发明提供的订单数据自动化对账方法的订单数据自动化对账的各表格之间的数据交互图；[0034]图5是本发明提供的订单数据自动化对账装置一实施例的结构框图；[0035]图6是本发明提供的计算机可读存储介质一实施例的结构示意图。5具体实施方式[0036]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部方法和流程。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0037]本发明中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。[0038]在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。[0039]参阅图1,图1是本发明提供的订单数据自动化对账方法一实施例的流程图。[0041]步骤10、将预设周期内的订单数据离线提交到大数据平台库全量表中。订单数据离线提交到大数据平台库全量表。[0043]步骤20、将所述预设周期内的大数据平台库全量表中增量变化的订单数据清洗出来，记录在大数据平台库增量表中；[0046]本发明使用大数据平台IDP(InternetDatagramProtocol:数据报协议)代替原来的实时接口，对各方系统的压力减小，也可以避免因为各系统的抖动带来数据的不准确性，企业对账数据准确度较高，根本上解决对账真性数据错误，客观上提升部分运营处理对账问题的个人效率，也提升用户对账体验，进而提升用户还款意愿，降低用户还款逾期率。设周期内的订单数据全量聚合离线提交到大数据平台库全量表中包括：[0048]将预设周期内的订单子数据、发票数据、账期数据、支付数据全量聚合离线提交在大数据平台库全量表中。在大数据平台IDP,通过抽数的方式，将订单数据、发票数据、账期数据、支付数据每天全量聚合离线提交在平台库表中。具体的，在大数据平台IDP做数据聚全量表。[0049]在一个实施例中，所述大数据平台库全量表包括Hive库全量表；所述增量表包括Hive库增量表；所述将所述预设周期内增量变化的订单数据清洗出来，记录在增量表中包[0050]通过脚本任务，对比所述MySQL库中对账数据与Hive库全量表的订单数据，将所述预设周期内增量数据同步到所述Hive库增量表中。比如，通过脚本任务，将每天增量变化的6企业订单数据清洗出来，记录在增量表中。[0051]在一个实施例中，所述将所述对账增量表的数据同步到业务数据库MySQL库包括：[0052]配置同步数据任务，将所述Hive库增量表的增量数据同步到所述MySQL库增量表。其中，所述MySQL库用以接收所述增量数据，与系统的业务数据库隔离开。配置大数据平台中。具体地，配置IDP同步数据任务，将Hive库中diff表的数据同步到ep_big_data,该库为[0053]在一个实施例中，所述通过定时任务，同步所述MySQL库增量表的数据到所述业务数据库包括：[0054]在所述预设周期内，通过定时任务，采用多线程并发处理所述MySQL库增量表的增系统业务库，判断订单号不存在就新增，已存在则增量表的数据，因为数据量比较大，为减少系统压力，使用了线程池，多线程并发同步数据到订单对账全量表中。[0056]判断所述MySQL库增量表的数据的订单唯一标识是否存在于所述业务数据库，若不存在则新增订单数据，已存在则更新订单数据。[0057]具体地，订单唯一标识为订单ID,或者是订单号，或者其他的可以唯一对应上该订单的标识。订单唯一标识为订单子数据中的一个字段，也是订单数据中的字段。[0058]在另一个实施例中，结合图2,所述方法还包括：[0059]步骤50、针对同步所述MySQL库增量表的数据到所述业务数据库时对账失败的数据，获取失败状态，并根据不同失败状态对应的失败原因，调用对应系统的核对与修复接口，按照预设规则自动处理对账失败的数据，使其达到自动对账成功。[0060]对账失败的数据，会根据不同的失败原因，调用各系统的核对与修复接口，自动处理对账失败的数据。通过自动化的模式将数据修复正确，使其达到对账成功。[0061]具体地，可统计各种失败状态。图3中示意出失败状态的各种情形处理。预设规则包括根据不同失败状态对应作出的不同处理方式。[0062]图4示意出订单数据自动化对账的各表格之间的数据交互图。图4页看出本发明一实施例的交互流程。[0064]按照预设规则自动处理对账失败的数据，不能自动对账成功的数据，汇总为所述预设周期内的对账失败数据，并发出通知消息。[0066]因为各种原因，不能自动化修复的数据，可以汇总对账日的数据，发送通知消息到各种能通知到工作人员的地方，例如对账聊天群；以及统计不同失败原因的数据，通过私密方式发送给各系统开发人员，督促其线下处理数据。或者将对账失败数据打上标签，保证订单的对账数据正常。[0067]现有技术的对账方案，可以大致了解目前企业对账问题分布及存在对账问题数7根据不同的失败原因，调用各系统的核对与修复接口，自动处理对账失败的数据；对于按照预设规则自动处理对账失败的数据，仍然不能自动对账成功的数据，汇总为所述预设周期内的对账失败数据，并发出通知消息和/或打上标签，则可以有效定位具体问题，而且自动处理对账失败的数据也可以大量的减少需要手动处理的数据。现有技术的通过接口的方式，对各方的系统压力大，并且依赖关联方系统的稳定性，导致对账数据经常可能需要全量重跑。本发明上述实施例的提供的订单数据自动化对账方法，通过走大数据平台IDP代替原来的实时接口，对各方系统的压力减小；可以避免因为各系统的抖动带来数据的不准确性，经测试，企业对账数据准确度99.99%,可以说从根本上解决对账真性数据错误；客观上提升用户对账体验，进而提升用户还款意愿，降低用户还款逾期率。本发明实施例提供的订单数据自动化对账，通过大数据平台IDP+MySQL的方式核对订单数据，结合应用机器人推送对账失败订单的通知消息，是一整套完整的订单对账、纠正错误订单系统方式。[0068]根据上述实施例，本发明提出订单数据自动化对账装置。具体参阅图5,图5是本发明提供的订单数据自动化对账装置一实施例的结构示意图。[0069]订单数据自动化对账装置100中包括处理器110和存储器120。其中处理器110和存储器120耦接。存储器120中存储有计算机程序，计算机程序用于执行上述订单数据自动化对账方法。[0070]具体参阅图6,图6是本发明提供的计算机可读存储介质一实施例的结构示意图。[0071]计算机可读存储介质200中包括程序数据210。程序数据210在被处理器执行时，可以实现上述订单数据自动化对账方法。[0072]区别于现有技术的情况，本发明提供订单数据自动化对账方法。[0073]本发明提供的订单数据自动化对账方法，包括将预设周期内的订单数据离线提交在大数据平台库全量表中；将所述预设周期内的大数据平台库全量表中增量变化的订单数据清洗出来，记录在大数据平台库增量表中；将所述大数据平台库增量表的数据同步到业库。本发明使用大数据平台IDP(InternetDatagramProtocol:数据报协议)代替原来的实时接口，对各方系统的压力减小，也可以避免因为各系统的抖动带来数据的不准确性，企业对账数据准确度较高，根本上解决对账真性数据错误，客观上提升部分运营处理对账问题的个人效率，也提升用户对账体验。[0074]以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。