CN114153809B 基于数据库日志并行实时增量统计的方法 （贵州数联铭品科技有限公司）

汪睿铭杜华飞宋赣源石尧本发明涉及一种基于业务系统数据进行并数据库的指标数据计算压力转移到ClickHouse2步骤S4：根据指标数据的统计需求，基于ClickHouse节点对应的数据同步表创建AggregatingMergeTree引擎的物化视图，在物化视图创建语句中指定需要执行统计的SQL步骤S5：使用SQL语句对AggregatingMergeTree引擎的物化视图进行统计指标数据的2.根据权利要求1所述的基于单机模式下数据库日志并行实时增量统计的方法，其特步骤S12：若未创建ClickHouse节点对应的数据同步表，则创建Colla引擎表作为ClickHouse节点对应的数据同步表；所述CollapsingMergeTree引擎表的状态步到CollapsingMergeTree引擎表中；全量数据同步期间对同步的业务数据库表加上只读3.根据权利要求2所述的基于单机模式下数据库日志并行实时增量统计的方法，其特步骤S21：启动数据事件生产者，按照redis记录的业务4.根据权利要求3所述的基于单机模式下数据库日志并行实时增量统计的方法，其特35.根据权利要求3所述的基于单机模式下数据库日志并行实时增量统计的方法，其特新增事件和/或表结构变化事件同步到ClickHouse节点的数据6.根据权利要求1所述的基于单机模式下数据库日志并行实时增量统计的方法，其特步骤S41：根据统计需求，基于ClickHouse节点对应同步的Collapsi表创建AggregatingMergeTree引擎7.基于分布式部署的数据库日志并行实时增量步一个对应业务数据库分片节点的数据到一个ClickH步骤S2：部署多个数据事件生产者，一个数据事件生产步骤S3：每个数据事件消费者负责对应的业务数据库分步骤S4：使用ClickHouse分片集群中每个节点同步步骤S5：在每个ClickHouse节点创建分布式表，将分布式表关SQL语句对ClickHouse分片集群中任意节点的分布式表进8.根据权利要求7所述的基于分布式部署的数据库日志并行实时增量统计的方法，其步骤S12：若未创建ClickHouse节点对应的数据同步表，则创建Colla所述CollapsingMergeTree引擎表的状态字段为sign，当sign为1时表示数据为有效，该ClickHouse节点对应的业务数据库分片节点的业务数据库日志更新时间作戳作为VersionedCollapsingMergeTree引擎表在业务数据库日志合并时可以根据主键加版本字步到CollapsingMergeTree引擎表或VersionedCollapsingMerg49.根据权利要求8所述的基于分布式部署的数据库日志并行实时增量统计的方法，其CollapsingMergeTree引擎表替换为ReplicatedCollapsingMergeTree引擎表，或将ClickHouse分片副本集中的VersionedCollapsingMergeTree引擎表替换为ReplicatedVersionedCollapsingMergeT5[0007]5）服务器端定时进行指标统计计算，计算完成后对统计指标数据进行保存与更数据量较大或指标数据查询并发度增加时，会严重增加业务数据库的压力而无法正常相[0012]对于方法4分片存储技术可以将统计计算压力分发到各个分片数据库节点上[0014]对于方法6使用该方法对统计指标数据进行增量更新，大幅减轻了数据库的压6标统计业务逻辑发生变化或增量计算过程出现BUG的情况，还需要更具存量数据实现指标[0015]本发明的目的在于基于业务数据库日志进行数据实时同及并行实时增量统计的问题，提供一种基于业务系统数据进行并行实时增量统计的方法，AggregatingMergeTree引擎的物化视图，在物化视图创建语句中指定需要执行统计的SQL[0022]步骤S5：使用SQL语句对AggregatingMergeTree引擎的物化视图进行统计指标数[0023]在上述方案中，通过监听业务数据库的操作日志，将业务数据实时增量同步到CollapsingMergeTree引擎表作为ClickHouse节点对应的数据同步表；所述7据同步到CollapsingMergeTree引擎表中；全量数据同步期间对同步的业务数据库表加上[0028]在上述方案中，可使用VersionedCollapsingMergeTree引擎表替换VersionedCollapsingMergeTree引擎表来保[0032]步骤S23：若读取到DDL操作日志，则转换为表结构变化事件，同时转换为8负责同步一个对应业务数据库分片节点的数据到一个ClickH用SQL语句对ClickHouse分片集群中任意节点的分CollapsingMergeTree引擎表作为ClickHouse节点对应的数据同步表，或者创建VersionedCollapsingMergeTree引擎表作为ClickHouse节点对[0054]该ClickHouse节点对应的业务数据库分片节点的业务数据库日志更新时间作戳VersionedCollapsingMergeTree引擎表在业务数据库日志合并时可以根据主键加版本字据同步到CollapsingMergeTree引擎表或VersionedCollapsingMergeT[0057]更进一步地，所述步骤S1具体为：在部署多个ClickHouse节点时，对于一个ClickHouse节点创建两个或以上ClickHouse分片副本集；将ClickHouse分片副本集中的CollapsingMergeTree引擎表替换为ReplicatedCollapsingMergeTree引擎表，或将ClickHouse分片副本集中的VersionedCollapsingMergeTree引擎表替换为ReplicatedVersionedCollapsingMe9使用ClickHouse节点的CollapsingMergeTree引擎表或VersionedCollapsingMergeTree引[0061]（3）本发明还使用水平分表技术进行数据的分布式存储，通过分布式部署此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因者暗示这些实体或操作之间存在任何这种实际的关系或[0069]启动数据事件消费者，启动后检查ClickHouse节点对应[0070]创建好CollapsingMergeTree引擎表后，将业务数据库表的全量数据同步到[0072]启动数据事件生产者，按照redis记录的业务数据库日志位置的顺序读取业务数换后的数据新增事件和表结构变化事件，按照读取业务数据库日志的顺序推送到消息队列。[0077]对于消息队列中的数据新增事件，按照ClickHouse节点语法执行DML语句插入数AggregatingMergeTree引擎的物化视图，在物化视图创建语句中指定需要执行统计的SQL[0079]根据统计需求，基于ClickHouse节点对应同步的CollapsingMergeTree引擎表创语句中，指定需要执行统计的SQL语句，并做部分统计SQL语句指标转换，比如使用sum[0080]步骤S5：使用SQL语句对AggregatingMergeTree引擎的物化视图进行统计指标数[0081]由于AggregatingMergeTree引擎会按照创建物化视图时指定的统计SQL语句聚合函数进行后台自动增量聚合并保存，可通过使用SQL语句对AggregatingMergeTree引擎的表来代替CollapsingMergeTree引擎表，从而使用分布式消息队列提高系统容错性与消息VersionedCollapsingMergeTree引擎表在业务数据库日志合并时可以根据主键加版本字据同步到CollapsingMergeTree引擎表或VersionedCollapsingMergeT[0092]在创建每个节点同步的本地物化视图时，与前述单机模式下的方法的步骤S4相AggregatingMergeTree引擎的物用SQL语句对ClickHouse分片集群中任意节点的分物化视图统计数据结果进行合并，可通过使用SQL语句对ClickHouse分片集群中任意节点一个ClickHouse分片节点创建两个或以上的ClickHouse分片副本集，此时需要将CollapsingMergeTree引擎表替换为ReplicatedCollapsingMergeTree引擎表，或将ClickHouse分片副本集中的VersionedCollapsingMergeTree引擎表替换为ReplicatedVe数据库日志进行数据实时增量同步至ClickHouse节点，使用redis记录业务数据库日志读业务需求需要频繁并发查询各个行政区域就业人数，为了减轻MySQL业务数据库的统计压CollapsingMergeTree引擎的本地表employment_info_local和分布式表employment_info_all，然后将MySQL业务数据库的employment_info就业信息表数据全量同步到ClickHouse节点的分布式表employment_inf[0103]步骤S4：在ClickHouse集群的每个本地表employment_info_local上创建本地物[0104]步骤S5：在ClickHouse集群的每个节