CN114186000B 一种基于Flink的业务数据监控方法、装置及存储介质 （上海得物信息集团有限公司）

一种基于Flink的业务数据监控方法、装置本发明公开了一种基于Flink的业务数据监务数据的数据存储规则；Flink从日志服务器中通过本发明实施例，设置APP埋点业务数据与ClickHouse表关联，N个埋点对象关联成一张结构表，将埋点字段与结构表的字段进行一一对2Flink从日志服务器中获取所述第一业务数据，根据所述数据存储规则对所述第一业设置所述第一业务数据的标识和基础字段和建立所述第一业务数据的所述标识与数据库表关联关系，N个所述第一业务数据的所建立所述基础字段和所述自定义字段与所述数据库表的字段的关联为从所述标识对应的所述数据库中查询所述标识对应的所述基础字段和所述自定义3.根据权利要求1所述的方法，其特征在于，所述F根据所述数据存储规则中的所述第一业务数据的标识对所述第一业务数据进行过滤，根据所述标识对应的所述基础字段和所述自定义字段从所述第四业务数据中获取所根据所述字段数据和所述标识对应的数据库表创建第二SQL语句，对多个所述标识对应的字段数据和多个所述标识对应的所述数据库表创建批量存储所述Flink定期获取所述数据存储规则，然后使用最新的所述数据存储规则更新本地执行所述第四SQL语句从所述数据库中查询所述基础字段和所述自定义字段对应的字3数据处理单元，用于查询所述数据库得到第三业务数据，对所设置所述第一业务数据的标识和基础字段和建立所述第一业务数据的所述标识与数据库表关联关系，N个所述第一业务数据的所建立所述基础字段和所述自定义字段与所述数据库表的字段的关联据监控程序配置为实现根据权利要求1至6中任一项所述基于Flink的业务数据监控方法的处理器执行时实现权利要求1至6中任一项所述的基于Flink的业务数据监控方4[0002]APP数据指标的获取依赖埋点，早期APP数据指标统计的方案是APP上进行埋点产随着APP埋点的增加，索引的费用也越来越高，加之其配置图表与告警的SQL并非传统的[0004]本发明的主要目的在于提供一种基于Flink的业务数据监控方法、装置及存储介[0007]Flink从日志服务器中获取所述第一业务数据，根据所述数据存储规则对所述第[0011]建立所述第一业务数据的所述标识与数据库表关联关系，N(N大于等于1)个所述第一业务数据的所述标识与1张所述数据库表[0012]根据所述基础字段和/或所述自定义字段，创建所述标识对应的所述数据库表的[0015]为从所述标识对应的所述数据库中查询所述标识对应的所述基础字段和/或所述5[0017]根据所述数据存储规则中的所述第一业务数据的标识对所述第一业务数据进行[0018]根据所述标志对应的所述基础字段和/或所述自定义字段从所述第四业务数据中获取所述基础字段和/或所述自定义字段对[0019]根据所述字段数据和所述标识对应的数据库表创建第二SQL语句，执行所述第二[0021]对多个所述标志对应的字段数据和/或多个所述标志对应的所述数据库表创建批[0023]所述Flink定期获取所述数据存储规则，然后使用最新的所述数据存储规则更新本地保存的所述数据存储规则。[0027]执行所述第四SQL语句从所述数据库中查询所述基础字段和/或所述自定义字段处理器及存储在所述存储器上并可在所述处理器上运行的基于Flink的业务数据监控程机程序，所述计算机程序被处理器执行时实现如上文所述的基于Flink的业务数据监控方6以及数据解析与展示，数据定义支持APP灵活定义埋点字段，经APP中的SDK生成日志记录7行关联配置，从而支持处理不同的业务埋点的字段差异，将N个埋点对象关联成一张结构与ClickHouse表之间的关系采用人工配置进行管理，与ClickHouse表关联的n个埋点都将8[0071]埋点日志记录的字段需要和对应的数据库表字段一一对应，后续flink需要根据9[0073]步骤205、为从所述标识对应的所述数据库中查询所述标识对应的所述基础字段[0074]为每个埋点的日志记录编写一个数据库查询的SQL语句，后续查询该埋点的日志[0076]配置完埋点的日志记录的数据存储规则后，需要把数据存储规则下发给Flink集[0081]步骤301、根据所述数据存储规则中的所述第一业务数据的标识对所述第一业务[0082]SLS的每个存储数据的表叫LogStore，Flink任务采用Source从SLS上进行数据消务数据中获取所述基础字段和/或所述自定义[0084]根据获取的日志记录的标识(如商品浏览日志A)，获取该标识对应的基础字段和[0088]日志记录数据中可能包含除标识对应的字段外其他数据，Flink只会获取标识对所述第二SQL语句把所述字段数据保存到所述标识对应的数据[0092]Flink根据日志记录字段的数据内容、标识对应的数据库表、对应的数据库表字[0094]由于ClickHouse缺少并发性，本发明Sink中根据Section配置的字段与表批量拼记录中需要保存到数据库的字段内容。把多条日志记录的字段内容构造到1条SQL语句中，识为商品浏览日志A)的日志记录数据查询对应[0103]步骤403、执行所述第四SQL语句从所述数据库中查询所述基础字段和/或所述自象关联成一张结构表，将埋点字段与结构表的字段进行一一对应；并通过日志服务器、用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口[0118]Flink从日志服务器中获取所述第一业务数据，根据所述数据存储规则对所述第[0122]建立所述第一业务数据的所述标识与数据库表关联关系，N(N大于等于1)个所述第一业务数据的所述标识与1张所述数据库表[0123]根据所述基础字段和/或所述自定义字段，创建所述标识对应的所述数据库表的[0126]为从所述标识对应的所述数据库中查询所述标识对应的所述基础字段和/或所述[0128]根据所述数据存储规则中的所述第一业务数据的标识对所述第一业务数据进行[0129]根据所述标志对应的所述基础字段和/或所述自定义字段从所述第四业务数据中获取所述基础字段和/或所述自定义字段对[0130]根据所述字段数据和所述标识对应的数据库表创建第二SQL语句，执行所述第二[0132]对多个所述标志对应的字段数据和/或多个所述标志对应的所述数据库表创建批[0134]所述Flink定期获取所述数据存储规则，然后使用最新的所述数据存储规则更新本地保存的所述数据存储规则。[0138]执行所述第四SQL语句从所述数据库中查询所述基础字段和/或所述自定义字段象关联成一张结构表，将埋点字段与结构表的字段进行一一对应；并通过日志服务器、[0142]Flink从日志服务器中获取所述第一业务数据，根据所述数据存储规则对所述第[0146]建立所述第一业务数据的所述标识与数据库表关联关系，N(N大于等于1)个所述第一业务数据的所述标识与1张所述数据库表[0147]根据所述基础字段和/或所述自定义字段，创建所述标识对应的所述数据库表的[0150]为从所述标识对应的所述数据库中查询所述标识对应的所述基础字段和/或所述[0152]根据所述数据存储规则中的所述第一业务数据的标识对所述第一业务数据进行[0153]根据所述标志对应的所述基础字段和/或所述自定义字段从所述第四业务数据中获取所述基础字段和/或所述自定义字段对[0154]根据所述字段数据和所述标识对应的数据库表创建第二SQL语句，执行所述第二[0156]对多个所述标志对应的字段数据和/或多个所述标志对应的所述数据库表创建批[0158]所述Flink定期获取所述数据存储规则，然后使用最新的所述数据存储规则更新本地保存的所述数据存储规则。[0162]执行所