CN114238416B 一种生成FlinkSQL字段血缘的方法及系统 （四川新网银行股份有限公司）

由贸易试验区成都高新区吉泰三路8本发明公开了一种生成FlinkSQL字段血缘依赖的自动拉起和针对敏感数据的字段级别的2S4：针对每一个过滤条件列名，将过滤条件列名和S7：对所述多个过滤选择字段数组采用反向广度优4.根据权利要求1所述的一种生成FlinkSQL字段血缘的方法，其特征在于，所述S4之针对每一个表名，将表名对应的链表数组和过滤选择字段数组合并为FlinkTable对5.根据权利要求4所述的一种生成FlinkSQL字段血缘的方法，其特征在于，所述S5之判断每一个FlinkTable对象中的链表数组是否3S6.5：定义局部ListString数组；S6.6：依次遍历S6.4的ListString数组，判断对所述多个过滤选择字段数组采用反向广度优先的方法获取过滤条件列名与表名的映射8.根据权利要求1所述的一种生成FlinkSQL字段血缘的方法，其特征在于，所述S8之数据添加模块，用于将列名和列名与表名的映射关系存入一个链数据处理模块，用于采用向上递归合并算法对多个链表数组4合并求差模块，用于将更新后的全局链表数组和全局过滤选择字5都建立或探索符合自己业务场景下的实时数据仓库。随着对实时的要求性越来越高，ApacheFlink越来越成为很多企业建设实时数据仓库的首选；其中针对FlinkSQL的使用[0003]目前，针对基于FlinkSQL产生的元数据的管理方法不能生成FlinkSQL字段血6[0017]本发明针对FlinkSQL中列名、表名的特有数据结构和存储方式，自定义针对7择字段数组对链表数组中的Key值的影响关系，以及链表数组中Key值对value值的影响关8据结构和算法实现了FlinkSQL中的字段血缘关系生成，从而实现底层源表字段和最终目[0063]图2为本发明实施例提供的采用向上递归合并算法获取列名字段对应关系的方法[0064]图3为本发明实施例提供的采用反向广度优先的方式得到过滤字段对应关系的方[0067]目前，针对基于FlinkSQL产生的元数据的管理方法不能生成FlinkSQL字段血[0070]以下所述的链表数组和过滤选择字段数组均分别用List<Map<String,Set<String>>>和Map<String,F9列名％表名”的形式，将过滤条件列名与表名的映射关系作为key值添加到Map<String,FlinkTable>；如果SQL语句中，过滤条件语句的“＝”右边是SQL子查询语句，则将Map<String,FlinkTable>的value[0074]步骤1.4：将表名对应的List<Map<String,Set<String>>>和Map<String,FlinkTable>合并为FlinkTable对象，多个表名对应多个FlinkTable对象；将所述多个所有表的字段对应关系结果；定义全局过滤选择字段数组Set<String>对象用于存放所有[0077]以下所述的全局链表数组和全局过滤选择字段数组分别用Map<String,Set<[0079]步骤2.3：取出步骤2.2中FlinkTable对象中的字段列名映射列表List<Map<[0089]步骤2.52：迭代遍历步骤2.51中反序后的数组，取出其中的Map<String,Set<[0096]步骤2.8：合并步骤2.7中的Map<String,Set<String>>的对象和Set<String>对的结果将是只存在于Set<String>里值是一个集合表示了对应目标表的字段合集；一个包含所有过滤选择字段的集合Set<