CN119396919A 一种自动化元数据管理方法、系统、设备及存储介质 （朗坤智慧科技股份有限公司）

数据开发组件和将数据自动采集数据仓库并进2采集任务发布后生成采集任务的定时任务，到达指定时间采集任将所有元数据对象的id作为关键字存储到元数据集合元数据采集任务根据元模型从databaseMetaData对象中获取元模型对应的元数据信若当前元数据对象与元数据集合map中的元数据对象不相等，则把元数据库中的元数将提供的输出组件将采集到的结果自动写入到指定数据仓库进行清洗和转换并通过输出组件自动写入到DW根据用户数据进行初步聚合和计算并写入到指定数据仓库3对DWS层的数据再次进行高纬度的聚合和运算并写入到AW在数据仓库中进行数据开发的过程中，建立元数据表及字段之间的血缘关系，使用,通过历史SQL查询和日志数据中提取已知依赖关系作为训练数据，计算输出并使用交,,,将LSTM模型输出门的值作为输入值预测数据实体之间的依赖关系，构建,4在得到相似性S后，将LSTM模型输出门的值作为输入值进行第二阶段的时间动态建模,被处理器执行时实现所述的一种自动化元数据管理5[0006]手工操作容易出现漏报或误报，导致监管部门无法准确掌握机组的真实运行情6[0017]在采集任务自行启动时，查询本次采集任务前采集到的元数据并获取元数据对[0019]元数据采集任务根据元模型从databaseMetaData对象中获取元模型对应的元数[0025]若当前元数据对象与元数据集合map中的元数据对象不相等，则把元数据库中的将提供的输出组件将采集到的结果自动写入到指定数据仓库进行清洗和转换并通过输出组件自动写入到DW根据用户数据进行初步聚合和计算并写入到指定数据仓库对DWS层的数据再次进行高纬度的聚合和运算并写入到AW7,[0032]通过历史SQL查询和日志数据中提取已知依赖关系作为训练数据，计算输出并使,,,,[0041]在得到相似性S后，将LSTM模型输出门的值作为输入值进行第二阶段的时间动态,8开发与处理效率以及数据血缘关系追踪和异常数据处理等技术问题，通过这些解决方案，构建单元通过分析工具生成数据血缘关系，依赖关系预测单元利用这些信息预测依赖关被处理器执行时实现一种自动化元数据管理系统配置所述的9[0054]图1为本发明一个实施例提供的一种基于模型匹配的自动化元数据管理方法的总[0055]图2为本发明一个实施例提供的一种基于模型匹配的自动化元数据管理方法的元[0056]图3为本发明一个实施例提供的一种基于模型匹配的自动化元数据管理方法的元[0057]图4为本发明一个实施例提供的一种基于模型匹配的自动化元数据管理系统的系[0067]所述元模型的属性包括根据元模型类型对应的特点维护，表的属性包括表空间、数据库地址，用户名和密码传入方法中即可获取到数据库连接connection对象，使用Connect类中提供的getMetaData方法即可获取到databaseMetaData对象，所有元数据记录全部存入Map后获取到元数据集合map：,[0075]元数据采集任务根据元模型从databaseMetaData对象中获取元模型对应的元数集合map中是否包含元IDj：[0077]当map中包含IDi时，则判断元数据Bj和元数据集合map中的元数据对象数据库中的map(IDj)记录为历史版本，新采集到的元数据BY入库作为最新版本，同时版，据再次进行高纬度的聚合和运算并写入到AWS层中，通过系统提供的图表组件自动生成各血缘关系，使用SpringAOP来拦截SQL执行语句，并将拦截的SQL语句推送到Kafka消息队,,,,,,,b.是输出门的偏置向量。,"为第j个元数据的缩放其中，yi为第i个元数据的真实标签，为第i个元数据的预测概率输出，sig为件，根据配置的过滤条件获取需要清洗的数据进行清洗和转换，转换清洗后的数据,[0096]从历史SQL查询和日志数据中提取已知依赖关系作为训练数据，计算输出并使用,,,,[0101]在得到相似性S后，将LSTM模型输出门的值作为输入值进行第二阶段的时间动态,,,[0107]数据采集与适配模块100用于从不同数据源适配和采集元数据，通过配置数据源数据加载单元加载到数据仓库，数据增强单元和特征识别单元在数据处理过程中提供支