CN119493807A 资产元数据采集方法、装置、电子设备及计算机存储介质 （顺丰科技有限公司）

库语句将第一类型基础表写入至第一基本元信本元信息表和第一业务元信息表合并写入至目2从元数据库中创建数据资产的第一基本元信息表和第一业获取第一类型基础表和第二类型属性表，编写引入所述第一类型对所述第二类型属性表进行格式声明，得到目标属性表，基于所获取所述第二基本元信息表和所述第二业务元信息表的总数接入目标数据仓库的第一类型处理表和第二类型处理表，将所述获取所述第一类型处理表和所述第二类型处理表在所述分布式消息系统中分别对应确定是否存在多集群服务，在确定不存在多集群服务时，基在确定为多集群服务时，获取集群名称，在所述目标数据库语产库中将所述第一类型基础表写入至所述第一基本元信息表，得到所述第二基本元信息获取目标格式，根据所述目标格式对所述第二类型属性将所述第一基本元信息表作为外部维表，根据所述外部维3根据数据表控制逻辑语句对所述第二基本元信息表和所述第二业务元信息表进行软编写所述第二基本元信息表对应的第一字段业务编写所述第二业务元信息表对应的第二字段业务述总数据库语句将所述第一基本元信息表和所述第一业务元信息表合并写入至目标搜索确定是否接收到外部接口发送的修改参数，在确定存在所述基于所述业务接口，通过事务修改方式和所述修改参数对所述创建模块，用于从元数据库中创建数据资产的第一基本元信息表和第一业务元信息编写模块，用于获取第一类型基础表和第二类型属写入模块，用于获取所述第二基本元信息表和所述第二业务元信息表的总数据库语所述第一业务元信息表合并写入至目标搜索引擎的4[0002]当前，大数据平台资产模块对数据仓库元数据进行采集时，是通过消费组件(如canal组件)消费目标数据仓库(HMS，HiveMetaStore)的binlog日志，而后写入到ES[0012]获取所述第一类型处理表和所述第二类型处理表在所述分布式消息系统中分别5句通过预设的引入方式，将所述第一类型基础表在资产库中写入至所述第一基本元信息[0020]根据数据表控制逻辑语句对所述第二基本元信息表和所述第二业务元信息表进6和所述第一业务元信息表合并写入至目标搜索引擎序被处理器执行时实现本申请实施例所提供的任一[0035]在本申请实施例中通过从元数据库中创建数据资产的第一基本元信息表和第一连接和总数据库语句将第一基本元信息表和第一业务元信息表合并写入至目标搜索引擎7信息来源于MySQL的hive元数据库的table_params表，基本元信息和业务元信息对应的8flinkCDC)，根据该目标连接和总数据库语句可以将该第一基本元信息表和第一业务元和第一业务元信息表合并写入至目标搜索引擎的索引中，使得在对资产元数据进行读取[0056]本实施例通过从元数据库中创建数据资产的第一基本元信息表和第一业务元信9[0059]获取所述第一类型处理表和所述第二类型处理表在所述分布式消息系统中分别和第二类型处理表分别写入至kafka消息系统中时，会形成第一类型kafka表和第二类型句通过预设的引入方式，将所述第一类型基础表在资产库中写入至所述第一基本元信息为1，则确定不存在多集群服务；当确定不存在多集群服务时，获取预设的引入方式，如[0073]在本申请一些实施例中，在上述将所述外键信息写入至[0074]根据数据表控制逻辑语句对所述第二基本元信息表和所述第二业务元信息表进以通过该数据表控制逻辑语句对第二基本元信息表和第二业务元信息表中的数据进行逻一基本元信息表和所述第一业务元信息表合并写入至目标搜索引擎的索引中之后，还包[0089]创建模块201，用于从元数据库中创建数据资产的第一基本元信息表和第一业务信息来源于MySQL的hive元数据库的table_params表，基本元信息和业务元信息对应的[0105]写入模块204，用于获取所述第二基本元信息表和所述第二业务元信息表的总数息表和所述第一业务元信息表合并写入至目标搜flinkCDC)，根据该目标连接和总数据库语句可以将该第一基本元信息表和第一业务元和第一业务元信息表合并写入至目标搜索引擎的索引中，使得在对资产元数据进行读取[0118]该电子设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上[0119]处理器601是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的[0120]存储器602可用于存储计算机程序以及模块，处理器601通过运行存储在存储器应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的计算机[0128]以上各个操作的具体实施方式以及对应的有益效果可参见上文对资产元数据采机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算