CN115168457B 一种基于元数据管理的可视化处理方法和可视化处理装置 （安徽中烟工业有限责任公司）

US2009138279A1,2009.05.28一种基于元数据管理的可视化处理方法和本申请提供了一种基于元数据管理的可视有关系的目标任务串联起来形成对应的数据和2接收用户设置的数据处理流程；其中，所述数据处理流程中包括针对于所述数据处理流程中的每个目标任务，基于该目标任基于所述数据处理流程中的每个目标任务的执行顺序，以及每个目所述基于该目标任务的任务类型和初始配置信息，对该目标任务进行元数据关系注根据该目标任务的任务类型，在至少一个初始配置信息中获取至少一个目标配置信针对于每个目标配置信息，根据该目标配置信息所属的数将所述目标配置信息以及该目标任务对应的拓扑节点添加到所述可据所述目标配置信息在所述元数据关系图中与该目标任务对应的拓扑节点之间的连接关所述基于所述数据处理流程中的每个目标任务的执行顺序，以及针对于每个目标任务，基于该目标任务的执行顺序，从所述数据处理将该目标任务的元数据关系图与所述相邻任务的元数据关系图针对于每个目标任务，基于该目标任务的执行情况，在所述元数务对应的拓扑节点所处的位置上渲染所述执针对于所述数据处理流程中的每个目标任务，按照预先设定3利用每个执行节点的可用资源值对每个执行节针对于每个目标任务，判断该目标任务对应的目标执行节点的任若是，则确定该目标任务出现运行异常，并基于所述负载策按照预先设定的通知方式，向预先设定的被通知用户发送该目标任务的异常运行信元数据关系图确定模块，用于针对于所述数据处理流程元数据溯源图确定模块，用于基于所述数据处理流程中的每个目标任务的执行顺序，4所述元数据关系图确定模块用于基于该目标任务的任务类型和标任务进行元数据关系注册，以在可视化界面中生成该目标任务对应的元数据关系图时，根据该目标任务的任务类型，在至少一个初始配置信息中获取至少一个目标配置信针对于每个目标配置信息，根据该目标配置信息所属的数将所述目标配置信息以及该目标任务对应的拓扑节点添加到所述可据所述目标配置信息在所述元数据关系图中与该目标任务对应的拓扑节点之间的连接关所述元数据溯源图确定模块用于基于所述数据处理流程中的每个目标任务的执行顺针对于每个目标任务，基于该目标任务的执行顺序，从所述数据处理将该目标任务的元数据关系图与所述相邻任务的元数据关系图8.一种计算机可读存储介质，其特征在于，所56[0013]将所述目标配置信息以及该目标任务对应的拓扑节点添并根据所述目标配置信息在所述元数据关系图中与该目标任务对应的拓扑节点之间的连标任务对应的拓扑节点所处的位置上渲染所述执行情况对应的节点中并发任务实例数量最少的执行节点作为所述78[0052]图3为本申请实施例所提供的一种基于元数据管理的可视化处理装置的结构示意SQL语句对数据的处理存在不能实现可视化的效果、不能查看数据的血缘关系的问题。因9度引擎，主要包含xxl_job、Ooize以及Apache的dolphinscheduler。ApacheDolphinScheduler是一个分布式易扩展的可视化DAG工作流任务调度开源系统。解决数据析处理而设计的一款可视化分布式调度系。在数据处理任务方面不管是大数据的MR、据处理流程中的每个目标任务进行元数据关系注册，对整个流程进行数据血缘关系分析，绘制作业DAG(DirectedAcyclicGraph)工作流的方式，将不同系统的数据任务进行整合理，故DIPE强大的多源数据融合计算处理的能力也是非常强大。DIPE引擎强大的扩展性，的任务进行集成和统一管理调度，通过将这些分散的任务以构建作业DAG工作流的方式进[0077]需要说明的是，目标配置信息指的是初始配置信息中的某一个或某几个配置信据处理任务、数据共享任务这三种又是另一类，这一类表达的是一种ETL(Extract_标配置信息在所述元数据关系图中与该目标任务对应的拓扑节点之间的连接关接关系包括目标配置信息与拓扑节点之间的连接线和连接线上据是哪些数据表或哪些数据，经过数据处理后得到的目标数据是什么样的数据表或数据，每个目标配置信息在元数据关系图中与该目标任务对应的拓扑节点之间的连接关系均确定好之后，分别将每个目标配置信息以及该目标任务对应的拓扑节点添加到可视化界面根据该元数据溯源图查看数据处理流程中的数据的血[0087]针对于上述步骤S103，所述基于所述数据处理流程中的每个目标任务的执行顺[0094]本申请设计实现了一种基于元数据管理的可视化处理方资源空闲情况以及插件并发任务实例数进行加权计算，选取最优资源的执行节点进行调每个执行节点的可用资源值，利用每个执行节点的可用资源值对每个执行节点进行排序，并将多个执行节点中可用资源值最高的执行节点作为该目标任务对行节点中并发任务实例数量最少的执行节点作为所述目标对于配置好的每个执行节点，确定该执行节点当前的内存空闲信息以及任务实例空闲信[0125]根据本申请提供的实施例，往往利用调度节点来对执行节点进行选取和任务调时器进行周期性任务调度。本调度组件主从设计的思路是在实施是部署运行多个调度组[0128]需要说明的是，任务执行时间指的是目标任务对应的目标执行节点所执行的时策略为该目标任务重新确定对应的目标执行节点的方法与本申请上述实施例所提供的方运行假死挂起或超出预期的运行时长等，同时解决任务假死造成的监控状态不一致的问指标表示任务启动后在指定的次数内出现异常情况下，会经过指定的异常重试间隔时间[0141]元数据溯源图确定模块303，用于基于所述数据处理流程中的每个目标任务的执[0142]进一步的，所述元数据关系图确定模块302在基于该目标任务的任务类型和初始[0146]将所述目标配置信息以及该目标任务对应的拓扑节点添并根据所述目标配置信息在所述元数据关系图中与该目标任务对应的拓扑节点之间的连[0147]进一步的，所述元数据溯源图确定模块303在用于所述基于所述数据处理流程中标任务对应的拓扑节点所处的位置上渲染所述执行情况对应的节点中并发任务实例数量最少的执行节点作为所述[0175]所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运理器410执行时，可以执行如上述图1以及图2所示