CN119397073A 一种可视化数据平台全链路数据流转溯源方法、系统、设备及介质 （朗坤智慧科技股份有限公司）

一种可视化数据平台全链路数据流转溯源本发明涉及大数据治理与数据分析技术领通过Kafka异步消息将数据流转关系写入到图数据库Neo4j中，用户通过可视化界面进行数据溯2监听作业调度流程提交事件，解析各个作业节点的输入输出配置对节点脚本和代码进行静态分析，保存解析结果到溯源数据库中，为每个数据记录生成唯一标识符，并在数据流转过程通过Kafka异步消息将数据流转关系写入到图数据库Neo4j中，建立数据将捕获到的元数据存储在数据库中，利用SQL数据库存储作业元数据表解析作业配置,输出数据源为：;V={n1,n2,…,nk}；;ii的;;运行时的动态数据操作和时间依赖的节点操作包括，假设在时间运行的操作节点为ni(t)，其输入输出数据源分别为Din(nz(t))和Dour(n;(t))；;3;转模型G(V,E)结合，形成更新后的数据流;;4.如权利要求1或2所述的可视化数据平台全链路数据流转节点u；;若u未被访问或发现了一条代价更低的路径，则更新u的代价d(u)，并将u放入优先队,;;4,,,。,;,设图G=(V,E)由节点集合V和边集合E组成，Neo4j图的节点结构的流转历史公式表,,5Kafka消息队列与Neo4j图数据库的集成实现数据流转信息的异步写入与数据流转模型模块（200解析每个作业节点的输入输出配置信息，构建数据流转模集成与可视化查询模块（400通过Kafka消息队列，将数据流转信息异步发送到图数被处理器执行时实现可视化数据平台全链路数据流转溯源6[0012]将捕获到的元数据存储在数据库中，利用SQL数据库存储作业元数据表解析作业7i[0018]运行时的动态数据操作和时间依赖的节点操作包括，假设在时间运行的操作节点为ni(t)，其输入输出数据源分别为Dn(nz(t))和Dour(n;(t))；据流转模型G(V,E)结合，形成更新后的[0023]表示从起点节点n1到终点节点m的完整数据流转路径，包含静态和动态的所有8邻居节点u；d(u)=d(v)+w(em)[0031]若u未被访问或发现了一条代价更低的路径，则更新u的代价d(u)，并将u放入优PQ-(u,d(u))[0032]从优先队列中选择下一个节点，按照优先队列PQ中的节点代价从小到大选择下,whered(u)≤d(u2)≤…≤d(u),,,其中，Mi表示队列中的第i条消息；消息按照时间顺序进行排列，即对于任意i<j,有Ti<Tj。9,,[0043]设图G=(V,E)由节点集合V和边集合E组成，Neo4j图的节点结构的流转历史公;;述处理器执行所述计算机程序时实现本发明中任一项所述的方[0054]图1为本发明第一个实施例提供的一种可视化数据平台全链路数据流转溯源方法[0055]图2为本发明第一个实施例提供的一种可视化数据平台全链路数据流转溯源系统,i[0068]运行时的动态数据操作和时间依赖的节点操作包括，假设在时间运行的操作节点为ni(t)，其输入输出数据源分别为Dn(nz(t))和Dour(n;(t))。[0071]更进一步的，结合静态与动态模型，进行静态模型更新，将动态数据流转结果Drow(t)与静态数据流转模型G(V,E)结合，形成更新后的数据流转图G'(V',E')公式表示为：[0073]表示从起点节点n1到终点节点m的完整数据流转路径，包含静态和动态的所有涉及的路径进行静态分析和罗列，实现对数据流转的客观反映。此步骤也是在DataTransfProxyLog插件中进行配置后实现对静态资源的自动解析，通常针对SQL开发类重w(e)对节点进行排序；将起始节点s放入队列Q中，初始化其代价d(s)=0。邻居节点u。,PQ-(u,d(u)),whered(u)≤d(u2)≤…≤d(u),助用户更好地理解问题原因并制定相应的解决方,,i<j,有Ti<Tj。,,态会随着消息的生成和消费动态变化；在时间t时刻，Kafka队列的状态s(t)可以表示为当,,其中，P(t)表示在时间t时刻生成的消息集合；c(t)表示在时间t时刻被消费的消,其中，P(t)表示在时间t时刻生成的消息集合。C(t)表示在时间t时刻被消费的(t)表示在时间t时刻单位时间内生成的消息数，消息消费率u(t)表,,其中，L(t)表示当前队列中等待被消费的消息数量。消息流稳定性，为了保证Kafka系统的稳定运行，消息的生成率(t)和消费率u(t)需要保持平衡；如果系统要保持稳[0098]更进一步的，每个数据记录IDi对应于Neo4j中的一个节点Ni，,[0101]更进一步的，设图G=(V,E)由节点集合V和边集合E组成，Neo4j图的节,队列状态以及消息流的描述通过这些数学表示，可以从理论上分析和优化Kafka系统的性[0120]Kafka与Neo4j集成及可视化展示：通过Kafka消息队列将数据流转信息异步