CN119396382A 可配置的Flink代码的实现方法、装置、设备、介质和产品 （北京京东远升科技有限公司）

开发区科创十一街18号院1号楼12层可配置的Flink代码的实现方法、装置、设本公开提供一种可配置的Flink代码的实现拓扑图进行可视化处理，并发送至前端交互界件配置信息，对拓扑图的指定节点和/或指定边数据处理逻辑对应于组件配置信息中包括的输点对应的源代码输出配置后的Flink代码。通过本公开实施例，实现了Flink代码执行过程的可视化，提高了Flink代码的配置方案的便捷性和2将待配置的Flink代码对应的执行流程图和作业图整对配置后的拓扑图进行遍历至确定所述拓扑图的全部节点被访问2.如权利要求1所述的可配置的Flink代码的实现方法，其特征在于，在将待配置的通过第三方开源算法将所述待配置的Flink代码转化为所将所述待配置的Flink代码部署于支持Flink单机环境的服务器，并调用所述Flink单在获取所述执行流程图和所述作业图后，基于节点的唯一标识根据所述对应关系将所述执行流程图的节点中的上下文信息补充4.如权利要求2所述的可配置的Flink代码的实现方法，其特交互界面获取的针对所述拓扑图的组件配置信息，对所述拓扑图的指定节点和/或指定边5.如权利要求4所述的可配置的Flink代码若判定所述拓扑图的全部节点被访问过，则根据已访问的节6.如权利要求4所述的可配置的Flink代码的实现3若判定所述拓扑图的全部节点未被全部访问过，则若判定所述未被访问的节点不是所述测试组件节点，则将所述7.如权利要求4所述的可配置的Flink代码若判定所述拓扑图的全部节点未被全部访问过，则若判定所述未被访问的节点是所述测试组件节点，则判断所述若判定所述测试组件节点是所述空节点，则在所述空节点的上和所述空节点的下游节点的源代码的注解之间插入一个processFunction，所述processFunction的唯一标识符被配置为包括所述测试组件节点的标识和所述测试组件节将已插入所述processFunction的空节点标记为已访问，并根据已访问的节点对应的8.如权利要求4所述的可配置的Flink代码的实若判定所述拓扑图的全部节点未被全部访问过，则若判定所述未被访问的节点是所述测试组件节点，则判断所述若判定所述测试组件节点不是所述空节点，则在所述测试组件将已嵌入所述代码块的测试组件节点标记为已访问，则根据已4配置模块，设置为响应于所述前端交互界面获取的针对所述拓扑图的组件配置信息，数据处理逻辑对应于所述组件配置信息中包括的输出模块，设置为对配置后的拓扑图进行遍历至确定所述拓扑图耦合到所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1_9任一项所述的可配置的Flin时实现如权利要求1_9中任一项所述的可配置5产品，用于至少在一定程度上克服由于相关技术的限制和缺陷而导致的Flink代码的调试将待配置的Flink代码对应的执行流程图和作业图整合为拓扑图；将所述拓扑图进行可视[0007]在本公开的一种示例性实施例中，在将待配置的Flink代码对应的执行流程图和[0010]将所述待配置的Flink代码部署于支持Flink单机环境的服务器，并调用所述[0011]在本公开的一种示例性实施例中，将待配置的Flink代码对应的执行流程图和作6[0013]根据所述对应关系将所述执行流程图的节点中的上下文配置信息以确定所述配置后的Flink代码的输出数据的属性信息，所述属性信息包括输出的全部节点被访问过为止，并根据已访问的节点对应的源代码输出配置后的Flink代码包的全部节点被访问过为止，并根据已访问的节点对应的源代码输出配置后的Flink代码还的全部节点被访问过为止，并根据已访问的节点对应的源代码输出配置后的Flink代码还注解和所述空节点的下游节点的源代码的注解之间插入一个processFunction，所述processFunction的唯一标识符被配置为包括所述测试组件节点的标识和所述测试组件节7[0029]将已插入所述processFunction的空节点标记为已访问，并根据已访问的节点对的全部节点被访问过为止，并根据已访问的节点对应的源代码输出配置后的Flink代码还[0041]整合模块，设置为将待配置的Flink代码对应的执行流程图和作业图整合为拓扑被处理器执行时实现如上述任意一项所述的可配置的Flink代于，该计算机程序被处理器执行时实现如上述任意一项所述的可配置的Flink代码的实现[0048]本公开实施例，通过将待配置的Flink代码对应的执行流程图和作业图整合为拓8出逻辑，即用户可以通过点击前端交互界面上的拓扑图的特定位置来配置日志打印、[0051]图1示出了可以应用本公开实施例的可配置的Flink代码的实现方案的示例性系[0053]图3是本公开示例性实施例中另一种可配置的Flink代码的实现方案的架构示意[0054]图4是本公开示例性实施例中另一种可配置的Flink代码的实现方案的架构示意[0055]图5是本公开示例性实施例中一种可配置的Flink代码的实现方案中的拓扑配置[0057]图7是本公开示例性实施例中另一种可配置的Flink代码的实现方案的流程示意[0058]图8是本公开示例性实施例中另一种可配置的Flink代码的实现方案的流程示意[0059]图9是本公开示例性实施例中另一种可配置的Flink代码的实现方案的流程示意[0060]图10是本公开示例性实施例中另一种可配置的Flink代码的实现方案的流程示意[0061]图11是本公开示例性实施例中另一种可配置的Flink代码的实现方案的流程示意[0062]图12是本公开示例性实施例中另一种可配置的Flink代码的实现方案的流程示意[0063]图13是本公开示例性实施例中另一种可配置的Flink代码的实现方案的流程示意9[0064]图14是本公开示例性实施例中另一种可配置的Flink代码的实现方案的流程示意[0065]图15是本公开示例性实施例中另一种可配置的Flink代码的实现方案的流程示意以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方[0076]图1示出了可以应用本公开实施例的可配置的Flink代码的实现方案的示例性系[0080]在一些实施例中，本公开实施例所提供的可配置的Flink代码的实现方法一般由据处理逻辑对应于所述组件配置信息中包括的输[0091]在本公开的一种示例性实施例中，配置信息还包括自定义一些MetricsAPI以输[0093]在本公开的一种示例性实施例中，通过用户在前端交互界面对空节点的创建和/扑图的全部节点被访问过为止，并根据已访问的节点对应的源代码输出配置后的Flink代[0096]基于本公开实施例，通过将待配置的Flink代码对应的执行流程图和作业图整合面获取的针对所述拓扑图的组件配置信息，对所述拓扑图的指定节点和/或指定边增加空括的输出逻辑，即用户可以通过点击前端交互界面上的拓扑图的特定位置来配置日志打[0098]在本公开的一种示例性实施例中，在将待配置的Flink代码对应的执行流程图和[0101]将所述待配置的Flink代码部署于支持Flink单机环境的服务器，并调用所述[0102]在本公开的一种示例性实施例中，在将代码地址或已经打包好的Jar包上传至拓[0103]在本公开的一种示例性实施例中，这些标注与执行流程图中的每个节点一一对[0105]在本公开的一种示例性实施例中，将待配置的Flink代码对应的执行流程图和作[0107]根据所述对应关系将所述执行流程图的节点中的上下文唯一标识符(UID)找到对应的执行流程图的配置信息以确定所述配置后的Flink代码的输出数据的属性信息，所述属性信息包括输出[0114]在本公开的一种示例性实施例中，通过空节点实现对拓扑图的配置，尤其是对的全部节点被访问过为止，并根据已访问的节点对应的源代码输出配置后的Flink代码包的全部节点被访问过为止，并根据已访问的节点对应的源代码输出配置后的Flink代码还的全部节点被访问过为止，并根据已访问的节点对应的源代码输出配置后的Flink代码还注解和所述空节点的下游节点的源代码的注解之间插入一个processFunction，所述processFunction的唯一标识符被配置为包括所述测试组件节点的标识和所述测试组件节[0127]将已插入所述processFunction的空节点标记为已访问，并根据已访问的节点对的全部节点被访问过为止，并根据已访问的节点对应的源代码输出配置后的Flink代码还使用。可以在拓扑图点击配置的测试模块观测监控已配置的代码[0152]在本公开的一种示例性实施例中，拓扑解析模块负责实现jar包源码至用户可配[0153]数据开发人员在将代码地址或已经打包好的Jar包上传至拓扑解析模块后，首先[0156]在本公开的一种示例性实施例中，源码602中的源代码与标注之间的对应关系包[0174]组件配置模块负责将Flink开发人员配置所需的测试组件集中存储，以便在拓扑[0179]用户配置好的输出信息将存储在组件配置模块的数据库中，支持更新和删除操[0185]如图15所示，代码解析模块负责将组件配置模块传递的拓扑图重新解析成新的[0213]整合模块1602，设置为将待配置的Flink代码对应的执行流程图和作业图整合为空节点的数据处理逻辑对应于所述组件配置信息中[0220]将所述待配置的Flink代码部署于支持Flink单机环境的服务器，并调用所述[0223]根据所述对应关系将所述执行流程图的节点中的上下文配置信息以确定所述配置后的Flink代码的输出数据的属性信息，所述属性信息包括输出注解和所述空节点的下游节点的源代码的注解之间插入一个processFunction，所述processFunction的唯一标识符被配置为包括所述测试组件节点的标识和所述测试组件节[0239]将已插入所述processFunction的空节点标记为已访问，并根据已访问的节点对块或者单元的特征和功能可以进一步划分为由多个模块或者[0258]存储单元1720还可以包括具有一组(至少一个)程序模块17205的程序/实用工具得该电子设备1700能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制述程序代码用于使所述终端设备执行本说明书上述示例性方法部分中描述的根据本公开[0263]根据本公开的实施方式的用于实现上述方法的程序产品可以采用便携式紧凑盘[0268]此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识