CN114896121B 分布式处理系统的监控方法及装置 （杭州数梦工场科技有限公司）

本说明书提供一种分布式处理系统的监控的数据处理速率和/或其上游算子，确定所述算2根据第一算子和/或第二算子对应的各个算子实例所分别对应的数据处理速率之间的其中，所述根据第一算子和/或第二算子对应的各个算子实例所分别对应的数据处理计算所述第二算子对应的各个算子实例所分别对应的第一数据生产速率中的任意两在存在第一误差值达到第一预设值的情况下，确定所述第一算所述第一算子对应的上游算子生产的数据分配在所有第一误差值均未达到第一预设值的情况下，确定所述其中，所述响应于所述算子的任意工作状态指示所述算子在所述第一算子的第一工作状态指示所述第一算子对应的上游算子生产的数据分配获取所述第二算子对应的出端缓冲区所对应的扩容速率；其中，在存在第一误差值达到第一预设值，且所述扩容速率达到定所述第一算子的第一工作状态指示所述第一算子对应的上游算子生产的数据分配不均在所述各个第三算子分别对应的第一工作状态均指示上游算子生产的数据分配不均3确定所述其它下游算子对应的数据消费速率与所述源算子对应的第一数据生产速率在所述各个第三算子分别对应的第一工作状态均指示上游算子生产的数据分配不均匀的确定所述其它下游算子对应的数据消费速率与所述源算子对应的第一数据生产速率第一通道重分配操作指示控制所述其它下游算子消费所述第一下游算子对应的入端缓冲获取所述其它下游算子对应的数据消费速率和所述第一下游算子对应的数据消费速在所有第三算子的第一工作状态均指示上游算子生产的数应的算子实例中的第一工作状态指示上游算子生产数据分配不均匀的述数据消费速率表示算子消费上游算子产生所述根据第一算子和/或第二算子对应的各个算子实例所分别对应的数据处理速率之计算第一算子对应的各个数据消费速率中的任意两个数据消费速率之间的第三误差根据所述第三误差值，确定所述第一算子对应的各个算子实例分4所述响应于所述算子的任意工作状态指示所述算子存在异常，进行相应的告警操作，在所述算子实例的第二工作状态指示数据消费能力异常的情况下确定所述目标任务管理器所包括的除所述算子实例以外的所有计算第二工作状态指示数据消费能力异常的第一算子实例的数目与第一算子实例的在异常第一算子实例比例达到第一预设比例的情况下，输出目在异常第一算子实例比例未达到第一预设比例的情况下，输出在所述算子实例的第二工作状态指示数据消费能力异常的情况下获取在设定时间获取到所述算子实例对应的所有数据处理速率，并速率处理模块，用于根据第一算子和/或第二算子对应的各个算子实例所分别对应的5所述速率处理模块，还用于计算所述第二算子对应的各个算子实例所分一算子的第一工作状态指示所述第一算子对应的上游算子生产的告警模块，用于响应于所述算子的任意工作状态指示所述算子所述告警模块，还用于在所述第一算子的第一工作状态指示所述第一6[0008]根据所述算子和/或其上游算子对应的数据处理速率，确定所述算子的至少一个[0012]根据第一算子和/或第二算子对应的各个算子实例所分别对应的数据处理速率之[0015]所述根据第一算子和/或第二算子对应的各个算子实例所分别对应的数据处理速7[0016]计算所述第二算子对应的各个算子实例所分别对应的第一数据生产速率中的任状态指示所述第一算子对应的上游算子生产的数据[0023]在存在第一误差值达到第一预设值，且所述扩容速率达到第一预设速率的情况[0025]在所述第一算子的第一工作状态指示所述第一算子对应的上游算子生产的数据[0027]在所述第一算子的第一工作状态指示所述第一算子对应的上游算子生产的数据[0029]在所述各个第三算子分别对应的第一工作状态均指示上游算子生产的数据分配[0033]确定所述其它下游算子对应的数据消费速率与所述源算子对应的第一数据生产[0036]确定所述其它下游算子对应的数据消费速率与所述源算子对应的第一数据生产8所述第一通道重分配操作指示控制所述其它下游算子消费所述第一下游算子对应的入端[0039]获取所述其它下游算子对应的数据消费速率和所述第一下游算子对应的数据消[0042]在所有第三算子的第一工作状态均指示上游算子生产的子对应的算子实例中的第一工作状态指示上游算子生产数据分配不均匀的算子[0048]所述根据第一算子和/或第二算子对应的各个算子实例所分别对应的数据处理速[0049]计算第一算子对应的各个数据消费速率中的任意两个数据消费速率之间的第三9[0057]计算第二工作状态指示数据消费能力异常的第一算子实例的数目与第一算子实[0065]在所述缓冲区的扩容速率达到第二预设速率的情况下，控制所述缓冲区停止扩[0068]若所述所有数据处理速率未达到所述历史平均处理速率，则输出慢算子告警信[0076]根据第一算子和/或第二算子对应的各个算子实例所分别对应的数据处理速率之[0080]计算所述第二算子对应的各个算子实例所分别对应的第一数据生产速率中的任状态指示所述第一算子对应的上游算子生产的数据[0087]在存在第一误差值达到第一预设值，且所述扩容速率达到第一预设速率的情况[0089]在所述第一算子的第一工作状态指示所述第一算子对应的上游算子生产的数据[0091]在所述第一算子的第一工作状态指示所述第一算子对应的上游算子生产的数据[0093]在所述各个第三算子分别对应的第一工作状态均指示上游算子生产的数据分配[0097]确定所述其它下游算子对应的数据消费速率与所述源算子对应的第一数据生产[0101]在所述各个第三算子分别对应的第一工作状态均指示上游算子生产的数据分配所述第一通道重分配操作指示控制所述其它下游算子消费所述第一下游算子对应的入端[0105]在所述各个第三算子分别对应的第一工作状态均指示上游算子生产的数据分配述正常算子实例为所述第一算子对应的算子实例中的第一工作状态指示上游算子生产数[0112]在所述第一算子的第一工作状态指示所述第一算子对应的上游算子生产的数据[0116]计算第一算子对应的各个数据消费速率中的任意两个数据消费速率之间的第三[0124]计算第二工作状态指示数据消费能力异常的第一算子实例的数目与第一算子实[0132]在所述缓冲区的扩容速率达到第二预设速率的情况下，控制所述缓冲区停止扩[0135]若所述所有数据处理速率未达到所述历史平均处理速率，则输出慢算子告警信一方面以及第一方面各种可能的设计所述的分布式处理系如上第一方面以及第一方面各种可能的设计所述的分布式处理[0143]图1是本说明书根据一示例性实施例示出的一种分布式处理系统的监控方法的流[0147]图5是本说明书根据一示例性实施例示出的又一种分布式处理系统的监控方法的[0149]图7是本说明书根据一示例性实施例示出的再一种分布式处理系统的监控方法的[0150]图8是本说明书实施例分布式处理系统的监控装置所在电子设备的一种硬件结构[0151]图9是本说明书根据一示例性实施例示出的一种分布式处理系统的监控装置的框指并包含一个或多个相关联的列出项目的任何或所为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或[0162]可选的，算子对应的数据处理速率可以由安装在该算子对应的数据消费速率为5m/s，则算子D对应的数据消费速率包括算子实例d1对应的数据消费速率(即3m/s)和算子实例d2对应的个算子实例2之间通过一个通道连接，该算子实例2消费存放该算子实例1生产的数据的入[0165]具体的，Flink作业架构包括三部分：作业Client、FlinkJobmanager、FlinkTaskManager(任务管理器)，作业经由Client和Jobmanager分三次解析为streamgraph、[0166]具体的，上述描述的作业执行流程，可以确定：1)作业分配到的taskmanager的调度到的slot的标识，算子的并发度，算子之间的通道数据等；4)每个算子对应的[0167]可选的，上下游算子的并发度可以是不同的，每个算子可以被调度到至少一个下游算子的一个线程发送数据，也即上游算子共有10个算子实例，下游算子有2个算子实数据处理速率和/或位于该算子的上游算子锁对应的数据处理速度确定该算子在各个维度示消费维度。相应的，算子的工作状态包括算子的第一工作状态和/或算子的第二工作状子对应的各个算子实例所分别对应的数据处理速率之间的误差值确定第一算子的至少一[0182]具体的，当工作状态包括第一工作状态时，根据第一算子的上游算子(即第二算子)对应的算子实例所分别对应的数据处理速率之间的误差值确定第一算子的第一工作状率和/或第一数据生产速率，数据消费速率表示算子消费其对应的上游算子所生产的数据第一数据生产速率确定算子生产和/或消费数据是否异常，从而确定算子在至少一个维度[0190]步骤502、计算第一算子的第二算子对应的各个算子实例所分别对应的第一数据第一算子的上游算子作为第二算子。获取该第二算子对应的各个算子实例(即第二算子实的第一工作状态指示第一算子的上游算子生产的[0202]在该算子实例对应的各个第二算子实例之间的第一误差值达到第一预设值的情定第一算子的第一工作状态指示第一算子对应的上游算子生产的数二算子实例对应的出端缓冲区所对应的扩容速率为(200MB-10该第一算子对应的第一工作状态指示上游算子生产的据上述确定第一算子的第一工作状态的过程确定该算子明存在第一算子的上游算子实例(即第二算子实例)生产的数据较多，则输出第一告警信[0222]确定其它下游算子对应的数据消费速率与源算子对应的第一数据生产速率之间算子对应的第一数据生产速率之间的差值，并将其作为该其它下游算子对应的第二误差可以根据下游算子的数据消费速率的快慢重新分配通道，也即进行第一通道重分配操作，使得数据消费速率较高的其它下游算子消费第一下游算子对应的[0231]承接上述应用场景，计算算子b1对应的数据消费速率与源算子A对应的第一生产速率之间的差值，即计算算子b1消费分区2中数据的速率与算子A填充分区2的速率之间的准，调整源算子对应的第一数据生产速率，避免整个系统造成反压影响checkpoint、watermark等机制。子实例中的第一工作状态指示上游算子生产数据分配不均匀[0236]具体的，当所有第三算子的第一工作状态均指示上游算子生产的数据分配均匀实例与该异常算子实例对应的上游算子实例，也即生产数据过多的上游算子实例建立通作业是否存在key值数据倾斜或设置不合理的问题，使得运维人员可以尽早解决分布式处例分别对应的第一数据生产速率，确定各个算子实例之间生产数据的能力是否相差过大，[0248]步骤702、计算第一算子对应的各个数据消费速率中的任意两个数据消费速率之[0258]具体的，当第一算子对应的算子实例的第二工作状态指个算子实例所分别对应的数据消费速率，以供该各个算子实例分别对应的数据消费速率，的准确确定。当第一算子对应的算子实例所对应的第二工作状态指示数据消费能力异常[0273]根据第一算子和/或第二算子对应的各个算子实例所分别对应的数据处理速率之[0277]计算第二算子对应的各个算子实例所分别对应的第一数据生产速率中的任意两定第一算子的第一工作状态指示第一算子对应的上游算子生产的数[0286]在第一算子的第一工作状态指示第一算子对应的上游算子生产的数据分配不均[0288]在第一算子的第一工作状态指示第一算子对应的上游算子生产的数据分配不均[0290]在各个第三算子分别对应的第一工作状态均指示上游算子生产的数据分配不均匀的情况下，确定分布式任务对应的源算子所对应的除第一下游算子以外的其它下游算[0294]确定其它下游算子对应的数据消费速率与源算子对应的第一数据生产速率之间[0298]在各个第三算子分别对应的第一工作状态均指示上游算子生产的数据分配不均[0302]在各个第三算子分别对应的第一工作状态均指示上游算子生产的数据分配不均子实例为第一算子对应的算子实例中的第一工作状态指示上游算子生产数据分配均匀的[0309]在第一算子的第一工作状态指示第一算子对应的上游算子生产的数据分配不均[0313]计算第一算子对应的各个数据消费速率中的任意两个数据消费速率之间的第三[0321]计算第二工作状态指示数据消费能力异常的第一算子实例的数目与第一算子实[03