CN113064744B 任务处理方法、装置、计算机可读介质及电子设备 （腾讯科技（深圳）有限公司）

本申请的实施例提供了一种应用于多节点所述第一任务的标识信息是由第二任务处理节点在检测到所述第一任务处理节点宕机后获取由该任务处理节点处理的任务能够及时恢复执2从消息队列中获取待消费任务的标识信息，所述消息队列中包含有发生理节点在检测到所述第一任务处理节点宕机后获取并投放至所述消息根据获取到的待消费任务的标识信息，处理所述待消费任务，所少一个网络指令，所述任务编排管理框架用于依次执行所述待消费任务中包含的网络指通过如下方式依次执行所述待消费任务中包含的网络指令：依次将所若对所述待消费任务中包含的网络指令执行失败，则对所述若检测到所述第一任务处理节点发生宕机，则与所述多处理节点通过竞争的方式获取所述第一任务处理节点未处理完成的第一任务的标识信息；若所述指定任务处理节点是所述多节点系统中持续正常工作时间最长的任务处理节若所述指定任务处理节点是所述多节点系统中持续正常工作时间最长的任务处理节对所述注册中心中维护的心跳连接的状态进行检测，以检测所述3从所述多节点系统对应的缓存中加载所述待消费任务的标识信息所对应的任务实体从所述多节点系统对应的缓存中加载所述待消费任务的标识信息所对应的任务实体获取单元，用于从消息队列中获取待消费任务的标识信息，所是由第二任务处理节点在检测到所述第一任务处理节点宕机后获取并投放至所述消息队通过如下方式依次执行所述待消费任务中包含的网络指令：依次将所若对所述待消费任务中包含的网络指令执行失败，则对所述理器执行时实现如权利要求1至9中任一项所述的应用于多节点系统的任务存储装置，用于存储一个或多个程序，当所述一个或多个程序被45[0005]根据本申请实施例的一个方面，提供了一种应用于多节[0006]根据本申请实施例的一个方面，提供了一种应用于多节任务的标识信息是由第二任务处理节点在检测到所述第一任务处理节点宕机后获取并投6之后获取所述多节点系统中未处理完成的第二任所述缓存中的任务实体二进制数据持久化到7[0020]在本申请的一些实施例所提供的技术方案中，当一个任其他任务处理节点能够将该任务处理节点未处理完成的任务的标识信息重新投递至消息[0024]图2示出了根据本申请的一个实施例的应用于多节点系统的任务处理方法的流程[0025]图3示出了根据本申请的一个实施例的节点上网络控制器与任务编排管理框架的[0026]图4示出了根据本申请的一个实施例的图2中步骤220之前步骤以及步骤220的细[0027]图5示出了根据本申请的一个实施例的某个节点发生宕机时多节点系统的处理流[0028]图6示出了根据本申请的一个实施例的根据获取到的待消费任务的标识信息处理[0029]图7示出了根据本申请的一个实施例的节点全部宕机时多节点系统的处理流程示[0030]图8示出了根据本申请的一个实施例的基于任务编排管理框架的任务执行流程示[0031]图9示出了根据本申请的一个实施例的应用于多节点系统的任务处理装置的框8本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，[0035]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对[0037]在网络控制领域中，对网络控制器的指令进行编排是网络控制领域的重要任[0046]本申请实施例提供的一种应用于多节点系统的任务处理方法在用于对网络指令9[0047]图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。下面统110包括的每一个服务器均为该多节点系统110中的一个任务处理节点。网络104用以在[0050]多节点系统110中的任务处理节点通过处理任务来编排该任务包含的一组网络指例所提供的应用于多节点系统的任务处理的方[0053]本申请实施例提供的应用于多节点系统的任务处理方法，既可以应用于云计算上可以部署PaaS(PlatformasaService，平台即服务)层，PaaS层之上再部署SaaS[0057]云存储是在云计算概念上延伸和发展出来的一个新的概念，分布式云存储系统中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口配物理存储空间，该物理存储空间可能是某个存储设备或者某几个存储设备的磁盘组成。象的容量估量(该估量往往相对于实际要存储的对象的容量有很大余量)和独立冗余磁盘应用服务给业务参与方进行使用。[0065]图2示出了根据本申请的一个实施例的应用于多节点系统的任务处理方法的流程[0067]在本申请实施例用于网络指令编排的场景时，任务处理节点可以采用图3所示的RPCClient(RemoteProcedureCallClient，远程过程调用客户端)以及用于生成网络指框架可以用于执行本申请实施例提供的应用于多节点系统的任务处理方法；RPCClient用于将来自任务编排管理框架的网络指令发送至与该网络指令相对应的网络设备。在下文[0068]多节点系统中每一任务处理节点都可以检测其他任务处理节点的工作状态，图2[0070]图4示出了根据本申请的一个实施例的图2中步骤220之前步骤以及步骤220的细标识信息是由第二任务处理节点在检测到第一任务处理节点宕机后获取并投放至消息队[0088]各任务处理节点通过竞争的方式获取第一任务的标识信息是指按照一定指标对争规则还可以为最先获取到第一任务的标识信息的任务处理节点是在竞争中取得成功的[0092]图5示出了根据本申请的一个实施例的某个节点发生宕机时多节点系统的处理流该任务列表中未被节点03处理完成的任务的标识信息推[0101]多节点系统中任何未发生宕机的任务处理节点都能够从消息队列中获取待消费节点实现对第一任务的处理；在其他任务处理节点获取到第一任务的标识信息的情况下，[0104]图6示出了根据本申请的一个实施例的根据获取到的待消费任务的标识信息处理[0105]步骤610，从多节点系统对应的缓存中加载待消费任务的标识信息所对应的任务是在分配任务时将其刷入缓存中的，通过将任务以任务实体二进制数据的方式进行存储，[0111]从多节点系统对应的缓存中加载待消费任务的标识信息所对应的任务实体二进的一个网络指令执行失败之后，在执行该网络指令之前执行过的网络指令需要被重新执次将待消费任务中包含的网络指令发送至与网在等待预定时间之后获取多节点系统中未处理完成的[0146]图7示出了根据本申请的一个实施例的节点全部宕机时多节点系统的处理流程示含有第三任务的标识信息，第三任务的标识信息是由任务投放客户端投放至消息队列中[0156]任务投放客户端负责向任务编排管理框架发送正常情况下所需要处理的任务的[0158]图8示出了根据本申请的一个实施例的基于任务编排管理框架的任务执行流程示[0164](5)任务编排管理框架：网络指令的具体执行者，负责将执行完任务中的一组指任务编排管理框架的状态，以此来保证其他框架/节点宕机时，可以及时发现并作故障迁获取到该任务ID的节点在获取到该任务ID之后立[0182]图9示出了根据本申请的一个实施例的应用于多节点系统的任务处理装置的框[0183]参照图9所示，根据本申请的一个实施例的应用于多节点系统的任务处理装置节点在检测到所述第一任务处理节点宕机后获取并投放至所述消息队列中的；处理单元之后获取所述多节点系统中未处理完成的第二任令，所述任务实体二进制数据包括与网络指令对应的原始二进制数据；处理单元930配置所述缓存中的任务实体二进制数据持久化到端，处理单元930配置为：依次将所述待消费任务中的网络指令发送至所述远程调用客户[0198]如图10所示，计算机系统1000包括中央处理单元(CentralProcessingUnit，储部分1008加载到随机访问存储器(RandomAccessMemory，RAM)1003中的程序而执行各器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN(LocalArea因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质从其上读出的计算机程序根据需要被安装入存储部分1008。或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以块或者单元的特征和功能可以进一步划分为由多个模块或者单途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域