CN113742057B 一种任务执行方法和装置 （北京沃东天骏信息技术有限公司）

将任务的输入源数据转化为标准输入序列格式2通过与任务的输入源数据对应的预处理器，将所述任务的输入源数监控表示服务器执行能力的综合指标，以确定可从所述任务所述监控表示服务器执行能力的综合指标，以确定可从任务队列根据每秒查询率和响应时间，对所述服务器的负载能力指标值、3.根据权利要求2或1所述的方法，其特征在在所述拥塞避免阶段，在上一次拉取的任务数的基础上增加预在确定未检索到所述任务的执行成功记录的情况下，基于在所述责任链中执行所述任务的子任务，当所述子任务执行失若所述任务执行成功，则将所述任务的执行成功记录存入所述3预处理模块，用于通过与任务的输入源数据对应的预处理器，将任务保存模块，用于按照所述任务的主题，将所述标准输入序列任务拉取模块，用于监控表示服务器执行能力的综合指标，以确定可从所所述任务拉取模块还用于：监控表示所述服务器执行能力的综合指标根据每秒查询率和响应时间，对所述服务器的负载能力指标值、在所述拥塞避免阶段，在上一次拉取的任务数的基础上增加预在确定未检索到所述任务的执行成功记录的情况下，基于在所述责任链中执行所述任务的子任务，当所述子任务执行失若所述任务执行成功，则将所述任务的执行成功记录存入所述4理器执行时实现如权利要求1-5中任一所5[0002]随着互联网技术的蓬勃发展与广泛普及，多元化数据呈6当有指标值达到对应的阈值时，则由预设的起始值得到所述可从任务队列拉取的任务数7果有所述子任务在重试次数达到所述重试次数上限后仍执行失败，则所述任务执行失败，将执行失败的所述任务重新保存到所述任务队[0026]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加[0035]图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意8[0038]如图1所示，本发明一个实施例的任务执行方法主要包括如下的步骤S101至步骤以任务队列使用Kafka实现为例，不同任务的输入源数据基于统一的规则以消息流的形式[0046]监控表示服务器执行能力的综合指标中的各种指标值是以预设的最大拉取值作为可从任务队列拉取9任务被Reactor线程模型(即基于事件驱动的线程模型)以责任称任务执行模块)。通过批量消息保存模块，基于分布式消息队列保存批量的消息(即任及上游方法的性能(例如上游接口处理能力指标值)、依赖数据库的性能(例如数据库的负载能力指标值)等综合指标，按需从消息队列中拉取消息进行消费；通过批量任务执行模[0056]批量消息保存模块主要负责对批量消息的保存，构造任务执行的消息序列(即任务队列)。批量消息拉取模块主要负责基于服务器的性能等综合指标按需从消息队列中拉式消息队列采用的是Kafka，来自不同任务源(即输入源)的数据基于统一的规则以消息流要由Producer、Consumer和Broker组成，Producer为消息生产者，负责发布消息到Kafka每个数据源的数据数量也不统一。因此，每个输入源都有对应的消息预处理器(即预处理行模块中未被成功执行，将失败的任务重新保存至Kafka集群，以根据需要重新执行该任[0062]监控服务器的负载能力指标值，主要是监控执行批量任务相关的QPS以及任务执务器的负载能力指标值仅影响该服务器的消息能力指标值同样的方法来判断上游接口处理能力指标值是否达到上游接口处理能力指标指标的阈值。上游接口处理能力指标值是一个局部指标，可以记为local_inter＝{QPS，操作的QPS等。数据库的负载能力指标值是一个局部指标，可以记为local_database=[0065]上文介绍的上游接口处理能力指标值、上游接口处理能力指标值是统计局部指取到全局数据库的负载能力监控数据作为全局数据库的负载能力指标值，记为global_局部指标是否达到对应的阈值的方法相同本领域技术人员可以参照上文判断方法来实例如图4中拉取次数为0至4之间的阶段；拥塞避免阶段即拉取的任务数按照递增规律增长[0075]如图5所示，批量任务执行模块由线程池(即任务事件循环组，TaskEventLoop数，则将该任务添加到批量消息保存模块重新执行。每个线程都有对应的任务缓冲队列[0089]图7示出了可以应用本发明实施例的任务执行方法或任务执行装置的示例性系统[0096]下面参考图8，其示出了适于用来实现本发明实施例的终端设备或服务器的计算存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，