CN119493644A 一种运行在云计算平台上的任务处理方法、装置及设备 （华为云计算技术有限公司）

一种运行在云计算平台上的任务处理方法、本申请公开了一种运行在云计算平台上的域。可以由业务容器组pod侧或智能分级集群处算平台基于待处理任务的任务信息以及业务容2所述云计算平台根据用户在所述配置界面的任务配置操作，获取所述云计算平台基于所述待处理任务的任务信息以及所述业务容器组的处理能力信所述智能分级集群基于所述待处理任务的处理结果，生成所述目标对象的访问数据所述云计算平台将所述业务容器组的处理能力信息与所述待处理任务的任务信息进所述云计算平台确定所述业务容器组的处理能力信息与所述待处理任务的任务信息所述云计算平台确定所述业务容器组的处理能力信息与所述待处理任务的任务信息所述云计算平台基于所述业务容器组的处理能力信息以及所述待处理的多个子任务4.根据权利要求1至3任一项所述的方法，其特征在于，所所述云计算平台基于所述数据采集系统的采集性能信息，指示所述数所述数据采集系统向所述智能分级集群发送所述目标对5.根据权利要求2至4任一项所述的方法，其6.根据权利要求2至4任一项所述的方法，其特征在数据采集系统从所述业务容器组中采集所述待处理任务的中间结3所述智能分级集群根据所述待处理任务的中间结果，得到所述待处理任务的处理结7.根据权利要求1至6任一项所述的方法，所述云计算平台将所述待处理任务分配至所述算子容器进行处理，得到8.根据权利要求1至7任一项所述的方法，其特所述云计算平台基于所述待处理任务的数据量，对所述目标计算设9.一种运行在云计算平台上的任务处理装置，其所述获取模块，用于根据用户在所述配置界面的任务配置操作，获取待所述第一处理模块，用于基于所述待处理任务的任务信息以及所述业所述第二处理模块，用于基于所述待处理任务的处理结果，所述第一处理模块，还用于将所述业务容器组的处理能力信息与所述待所述第一处理模块，还用于确定所述业务容器组的处理能力信息与所述第一处理模块，还用于确定所述业务容器组的处理能力信息与所述第一处理模块，还用于基于所述业务容器组的处理能力信息以及所述指示模块，用于基于所述数据采集系统的采集性能信4所述第三处理模块，用于对所述待处理任务进行处理，得到所所述第三处理模块，用于对所述待处理任务进行处理，得到所所述第二处理模块，用于根据所述待处理任务的中间结果，得到所所述第一处理模块，具体用于将所述待处理任务分配至所述算子容器进行处所述第一处理模块，还用于基于所述待处理任务的数据量，对所述所述至少一个计算设备的处理器用于执行所述至少一个计算设备的存储器中存储的18.一种包含指令的计算机程序产品，其特征在于，当所述指令被计算设备集群运行指令由计算设备集群执行时，所述计算设备集群执行如权利要求1_8中任一项所述的任务5[0002]本申请涉及云计算技术领域，尤其涉及一种运行在云计算平台上的任务处理方6源或者基于该访问数据表识别出热数据并且申请将热数据存储在性能较高的存储介质中，平台获取数据采集系统的采集性能信息；云计算平台基于数据采集系统的采集性能信息，7目标计算设备中，上述云计算平台将待处理任务分配至目标计算设备进行处理具体包括：包括的算子容器)可能无法满足待处理任务的处理过程，云计算平台可以对该目标计算设8[0035]图7示出了本申请实施例提供的一种对业务容器组中的数据进行数据清洗的原理[0036]图8示出了本申请实施例提供的一种对数据进行数据转换及汇聚处理的原理示意[0040]图12示出了本申请实施例提供的一种数据采集系统从业务容器组中分批次采集[0041]图13示出了本申请实施例提供的一种将多个子任务分配至智能分级集群以及业9[0052]在一种可能的实现方式中，可以在每个业务容器组中部署一个代理(agent)，由级集群103以及报表展示模块104。其中，业务容器组101中包括业务容器1011、文件系统中获取到用户的访问数据之后经由代理模块1013向数据采集系统102主动推送该访问数群103在对该访问数据进行数据处理之后，可以生成相关数据报表并且将这些数据报表发台在获取到待处理任务的任务信息和云计算平台中部署的业务容器组的处理能力信息之后，可以基于该任务信息以及该处理能力信息将待处理任务分配至目标计算设备进行处由业务pod侧或智能分级集群处理目标对象的数据，能够避免仅有一个集群或系统统一处用户可以基于该访问数据表为目标对象的数据申请更多的存储资源或者基于该访问数据式存储场景)。当云计算平台获取到待处理任务的任务信息和业务容器组的处理能力信息[0063]一种示例中，执行本申请实施例提供的任务处理方法的云计算平台可以是终端，端、无线通信设备、用户代理或用户装置。本申请的实施例中的终端可以是手机(mobile持设备(handset)、膝上型电脑(laptopcomputer)、机器类型通信(machinetype(selfdriving)中的无线终端、远程医疗(remotemedical)中的无线终端、智能电网理方法的云计算平台可以包括调度器201、业务容器组202、数据采集系统203、消息队列[0072]消息队列204为数据采集系统203与智能分级集群205之间的消息传输通道，用于[0076]基于上述图2中示出的云计算平台，本申请实施例提供的任务处理方法可以运行[0085]如图5所示，云计算平台基于待处理任务的任务信息以及业务容器组的处理能力[0086]步骤S1021、云计算平台将业务容器组的处理能力信息与待处理任务的任务信息器组对应的队列深度以及该业务容器组包括[0089]步骤S1022、云计算平台确定业务容器组的处理能力信息与待处理任务的任务信器组进行处理，具体为由业务pod侧处理待处理任务。可以有效完成待处理任务的处理过务信息匹配成功的业务容器组的数量只有1个时，云计算平台可以将该待处理任务分配至任务信息匹配成功的业务容器组的数量不止1个(以下简称为至少两个业务容器组)时，云计算平台可以基于该至少两个业务容器组中每个业务容器组的处理能力信息确定出该每[0093]步骤S1023、云计算平台确定业务容器组的处理能力信息与待处理任务的任务信[0095]本申请实施例中若业务容器组的处理能力信息与待处理任务的任务信息匹配成[0096]可选地，一个业务容器组的处理能力信息中包括的每一理能力信息中包括的一项或多项信息的优先级顺序和/或待处理任务的任务信息中包括的的一项或多项信息的优先级顺序和/或待处理任务的任务信息中包括的一项或多项信息的分配的CPU资源以及该业务容器组包括的算子类型，待处理任务的任务信息包括该待处理任务占用的CPU资源以及该待处理任务对应的算子类型。上述云计算平台将待处理任务分该目标业务容器组为该至少一个业务容器组中，可分配的CPU资源满足该待处理任务占用器组进行处理之后，可以由业务容器组和智能分级集群共同完整待处理任务的处理过程。在业务容器组1中对标识为00001的对象进行了2次创建操[0120]在一种情况下，该5个业务容器组首先分别向数据采集系统主动推送各自存储的100万条数据，之后由数据采集系统向智能分级集群发送5个100万条数据(即500万条数[0122]本申请实施例中，由业务容器组和智能分级集群共同完整待处理任务的处理过数据量的大小也可以为1兆字节(mb)，本申请实施例对待处理任务的数据量的大小不作具任务的处理过程。此时云计算平台可以对该目标计算设备中包括的算子容器执行缩容操[0134]调度器基于7个处理任务各自的任务信息以及4个业务容器组各自的处理能力信务容器组2进行处理，以及分别将任务6和任务7分配至业务容器组3和业务容器组4进行处所处区域以及目标对象的访问用户对目标对存储资源或者基于该访问数据表识别出热数据并且申请将热数据存储在性能较高的存储数据采集系统占用的网络带宽、该数据采集系统占用的CPU资源以及该数据采集系统占用集系统的采集性能信息分批次从该多个业务容器组中采集[0156]可以理解的是，智能分级系统在获取到数据采集系统发送的目标对象的数据之[0162]在一种情况下，上述待处理任务的任务信息中还可以包括待处理任务的数据[0164]步骤E、云计算平台基于业务容器组的处理能力信息以及待处理的多个子任务的[0170]调度器基于3个业务容器组各自的处理能力信息以及7个子任务各自的任务信息[0174]第一处理模块302，用于基于该待处理任务的任务信息以及该业务容器组的处理[0177]第一处理模块302，还用于确定该业务容器组的处理能力信息与该待处理任务的[0178]第一处理模块302，还用于确定该业务容器组的处理能力信息与该待处理任务的[0180]第一处理模块302，还用于基于该业务容器组的处理能力信息以及该待处理的多[0186]第三处理模块306，用于对该待处理任务进行处理，得到该待处理任务的处理结[0188]第三处理模块306，用于对该待处理任务进行处理，得到该待处理任务的中间结306以及采集模块307的实现方式可以参考确定模块[0197]模块作为软件功能单元的一种举例，第一处理模块302可以包括运行在计算实例[0198]同样，用于运行该代码的多个主机/虚拟机/容器可以分布在同一个虚拟私有云[0199]模块作为硬件功能单元的一种举例，第一处理模块302可以包括至少一个计算设备，如服务器等。或者，第一处理模块302也可以是利用专用集成电路(application_specificintegratedcircuit，ASIC)实现、或可编程逻辑器件(programmablelogicdevice，PLD)实现的设备等。其中，上述PLD可以是复杂程序逻辑器件(complexprogrammablelogicaldevice，CPLD)、现场可编程门阵列(field_programmablegate[0200]第一处理模块302包括的多个计算设备可以分布在相同的region中，也可以分布以用于执行任务处理方法中的任意步骤，指示模块304可以用于执行任务处理方法中的任于执行任务处理方法中的任意步骤，采集模块307也可以用于执行任务处理方法中的任意指示模块304、发送模块305以及采集模块307分别实现任务处理方法中不同的步骤来实现[0205]存储器406可以包括易失性存储器(volatilememory)，例如随机存取存储器(randomaccessmemory，RAM)。处理器404还可以包括非易失性存储器(non_volatile个或多个计算设备400中的存储器406中可以存有相同的用于执行任务处理[0210]在一些可能的实现方式中，该计算设备集群中的一个或多个计算设备400的存储器406中存有执行获取模块和处理模块的[0213]图17所示的计算设备集群之间的连接方式可以是考虑到本申请提供的任务处理此考虑将获取模块和处理模块实现的功能交由计算设[0214]应理解，图17中示出的计算设备400A的功能也可以由多个计算设备400完成。同设备集群中