CN118885291B 基于强化学习的云计算平台实时cpu负载平衡方法及系统 （湖南科技学院）

基于强化学习的云计算平台实时CPU负载平本发明公开了一种基于强化学习的云计算21.一种基于强化学习的云计算平台实时CPU负载平衡方法，其特征在于，包括如下步S6、将经过训练和优化的负载平衡策略部署到决策模S9、持续监控调整后的负载情况，通过反馈机制将各虚拟机和物理节点在特定时间t的资源利用情况，包括CPU使用率ii()、任务队列长度及其他关键性能指标K():3θ_)；最优动作at，实时调整CPU资源分配和任务调度，优化云计算平台的资源利用率和系统性(s,a;')-(s,a;6)+a(s,a)+v'max,i(s,a;8)-(s,a;')l:'S55、利用经验回放技术，存储模拟环境中的状态转移样本(s,a,(s,a),s)到回放缓冲S61、将经过训练和优化的深度Q网络模型G(S,a;')部署到决策模块，初始化当前系统t作为当前负载平衡策略：4,2.根据权利要求1所述的一种基于强化学习的i3.根据权利要求2所述的一种基于强化学习S21、通过高速数据传输通道，将每个数据收集模块记录4.根据权利要求3所述的一种基于强化学习的云计算平台5W=i(t-w+1),b(t-w+2),…,b(}:其中，表示标准化后的CPU使用率，J;(t,W)表示滑动窗口内CPU使用率的均值，S34、对各虚拟机和物理节点的任务队列长度和其他关键性能指标K,)进行类似S36、当检测到某个虚拟机或物理节点的CPU使用率T,(t,w)或任务队列长度q(t,w)超5.一种基于强化学习的云计算平台实时CPU负载平据收集模块实时监控和记录各虚拟机和物理节点的CPU使用率、任务队列长度及其他关键高速数据传输通道：用于将各虚拟机和物理节点的数据收集模块所记录的实时CPU负67[0008]本发明的一个目的在于提出一种基于强化学习的云计算平台实时CPU负载平衡方[0009]根据本发明实施例的一种基于强化学习的云计算平台实时CPU负载平衡方法，包8[0021]S11、在云计算平台上设置多个数据收集模块，分别部署在各虚拟机和物理节点[0027]S21、通过高速数据传输通道，将每个数据收集模块记录的实时CPU负载数据集D[0030]S24、对清洗后的数据进行标准化处理，将各虚拟机和物理节点的CPU使用率Ui9i[0033]S31、在负载分析模块中，采用滑动窗口技术对预处理后的实时CPU负载数据集[0035]W=F(t-w+1),i(t-w+2)…b(t}:[0040]其中，表示标准化后的CPU使用率，U,(t,W)表示滑动窗口内CPU使用率的均[0041]S34、对各虚拟机和物理节点的任务队列长度和其他关键性能指标K()进行[0045]S36、当检测到某个虚拟机或物理节点的CPU使用率T,(t,W)或任务队列长度表示各虚拟机和物理节点在特定时间t的资源利用情况，包括CPU使用率i,()、任务队列长度及其他关键性能指标K():__'[0071]y=(s,a)+vmax,(s',a;"):′t,[0086]数据收集模块：部署在云计算平台上的各虚拟机和物理节点，实时监控CPU使用[0087]高速数据传输通道：用于将各虚拟机和物理节点的数据收集模块所记录的实时机和物理节点的负载平衡策略，根据当前负载状态生成具体的资源分配和任务调度方案，[0093](1)本发明通过部署数据收集模块，实时监控各虚拟机和物理节点的CPU使用率、任务队列长度及其他关键性能指标，构建实时CPU负载数据集，确保数据的及时性和准确[0094](2)本发明利用历史CPU负载数据集和模拟环境进行多次迭代训练，优化深度Q网[0095](3)本发明将经过训练和优化的负载平衡策略部署到决策模块，实时计算各虚拟[0098]图1为本发明提出的一种基于强化学习的云计算平台实时CPU负载平衡方法及系[0112]S11、在云计算平台上设置多个数据收集模块，分别部署在各虚拟机和物理节点[0118]S21、通过高速数据传输通道，将每个数据收集模块记录的实时CPU负载数据集D[0121]S24、对清洗后的数据进行标准化处理，将各虚拟机和物理节点的CPU使用率Uii[0124]S31、在负载分析模块中，采用滑动窗口技术对预处理后的实时CPU负载数据集[0126]W=i(t-w+1),b(t-w+2),…b(}:[0130]其中，i,(t表示标准化后的CPU使用率，U,(t,W)表示滑动窗口内CPU使用率的均[0131]S34、对各虚拟机和物理节点的任务队列长度和其他关键性能[0135]S36、当检测到某个虚拟机或物理节点的CPU使用率T,(t,W)或任务队列长度表示各虚拟机和物理节点在特定时间t的资源利用情况，包括CPU使用率i,()、任务队列长度及其他关键性能指标k(t):；'[0161]y',=(s,a)+y'max,(s',a;0-):′t,[0176]数据收集模块：部署在云计算平台上的各虚拟机和物理节点，实时监控CPU使用[0177]高速数据传输通道：用于将各虚拟机和物理节点的数据收集模块所记录的实时机和物理节点的负载平衡策略，根据当前负载状态生成具体的资源分配和任务调度方案，[0182]本实施方式通过引入深度Q网络模型和强化学习算法，系统能够自适应地学习和窗口技术对预处理后的实时CPU负载数据集进行时序分析，识别当前的资源利用模式和潜