CN116069512B 一种基于强化学习的Serverless高效资源分配方法及系统 （之江实验室）

US11574243B1,2023.02.07分配.万方学位论文.2021,全文.一种基于强化学习的Serverless高效资源本发明提公开了一种基于强化学习的高频率控制层隐藏了时间开销并降低了资源开销。本发明与最新的工作流任务调度系统作比22.根据权利要求1所述的一种基于强化学习的Serverless高效资源分配方法，其特征3.根据权利要求2所述的一种基于强化学习的Serverless高效资源分配方法，其特征4.根据权利要求1所述的一种基于强化学习的Serverless高效资源分配方法，其特征Q(st,at)和V(st)分别指累积经验的轨迹和平均经验的模拟逼近，用于对Actor的行为进行35.根据权利要求1所述的一种基于强化学习的Serverless高效资源分配方法，其特征在于，所述步骤(1)中奖励模块利用资源配置量以及请求端到端执行时间作为奖惩值训练6.根据权利要求1所述的一种基于强化学习的Serverless高效资源分配方法，其特征7.根据权利要求1所述的一种基于强化学习的Serverless高效资源分配方法，其特征到不同资源配置数量的容器实例数后，预测模块将把资源配置分配给不同的集群机器上，8.根据权利要求1所述的一种基于强化学习的Serverless高效资源分配方法，其特征9.根据权利要求1所述的一种基于强化学习的Serverless高效资源分配方法，其特征4代理模块：所述代理模块是在容器管理平台的守护进5员不得不选择较大资源配置（如内存、CPU等）来保障应用的SLO（ServiceLevel动类控制依赖机器学习模型的精准度，当预测误差较低时主动类资源效率将高于被动类；高资源利用率的同时保障99%的请求时间延迟目标。同时本发明利用流水线决策和容器管6个函数的平均执行时间以及每个函数的平均资源利用率，即通过函数的离线分析获得的[0015]所述请求状态，用于描述访问负载的情况，包括每秒请求数QPS（QueryPerSecond即每秒请求数、到达目标时延SLO之前剩余时间以及工作流中尚未执行的函数数与环境进行互动；Critic为评价网络，即利用优势函数A(s,ar)=Q(sr,ar)-v(sn)作为评价网络Critic，其和分别指累积经验的轨迹和平均经验的模拟逼近，用于对7段以QPS划分的动作概率表，并将最大到达率与动作概率一一相乘得到未来一段时间窗口8衡为尾延迟和资源浪费时极其困难，主动预测式的动态决策依赖机器学习模型预测的精9此如何使其与RL网络输入层的固定大小相协调是一个挑战。本发明使用GCN（Graph[0052]在应用状态信息被刻画获得后，系统将从其DAG图的尾部节点开始传递其应用状造成局部最优困境。同时，本发明利用优势函数A(sr,an)=Q(sr,ar)-v(sr)作为本发明的评[0057]为每种类型的资源训练了一个独立的决策网络，并由各网络决定对应资源配置导出下一个函数的资源配置，但在并行决策时并没法知道下个阶段执行时所剩余的时间。[0066]主要分成负责未来请求到达率预测的预测模块，负责节点容器的动作概率表，并将最大到达率与动作概率一一相乘得到未来一段时间窗口的容器实例可预测的延迟都可以通过基于强化学习的请求粒度资源分配策略同时实现。它通过部署在个核心组件：强化学习预测器决定每个实例的资源配置；流水线化隐藏每个决策过程产生的时间开销，避免了累积效应导致的SLO违规。由于无服务器计算在处理过程中通常采用前监控到的状态信息发送给强化学习决策器，以此获取能满足SLO且资源浪费量最少的配[0076]关于本发明的强化学习模型实现：图3展示了强化学习模型实现架构，系统对发到转发模块。并且OpenFaaS网关利用监控程序（Prometheus）持续监控请求到达速率水线预测利用Go语言中的信号量和Goroutine以工作流方式管理应用程序的执行。强化学习决策器是通过TensorflowGo将训练好的模型集成在OpenFaaS之中。同时本发明通过块。它通过在集群中公开HTTP服务端口，在接收到调用后执行资源调整操作。状态的资源（例如CPU配额、内存等）使用Cgroup进行调整。与通过修改Kuberne