CN119443728B 充电机器人调度方法及存储介质 （中能坤域科技控股(浙江)有限公司）

司道爱橙街1号阿里巴巴数字生态创新本发明提供充电机器人调度方法及存储介2马尔可夫决策过程转化步骤S200，基于车位一充构建的车位充电系统的优先势场，将多目标追踪与优先级智能调度过程建模为马尔可夫强化学习网络构建步骤S300，基于马尔可夫决策过程转强化学习网络的训练与测试步骤S400，基于强化学习网其中，车位充电系统的优先势场构建步骤S100包括建立无向拓扑网络的步骤S101以及基于所建立的无向拓扑网络设计车辆节点充电请求的优先势场的occupyoccupy3其中用户因子9"依赖于用户的等级和反馈得到，车辆因子针对车辆的充电请k2.根据权利要求1所述的充电机器人调度方法，其中，在马尔可夫决策过程转化步骤空间sk转移到k+1时刻的状态空间sk+1ogP器人所在位置的优先势场强度以及充电机器机理及数据驱动的仿真环境搭建的步骤S301和基于所搭建的仿真环境设计基于模型的强λPrP4设计基于模型的强化学习网络架构的步骤S302包括动态网络其中，通过已有的策略一价值网络模型与仿真环境进行自我7.一种非临时性存储介质，其存储有计算机5[0007]非专利文献1：Samsuria,Erlianasha,etal."Adaptivefuzzy_geneticalgorithmoperatorsforsolvingmobilerobotschedulingprobleminjob_shop[0008]非专利文献2：Zhang,Junqi,etal."Moving_distance_minimizedPSOfor[0009]非专利文献3：Zhu,Aiyu,etal."Deepreinforcementtimeassemblyplanninginrobot_basedprefabricatedconstruction."IEEE6先势场构建步骤包括建立无向拓扑网络的步骤以及基于所建立的无向拓扑网络设计车辆vnEV,mE(I,2,…,M)和导轨边集eyEE,i,je(1,2,…,M)，其中cij表示联通顶点V;和vj的双向边，车位一充电系统拓扑网络G=(V,Ex=(x,y)处的优先势场强度为：[0016][0018]顶点优先值jki：为顶点i在k时刻的充电请求的优先值，通过时间因子q"进行7[0021]协方差矩阵Σ:[0023]其中用户因子9"依赖于用户的等级和反馈得到，车辆因子针对车辆的的状态空间转移到k+1时刻的状态空间sk+1的系统状态转[0026]其中q;(),q.(-),qg(-),qr(-)分别代表车位顶点的顶点优先值、占用矩阵、充电机器人所在位置的优先势场强度以及充骤包括机理及数据驱动的仿真环境搭建的步骤和基于所搭建的仿真环境设计基于模型的略价值网络模型与仿真环境进行自我游戏来得到多个游戏数据并进行存储，在联合训练时从所存储的游戏数据中随机抽取数据用于训练策略一价值网络以及动态网络模型的参算机程序被处理器执行时能够实现根据本发明的第一方面所述的8[0039]图3A例示了根据本发明的充电机器人调度方法中马尔可夫决策过程转化步骤的[0041]图4A例示了根据本发明的充电机器人调度方法中设计基于模型的强化学习网络[0042]图4B例示了根据本发明的充电机器人调度方法中长序列预测自适应概率推理框[0043]图5例示了根据本发明的充电机器人调度方法中基于模型的强化学习调度算法的[0044]图6例示了根据本发明的充电机器人调度方法中通过蒙特卡洛树搜索进行自我游[0048]本发明的充电机器人调度方法可以通过充电机器人中的处理器执行存储在充电较大而将整个停车场划分为多个区域的情况下9[0052]下面，参照图1来说明根据本发明的充电机器人调度方法，该方法包括如下步骤立的步骤S101和车位顶点充电请求的优先势场设计的步骤S包括现有的M个集vnev,me(1,2,…,M)和导轨边集eyeE,i,je(1,2,…,M)，[0061]车位顶点充电请求的优先势场设计的步骤S102包括顶点优先值计算的步骤S1021x=(x,y)[0069]其中jri为顶点i在k时间的充电请求的优先值，顶点优先值越大表明充电请求越[0071]其中lk,lo,i分别表示当前的世界时间以及顶点i所代表的车位被占用的初始时[0076]其中用户因子qg"和车辆因子分别定义如下，λ为两个不同因子的权重，算而得到车辆因子9"：[0078]qk=0.5x(tanh(s;-!eree)+I)本发明的用于充电机器人多目标的调度方法中的强化学习算法主要依赖于一个马尔可夫充电系统优先势场的优先势场状态转移的步骤S201和基于充电机器人能耗机理模型的系图的顶点V、边值E和占用矩阵or、拓扑结构中的顶点优先值jx和优先势场强度gr以及当[0090]sk=(v,E,jr,o:,gr,p)[0093]ar=(dr,u)[0094]其中dt,lr分别代表充电机器人当前前进的方向和在该方向上的速度。[0096]re~q"(rIse,a)和占用矩阵or、拓扑结构中的顶点优先值jx和优先势场强度gr以及当前充电机器人的能[0100]其中q,;(-),q.(-),qg(-),qr(-)分别代表车位顶点的顶点优先值、占用矩阵、充电机器人所在位置的优先势场强度以及充电机器人能耗功率的状态转移矩阵。q,(-),qg(-)通过步骤S100中所提出的优先势场强度规则以及充电固定充电机器人的位置以实现充电操作。g,(-)通过下面将描述的长序列预测自适应推理框架来得到网络模型。qp()将通过下面将描述的学习得到充电机器人运动动作与其能耗之间的关系。[0101]以上描述的马尔可夫决策过程转化将用于下面要描述的基于模型的强化学习算[0106]系统状态转移通过步骤S202中所建立的系统状态转移方程，以迭代的形式展主要包含无向图顶点优先度、占用矩阵以及充电机器人的能耗功率三方面的状态转移方的状态转移方程由设计的顶点优先状态转移以及充电机器人的能耗功率状态转移组成的模型组成。[0107]下面描述奖励函数的设计。实时奖励反馈如上面步骤S200中关于奖励函数的描[0114]其中网络可通过多层感知机即可实现，网络d,并不属于马尔可夫决策过概率推理框架的整体框架图及其处理过程如图4增充电请求数据进行分析后发现，其长时间序列通常表现为长期趋势和短期周期性波动，DS,D,=F-'(F(X)[:t],F[X][t:]),分别用季节编码器HS和趋势编码器7r对季节分量DS和趋势分量Dr进行编码。然后在聚类匹配模式下，将经由季节趋势全局表示提取器编码的序列划分为ks[0122]ar=T(s)ar代表当前时刻的充电机器人通过策略网络m,()根据当前状态si得到的最[0126]其中代表当前时刻状态和动作对应的期望价值，f(-)代表对于期望价值进行,()通过n次探索获得数据并存储，对于策略网络m,()做出的动作在[0137]其中为充电机器人通过智能体策略在离散后的动作空间中选择的动作，方向蒙特卡洛树搜索进行自我游戏以完成数据收集的过程如图6所示。[0140]N(s,a),p(s,a),_(s,a),R(s,a),s(s,a)值网络的当前参数得到的最优策略及预测的价值，R(s,a),s(s,a)为动态网络当前参[0144]其中N(s,a)代表在s状态节点选择动作a的次数，N(s,b)表示在s状态节点选择除a以外所有动作的次数，上界置信算法通过公式中的第一项Q(s,a)使得搜索更倾向于历史[0146]MCTs子进程3节点扩展：通过动态网络模型根据MCTs进程2中选择的策略扩展新以及价值网络根据当前时刻的输入利用已有的网络模型参数计算对应的及时奖[0155]上述公式代表联合训练的整体损失函数，c表示网络训练的正则项用来保证网络明的基于模型的强化学习调度算法的训练与测试步骤S400的详细过程参见否则处理返回到步骤S401，而如果在S408中确定达到最大批次（步骤S408中是则处理的优先程度势场、结合深度学习预测充电请求将智能调度过程转化为马尔可夫决策过程，法能够提升整体调度策略的训练效率和测试个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的（MPU并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储卡等中的一个或