CN119443728A 充电机器人调度方法及存储介质 （中能坤域科技控股(浙江)有限公司）

道爱橙街1号阿里巴巴数字生态创新本发明提供充电机器人调度方法及存储介2车位充电系统的优先势场构建步骤（S100基于用户的多充电请求，构建车位充电顶点集vnEV,mE(1,2,…,M)和导轨边集ezy;eE,i,je(1,2,…,M)，G=(V,E)。在设计车辆节点充电请求的优先势场的步骤中，基于通扑网络定义的当前时刻k时车位系统的占用矩阵or，根据如下公式（1）定义在位置X=(x,y)处的优先势场强度为：顶点优先值jri：为顶点i在k时刻的充电请求的优先值，通过时间因子q"进行表3协方差矩阵Σ:其中用户因子依赖于用户的等级和反馈得到，车辆因子针对车辆的5.根据权利要求1所述的充电机器人调度方法，其中，在马尔可夫决策过程转化步骤状态空间sk转移到k+1时刻的状态空间sk+1的系统状态转移方程如下：其中g;(-),q(-),qg(-),qr()分别代表车位顶点的顶点优先值、占用矩k时充电机器人所在位置的顶点优先值所对应的奖励值，FP,k表示当前时刻k时充电机器其中，通过已有的策略一价值网络模型与仿真环境进行自我4非专利文献1：Samsuria,Erlianasha,etal."Adaptivefuzzy_geneticalgorithmoperatorsforsolvingmobilerobotschedulingprobleminjob_shop[0007]非专利文献2：Zhang,Junqi,etal."Moving_distance_minimizedPSOfor[0008]非专利文献3：Zhu,Aiyu,etal."Deepreinforcementlearningforreal_timeassemblyplanninginrobot_basedprefabricatedconstruction."IEEE5先势场构建步骤包括建立无向拓扑网络的步骤以及基于所建立的无向拓扑网络设计车辆x=(x,y)处的优先势场顶点优先值jiri：为顶点i在k时刻的充电请求的优先值，q"进6协方差矩阵Σ:其中用户因子依赖于用户的等级和反馈得到，车辆因子针对车的状态空间sk转移到k+1时刻的状态空间sk+1的系统状态转移其中分别代表车位顶点的顶点优先值、骤包括机理及数据驱动的仿真环境搭建的步骤和基于所搭建的仿真环境设计基于模型的时刻k时充电机器人所在位置的顶点优先值所对应的奖励值，FP,k表示当前时刻k时充电略价值网络模型与仿真环境进行自我游戏来得到多个游戏数据并进行存储，在联合训练7时从所存储的游戏数据中随机抽取数据用于训练策略一价值网络以及动态网络模型的参算机程序被处理器执行时能够实现根据本发明的第一方面所述的[0025]图3A例示了根据本发明的充电机器人调度方法中马尔可夫决策过程转化步骤的[0027]图4A例示了根据本发明的充电机器人调度方法中设计基于模型的强化学习网络[0028]图4B例示了根据本发明的充电机器人调度方法中长序列预测自适应概率推理框[0029]图5例示了根据本发明的充电机器人调度方法中基于模型的强化学习调度算法的[0030]图6例示了根据本发明的充电机器人调度方法中通过蒙特卡洛树搜索进行自我游[0034]本发明的充电机器人调度方法可以通过充电机器人中的处理器执行存储在充电8较大而将整个停车场划分为多个区域的情况下[0038]下面，参照图1来说明根据本发明的充电机器人调度方法，该方法包括如下步骤立的步骤S101和车位顶点充电请求的优先势场设计的步骤S9包括现有的M个集vnEV,me(1,2,…,M)和导轨边集G=(V,)。[0047]车位顶点充电请求的优先势场设计的步骤S102包括顶点优先值计算的步骤S1021or：X=(x,y)处的优先势场强度g:'如下公式（1）所示：jri：其中jri为顶点i在k时间的充电请求的优先值，顶点优先值越大表明充电请求越急切，其通过时间因子q"进行表示，主要描述了车辆等待充电的时间：q"=exp(-b其中tk,to,i分别表示当前的世界时间以及顶点i所代表的车位被占用的初始Σ,其表示如下：其中用户因子和车辆因子分别定义如下，入为两个不同因子的9"其中tftnitr为根据用户反馈推算出的用户的最大忍耐时间，为当前请求充电的本发明的用于充电机器人多目标的调度方法中的强化学习算法主要依赖于一个马尔可夫充电系统优先势场的优先势场状态转移的步骤S201和基于充电机器人能耗机理模型的系扑图的顶点V、边值E和占用矩阵or、拓扑结构中的顶点优先值jx和优先势场强度gx以ar=(dr,u)其中分别代表充电机器人当前前进的方向和在该和占用矩阵or、拓扑结构中的顶点优先值jx和优先势场强度gx以及当前充电机器人其中分别代表车位顶点的顶点优先值、占用矩阵、充电机器人所在位置的优先势场强度以及充电机器人能耗功率的状态转移矩空间来固定充电机器人的位置以实现充电操作。q(-)通过下面将描述的长序列预测自适应推理框架来得到网络模型。qp()将通过下面将描述的学习得到充电机器人运动动[0059]以上描述的马尔可夫决策过程转化将用于下面要描述的基于模型的强化学习算[0064]系统状态转移通过步骤S202中所建立的系统状态转移方程，以迭代的形式展主要包含无向图顶点优先度、占用矩阵以及充电机器人的能耗功率三方面的状态转移方的状态转移方程由设计的顶点优先状态转移以及充电机器人的能耗功率状态转移组成的模型组成。[0065]下面描述奖励函数的设计。实时奖励反馈如上面步骤S200中关于奖励函数的描其中pg,k代表当前时刻k时充电机器人所在位置上，由顶点优先度所构成的势场其中网络d,,db可通过多层感知机即可实现，网络d,并不属于应概率推理框架的整体框架图及其处理过程如图4增充电请求数据进行分析后发现，其长时间序列通常表现为长期趋势和短期周期性波动，D5,D,=F-'(F(X)[:t],F[X][t:])其中HS,tHr分别表示季节编码器和趋势编码器，sr-GRL表示季节趋势全[0068]如图4B所示，将充电请求数据集的长时间序列分解为季节分量DS和趋势分量和趋势编码器tfr对季节分量DS和趋势分量Dr进行编码。然后在聚类匹配模式下，将经由季节趋势全局表示提取器sr-GRL编码的序列划分为ar=x(s)其中ar代表当前时刻的充电机器人通过策略网络根据当前状态se得到[0070]价值网络vk用于根据当策略网络通过n次探索获得数据并存储，对于策略网络做出的动的基于模型的强化学习调度算法的整体训练过程的其中为充电机器人通过智能体策略在离散后的动作空间中选择的动作，方向蒙特卡洛树搜索进行自我游戏以完成数据收集的过程如图采样进行选择之后得到当前时刻的动作，并得到当前时刻的奖励以及下一时刻的状N(s,a),p(s,a),2(s,a),R(s,a),s(s,a)其中N(s,a)表示当前节点的访问次数，P(s,a),Q(s,a)表示通择除a以外所有动作的次数，上界置信算法通过公式中的第一项Q(s,a)使得搜索更倾向[0077]其中C1,C2为用于调整上界置信算法效率和广度的平衡的参数[0078]MCTs子进程3节点扩展：通过动态网络模型根据MCTs进程2中选择的策略扩展新Gr为价值估计：模型中的、策略网络以及价值网络根据当前时刻的输上述公式代表联合训练的整体损失函数，c表示网络训练的正则项用来保证网络化动态网络模型预测奖励和实际观察到的奖励误差。由于动态网络中的输出状态sk+1将本发明的基于模型的强化学习调度算法的训练与测试步骤S400的详细过程参见图否则处理返回到步骤S401，而如果在S408中确定达到最大批次（步骤S408中是则处理的优先程度势场、结合深度学习预测充电请求将智能调度过程转化为马尔可夫决策过程，法能够提升整体调度策略的训练效率和测试个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的（MPU并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储卡等中的一个或更多个。