CN119417191A 机器人调度方法、装置、计算机可读存储介质及电子设备 （宁德时代新能源科技股份有限公司）

所述第一价值输出对预设的第二价值模型进行2在所述第二状态为目标状态的情况下，确定预设的第一价确定由所述第一状态转移至所述第二状态的基础奖励值；确定预设在完成对所述第二价值模型的更新之后，根据所述第二价值模型对所述遍历所述机器人在所述第二状态下执行的各个候选动作，分别确定所述将所述第一价值模型的各个候选价值输出中的最大值，确定为所述遍历所述机器人在所述第二状态下执行的各个候选动作，分别确定所述将所述第二价值模型的各个候选价值输出中的最大值，确定为所述对所述基础奖励值、所述第一价值输出和所述加权后的第二价值输出进行求在所述第二状态不为目标状态的情况下，确定由所述第一根据所述第二模型更新值对所述第二价值模对所述基础奖励值和所述加权后的第二价值输出进行求和，得到所述第二模型更新3第一价值输出确定模块，用于在第二状态为目标状态的情第二价值模型更新模块，用于确定由所述第一状态转移至所述第二状态的基础奖励机器人调度模块，用于在完成对第二价值模型的更新之后，根据第9.一种计算机可读存储介质，所述计算机可读存储介质存行时实现如权利要求1至7中任一项所述的机器人调度方45[0014]通过上述方法，可以综合考虑基础奖励值和第二价值输出来确定第二模型更新6第一价值输出确定子模块，用于将第一价值模型的各个候选价值输出中的最大第二价值输出确定子模块，用于确定第二价值模型在第二状态下的第二价值输历机器人在第二状态下执行的各个候选动作，分别确定第二价值模型的各个候选价值输[0023]在第二方面的一种具体实现方式中，第一模型更新第一价值模型更新模块，用于确定第一价值模型在目标状态下的预估价值输出；7算机程序被处理器执行时实现上述任一种机器8进行调度。本申请实施例中的机器人可以包括但限于自动导向车（AutomatedGuided9[0047]其中，第一价值模型用于表征由目标状态返回至起始状态的过程中的预估奖励由状态E至状态D的动作，对应的价值输出为0。第一价值模型还可以表示为神经网络的形定第一价值模型的各个候选价值输出，并将第一价值模型的各个候选价值输出中的最大[0054]假设{t,t+1,t+2,…,t+n}为由目标状态返回至起始状态的若干时间步，则可进行状态转移所得到的奖励值（包括动作奖励值和工序奖励值yi-tR;为第i个时间步加由状态A至状态B的动作，对应的价值输出为5。第二价值模型还可以表示为神经网络的形[0066]在得到第一模型更新值之后，可以根据第一模型更新值对第二价值模型进行更的各个候选价值输出，max,H(s,a')为第一价值模型在第二状态下的第一价值输出，Q(s,a)为第二价值模型的各个候选价值输出，maxQ(s,a')为第二价值模型在第二状态R+ymax,Q(s,a')+max,H(s,a)为第一模型更新值，在第一状态下执行选定动作，[0070]在得到第二模型更新值之后，可以根据第二模型更新值对第二价值模型进行更第二价值模型的各个候选价值输出，并将其中的最大值对应的候选动作确定为目标动作。时通讯，在多线程并行的环境下仿真验证实际生产过程中的多物流机器人并行调度算法，的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限[0079]对应于上文实施例的一种机器人调度方法，图6示出了本申请实施例提供的一种状态确定模块601，用于确定机器人在第一状态下执行选定动作后得到的第二状第二价值模型更新模块603，用于根据第一价值输出对预设的第二价值模型进行第一价值输出确定子模块，用于将第一价值模型的各个候选价值输出中的最大第二价值输出确定子模块，用于确定第二价值模型在第二状态下的第二价值输[0083]在本申请实施例的一种具体实现方式中，第二价值输出确定子模块可以具体用第一价值模型更新模块，用于确定第一价值模型在目标状态下的预估价值输出；计算机程序72时实现上述各装置实施例中各模块/单元的功能，例如图6所示模块601至模[0091]示例性的，计算机程序72可以被分割成一个或多个模块/单元，一个或者多个模通用处理器、数字信号处理器（DigitalSignalProcessor，DSP）、专用集成电路（ApplicationSpecificIntegratedCircuit，ASIC）、现场可编程门阵列（Field_分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。71用于存储计算机程序以及电子设备7所需的其它程序和数据。存储器71还可以用于暂时[0101]集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用