CN118504866B 一种自动化集装箱码头agv智能动态调度方法 （哈尔滨工业大学）

一种自动化集装箱码头AGV智能动态调度方法本发明属于自动化集装箱码头资源调度优化技术领域，具体涉及一种自动化集装箱码头根据自动化集装箱码头的不同功能分模块进行2所述步骤一中自动化集装箱码头在进行装卸作业时，参与工作的设所述步骤一中还对自动化集装箱码头的集装箱装卸任务进行建模，将不所述步骤二中分析步骤一的自动化集装箱码头仿真模型各个模首先，构建C_DQN多智能体深度强化学习算法框架，C_DQN多在C_DQN多智能体深度强化学习算法模型训练一定次数后，逐步提高贪心率ε的数值，3iis,最后，每当神经网络模型需要进行训练时，便从经验回放缓2]然后，构建深度强化学习的动作空间，动作空间包括全4其次，将该任务通过AGV动作选择器输入到自动化集装箱码头先判断元组中的数据满足组成一个样本的全部条件，将该样本存或判断元组中的数据不满足组成一个样本的全部条件，执行该智能体的下一个任务，接着，判断C_DQN多智能体深度强化学习算法的经验回放缓存区填满，或判断C_DQN多智能体深度强化学习算法的经验回放缓存区未被填满，则继续运行自先判断C_DQN多智能体深度强化学习算法的训练次数达到设定值，则将预测网络的模或判断C_DQN多智能体深度强化学习算法的训练次数未达到设定值，则继续运行自动5或判断无未完成的集装箱任务，则此轮集装箱任务最后，判断C_DQN多智能体深度强化学习算法模型的训练次数；当达到一定训练次数2.根据权利要求1所述的一种自动化集装箱码头AGV智能动态调度方法，其特征在于：利用步骤五得到训练好的C_DQN多智能体深度强化学习算法模型后，将该模型运用在6AGV作为连接码头泊位与堆场的集装箱水平运输设备，成为了影响自动化集装箱码头装卸[0004]目前应用较多的是基于传统的运筹学方法对自动化集装箱码头装卸设备进行调[0005]本发明的目的是提供一种自动化集装箱码头AGV智能动态调度方法，能够将码头7装箱任务的装卸类型，‘Quaycranesnumber'表示与该集装箱任务相关的岸桥编号，该集装箱的重量级别。[0025]所述步骤二中分析步骤一的自动化集装箱码头仿真模型各个模块之间的工作关s/8iwaitingwaitingwaitingwaiting9[0063]并且，折扣因子γ采用经验公式求得，其中设定L为希望智能体接下来考虑的步[0073]或判断C_DQN多智能体深度强化学习算法的经验回放缓存区未被填满，则继续运[0075]先判断C_DQN多智能体深度强化学习算法的训练次数达到设定值，则将预测网络[0076]或判断C_DQN多智能体深度强化学习算法的训练次数未达到设定值，则继续运行强化学习算法模型当中，用掩码处理后得到下一个集装箱任务，并由AGV动作选择器交由[0081]利用步骤五得到训练好的C_DQN多智能体深度强化学习算法模型后，将该模型运[0085]本发明的一种自动化集装箱码头AGV智能动态调度方法，能够根据自动化集装箱[0086]本发明的一种自动化集装箱码头AGV智能动态调度方法，根据事件逻辑关系将不使AGV的工作效率提升77.6为自动化集装箱码头AGV智能动态调度打下了坚实的理论基[0094]图6是本发明实施例一的一种自动化集装箱码头AGV智能动态调度方法的方法流[0096]图8是本发明实施例一的C_DQN多智能体深度强化学习算法解出的AGV调度甘特00282.84223.610447.21427.20412.31282.84447.210427.200223.61412.310装箱任务的装卸类型，‘Quaycranesnumber’表示与该集装箱任务相关的岸桥编号，该集装箱的重量级别；[0120]共设置了30个集装箱任务以供AGV进行调度，集装箱任务包括装箱任务与卸箱任′2iwaitingwaitingwaitingwaiting[0163]并且，折扣因子γ采用经验公式求得，其中设定L为希望智能体接下来考虑的步Qtarget通过均方损失函数求得差距程度Loss并反向传播梯度，用Adam优化器对预测网络的[0175]利用步骤五得到训练好的C_DQN多智能体深度强化学习算法模型后，将该模型运任务选择策略倾向于选择与上一任务目的地相近并且不干扰其它AGV工作的集装箱进行作时间最少的场桥进行。并且除了第一个任务不可避免的等待时间外，AGV的总等待时间为化学习算法的AGV调度方法进行实验对比。基于传统DQN深度强化学习算法的AGV调度方法[0188]由结果可以分析得出其中，在基于传统DQN深度强化学习算