CN120297674A 基于深度强化学习的工厂动态排产优化方法及系统 （深圳市海铭德科技有限公司）

道桥头社区立新路2号天佑创客产业基于深度强化学习的工厂动态排产优化方本发明提供一种基于深度强化学习的工厂2获取目标工厂的实时生产监测数据集合，所述实时生产监测对所述实时生产监测数据集合进行特征提取，得到每个生产环节监调用预训练的深度强化学习策略网络，对所述目标生基于所述动态生产约束特征与预设的排产优化目标函数进行策略迭权重序列及资源调整比例序列；将所述实时排产优化策略集合输入至目标工厂的排产控制系统动态调整操作，并基于调整后的执行反馈数据更新所述深度强化学习策略网络的网络参对所述生产环节监测序列中的设备运行状态参数进行时序波动分析行状态参数在连续时间窗口内的波动幅度特征及趋将所述波动幅度特征与预设的设备运行基准参数进行差异度计算，生将所述趋势关联特征与历史设备故障模式数据库进行相似将所述设备负载偏差系数、设备维护预警指标及设备故障风险等级对所述订单执行进度参数进行紧急度评估处理，提取订单剩余处理时对所述环境干扰参数进行影响因子解析处理，提取环境温度变化将所述设备状态动态特征、所述订单优先级特征及所述环境约束将所述设备运行状态参数按预设时间窗口长度分割为多个连续时3对每个时间窗口内的设备运行状态参数进行实际波动幅度计算，将所述实际最大波动幅度与预设的基准最大波动幅度阈值进行超对连续时间窗口的窗口级负载偏差系数进行时序聚合处理，生成对连续时间窗口的维护触发标志进行频率统计及持续时间分析，生对每个时间窗口内的设备运行状态参数进行趋势线拟合，提取趋势线将所述设备负载偏差系数的时间序列数据及设备维护预警指标组合为所述波动幅度述调用预训练的深度强化学习策略网络，对所述目标生产特征集合进行动态约束匹配处将所述目标生产特征集合输入至所述深度强化学习策略网络的对所述订单优先级特征进行权重分配处理，结合历史订单执行效率调用所述深度强化学习策略网络的约束匹配模块基于所述联合注意力权重分布对所述设备状态编码向量、所述订获取历史订单执行效率数据中的订单完成时间分布、资源消耗比例及客户满意度评根据所述订单完成时间分布与当前订单剩余处理时间的比例关系将所述时间紧迫性权重、所述资源适配性权重及所述客户优先级权重进行归一化处将所述订单优先级权重向量与所述订单类型关联约束进行特征拼4将所述动态生产约束特征与所述排产优化目标函数进行策略可行域对所述初始策略可行域进行动态约束分解处理，生成多目标基于所述多目标优化参数集合进行策略冲突校验处理，对存在参将所述调整后的多目标优化参数集合输入至策略梯度优化器进行迭代解析所述动态生产约束特征中的设备状态动态特征与环境约束特征的关将所述排产优化目标函数拆解为多个子目标函数，所述子目标函数将所述设备可用性约束区间与所述设备利用率最大化函数进行约将所述订单交付延迟最小化函数与所述动态生产约束特征中的订单优先级特征进行将所述资源消耗均衡化函数与所述资源供给稳定性区间进行动态适对所述第一可行域边界、第二可行域边界及第三可行域边界进行联合重叠区域计算，在所述初始策略可行域内划分设备调度优先级层级，所述根据所述订单交付紧急度与订单剩余处理时间的倒数关系构建时在所述资源供给稳定性区间内解析能源供给波动率与物料补给优先级的反向关联关将所述设备负载均衡系数、订单交付时效阈值及资源分配冲突指标5检测所述设备负载均衡系数与订单交付时效阈值之间的资源占用冲在所述资源占用冲突节点处提取环境约束特征中的事件响若未触发外部事件干预机制，则根据资源分配冲突指标的当若触发外部事件干预机制，则根据事件响应优将调整后的设备负载均衡系数、订单交付时效阈值及资源分配冲6强企业竞争力的关键环节。传统的工厂排产方法主要依赖于人工经验或简单的规则算法，基于所述动态生产约束特征与预设的排产优化目标函数进行策略迭代优化处理，7[0007]再一方面，本发明实施例还提供一种基于深度强化学习的工厂动态排产优化系态生产约束特征与预设的排产优化目标函数进行深度融合，生成包含设备调度优先级序[0009]图1是本发明实施例提供的基于深度强化学习的工厂动态排产优化方法的执行流[0010]图2是本发明实施例提供的基于深度强化学习的工厂动态排产优化系统的示例性[0011]下面结合说明书附图对本发明进行具体说明，图1是本发明一种实施例提供的基8监测序列。[0019]本实施例以电池电芯制造环节的设备A为例，对其设备运行状态参数进行时序波步骤S1211：将所述设备运行状态参数按预设时间窗口长度分割为多个连续时间9[0023]步骤S1213：将所述实际最大波动幅度与预设的基准最大波动幅度阈值进行超限[0024]假设预设的基准最大波动幅度阈值为3摄氏度，在第一个时间窗口内实际最大波系数依次排列组成了一个包含24个数据点的时间序列。[0031]步骤S1217：将所述设备负载偏差系数的时间序列数据及设备维护预警指标组合预设的设备运行基准参数包含了设备正常运行时负载偏差系数和维护预警指标的标准范之间，而波动幅度特征中的设备负载偏差系数的时间序列数据中部分数据点超出了该范[0040]本实施例中，首先是提取订单剩余处理时间与预设交付截止时间的差值比例特[0042]订单资源占用权重的确定要依据订单在生产过程中已消耗的资源量和预计还需[0043]订单类型关联约束涉及订单是否有特殊的生产工艺要求、是否需要特定的设备[0058]本实施例中，将目标生产特征集合输入到深度强化学习策略网络的状态编码模化后为0.3÷1.7≈0.18。将这三个归一化后的值组合成一个向量，即环境约束编码向量[0075]本实施例中，深度强化学习策略网络的约束匹配模块可以对设备状态编码向量、码向量及环境约束编码向量进行动态加权聚合处理。对于设备状态编码向量的每个维度，步骤S1411：解析动态生产约束特征中的设备状态动态特征与环境约束特征的关在电池生产的实际场景中，设备状态动态特征和环境约束特征之间存在着关联，[0087]订单交付延迟最小化函数关注的是如何确保订单能够按时交付，提高客户满意[0090]本实施例首先可以根据设备可用性约束区间，确定设备可以用于生产的时间[0092]步骤S1414：将订单交付延迟最小化函数与动态生产约束特征中的订单优先级特资源消耗均衡化函数的目标是使资源在不同生产环节和订单之间得到合理分配，初始策略可行域是指同时满足设备调度、订单分配和资源调整要求的策略集合。调整的第三可行域边界则规定了资源在不同生产环节和订配能够保证资源的均衡消耗那么该时间段就属于初始策略可行域。[0107]步骤S1422：根据所述订单交付紧急度与订单剩余处理时间的倒数关系构建时间[0109]步骤S1423：在所述资源供给稳定性区间内解析能源供给波动率与物料补给优先步骤S1431：检测所述设备负载均衡系数与订单交付时效阈值之间的资源占用冲配冲突指标的当前值进行调整。假设资源分配冲突指标为0.6，说明资源分配存在一定冲梯度优化器会调整策略的参数，使得下一次生成的策略在排产优化目标函数下的表现更望设备利用率偏差值不超过3%，订单交付延迟率不超过10%，资源消耗超标量不超过50度态生产约束特征与预设的排产优化目标函数进行深度融合，生成包含设备调度优先级序[0145]图2示出了本申请一些实施例提供的可以实现本申请思想的基于深度强化学习的[0146]基于深度强化学习的工厂动态排产优化系统100可以是通用服务器