CN119398466A 基于深度强化学习的半导体制造设备分组工作方法及系统 （北京珂阳科技有限公司）

区西环南路26号院30号楼（嘉捷科技基于深度强化学习的半导体制造设备分组本发明提供一种基于深度强化学习的半导2采集多台半导体制造设备在连续加工周期内的实时运行数据，通过滑将所述性能特征向量输入深度强化学习环境，构建考虑设粒位置向量，通过迭代优化搜索得到初始分组方案；基于所述初始分组方案构建双重Q网构建基于图结构的群体协同评价网络，将所述候选分获取半导体制造设备的时序统计特征和耦合特征，在每个滑构建基于胶囊网络的双向循环神经网络结构，所述胶设计多头自注意力机制对所述初始时序表征进行特征融合，所述基于所述融合时序表征并结合工艺专家经验，构建分层评价体系，所采用自适应权重优化策略，构建包含任务相关性和权重敏感度的双3将所述动态性能评分、所述动态性能评分的时序差分特征、基于;Txi表示设备的性能评分，Vw(w"x)表示评分wTxi对评价正则化项平衡因子，||w||1表示评价指标的权重向量的L1范数构建设备状态空间和分组动作空间，所述设备状态空间由基于历史性能数据构建状态转移概率矩阵，通过条件概率估将设备状态空间中的性能特征向量和分组动作空间中的设备分组方案映射为微粒群基于所述设备状态迁移概率分布构建多目标适应度函数，所述多根据所述评价得分对微粒位置向量进行迭代优化，并采用动态惯性权重更新速度向后的微粒位置向量进行约束处理确保满足组内设将所述在线评估网络的网络参数设置为初始参数，根据预设参数4构建经验回放缓存池用于存储历史决策序列，所述计算所述历史决策序列中各个决策样本的时序差分误差将训练样本输入在线评估网络得到第一组最优动作，计算第一组最优基于所述优化目标通过反向传播更新在线评估网络的网络参数得将当前状态矩阵输入更新后的在线评估网络，获取评估值最高的将调整后的状态矩阵、执行的分组调整方案、性能评价值以及将候选分组方案中的设备组关系构建为动态加权图模型，所述动态基于所述节点集合中任意两个节点的性能特征向量计算余弦相似度值并将其作为对将所述动态加权图输入多层图卷积网络，其中包括第一图卷积层针对所述动态加权图模型中的每个节点，在第二图卷积层将当前节计算设备组内节点的局部组合特征的最小值与最大值的比值得到设备组内性能匹配计算所有设备组中节点全局拓扑特征之和的标准差与均值的比值得到设备组间资源5将所述组内性能匹配度评价准则和所述组间资源均衡度评价准则进行加权组合得到当所述群体协同评价分数小于预设阈值时，基于局部组合特征确定性能不匹配的节;8.一种基于深度强化学习的半导体制造设备分组工第一单元，用于采集多台半导体制造设备在连续加工周期内征和参数间的耦合特征，将所述时序统计特征和耦合特征输入预先训练的循环神经网络，第二单元，用于将所述性能特征向量输入深度强第三单元，用于构建基于图结构的群体协同评价网络，将6其中，所述处理器被配置为调用所述存储器存储的指令，以执行程序指令被处理器执行时实现权利要求1至7中任意7[0005]本发明实施例提供一种基于深度强化学习的半导体制造设备分组工作方法及系8适应捕获特征序列的层次关系，所述双向循环神经网络包含注意力增强的长短期记忆单元，所述注意力增强的长短期记忆单元引入自适应权重矩阵动态调整输入特征的贡献度，制包含多个并行的注意力子空间，各注意力子空间独立学习不同视角下的特征关联模式，将各注意力子空间的输出通过非线性变换得到[0017]采用自适应权重优化策略，构建包含任务相关性和权重损失的超参数，wTxi表示设备的性能评分，Vw(w"x)9[0027]将设备状态空间中的性能特征向量和分组动作空间中的设备分组方案映射为微新后的微粒位置向量进行约束处理确保满足组内设备数[0038]将当前状态矩阵输入更新后的在线评估网络，获取评估[0043]基于所述节点集合中任意两个节点的性能特征向量计算余弦相似度值并将其作[0044]将所述动态加权图输入多层图卷积网络，其中包括第一图卷积层和第二图卷积[0046]计算设备组内节点的局部组合特征的最小值与最大值的比值得到设备组内性能[0047]计算所有设备组中节点全局拓扑特征之和的标准差与均值的比值得到设备组间[0048]将所述组内性能匹配度评价准则和所述组间资源均衡度评价准则进行加权组合分配方案调整候选分组方案得到新的设备分组间资源均衡度的权重，A表示所有设备组中节点的总数，ak表示第k个设备组的节点数，迁移的马尔可夫决策过程模型，将设备状态空间和分组动作空间映射为微粒群优化问题，选分组方案；价结果未达到预设阈值时，根据所述局部组合特征和全局拓扑特征生成新的设备分配方案，将所述设备分配方案的执行结果作为新的状态矩阵输入深度强化学习环境进行更新，[0067]图1为本发明实施例基于深度强化学习的半导体制造设备分组工作方法的流程示[0068]图2为本发明实施例基于深度强化学习的半导体制造设备分组工作系统的结构示[0071]图1为本发明实施例基于深度强化学习的半导体制造设备分组工作方法的流程示[0072]S101.采集多台半导体制造设[0073]S102.将所述性能特征向量输入深度强述多维奖励值更新在线评估网络的参数，对所述初始分组方案进行优化得到候选分组方[0074]S103.构建基于图结构的群体协同评适应捕获特征序列的层次关系，所述双向循环神经网络包含注意力增强的长短期记忆单元，所述注意力增强的长短期记忆单元引入自适应权重矩阵动态调整输入特征的贡献度，制包含多个并行的注意力子空间，各注意力子空间独立学习不同视角下的特征关联模式，将各注意力子空间的输出通过非线性变换得到[0082]采用自适应权重优化策略，构建包含任务相关性和权重适应权重矩阵根据输入特征的重要性动态调整权重，使得模型能够更加关注重要的特征。二层胶囊捕捉全局特征。然后将胶囊网络的输出输入一个包含注意力机制的双向LSTM网[0088]采用自适应权重优化策略，构建包含任务相关性和权重敏感度的双重损失函损失的超参数，wTxi表示设备的性能评分，Vw(w"x)表示评分[0099]将设备状态空间中的性能特征向量和分组动作空间中的设备分组方案映射为微新后的微粒位置向量进行约束处理确保满足组内设备数[0117]将当前状态矩阵输入更新后的在线评估网络，获取评估[0124]执行分组调整方案并更新缓存池。将当前状态矩阵输入[0130]基于所述节点集合中任意两个节点的性能特征向量计算余弦相似度值并将其作[0131]将所述动态加权图输入多层图卷积网络，其中包括第一图卷积层和第二图卷积[0133]计算设备组内节点的局部组合特征的最小值与最大值的比值得到设备组内性能[0134]计算所有设备组中节点全局拓扑特征之和的标准差与均值的比值得到设备组间[0135]将所述组内性能匹配度评价准则和所述组间资源均衡度评价准则进行加权组合分配方案调整候选分组方案得到新的设备分设备2和设备3，则将设备2和设备3的性能特征向量分别与连接设备1的边的权重相乘后求[0142]如果群体协同评价分数小于预设阈值（例如0.8则根据局部组合特征和全局拓组间资源均衡度的权重，A表示所有设备组中节点的总数，ak表示第k个设备组的节点数，[0151]奖励函数的设计重点关注生产目标的达成度。主要考虑[0155]图2为本发明实施例基于深度强化学习的半导体制造设备分组工作系统的结构示