CN119442909A 基于强化学习的自由曲面超构表面偏转器结构优化方法 （江苏优众微纳半导体科技有限公司）

请求不公布姓名请求不公布姓名基于强化学习的自由曲面超构表面偏转器本发明公开了一种基于强化学习的自由曲态超表面的优化问题被重新构建为一个由智能波分析RCWA进行电磁模拟，评估这些动作的效2步骤S1、将元表面的自由形式优化重新表述为强化学步骤S4、使用经验重放缓冲区存储训练过程中产生的训练数据；使用e-greed算法定2.根据权利要求1所述的基于强化学习的自由曲面超构表面偏转器结构优化方法，其3.根据权利要求1所述的基于强化学习的自由曲面超构表面偏转器结构优化方法，其所述策略(IS)表示给定状态下动作a的概率分布S；对于任何有限马尔可夫决策过程MDP，基于Bellman最优性方程，最为给定状态动作值(s,a)和a的argmax算子maxc，找到近似最优状态动作值函数Q*。4.根据权利要求3所述的基于强化学习的自由曲面超构表面偏转器结构优化方法，其5.根据权利要求4所述的基于强化学习的自由曲面超构表面偏转器结构优化方法，其近似最优状态动作值函数Q*的神经网络中智能体采取给定环境状态的动作，并接收6.根据权利要求5所述的基于强化学习的自由曲面超构表面偏转器结构优化方法，其从更遥远的未来获得的奖励分配较少权重的贴现7.根据权利要求1所述的基于强化学习的自由曲面超构表面偏转器结构优化方法，其3Qe参数化为一个完全连接的神经网络，神经网络具有两个隐藏层和整流线性单元激活函8.根据权利要求5所述的基于强化学习的自由曲面超构表面偏转器结构优化方法，其9.根据权利要求7所述的基于强化学习的自由曲面超构表面偏转器结构优化方法，其4[0002]超表面(Metasurface)是一种具有亚波长结构的光学器件，可以以前所未有的空设计是一种寻找表现出所需光学响应的器件结构的方法。传统的逆设计方法包括遗传算[0004]如中国专利CN114755846A公开了一种基于相变材料的逆向设计光子仿真器及逆[0007]本发明的目的在于提供基于强化学习的自由曲面超构表面偏转器结构优化方法，通过深度强化学习偏转器结构优化方法的流程包括强化学习RL框架构建、奖励函数定义、5本发明为基于强化学习的自由曲面超构表面偏转器结构优化方法，包括以下步近似最优状态动作值函数Q*的神经网络中智能体采取给定环境状态的动作，并两个隐藏层(2N=128个节点)和整流线性单元(R6本发明通过在强化学习RL网络中定义两个关键概念：智能体Agent和环境7[0026]请参阅图13所示，本发明为基于强化学习的自由曲面超构表面偏转器结构优化8学习RL的实现流程图；状态State表示为一个全为+1的数组「+1,+1,..,+1]，其代表了某的神经网络中智能体采取给定环境状态的动作，并接收新的状态和奖励，产生序列(sg,a,r2,s.,sy_,ay_1,rw,sy)，其中状态为{s}，动作为far}，奖励为，来描述从初始状态so到最终状态的整个序列称为轨迹或情节，这个过程称为一个有限马尔可夫决策过程MDP。新的状态和奖励，产生序列(sg,a,rs.,sy_,ay_1,rw,sy)，其中状态为{s}，动作为far},奖励为fr:x1，来描述从初始状态so到最终状态su的整个序列称为轨迹或情节。这个过程;对于任何给定的时间t，其中是为从更遥远的未来获得的奖励分配较少权重的贴[0035]作为本发明提供的一个实施例，优选的，步骤S3所述策略(]s)表示给定状态下动此最优策略被隐式定义为给定状态一动作值(s,a)和a'的argmax算子目标是找到最9经网络的训练过程可以大致分为数据收集和网络更新两个独立的阶段。在数据收集阶最大预测状态一动作值的动作。在每次状态转换时进行电磁模拟，以评估奖励[0045]其中y=rx+mmax,Q"(sx1,a)是使用附加网络计算的Bellman目标。然y=r+max,换状态和动作相互作用。在每次状态转换时，在经验重放缓冲区中保存一个由以及以N=256为基准的基于伴随的方法和GLOnet三种[0051]本发明的基于深度强化学习的自由曲面超构表面偏转其结构优化方法的实验仿数设定为2,000,000步；e-greed算法中值衰减的步数周期设定为106，其最小值设为512大小的训练批量以及每次调用trai[0052]