CN116128153B 一种基于强化学习的配电变压器经济运维方法 （重庆大学）

367.一种基于强化学习的配电变压器经济运维本发明提出了一种基于强化学习的配电变器在线运行数据和基础信息中提取配电变压器态评估及态势预测模型；3)通过DQN算法训练智器运行状态的预测结果构建成状态信息输入到护决策序列。本发明具有较好的通用性和应用性，适用于油浸式配电变压器和干式配电变压22)在配电变压器运行状态多维感知基础上，3)通过DQN算法训练智能体与配电变压器交互的强化学习过程，得到配电变压器维护3.1.1)配电变压器的状态包含配电变压器的运行状态特征features和运行状态评估当智能体选择执行arepair时，表明经济运维策略优化模型给出的决策建议是对配电变3.1.3)智能体第i时刻获得的奖励ri由当前执行的维护动作ai和配电变压器反馈的下3在DQN训练过程中，每隔一段时间计算一次智能体获得的回报平均值，随着训练轮数的增交互的强化学习过程，挖掘配电变压器状态衰变与发生故障之间复杂动态关联的不确定4)将配电变压器运行状态的预测结果构建成状态信息输入到配电变压器维护策略优提取配电变压器的多维特征需要对配电变压器的历史异常运行工况和故障记录进行统计建立基于数据驱动的配电变压器运行状态评估及态势预测模型需要在配电变压器运行状长短期记忆神经网络和支持向量机模型实现配电变压器运行状态4.根据权利要求1或权利要求3所述的一种基于强化学习的配电变压器经济运维方法，4证据表明配电变压器需要进行维护时才实施维护活动，能够有效减少不必要的维护行动，过强化学习理论充分挖掘配电变压器状态衰变与发生故障之间复杂动态关联的不确定性，5[0006]为实现本发明目的，本发明提出一种基于强化学习的配[0012]3.1.1)配电变压器的状态包含配电变压器的运行状态特征features和运行状态[0017]当智能体选择执行arepair时，表明经济运维策略优化模型给出的决策建议是对配[0018]3.1.3)智能体第i时刻获得的奖励r6部分β1score与配电变压器的安全运行相关，β1为作价值函数j(s,a,w),并利用Q_learning算法更新近似动作价值函数来计算最优动作价值函数max,⃞j(s,a,wi),从而获得最优策略argmax,j(s,a,ww)。为了提高算法的效率和稳定[0023]4)将配电变压器运行状态的预测结果构建成状态信息输入到配电变压器经济运[0025]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将实施7[0037]3.1.1)配电变压器的状态包含配电变压器的运行状态特征features和运行状态[0042]当智能体选择执行arepair时，表明经济运维策略优化模型给出的决策建议是对配[0043]3.1.3)智能体第i时刻获得的奖励r部分β1score与配电变压器的安全运行相关，β1为安1和β2分别设置为0.8和0.2。作价值函数j(s,a,w),并利用Q_learning算法更新近似动作价值函数来计算最优动作价值函数max,j(s,a,wi),从而获得最优策略argmax,⃞(s,a,w)。为了提高算法的效率和稳定8度上累计执行维护动作的情况也视作终止状态。智能体在前一种终止状态下获得的奖励[0051]4.1)利用配电变压器运行状态的预测模型得到该台配电变压器运行状态的变化[0052]4.2)将该台配电变压器运行状态的预测结果构建成状态信息输入到配电变压器