CN119518834B 一种基于双延迟深度确定性策略梯度算法的新能源经柔直送出系统振荡抑制方法 （北京交通大学）

一种基于双延迟深度确定性策略梯度算法本发明提供了一种基于双延迟深度确定性策略梯度算法的新能源经柔直送出系统振荡抑直送出系统的当前状态空间数据输入到训练好出系统的振荡抑制控制方法，通过TD3算法实现21.一种基于双延迟深度确定性策略梯度算法的新能源经柔直送出系统振荡抑制方法，获取新能源经柔直送出系统的动态参数和电气基于新能源经柔直送出系统的动态参数和电气量数据构建深度强将新能源经柔直送出系统的当前状态空间数据输入到所述训练好的深度强化学习模所述的基于新能源经柔直送出系统的动态参数和电气量数据构建深度强化学习模型，构建基于包含输入层、隐藏层和输出层的深度神经网将所述深度强化学习模型作为附加阻尼控制器的自适应优化器，所述为vdc1与其参考值的偏差其中：_in为vLd2的参考值33.根据权利要求2所述的方法，其特征在于，所获取新能源经柔直送出系统的当前状态空间数据s，该状态空间将所述状态空间数据s输入到训练好的深度强化学习模型，训练好的深度强化学习模φ将所述附加阻尼控制参数a应用于附加阻尼控制器，将附加阻尼控制器的输出信号作用于VSC的直流电压控制回路或交流电压控制回路，在线调整附加阻尼控制器的附加阻尼控制参数a，经过深度强化学习模型对系统状态的实时评估和决策，通过在线优化不断调4[0001]本发明涉及电力系统控制技术领域，尤其涉及一种基于TD3(TwinDelayedDeep[0002]随着可再生能源的大规模接入，柔性直流输电已成为可再生能源输电的重要方[0004]本发明的实施例提供了一种基于TD3算法的新能源经柔直送出系统振荡抑制方[0006]一种基于双延迟深度确定性策略梯度TD3算法的新能源经柔直送出系统振荡抑制[0009]将新能源经柔直送出系统的当前状态空间数据输入到所述训练好的深度强化学[0011]构建基于包含输入层、隐藏层和输出层的深度神经网络结构的深度强化学习模5为vdc1与其参考值的偏差6[0044]将所述状态空间数据s输入到训练好的深度强化学习模型，训练好的深度强化学φ[0045]将所述附加阻尼控制参数a应用于附加阻尼控制器，将附加阻尼控制器的输出信号作用于VSC的直流电压控制回路或交流电压控制回路，在线调整附加阻尼控制器的附加[0050]图2为本发明实施例提供的一种实现附加阻尼控制参数的自适应调节方法的处理7语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该HighVoltageDirectCurrent,电压源换流器型高压直流输电)的发送端换流器VSC2和接[0058]本发明实施例提供的一种基于TD3算法的新能源经柔直送出系统振荡抑制方法的[0060]步骤S20：基于新能源经柔直送出系统的动态参数和电气量数据构建深度强化学学习模型在线调整附加阻尼控制器的参数，生成新能源经柔直送出系统的最优控制策略，8[0066]上述深度强化学习模型的构建过程包括：首先需要对PMU等设备采集的原始数据[0067]本发明采用TD3算法来设计自适应的附加阻尼控制器，所述状态空间中的系统运为vdc1与其参考值的偏差[0082]VSC2的动作空间:a,""=tk""(),T""(),r""()}9[0105]执行动作并观察奖励r和下一状态s'i＝1,2[0118]使用TD3算法对深度强化学习模型进行训练的过程包括：建立两个评论家网络以行:[0122]训练好的深度强化学习模型的输入数据是在线测量到的之前定义好的状态空间[0123](1)获取系统当前状态空间数据s，该状态空间数据s包括新能源等效直流电流、φ作用于VSC的直流电压控制回路或交流电压控制回路，在线调整附加阻尼控制器的附加阻[0129]工况3:idc1＝1100A,R[0130]如图4所示，仿真结果表明，本发明方法与传统固定参数方法和DQN(DeepQ_[0132]综上所述，本发明提供了一种用于新能源经柔直送出