强化学习 课件 第7章 Actor-Critic型算法

第七章Actor-Critic型算法北京大学余欣航目录Actor-Critic算法Actor-Critic算法的改进确定性策略梯度算法（DPG、DDPG）案例：利用Actor-Critic算法求解钟摆平衡问题Actor-Critic算法

策略梯度方法的不足之处

Actor-Critic算法

Actor-Critic算法

利用Critic估计的值函数指导Actor的更新方向Actor用来生成策略，并将策略交给Critic进行执行并评判，两者类似演员和观众的关系，开始时Actor随机表演，Critic随机打分，经过不断训练，Critic打分越来越准，Actor表演越来越好Actor和Critic

Actor-Critic算法流程

使用需要评估的策略与环境交互

Actor-Critic算法流程使用TD(0)偏差来指导Critic网络参数的更新使用Q值指导Actor网络参数的更新Actor-CriticwithBaseline

优势函数的理解

优化技巧

Actor-CriticwithBaseline算法流程

Actor-Critic算法总结Actor-Critic算法的改进广义优势函数估计

广义优势函数估计

Actor-CriticwithExperienceReplay（ACER）

WangZ,BapstV,HeessN,etal.Sampleefficientactor-criticwithexperiencereplay[J].arXivpreprintarXiv:1611.01224,2016.并行训练并行训练可以解决数据间关联性强，独立性差的问题一个“本体”网络，称为globalnet，包含“本体”Actor网络和Critic网络多个“分身”网络，称为thread-specificnet：包含“分身”Actor网络和Critic网络结构与“本体”网络完全一致完全独立地与环境交互和训练“分身”网络只计算出需要更新的梯度并将其交给“本体”网络，自身参数并不根据梯度更新“本体”网络进行参数更新后，每过一段时间，再将自身参数同步给“分身”网络A3C算法

MnihV,BadiaAP,MirzaM,etal.Asynchronousmethodsfordeepreinforcementlearning[C]//Internationalconferenceonmachinelearning.2016:1928-1937.异步并行训练Asynchronous是“异步”的意思，“分身”积累一定地需要更新的梯度，马上传递给“本体”，不用顾及其它“分身”的情况各个“分身”相互独立，与“本体”通信的时间不同步Critic评估函数的优化

A3C算法流程

A3C算法流程

A2C算法A3C的主要优势在于采用了并行训练，而不一定采用异步并行训练同步并行训练的Actor-Critic算法在A3C的基础上去掉了异步（Asynchronous）,所以称为AdvantageActor-Critic，简称A2C增加“协调员”（Coordinator）机制

同步并行训练当“分身”请求与“本体”发生通信，“协调员”会记住分身，并令其等待“协调员”发现所有“分身”都请求通信后，会把它们要回报的信息一起交给“本体”待“本体”更新后，“协调员”把“本体”最新的参数同时传给所有“分身”

确定性策略梯度算法（DPG、DDPG）确定性策略

用基于价值的角度理解回顾Q-learning中的迭代公式：如果在动作连续的MDP中Q是什么形式的函数？对于确定的s’，如何才能求出a’使得Q(s’,a’)最大？为此，必须定义一个专门的网络用来确定maxQ！确定性策略梯度（DeterministicPolicyGradient，DPG）

Off-policy确定性策略梯度

Off-policy确定性策略梯度

DDPG算法

DDPG算法

DDPG算法流程

DDPG算法流程

DDPG算法流程

DDPG算法流程

DDPG算法流程DDPG算法总结结构神经网络公式表示输入输出Critic目标网络原网络Actor目标网络原网络总结基于价值—SarsaDQN基于策略—策略梯度Actor-CriticDDPGA2CA3C异步并行训练同步并行训练案例：利用A2C算法求解钟摆平衡问题钟摆平衡问题倒立摆问题是控制中的经典问题钟摆以随机位置开始，向上摆动，目标是使其保持直立通过