强化学习 课件 第6章 策略梯度法_第1页
强化学习 课件 第6章 策略梯度法_第2页
强化学习 课件 第6章 策略梯度法_第3页
强化学习 课件 第6章 策略梯度法_第4页
强化学习 课件 第6章 策略梯度法_第5页
已阅读5页，还剩31页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

第六章策略梯度法北京大学余欣航目录策略梯度的思想REINFORCE算法（vanillapolicygradient）REINFORCE算法的改进案例：利用策略梯度算法求解小车上山问题策略梯度的思想强化学习算法分类

强化学习算法基于模型无模型蒙特卡罗方法—时间差分方法—基于价值on-policy—Sarsaoff-policy—Q-learningDQN神经网络基于价值—值迭代

基于策略—策略迭代

基于策略—策略梯度方法(PolicyGradient)基于策略方法的思想基本思想：直接优化策略本身，从而得到最佳策略

基于策略方法的优势适合处理连续动作问题可学习到随机性策略随机性策略的重要性吸尘器的目标是吸除灰尘并避免杀死仓鼠确定性策略下，处于粉色状态时向右或向左移动，无论哪种情况都会陷入死循环中随机性策略下，处于粉色状态时随机向左或向右移动，很有可能达到目标状态确定性策略随机性策略随机性策略梯度方法

优化目标和方法

策略梯度的推导

采用对数技巧简化求导计算

回到期望形式

策略梯度定理策略函数形式

REINFORCE算法（vanillapolicygradient）蒙特卡罗方法（MonteCarlo）

首次访问和每次访问

增量更新和蒙特卡罗控制

REINFORCE算法

REINFORCE算法流程

首次访问举例：小车上山问题

小车位于两峰之间，目标是以尽可能少的步数到达右边高峰山顶黄旗处，但是小车动力受到限制，因此无法直接加速到达右边峰顶，需要控制其先获得足够大的速度才能达到目标位置形式化为MDP问题

小车当前的位置和动作会共同决定下一时刻小车的速度步骤1：建立并初始化策略函数

隐藏层输入层输出层步骤2：获得观测序列

步骤3：参数更新

对梯度求平均不断迭代后观察效果

重复步骤2和步骤3，迭代1000次后得到的效果如下：REINFORCE算法的改进REINFORCE算法存在的问题

基线（baseline）

基线的作用

on-policy和off-policy

蒙特卡罗重要性采样

重要性采样策略梯度

探索策略

REINFORCE算法总结

优势：更好的收敛性适合处理高维或连续动作问题可以学习随机性策略劣势：容易收敛到局部最优策略估计训练速度慢，方差较大案例：利用策略梯度方法求解小车上山问题案例介绍

以Gym作为实验环境，模拟小车上山问题利用TensorFlow搭建

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论