9.2马尔可夫决策过程_第1页
9.2马尔可夫决策过程_第2页
9.2马尔可夫决策过程_第3页
9.2马尔可夫决策过程_第4页
9.2马尔可夫决策过程_第5页
已阅读5页，还剩34页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

马尔可夫决策过程——MDP主讲人：礼欣自编码MDP基本概念1MDP基本概念马尔可夫决策过程——MDP强化学习的基本框架MDP基本概念马尔可夫决策过程——MDP马尔科夫性MarkovpropertyMDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP马尔科夫过程MarkovprocessMDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP马尔科夫过程示例娱乐课1睡觉课2课3考过论文0.91.00.10.50.50.20.80.60.20.40.40.4MDP基本概念马尔可夫决策过程——MDP马尔科夫过程示例课1-课2-课3-考过-睡觉课1-课2-睡觉MDP基本概念马尔可夫决策过程——MDP马尔科夫过程示例课1-课2-课3-考过-睡觉课1-课2-睡觉——马尔科夫链Markovchain——给定转移概率时，从某状态出发存在多条马尔科夫链MDP基本概念马尔可夫决策过程——MDP马尔科夫决策过程MarkovdecisionprocessMDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP马尔科夫决策过程示例

0.20.40.4

睡觉

MDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP

自编码策略迭代与值迭代2策略迭代与值迭代马尔可夫决策过程——MDP引例-MazeProblem1234567891011121314Actions

策略迭代与值迭代马尔可夫决策过程——MDP策略迭代策略迭代分为两个过程：策略评估和策略更新策略评估：在当前的策略中更新各状态的值函数，如果达到迭代次数或者值函数收敛就不再迭代策略更新：基于当前值函数得到最优策略1234567891011121314策略迭代与值迭代马尔可夫决策过程——MDP策略迭代

0.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0策略评估策略更新策略迭代与值迭代马尔可夫决策过程——MDP策略迭代

0.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.00.0策略评估策略更新策略迭代与值迭代马尔可夫决策过程——MDP策略迭代

0.0-1.7-2.0-2.0-1.7-2.0-2.0-2.0-2.0-2.0-2.0-1.7-2.0-2.0-1.70.0策略评估策略更新策略迭代与值迭代马尔可夫决策过程——MDP策略迭代

0.0-1.7-2.0-2.0-1.7-2.0-2.0-2.0-2.0-2.0-2.0-1.7-2.0-2.0-1.70.0策略评估策略更新

策略迭代与值迭代马尔可夫决策过程——MDP策略迭代最终收敛结果：0.0-14.0-20.0-22.0-14.0-18.0-20.0-20.0-20.0-20.0-18.0-14.0-22.0-20.0-14.00.0

策略迭代与值迭代马尔可夫决策过程——MDP策略迭代的缺点：如果策略空间很大，策略评估就会很耗时。策略迭代与值迭代马尔可夫决策过程——MDP值迭代每次值迭代都找到让当前值函数最大的更新方式，并且用这种方式更新值函数。直到值函数不再变化。123456789101112131415策略迭代与值迭代马尔可夫决策过程——MDP值迭代0.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0

策略迭代与值迭代马尔可夫决策过程——MDP值迭代0.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0

策略迭代与值迭代马尔可夫决策过程——MDP值迭代0.0-1.0-2.0-2.0-1.0-2.0-2.0-2.0-2.0-2.0-2.0-2.0-2.0-2.0-2.0-2.0

策略迭代与值迭代马尔可夫决策过程——MDP值迭代0.0-1.0-2.0-3.0-1.0-2.0-3.0-4.0-2.0-3.0-4.0-5.0-3.0-4.0-5.0-6.0

策略迭代与值迭代马尔可夫决策过程——MDP二者比较：策略迭代是累计平均的计算方式，值迭代是单步最好的方式。值迭代速度更快，尤其是在策略空间较大的时候。策略迭代更接近于样本的真实分布。自编码探索与利用3探索与利用马尔可夫决策过程——MDP探索与利用马尔可夫决策过程——MDP探索：是指做你以前从来没有做过的事情，以期望获得更高的回报。利用：是指做你当前知道的能产生最大回报的事情。探索与利用马尔可夫

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论