强化学习（微课版）课件6-强化学习基础_第1页
强化学习（微课版）课件6-强化学习基础_第2页
强化学习（微课版）课件6-强化学习基础_第3页
强化学习（微课版）课件6-强化学习基础_第4页
强化学习（微课版）课件6-强化学习基础_第5页
已阅读5页，还剩15页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

强化学习基础教学提纲1掌握强化学习的基本框架2掌握强化学习的运作机制3掌握强化学习的构成要素4掌握强化学习的基础概念强化学习框架基本框架（5大构成要素）系统环境（SystemEnvironment）参与者（Agent）观察（Observation）行动（Action）奖励（Reward）——包含正奖励（激励）和负奖励（惩罚）强化学习框架基本框架（5大构成要素）系统环境（SystemEnvironment）参与者（Agent）观察（Observation）行动（Action）奖励（Reward）——包含正奖励（激励）和负奖励（惩罚）行动（站立）奖励（棍棒）行动（坐下）奖励（狗粮）指令：坐下系统环境——完全观测与不完全观测完全观测（FullObseravation）不完全观测（PartialObservation）引用：1./a/180720170248887.html系统环境——完全观测与不完全观测

系统环境——完全观测与不完全观测

轨迹（Trajectory）参与者要素参与者才是强化学习的实际使用者。在强化学习中，参与者一般具有3个构成要素，包括：策略（Policy），是参与者在观察环境后产生的行动方案；值函数（ValueFunction），是针对状态或行动的评价函数；模型（Model），是参与者对观察到的系统环境建立的模拟模型。折现

折现

？折现例：小明计划1年后去买辆10万元的代步车，为了防止自己乱花钱，小明决定把购车需要的款项存银行定期。他去银行了解到，目前银行的一年期定期利率为3%，他打算存1年银行定期。请问，小明现在要存入多少钱定期，1年后能有10万元的购车款?从上式计算得知：小明只需要去银行存9.8087万元，1年后就有10万元的购车款。

折现

基于此，我们给出长期回报（Return）的定义：

参与者要素——值函数

参与者要素——值函数

参与者要素——值函数

参与者要素——模型在强化学习中，模型（Model）是指参与者对观察到的系统环境建立的模拟模型。自动驾驶：环境复杂马尔科夫决策过程状态转移概率10.50.50.50.50.5（低温）（高温）（过热）加速，+2加速，+2减速，+1减速，+1减速，+1加速，-10有模型的强化学习（Model-based）参与者要素——模型

10.50.50.50.50.5（低温）（高温）（过热）加速，+2加速，+2减速，+1减速，+1减速，+1加速，-10参与者要素——模型

10.50.50.50.50.5（低温）（高温）（过热）加速，+2加速，+2减速，+1减速，+1减速，+1加速，-10参与者要素——模型无模型的（Model-free）强化学习：无法预测下一时刻的状态和奖励。针对无模型的情况，参与者主要依赖于学习（Learning）进行强化学习。学习（Learning）：在没有模型的情况下，参与者在环境给予的真实经验数据上进行学习，而不是模型产

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论