机器学习 课件 第9章　矩阵与张量分解

什么是强化学习引言什么是强化学习航海王——路飞和他的伙伴们宝藏“onepiece”引言什么是强化学习航海王——路飞和他的伙伴们在这个过程中，他们要经历许多决策招募伙伴帮助居民帮助居民找到onepiece引言什么是强化学习找到“onepiece”宝藏序贯决策过程（强化学习过程）过程中包含状态、动作、反馈(奖赏)等需多次决策，在过程中不断摸索，才能总结出较好的策略强化学习的基本要素什么是强化学习强化学习的基本要素什么是强化学习强化学习的基本要素什么是强化学习强化学习实际上是找一个从观测到动作的最优映射函数输入是外界观测目标是奖励最大化强化学习的主要特点什么是强化学习学习过程中没有监督信号，只有奖励（reward）其反馈（feedback）是延迟的而非瞬间的强化学习过程与时间序列相关，是一个序贯决策的过程Agent采取的动作（action）会影响到它所接受的序列数据用强化学习解决问题什么是强化学习摆车问题一般方法：需要知道车和摆的质量、摆的长度……强化学习方法：自己学习，不需要这些知识用强化学习解决问题什么是强化学习AlphaGo

（Zero）从经验中学习新知识用强化学习解决问题什么是强化学习淘宝搜索广告业务用户点击扣费浏览过程即与平台连续交互的过程排序问题RL问题利用强化学习的序列优化能力进行策略优化强化学习算法分类及发展趋势什么是强化学习Model-freeRL(不理解环境)

Model-basedRL(理解环境)…强化学习算法分类及发展趋势什么是强化学习基于策略(Policy-BasedRL)，

基于值(Value-basedRL)10%20%10%30%20%21-132强化学习算法分类及发展趋势什么是强化学习在线学习(On-policy)

离线学习(Off-policy)…强化学习算法分类及发展趋势什么是强化学习回合更新单步更新(Monte-Carloupdate)

(Temporal-Differenceupdate)游戏开始游戏结束更新游戏开始游戏结束更新更新更新更新更新更新强化学习参考资料什么是强化学习学习书籍：RichardS.Sutton《Reinforcementlearning:Anintroduction》课程：DavidSilver强化学习课程/video/av32149008UCB大学cs294深度强化学习课程/video/av20957290台湾大学李宏毅深度强化学习教程/video/av63546968强化学习参考资料什么是强化学习其他网络资源：强化学习资源合集/dennybritz/reinforcement-learningOpenai强化学习入门教程/en/latest/莫烦强化学习教程https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/强化学习速查表/udacity/rl-cheatsheetTheEnd马尔可夫决策过程——MDP主讲人：礼欣自编码MDP基本概念1MDP基本概念马尔可夫决策过程——MDP强化学习的基本框架MDP基本概念马尔可夫决策过程——MDP马尔科夫性MarkovpropertyMDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP马尔科夫过程MarkovprocessMDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP马尔科夫过程示例娱乐课1睡觉课2课3考过论文0.91.00.10.50.50.20.80.60.20.40.40.4MDP基本概念马尔可夫决策过程——MDP马尔科夫过程示例课1-课2-课3-考过-睡觉课1-课2-睡觉MDP基本概念马尔可夫决策过程——MDP马尔科夫过程示例课1-课2-课3-考过-睡觉课1-课2-睡觉——马尔科夫链Markovchain——给定转移概率时，从某状态出发存在多条马尔科夫链MDP基本概念马尔可夫决策过程——MDP马尔科夫决策过程MarkovdecisionprocessMDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP马尔科夫决策过程示例

0.20.40.4

睡觉

MDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP

MDP基本概念马尔可夫决策过程——MDP

自编码策略迭代与值迭代2策略迭代与值迭代马尔可夫决策过程——MDP引例-MazeProblem1234567891011121314Actions

策略迭代与值迭代马尔可夫决策过程——MDP策略迭代策略迭代分为两个过程：策略评估和策略更新策略评估：在当前的策略中更新各状态的值函数，如果达到迭代次数或者值函数收敛就不再迭代策略更新：基于当前值函数得到最优策略1234567891011121314策略迭代与值迭代马尔可夫决策过程——MDP策略迭代

0.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0策略评估策略更新策略迭代与值迭代马尔可夫决策过程——MDP策略迭代

0.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.00.0策略评估策略更新策略迭代与值迭代马尔可夫决策过程——MDP策略迭代

0.0-1.7-2.0-2.0-1.7-2.0-2.0-2.0-2.0-2.0-2.0-1.7-2.0-2.0-1.70.0策略评估策略更新策略迭代与值迭代马尔可夫决策过程——MDP策略迭代

0.0-1.7-2.0-2.0-1.7-2.0-2.0-2.0-2.0-2.0-2.0-1.7-2.0-2.0-1.70.0策略评估策略更新

策略迭代与值迭代马尔可夫决策过程——MDP策略迭代最终收敛结果：0.0-14.0-20.0-22.0-14.0-18.0-20.0-20.0-20.0-20.0-18.0-14.0-22.0-20.0-14.00.0

策略迭代与值迭代马尔可夫决策过程——MDP策略迭代的缺点：如果策略空间很大，策略评估就会很耗时。策略迭代与值迭代马尔可夫决策过程——MDP值迭代每次值迭代都找到让当前值函数最大的更新方式，并且用这种方式更新值函数。直到值函数不再变化。123456789101112131415策略迭代与值迭代马尔可夫决策过程——MDP值迭代0.00.00.00.00.00.00.00.00.00.00.00.00.00.00.00.0

策略迭代与值迭代马尔可夫决策过程——MDP值迭代0.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0-1.0

策略迭代与值迭代马尔可夫决策过程——MDP值迭代0.0-1.0-2.0-2.0-1.0-2.0-2.0-2.0-2.0-2.0-2.0-2.0-2.0-2.0-2.0-2.0

策略迭代与值迭代马尔可夫决策过程——MDP值迭代0.0-1.0-2.0-3.0-1.0-2.0-3.0-4.0-2.0-3.0-4.0-5.0-3.0-4.0-5.0-6.0

策略迭代与值迭代马尔可夫决策过程——MDP二者比较：策略迭代是累计平均的计算方式，值迭代是单步最好的方式。值迭代速度更快，尤其是在策略空间较大的时候。策略迭代更接近于样本的真实分布。自编码探索与利用3探索与利用马尔可夫决策过程——MDP探索与利用马尔可夫决策过程——MDP探索：是指做你以前从来没有做过的事情，以期望获得更高的回报。利用：是指做你当前知道的能产生最大回报的事情。探索与利用马尔可夫决策过程——MDP

ε-greedy｛探索与利用马尔可夫决策过程——MDP

探索与利用马尔可夫决策过程——MDP其他策略Boltzmann

strategyGaussianstrategyTheEndModel-free方法主讲人：礼欣自编码蒙特卡洛方法MonteCarlo1蒙特卡洛方法

MonteCarloModel-free方法引言蒙特卡洛方法

MonteCarloModel-free方法有一个半径为R的圆和一把豆子，如何计算圆周率？蒙特卡洛方法

MonteCarloModel-free方法撒点法蒙特卡洛方法

MonteCarloModel-free方法撒点法这也就是蒙特卡洛方法蒙特卡洛方法

MonteCarloModel-free方法为什么要用MonteCarlo方法？许多情况下我们不清楚MDP的真实状态转移概率和/或者即时奖励思想：通常情况下某个状态的价值等于在多个episode中以该状态算得到的所有奖励的平均。蒙特卡洛方法

MonteCarloModel-free方法Episode每条episode就是一条从起始状态到结束状态的经历。蒙特卡洛方法

MonteCarloModel-free方法蒙特卡洛的两种方法First-visitEvery-visit蒙特卡洛方法

MonteCarloModel-free方法

蒙特卡洛方法

MonteCarloModel-free方法

蒙特卡洛方法

MonteCarloModel-free方法

自编码时序差分学习TD-learning2时序差分学习TD-learningModel-free方法蒙特卡洛需要等到整个episode结束才能更新时序差分学习TD-learningModel-free方法蒙特卡洛需要等到整个episode结束才能更新蒙特卡洛需要大量的episode才能得到较为准确的结果时序差分学习TD-learningModel-free方法蒙特卡洛需要等到整个episode结束才能更新蒙特卡洛需要大量的episode才能得到较为准确的结果如何不使用完整episode，实现单步更新？时序差分学习TD-learningModel-free方法蒙特卡洛需要等到整个episode结束才能更新蒙特卡洛需要大量的episode才能得到较为准确的结果如何不使用完整episode，实现单步更新？TD(0)算法时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法

蒙特卡洛时序差分学习TD-learningModel-free方法

蒙特卡洛

时序差分

时序差分学习TD-learningModel-free方法

时序差分TDtarget蒙特卡洛MCerrorTDerror

时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法蒙特卡洛与时序差分的比较时序差分学习TD-learningModel-free方法

时序差分学习TD-learningModel-free方法蒙特卡洛与时序差分的比较

Monte-CarloTemporalDifference要等到episode结束才能获得return每一步执行完都能获得一个return只能使用完整的episode可以使用不完整的episode高variance，零bias低variance，有bias没有体现出马尔可夫性质体现出了马尔可夫性质初值不敏感初值敏感TheEndQ-learning和Sarsa主讲人：礼欣Q-learningQ-learning和Sarsa逃离密室Q-learningQ-learning和Sarsa逃离密室Q-learningQ-learning和Sarsa逃离密室Q-learningQ-learning和Sarsa逃离密室Q-learningQ-learning和Sarsa逃离密室Q-learningQ-learning和Sarsa逃离密室Q-learningQ-learning和Sarsa逃离密室state为行，action为列(达到state0,...,state5)，R矩阵则为：其中的-1表示空值（相应的节点之间没有边相连）Q-learningQ-learning和Sarsa逃离密室Q-learningQ-learning和Sarsa算法流程注意：在状态s’时，只是计算了在s’时要采取哪个a能得到更大的Q值，并没有执行；Q-learningQ-learning和Sarsa算法流程

Q-learningQ-learning和Sarsa学习率看作是保留多少旧值、生成新值的度量。如果学习率越大，新估计值代替旧估值的比例越大。学习率为1时新估值完全代替旧值，旧Q值被完全抛弃此时Q-learning更新规则如下Q-learningQ-learning和Sarsa逃离密室

Q-learningQ-learning和Sarsa逃离密室

Q-learningQ-learning和Sarsa逃离密室Q-learningQ-learning和Sarsa逃离密室Q-learningQ-learning和Sarsa逃离密室Q-learningQ-learning和Sarsa逃离密室Q-learningQ-learning和Sarsa逃离密室Q-learningQ-learning和Sarsa逃离密室Q-learningQ-learning和Sarsa逃离密室Q-learningQ-learning和Sarsa逃离密室自编码Sarsa2SarsaQ-learning和Sarsa算法流程SarsaQ-learning和Sarsa算法流程SarsaOn-policyQ-learningOff-policySarsaQ-learningQ-learning和SarsaSarsaQ-learningQ-learning和SarsaSarsaQ-learningQ-learning和Sarsa来源：莫烦python教程https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/3-1-tabular-sarsa1/TheEnd深度强化学习-DQN主讲人：礼欣自编码从tabular到approximate1从tabular到approximate深度强化学习-DQNTabular

Q-learning从tabular到approximate深度强化学习-DQNTabular

q-learning的缺陷迷宫俄罗斯方块Atari游戏从tabular到approximate深度强化学习-DQN10^110^60迷宫俄罗斯方块10^16992(pixels)Atari游戏Tabular

q-learning的缺陷维度灾难从tabular到approximate深度强化学习-DQN

从tabular到approximate深度强化学习-DQN

从tabular到approximate深度强化学习-DQN从tabular到approximate深度强化学习-DQN

Q值从tabular到approximate深度强化学习-DQN

Q值从tabular到approximate深度强化学习-DQN

Q值

从tabular到approximate深度强化学习-DQN

神经网络

自编码DQN2DQN深度强化学习-DQNDQN深度强化学习-DQN

DQN深度强化学习-DQN

DQN深度强化学习-DQNLossFunctionDQN深度强化学习-DQNLossFunctionQ-learning的更新规则DQN深度强化学习-DQNLossFunctionQ-learning的更新规则因此我们的损失函数为DQN深度强化学习-DQN训练样本DQN深度强化学习-DQN

DQN深度强化学习-DQN

DQN深度强化学习-DQN算法流程（DQNNIPS2013）DQN深度强化学习-DQN一些技巧DQN深度强化学习-DQN一些技巧一般mini-batch设置为32DQN深度强化学习-DQN一些技巧一般mini-batch设置为32Experiencereplay用在新问题上一般为10^6DQN深度强化学习-DQN超参数经验技巧一般mini-batch设置为32Experiencereplay用在新问题上一般为10^6不用现在的参数计算target，而用之前更新的参数计算DQN深度强化学习-DQNTargetnetwork(NatureDQN2015)DQN深度强化学习-DQN

Q网络

Targetnetwork

Target-Q网络

计算

DQN深度强化学习-DQN

Q网络