人工智能基础与实践 第9章 强化学习I

教育部教育部-华为智能基座课程章节目录章节目录强化学习基本概念•过去十年，人工智能领域取得了一系列突破，其中许多都与一个名为“强化学习”的技术紧并最终击败了世界冠军。又比如现在炙手可热的“人形机器人”，这些机器人能够完成流畅•强化学习，简而言之，它的目标是训练一个智能体，使其能够通过与环境的自主交互，学会独立完成某个特定任务。这里的“智能体”可以是一个程序、一个机器人，或任何一个决策实体；“环境”则是它所在的世界，比如围棋棋盘、游戏屏幕，或是物理空间。这个过程智强化学习基本概念强化学习基本概念•强化学习的模型可以抽象为一个马尔可夫链。其由三个重要的元素组成：State状态、Action动作、如无人驾驶汽车在十字路口，需要先“观察”这个路口的特征（如交通标志、交通信号灯、行人情况），6强化学习基本概念•A（action）动作，就是智能体做出的行为。动作空间就是该智能体能够做出的动作数量。例如在围强化学习基本概念动作(A)使智能体进入另外一个状态(S)，并返回奖励在某一状态下智能体有可能选择多种行为的其中一种；由于环境的随机性，哪怕是选择同一种行为也可能会强化学习基本概念•进一步地，当智能体处在某一状态下，有可能•具体地说，策略就是在各个状态下智能体选择章节目录贝尔曼公式状态价值与动作价值既有正，也有负。正代表我们鼓励智能体在这个状态下继续这么做；负得话代表我们并不希望智但更多的时候，让我们考虑这样一种可能：当智能体选择动作A1时虽然只得到了比动作A2更少贝尔曼公式状态价值与动作价值需要注意的是，在背景一定时，需要注意的是，在背景一定时，V值只与策略有关，也只有在贝尔曼公式状态价值与动作价值ActionValue动作价值，我们称为Q值，用于评价一个动作的好坏。与V值类似，Q值代表了1.都是马尔可夫链上的节点；2.价值评价的方式是一样的：从当前节点出发，一直走到最终节贝尔曼公式状态价值与动作价值一个状态的V值，就是这个状态下的所有动作的Q值，rs动作a转移到状态s’的概率、状态s下采取贝尔曼公式状态价值与动作价值这就是著名的贝尔曼公式，它揭示了当我们给定一个策略π和环境模型（就是该公式在求得了V值和Q值之后，我们可以认为，当策略π对应的V值在所有策略中最大贝尔曼公式贝尔曼公式的求解其中p(r|s,a)r贝尔曼公式贝尔曼公式的求解这个公式就是贝尔曼公式的矩阵形式，也是最常见最我们可以很直接的通过求解这个矩阵方程得到V值。然而在实际的场景里，求一贝尔曼公式贝尔曼公式的求解+"pvk通过初始化一个v再通过上述公式不断迭代就可以无限逼近真实的V值。通常在迭代一定次数后就贝尔曼公式贝尔曼最优公式什么是最优策略？我们需要知道如何比较两个策略的好坏，这里!2!成立，我们认为策略π!优于π2。贝尔曼公式贝尔曼最优公式π贝尔曼最优公式巧妙地描述了最优策略和最优状态值的关系。求解该公式实际上就是在求解最优贝尔曼公式值迭代算法也就是说，在迭代时对V值的估算，需要通过根据估计的贝尔曼公式值迭代算法值迭代算法）；2）对于状态s下可以选择的所有动作a，我们通过估计值vk（s）和策略πk下的动作选择概率）；）；这个算法就是值迭代算法，它通过不断维护一个状态价值函数vk（s）来求解贝尔曼最优公式。贝尔曼公式值迭代算法k)πk+!k+!k贝尔曼公式策略迭代算法值迭代算法通过维护一个状态价值函数来寻找最优价值，通过直接求解贝尔曼最优公式的方法来求得最优策略。而事实上还存在另一种方法，我们可以通过维护一个策略，不断优化这个策略kk贝尔曼公式策略迭代算法它维护一个明确的策略π,并通过两个步骤不断迭代。更具体地讲，在Policyevaluation时，我们根据目前的策略π来求得对应的V值与Q值；在Policyimprovement时，我们则利用得到的Q值迭代和策略迭代的收敛性都是可以严谨证贝尔曼公式必须已知目前的环境模型（奖励和状态转移概率）才能使用。贝尔曼公式总结这两个算法解决的问题都是求解贝尔曼最优公式，也就是说解决的是这两个算法都基于一个关键假设：智能体已经完全知晓环境的模型，即知道状态转移概率P章节目录强化学习基础算法蒙特卡洛方法首先要解决的问题是，在我们没有环境模型时如何计算Q值。这一过程也被称为从4.我们从最终状态开始向前回溯：计算每个动作执行后强化学习基础算法•我们首先根据给定的策略π探索环境，得到一段马尔可夫链；然后再向前回溯计算每一次状态转移后的G值并记录。通过多次探索环境，得到多个马尔可夫链后，通过平均G值来估算Q值。这一过程就强化学习基础算法•在得到估算的Q值后，下一步就需要优化我们的策•但是受限于数据的不确定性，更常见的Q值最大的动作设置最高的选择概率，同时又保留一小部分概率分配给剩余动作以保证探索性。这个方法叫做ε-greedy，因为其通过ε这一参数来平衡强化学习基础算法MC方法的核心是通过多次采样计算频率来代替概率。这一思路指出了在强化学习中，当我们没每一次都要转很久很久才能更新一次G值。同时每一次采样的数据只会被利用一次，而这在数强化学习基础算法•TD-Learning即时序差分算法，通常指一类广泛的强化学习算法，有时候也特指一种专门用绍最著名的一个时序差分算法——Q-le•TD算法改进自MC算法，为了解决其必须完整采样后才能训练的弊端，我们自然而然会想到，能不能在到达最终状态之前就对估计的V值/Q值进行3.我们就假设N步之后，就到达了最终状态了。如果这个“最终状态”我们之前没有走过，所以这个状态是空白的，我们就当这个状态值为0；假设“最终状态”上我们已经走过了，这强化学习基础算法我们从A状态，经过1步，到B状态。我们什么都不管就当B状态是最终状态了。但B状态本身我们假设B状态的V值是对的，那么，通过回溯计算，我们就能利用B状态的V值更新A状态的强化学习基础算法想象你在山脚下（状态A要目测到山顶（目标）的距离。你眯着眼猜测：“我估计从这到强化学习基础算法这里的“t(st)是学习率，但不同于深度学习里GD使用的那个学习率，这里的学习率控制的是新探索得到的经验，也就是TD-error，强化学习基础算法需要指出的是这一算法不涉及策略优化，实际上解决的只是如何求Q值和V值的问题。那么我强化学习基础算法Q-learning最简单的办法就是：用下一个动作的Q值代替V值。这个公式就是Sarsa，其实很简单，就是一个Q值版本的TD算法。利用这个强化学习基础算法Q-learning•那么什么是Q-learning呢？我们也直接给出公式：•与Sarsa不同的是，它的TD-target从简单的下一个动作的Q值加奖励，变成了当前状态下可•道理其实也很简单：因为我们需要寻着的是能获得最多奖励的动作，Q值就代表我们能够获得今后奖励的期望值。所以我们也只会选