DQN(深度强化学习)幻灯片

1、通过深度强化学习实现人的控制水平和强化学习。强化学习是指智能体(也称为智能系统或智能体)通过与环境的交互来学习从环境状态到行为的映射，学习的目标是最大化其累积的折扣回报值。传统的强化学习依赖于人工特征和线性价值函数或策略表达的结合。马尔可夫决策链，马尔可夫决策过程一般包括以下五个要素：状态集。例如，对象位置坐标。动作集a。例如，执行一系列可行的动作集，如向上、向下、向左和向右。状态转移概率Psa。Psa表示在一个状态下执行一个动作后移动到下一个状态的概率分布，有时用下面的形式t (s，a，s)表示，其中s是在状态s下执行动作a后的状态。阻尼系数或折扣系数。返回函数R，R: XaR，指示在当前状

2、态下执行某个操作时可以获得的返回值。马尔可夫决策过程，代理人的决策过程如下：计算总收益值v:如果收益函数r只与状态s有关而与行动无关：我们选择收益最大化的最佳策略：马尔可夫决策过程， 价值函数v被定义为在当前状态s下通过执行策略可以获得的预期累积折扣回报：我们将上述公式表示为当前回报和后续回报的形式：假设存在最优策略，那么我们可以得到最优价值函数：这是Bellman方程形式，q-leasing算法，1。 Suttons TD(0)算法：该算法将同时考虑当前返回和下一状态的估计值，其更新公式如下：公式右侧的V(s)是V(s)的旧值(值迭代的过程)，这是学习效率。2.q-leasing算法：它类似

3、于萨顿TD(0)算法，只考虑动作集a。定义行动价值函数Q(s，a)，更新Q学习规则：深度强化学习(DRL)，将深度学习与强化学习相结合，直接从高维原始数据中学习控制策略。特别是将卷积神经网络和Q学习结合在一起。卷积神经网络的输入是原始图像数据(作为状态)，输出是对应于每个动作的值函数，以估计未来的反馈奖励。然而，这两种方法很难结合，具体如下：(1)深度学习的成功依赖于大量的标记样本，从而进行监督学习。然而，强化学习只有一个回报值，而且这个值经常是嘈杂的、延迟的和罕见的，所以不可能给每个状态一个回报。特别是，延迟通常在数千毫秒后返回。深度强化学习(DRL)，(2)深度学习的样本都是独立的，但学习

4、者学习的状态是相关的，学习前后的状态是有影响的，这是显而易见的。(3)深度学习的目标分布是固定的。一张图片是一辆汽车是一辆不会改变的汽车。然而，增强学习的分布总是在变化。例如，超级玛丽，前面的场景和后面的不同。也许前面的训练是好的，但是后面的训练是坏的，或者后面的训练是好的，前面的不能用。DQN算法，DQN=美国有线电视新闻网Q-学习(1)使用奖励通过Q-学习构建标签；(2)通过经验回放解决相关性和非静态分布问题。DQN算法，由于输入是RGB且像素高，因此，图像经过初步处理，成为以灰度矩形84*84为输入的图像，有利于卷积。下一步是建立模型，毕竟Q(s，A)包含S和A。一种方法是输入S和A并输出Q值，这很不方便，而且每个A都需要通过网络转发。Deepmind的方法是，神经网络只输入S，并输出对应于每个A的Q。这种方法的优点是，你可以通过输入S并向前传播一次来获得A的所有Q值。毕