机器学习及其应用课件 第9章-深度强化学习

9.1强化学习基本知识9.4深度强化学习应用9.3基于策略的学习9.2基于价值的学习第九章深度强化学习9.1强化学习基本知识9.1.1强化学习概述9.1.2马尔可夫模型9.1.3策略迭代与值迭代引入强化学习和深度强化学习无监督学习无标注，发现结构监督学习有标注，预测标签标注强化学习通过试错优化决策外部环境挑战：高纬状态、连续动作深度强化学习深度神经网络感知复杂环境决策控制任务9.1.1强化学习概述机器人环境动作反馈强化学习的思路与前述监督学习和无监督学习方式都有着较大差异。强化学习主要是智能体与其外部环境之间进行不断地动态交互过程。小游戏：让小人以最短路径拿到礼物传统方式解决9.1.1强化学习概述强化学习方法

可以说是面向结果编程，不去在乎过程游戏存在的16种状态反馈表：每个格子是否有障碍或礼物第1列第2列第3列第4列第1行-1-1-1-1第2行-1-100-1-100第3行-1-1-1-100第4行-100-1-1100第1列第2列第3列第4列第1行最劣劣劣最劣第2行劣一般第3行一般优优第4行优最优评估状态的优劣：距离礼物的距离9.1.1强化学习概述Q表，所有状态下所有动作的分数动作以该路径为例，则会产生以下数据9.1.1强化学习概述汉语英语英语简写解释状态state即游戏环境当前的状态动作action即执行的动作反馈reward执行动作后获得的反馈，一般是一个数字下一时刻状态nextstate执行动作后到达的状态结束over是否已经结束，一般为布尔值名词对照表So，到底什么是强化学习？强化学习是智能体在所处环境中不断交互，根据环境返回奖励或惩罚的反馈信息来评估当前行为的好坏。智能体无法直接知道哪种选择最优，只能通过不断尝试与探索，逐步调整策略，最终学会在不同状态下做出能使长期累计奖励最大化的决策。9.1.1强化学习概述强化学习的两种基本类型有模型强化学习（Model-BasedRL）VS.无模型强化学习（Model-BasedRL）总结：有模型较易，但复杂问题常缺所需的模型；无模型适用性更广，是主要的研究对象已知环境模型状态转移矩阵&奖励函数规划与决策明确的状态转移；使用具体模型学习依靠概率统计推断；直接从经验中学习未知黑盒环境无明确环境模型估计值函数/策略9.1.1强化学习概述深度强化学习深度学习强化学习深度强化学习感知能力决策能力长处：感知复杂特征多层神经网络训练样本&标注标签长处：决策复杂任务试错交互获取奖励回报策略/价值函数优化感知复杂过程高位编码特征探索复杂动作决策

优化策略Agent9.1.1强化学习概述在捉迷藏游戏中，智能体逐渐发现了越来越复杂的工具使用方法。智能体构建了一系列不同的策略和反策略，在这样一个简单的环境中出现的这种自我监督的复杂性进一步表明，多智能体的协同适应有朝一日可能会产生极其复杂和智能的行为。Multi-AgentHideandSeek很多学者认为深度强化学习将成为一种能够解决复杂问题的通用智能计算方式，并为以大语言模型为代表的人工智能领域带来革命性的变化。9.1.1强化学习概述强化学习过程是智能体与系统环境之间不断进行交互的动态过程。这个动态过程涉及动作、系统环境、状态、奖励等多个要素，通常需要一个动态数学模型定量表示这些要素之间的联系和制约关系—马尔可夫模型9.1.2马尔可夫模型0.500.300.200.500.600.200.70特性：未来的状态只取决于现在的状态，而不依赖于之前的步骤

第四天供应热狗的概率

9.1.2马尔可夫模型转移矩阵0.20.60.20.300.70.500.5

状态概率分布假设开始时为披萨

010

0.300.70.20.60.20.300.70.500.5

010

0.410.180.410.20.60.20.300.70.500.5

0.300.7

0.20.60.20.300.70.500.5

0.410.180.410.340.250.41迭代多次后

0.35210.21120.4366

9.1.2马尔可夫模型由于强化学习过程并非单纯是状态到状态的变化，而是通过状态确定动作再由动作改变状态，并根据动作产生反馈信息，故使用马尔可夫过程表示强化学习过程必须将动作和反馈要素纳入考虑范围。这种纳入动作和反馈要素的马尔可夫过程通常称之为马尔可夫决策过程。马尔可夫决策过程

Markovdecisionprocess，简称MDP关键要素——集合，模型，策略，马尔可夫性质集合

模型

马尔可夫性质：马尔可夫性质(Markovproperty)指的是随机过程中的无记忆性质，它在数学上表示为：

下一状态和奖励仅依赖于当前时刻的状态和动作状态空间规模为4的马尔科夫决策过程9.1.2马尔可夫模型强化学习中确定累计反馈的基本流程图

9.1.2马尔可夫模型

策略(Policy)的定义与分类9.1.2马尔可夫模型策略是强化学习中智能体选择动作的规则。Agent智能体确定策略：从状态空间到动作空间的映射随机策略：基于状态输出动作的概率分布

特点：更灵活处理不确定环境是现代强化学习的基础随机策略

特点：简单无随机性一旦策略确定，行为完全确定

确定策略

9.1.2马尔可夫模型累计反馈期望(MAX)

9.1.2马尔可夫模型动作值函数

ActionActionActionActionAction

9.1.2马尔可夫模型例题：如下图a所示棋盘，智能体从左下角的“开始”位置出发，到达“终点”位置则任务结束。智能体到达终点时给予反馈值100，其他动作给予的反馈值为0，折扣因子为0.9。若采用如图b所示的策略选择动作，试求智能体位于“开始”位置时的状态值函数和动作值函数取值。终点开始（a）棋盘状态（b）策略示意图

解题思路9.1.3策略迭代与值迭代通过交替进行策略评估和策略改进，达到最优决策。

策略改进：用当前评估得到的值函数，把策略变得更贪心一点,得到更好的新策略

策略迭代（PolicyIteration）策略迭代是一种在强化学习中用来寻找最优策略的算法，迭代Iterate

9.1.3策略迭代与值迭代

结合路径寻优实例介绍策略迭代，策略迭代通过贪心优化方法选择最优动作实现对单次策略的改善。图（a）为初始策略，图（b）到图（h）的变化过程表示通过迭代过程不断改善策略的过程。由于图（g）和图（h）所示策略相同，故可认为此时策略迭代结束，其中图（h）所示策略既为最优策略。13141516910111256781234策略迭代寻找最优策略的具体过程网格地图9.1.3策略迭代与值迭代

关键要点1.动作空间和状态空间均为离散空间2.动作空间和状态空间规模较小3.贝尔曼方程迭代更细对于连续或规模较大的动作空间或状态空间造成：1.计算成本较高2.容易陷入局部最优解决办法：用基于函数逼近思想的冗余值迭代算法9.1.3策略迭代与值迭代冗余值迭代是一种改进的值迭代算法，通过引入权重向量和学习率，实现值函数的稳定更新，提高收敛速度和鲁棒性

解题思路9.1.3策略迭代与值迭代9.2基于价值的学习9.2.1时序差分算法9.2.2深度Q网络（DQN）9.2.3深度双Q网络（DDQN）9.2.4DQN模型改进本节核心:介绍基于价值的深度强化学习方法。首先讲解时序差分算法(Sarsa与Q学习)，随后引出为解决高维状空间问题的深度Q网络(DQN)，最后探讨其关键改进，如DDQN、优先经验回放、DuelingDQN及DRQN。有模型(Model-Based)⽆模型(Model-Free)VS9.2.1

时序差分算法背景:无模型强化学习的挑战前提：环境模型已知状态转移P和奖励R方法：动态规划(策略迭代值迭代)挑战：现实世界中，精确模型难获得前提：环境模型未知，智能体只能通过“试错”来学习方法：蒙特卡洛学习、时序差分学习挑战：直接从经验中估计值函数，进而找到最优策略核心总结：无模型强化学习是当环境模型未知时的学习范式。与有模型方法相比，它不依赖于已知的状态转移和奖励函数，而是直接从与环境的交互经验中学习最优策略。123VS9.2.1

时序差分算法：MC

vs.TD蒙特卡洛(MC)时序差分(TD)核心思想通过完整经验序列的平均回报来估计Q值核心思想利用自举，用后继状态的价值估计更新当前状态更新时机必须等待一个完整的Episode结束才能进行回溯更新。统计特性对初始值不敏感，属于无偏估计。局限性学习效率较低，方差较高，不适用于持续性任务。总结：MC需要等待“结果”才能学习，而TD在“过程”中就能修正预测，因此TD往往收敛更快。123更新时机每行动一步(TimeStep)即可利用新信息更新价值。统计特性是有偏估计，但方差较低对初始值敏感。优势学习效率高，单步更新，适用于连续任务。

MC

更新

TD

更新

TD学习的核心:价值函数更新推导批量平均（BatchAverage）增量式学习（Incremental）定义TD目标(TDTarget)最终单步TD更新公式在第k+1次采样后，Q值被更新为所有样本回报的均值。必须等待episode结束。

Sarsa算法(On-Policy

TD)核心更新公式：

算法执行步骤

Q-Learning算法(Off-PolicyTD)Q-Learning是一种典型的异策略(Off-Policy)算法。其核心思想是将行为策略(用于探索)与目标策略(用于评估和改进，通常是贪心策略)分离，从而在保持探索的同时学习最优策略。与Sarsa算法的关键区别

算法执行流程

Sarsa(同

策

略)Q-Learning(异

策

略

)VS.On-Policy(Sarsa)vs.Off-Policy(Q-Learning)核心理念：学习遵循当前策略下的价值行为特征：保守（Conservative）风险偏好：考虑探索带来的随机性，倾向于选择远离危险的安全路径核心理念：直接学习最优策略下的价值行为特征：激进（Aggressive）风险偏好：无视探索动作的风险，始终追求理论上的最短最优路径

基于MaxQ最优值→优先追求效率当状态空间巨大导致“维度灾难”时，Q-Table不可行。DQN通过深度神经网络（CNN）近似Q函数，解决了高维状态下的存储与泛化难题。核心观点状态空间爆炸(CurseofDimensionality)Q(s,a;θ)函数近似9.2.2深度Q网络(DQN)从Q-Table到Q-Network：为何需要深度学习？Q-Table的局限性DQN的解决方案

函数近似：使用神经网络拟合Q函数，参数量远小于状态数。泛化能力强：从已见状态泛化至未见过的相似状态。端到端学习：直接从原始像素输入学习动作策略。

TD

目标

9.2.2深度Q网络(DQN)损失函数

挑战一：样本相关性连续的样本之间高度相关，假设违反了监督学习的独立同分布(IID)。🔗挑战二：目标值不稳定TD目标值Y依赖于正在更新的网络参数θ，导致“移动靶”问题。🎯9.2.2深度Q网络(DQN)打破时间相关性，稳定训练核心思想：通过存储智能体与环境交互产生的历史经验数据，并从中随机采样，打破了连续样本之间的时间相关性，使神经网络的训练更加稳定，更符合独立同分布假设。工作流程核心优势机制与优势存储(Store)将交互样本(s,a,r,s')存⼊固定大小的经验池D。采样(Sample)从D中随机均匀抽取⼀个⼩批量(mini-batch)数据。训练(Train)使用采样数据计算损失Loss，更新Q⽹络参数。打破相关性数据重用效率平滑学习过程梯度更新基于多个历史状态的平均，避免了单一特殊经验序列（如连续失败）导致的参数剧烈震荡和学习偏差。123随机采样切断了连续样本间的强时间依赖，满足深度学习的独⽴同分布)假设，防止网络对近期数据过拟合。⼀条经验可以被多次随机抽取并用于梯度更新，大幅提⾼了数据的利⽤效率，解决了强化学习中样本获取昂贵的问题DQN：经验回放(ExperienceReplay)Q(s,

a;

θ)参数

θ

实时更新Q(s,

a;

θ*)参数θ*

阶段性冻结

θ*

←

θEvery

N

Steps主网络(MainNetwork)目标网络(TargetNetwork)用于选择当前状态下的最优动作(ActionSelection)每一步都通过梯度下降进行更新容易发散，不稳定专门用于计算目标值计算TD目标Y：降低相关性（Decoupling）稳定训练（Stability）

在N步之内TD目标保持不变，为监督学习提供了一个相对固定的“靶子”，防止训练发散。DQN：双网络结构9.2.3Double

DQN(DDQN)9.2.3深度双Q网络(DDQN)核心问题过估计：计算目标Q值时，动作选择和价值评估依赖同一目标网络，导致估计值高于真实值。根源：最大化操作(max)倾向于选择被高估的Q值，进而导致整体估计偏高。过估计的影响策略偏差：过高估计某些动作价值，导致智能体做出次优决策。训练不稳定：误差累积导致模型收敛困难，或收敛到较差的策略。根源：Max操作与单一目标网络后果：决策偏差与训练震荡9.2.3Double

DQN(DDQN)9.2.3深度双Q网络(DDQN)

9.2.3Double

DQN(DDQN)DQN的目标计算(TargetCalculation)动作选择与价值评估统一存在问题：同一网络既选动作又评价值，易导致价值高估(Overestimation)。单一网络耦合，高估风险高VS.DDQN的目标计算(TargetCalculation)

双网络解耦，评估更准确核心改进：DDQN通过引入两个网络（在线网络与目标网络），将“选择最优动作”和“评估动作价值”这两个步骤分离，从而打破了DQN中同一网络既当选手又当裁判的耦合关系，显著提升了价值估计的准确性。9.2.3深度双Q网络(DDQN)

9.2.3Double

DQN(DDQN)9.2.3深度双Q网络(DDQN)DQN与DDQN通过经验回放缓解样本相关性，但其等概率采样无法区分样本重要性，还易造成样本浪费；因此在DDQN基础上提出比例优先级采样的改进算法，以提升高价值样本的采样概率。9.2.3Double

DQN(DDQN)核心思想回顾核心改进：通过分离动作选择网络（在线网络）和价值评估网络（目标网络），解决了DQN的过估计问题。关键公式

主要优势1.减少过估计：降低Q值过高估计，评估更准确。2.提升策略性能：准确评估有助于学习更优策略。3.增强训练稳定性：减少波动，收敛更稳定。∑总结DDQN的核心改进在于将动作选择和价值评估的任务交给了两个不同的网络，从而有效缓解了DQN的过估计问题。这一改进带来了三个主要优势：首先，它显著减少了Q值的过估计，让价值评估更贴近真实值；其次，更准确的价值估计有助于智能体学习到更好的策略；最后，它增强了训练过程的稳定性，让模型更容易收敛。这就是DDQN相对于传统DQN的主要贡献。9.2.3深度双Q网络(DDQN)9.2.4DQN模型改进Dueling-DQN在很多基于视觉感知的DRL任务中，状态动作对在受不同动作影响时所对应值函数通常也会不同。然而在某些状态下值函数的取值与动作无关，人们基于这一现象提出了一种竞争网络结构，并将其引入DQN网络模型，建立一种基于竞争架构的DQN，即Dueling-DQN。

9.2.4DQN模型改进DuelingDQN网络结构与聚合

123图：DRQN⽹络结构⽰意(CNN+LSTM)输⼊单帧图像→CNN特征提取→LSTM层(记忆)→Q值输出挑战：部分可观测环境(POMDP)标准DQN假设环境满足马尔可夫属性，即当前输入(如单帧图像)包含了做出最优决策所需的所有信息。然而，现实任务往往信息不完整。例如，仅凭单帧图像无法判断物体的运动速度和方向。DRQN(DeepRecurrentQ-Network)解决方案核心优势：赋予智能体记忆能力，使其能在信息缺失的状态下做出更优决策。结构改进：将DQN全连接层替换为LSTM(长短期记忆网络)。记忆机制：利用LSTM单元整合历史帧信息，在单一时刻构建完整的内部状态表示。9.2.4DQN模型改进DQRN引入记忆处理部分可观测环境核心方法TrainingStrategy序

列

化

更

新(Sequential)随

机

更

新(Random)由于LSTM依赖于历史序列，DRQN的训练方式与标准DQN有所不同，主要存在两种策略：序列化更新与随机更新。优点从经验池中采样完整的episodes缺点能够很好地训练LSTM的长期记忆能力，保留了完整的时序依赖。违背了DQN随机采样的原则，样本之间相关性强，可能导致训练不稳定优点缺点符合随机采样原则，减少样本相关性，训练更稳定。LSTM初始状态通常设为零，可能无法有效学习长期依赖关系。核心方法采样episodes,随机选择其中一小段(如8步)训练。9.2.4DQN模型改进DQRN的训练方式SarsaQ-LearningDDQNPERDueling∑课程总结核心思想回顾9.2.4本节内容总结我们从基础的时序差分方法(Sarsa/Q-Leaning)出发，理解了无模型学习的优势。随后，为应对高维状态空间，引入了DQN，它创造性地结合了深度学习与强化学习，并通经验回放与目标网络解决了不稳定性问题。最后，通过DQN、PER、DuelingNetwork等变体，展示了现代价值学习方法的完整进化路径。时序差分(TD)学习深度Q网络(DQN)DQN模型改进无模型强化学习的核心，通过自举(bootstrap)实现单步更新，比MC方法更高效。同策略（On-Policy）异策略（Off-Policy）深度神经网络近似Q函数针对DQN局限性的三大改进方向👉经验回放👉目标网络打破样本相关性，稳定训练固定目标Q值，减少震荡解决Q值过高估计问题优先经验回放，提升效率优化网络结构适应不同场景9.3基于策略的学习9.3.1策略梯度法9.3.2Actor-Critic算法9.3.3DDPG学习算法9.3.1策略梯度法VS.选择最大Q值的动作根据概率进行选择基于价值学习基于策略学习贪心策略基于Q值辅助动作选择确定性，选择价值最高的唯一动作概率分布基于状态输出动作概率随机性，按照概率分布进行动作采样计算Q值，贪心选择参数化策略，概率采样选择9.3.1策略梯度法策略梯度法是常用策略优化方法，通过计算策略总奖赏期望对参数的梯度更新参数，求解最优策略；可结合深度神经网络建模策略，优化网络参数。其核心为随机动作选择，输出非确定但服从特定概率分布，即依概率选取动作。

9.3.1策略梯度法

R大

强化这条轨迹R小

弱化这条轨迹思考：如果每个轮次总奖励R都≥0会发生什么？好轨迹↑坏轨迹也↑导致学习变慢梯度方差变大解决办法标准化R好轨迹R>=0差轨迹R<=0导致好轨迹概率↑

差轨迹概率↓9.3.1策略梯度法

9.3.1策略梯度法

9.3.1策略梯度法带有基准的策略梯度算法（BaselinePolicyGradient）优策略高回报设置权重为正且尽可能大劣策略低回报设置权重为负且尽可能小增大概率减小概率方差非常大，训练不稳定引入基准b只奖励比平均水平更好的动作

9.3.1策略梯度法

9.3.2Actor-Critic算法

Actor-Critic——解决数据少，方差大问题Actor-Critic方法在使用策略梯度更新策略的同时又进行了价值估计，使用Actor学习策略，并通过基于Critic估计的价值函数实现策略更新，而该价值函数又是策略梯度的函数，故策略梯度和价值函数之间互为依赖、相互影响，训练过程中相互迭代优化。Actor-Critic框架基于价值学习基于策略学习贪心策略基于Q值辅助动作选择确定性，选择价值最高的唯一动作概率分布基于状态输出动作概率随机性，按照概率分布进行动作采样获得最优策略间接直接Actor-Critic方法互为依赖

相互影响9.3.2Actor-Critic算法Actor-only

Actor-Critic

Critic-only

9.3.2Actor-Critic算法Actor-Critic算法过程

直接用Q会导致方差太大优势函数减去了平均值方差降低9.3.2Actor-Critic算法Actor-Critic算法过程

如果A(s,a)>0动作比平均好，提高该动作概率。

如果A(s,a)<0，动作比平均差，降低该动作概率。

真实值-预测值9.3.2Actor-Critic算法

9.3.2Actor-Critic算法普通Actor-Critic只有一个智能体（agent）只有一个智能体特点：数据来自同一条轨迹，状态之间高度相似，样本之间强相关问题：神经网络训练不稳定梯度更新方向容易震荡收敛变慢Agent1DQN特点：经验回放

解决：样本强相关性目标网络

解决：训练不稳定问题：占用大量内存不适合某些在线学习场景