大学本科人工智能专业《强化学习算法深度解析》教案

大学本科人工智能专业《强化学习算法深度解析》教案

一、教学背景

（一）学科定位与课程性质

本课程面向大学本科三年级人工智能专业学生开设，属于专业核心课“机器学习”的高阶专题模块。强化学习作为解决序贯决策问题的核心范式，在博弈决策、机器人控制、自动驾驶、推荐系统等领域具有不可替代的地位。本专题旨在引导学生在已具备监督学习、无监督学习知识体系的基础上，完成从静态数据集驱动向交互式动态环境学习的思维跃迁，深度解析强化学习算法的数学本质、工程实现与前沿演化。

（二）学情分析

授课对象已系统学习过概率论与数理统计、线性代数、Python程序设计，并完成了线性回归、逻辑回归、神经网络基础等机器学习先修内容。学生对监督学习中的梯度下降、损失函数优化具备较为扎实的实践能力。【基础】然而，强化学习独特的试错学习机制、延迟奖励建模、探索与利用平衡策略，对学生而言属于认知负荷较大的思维转型。【难点】前期调研显示，学生对“无模型”“自举”“策略与值函数分离”等概念存在迷思概念，对动态规划与时序差分的演进逻辑缺乏整体史观。因此教学设计需强化可视化解构、对比实验与脚手架搭建。

（三）内容框架与课时分配

本专题共计4学时（180分钟），采用“数学形式化—经典算法—深度扩展—综合实战”四阶螺旋上升结构。第一学时：强化学习问题形式化与马尔可夫决策过程【基础】；第二学时：基于值函数的经典算法（动态规划、蒙特卡洛、时序差分）【非常重要】；第三学时：值函数逼近与深度Q网络【热点】；第四学时：策略梯度引介及项目实战【高频考点】。

二、教学目标

（一）知识与技能目标

1.精准复述马尔可夫决策过程五元组(S,A,P,R,γ)的数学内涵，能够在迷宫、二十一点、车杆平衡等典型问题中独立完成状态空间、动作空间、奖励函数的符号化建模。【基础】

2.完整推导贝尔曼期望方程与贝尔曼最优方程，阐明压缩映射原理在策略评估与价值迭代中的收敛性保障。【非常重要】

3.区分首次访问型蒙特卡洛与每次访问型蒙特卡洛的估计偏差差异，对比时序差分学习中TD(0)、SARSA、Q学习的更新机制与收敛特性。【核心】

4.解释深度Q网络中经验回放打破数据相关性、目标网络稳定训练目标的核心贡献，独立编写DQN算法并在标准Gym环境中完成调试与性能调优。【热点】

5.概述策略梯度方法与基于值函数方法的本质区别，形成对Actor-Critic架构的宏观认知。【拓展】

（二）过程与方法目标

6.通过Gym仿真平台开展“智能体-环境”交互实验，在调节折扣因子、学习率、探索率等超参数的过程中体悟算法行为对参数的敏感依赖，建立工程调参的直觉经验。

7.运用控制变量法对比SARSA与Q学习在悬崖行走问题中的路径偏好与风险规避差异，从更新公式出发解释同策略与异策略的行为表象。【难点突破】

8.采用项目式学习范式，以“FlappyBird自动游戏玩家”为驱动任务，经历从问题MDP建模、算法选型、代码实现到性能分析的全流程工程实践。

（三）情感态度与价值观目标

9.在反复调试算法、观察奖励曲线震荡与收敛的过程中培养理性坚韧的科学精神，理解强化学习“在失败中迭代优化”的认识论内涵。

10.通过讨论自动驾驶决策系统中的奖励塑造成分与伦理困境，建立人工智能技术伦理意识，审慎对待目标函数设计可能引发的价值偏离。

三、教学重难点

（一）教学重点【非常重要+高频考点】

1.马尔可夫决策过程的五元组形式化定义，特别是状态转移概率与奖励函数在无模型设定下的认知地位。

2.贝尔曼方程及其在值函数迭代计算中的核心枢纽作用，从递归视角理解动态规划思想。

3.Q学习算法的更新规则、离线策略特性及收敛性条件，ε-贪婪策略对探索与利用平衡的实现。

4.深度Q网络中经验回放缓冲区机制与目标网络参数冻结更新策略，及其对训练稳定性与样本效率的提升原理。

（二）教学难点【难点】

5.策略评估与策略改进交替迭代过程中，如何保证策略单调提升不退化，策略改进定理的数学证明逻辑。

6.时序差分学习中自举（Bootstrapping）带来的偏差引入与方差降低的权衡关系，相较于蒙特卡洛方法的优劣情境。

7.值函数逼近引入后，传统收敛性保证失效及“死亡三角”问题的产生机理，DQN改进家族解决这些问题的切入思路。

四、教学准备

（一）实验环境配置

教师端配备高性能移动工作站，学生端每人一台预装Python3.9、PyTorch2.0、TensorFlow2.10双框架的笔记本电脑。统一安装OpenAIGym0.26及以上版本，导入CliffWalking-v0、Blackjack-v1、CartPole-v1及自定义FlappyBird封装环境。所有依赖库提前通过Anaconda环境打包下发，确保零配置启动。

（二）教学资源研发

1.自主开发“强化学习算法可视化演示平台”，基于Matplotlib与PyQt5实现，支持实时调整γ、α、ε并观察值函数热力图、Q表更新轨迹及TD误差变化曲线。

2.分层引导式JupyterNotebook代码模板，第一层为算法骨架，核心更新行留空供学生填写；第二层为完整实现；第三层为超参数扫描对比脚本。

3.预置对比实验日志与预训练模型库，包含MC、SARSA、Q、DQN在标准环境下的完整训练日志，便于学生快速复现性能曲线并进行横向对比。

4.雨课堂互动试题库，含15道覆盖MDP建模、贝尔曼方程计算、算法收敛性判断、代码纠错的多题型题目，支持随堂即时反馈。

五、教学实施过程

（一）第一学时：强化学习问题形式化与马尔可夫决策过程

1.高阶认知冲突导入（8分钟）

教师播放AlphaGo对战李世石“第37手”的棋谱动画与波士顿动力Atlas机器人跑酷视频，设问：“此类任务无法像ImageNet一样提供千万张标注图片，智能体面对的是动态环境与稀疏胜负信号，它如何从零开始学会决策？”学生短暂讨论后，教师展示单步决策的简化版本——K臂赌博机。邀请一名学生上台，面对五个未知奖励分布的摇臂，仅靠点击反馈最大化累计分数。学生在尝试中自然形成“先试探、后利用”的行为策略，教师顺势点出探索与利用冲突是强化学习的核心困境。【热点导入】

2.马尔可夫决策过程精微解构（32分钟）

（1）马尔可夫性质回溯【基础】：教师从概率论中马尔可夫链定义出发，板书P(S_{t+1}|S_t,S_{t-1},...,S_0)=P(S_{t+1}|S_t)。以北京天气预测为例，说明“未来仅依赖当前”的假设在何时合理、何时失效。进而追问：“强化学习相比马尔可夫链，增加了什么要素？”引导学生答出动作与奖励。

（2）五元组逐层剥解【非常重要】：

状态空间S：教师以国际象棋为例阐释完备状态表征的指数级爆炸，以自动驾驶高维传感器输入为例介绍连续状态空间的离散化必要性及信息损失。学生现场运行Gym环境中的MountainCar，输出state查看连续型四维向量。

动作空间A：对比悬崖行走环境的离散4动作与Pendulum-v1的连续扭矩动作。指出离散动作便于表格方法，连续动作催生策略梯度。

状态转移概率P(s’|s,a)：教师强调在无模型强化学习中P是未知但客观存在的环境动力学。通过网格世界动画演示，当智能体选择“上”时，有0.8概率真正向上，0.2概率滑向左右，使学生具象理解概率转移矩阵。

奖励函数R(s,a,s’)：区分即时奖励与累积回报G_t=∑γ^kR_{t+k+1}。以悬崖行走为例，掉入悬崖得-100、到达目标+10、每步-1，说明密集奖励可加速学习但可能诱导短视，稀疏奖励挑战信用分配。【高频考点】学生讨论：自动驾驶希望平稳到达，如何设计奖励避免急刹？

折扣因子γ：数学上保证无限时序累积奖励收敛，认知上体现远见程度。教师调低可视化平台γ至0.5，智能体在迷宫中表现贪婪、不敢绕远；γ升至0.99，智能体愿多走步数换取最终高收益。学生通过滑块实时观察V值曲面隆起程度变化。

（3）策略的数学表征【重要】：确定性策略a=μ(s)与随机策略π(a|s)。学生在代码模板中为网格世界编写随机策略：在非终止状态，以0.8概率选择目标方向，0.2概率随机游走。观察两种策略下智能体轨迹的差异。

（4）值函数定义及贝尔曼方程推导【核心+高频考点】：教师板书状态值函数V_π(s)=E_π[G_t|S_t=s]，动作值函数Q_π(s,a)=E_π[G_t|S_t=s,A_t=a]。指出V是Q在策略π下的期望。随后进入本学时最关键推导：从回报递归性G_t=R_{t+1}+γG_{t+1}出发，代入期望并利用迭代期望律，板演出贝尔曼期望方程：

V_π(s)=∑aπ(a|s)∑

{s’,r}p(s’,r|s,a)[r+γV_π(s’)]

Q_π(s,a)=∑{s’,r}p(s’,r|s,a)[r+γ∑

{a’}π(a’|s’)Q_π(s’,a’)]

教师强调这是“当前值=即时奖励+未来值折现”的数学封装，是后续所有算法的总根源。学生进行纸笔练习：给定3状态MDP，已知转移概率、奖励与策略，迭代计算V(s1)至收敛。

（5）贝尔曼最优方程【非常重要】：定义最优状态值函数V(s)=max_πV_π(s)与最优动作值函数Q

(s,a)=max_πQ_π(s,a)。推导最优方程V(s)=max_a∑_{s’,r}p(s’,r|s,a)[r+γV

(s’)]，并说明其非线性特性，为值迭代埋下伏笔。学生分三组，用迭代法手工计算4×4网格世界的最优值函数，教师巡检，发现普遍在边界状态迭代次序上存疑，集中讲解同步更新与异步更新的区别。

3.形成性评价与概念锚定（5分钟）

雨课堂发布选择题：1.识别给定情景下的MDP五元组；2.计算单步贝尔曼更新值；3.判断折扣因子趋近0时智能体行为倾向。正确率低于70%则插入1分钟同伴互讲，修正迷思概念。

（二）第二学时：基于值函数的经典算法演进

1.认知冲突创设（5分钟）

教师展示上节课计算的4×4网格最优值函数表格，提问：“倘若状态空间是10^170维（围棋），甚至环境动力学P、R完全不提供，我们依然想获得最优策略，怎么办？”学生自然想到采样，从而引出无模型强化学习核心方法论。

2.动态规划：思想奠基【基础+非常重要】

（1）策略评估（预测问题）：已知策略π，求V_π。教师板书迭代式V_{k+1}(s)=∑aπ(a|s)∑

{s’,r}p(s’,r|s,a)[r+γV_k(s’)]，并证明这是一个压缩映射，不动点为V_π。学生在4×4网格代码中补全策略评估循环，观察V值从全0初始逐渐收敛至真实值的震荡曲线。

（2）策略改进（控制问题）：贪婪策略π’(s)=argmax_aQ_π(s,a)。教师推导策略改进定理：若Q_π(s,π’(s))≥V_π(s)，则π’不劣于π。学生修改代码，实现策略迭代，对比策略迭代与值迭代在相同网格上达到收敛所需的迭代轮数，发现值迭代通常更快。

（3）价值迭代【重要】：教师引导思考“策略评估必须完全收敛再改进吗？”，引出价值迭代：V_{k+1}(s)=max_a∑_{s’,r}p(s’,r|s,a)[r+γV_k(s’)]。学生修改代码，仅保留V数组，在每次迭代中直接取max，观察其与策略迭代最终策略的一致性。

3.蒙特卡洛方法：从模型到经验【重要+高频考点】

（1）无模型困境破局：教师强调蒙特卡洛的核心突破——不再需要P和R，仅通过完整episode经验平均回报估计值函数。以二十一点环境为例，学生运行首次访问型MC与每次访问型MC，对比状态值函数的估计曲线，发现每次访问型收敛稍快但早期偏差略大。【难点】

（2）MC控制：采用试探性出发或ε-贪婪策略保证持续探索。学生在二十一点环境中实现带ε衰减的MC控制，训练5000个episode后，对比ε固定为0.1与ε从1.0指数衰减至0.01的最终策略性能，理解探索的重要性。

4.时序差分学习：自举的智慧【核心+热点+难点】

（1）DP、MC、TD的认知三角：教师类比学生备考——DP如同按教学大纲逐章复习（需模型），MC如同期末考完再总评（无偏高方差），TD如同每周小测及时反馈（有偏低方差）。TD更新式V(s_t)←V(s_t)+α[r_{t+1}+γV(s_{t+1})-V(s_t)]，δ_t称为TD误差。

（2）TD(0)与MC的对比实验【非常重要】：学生在随机行走任务（19状态，左右为吸收态）中分别实现MC与TD(0)，绘制不同α下两种算法的均方根误差随经验量变化曲线。学生发现TD(0)在非平稳环境下适应性更强。

（3）SARSA与Q学习：同策略与异策略的分野【高频考点+算法对比硬核】：

教师板书两公式并排对比：

SARSA:Q(s,a)←Q(s,a)+α[r+γQ(s’,a’)−Q(s,a)]（a’由当前策略π生成）

Q学习:Q(s,a)←Q(s,a)+α[r+γmax_{a’}Q(s’,a’)−Q(s,a)]（a’取贪婪动作）

在悬崖行走环境，学生先运行SARSA，观察智能体走出一条远离悬崖的安全弧线；再运行Q学习，智能体紧贴悬崖边缘快速通过，偶有坠崖。教师追问：“为何Q学习知道悬崖危险却仍选择边缘？”引导学生分析：Q学习更新时使用max，假设未来总是贪婪，因此乐观估计；SARSA更新使用实际下一步动作，将自身探索可能犯错纳入考量。这一对比使学生对离线策略与在线策略的泛化差异刻入认知结构。【非常重要】

（4）拓展视角【选学】：教师简要提及期望SARSA通过加权平均所有动作的Q值来降低方差，DoubleQ学习通过双表交替更新解决maximizationbias，并展示在部分简单环境中DoubleQ学习的优势。

5.算法谱系总结（5分钟）

教师以时间轴形式（未使用列表，以段落叙述）梳理动态规划、蒙特卡洛、时序差分的传承关系：DP是理想原型，MC是经验化突破，TD融合二者优点实现增量式无模型学习。三类方法的偏差-方差折中图揭示从MC到TD，方差降低但偏差引入，为后续深度网络拟合引入的正则化等技巧做铺垫。

（三）第三学时：值函数逼近与深度Q网络

1.维度灾难逼近策略（8分钟）

教师启动CartPole-v1环境，状态为四维连续值。提问：“现在状态空间是实数空间，无法枚举，如何存储Q值？”学生提出离散化，教师演示将平衡杆角度离散为10个区间，性能不佳；离散为100个区间，表格尺寸为100^4=10^8，内存爆炸。由此引出函数逼近的必然性。【非常重要】

2.值函数逼近基础【难点+热点】

（1）参数化逼近：线性特征组合与非线性神经网络。教师回顾单层感知机与多层感知机的函数表达能力。指出在强化学习中使用函数逼近面临三重挑战：目标非固定（监督学习的标签y是常数，TD目标r+γV(s’)本身在移动）、数据非独立同分布、策略改变导致数据分布漂移。

（2）端到端学习思想：从原始状态到动作值，免去手工特征工程。教师播放DeepMindDQN玩AtariBreakout视频，仅以屏幕像素为输入，输出Q值，引出深度Q网络里程碑工作。

3.深度Q网络精解【核心+热点+高频考点】

（1）DQN两大技术支柱【非常重要】：

经验回放（ExperienceReplay）：智能体将交互经验(s,a,r,s’)存入固定容量缓冲池D，训练时均匀随机采样小批量。教师用代码动画演示，无经验回放时，相邻样本强相关，网络更新震荡剧烈；使用回放后梯度下降平滑。学生修改CartPoleDQN模板，注释掉经验回放，观察奖励曲线爆炸式发散。

目标网络（TargetNetwork）：引入独立网络Q_hat，参数θ^-定期从在线网络θ，TD目标计算使用θ^-，使目标值在若干步内固定，减少自举链条的即时波动。教师展示DDQN论文中的悬崖任务图，无目标网络时Q值过高估计导致策略崩溃。

（2）算法流程颗粒化解构【实现级掌握】：

教师结合伪代码逐帧解析：

[1]初始化回放内存D，容量N；初始化在线网络Q参数θ，目标网络Q_hat参数θ^-=θ。

[2]遍历episode：预处理得到状态φ(s)。

[3]每一步：以ε概率选随机动作，否则a_t=argmax_aQ(φ(s_t),a;θ)。执行a_t，得到r_t,φ(s_{t+1})。将四元组存入D。

[4]从D中采样小批量(φ_j,a_j,r_j,φ_{j+1})。

[5]计算目标值y_j：若episode终止，y_j=r_j；否则y_j=r_j+γmax_{a’}Q_hat(φ_{j+1},a’;θ^-)。

[6]计算损失L=(y_j-Q(φ_j,a_j;θ))^2，梯度下降更新θ。

[7]每C步同步θ^-=θ。

学生在CartPole代码中逐步填空：经验存储函数、采样函数、目标值计算、网络同步。教师提供半成品，缺失部分正是DQN相较于普通神经网络训练的关键差异。学生经历“编译通过但loss不降”的调试过程，发现是奖励未做缩放或ε衰减过快，在教师引导下修正超参数。

（3）收敛性观察：学生绘制每100回合平均奖励，初始徘徊于10以下，约200回合后奖励跃升至200（环境解束），体验DQN从随机到精通车杆平衡的质变过程。

4.DQN改进家族【拓展与前沿】

（1）DoubleDQN【热点】：教师指出原始DQN存在过高估计问题，因为max操作使用同一网络选择与评估。DoubleDQN解耦：用在线网络选择动作a*=argmax_aQ(s’,a;θ)，用目标网络评估其值y=r+γQ_hat(s’,a*;θ^-)。学生尝试将CartPole代码中的目标值计算行替换为Double方式，对比训练前期Q值过高估计幅度的降低。

（2）DuelingDQN【重要】：将全连接层分流为状态价值流V(s)与优势流A(s,a)，聚合输出Q(s,a)=V(s)+A(s,a)-mean(A)。教师展示在部分环境（如Enduro）中Dueling架构加速学习。

（3）优先经验回放（PER）【拓展】：打破均匀采样，根据|TD误差|赋予样本更高被抽中概率。学生可选做，将优先级采样替换均匀采样，观察在稀疏奖励环境中的样本效率提升。

5.沉浸式实践：DQN参数敏感度分析（12分钟）

学生以小组为单位，采用控制变量法分别调整：回放缓冲区容量（1000/10000/50000）、目标网络更新频率（C=100/1000/5000）、学习率（1e-3/1e-4）。各组汇报发现：缓冲区过小导致策略遗忘，过大则延迟反馈；C值过大使目标值长期滞后，震荡加剧；学习率过高导致Q值发散。教师总结：深度强化学习调参仍依赖经验，并推荐常用稳定基线。

（四）第四学时：策略优化引介及项目实战

1.策略梯度思想启蒙【热点+进阶】

（1）基于值函数方法的边界：教师指出DQN在连续动作空间需离散化，且本质是确定性策略。展示连续控制任务，动作是力矩连续值，引出策略参数化π_θ(a|s)。【非常重要】

（2）REINFORCE算法【重要】：教师板演策略梯度定理∇J(θ)=E[∇logπ_θ(a|s)Q^π(s,a)]，并简化：用单步采样回报G_t代替Q^π，得到REINFORCE更新式θ←θ+α∇logπ_θ(a|s)G_t。学生在连续山地车环境实现REINFORCE，观察其相比DQN能输出连续动作，但方差较大、收敛慢。

（3）Actor-Critic速览【热点】：融合值函数与策略梯度，Critic评估当前策略价值，Actor据此更新策略。教师简介A3C、SAC等现代算法，作为后续课程入口。

2.综合项目实战：FlappyBird智能体设计与竞技（40分钟）

（1）任务情境：基于Pygame的FlappyBird简化克隆，状态为小鸟垂直坐标、上下管道水平距离与缺口高度差；动作为0不操作、1点击；奖励为通过一对管道+10、撞击或落地-100、存活每帧+0.1。【综合应用】

（2）MDP建模与决策：小组讨论状态空间离散化策略（将垂直坐标与距离差分为若干区间，形成网格世界）或采用连续状态输入神经网络。教师鼓励两组选择不同路径，以备后期对比。

（3）算法选型与实现：基础组选择Q学习，用ε-贪婪策略；进阶组选择DQN，使用三层全连接网络。教师提供游戏交互接口，学生仅需填充algorithm.py中的核心更新逻辑。

（4）成果展示与归因分析：Q学习组训练约2000局后可稳定通过1-2个管道，DQN组训练800局后平均得分超过10个管道。教师引导分析原因：状态离散化导致泛化粗糙，Q表泛化能力弱；神经网络在连续相似状态间平滑迁移，样本利用率更高。同时指出DQN训练耗时约为Q学习的5倍，体现容量与效率权衡。

（5）伦理思辨场【情感态度】：假设将本算法用于真实无人机竞速，若仅以通过门洞速度最大化为奖励，可能诱导无人机过度激进导致坠毁或威胁人员。教师组织3分钟即兴辩论：技术中立论vs设计责任论。学生认识到奖励函数是价值取向的数学编码，强化学习工程师需审慎设计目标函数。

3.知识图谱构建与课程收束（10分钟）

教师带领学生从MDP形式化出发，沿动态规划→蒙特卡洛→时序差分→深度Q网络→策略梯度主干，串联核心术语与演进逻辑。雨课堂发布半结构化知识拓扑图，学生将贝尔曼方程、自举、经验回放、探索-利用等节点拖拽至正确位置，系统自动评分并显示班级掌握度热区。教师总结：强化学习尚未完全成熟，样本效率、泛化性、安全性与可解释性是当前学术界攻坚方向，并展示离线强化学习、多智能体强化学习、基于模型的强化学习等前沿标题，激发学生持续探究动机。

六、教学评价设计

（一）过程性评价

1.课中即时测：每学时结束前5分钟雨课堂3-5题，涵盖概念辨析、计算推导、代码纠错，正确率计入平时成绩20%。

2.代码迭代记录：学生提交带完整注释与调试心得的JupyterNotebook，评价指标包括算法正确性、超参数探索系统性、可视化丰富度，占比30%。

（二）终结性评价

3.闭卷笔试：MDP建模题（给定密室逃脱游戏描述，写出五元组）、贝尔曼方程计算题（小型合成MDP）、算法辨析题（给定更新公式判断算法名称及策略类型）、简答题（阐述目标网络为何能稳定训练），占比30%。

4.项目结题报告：FlappyBird项目文档，需包含问题建模依据、算法选择逻辑、核心代码片段、参数调优表格、失败案例反思、伦理分析，占比20%。【高频考点】

七、板书设计

板书左侧主干区域自上而下呈现强化学习认知框架：顶层为核心要素层，书写“智能体-环境-状态-动作-奖励”闭环，并用双向箭头标示交互关系；中层为数学基础层，左侧板书MDP五元组S,A,P,R,γ，右侧板书贝尔曼期望方程与最优方程，γ符号旁标注“远见系数”并附0.9典型值；下层为方法演进层，从左至右依次书写“动态规划(全宽度)”、“蒙特卡洛(整episode)”、“时序差分(自举)”，下方分别标注“需