3.6 人工智能通识：强化学习简介

人工智能通识：强化学习简介主讲人：严宣辉

教授福建师大计网学院我们如何学习？——从生活中的例子谈起训练小狗握手当小狗听从指令抬起爪子时，给予零食作为即时奖励。通过这种正向反馈，小狗快速建立起“指令-动作-奖励”的条件反射。核心：尝试与奖励，建立正向关联小厨师的美食探索依据食客的反馈来调整菜谱：好评（奖励）则保留做法，差评（惩罚）则改变策略。在不断的试错中优化，最终做出美味佳肴。核心：反馈驱动，动态试错迭代沉浸式游戏通关玩家在游戏中不断尝试：重复能得分的操作，规避导致失败的行为。在即时的胜负反馈中，快速学习并掌握通关的最优路径。核心：结果导向，优化行为选择共同模式：强化学习的底层逻辑这些场景的本质，是通过与环境的持续互动，根据行为产生的结果（奖励或惩罚）来动态调整自身策略，最终形成一种趋向于获得最大长期利益的决策模式。这正是人工智能中“强化学习”的核心思想：智能体在环境中通过试错来学习最优策略。什么是强化学习？——在互动中寻找最优策略核心定义：强化学习（RL）是机器学习的重要分支，聚焦于智能体（Agent）在动态环境中的自主决策。它通过“试错”机制，让智能体在执行动作后获得奖惩反馈，以此优化决策策略，最终实现长期累积奖励的最大化，是实现通用人工智能的关键路径之一。01感知智能体通过传感器捕捉环境的实时状态与关键特征，全面接收外部信息，为后续决策提供真实可靠的输入基础。02决策基于当前策略模型与感知到的环境状态，通过算法计算与价值评估，选择能最大化预期收益的最优动作方案。03行动将决策结果转化为具体的可执行动作，直接作用于外部环境，触发环境状态的即时改变及后续的连锁反应。04反馈环境根据动作产生的结果，实时反馈正向奖励或负向惩罚信号，清晰量化本次决策与行为的优劣程度。05学习智能体利用奖惩反馈信号，自动更新策略参数并迭代优化决策模型，持续提升决策精度与适应能力。与有监督学习的对比：学习方式的根本不同01有监督学习(SupervisedLearning)学习方式：从已标注数据中学习，如同老师直接给出标准答案，对错立判。反馈信号：即时监督信号，直接指出“对”或“错”，反馈直接且无延迟。核心目标：学习输入与输出的精确映射关系，建立稳定的预测或分类模型。适用场景：适用于静态、明确的模式识别，如图像分类、垃圾邮件过滤等。02强化学习(ReinforcementLearning)学习方式：智能体与环境交互试错，无直接答案，通过不断探索积累经验。反馈信号：延迟奖励信号，仅评价结果“好”或“坏”，需长期累积判断。核心目标：寻找最优决策策略，最大化长期累积奖励，而非单次即时收益。适用场景：处理动态、序列决策问题，如游戏AI博弈、机器人控制、自动驾驶。💡一句话总结：有监督学习是“老师手把手教学”，依赖标准答案；强化学习是“在实践中摸爬滚打”，通过环境反馈和持续试错来自我进化，更贴近人类的学习过程。Part2强化学习的核心元素智能体(Agent)：系统的“大脑”01基于价值的智能体核心是学习价值函数，像绘制“价值地图”一样，评估每个状态下的长期潜在回报，以此指导智能体选择最优路径。经典代表算法Q-Learning•DQN

表格型学习/深度Q网络02基于策略的智能体直接优化策略函数，不依赖价值评估，直接输出动作的概率分布或确定性指令，特别适合处理复杂的连续动作空间。经典代表算法PolicyGradient•PPO

策略梯度/近端策略优化03Actor-Critic混合体融合前两者优势：Actor负责执行动作（策略），Critic负责评估好坏（价值），两者协同训练，兼顾效率与稳定性。经典代表算法A3C•DDPG•SAC

异步优势/深度确定性策略环境(Environment)与策略(Policy)环境：智能体的“学习舞台”智能体所处的外部交互世界，是规则与反馈的承载容器，它不仅是交互的对象，更是智能体感知和行动的边界。01状态转移机制

定义执行动作后环境的演变规律，构建从当前状态到下一状态的动态映射，是交互闭环的基础。02奖励函数(RewardFunction)

引导学习的“指挥棒”，通过量化反馈（正向激励或负向惩罚），塑造智能体的目标导向行为。策略：智能体的“行为准则”智能体的决策核心，它定义了在特定状态下应该采取的动作，是连接感知与行动的关键桥梁。01数学表达：a=π(s)

以函数形式存在，输入是环境状态s，输出是待执行的动作a，直接决定智能体的即时反应。02确定性与随机性

既可以是固定的“状态-动作”映射，也可以是按概率分布选择动作，平衡探索未知与利用已知。价值函数(ValueFunction)：智能体的“远见”01核心矛盾：即时满足vs长远收益奖励信号是即时的，但强化学习的终极目标是最大化长期累积奖励。短视地追求即时小利（如贪吃蛇为吃豆撞墙）往往会导致未来的巨大损失，这就需要一个能“预判未来”的决策机制。02解决方案：价值函数的量化评估价值函数是对未来预期累积奖励的数学量化。它赋予智能体“远见”，帮助其理性评估当前选择对未来的影响，从而在短期诱惑与长期最优回报之间做出平衡，是智能决策的核心基石。状态价值函数V(s)——评估“处境”定义：衡量在状态s下，遵循当前策略π所能获得的期望总奖励。

核心作用：回答“我现在的状态有多好？”，它关注的是状态本身的优劣，为智能体提供了判断当前处境价值的基准，不依赖于具体动作。动作价值函数Q(s,a)——评估“选择”定义：衡量在状态s下执行动作a，随后遵循策略π所能获得的期望总奖励。

核心作用：回答“在这个状态下，做这个动作好不好？”，它直接将价值与具体动作挂钩，是智能体在不同选项中做出最优决策的直接依据。——价值函数是连接当下与未来的桥梁，让智能体从被动反应转向主动规划——Part3经典案例深度剖析理论的价值在于指导实践。我们将深入拆解两个具有里程碑意义的经典案例，

解析强化学习如何在复杂环境中做出最优决策，实现从算法到落地的跨越。AlphaGo：如何学会下围棋？01策略网络(PolicyNetwork)模仿人类顶尖棋手的棋谱，学习直觉般的“棋感”，快速筛选并选出最具潜力的落子位置，为每一步决策提供初始的高质量候选。02价值网络(ValueNetwork)通过海量自我对弈与强化学习训练，精准评估当前棋局的胜率与局势走向，为每一步落子提供客观的胜负概率判断依据。03蒙特卡洛树搜索(MCTS)高效的启发式搜索算法，结合策略与价值网络的输出，在有限的计算资源内智能探索博弈树，快速收敛至当前局面的最优落子策略。AlphaGoZero：从零开始的超越摒弃人类棋谱，仅通过“自我对弈+强化学习”，在短短几天内便超越了所有前代版本。这不仅打破了对人类经验的依赖，更证明了纯粹强化学习在解决复杂决策问题上的巨大潜力。PART04更多前沿应用工业制造优化通过智能调度与视觉质检，实现产线自动化升级，显著提升良品率与生产效率。量化交易策略构建自适应交易模型，利用强化学习进行动态风控与资产配置，平衡收益与风险。个性化诊疗辅助临床决策支持系统，加速药物分子研发，为患者提供基于数据的精准医疗方案。智能驾驶决策应对复杂动态路况，实现端到端的自主路径规划与实时行为决策，保障行车安全。强化学习的前沿应用01工业制造与智能排产5分钟生成72小时精细化排产方案，库存下降30%；设备利用率从65%提升至82%，实现产能与成本的双重优化。02金融智能风控构建动态博弈模型应对新型欺诈手段，欺诈识别准确率提升40%，毫秒级拦截异常交易，筑牢资金安全防线。03医疗影像智能诊断CT影像分析能力对标主任医师，病灶检出率超98%，诊断效率提升3倍，大幅缓解基层医疗资源紧缺问题。04零售与智能动态定价基于实时供需、竞品价格与用户画像，实现小时级动态价格调整。在保障市场竞争力的同时，有效平衡销量与利润空间，推动整体毛利率提升5个百分点，实现收益最大化与库存周转的良性循环。05个性化推荐与生态平衡在热门爆款推荐与长尾内容探索之间实现动态平衡，有效打破“信息茧房”。通过持续挖掘用户潜在兴趣，不仅提升了用户长期活跃度与留存率，还促进了内容生态的多样性与健康发展，增强了平台的长期生命力。PART05历史与展望回溯技术演进的脉络，洞察智能算法的发展规律，展望通用人工智能的广阔未来发展历史与关键人物理查德·萨顿与安德鲁·巴托的合作跨越数十年，他们不仅是理论的构建者，更是将心理学原理与计算机科学完美融合的先驱，为人工智能的决策智能铺平了道路。系统性研究的起点(1980s)

二人率先为强化学习建立了严谨的数学与算法框架，将其从零散的思想实验转化为可验证、可复现的科学体系，开启了该领域的系统化研究。核心理论与教育传承

提出「时序差分学习」与「Actor-Critic模型」等核心范式，合著的《强化学习导论》被誉为领域“圣经”，是全球AI研究者的必读经典。登顶荣誉：2025年ACM图灵奖

因对强化学习理论的奠基性贡献，荣获计算机科学领域的最高荣誉。这不仅是对个人成就的认可，更标志着强化学习成为AI发展的核心支柱。💡思想火花：将人类从经验中归纳学习的心理学逻辑，转化为机器自主决策的智能算法。总结与展望强化学习的核心是通过与环境的交互和试错，学习一个能够最大化长期累积奖励的最优策略。它特别适合解决复杂的序列决策问题，在游戏博弈、机器人控制、智能推荐等领域展现出超越传统算法的潜力。样本效率瓶颈传统强化学习依赖海量交互数据，如何通过迁移学习或元学习降低数据需求，让模型在有限样本下快速适应新环境，是迈向实际应用的关键。奖励机制的设计难题手动设计奖励函数易导致“奖励