人工智能导论(第2版Python版)课件 第3章强化学习_第1页
人工智能导论(第2版Python版)课件 第3章强化学习_第2页
人工智能导论(第2版Python版)课件 第3章强化学习_第3页
人工智能导论(第2版Python版)课件 第3章强化学习_第4页
人工智能导论(第2版Python版)课件 第3章强化学习_第5页
已阅读5页,还剩40页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

第3章

强化学习初步强化学习作为人工智能和机器学习的重要分支,近年来在各领域取得了令人瞩目的成就。从战胜世界顶级围棋选手的AlphaGo,到自动驾驶汽车的决策系统,再到高效的推荐算法,强化学习正深刻改变着我们的世界。本章将为读者提供强化学习的基础知识和核心概念,帮助理解强化学习的工作原理及其应用。我们的目标是让读者掌握强化学习的基本理论,并能实现和应用一些经典的强化学习算法。强化学习与其他学习方法的区别强化学习决策框架,通过试错学习监督与无监督学习感知、分类、回归和聚类机器学习基础数据驱动的学习方法强化学习与监督学习和无监督学习的关键区别在于它是一个决策框架。它超越了其他两个范式所涉及的感知、分类、回归和聚类,并做出决策。更重要的是,强化学习利用监督和无监督的ML方法来实现这一目标。强化学习模型的输出是一个决策,而不是预测或聚类。没有监督者提供的基础真理决定,告诉模型在不同情况下的理想决定是什么。相反,模型从自己的经验和过去决定的反馈中学习最佳决定。人类学习与强化学习的相似性幼儿学习搭建积木塔幼儿通过尝试将积木叠高,每一次成功的增高都是一种奖励,而每次倒塌则是失败的信号。他们逐渐发现,积木放置的位置影响塔的稳定性。AI代理学习决策强化学习代理通过探索环境和接收反馈来学习最优策略,类似于幼儿的学习过程。代理会记住哪些行动带来了积极的奖励,并在未来的决策中倾向于选择这些行动。就像幼儿通过搭高积木的成功和塔倒塌的失败中获得反馈、学习策略一样,强化学习的核心是"从经验而非指令中学习决策"的范式。这种通过试错、反馈和经验积累来优化决策的过程,与我们人类探索世界、掌握技能的基础学习方式惊人地相似。强化学习的定义及基本原理强化学习是机器学习的一个重要分支,它关注如何使智能体(agent)在与环境的交互中学习做出最优决策。与其他机器学习方法不同,强化学习更接近人类和动物的学习方式,通过尝试和错误来学习如何最大化长期收益。强化学习可以定义为:一种计算方法,旨在学习如何将情境映射到动作,以最大化数值化的奖励信号。观察状态智能体观察环境的当前状态选择动作根据当前策略选择一个动作执行动作在环境中执行所选动作获得奖励环境返回奖励信号和新状态强化学习的基本元素智能体(Agent)学习和决策的主体,通过与环境交互来学习最优策略。能够感知环境状态、做出决策并根据经验调整策略。环境(Environment)智能体所处的外部世界,定义了问题的背景和规则。可以被智能体观察和影响,根据智能体的动作改变状态,并提供奖励信号。状态(State)对环境在特定时刻的描述。可以是完全可观察的,也可以是部分可观察的,智能体根据状态做出决策。动作(Action)智能体可以执行的操作,用来影响环境。动作可以是离散的,如在棋类游戏中选择落子位置;也可以是连续的,如控制机器人关节的角度。强化学习的独特特点延迟奖励处理强化学习能够处理延迟奖励的问题,这在现实世界的决策中非常常见。智能体在执行一系列动作后,可能需要等待一段时间才能收到最终的奖励反馈。探索与利用平衡强化学习需要在探索与利用之间取得平衡。探索意味着尝试新的动作,以发现潜在的更优解;而利用则是选择已知的最佳动作,以获得稳定的收益。序列决策能力强化学习特别适合解决需要做出一系列决策的问题。在许多应用场景中,单一决策往往不足以实现目标,而是需要智能体在多个时刻做出连贯的决策。强化学习的典型应用场景随着计算能力的提升和算法的不断改进,强化学习在游戏AI、机器人控制、推荐系统、自动驾驶等诸多领域展现出了广泛的应用前景,为实现通用人工智能(AGI)奠定了坚实的基础。这些应用不仅在技术上取得了突破,也为强化学习在其他领域的应用提供了宝贵的经验和启示。通过强化学习,智能系统能够在复杂的环境中自主学习和优化决策,提高操作的精度和效率。游戏AI应用AlphaGoDeepMind开发的围棋AI,在2016年战胜了世界冠军李世石。AlphaGo结合了蒙特卡洛树搜索与深度神经网络,通过自我对弈不断提升棋力。其成功展示了强化学习在高度复杂、状态空间巨大的问题上的潜力,打破了人工智能在策略游戏领域的瓶颈。OpenAIFive由OpenAI开发的Dota2游戏AI,能够在这个复杂的多人在线游戏中与职业选手竞争。OpenAIFive通过大规模分布式强化学习训练,学会了复杂的团队协作策略。这一成就证明了强化学习在需要长期规划和团队协作的复杂环境中的适用性。机器人控制应用工业机器人强化学习使工业机器人能够适应变化的生产环境,执行复杂的装配、焊接和搬运任务。通过不断学习和优化,这些机器人可以提高生产效率和产品质量。人形机器人强化学习帮助人形机器人学习行走、跑步和跳跃等复杂动作。这些机器人通过与环境的交互,逐渐掌握平衡和协调能力,能够在各种地形上稳定移动。服务机器人家庭和商业服务机器人利用强化学习来导航环境、识别物体和执行任务。这些机器人能够学习用户偏好,提供个性化服务,如清洁、送餐和陪伴。推荐系统应用用户行为收集系统收集用户的浏览、点击、购买等行为数据行为分析通过强化学习分析用户偏好和兴趣模式内容推荐生成个性化推荐,平衡用户兴趣和新内容探索反馈学习根据用户对推荐的反应调整推荐策略在电商和内容推荐系统中,强化学习被广泛应用。这些系统需要处理大规模的用户和物品数据,并在平衡短期和长期目标之间做出决策。通过强化学习,推荐系统可以不断优化推荐效果,提高用户满意度和平台收益。自动驾驶应用感知系统通过摄像头、雷达和激光雷达等传感器感知环境定位与地图构建实时定位车辆位置并构建环境地图路径规划使用强化学习规划最优行驶路径控制执行将规划转化为具体的驾驶操作持续学习从驾驶经验中不断优化决策模型自动驾驶是强化学习的一个前沿应用,涉及路径规划和障碍物避让等任务。该领域的特点是高度动态的环境,安全性至关重要,并且需要多传感器的融合。通过强化学习,自动驾驶系统可以在复杂的道路环境中自主学习驾驶策略,提升行车安全性和效率。其他强化学习应用领域$1.2T金融交易强化学习用于优化交易策略和资产管理,分析市场数据和历史交易记录,预测市场趋势15%医疗健康用于个性化治疗方案制定,提高治疗效果15%30%资源管理优化资源分配和调度,提高资源利用效率达30%40%能源优化智能电网管理和能源消耗优化,减少能源浪费40%强化学习在各个领域都展现出了巨大的应用潜力。在金融领域,它被用于优化交易策略;在医疗健康领域,它帮助制定个性化治疗方案;在资源管理领域,它提高了资源利用效率;在能源领域,它优化了能源分配和消耗。这些应用都充分利用了强化学习在序列决策问题上的优势。多臂老虎机问题介绍多臂老虎机(Multi-ArmedBandit,MAB)问题是强化学习中的一个经典问题,源于这样一个场景:一个赌徒站在一排老虎机前,每个老虎机有不同的概率分布,决定是否会给出奖励。赌徒的目标是最大化获得的总奖励,但他在初始时对各个老虎机的奖励分布一无所知。MAB问题是强化学习(RL)的一种形式,其中代理在单步问题中做出决策。目标是最大化即时奖励,而不考虑后续步骤的后果。虽然这是对多步RL的简化,但代理仍然必须处理RL的一个基本权衡:探索可能带来更高奖励的新动作与利用已知的好动作。现实中的老虎机在现实世界中,老虎机是赌场中常见的游戏设备,玩家投入硬币并拉动杠杆,期望获得奖励。每台机器可能有不同的支付率,但这些信息对玩家是未知的。MAB问题抽象表示在强化学习中,MAB问题被抽象为一组"臂"(动作),每个臂有一个未知的奖励分布。智能体的目标是通过反复尝试不同的臂,学习哪些臂能提供最高的期望奖励。ε-贪婪算法ε-贪婪算法是一种简单而有效的策略,用于在多臂老虎机问题中平衡探索与利用。算法的核心思想是通过引入一个参数ε,在探索和利用之间进行权衡。在每一轮决策中,算法以概率ε选择一个随机动作(探索),以概率1-ε选择当前估计最优的动作(利用)。随机选择动作以概率ε选择一个随机动作,进行探索选择最优动作以概率1-ε选择当前估计最优的动作,进行利用更新价值估计根据获得的奖励更新对各动作价值的估计重复过程不断重复上述步骤,逐步改进策略ε-贪婪算法的优缺点优点简单易实现,计算复杂度低保证了持续的探索,能够适应动态环境适用于许多实际应用场景,如在线广告推荐缺点探索是盲目的,不考虑各个动作的不确定性固定的ε值可能不适合所有阶段,需根据实际情况调整在过度探索或利用情况下,可能导致次优解参数调整参数ε控制了探索与利用的比例。较大的ε值意味着更多的探索,较小的ε值则意味着更多的利用。典型的选择是ε在0.1到0.01之间。随着时间的推移,ε可以逐渐减小,从而在初期进行更多探索,而在后期逐渐集中于利用。上置信界(UCB)算法上置信界(UpperConfidenceBound,UCB)算法是一种更智能的探索方法,考虑了每个动作的不确定性。UCB算法通过计算每个动作的上置信界,将当前估计的期望回报与一个反映不确定性的置信项相结合,从而选择具有最高上置信界的动作。其中:Q_t(a)是动作a的当前估计价值;N_t(a)是到时刻t为止动作a被选择的次数;c是一个控制探索程度的参数,通常是一个正数;t是当前的时间步。在初期,所有动作都会被选择至少一次以初始化N_t(a)。随着时间的推移,算法会根据公式计算每个动作的上置信界,并选择上置信界最高的动作。置信项c\sqrt{\frac{\lnt}{N_t(a)}}随着选择次数的增加而减小,鼓励对不常选择的动作进行更多的探索。UCB算法的优缺点智能探索UCB算法优先探索不确定性高的动作,而不是像ε-贪婪算法那样随机探索。这种智能探索策略能够更有效地利用有限的资源,快速找到最优动作。理论保证UCB算法在理论上保证在某些条件下能达到最优的对数级别的遗憾上界。这意味着随着时间的推移,算法的累积遗憾(与最优策略相比的损失)增长速度会逐渐减慢。参数敏感性UCB算法需要调整参数c,选择不当可能影响算法性能。此外,在非常动态的环境中,可能需要更复杂的变种算法来适应环境的变化。实现复杂度相比ε-贪婪算法,UCB算法的实现较为复杂,计算开销更大。在资源受限的环境中,这可能成为一个考虑因素。在线广告优化案例假设一个在线广告平台有5个不同的广告版本(A,B,C,D,E)可以展示给用户。每个广告版本有其自身的点击率(Click-ThroughRate,CTR),但这个CTR对广告平台是未知的。平台的目标是通过选择最佳的广告版本来最大化总点击数。在这个案例中,广告C的点击率最高(0.3),但平台初始时并不知道这一点。平台需要通过多臂老虎机算法来学习和发现最佳广告版本。每次展示一个广告并观察是否被点击,相当于"拉动"一个臂并获得奖励(点击为1,未点击为0)。算法性能比较1初期表现UCB算法在早期阶段表现明显优于ε-贪婪算法。这体现了UCB更智能的探索策略,它能够更快地识别和利用高回报的广告。2收敛速度UCB算法比ε-贪婪算法更快地达到稳定的高点击率。这说明UCB在平衡探索和利用方面更为有效,能够更快地找到最优策略。3长期表现在足够长的时间后,两种算法的表现趋于一致,都达到了较高的点击率水平。这表明在足够长的时间内,两种算法都能找到接近最优的策略。4稳定性UCB算法的曲线略微平滑一些,可能表明它在长期运行中的稳定性稍好。这对于需要长期稳定性能的应用场景非常重要。马尔可夫决策过程基础马尔可夫决策过程(MDP)是我们用来建模序列决策问题的框架。MDP具有一些独特的特性,使我们能够更容易地对这些问题进行理论分析。基于这种理论,动态规划(DP)领域提出了MDP的解决方法。从某种意义上说,强化学习可以被视为一系列近似的DP方法,使我们能够为那些无法用精确DP方法解决的非常复杂的问题找到良好的(但不一定是最优的)解决方案。在MDP中,智能体采取的行动具有长期影响,这也是它与我们之前介绍的多臂赌博机(MAB)问题的主要区别。马尔可夫链描述状态转移的基本模型,具有马尔可夫性质马尔可夫奖励过程在马尔可夫链基础上增加奖励函数马尔可夫决策过程在马尔可夫奖励过程基础上增加动作选择马尔可夫链马尔可夫链是一种数学模型,用于描述一个系统在不同状态之间的转移。强化学习中,马尔可夫链被用来建模智能体与环境的交互过程。在这种模型中,系统的下一个状态仅依赖于当前状态,而与之前的状态序列无关。马尔可夫性质的重要性在于它简化了系统的建模,使得许多强化学习算法能够高效地应用和求解。状态转移概率矩阵P描述了系统从一个状态转移到另一个状态的概率。对于任意两个状态s和s',状态转移概率P(s'|s)表示系统从状态s转移到状态s'的概率。马尔可夫链中的状态分类可达状态和通信状态如果环境可以在一定数量的步骤后以正概率从状态i转移到状态j,我们说j从i可达。如果i也可以从j到达,那么这些状态被称为通信状态。如果马尔可夫链中的所有状态都相互通信,我们称这个马尔可夫链是不可约的。吸收状态如果一个状态s的唯一可能的转移是到自身,即P(S_{t+1}=s|S_t=s)=1,那么它就是一个吸收状态。一个吸收状态可以被视为终止状态,系统一旦进入该状态便无法离开。例如,如果机器人撞到墙壁后无法再移动,这将是一个吸收状态的例子。瞬态状态和常返状态如果存在另一个状态j可以从i到达,但反之则不成立,那么状态i被称为瞬态状态。给定足够的时间,系统最终会离开瞬态状态并且永远不会返回。相反,一个不是瞬态的状态被称为常返状态。马尔可夫奖励过程马尔可夫奖励过程(MarkovRewardProcess,MRP)是马尔可夫决策过程(MDP)的简化版本,用于建模和分析具有奖励结构的随机过程。在MRP中,我们不仅关心状态的转移,还关心每次状态转移所带来的奖励。一个马尔可夫奖励过程可以由一个四元组⟨S,P,R,γ⟩表示,其中:S是状态的集合;P是状态转移概率矩阵;R是奖励函数;γ是折扣因子,取值范围为[0,1],用于折扣未来的奖励,使得远期奖励的影响逐渐减小。在MRP中,我们引入价值函数V(s)来表示从状态s开始的预期累计折扣奖励。价值函数V(S)满足贝尔曼方程,该方程描述了当前状态的价值与其后续状态的价值之间的递归关系。马尔可夫决策过程马尔可夫决策过程(MarkovDecisionProcess,MDP)是马尔可夫奖励过程(MRP)的扩展,加入了决策元素。MDP可以通过一个五元组⟨S,A,P,R,γ⟩来表征,其中:S是状态集合;A是动作集合;P是状态转移概率矩阵;R是奖励函数;γ是折扣因子。状态环境的当前状况动作智能体可执行的操作状态转移动作导致的环境变化奖励动作带来的即时反馈在MDP中,智能体的目标是找到一个策略,使得预期累积奖励最大化。策略π定义为在给定状态下选择动作的概率分布,即π(a|s)=P[A_t=a|S_t=s]。我们可以定义状态值函数V^π(s)和动作值函数Q^π(s,a)来评估策略的好坏。状态值函数与动作值函数状态值函数状态值函数V^π(s)定义为从状态s开始,遵循策略π的预期累积折扣奖励:贝尔曼方程描述了状态值函数的递归关系:动作值函数动作值函数Q^π(s,a)定义为在状态s执行动作a,然后遵循策略π的预期累积折扣奖励:它也可以通过贝尔曼方程描述:动态规划方法介绍动态规划(DynamicProgramming,DP)是解决马尔可夫决策过程(MDP)的一类重要方法。它基于将复杂问题分解为子问题的原理,并利用子问题的解来构建更大问题的解。在强化学习中,DP方法假设我们完全知道环境模型,即状态转移概率和奖励函数。虽然这在很多实际问题中是不现实的,但DP方法为理解和开发更复杂的强化学习算法提供了基础。动态规划方法主要包括策略评估、策略改进、策略迭代和值迭代等算法,这些方法通过迭代计算来找到最优策略和值函数。策略评估计算给定策略的值函数策略改进基于当前值函数改进策略策略迭代交替进行评估和改进值迭代直接迭代计算最优值函数策略评估策略评估,也称为预测问题,是指给定一个策略π,计算其状态值函数V^π的过程。迭代策略评估算法基于贝尔曼期望方程,通过反复应用该方程来逼近真实的状态值函数。初始化值函数将所有状态的值函数V(s)初始化为任意值,通常为0迭代更新对每个状态s,根据贝尔曼期望方程更新其值函数收敛判断当值函数的变化小于预设阈值时,认为算法收敛迭代策略评估算法的收敛性可以通过收缩映射原理来证明。每次迭代都是一个收缩映射,因为折扣因子γ<1。根据Banach不动点定理,这保证了算法最终会收敛到唯一的解,即真实的状态值函数V^π。收敛速度受折扣因子γ的影响。较小的γ值会加快收敛,但可能会导致短视的评估。策略改进策略改进是在给定当前策略π的值函数V^π的基础上,找到一个更好的策略π'的过程。策略改进定理指出,如果我们改变策略使得对于所有状态s,新策略下的动作选择能够带来更高的期望回报,那么新策略π'一定不会比π更差。基于策略改进定理,我们可以定义贪婪策略改进:这个新策略π'在每个状态都选择能够最大化期望回报的动作。通过不断地进行策略评估和策略改进,我们可以逐步接近最优策略。这种交替进行策略评估和策略改进的方法被称为策略迭代。策略迭代策略迭代是一种结合策略评估和策略改进的方法,用于找到最优策略。算法的基本思

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论