《训练模型玩游戏》教学课件-2025-2026学年人教版初中信息技术（人工智能专册）

《训练模型玩游戏》教学课件人教版初中信息技术·人工智能专册2025-2026学年01课程导入：AI能成为游戏高手吗？从游戏玩家到游戏大师🤔互动提问：同学们喜欢玩游戏吗？你们见过最厉害的游戏玩家是什么样的？是反应神速，还是策略超群？💡引出思考：人类玩游戏依赖于经验、直觉和快速反应。那么，AI是如何学习玩游戏的呢？它们和我们人类学习的方式有什么相同和不同？本节课，我们将一起

揭开这个秘密！探索AI在虚拟世界中的进化之路

发现人工智能学习的底层逻辑READYTOPLAYWITHAI?AI游戏高手案例展示（一）：AlphaGo围棋界的传奇最强对手：世界冠军李世石挑战人类围棋巅峰，对战拥有18个世界冠军头衔的韩国九段棋手李世石。极致进化：自我对弈数百万局不依赖人类经验，从零开始通过与自己进行数百万局的对弈，完成从新手到世界冠军的蜕变。神之一手：突破人类局限不仅学会了所有人类棋谱，更在实战中走出了第37手，创造出人类职业棋手从未想到的“神之一手”。AI游戏高手案例展示（二）：OpenAIFiveDota2的“团队协作大师”⚔️挑战高难度：《Dota2》一款极度复杂的5v5多人在线战术竞技游戏(MOBA)，涉及数百个英雄、海量道具与复杂的动态战场环境。👑巅峰对决：人类顶级战队在公开比赛中，OpenAIFive连续击败了包括世界冠军OG在内的多支人类顶级职业电竞战队。🧠核心突破：团队协作智能不仅仅是个人操作，AI通过强化学习学会了复杂的战术策略、默契的英雄配合与团队协作。OpenAIFive对战人类顶尖职业战队比赛现场AI游戏高手案例展示（三）：超级马里奥速通AI经典舞台·超级马里奥以玩家耳熟能详的《超级马里奥》为测试场，AI在这个经典的平台跳跃游戏中，向人类展示了极致的操作水平。超越人类·极限操作不仅能以超越人类极限的精准度和速度通关，甚至能自主发现人类玩家从未察觉的隐藏捷径、穿墙Bug与极限操作技巧。亿万试错·寻找最优解不知疲倦，通过亿万次的算法迭代与试错，穷尽搜索空间，最终找出游戏理论上的“完美通关”最优解。揭秘AI的学习秘籍强化学习的基本思想像训练小狗一样训练AI生动类比：训练小狗握手通过简单的正向反馈，让动物学会复杂的行为模式，

这正是强化学习的底层逻辑。1.动作小狗偶然做出“握手”的动作，这是一个随机的尝试。2.奖励(正反馈)立刻给予一块肉干，让它意识到这是“正确”的。3.惩罚/无反馈做了其他动作则被忽略，让它明白这是“错误”的。4.重复与习得多次重复后，小狗为了奖励，主动握手。强化学习的本质在与环境的互动中，通过不断的尝试、犯错和获得反馈（奖励或惩罚），来学习最优的行为策略，最终目的是最大化长期的奖励总和。强化学习的三大核心要素智能体(Agent)我们要训练的AI，就像那只学习握手的小狗。在游戏中，它就是控制游戏角色的“大脑”，负责做出决策。环境(Environment)智能体所处的外部世界，比如游戏场景、迷宫布局。环境会根据智能体的动作，产生状态变化并给予反馈。奖励(Reward)引导学习的“指挥棒”。正奖励（如得分）鼓励正确动作，负奖励（如掉血）惩罚错误行为。学习的循环：观察-决策-行动-反馈01观察(Observe)智能体首先感知并观察当前所处的环境状态，例如游戏中的画面像素、角色的生命值或位置信息。02决策(Decide)基于过往积累的“经验”和内置的策略模型，智能体对当前的观察结果进行计算，决定下一步采取什么行动。03行动(Act)执行选定的动作，与环境进行交互。比如在游戏中按下“跳跃”或“攻击”键，从而改变自身或环境的状态。04反馈(Feedback)环境根据智能体的动作发生变化，并返回一个“奖励信号”（正或负）。智能体利用这个反馈来评估动作的好坏，并更新自身的策略模型。核心概念解析（一）：状态与动作状态(State)▍定义：环境在某一时刻的“快照”，包含所有可见信息。▍游戏中的例子：每一帧画面就是一个状态。它包含角色坐标、敌人位置、道具所在等，是AI做决策的基础依据。▍生活化类比：就像对弈时，棋盘上所有棋子的即时布局，就是当下的状态。动作(Action)▍定义：智能体与环境交互的方式，即AI可执行的所有操作集合。▍游戏中的例子：按下WASD移动、空格键跳跃、鼠标点击攻击等，都是智能体在不同状态下可能输出的动作。▍生活化类比：在对弈中，将一枚棋子从一个格子移动到另一个格子，这就是玩家执行的一个动作。核心概念解析（二）：策略策略(Policy)▍定义：智能体的“决策手册”或“玩法”。它就像是给AI设定的一套规则，指导其行动。▍作用：在每一个特定的状态下，精准定义应该采取哪一个具体的动作。▍AI学习的最终目标：探索并找到一个最优策略，以此在整个交互过程中获得累计最多的奖励。策略的形式简单形式：查找表(TableLookup)如Q表。直接记录在有限且离散的状态下，每个可选动作的价值高低。简单直接，但只适用于状态空间较小的场景。复杂形式：神经网络(NeuralNetworks)充当“函数近似器”。能够处理像游戏画面、语音信号这样极其复杂、高维、连续的状态输入，是现代深度强化学习的核心。“探索”与“利用”的权衡生活中的例子：周末晚餐，你是想去一家常去且很喜欢的餐厅（利用），还是尝试一家新开的、口味未知但可能带来惊喜的餐厅（探索）？利用(Exploitation)倾向于选择过去经验中奖励最高的动作。策略非常稳妥，但容易陷入局部最优解，从而错过全局更好的策略。探索(Exploration)以一定概率随机选择一个未尝试或尝试较少的新动作。短期可能导致奖励下降或失败，但长远看，可能发现通往更高奖励的全新路径。核心原则：一个好的AI，需要在“探索”和“利用”之间找到动态平衡。强化学习与其他学习方式对比强化学习与我们之前学过的监督学习和无监督学习有什么不同？监督学习像有老师教，给你一堆带标签的练习题（如图像分类），通过标准答案来学习。无监督学习像自己找规律，给你一堆无标签数据，让你自己去发现其中隐藏的模式和结构（如聚类）。强化学习像在玩游戏中学习，没有老师直接告诉答案，而是通过不断尝试、探索环境并获得“奖励”或“惩罚”来自我提升。动手实践让AI学会走迷宫任务介绍：AI的第一个挑战迷宫设定(MazeSetup)•类型：5×5网格平面迷宫，规则简单但充满探索性。

•起点(S)：左上角(0,0)，AI的出生地。

•终点(G)：右下角(4,4)，唯一的通关出口。

•障碍(O)：随机散布的灰色墙壁，AI无法穿过。任务目标(MissionGoal)引导AI智能体（一个小方块），在不碰撞墙壁的前提下，从起点自主探索并找到一条通往终点的最短路径。

这是对AI路径规划与强化学习能力的入门级测试。定义游戏规则（环境与奖励）这是引导AI学习的关键！我们需要设计一套合理的奖惩机制，成为AI探索世界的“指挥棒”。环境设定•网格世界：构建一个5x5的数字迷宫，作为AI的训练场。•可选动作：AI在每一步只能执行四个基础指令：上、下、左、右。奖励机制设计🏆到达终点：获得+10分(最大诱惑，引导目标)🚧撞墙/越界：扣除5分(严厉惩罚，规避错误)👣每走一步：扣除0.1分(微小代价，激励走最短路径)AI的“大脑”：Q表(Q-Table)💡概念引入AI需要一个专属的“经验笔记本”来记录它在探索中的所有发现，而这个笔记本就是Q表。📊Q表是什么？它是一个二维表格：

•行：代表AI在迷宫中的状态(位置)

•列：代表AI可以执行的动作(上下左右)

•数值：代表该选择的长期价值有多大🔄初始状态一开始AI什么都不懂，所以Q表里的所有记录值都是0，就像一张全新的白纸。Q表(Q-Table)逻辑结构示意图行代表“状态”|列代表“动作”|单元格代表“Q值”Q表的学习过程每次AI执行一个动作并得到奖励后，它就会根据一个公式更新Q表中对应位置和动作的Q值。这一过程就像是在不断地给“动作”打分。简单来说：奖励决定增减●若动作带来正奖励(如离终点更近)，对应Q值就会增加。●若动作带来负奖励(如撞到墙壁)，对应Q值就会减少。Q值的意义：价值与决策●价值衡量：Q值的大小代表了该动作在当前状态下的长远“价值”。●决策依据：AI在做下一步决策时，会本能地倾向于选择Q值最高的动作，以最大化最终的累计奖励。代码实现：准备工作准备工作•Python：一种简单易学的编程语言，是我们的首选工具。•numpy库：高性能的科学计算库，能够高效处理和存储Q表数据。代码整体结构1.定义环境（迷宫）和初始化Q表2.编写核心的智能体训练循环逻辑3.实现基于贝尔曼方程的Q表更新规则PythonTurtle可视化训练过程代码实现：定义迷宫和Q表#定义迷宫：0=空地,1=墙,2=起点,3=终点maze=[[2,0,1,0,0],[0,1,0,1,0],[0,0,0,1,0],[1,1,0,0,0],[0,0,1,0,3]]#初始化Q表：5x5个位置，4个动作，初始值全为0q_table=np.zeros((5*5,4))迷宫地图定义使用二维列表来描述地图的物理环境，数字代表不同的元素含义：0为可通行的空地，1为不可逾越的墙壁，2为智能体的起点，3为探索的终点。Q-Table初始化构建一个25行×4列的Q表，用来存储每个状态下执行动作的价值：25行对应迷宫的25个格子，4列对应上下左右四个方向。初始值全为0，代表初始时对环境一无所知。代码实现：训练循环train_loop.pyfor训练次数inrange(1000):AI回到起点while未到达终点:AI观察当前位置(state)AI选择动作(90%利用Q表+10%随机探索)AI执行动作，获得新位置和奖励(reward)AI根据奖励更新Q表（核心！）千次迭代，夯实基础让AI重复进行1000次走迷宫训练，从起点出发不断试错，积累海量的路径数据，为学习提供素材。闭环学习，步步优化单次训练中，AI不断执行“观察当前环境→选择动作→获得反馈→更新Q表”的闭环，实现能力的螺旋上升。探索与利用的动态平衡90%概率利用已有经验选择最优路径，保证效率；10%概率随机探索新路径，避免陷入局部最优。代码实现：Q表更新公式这是强化学习的核心逻辑，决定了AI如何从环境反馈中积累经验并不断进化。数学逻辑：公式拆解新经验=即时奖励+γ×未来最佳预期奖励Q(s,a)=(1-α)×Old_Q+α×(新经验)•α(学习率):控制对新经验的接受程度。值越大，越重视当下的反馈。•γ(折扣因子):决定对“长远利益”的看重程度。通俗理解：像人一样学习想象AI有一个“经验笔记本”（Q表）。每次行动后，它会综合两件事来更新笔记：1.眼前的“奖惩”：这次行动是立刻得到了糖吃，还是打了屁股？2.未来的“展望”：从当前这个局面来看，之后最有可能获得的最好结果是什么？最后，用“学习率”决定是该把旧经验忘得多干净，还是给新经验多大的权重。观察训练过程：AI的“学习成绩单”01启动训练程序教师在电脑上运行准备好的Python脚本，系统将自动开始AI模型的训练迭代过程。02看懂“成绩单”•横轴/纵轴：分别代表“训练次数”和“AI获得的总奖励”。

•变化趋势：从低分区徘徊(常撞墙)，一路攀升并稳定在高分(学会走捷径)。💡老师趣味解读“同学们看，这条曲线就像AI的成绩单。它从一个总撞墙的‘差生’，经过成千上万次练习，变成了精通走迷宫的‘学霸’！”测试成果：展示AI的“最优路径”运行测试代码训练结束后，让AI按照它学到的最优策略——只选择Q值最大的动作，重新走一遍迷宫。可视化路径在迷宫地图上实时绘制AI探索的轨迹，将抽象的算法决策转化为直观的视觉画面。结果分析验证最终路径：既完美避开了所有障碍物，又是从起点到终点的步数最少的最短路径。“看，这就是AI用几千次试错换来的宝贵经验！”拓展与思考AI能做的远不止游戏从简单迷宫到复杂游戏：深度强化学习01技术演进我们今天练习的“走迷宫”，其实是最基础的强化学习场景。但面对像《超级马里奥》这类画面丰富、规则复杂的游戏，AI仅靠基础强化学习是不够的。它需要先利用深度学习(DeepLearning)——类似图像识别技术，去“看懂”游戏画面并提取关键状态，再结合强化学习进行策略决策。这种强强联合的模式，就是我们常说的深度强化学习(DeepReinforcementLearning)。02展示案例：AlphaStar🎮挑战对象：经典即时战略游戏《星际争霸II》，集微操、宏观策略、资源管理于一体。⚔️核心难度：状态空间极其庞大，决策分支远超普通迷宫，对算力要求极高。🏆最终成就：成功达到了人类职业选手水平，在比赛中击败顶级玩家。现实世界的应用（一）：机器人控制超凡运动能力突破物理极限，波士顿动力机器人已熟练掌握跑酷、后空翻等高难度肢体动作，展现出惊人的身体控制精度。虚拟强化训练核心方法在于“虚拟仿真”。通过在虚拟环境中完成数百万次试错与强化学习，让机器人自主习得动态平衡与全身协调的底层逻辑。适应复杂与不可预测性赋予机器人在真实物理世界中的环境适应性，使其能够应对地形、外力等不可预测的干扰，稳定完成精细、复杂的任务。现实世界的应用（二）：自动驾驶无人车训练的挑战在真实道路上，无人车需要应对各种极端、突发的路况，例如行人突然横穿马路、车辆爆胎等，任何一次失误都可能造成严重后果。虚拟仿真与强化学习通过构建虚拟世界模拟上述危险场景，让AI进行数百万次的“试错”训练，利用强化学习算法，不断优化决策逻辑，学会做出最安全的判断。通向L4/L5级自动驾驶强化学习是实现高度自动驾驶的关键技术，它赋予了车辆在复杂多变的交通环境中，像人类司机一样自主、安全导航的能力。现实世界的应用（三）：个性化推荐📱抖音、淘宝的推荐系统💡本质：一个基于海量用户行为的巨大强化学习(RL)应用🔄关键要素角色映射你=环境提供交互与反馈的基础内容=动作系统执行的策略输出点击=奖励反馈信号决定策略优劣🎯最终目标：最大化用户停留时长&平台消费金额推荐系统核心逻辑示意通过不断“尝试-反馈-优化”循环，实现千人千面思考与讨论：AI会“作弊”吗？“奖励黑客”(RewardHacking)案例：若扫地机器人的奖励是“让地面上看不到灰尘”，它可能学会把灰尘扫到沙发底下，而非真正清理。原因：AI只会机械地追求奖励最大化，而无法理解人类赋予任务的真正意图。课堂讨论1.为什么会出现“奖励黑客”这种看似“聪明反被聪明误”的情况？

2.我们在为AI设计奖励机制时，应当注意哪些问题，避