人工智能导论 课件 何友 第6-8章 智能体系统 - 人工智能前沿技术

人工智能导论第六章智能体系统CATALOGUE目录2一、智能体概述二、单智能体系统架构三、多智能体系统架构四、智能体的典型应用五、小节与展望智能体概述0134（一）引言与基础概念智能体概述智能体系统指以大语言模型为基础构建的AI系统，能够自主或半自主地使用工具、执行操作、与外部环境交互来完成特定任务Agentic一词源自”Agent”（智能体），强调系统具备“自主行动的能力”——这正是智能体区别于普通聊天机器人的根本所在。5定义：指人造系统所展现出的、能够完成诸多原本需要人类智能才能完成的任务的能力，如识别物体、理解语言、完成游戏等。里程碑事件：2016年，AlphaGo击败李世石，展示了超越人类的策略创新能力。应用领域扩展：从游戏（德州扑克、星际争霸）扩展到科学和工业领域（核聚变控制、数学定理证明、医疗风险预测）。当前趋势：大规模技术赋予智能体更强的泛化能力和自然交互能力，在具身智能、社会模拟等前沿领域崭露头角。AlphaGo对弈李世石的现场照片智能体在具身领域崭露头角（一）引言与基础概念深度强化学习6定义：指人造系统所展现出的、能够完成诸多原本需要人类智能才能完成的任务的能力，如识别物体、理解语言、完成游戏等。状态(State)：描述环境和智能体自身的基本信息，是智能体的感知输入。动作(Action)：智能体根据当前状态所采取的行为，是智能体的决策输出。奖励(Reward)：环境对智能体动作的即时反馈信号，定义了“好”与“坏”，引导智能体学习。核心思想：智能体通过不断“试错”（交互），学习最大化长期累积奖励的策略。智能体马里奥通过持续与环境试错交互，从获得的奖励中学习，从而找到能使长期累积奖励最大化的最优策略（一）引言与基础概念深度强化学习7（一）引言与基础概念智能体概述大语言模型擅长内容生成和信息表达，但仅有“生成”能力只能被动回答问题，难以自主完成真实任务。智能体的目标：面向真实任务目标的自主执行能力。输入输出感知规划执行反馈修正传统对话系统智能体系统具备目标驱动、自主决策、闭环执行的能力。8（二）智能体的定义智能体概述什么是生成式模型（GenerativeModel）？经典定义（Russell&Norvig）智能体是指能够通过传感器感知其所处环境，并通过执行器对该环境产生作用的计算实体。现代定义（大语言模型时代）以大语言模型为认知中枢，并结合状态维护、记忆管理、工具调用、执行控制、结果校验与安全治理等运行时机制所构成的智能系统，能够在数字环境或物理环境中自主感知、决策并执行，以达成高阶目标。以“感知-行动”闭环作为最基础的运行骨架在“感知-行动”闭环的基础上，进一步强调了复杂认知能力与任务执行能力的统一9（二）智能体的定义智能体概述什么是生成式模型（GenerativeModel）？感知能力：从物理或数字环境中持续获取信息，识别与任务相关的关键变量。目标导向性：系统运行始终围绕任务目标，评价标准为“是否完成任务”。自主性：在给定目标和约束下，自主决定下一步行动，无需人工逐细节指定。行动能力：通过工具调用、流程触发、内容生成等方式对外部环境产生实际影响。基本特征10（二）智能体的定义智能体的定义智能体的发展历程问答/生成内容快速回答用户问题、提供解释并完成基础查询。工具使用任务闭环组织化协作系统能够围绕任务目标组织多步行动，在执行过程中不断获取反馈，修正偏差，并形成可靠交付。调用AI工具优化内容，生成结构完整、依据清晰、能够进入实际流程的交付物。多系统通过角色分工和协同机制完成更高复杂度任务。智能体的发展不是简单追求“更强的生成能力”，而是不断增强嵌入流程、完成任务、支撑写作的系统能力。11（二）智能体的定义智能体概述什么是生成式模型（GenerativeModel）？Gartner预测，到2026年底40%的企业软件应用将嵌入具备自主任务执行能力的AI智能体，这一数据在2025年不足5%。“2026年全世界至少会出来100亿个智能体。”——360集团创始人周鸿祎在2026崇礼论坛上对智能体生态作出了这一乐观预判。12（三）智能体的分类智能体概述软件智能体：运行于数字环境（操作系统、浏览器等），依靠大语言模型、记忆机制、工具调用完成任务。硬件智能体：部署于机器人、无人机等，通过传感器感知物理环境，通过执行器动作。面临实时性、安全性和物理约束等挑战。二者关系：上层软件智能体负责全局规划与调度，下层硬件智能体负责局部感知与执行按实体载体分类13（三）智能体的分类智能体概述按协作主体规模分类按任务组织方式分类单智能体：单一主体完成感知、规划、决策、执行、反馈全闭环。适合任务链条明确的场景。多智能体：多个智能体分工协作，通过通信、协商、任务分配协同工作。适合长链条、专业分工、需交叉校验的复杂场景。对话响应型：围绕自然语言交互，如问答、客服（强调交互自然性）流程执行型：嵌入固定业务流程，如信息抽取、工单流转（强调流程一致性）目标驱动型：面向复杂多步骤任务，自主拆解、规划、动态调整（当前研究热点）14（四）智能体与大语言模型智能体概述大语言模型的角色：认知中枢。负责语义理解、意图澄清、推理分析、计划生成、工具选择、结果表达。仅有大语言模型输出存在不确定性，需要外部工具校验无法维护长期任务的状态与一致性无法处理异常、权限、安全治理等问题智能体大语言模型运行时系统负责语义理解、意图澄清、推理分析、计划生成、工具选择、结果表达。负责状态管理、工具执行、结果校验、安全保障、反馈学习15（四）智能体与大语言模型智能体概述语义理解解析用户输入的深层含义与上下文关联意图澄清识别并确认用户的真实目标与需求边界推理分析基于知识进行逻辑推导与多步因果分析计划生成将目标拆解为可执行的行动步骤序列工具选择结果表达输出不确定性大语言模型输出存在不确定性，需借助外部工具与校验机制保证可靠性状态维护需求复杂任务涉及进度、依赖、证据等状态信息，需状态维护机制真实执行问题真实执行会遇到接口异常、权限限制、失败重试等问题大语言模型为认知中枢、运行时系统为执行支撑16（四）智能体与大语言模型智能体概述1大模型拓展智能体三大能力智能体的核心能力可分为感知、决策、行动三部分，大模型在多模态理解、复杂推理和外部工具调用等方面显著增强了这三种能力。感知上拓展文本、视觉、音频等通道；在决策上结合思维链、知识库、记忆与反思机制；在行动上通过文本或程序接口控制工具、服务甚至机器人。17（四）智能体与大语言模型1大模型拓展智能体三大能力以Gemini2.5系列模型为代表，新一代大模型在复杂推理效率和多模态分析上大幅升级，并支持动态算力调度与工具链整合，实现低延迟决策。基于Gemini2.5的GeminiCLI、PlantUML‑X等智能体，把搜索、代码执行和第三方API统一封装，展示了面向开发、办公场景的大模型智能体形态。大模型与智能体18（四）智能体与大语言模型2一体化感知–决策–行动大模型除了分别强化感知、决策和行动外，还可以构造一体化大模型，以端到端方式打通从输入感知到输出控制的全流程。包括自动驾驶领域的UniAD和机器人领域的视觉‑语言‑动作（VLA）模型，用统一网络替代传统“感知–预测–规划–控制”的多模块流水线。这类架构减少模块间误差累积和接口设计工作，在动态环境中体现出更好的泛化与鲁棒性。大模型与智能体19（四）智能体与大语言模型3大模型提升感知泛化性预训练大模型在大规模文本、图像、音频数据上学习，使智能体在多模态输入上的泛化能力显著增强，能更准确理解复杂场景与用户意图。如PandaGPT将ImageBind与Vicuna结合，可在六种模态之间对齐信息，根据图片、音频及文字生成统一回答。这类多模态模型弥补了传统单通道感知的不足，为后续决策提供更完整、细致的环境表征。大模型与智能体20（四）智能体与大语言模型3大模型提升感知泛化性借助大模型的多阶段任务规划能力，智能体可以为机械臂等执行体生成长序列动作计划，完成多步骤抓取、装配等复杂操控任务。视觉‑语言‑动作模型将视觉感知、语言理解与动作控制统一，使机器人在新环境中也能通过“看懂–听懂–去执行”泛化到新任务。大模型与智能体21（四）智能体与大语言模型智能体概述2022—2023年间，研究人员围绕大语言模型的推理与行动能力展开了一系列探索：ReAct范式的提出，构建了“推理-行动-观察”的闭环，使语言模型首次具备了与外部环境交互解决复杂任务的能力[1]。ReAct框架将思维链推理与外部工具使用相结合，增强了LLM在智能体工作流中处理复杂任务和决策的能力

。以姚顺雨等人为代表的后续研究则提出了TreeofThoughts(ToT)，打破了LLM传统的线性推理模式，引入了树搜索算法，让大模型学会多步推演与回溯，为目标驱动型智能体提供了重要的规划方法论[2]。这些工作构成了智能体“认知中枢”的理论基础。[1]YaoS,ZhaoJ,YuD,etal.React:Synergizingreasoningandactinginlanguagemodels[J].arXivpreprintarXiv:2210.03629,2022.[2]YaoS,YuD,ZhaoJ,etal.Treeofthoughts:Deliberateproblemsolvingwithlargelanguagemodels[J].Advancesinneuralinformationprocessingsystems,2023,36:11809-11822.单智能体系统架构022223（一）感知与状态建模单智能体系统架构单智能体系统的运行起点是感知，将来自环境的多源信息转化为可用于后续推理与决策的内部表征。输入处理通常可分为文本、视觉、听觉和结构化数据等四条典型链路。文本输入（语义解析）视觉输入（内容识别）听觉输入（语音提取）结构化输入（字段对齐）（一）感知与状态建模单智能体系统架构24输入处理进行信息获取与解析，状态建模则进一步解决信息如何被组织并持续服务后续决策。内容上看，状态至少包括以下几类信息：任务结构与执行进度阶段划分子任务依赖关键事实及证据来源数据库信息外部系统工具与能力边界可调用工具权限范围执行轨迹关键操作调用参数25（一）感知与状态建模单智能体系统架构什么是生成式模型（GenerativeModel）？智能体需要将不同来源的信息组织起来，形成对当前任务的可执行理解。解析的结果用于更新当前的任务状态，形成的信息被记录为可追溯的依据。任务完成或条件发生变化时，状态也会相应更新。智能体的多源理解与状态更新状态建模的作用在于将输入处理得到的关键变量组织为统一、可更新的任务画像，并通过持续更新、对齐、压缩，为后续推理、决策和反馈提供稳定基础。26（二）推理与规划单智能体系统架构什么是生成式模型（GenerativeModel）？任务判断与推理形成推理是智能体从“理解信息”走向“制定行动”的关键环节。在实际系统中，推理根据任务类型采用不同方式进行组织，可以概括为三种互补形态：基于知识的推理是依据已有知识、规范或权威文本，对问题进行有根据的判断与解释。27（二）推理与规划单智能体系统架构什么是生成式模型（GenerativeModel）？任务判断与推理形成推理是智能体从“理解信息”走向“制定行动”的关键环节。在实际系统中，推理根据任务类型采用不同方式进行组织，可以概括为三种互补形态：链式推导与分步推理将复杂问题拆分为若干中间步骤，逐步推导后形成最终结论最具代表性的是思维链（Chain-of-Thought，CoT），可以显式输出中间的推理步骤。28（二）推理与规划单智能体系统架构什么是生成式模型（GenerativeModel）？任务判断与推理形成推理是智能体从“理解信息”走向“制定行动”的关键环节。在实际系统中，推理根据任务类型采用不同方式进行组织，可以概括为三种互补形态：工具辅助推理借助外部工具获得可验证的结果，再由模型进行综合解释和组织。29（二）推理与规划单智能体系统架构任务分解与计划生成推理与规划是将已知信息组织为推进路径，推理负责形成任务判断，规划负责生成可推进的计划，二者共同为后续决策与行动提供结构化基础。结合世界模型的蒙特卡洛树规划（RAP）30（三）决策与行动单智能体系统架构决策：从候选路径到当前动作智能体的决策并非抽象的价值判断，而是在完成推理与规划后，务实地选出“下一步最合适动作”的过程。右图以ReAct架构为例，体现了智能体不是一步到位的直接生成答案而是逐步思考，在最终确定答案之前执行中间行动。ReAct智能体在一个思考-行动-观察的循环中运行直到它找出解决方案为止。31（三）决策与行动单智能体系统架构行动：从内部判断到外部效果如果说决策回答的是“做哪一步”，那么行动回答的就是“如何把这一步真正落实”。在智能体系统中，行动并不局限于物理运动，而是泛指智能体对外部环境施加影响的具体过程，可以将智能体概括为若干典型行动。行动类型典型操作示例核心目标关键工程要求查询与读取类行动知识检索、文件读取、接口查询、状态查看获取可复核的事实与证据查询条件明确，结果可追溯，返回格式稳定生成与构建类行动文本生成、代码补全、内容组织、草稿构建形成可供后续使用的中间产物版本清晰，上下文完整，引用依据可标识写入与变更类行动状态更新、字段写入、流程触发、结果提交推动外部系统状态变化权限可控，无副作用，异常时可回滚协作与交互类行动发起询问、信息同步、材料催办、结果确认推动跨主体协作与信息对齐等待状态显式化，超时与转交规则明确32（三）决策与行动单智能体系统架构行动：从内部判断到外部效果从系统实现看，行动通常包含两个相互衔接的层面：一是动作表示，即将当前决策转化为明确的动作类型、目标对象和所需参数。如右图所示，现在将信息转化为智能体决策中的有效动作表示的四种主流方法：潜空间表示、预测世界模型、显式2D监督、显式3D监督。33（三）决策与行动单智能体系统架构行动：从内部判断到外部效果从系统实现看，行动通常包含两个相互衔接的层面：二是执行控制，即借助工具或执行器将动作真正落地，并处理权限、异常、重试和结果回执等问题。智能体执行控制关注“如何让智能体可靠行动”，而AgentHarness正是这一控制机制的具体实现：连接模型推理与外部工具、管理执行上下文、约束动作边界。34（四）反馈与学习单智能体系统架构什么是生成式模型（GenerativeModel）？反馈：从执行结果到可用信号反馈的核心作用，是将外部结果转化为系统可理解、可利用的评价信号。反馈通常并非单一来源，而是由用户反馈、系统日志和环境数据共同构成。用户反馈系统日志环境数据直接反映是否满足目标判断是否按计划执行判断行动是否仍然有效35（四）反馈与学习单智能体系统架构学习：从一次纠偏到持续改进1. 监督学习监督学习是一种通过分析带有已知标签的历史数据来寻找映射规律，进而实现对位置数据进行准确分类或预测的机器学习范式。支持向量机(SVM)旨在高维数据空间中寻找一个最优超平面，以最大化分类间隔的方式将不同类别的数据清晰分隔开的经典分类算法。典型算法监督学习算法SVM36（四）反馈与学习单智能体系统架构学习：从一次纠偏到持续改进2. 强化学习强化学习是一种让智能体在与环境的不断交互中，通过“试错”和奖惩机制来学习最优行为策略，以实现长期累积收益最大化的机器学习范式。Q-Learning是一种经典的无模型强化学习算法，它通过不断更新一个记录动作价值的Q表，指导智能体在每一种状态下做出能获得最大预期奖励的最优决策。典型算法强化学习算法Q-LearningQ-Table37（四）反馈与学习单智能体系统架构学习：从一次纠偏到持续改进3. 无监督学习无监督学习是一种在没有任何已知标签的数据中，让算法自行探索和发现数据内部隐藏的结构、模式或群体分布的机器学习范式K-Means是一种经典的聚类算法，它通过不断迭代优化簇中心的位置，将海量无标签数据按照特征的相似度，自动且高效地划分到K个最紧凑地独立集合中。经典无监督学习算法K-Means38（四）反馈与学习单智能体系统架构学习：从一次纠偏到持续改进4. 迁移学习迁移学习是一种主张“举一反三”地机器学习范式，核心思想是将模型在源任务中已经学到的通用知识和特征，迁移应用到目标任务中，从而避免每次都从零开始训练。微调算法是一种最主流的迁移学习策略，通过在已经具备庞大通用知识的预训练基座模型上，是用少量特定任务的数据对模型参数进行微小调整，以极低的计算成本实现下游任务的高效适配经典迁移学习算法Finetune39（四）反馈与学习单智能体系统架构学习：从一次纠偏到持续改进5. 元学习元学习是一种主张“学会学习”的高级机器学习范式，旨在让模型通过在大量多样化任务上的跨任务训练，掌握通用的策略，从而能在面对全新任务时仅凭少量数据就能快速适应。MAML是一种通用且优雅的经典元学习框架，它核心目的是寻找一组具备极强潜力的“全局最优初始参数”，使得模型在新任务上只需进行一两次梯度更新，就能瞬间达到极佳的预测效果。经典元学习算法MAML多智能体系统架构034041（一）多智能体组织形式多智能体系统架构多智能体系统的关键问题是“如何组织多个智能体协同完成同一目标”。相较单智能体而言，多智能体组织形式的作用，在于明确控制权、信息流与协作方式，在效率、可靠性与可控性之间进行结构化取舍。42（一）多智能体组织形式多智能体系统架构集中式组织集中式组织统一接收任务目标与约束，形成全局计划，拆分并分派子任务，最终汇总结果并完成验收交付。适合流程约束较强、依赖关系明确、交付要求高度一致的场景，如合规审查、审批流处理和正式报告生成等。43（一）多智能体组织形式多智能体系统架构分布式组织分布式组织由多个智能体以相对平等的方式协同完成任务。各智能体可根据自身能力和局部观察，自主承担子任务、提出方案并执行操作，再通过消息交换、状态共享或局部协商推进整体任务。分布式组织的优势在于并行度高、单点故障风险较低、探索空间大，但也更容易出现重复劳动、结果分叉和收敛困难等问题。44（二）角色分工与任务分配多智能体系统架构将复杂任务划分为不同功能角色单智能体闭环通常包含感知与状态、规划与分解、执行与工具、反馈与校验等环节。多智能体分工常以此为基础，将不同环节对应不同角色，以降低认知负载并提升并行度。如图所示，列出了工程中较常见的角色。45（二）角色分工与任务分配多智能体系统架构（1）任务统筹者：理解目标与约束，拆解任务、分派角色、跟踪里程碑，并对关键节点进行决策与验收。产出包括阶段计划、任务清单、依赖关系和最终交付物。（2）证据获取者：从文档库、知识库、数据库或外部系统检索信息，形成可追溯的事实依据，并标注来源、时间与冲突点。（3）分析者：基于证据开展结构化分析，形成对比结论，识别风险与未决问题，并提出可执行建议。（4）执行者：负责具体工具调用和系统操作，如脚本运行、接口调用、文档编辑、工单创建等，并记录操作步骤、参数和回执。（5）审阅者：校验中间产物和最终交付物，重点检查格式规范、事实一致性、引用可追溯性、合规边界和数据核验结果。（6）写作者：将分析与执行结果整理为报告、邮件、说明文档等对外交付内容，统一结构、口径与表达。46（二）角色分工与任务分配多智能体系统架构任务分配：把具体工作分派到对应角色任务分配机制是多智能体协同运作的调度中枢，通过特定的规则和算法，将复杂任务精准拆解并匹配给最合适的执行者，以实现系统全局效率最大化。基于市场的分配范式（Market-BasedApproach）是一种去中心化的经典分配策略，它巧妙借用人类经济学中的拍卖与竞拍法则，让智能体在追求个体效用最大化的自发竞争中，涌现出最优的全局任务分配方案。基于市场的分配范式47（三）智能体间通信协调多智能体系统架构通信内容多智能体之间并不是所有信息都需要以同样方式传递。按照协作过程不同，通信内容通常可以概括为四类，如下图所示：48（三）智能体间通信协调多智能体系统架构通信载体通信载体一般呈现为两种互补方式：消息传递与共享工作区消息传递：是智能体通过离散消息进行即时交互的通信模式，强调即时性，适合任务触发与行为协商。优势在于低延迟与松耦合；但也会导致信息散落。消息传递模式点对点方式：通信双方建立直接的通信链路，发送方必须知道系统中接收方的指定位置。广播方式：该方式在分布式系统中使用广泛，智能体一次向所有智能体广播消息，而不是发送到特定地址。49（三）智能体间通信协调多智能体系统架构通信载体通信载体一般呈现为两种互补方式：消息传递与共享工作区共享工作区：典型代表如黑板系统。它提供一个集中式的公共数据空间，适合持久化存储、复杂信息共享等场景。发送和接收者无需同时在线，即具有全局一致性视图。50（四）协作执行与冲突处理多智能体系统架构协作执行强调并行推进，冲突处理强调结果收敛，二者共同决定多智能体系统能否把结构优势转化为可靠交付。只有二者结合，多智能体系统才能在复杂任务中实现既高效又可控的协作执行。AgentVerse：动态组队与共识收敛机制智能体的典型应用045152（一）典型应用分类智能体的典型应用从应用角度出发，将智能体概括为三类：服务软件开发、支撑流程编排、面向个人事务。三者共同指向“把大模型能力转化为真实任务执行”。53（二）编程辅助智能体智能体的典型应用编程辅助智能体的核心，不只是“会生成代码”，而是能够把理解、修改和验证连接起来。一般来说，它的工作过程可以概括为几个步骤：先接收开发者提出的任务，再读取相关代码和工程信息，随后形成修改方案，调用相应工具实施改动，最后根据运行结果或测试结果检查修改是否有效。54（二）编程辅助智能体智能体的典型应用编程辅助智能体的典型任务场景：它不是只补几行代码，而是围绕一个完整任务，逐步完成分析、修改和验证。55（二）编程辅助智能体智能体的典型应用当开发者刚接触一个代码库时，可以先让系统解释项目结构。如果希望它重点分析某个文件或目录，还可以用“@文件路径”或“@目录路径”的方式显式地加入上下文。这样，系统给出的回答就能更贴近当前项目，而不只是一般性的说明。56（三）工作流型智能体智能体的典型应用工作流型智能体（WorkflowAgents）的核心关注点不是单次对话的自然度，而是多步流程执行的稳定性与可控性。它通常把一个复杂任务拆成若干节点，每个节点负责一类操作，如接收输入、检索知识、调用大模型、访问外部服务、判断分支条件和输出结果，再通过连线把这些节点组织成一条可执行的流程。57（三）工作流型智能体智能体的典型应用当前常见平台大多采用“节点+连线”的方式搭建流程：节点负责完成具体操作，如接收输入、知识检索、模型生成、调用外部接口、判断分支和输出结果；连线则规定这些操作按什么顺序执行。Dify将工作流和对话流都建立在同一套流式引擎之上，说明这类系统的核心已经从“单次对话”转向“流程执行”。58（三）工作流型智能体智能体的典型应用以Dify为例，工作流型智能体的典型应用主要体现在三类任务中：面向知识库的问答处理、面向业务输入的结构化处理，以及面向复杂目标的检索分析与自动化生成。59（四）个人助理型智能体智能体的典型应用个人助理型智能体面向的是日常工作与生活中的综合性事务。它的重点不只是回答一个问题，而是把用户的意图转化为可执行的任务，例如整理信息、持续跟进、跨应用协调和结果回传。60（四）个人助理型智能体智能体的典型应用个人助理型智能体并非简单消息回复工具，而是将用户在日常沟通中的请求转化为可持续执行的任务链路。其典型流程包括消息接入、网关处理、能力执行和结果回传。来自微信、飞书等不同入口的消息先统一接入网关，由网关负责连接管理、会话维护和消息路由，从而使多渠道请求能够按照统一规则处理。61（四）个人助理型智能体智能体的典型应用个人助理型智能体主要应用于跨渠道消息处理、提醒与持续跟进、多步事务执行三类任务。其核心特点是将多个消息入口接入统一网关，由系统维护会话、调用能力并返回结果。小节与展望0562小结与展望63（一）本章小结智能体从概念到系统形态智能体的本质：具备感知、目标导向、自主决策和行动能力的系统。与大语言模型的关系：大模型提供理解、推理和生成能力，智能体系统负责状态管理、工具执行和反馈闭环。能力演进路径：从问答生成、工具使用，到任务闭环和组织化协作。关键转变：评价标准从“回答是否合理”转向“任务完成、过程可控、结果可验证”。单智能体：围绕任务目标持续闭环感知与状态建模：从多源输入中提取关键变量，形成可维护、可引用、可复核的任务状态。推理与规划：基于当前状态判断任务瓶颈，生成可推进的任务计划。决策与行动：从候选路径中选择当前动作，并通过工具或执行器产生外部效果。反馈与学习：根据执行结果、系统日志和用户反馈完成校验、纠偏和经验沉淀。小结与展望64（一）本章小结系统扩展——多智能体协作与典型应用多智能体系统：通过组织形式、角色分工、通信协调和冲突处理完成复杂任务。角色分工：不同智能体可分别承担规划、检索、分析、执行、审查和风险控制等职责。协作关键：不是简单增加智能体数量，而是保证状态共享、任务交接、冲突显式化和结果收敛。典型应用：编程辅助智能体、工作流型智能体、个人助理型智能体分别服务于开发、流程和个人事务场景。多智能体的价值不只是并行提效，更在于通过分工、互检和冲突收敛提升复杂任务的可靠性。小结与展望65（二）展望DeepMind通过深度强化学习算法改进了托卡马克的控制性能AlphaStar利用多智能体强化学习技术击败了99.8%的《星际争霸Ⅱ》玩家特斯拉借助大模型实现了开放道路的自动驾驶……智能体技术的持续发展预示着人类所憧憬的“智能生活”终将到来智能体系统将成为大模型走向真实任务执行的重要形态，通过状态建模、工具调用、任务规划和反馈学习实现从“生成回答”到“完成任务”的能力跃迁。未来，智能体将不再局限于单轮对话和简单工具调用，而是进一步面向长链路任务、复杂业务流程和多主体协同场景发展。随着模型推理能力、外部工具生态和安全治理机制的不断完善，智能体将逐步从封闭测试环境走向开放、动态、可交互的真实应用环境。第七章

人工智能实践67本章导入：AI落地不是只训练模型从“训练一个模型”扩展到“开发一个可复现、可部署、可迭代的系统”数据采集→模型训练→效果评测→模型导出→模型部署→迭代优化数据是否规范格式、标签、切分、泄露控制决定评测是否可信。算力是否匹配显存、带宽、精度与部署形态决定任务能否跑通。算法是否合适学习范式、损失函数、评测指标必须服务业务目标。模型效果不好时，应该先换模型，还是先检查数据与评测？68AI项目开发的全流程数据版本记录采集、清洗、标注规则训练配置保存参数、环境、随机种子评测报告固定指标、切片、误差分析导出模型关注格式、精度、兼容性部署镜像保证环境一致与可回滚69AI实践三要素项目成败取决于三者是否匹配，而不是单看算法是否先进数据Data决定模型能学到什么：格式可读、标签一致、切分合理、无信息泄漏。算力Compute决定任务能否跑通、跑快：显存、带宽、多卡、数值精度。算法Algorithm决定学习方式：监督信号、训练范式、损失函数、评测指标。核心判断：三要素是否共同服务业务目标与资源约束70AI实践三要素：数据可用数据≠可训练数据•格式可被程序稳定读取：文件、字段、编码、缺失值处理一致。•标签含义一致：同一类别、同一标注规则不能前后漂移。•训练/验证/测试切分无信息泄漏：评测可信的前提。采集清洗标注质检增强切分回流优化数据质量是一项贯穿全流程、并随实验不断回流优化的闭环工作。71AI实践三要素：数据训练集、验证集、测试集各司其职训练集：学习模型参数。验证集：模型选择与超参数调整。测试集：最终结论确认。基本原则：测试集不参与任何调参、选择或中间决策，只能在最后评估。方法如何划分适用任务主要优势随机按比例全量样本按比例图像分类简单、实现快分层随机保持标签分布类别不均衡分类指标稳定按时间按时间排序时间序列/推荐用过去预测未来滚动验证多个时间窗口滚动时间序列/需求预测更稳健按组划分以用户/病人/商品划分推荐/搜索/医疗防止同主体泄漏72AI实践三要素：数据信息一旦回流，评测就不再可信训练集反复学习参数验证集选择方案/调参测试集最终一次评估•重复样本泄露：同一图片/文本同时出现在训练和测试中。•同主体泄露：同一用户、病人、商品跨集合出现。•时间泄露：用未来信息预测过去。•全量统计泄露：先在全量数据上归一化/特征统计，再切分。总结：先切分，再只在训练集上拟合处理规则。73AI实践三要素：算力显存batch、分辨率、序列长度最敏感数据搬运硬盘读取、CPU预处理、GPU传输可能导致空转数值精度FP32稳定；INT8等量化可降成本硬件选型不是追求单一指标最优硬件典型优势典型短板适用场景CPU通用、稳定、易部署吞吐有限预处理、轻推理GPU吞吐高、生态完善显存与驱动敏感深度学习训练/推理TPU云端吞吐强生态绑定云上大规模训练NPU能效好、端侧形态算子/生态差异端侧/国产化部署训练更关注吞吐、显存与分布式扩展；推理更关注端到端延迟、稳定性与部署形态74AI实践三要素：算力排障顺序：显存→数据通路→精度/部署→多卡扩展从直接因素入手，而不是立刻更换模型问题表现判断方向处理思路OOM/显存不足输入规模最敏感降batch/降分辨率/截断序列GPU利用率低数据通路可能阻塞加速读取、缓存、并行预处理推理成本高精度与部署形态受限量化、裁剪、选择端侧/云端方案75AI实践三要素：算法算法选择不是选论文名词，而是匹配数据形态、标注成本与任务目标监督学习SL标签充足半监督Semi-SL少量标签+大量无标签自监督SSL几乎无标签，学通用表征无监督UL无标签，发现结构弱监督WSL弱标签/噪声标签强化学习RL交互决策，长期回报有没有标签？标签成本多高？任务是识别、定位、生成还是决策？上线有什么约束？76AI实践三要素：算法训练不是“调用fit”这么简单损失函数决定模型学习目标：分类、回归、检测、分割或多任务权重。优化器决定参数更新方式与节奏；影响收敛速度和稳定性。学习率策略通过预热、衰减等机制平衡稳定性与收敛速度。正则化抑制过拟合，提高对噪声、长尾与分布变化的适应能力。评测要回答：模型是否真正满足业务目标？绑定业务目标明确错误代价、延迟、稳定性等约束，选择核心指标与辅助指标。保证可复现固定数据版本、预处理、后处理、评测脚本与随机性控制。看清性能来源关注波动范围、长尾样本、关键切片与分布变化下的鲁棒性。77AI开发环境：环境问题是多层软件栈问题环境问题极少是单点故障项目代码/配置训练脚本、数据路径、评测入口Python依赖NumPy、Pandas、SciPy、业务包深度学习框架PyTorch/TensorFlow/JAX等GPU软件栈驱动、CUDA、cuDNN、算子库操作系统与硬件CPU/GPU、内存/显存、存储、网络标准化目标：隔离运行环境、锁定依赖版本、匹配GPU软件栈。78AI开发环境：GPU环境配置最常见也最隐蔽的问题：版本不匹配检查项如何查看常见问题表现处理思路驱动版本nvidia-smi识别不到GPU重装/升级驱动CUDA版本nvcc及框架信息缺少动态库安装匹配CUDA框架版本pip/condalist算子报错/性能差换匹配wheel/conda包•CUDA：NVIDIAGPU通用计算平台与工具链，包含运行库和编译工具。•cuDNN：建立在CUDA上的深度学习算子加速库，如卷积、归一化等。建议：记住排查入口：nvidia-smi→nvcc/框架CUDA→pip/condalist。79AI开发环境：容器化Docker是环境标准化工具，不是万能系统一致性工具Docker的价值•封装用户态软件栈•提升环境一致性•保留版本可追溯性•提高交付效率•减少开发、训练、评测、部署之间的环境漂移Docker的边界•不能替代宿主机驱动•不能解决数据I/O瓶颈•不能替代网络拓扑与多机互联•不能替代集群资源管理•不是所有环境问题的万能解法适合定位：环境标准化与工程交付不适合定位：替代底层系统保障80AI开发环境：运行与可复现中大规模训练的关键：可观测、可回滚、可对比IDE/Jupyter适合调试、探索和可视化原型；不适合长时间训练。脚本+配置适合大规模训练和复现实验；可重复执行、易对比。日志工具TensorBoard、W&B、MLflow：定位问题、复现结果、对比实验。曲线诊断：过拟合、训练不稳定、训练正常；同时结合吞吐、显存占用和GPU利用率判断。81AI开发工具箱：框架与生态初学者不必从零写训练循环，应优先熟练使用成熟框架和工具PyTorch科研探索与工业原型开发常用。TensorFlow/Keras部分生产体系中工程化优势明显。JAX函数式建模与编译优化方向。PaddlePaddle/MindSpore国产化或特定硬件生态开发部署。GitHubgitclone/READMEHuggingFaceHubfrom_pretrained/snapshot_downloadTransformersAutoTokenizer/AutoModel/Trainerdatasets/evaluateload_dataset/map/compute82AI开发工具箱：模型通用训练流程先打通闭环，再逐步增加复杂度典型任务工具组合CV：torchvision、timm、Detectron2、MMDetectionNLP：Transformers多模态与生成Diffusers、ControlNet、Transformers；视频任务配合OpenCV/Decord。低成本微调PEFT/LoRA用较少参数完成微调，降低训练成本。定义任务与数据边界选择基线方案固化代码框架最小训练跑通最小评测验证端到端推理•先明确任务定义、输入输出形式与评测口径。•优先选择带预训练权重且生态成熟的基线模型。•用小数据、单卡、短轮数跑通训练与评测，再做完整实验。•最后做端到端推理校验，确认训练和推理流程一致。输入多分类预测建模问题输出-概率向量其中pk

代表样本属于第k类犯罪的概率，且该向量必须满足所有类别的概率之和为1。-类别标签c最终预测的犯罪类别经典机器学习算法实践-旧金山犯罪分类预测经典机器学习算法实践-旧金山犯罪分类预测不同类型特征应采用不同编码策略特征类型示例处理方式注意点数值型X、Y、距离标准化或保留原值线性模型更依赖标准化二值型是否周末直接使用0/1含义需稳定无序类别DayOfWeek、PdDistrict独热编码防止模型误解大小顺序目标标签CategoryLabelEncoder映射为整数索引计算损失文本地址Address提取路口/街道类型/关键词避免过高维稀疏噪声经典机器学习中，良好的特征工程往往比复杂模型更能决定性能上限。时间特征：用sin/cos保留23点与0点相邻的周期距离空间特征：标准化经纬度、旋转坐标轴、计算地标距离经典机器学习算法实践-旧金山犯罪分类预测构建预处理器构建分类器经典机器学习算法实践-旧金山犯罪分类预测构建Pipeline模型训练模型评估经典机器学习算法实践-旧金山犯罪分类预测评估指标：Accuracy：衡量分类是否准确LogLoss：衡量预测概率是否可靠Std：衡量模型结果是否稳定评估方法：分层K折交叉验证将样本划分为K个子集，轮流使用其中K-1折训练，1折验证分层约束，保证各折类别比例近似一致，使评估结果更稳定、可比经典机器学习算法实践-旧金山犯罪分类预测评估结果：经典机器学习算法实践-旧金山犯罪分类预测结果分析：逻辑回归直接优化对数似然LogLoss最低，适合风险概率预测梯度提升树非线性拟合能力强Acc最高，类别判别能力较好随机森林基于多棵树投票，倾向于输出高置信度预测错误预测会被LogLoss放大惩罚90深度学习算法实践-时间序列预测时间序列预测任务定义任务描述给定一段已知的历史观测序列（输入窗口），模型学习其内在变化规律，并预测未来若干时刻的取值（预测窗口）。形式化表述输入：{xt-L+1,…,xt}→预测：{xt+1,…,xt+H}输入窗口长度决定可利用的历史信息预测窗口长度决定预测时域的远近91深度学习算法实践-时间序列预测数据准备与预处理▍数据集：电力变压器温度（ETT）记录变压器油温与六项用电负荷预测目标为油温，反映设备健康状况▍预处理三步缺失值插补，保证时间连续标准化，统一量纲、稳定训练按时间切分，杜绝未来信息泄漏先读懂数据，再规范处理，才能让模型学到规律1.7万条记录每小时一条7个变量油温+6负荷7:1:2切分比训练/验证/测试92字段含义示例值Date时间戳2016-07-0100:00HUFL高压有功负荷5.827HULL高压无功负荷2.009MUFL中压有功负荷1.599LUFL低压有功负荷4.203OT油温（预测目标）30.531缺失值插补线性插值补全采集空隙，保证时间连续数据标准化StandardScaler统一量纲，稳定训练按序划分7:1:2严格按时间截断，杜绝未来信息泄漏深度学习算法实践-时间序列预测数据准备与预处理93多步预测：策略选择与张量结构直接预测（推荐）一次性输出未来整段序列，无误差累积、推理快，适合长时序；难以建模输出内部依赖。滚动预测自回归逐点预测，符合因果直觉；但每步误差带入下一步，远期精度迅速下降。张量结构（ETT，多变量）张量形状(Batch,Len,Var)含义输入Input(32,96,7)32样本×96小时历史×7变量输出Output(32,96,7)预测未来96小时×7变量深度学习算法实践-时间序列预测单变量预测#以ETTh1数据集为例，仅预测油温(OT):data={"04:00":30.46,"05:00":31.38,#2016-07-05连续4时刻

"06:00":32.78,"07:00":31.73}#变压器绝缘油温度(℃)x=[30.46,31.38,32.78,31.73]#输入向量，形状(4,)#若B=32(批大小),L=96(历史窗口),C=1(单变量):input_tensor.shape=(32,96,1)#32个样本，每含96小时历史output_tensor.shape=(32,96,1)#32个样本，每含96小时预测多变量预测#多变量模式：同时使用全部7个特征features=["HUFL","HULL","MUFL","MULL",#高/中/低压有功+无功

"LUFL","LULL","OT"]#OT=油温(预测目标)x_04=[5.827,2.009,1.599,0.462,#HUFL,HULL,MUFL,MULL

4.203,1.340,30.531]#LUFL,LULL,OT#若B=32,L=96,C=7(七个通道):input_tensor.shape=(32,96,7)#每样本96小时×7特征output_tensor.shape=(32,96,7)#预测未来96小时×7特征深度学习算法实践-时间序列预测95深度学习算法实践-时间序列预测DLinear模型介绍预测未来多个时间点的两种思路一次性预测：模型一口气把未来好几个时间点全部预测出来，速度快，也不会出现误差累积。逐步预测：先预测下一个点，再把它当作已知，接着预测后面的点。越往后预测，误差越容易越积越大。在长序列预测里，我们一般采用更稳定、更高效的一次性预测。DLinear模型的思路它先把一段历史数据拆成两部分：一部分是总体的变化趋势，另一部分是周期性的波动。这两部分各用一个简单的线性模型分别预测，最后把结果加起来，就是最终的预测值。结构非常简洁，计算量小，但预测效果却很好。输入历史数据拆成趋势和周期波动总体趋势周期波动用线性模型预测用线性模型预测两部分相加，得到预测结果96DLinear模型：序列分解+双线性头核心思路把历史序列拆成两部分：·趋势项：移动平均提取的总体走向·季节项：原序列减趋势后的周期波动两项各用一个线性层预测，结果相加即输出。结构简洁、计算量小，长序列预测中常作为高效基准。移动平均分解（nn.AvgPool1d）趋势/季节双线性头与权重初始化深度学习算法实践-时间序列预测MovingAvg模块#移动平均模块：提取序列趋势项classmoving_avg(nn.Module):#继承PyTorch模块self.avg=nn.AvgPool1d(#一维平均池化层kernel_size=kernel_size,#滑窗大小，控制平滑程度stride=stride,#步长，通常等于kernel_sizepadding=0)#不填充，后续手动补齐DLinear初始化#DLinear模型初始化self.decomposition=series_decomp(kernel_size)#序列分解：趋势+季节foriinrange(enc_in):#为每个通道创建独立线性层self.Linear_Seasonal.append(#季节项映射层

nn.Linear(seq_len,pred_len))#历史长度→预测长度self.Linear_Trend.append(#趋势项映射层

nn.Linear(seq_len,pred_len))#同上self.Linear_Seasonal[i].weight=#权重初始化为均值分布

nn.Parameter((1/seq_len)*torch.ones(#保证训练初期[pred_len,seq_len]))#输出稳定深度学习算法实践-时间序列预测98深度学习算法实践-时间序列预测深度学习训练的标准流程训练流程图梯度清零前向计算计算损失反向传播参数更新损失函数时序预测本质是回归问题，常用MSE；也可同时看MAE。优化器Adam具备自适应学习率，实践中收敛速度通常优于传统SGD。99深度学习算法实践-时间序列预测训练验证与可视化评估模型是怎么训练的先把训练数据分成一批（Batch），输入给模型一批，并打乱顺序，让模型学得更扎实。用预测值和真实值的误差来衡量模型好坏，再用优化算法一步步调整模型，让误差越来越小。训练就是不断重复"看数据、算误差、调整模型"这个过程，一轮一轮地进行。什么时候停，效果怎么看每训练一轮，都在验证集上检查一次误差，看看模型有没有进步。如果连续N轮都不再进步，就提前停止训练，并保留效果最好的那个模型。最后把预测曲线和真实曲线画在一起对比，就能直观看出预测得准不准。100训练与评估：标准流水线+早停TSlib通用训练框架：加载→训练→早停→评估训练循环五步梯度清零→前向→算损失→反向→更新参数；损失用MSE，优化器用Adam。早停机制每轮在验证集算MSE/MAE；连续若干轮不再下降即停止，保留最优权重。预测曲线与真实值对比（HUFL）深度学习算法实践-时间序列预测训练流水线#①数据准备：按train/val/test三份加载train_loader=data_provider(args,flag='train')#加载训练集val_loader=data_provider(args,flag='val')#加载验证集test_loader=data_provider(args,flag='test')#加载测试集#②模型、优化器与损失函数model=Model(args).to(device)#初始化模型(DLinear/SegRNN等)optimizer=Adam(model.parameters(),lr=lr)#Adam自适应优化器criterion=MSELoss()#均方误差损失函数#③训练循环+早停forepochinrange(train_epochs):#逐轮迭代训练model.train()#切换到训练模式

forbatch_x,batch_y,x_mark,y_markintrain_loader:#按批遍历outputs=model(batch_x,x_mark,dec_inp,y_mark)#前向推理loss=criterion(outputs[:,-pred_len:],#计算预测区间batch_y[:,-pred_len:])#与真实值的损失optimizer.zero_grad()#梯度清零loss.backward();optimizer.step()#反向传播+更新

ifearly_stopping(val_loss,patience):#④验证集早停判断

break

#损失不再下降则终止#⑤测试与评估model.load_state_dict(best_checkpoint)#加载最优模型preds,trues=predict(model,test_loader)#测试集推理mse,mae=compute_metrics(preds,trues)#计算MSE和MAE深度学习算法实践-时间序列预测102强化学习算法实践-机器人仿真控制监督学习数据格式：样本x+标签y学习目标：拟合输入到输出的映射反馈方式：每个样本有明确标准答案典型任务：分类、回归、检测、分割强化学习数据格式：状态s+动作a+奖励r学习目标：学习最大化长期回报的策略反馈方式：奖励可能延迟、稀疏、有噪声典型任务：机器人控制、游戏、调度状态s动作a奖励r下一状态s′策略更新监督学习vs强化学习：两类学习范式的训练信号完全不同103强化学习算法实践-机器人仿真控制IsaacSim仿真环境快速上手IsaacSim是什么它是英伟达公司推出的机器人仿真平台，可以在电脑里搭建逼真的虚拟环境。我们可以让机器人先在仿真环境里反复练习，再把学到的本领用到真实机器人上。先认识三个常用面板初次打开软件时，先熟悉右边这三个面板，就能开始动手搭建训练场景。把机器人、地面、障碍物和目标放进去，就构成了一个完整的练习环境。104强化学习算法实践-机器人仿真控制IsaacSim的三个核心模块IsaacSim界面功能布局Stage场景树以树状结构展示机器人、地形、灯光等Prim。Physics物理面板管理重力、时间步长、求解器迭代次数。Viewport3D视图实时渲染与多视角切换，观察机器人状态。105构建环境：Gym风格的“观测—动作”接口CartBalanceEnv：reset/step/观测空间8维/动作2维接口规范step(action)推进一个仿真步，返回新观测、奖励、终止标志。reset()每回合开始初始化环境，保证训练可重复。观测/动作观测8维：位姿+IMU；动作2维：左右轮速，归一化到[-1,1]。强化学习算法实践-机器人仿真控制CartBalanceEnvimportgymnasiumasgym#导入Gym强化学习接口importnumpyasnp#导入数值计算库classCartBalanceEnv(gym.Env):#IsaacSim小车平衡环境

def__init__(self):#初始化环境self.sim=init_isaac_sim()#启动IsaacSim仿真引擎self.observation_space=gym.spaces.Box(#观测空间定义-np.inf,np.inf,(8,))#8维:[x,y,z,roll,pitch,yaw,a,g]self.action_space=gym.spaces.Box(#动作空间定义

-1.0,1.0,(2,))#2维:[左轮速,右轮速]

defreset(self):#重置环境到初始状态self.sim.reset()#重置仿真场景

returnself._get_obs()#返回初始观测(8维向量)

defstep(self,action):#执行一步交互self.sim.apply_action(action)#施加动作到执行器self.sim.step()#推进仿真一个时间步

returnself._get_obs(),#返回:新观测self._compute_reward(),#即时奖励self._check_done(),{}#终止标志+附加信息强化学习算法实践-机器人仿真控制107环境接口：遵循OpenAIGym规范方法输入输出示例reset()无obs(8,)[0,0,0,0,0,0,9.81,0]step(a)action(2,)(obs,r,done,info)a=[0.35,-0.12]→r=0.95_get_obs()无obs(8,)concat(pose,imu)观测空间（8维）小车横纵向速度、姿态角、陀螺仪读数，以及地面与目标的相对位置信息。动作空间（2维）左右轮的目标速度，归一化到[-1,1]；采用连续速度控制驱动轮式小车。强化学习算法实践-机器人仿真控制108强化学习算法实践-机器人仿真控制PPO/SAC算法原理PPO完整的训练循环：智能体与环境不断交互、采样、评估、更新，策略在循环中持续改进。采样交互环境返回状态与奖励，收集为训练数据（①②）分工评估Actor选动作、Critic评价值，算出动作优势（③④）稳定更新PPO用裁剪限制更新幅度，避免训练崩坏（⑤）109强化学习算法实践-机器人仿真控制PPO/SAC算法原理SAC是一种离策略、最大熵的算法：用经验回放复用历史数据，在拿高奖励的同时保持充分探索。经验复用交互数据存入回放池，随机抽样训练，样本效率高（①②③）双Q防高估取两个Q网络较小值估计价值，让训练更稳（④）熵自调节Actor选高价值动作，Alpha动态平衡探索与利用（⑤⑥）PPO训练循环model=ActorCritic(obs_dim=8,act_dim=2)#创建Actor-Critic网络optimizer=torch.optim.Adam(model.parameters(),#Adam优化器lr=3e-4)#学习率3e-4foriterationinrange(1000):#主训练循环:1000轮#①采集经验：与环境交互obs=env.reset()#重置环境

forstepinrange(rollout_steps):#采集rollout_steps步action,log_prob,value=model.act(obs)#Actor输出动作+概率next_obs,reward,done,_=env.step(action)#环境返回buffer.store(obs,action,reward,#存入经验缓冲区value,log_prob)#含价值估计和对数概率obs=next_obs#更新当前观测#②计算优势函数advantages=compute_gae(buffer,#广义优势估计(GAE)gamma=0.99,lam=0.95)#折扣因子+平滑参数#③PPO策略更新：同批数据复用10轮

forepochinrange(10):#复用经验10轮ratio=new_prob/old_prob#新旧策略概率比clip_loss=-min(ratio*adv,#裁剪目标函数clamp(ratio,0.8,1.2)*adv)#限制更新幅度[0.8,1.2]loss=clip_loss+0.5*(V-returns)**2

#总损失=策略+价值optimizer.zero_grad()#梯度清零loss.backward();optimizer.step()#反向传播+更新强化学习算法实践-机器人仿真控制111强化学习算法实践-机器人仿真控制训练策略与PPO/SAC对比PPO更快更稳、SAC探索更强、性能上限更高怎么读这张图纵轴是归一化平均回报，越高代表学得越好；阴影是多次实验的波动范围。PPO约60k步收敛，SAC约80k步，PPO上升更快。对比结论稳定性：PPO曲线波动更小、更平稳。最终性能：两者接近，SAC后期略有追平。选型：求快求稳选PPO，重探索、重上限选SAC。奖励函数设计def_compute_reward(self):#计算即时奖励#获取当前状态pitch=self.sim.get_pitch()#获取俯仰角（弧度）pitch_vel=self.sim.get_pitch_velocity()#获取角速度#奖励设计：角度越小越好，角速度越小越好alive_bonus=1.0

#存活奖励：每步+1.0angle_penalty=-5.0*pitch**2

#角度惩罚：偏离竖直越大越重velocity_penalty=-0.1*pitch_vel**2

#角速度惩罚：抖动越大越重reward=alive_bonus+angle_penalty\#总奖励=三项之和+velocity_penalty#典型范围:[-2,1]

returnreward#返回即时奖励值#训练监控指标(TensorBoard)writer.add_scalar('reward',mean_reward,step)#每回合平均奖励writer.add_scalar('policy_loss',pi_loss,step)#策略网络损失writer.add_scalar('value_loss',v_loss,step)#价值网络损失#收敛判断：奖励趋稳+Loss不再下降→训练完成强化学习算法实践-机器人仿真控制强化学习算法实践-机器人仿真控制强化学习训练监控：奖励趋稳+Loss不再下降，才算基本收敛监控指标含义如何解读MeanEpisodeReward每回合平均奖励整体策略质量，越高越好，但需看是否稳定PolicyLoss策略网络损失反映策略更新方向，剧烈震荡需调学习率/裁剪ValueLoss价值网络损失Critic对回报预测误差，过大说明价值估计不稳EpisodeLength回合长度平衡任务中越长通常表示策略越好Std/方差多次