人工智能导论 课件 第5、6章 人工智能生成内容与大模型、智能体系统

人工智能生成内容CATALOGUE目录2一、生成式AI基础二、生成式AI典型模型三、大语言模型四、多模态大模型从判别式AI到生成式AI定义：判别式任务是在给定输入样本时预测类别、属性或结果；生成式任务是根据数据规律、随机变量或条件输入产生新内容。判别式AI：侧重识别、分类、预测；生成式AI：侧重建模、采样、创造；从判别式AI到生成式AI的目标变化：从理解已有样本走向产生新样本。判别式AI生成式AI输入数据分类器类别判断…训练数据学习分布生成内容3判别式任务与生成式任务比较维度判别式任务生成式任务学习对象输入到标签的映射数据样本的产生规律典型输出类别、分数、预测结果文本、图像、语音、代码等内容关注重点决策边界数据分布评价方式准确率、召回率、鲁棒性真实性、多样性、可控性判别式任务和生成式任务的根本差异，在于模型学习的对象不同。判别式模型主要学习输入样本与输出标签之间的映射关系。生成式模型的学习目标是样本本身的产生规律。判别式模型回答属于哪一类，生成式模型回答如何产生一个新样本。4生成式AI的基本定义核心组成：已有数据：文本、图像、音频、代码、视频或科学数据；学习规律：捕捉统计规律、结构规律和语义规律；生成新内容：产生与训练数据相关但不完全相同的样本。定义：生成式AI能够从已有数据中学习规律，并生成新的、相似但不完全相同内容的人工智能方法。AIGC是由AI自动或辅助生成的内容，是生成式AI能力的输出结果。5数据分布与生成任务定义：数据分布是描述真实样本在数据空间中的整体规律。对于图像、文本、音频等高维数据来说，真实样本的高维数据会集中在一些有结构的区域中。生成模型的目标，就是通过训练数据学习这些区域的形状和规律，并从中产生新的、合理的样本。观测样本学习分布预测样本6隐变量与隐空间定义：隐变量是影响生成结果但不直接可见的潜在因素，例如类别、风格、姿态、背景和光照。隐空间是这些潜在因素组成的表示空间，可以看作生成内容的语义地图。

在隐空间中，相近的位置通常对应相似的生成结果，而不同方向的移动可能改变样本的某些属性。隐空间生成模型生成结果7采样：从分布到内容定义：采样是从概率分布或隐空间中选取一个具体起点，并通过生成模型映射为具体内容的过程。影响因素：随机种子影响起点采样策略影响多样性条件输入影响可控性采样使同一条件下可以产生不同结果，带来多样性，也带来一定的不确定性。随机种子采

样生成模型生成内容8概率建模

类型概率形式含义无条件生成从数据分布中直接生成样本条件生成在文本、图像、类别等条件下生成样本

无条件生成条件生成9生成式AI的边界与风险生成式AI的输出并不天然可靠，可能出现幻觉、偏见、版权风险和可控性不足等问题。在医疗、法律、金融和科研等高风险场景中，生成结果不能直接等同于事实，需要经过检验、约束和必要的人类审查。具体表现：幻觉：看似合理但事实错误；偏见：继承训练数据中的不公平倾向；版权：与受保护内容或风格发生冲突；安全：避免有害或误导性输出；可控性不足：输出偏离用户条件或关键要求。10生成过程的流程总结生成式AI的生成过程可以理解为一条完整链路：模型先从训练数据中学习真实样本的分布规律，再用概率建模描述哪些样本更可能出现；隐变量和隐空间负责组织样本背后的潜在因素，采样负责从这些可能性中选取一个具体起点，最后由生成模型映射为文本、图像、代码或其他内容。11评价AIGC的生成质量定义：生成质量是对生成结果在真实性、多样性、一致性、可控性和实用性等方面的综合评价。生成结果不能只用好看或不好看来判断。生成质量指标：真实性：是否接近真实数据；多样性：是否避免重复生成；一致性：语义、结构或时间上是否协调；可控性：是否符合输入条件；实用性：是否能完成实际任务。生成质量的关键是真实、稳定、可控、可用。12文本驱动生成——文生图文生图是指根据文本提示生成符合语义要求的图像内容。模型需要理解文本中的对象、属性、关系和风格，并将这些语义信息映射到图像空间生成对应的图片。Qwen3-VLTechnicalReportChatGPTImage213文本驱动生成——文生视频文生视频是根据文本描述生成连续视频片段的任务。与单张图像不同，视频不仅要求每一帧画面具有较高质量，还要求主体、动作、场景和镜头在时间维度上保持连续。因此，文生视频不仅是多生成几张图，而是要同时建模空间结构和时间变化。GoogleVeo14文本驱动生成——文生代码文生代码指根据自然语言需求、上下文或接口说明生成程序代码的任务。它可以看作一种特殊的文本生成任务，但代码比普通文本更强调语法正确、逻辑一致和可运行性。Cursor15图像驱动生成——图生文与图生图图生文侧重从图像中提取对象、关系和场景信息，并转化为文字描述、问答或解释；图生图则在保留输入图像部分结构的基础上，对风格、内容、细节或局部区域进行修改。二者的共同点是：图像不只是输出结果，也可以成为控制生成过程的重要条件。16图像驱动生成——图生视频图生视频是指以静态图像作为条件，生成连续动态视频的任务。与图生图相比，图生视频不仅要保持输入图像中的主体、风格和场景结构，还要在时间维度上生成合理的动作、镜头变化和动态过程。Seedance2.017三维内容生成三维内容生成是利用生成模型产生三维对象、材质、场景或空间结构的任务。

与二维图像相比，三维内容不仅要看起来像，还要满足形状、结构、视角和几何一致性要求。输入可以来自文本、图像、草图或多视角图片，输出可以是三维网格、点云、材质等。三维生成使AI从生成平面内容，走向构建可交互的数字空间。18分子生成与蛋白质结构预测生成式AI不仅可以赋能于内容创作，还可以在自然科学和工程设计领域发挥作用。分子生成是利用生成模型设计具有目标性质的候选分子结构。蛋白质结构预测是根据氨基酸序列或相关约束推断蛋白质三维空间结构。AlphaFold3AbramsonJ,AdlerJ,DungerJ,etal.AccuratestructurepredictionofbiomolecularinteractionswithAlphaFold3.Nature,202419CATALOGUE目录一、生成式AI基础二、生成式AI典型模型三、大语言模型四、多模态大模型20回顾：从“判别”到“生成”生成式AI的核心问题不是“这是什么”，而是“如何创造一个像真的样本”。判别式任务

生成式任务

目标变化核心变化：从判断输入类别转向学习数据如何产生21总览：生成模型共同目标用可学习的神经网络，把简单来源映射为复杂真实数据分布。1潜在特征概括高维样本的语义与结构2采样机制从噪声、隐变量或上下文出发3生成映射把简单来源映射回数据空间4质量约束用训练目标逼近真实分布简单来源→神经网络映射→高维样本22生成对抗网络GAN图示：G生成样本，D判断真伪，二者交替对抗。教材图5.1生成对抗网络结构示意图

判别器

D

：判断真实样本或伪样本的概率交替训练：先训D，再训G；失衡会模式坍塌23GAN目标函数第一项

第二项

生成器

D

最大化，G

最小化，所以它们看到的是同一个目标函数的相反方向

24GAN变体A.Radfordetal.“UnsupervisedRepresentationLearningwithDCGANs,”

arXiv,2015.GAN变体围绕“可控、结构、损失”三类改进展开:用卷积结构提升图像生成质量与稳定性cGAN加入类别或条件信息控制生成DCGANWGAN改进分布距离度量提升训练稳定性25变分自编码器VAEVAE不把样本压缩成一个固定点，而是压缩成可采样的概率分布。普通自编码器隐空间点零散，随机采样未必有效变分自编码器VAE连续、有规律、可采样的概率分布

26VAE的结构图示：先输出隐变量分布参数，再采样并解码生成样本。变分自编码器结构示意图

27VAE训练目标重构项

KL项

重参数化

最大化ELBO，就是在重构准确和隐空间规整之间寻找平衡。

28VAE变体I.Higginsetal.“β-VAE:LearningBasicVisualConceptswithaConstrained

VariationalFramework,”ICLR,2017.VAE变体围绕隐空间约束、条件控制和离散表示展开:

CVAE

VQ-VAE用离散码本替代连续高斯隐空间29VAE特点与应用训练稳定最大化ELBO

，不需要对抗博弈。结果偏平滑图像边缘和纹理可能不够锐利。异常检测异常样本重构误差通常更大。科学应用分子生成、材料设计、表示学习等。VAE

总结：概率编码、隐空间规整、生成稳定；视觉细节通常偏平滑。30扩散模型图示：把生成过程分解为正向加噪和逆向去噪两条链。扩散模型结构示意图正向扩散：逐步加高斯噪声，最终接近标准正态。逆向生成：从纯噪声开始逐步预测并去噪。特点：训练稳定、质量高；采样多步、速度较慢。31扩散公式解析

原始样本结构的累计保留比例。

累计噪声比例，越大越接近随机噪声。

决定信噪比与去噪难度；步数越多越慢。

32扩散模型应用R.Rombachetal.“High-ResolutionImageSynthesiswithLatentDiffusion

Models,”CVPR,2022.隐空间扩散把去噪过程从像素空间转移到压缩后的潜在空间。隐空间扩散的压缩视角先做感知压缩，再在低维潜在空间执行扩散去噪。扩散模型适合高质量内容创作、图像编辑、音视频生成等场景。33扩散模型变体DDPM把训练目标转化为预测噪声。LDM先压缩到隐空间，再做扩散采样。StableDiffusion基于隐空间扩散，支撑文生图与编辑。ControlNet/DiT提升结构控制和多模态扩展能力。扩散模型的优势是训练稳定、质量高、多样性好；主要代价是采样慢。34自回归模型图示：按照既定顺序逐步预测下一个元素。自回归模型结构示意图文本：根据上下文预测下一个词元图像：按像素或视觉token

顺序预测特点：概率表达清晰；生成通常串行较慢35自回归结构与例子A.Vaswanietal.“AttentionIsAllYouNeed,”

NeurIPS,2017.Transformer多头注意力仅看历史上下文PixelRNN/CNN按顺序生成像素；掩码卷积避免看到未来像素。WaveNet把音频波形看作长序列建模。Transformer/GPT基于历史上下文预测下一个token。

链式法则36四类生成式人工智能模型模型生成机制速度质量特点典型用途GAN对抗博弈快细节强，不稳图像合成、风格迁移VAE隐空间快稳定、平滑表示学习、异常检测扩散模型逐步去噪慢高保真、多样文生图、编辑、音视频自回归模型链式预测慢概率显式文本、LLM

、序列建模横向比较：速度、稳定性、质量、概率表达相互取舍。37CATALOGUE目录一、生成式AI基础二、生成式AI典型模型三、大语言模型四、多模态大模型38回顾：生成式AI的四类代表模型生成式AI已形成几类典型路线：GAN：通过对抗训练逼近真实分布VAE：用概率隐空间实现可采样生成扩散模型：通过多步去噪生成高质量样本自回归模型：基于上下文逐步预测下一个元素。为什么文本生成主要走向自回归模型？39大语言模型：从架构到应用本节围绕模型如何构建、如何训练、如何使用展开。大语言模型是生成式人工智能在自然语言领域的核心代表。它以Transformer为主要架构，通过大规模预训练获得语言理解、文本生成和知识关联能力，再经过指令微调与对齐，使模型更适合真实交互场景。40大语言模型的基本概念大语言模型通常指在参数规模、训练数据和计算资源上显著扩展的语言模型。它的基础任务是根据已有上下文预测下一个词元，从而学习语言结构、事实关联和表达模式。基座模型会生成流畅文本，但并不天然等同于可靠助手。41从序列模型到Transformer在Transformer出现之前，RNN、LSTM、GRU是自然语言处理中常用的序列建模方法。这类模型按时间步依次传递信息，难以充分并行，长距离依赖也容易衰减。Transformer用自注意力替代递归传递，使序列中任意两个位置可以直接建立联系。

TransformerRNNFamilyVS然而，Transformer并没有放弃序列顺序，而是先用注意力建立全局关系，再通过后续介绍到的技巧保留词语次序。42自注意力的直观理解自注意力可以理解为：句子中的每个词都会主动寻找与自己相关的其他词，并根据相关程度重新汇聚信息。例如“我把苹果放在桌子上，它很圆”中，模型需要判断“它”更可能指向“苹果”而不是“桌子”。这种机制让模型更擅长处理上下文关系。用一句话示例，箭头从“它”指向“苹果”。在一句话中，某个词的含义往往不能只看它自己，而需要结合前后多个词共同判断。43Q、K、V与注意力权重在自注意力中，每个词都会被映射成Query、Key和Value。

Query，表示当前位置想寻找什么信息Key，表示其他位置能提供什么线索Value，表示最终被汇聚的内容模型通过Query与Key的相似度计算权重，再对Value加权求和。44多头注意力与位置编码单个注意力头只能在一个表示空间中建模关系，而多头注意力可以让不同头关注不同类型的信息，例如语义相似、句法依赖或位置邻近。由于注意力本身不感知顺序，位置编码需要把词的先后关系注入模型，使模型区分“我爱你”和“你爱我”。单头注意力多单头注意力45三类Transformer架构基于Transformer的语言模型逐渐形成三类典型结构：仅编码器、仅解码器和编码器—解码器。三者共享注意力机制，但训练目标和任务侧重点不同。理解这三类结构，有助于区分BERT、GPT、T5等模型为什么适合不同任务。46仅编码器架构：理解优先仅编码器模型以BERT、RoBERTa为代表，主要优势是双向上下文理解。它通常采用掩码语言建模，即遮住句子中的部分词元，让模型根据前后文恢复内容。这类模型适合文本分类、语义匹配、信息抽取等理解型任务。仅编码器架构的核心目标不是连续生成文本，而是尽可能充分地理解输入序列内部的语义关系。它更像是一个文本理解器，适合作为分类、检索、抽取和判别任务中的语义表示基础。47仅解码器架构：生成优先仅解码器架构是当前大语言模型的主流形态，GPT、LLaMA等模型都属于这一类。模型在训练时只能看到当前位置之前的词元，通过不断预测下一个词元完成文本生成。这种因果语言建模方式天然适合对话、写作、代码生成和一系列复杂任务求解。仅解码器架构把语言生成看作从左到右的连续预测过程，模型每一步都依据已有上下文决定下一个词元。它更像是一个文本续写器发展而来的通用生成模型，适合对话、写作、代码补全和任务规划等开放式任务。48编码器—解码器架构：转换优先编码器—解码器架构常用于输入到输出的转换任务。编码器负责理解和压缩输入内容，解码器根据编码结果生成目标文本，两者之间通过交叉注意力建立联系。机器翻译、文档摘要和文本改写等任务，都适合这种“先理解、再生成”的结构。编码器—解码器架构强调先理解输入、再生成输出，适合输入内容和输出结果之间存在明确转换关系的任务。它更像是一个文本转换器，在机器翻译、文档摘要、文本改写和问答生成中具有较强适配性。49规模定律：为什么模型越做越大规模定律说明，当参数量、训练数据和计算量按照合适比例增长时，模型性能通常会呈现可预测的提升。规模扩展不仅提高语言流畅度，还可能带来上下文学习、复杂推理、跨任务迁移等能力。大模型能力提升的背后，是架构、数据与算力共同作用。50涌现能力一些能力在小模型中并不明显，但当模型的参数规模达到一定阶段后会突然表现出来。这类现象常被称为涌现能力。例如模型只看少量示例就能完成新任务，或者在数学、代码、推理任务中表现出更强的组合能力。涌现并不神秘，本质上与规模、数据覆盖和训练目标有关。随着模型规模扩大，能力提升并不总是平滑线性的，某些能力会在跨过一定规模后才明显表现出来。51MoE：混合专家模型密集模型在每次推理时都会调用全部参数，规模越大，显存和计算成本越高。MoE架构在模型中设置多个专家网络，由路由器为每个token选择少量专家参与计算。这样模型可以拥有很大的总参数量，但每次实际激活的参数相对有限。

MoE的基本思想是把一个大模型拆成多个专家子网络，让不同输入动态选择更相关的专家参与计算。52大模型训练的整体流程大语言模型通常经历三个阶段：预训练得到基座模型，让模型掌握语言规律和通用知识；指令微调让模型理解任务要求；对齐进一步调整模型行为，使输出更符合人类偏好、安全规范和实际应用需求。大语言模型从会预测文本到会完成任务，通常需要经历多个训练阶段，而不是只依赖一次预训练完成。53预训练：让模型学会语言预训练通常使用海量文本和代码数据，目标是根据前文预测下一个词元。这个过程让模型学习语法结构、常见事实、表达方式和部分推理模式。但预训练优化的是概率建模，并不直接保证模型会遵循指令、核验事实或保持输出格式稳定。54指令微调：让模型听懂任务指令微调在基座模型之上加入高质量的“指令—回答”样本，使模型学习如何按照用户意图完成任务。样本不仅包含问题和答案，还常包含角色设定、输出格式、禁止项和安全拒答示例。它的关键不在数据越多越好，而在覆盖度和标注质量。经过预训练的模型虽然掌握了大量语言规律和知识关联，但它并不天然知道用户是在提出任务、设定约束还是要求某种输出格式。55RLHF与模型对齐指令微调后的模型仍可能出现过度自信、忽视约束、产生幻觉或回答不安全内容。人类反馈强化学习（RLHF）通过人类偏好数据训练奖励模型，再引导语言模型生成更符合偏好的回答。对齐的目标不是让模型知识更多，而是让它的行为更可靠、更可控。56提示工程与思维链提示工程关注如何把任务表达清楚，包括角色、目标、材料、约束和输出格式。对于复杂任务，可以使用思维链让模型先列条件、再逐步推导、最后给出结论。思维链能提高可检查性，但不能替代事实核验，关键任务仍需结合检索或工具。57RAG与工具调用RAG通过检索外部资料，把相关文档片段放入上下文，使模型基于材料回答问题，减少仅凭参数记忆带来的幻觉。工具调用则让模型连接搜索、计算器、代码解释器、数据库等外部能力。现代大语言模型正在从文本生成器发展为任务执行入口。58CATALOGUE目录一、生成式AI基础二、生成式AI典型模型三、大语言模型四、多模态大模型59基本概念从LLM扩展到MLLM理解语义对齐把握多模态输入输出架构设计编码器、Adapter、MoE压缩架构与VLA闭环训练策略多阶段训练数据质量与偏好对齐推理方法快慢思维过程监督与流式推理多模态输入输出主要逻辑先回答为什么需要多模态，再分析模型如何实现多模态理解与生成，随后介绍训练与推理优化，最后对典型应用和发展趋势进行总结。内容结构60定义多模态大语言模型以大语言模型为核心，能够同时处理文本、图像、音频、视频等多种模态信息，并在统一语义空间中完成理解、推理与生成。核心本质关键不是简单叠加视觉模块或语音模块，而是通过模态对齐层打破不同模态之间的表示壁垒，使模型获得更接近真实世界的感知能力。典型多模态系统：输入—对齐—推理—输出MLLM的定义与核心思想61仅依赖文本的局限语言模型可以进行逻辑推理、对话生成和知识问答，但无法直接读取图像细节、视频运动信息以及实时语音信号，因此面对现实场景往往缺少看见和听见的能力。多模态扩展后的能力引入视觉和音频编码器后，模型能够完成视觉问答、图像描述、视频事件分析、语音对话与具身控制等任务，从而把抽象语言能力延伸到真实世界。视觉问答输入图片与问题，模型基于图像内容回答“图中有什么”“发生了什么”。图像描述模型自动生成图片标题、内容摘要或细粒度说明。视频理解识别长视频中的关键事件、时序关系与因果线索。语音交互实现低延迟听说对话与实时助手。为什么需要多模态：从文本推理走向真实感知62结构示意阶段1：感知编码视觉、音频或视频信号首先经过专用编码器转化为连续特征。阶段2：模态对齐通过线性投影、Adapter或交叉注意力把非文本特征接入LLM嵌入空间。阶段3：推理与输出大语言模型在统一语义空间中完成问答、描述、规划甚至动作预测。编码器负责感知，对齐层负责翻译，LLM负责高层理解与生成。典型MLLM系统结构63基础对齐与融合目标是建立共享语义空间。典型做法是视觉编码器+Adapter/Projector+LLM。代表模型：LLaVA。高效特征压缩目标是减少视觉Token数量。通过重采样、关键帧选择与时空压缩提升长视频处理能力。混合专家架构目标是在超大参数规模下保持可行计算成本。通过路由器稀疏激活最相关专家。VLA协同架构把输出从文本扩展为动作Token，面向机器人与自动驾驶。理解路径可以把四类架构看成对不同矛盾的回应：基础融合解决能否看懂，压缩解决能否高效处理长视频和高分辨率输入，MoE解决能否扩大模型容量而不显著增加单次推理成本，VLA则进一步回答模型能否把理解结果转化为物理行动。主流架构范式概览64LLaVA网络结构核心流程图像先经过VisionEncoder得到视觉特征序列，再通过Projector或Adapter映射到语言模型空间，随后与文本提示共同输入LLM。优势结构清晰、实现简洁、计算成本相对可控，适合快速构建通用视觉语言模型。思考题延伸如果输入图像边长翻倍且Patch大小不变，视觉Token数量大约提升为原来的4倍，因此需要关注上下文开销。LLaVA网络结构：主流视觉编码器—Projector—LLM框架。基础对齐架构：从视觉编码器到ProjectorLiuH,LiC,WuQ,etal.Visualinstructiontuning.NeurIPS,2023.65MiniCPM-V4.5架构原图为什么需要压缩视频帧数多、图像分辨率高，会导致视觉Token激增，进而带来显存压力和上下文窗口限制。主要思路通过关键帧采样、3D-Resampler、时空注意力和池化聚合，把海量视觉Token压缩为少量高信息密度Token。价值压缩架构让模型能够处理更长时间尺度的视频和更大分辨率的图像，同时提升推理吞吐与实时性，是长视频理解的重要支撑。Yu,Tianyu,etal.Minicpm-v4.5:Cookingefficientmllmsviaarchitecture,data,andtrainingrecipe.CVPR,2026.高效特征压缩：面向长视频与高分辨率输入66Qwen3-Omni结构图工作机制MoE架构中包含大量专家子网络，路由器根据当前Token的特征动态选择最相关的少数专家参与计算。优势总参数规模可以非常大，但单次推理只激活很少一部分参数，因此兼顾了模型容量与计算效率。理解比喻可以把MoE看作医院分诊系统：先判断病情，再把请求分配给最擅长的科室处理。Qwen3-Omni中Thinker/Talker与多模态输入的组合方式XuJ,GuoZ,HuH,etal.Qwen3-omnitechnicalreport.arXiv,2025.混合专家架构：以Qwen3-Omni为例67OpenVLA模型结构图VLA任务示意核心变化VLA把输出从文本扩展为动作Token，使模型不仅能解释场景，还能执行动作。工作闭环系统首先读取视觉流、语言指令与传感器信息；随后完成场景理解与行为规划；最终输出机器人关节轨迹、抓取动作或车辆控制命令，实现“感知—决策—行动”的闭环。KimMJ,PertschK,KaramchetiS,etal.Openvla:Anopen-sourcevision-language-actionmodel.arXiv,2024.视觉—语言—动作（VLA）架构68预训练使用大规模图文、音频和视频数据，学习基础多模态表示与关联知识。指令微调利用任务化指令数据，让模型学会按要求回答、描述、总结和推理。偏好对齐通过奖励模型或偏好数据进一步提升帮助性、安全性和图文一致性。部署优化通过量化、缓存和流式生成降低实际部署成本与响应延迟。三条主线本节可概括为三个维度：①时序维度：渐进式多阶段训练，逐步从看懂信号发展到综合推理；②数据维度：动态质量优化，重点利用高价值样本；③目标维度：多模态偏好对齐，降低幻觉、提升回答可靠性。训练策略体系：从感知对齐到偏好对齐69阶段1：感知对齐冻结语言模型主干，重点训练视觉与音频编码器以及映射层，先建立“原始信号→语义空间”的桥梁。这一阶段的目标不是追求复杂推理，而是让模型先具备稳定的多模态感知能力。阶段2：综合联合训练逐步解锁更多参数，使用文本、图像、视频和音频混合数据开展联合训练，使模型学习跨模态关联、知识整合和任务生成能力。这一阶段决定了模型的通用性。阶段3：长上下文扩展针对长视频、长音频和多页文档进行专项微调，增强全局记忆与跨片段推理。这一阶段让模型真正具备长时序理解能力。渐进式多阶段训练70常见噪声图文不匹配、低分辨率、重复样本、模板化文案与弱相关描述都会降低训练质量。质量评估可以通过相似度模型、一致性评估器和信息增益指标识别高价值样本。动态重加权在训练时提升高质量样本权重、过滤低质量样本，使模型更快、更稳定地收敛。为什么重要随着模型规模不断扩大，业界越来越重视数据质量高于数据数量。在多模态场景中，如果图像与描述不一致，模型很容易学到错误关联，从而在推理阶段产生幻觉。通过质量评估与动态采样，可以显著提升样本利用率与最终性能。数据质量优化：从“堆数据”走向“用好数据”71图像+文本提示候选回答A/B奖励模型RM策略优化更优输出核心目标奖励模型不仅要评估回答是否有帮助，还要评估其是否与图像或视频内容一致，从而抑制多模态幻觉，如避免图中没有却被说出来的错误描述。实践意义偏好对齐是多模态训练的最后一公里，它把“能回答”进一步提升为“回答更符合人类偏好、更可信、更安全”。偏好对齐与奖励建模72快慢思维简单任务快速回答，复杂任务分配更多计算资源进行深度推理。过程监督对中间推理步骤做细粒度评估，减少长链推理中的逻辑漂移。提示优化通过关键帧、空间提示和输入组织，不改参数也能提升性能。流式推理优化首Token与感知延迟，提升实时交互体验。整体理解多模态推理不只是答对题，还包括是否稳定、是否低延迟、是否能够在有限算力上部署。因而现代方法往往同时从算法与系统两个层面进行优化。推理方法：准确性、可靠性与效率的平衡73快思维适用于简单物体识别、短文本问答和日常对话。特点是响应速度快、计算开销小，适合低复杂度场景和高吞吐场景。慢思维适用于图表分析、几何推理、复杂视频理解和因果判断。模型会进行多步观察、思考和验证，以提高复杂任务的准确率。案例理解例如在交通场景中，快思维可以先识别“画面中有哪些车辆、行人和道路元素”；慢思维则进一步分析它们的相对位置、运动方向和潜在风险。两者协同，能够在兼顾速度的同时保证复杂任务的可靠性。认知协同推理：快思维与慢思维74观察输入生成步骤PRM评分修正/继续最终答案为什么有效传统端到端推理只看最终答案对不对，而PRM会检查每一步推理是否合理，因此更容易发现中间的逻辑偏差。适用场景在数学图表、医学影像、多步骤视频问答等复杂任务中，过程监督可以明显提高可解释性与鲁棒性。过程监督：细粒度评估推理链75高效视频处理结构原图核心思想在不改变模型参数的前提下，通过更合理地组织输入信息来激发模型潜力，例如选择关键帧、加入空间提示、显式标注轨迹与相对位置。适合场景室内导航、路径规划、时序问答和具身智能任务通常都受益于更清晰的空间与时序提示。优势无需额外训练，部署成本低，适合资源受限场景下的快速优化。无参推理优化：关键帧与空间提示76分块预填充把长序列拆分成多个块，实现处理与生成流水线并行，降低首Token延迟。多码本流式生成语音信息被拆成内容、音调和声学等层次，系统可以边生成边播放，实现更自然的实时交互。应用意义面向语音助手、车载交互和机器人系统时，用户更敏感的是感知延迟，因此系统级优化非常关键。系统级效率优化与流式推理AuT音频编码器结构原图77人工智能导论第六章智能体系统CATALOGUE目录79一、智能体概述二、单智能体系统架构三、多智能体系统架构四、智能体的典型应用五、小节与展望智能体概述018081（一）引言与基础概念智能体概述智能体系统指以大语言模型为基础构建的AI系统，能够自主或半自主地使用工具、执行操作、与外部环境交互来完成特定任务Agentic一词源自”Agent”（智能体），强调系统具备“自主行动的能力”——这正是智能体区别于普通聊天机器人的根本所在。82定义：指人造系统所展现出的、能够完成诸多原本需要人类智能才能完成的任务的能力，如识别物体、理解语言、完成游戏等。里程碑事件：2016年，AlphaGo击败李世石，展示了超越人类的策略创新能力。应用领域扩展：从游戏（德州扑克、星际争霸）扩展到科学和工业领域（核聚变控制、数学定理证明、医疗风险预测）。当前趋势：大规模技术赋予智能体更强的泛化能力和自然交互能力，在具身智能、社会模拟等前沿领域崭露头角。AlphaGo对弈李世石的现场照片智能体在具身领域崭露头角（一）引言与基础概念深度强化学习83定义：指人造系统所展现出的、能够完成诸多原本需要人类智能才能完成的任务的能力，如识别物体、理解语言、完成游戏等。状态(State)：描述环境和智能体自身的基本信息，是智能体的感知输入。动作(Action)：智能体根据当前状态所采取的行为，是智能体的决策输出。奖励(Reward)：环境对智能体动作的即时反馈信号，定义了“好”与“坏”，引导智能体学习。核心思想：智能体通过不断“试错”（交互），学习最大化长期累积奖励的策略。智能体马里奥通过持续与环境试错交互，从获得的奖励中学习，从而找到能使长期累积奖励最大化的最优策略（一）引言与基础概念深度强化学习84（一）引言与基础概念智能体概述大语言模型擅长内容生成和信息表达，但仅有“生成”能力只能被动回答问题，难以自主完成真实任务。智能体的目标：面向真实任务目标的自主执行能力。输入输出感知规划执行反馈修正传统对话系统智能体系统具备目标驱动、自主决策、闭环执行的能力。85（二）智能体的定义智能体概述什么是生成式模型（GenerativeModel）？经典定义（Russell&Norvig）智能体是指能够通过传感器感知其所处环境，并通过执行器对该环境产生作用的计算实体。现代定义（大语言模型时代）以大语言模型为认知中枢，并结合状态维护、记忆管理、工具调用、执行控制、结果校验与安全治理等运行时机制所构成的智能系统，能够在数字环境或物理环境中自主感知、决策并执行，以达成高阶目标。以“感知-行动”闭环作为最基础的运行骨架在“感知-行动”闭环的基础上，进一步强调了复杂认知能力与任务执行能力的统一86（二）智能体的定义智能体概述什么是生成式模型（GenerativeModel）？感知能力：从物理或数字环境中持续获取信息，识别与任务相关的关键变量。目标导向性：系统运行始终围绕任务目标，评价标准为“是否完成任务”。自主性：在给定目标和约束下，自主决定下一步行动，无需人工逐细节指定。行动能力：通过工具调用、流程触发、内容生成等方式对外部环境产生实际影响。基本特征87（二）智能体的定义智能体的定义智能体的发展历程问答/生成内容快速回答用户问题、提供解释并完成基础查询。工具使用任务闭环组织化协作系统能够围绕任务目标组织多步行动，在执行过程中不断获取反馈，修正偏差，并形成可靠交付。调用AI工具优化内容，生成结构完整、依据清晰、能够进入实际流程的交付物。多系统通过角色分工和协同机制完成更高复杂度任务。智能体的发展不是简单追求“更强的生成能力”，而是不断增强嵌入流程、完成任务、支撑写作的系统能力。88（二）智能体的定义智能体概述什么是生成式模型（GenerativeModel）？Gartner预测，到2026年底40%的企业软件应用将嵌入具备自主任务执行能力的AI智能体，这一数据在2025年不足5%。“2026年全世界至少会出来100亿个智能体。”——360集团创始人周鸿祎在2026崇礼论坛上对智能体生态作出了这一乐观预判。89（三）智能体的分类智能体概述软件智能体：运行于数字环境（操作系统、浏览器等），依靠大语言模型、记忆机制、工具调用完成任务。硬件智能体：部署于机器人、无人机等，通过传感器感知物理环境，通过执行器动作。面临实时性、安全性和物理约束等挑战。二者关系：上层软件智能体负责全局规划与调度，下层硬件智能体负责局部感知与执行按实体载体分类90（三）智能体的分类智能体概述按协作主体规模分类按任务组织方式分类单智能体：单一主体完成感知、规划、决策、执行、反馈全闭环。适合任务链条明确的场景。多智能体：多个智能体分工协作，通过通信、协商、任务分配协同工作。适合长链条、专业分工、需交叉校验的复杂场景。对话响应型：围绕自然语言交互，如问答、客服（强调交互自然性）流程执行型：嵌入固定业务流程，如信息抽取、工单流转（强调流程一致性）目标驱动型：面向复杂多步骤任务，自主拆解、规划、动态调整（当前研究热点）91（四）智能体与大语言模型智能体概述大语言模型的角色：认知中枢。负责语义理解、意图澄清、推理分析、计划生成、工具选择、结果表达。仅有大语言模型输出存在不确定性，需要外部工具校验无法维护长期任务的状态与一致性无法处理异常、权限、安全治理等问题智能体大语言模型运行时系统负责语义理解、意图澄清、推理分析、计划生成、工具选择、结果表达。负责状态管理、工具执行、结果校验、安全保障、反馈学习92（四）智能体与大语言模型智能体概述语义理解解析用户输入的深层含义与上下文关联意图澄清识别并确认用户的真实目标与需求边界推理分析基于知识进行逻辑推导与多步因果分析计划生成将目标拆解为可执行的行动步骤序列工具选择结果表达输出不确定性大语言模型输出存在不确定性，需借助外部工具与校验机制保证可靠性状态维护需求复杂任务涉及进度、依赖、证据等状态信息，需状态维护机制真实执行问题真实执行会遇到接口异常、权限限制、失败重试等问题大语言模型为认知中枢、运行时系统为执行支撑93（四）智能体与大语言模型智能体概述1大模型拓展智能体三大能力智能体的核心能力可分为感知、决策、行动三部分，大模型在多模态理解、复杂推理和外部工具调用等方面显著增强了这三种能力。感知上拓展文本、视觉、音频等通道；在决策上结合思维链、知识库、记忆与反思机制；在行动上通过文本或程序接口控制工具、服务甚至机器人。94（四）智能体与大语言模型1大模型拓展智能体三大能力以Gemini2.5系列模型为代表，新一代大模型在复杂推理效率和多模态分析上大幅升级，并支持动态算力调度与工具链整合，实现低延迟决策。基于Gemini2.5的GeminiCLI、PlantUML‑X等智能体，把搜索、代码执行和第三方API统一封装，展示了面向开发、办公场景的大模型智能体形态。大模型与智能体95（四）智能体与大语言模型2一体化感知–决策–行动大模型除了分别强化感知、决策和行动外，还可以构造一体化大模型，以端到端方式打通从输入感知到输出控制的全流程。包括自动驾驶领域的UniAD和机器人领域的视觉‑语言‑动作（VLA）模型，用统一网络替代传统“感知–预测–规划–控制”的多模块流水线。这类架构减少模块间误差累积和接口设计工作，在动态环境中体现出更好的泛化与鲁棒性。大模型与智能体96（四）智能体与大语言模型3大模型提升感知泛化性预训练大模型在大规模文本、图像、音频数据上学习，使智能体在多模态输入上的泛化能力显著增强，能更准确理解复杂场景与用户意图。如PandaGPT将ImageBind与Vicuna结合，可在六种模态之间对齐信息，根据图片、音频及文字生成统一回答。这类多模态模型弥补了传统单通道感知的不足，为后续决策提供更完整、细致的环境表征。大模型与智能体97（四）智能体与大语言模型3大模型提升感知泛化性借助大模型的多阶段任务规划能力，智能体可以为机械臂等执行体生成长序列动作计划，完成多步骤抓取、装配等复杂操控任务。视觉‑语言‑动作模型将视觉感知、语言理解与动作控制统一，使机器人在新环境中也能通过“看懂–听懂–去执行”泛化到新任务。大模型与智能体98（四）智能体与大语言模型智能体概述2022—2023年间，研究人员围绕大语言模型的推理与行动能力展开了一系列探索：ReAct范式的提出，构建了“推理-行动-观察”的闭环，使语言模型首次具备了与外部环境交互解决复杂任务的能力[1]。ReAct框架将思维链推理与外部工具使用相结合，增强了LLM在智能体工作流中处理复杂任务和决策的能力

。以姚顺雨等人为代表的后续研究则提出了TreeofThoughts(ToT)，打破了LLM传统的线性推理模式，引入了树搜索算法，让大模型学会多步推演与回溯，为目标驱动型智能体提供了重要的规划方法论[2]。这些工作构成了智能体“认知中枢”的理论基础。[1]YaoS,ZhaoJ,YuD,etal.React:Synergizingreasoningandactinginlanguagemodels[J].arXivpreprintarXiv:2210.03629,2022.[2]YaoS,YuD,ZhaoJ,etal.Treeofthoughts:Deliberateproblemsolvingwithlargelanguagemodels[J].Advancesinneuralinformationprocessingsystems,2023,36:11809-11822.单智能体系统架构0299100（一）感知与状态建模单智能体系统架构单智能体系统的运行起点是感知，将来自环境的多源信息转化为可用于后续推理与决策的内部表征。输入处理通常可分为文本、视觉、听觉和结构化数据等四条典型链路。文本输入（语义解析）视觉输入（内容识别）听觉输入（语音提取）结构化输入（字段对齐）（一）感知与状态建模单智能体系统架构101输入处理进行信息获取与解析，状态建模则进一步解决信息如何被组织并持续服务后续决策。内容上看，状态至少包括以下几类信息：任务结构与执行进度阶段划分子任务依赖关键事实及证据来源数据库信息外部系统工具与能力边界可调用工具权限范围执行轨迹关键操作调用参数102（一）感知与状态建模单智能体系统架构什么是生成式模型（GenerativeModel）？智能体需要将不同来源的信息组织起来，形成对当前任务的可执行理解。解析的结果用于更新当前的任务状态，形成的信息被记录为可追溯的依据。任务完成或条件发生变化时，状态也会相应更新。智能体的多源理解与状态更新状态建模的作用在于将输入处理得到的关键变量组织为统一、可更新的任务画像，并通过持续更新、对齐、压缩，为后续推理、决策和反馈提供稳定基础。103（二）推理与规划单智能体系统架构什么是生成式模型（GenerativeModel）？任务判断与推理形成推理是智能体从“理解信息”走向“制定行动”的关键环节。在实际系统中，推理根据任务类型采用不同方式进行组织，可以概括为三种互补形态：基于知识的推理是依据已有知识、规范或权威文本，对问题进行有根据的判断与解释。104（二）推理与规划单智能体系统架构什么是生成式模型（GenerativeModel）？任务判断与推理形成推理是智能体从“理解信息”走向“制定行动”的关键环节。在实际系统中，推理根据任务类型采用不同方式进行组织，可以概括为三种互补形态：链式推导与分步推理将复杂问题拆分为若干中间步骤，逐步推导后形成最终结论最具代表性的是思维链（Chain-of-Thought，CoT），可以显式输出中间的推理步骤。105（二）推理与规划单智能体系统架构什么是生成式模型（GenerativeModel）？任务判断与推理形成推理是智能体从“理解信息”走向“制定行动”的关键环节。在实际系统中，推理根据任务类型采用不同方式进行组织，可以概括为三种互补形态：工具辅助推理借助外部工具获得可验证的结果，再由模型进行综合解释和组织。106（二）推理与规划单智能体系统架构任务分解与计划生成推理与规划是将已知信息组织为推进路径，推理负责形成任务判断，规划负责生成可推进的计划，二者共同为后续决策与行动提供结构化基础。结合世界模型的蒙特卡洛树规划（RAP）107（三）决策与行动单智能体系统架构决策：从候选路径到当前动作智能体的决策并非抽象的价值判断，而是在完成推理与规划后，务实地选出“下一步最合适动作”的过程。右图以ReAct架构为例，体现了智能体不是一步到位的直接生成答案而是逐步思考，在最终确定答案之前执行中间行动。ReAct智能体在一个思考-行动-观察的循环中运行直到它找出解决方案为止。108（三）决策与行动单智能体系统架构行动：从内部判断到外部效果如果说决策回答的是“做哪一步”，那么行动回答的就是“如何把这一步真正落实”。在智能体系统中，行动并不局限于物理运动，而是泛指智能体对外部环境施加影响的具体过程，可以将智能体概括为若干典型行动。行动类型典型操作示例核心目标关键工程要求查询与读取类行动知识检索、文件读取、接口查询、状态查看获取可复核的事实与证据查询条件明确，结果可追溯，返回格式稳定生成与构建类行动文本生成、代码补全、内容组织、草稿构建形成可供后续使用的中间产物版本清晰，上下文完整，引用依据可标识写入与变更类行动状态更新、字段写入、流程触发、结果提交推动外部系统状态变化权限可控，无副作用，异常时可回滚协作与交互类行动发起询问、信息同步、材料催办、结果确认推动跨主体协作与信息对齐等待状态显式化，超时与转交规则明确109（三）决策与行动单智能体系统架构行动：从内部判断到外部效果从系统实现看，行动通常包含两个相互衔接的层面：一是动作表示，即将当前决策转化为明确的动作类型、目标对象和所需参数。如右图所示，现在将信息转化为智能体决策中的有效动作表示的四种主流方法：潜空间表示、预测世界模型、显式2D监督、显式3D监督。110（三）决策与行动单智能体系统架构行动：从内部判断到外部效果从系统实现看，行动通常包含两个相互衔接的层面：二是执行控制，即借助工具或执行器将动作真正落地，并处理权限、异常、重试和结果回执等问题。智能体执行控制关注“如何让智能体可靠行动”，而AgentHarness正是这一控制机制的具体实现：连接模型推理与外部工具、管理执行上下文、约束动作边界。111（四）反馈与学习单智能体系统架构什么是生成式模型（GenerativeModel）？反馈：从执行结果到可用信号反馈的核心作用，是将外部结果转化为系统可理解、可利用的评价信号。反馈通常并非单一来源，而是由用户反馈、系统日志和环境数据共同构成。用户反馈系统日志环境数据直接反映是否满足目标判断是否按计划执行判断行动是否仍然有效112（四）反馈与学习单智能体系统架构学习：从一次纠偏到持续改进1. 监督学习监督学习是一种通过分析带有已知标签的历史数据来寻找映射规律，进而实现对位置数据进行准确分类或预测的机器学习范式。支持向量机(SVM)旨在高维数据空间中寻找一个最优超平面，以最大化分类间隔的方式将不同类别的数据清晰分隔开的经典分类算法。典型算法监督学习算法SVM113（四）反馈与学习单智能体系统架构学习：从一次纠偏到持续改进2. 强化学习强化学习是一种让智能体在与环境的不断交互中，通过“试错”和奖惩机制来学习最优行为策略，以实现长期累积收益最大化的机器学习范式。Q-Learning是一种经典的无模型强化学习算法，它通过不断更新一个记录动作价值的Q表，指导智能体在每一种状态下做出能获得最大预期奖励的最优决策。典型算法强化学习算法Q-LearningQ-Table114（四）反馈与学习单智能体系统架构学习：从一次纠偏到持续改进3. 无监督学习无监督学习是一种在没有任何已知标签的数据中，让算法自行探索和发现数据内部隐藏的结构、模式或群体分布的机器学习范式K-Means是一种经典的聚类算法，它通过不断迭代优化簇中心的位置，将海量无标签数据按照特征的相似度，自动且高效地划分到K个最紧凑地独立集合中。经典无监督学习算法K-Means115（四）反馈与学习单智能体系统架构学习：从一次纠偏到持续改进4. 迁移学习迁移学习是一种主张“举一反三”地机器学习范式，核心思想是将模型在源任务中已经学到的通用知识和特征，迁移应用到目标任务中，从而避免每次都从零开始训练。微调算法是一种最主流的迁移学习策略，通过在已经具备庞大通用知识的预训练基座模型上，是用少量特定任务的数据对模型参数进行微小调整，以极低的计算成本实现下游任务的高效适配经典迁移学习算法Finetune116（四）反馈与学习单智能体系统架构学习：从一次纠偏到持续改进5. 元学习元学习是一种主张“学会学习”的高级机器学习范式，旨在让模型通过在大量多样化任务上的跨任务训练，掌握通用的策略，从而能在面对全新任务时仅凭少量数据就能快速适应。MAML是一种通用且优雅的经典元学习框架，它核心目的是寻找一组具备极强潜力的“全局最优初始参数”，使得模型在新任务上只需进行一两次梯度更新，就能瞬间达到极佳的预测效果。经典元学习算法MAML多智能体系统架构03117118（一）多智能体组织形式多智能体系统架构多智能体系统的关键问题是“如何组织多个智能体协同完成同一目标”。相较单智能体而言，多智能体组织形式的作用，在于明确控制权、信息流与协作方式，在效率、可靠性与可控性之间进行结构化取舍。119（一）多智能体组织形式多智能体系统架构集中式组织集中式组织统一接收任务目标与约束，形成全局计划，拆分并分派子任务，最终汇总结果并完成验收交付。适合流程约束较强、依赖关系明确、交付要求高度一致的场景，如合规审查、审批流处理和正式报告生成等。120（一）多智能体组织形式多智能体系统架构分布式组织分布式组织由多个智能体以相对平等的方式协同完成任务。各智能体可根据自身能力和局部观察，自主承担子任务、提出方案并执行操作，再通过消息交换、状态共享或局部协商推进整体任务。分布式组织的优势在于并行度高、单点故障风险较低、探索空间大，但也更容易出现重复劳动、结果分叉和收敛困难等问题。121（二）角色分工与任务分配多智能体系统架构将复杂任务划分为不同功能角色单智能体闭环通常包含感知与状态、规划与分解、执行与工具、反馈与校验等环节。多智能体分工常以此为基础，将不同环节对应不同角色，以降低认知负载并提升并行度。如图所示，列出了工程中较常见的角色。122（二）角色分工与任务分配多智能体系统架构（1）任务统筹者：理解目标与约束，拆解任务、分派角色、跟踪里程碑，并对关键节点进行决策与验收。产出包括阶段计划、任务清单、依赖关系和最终交付物。（2）证据获取者：从文档库、知识库、数据库或外部系统检索信息，形成可追溯的事实依据，并标注来源、时间与冲突点。（3）分析者：基于证据开展结构化分析，形成对比结论，识别风险与未决问题，并提出可执行建议。（4）执行者：负责具体工具调用和系统操作，如脚本运行、接口调用、文档编辑、工单创建等，并记录操作步骤、参数和回执。（5）审阅者：校验中间产物和最终交付物，重点检查格式规范、事实一致性、引用可追溯性、合规边界和数据核验结果。（6）写作者：将分析与执行结果整理为报告、邮件、说明文档等对外交付内容，统一结构、口径与表达。123（二）角色分工与任务分配多智能体系统架构任务分配：把具体工作分派到对应角色任务分配机制是多智能体协同运作的调度中枢，通过特定的规则和算法，将复杂任务精准拆解并匹配给最合适的执行者，以实现系统全局效率最大化。基于市场的分配范式（Market-BasedApproach）是一种去中心化的经典分配策略，它巧妙借用人类经济学中的拍卖与竞拍法则，让智能体在追求个体效用最大化的自发竞争中，涌现出最优的全局任务分配方案。基于市场的分配范式124（三）智能体间通信协调多智能体系统架构通信内容多智能体之间并不是所有信息都需要以同样方式传递。按照协作过程不同，通信内容通常可以概括为四类，如下图所示：125（三）智能体间通信协调多智能体系统架构通信载体通信载体一般呈现为两种互补方式：消息传递与共享工作区消息传递：是智能体通过离散消息进行即时交互的通信模式，强调即时性，适合任务触发与行为协商。优势在于低延迟与松耦合；但也会导致信息散落。消息传递模式点对点方式：通信双方建立直接的通信链路，发送方必须知道系统中接收方的指定位置。广播方式：该方式在分布式系统中使用广泛，智能体一次向所有智能体广播消息，而不是发送到特定地址。126（三）智能体间通信协调多智能体系统架构通信载体通信载体一般呈现为两种互补方式：消息传递与共享工作区共享工作区：典型代表如黑