人工智能导论 课件 第5章 人工智能生成内容与大模型

人工智能生成内容CATALOGUE目录2一、生成式AI基础二、生成式AI典型模型三、大语言模型四、多模态大模型从判别式AI到生成式AI定义：判别式任务是在给定输入样本时预测类别、属性或结果；生成式任务是根据数据规律、随机变量或条件输入产生新内容。判别式AI：侧重识别、分类、预测；生成式AI：侧重建模、采样、创造；从判别式AI到生成式AI的目标变化：从理解已有样本走向产生新样本。判别式AI生成式AI输入数据分类器类别判断…训练数据学习分布生成内容3判别式任务与生成式任务比较维度判别式任务生成式任务学习对象输入到标签的映射数据样本的产生规律典型输出类别、分数、预测结果文本、图像、语音、代码等内容关注重点决策边界数据分布评价方式准确率、召回率、鲁棒性真实性、多样性、可控性判别式任务和生成式任务的根本差异，在于模型学习的对象不同。判别式模型主要学习输入样本与输出标签之间的映射关系。生成式模型的学习目标是样本本身的产生规律。判别式模型回答属于哪一类，生成式模型回答如何产生一个新样本。4生成式AI的基本定义核心组成：已有数据：文本、图像、音频、代码、视频或科学数据；学习规律：捕捉统计规律、结构规律和语义规律；生成新内容：产生与训练数据相关但不完全相同的样本。定义：生成式AI能够从已有数据中学习规律，并生成新的、相似但不完全相同内容的人工智能方法。AIGC是由AI自动或辅助生成的内容，是生成式AI能力的输出结果。5数据分布与生成任务定义：数据分布是描述真实样本在数据空间中的整体规律。对于图像、文本、音频等高维数据来说，真实样本的高维数据会集中在一些有结构的区域中。生成模型的目标，就是通过训练数据学习这些区域的形状和规律，并从中产生新的、合理的样本。观测样本学习分布预测样本6隐变量与隐空间定义：隐变量是影响生成结果但不直接可见的潜在因素，例如类别、风格、姿态、背景和光照。隐空间是这些潜在因素组成的表示空间，可以看作生成内容的语义地图。

在隐空间中，相近的位置通常对应相似的生成结果，而不同方向的移动可能改变样本的某些属性。隐空间生成模型生成结果7采样：从分布到内容定义：采样是从概率分布或隐空间中选取一个具体起点，并通过生成模型映射为具体内容的过程。影响因素：随机种子影响起点采样策略影响多样性条件输入影响可控性采样使同一条件下可以产生不同结果，带来多样性，也带来一定的不确定性。随机种子采

样生成模型生成内容8概率建模

类型概率形式含义无条件生成从数据分布中直接生成样本条件生成在文本、图像、类别等条件下生成样本

无条件生成条件生成9生成式AI的边界与风险生成式AI的输出并不天然可靠，可能出现幻觉、偏见、版权风险和可控性不足等问题。在医疗、法律、金融和科研等高风险场景中，生成结果不能直接等同于事实，需要经过检验、约束和必要的人类审查。具体表现：幻觉：看似合理但事实错误；偏见：继承训练数据中的不公平倾向；版权：与受保护内容或风格发生冲突；安全：避免有害或误导性输出；可控性不足：输出偏离用户条件或关键要求。10生成过程的流程总结生成式AI的生成过程可以理解为一条完整链路：模型先从训练数据中学习真实样本的分布规律，再用概率建模描述哪些样本更可能出现；隐变量和隐空间负责组织样本背后的潜在因素，采样负责从这些可能性中选取一个具体起点，最后由生成模型映射为文本、图像、代码或其他内容。11评价AIGC的生成质量定义：生成质量是对生成结果在真实性、多样性、一致性、可控性和实用性等方面的综合评价。生成结果不能只用好看或不好看来判断。生成质量指标：真实性：是否接近真实数据；多样性：是否避免重复生成；一致性：语义、结构或时间上是否协调；可控性：是否符合输入条件；实用性：是否能完成实际任务。生成质量的关键是真实、稳定、可控、可用。12文本驱动生成——文生图文生图是指根据文本提示生成符合语义要求的图像内容。模型需要理解文本中的对象、属性、关系和风格，并将这些语义信息映射到图像空间生成对应的图片。Qwen3-VLTechnicalReportChatGPTImage213文本驱动生成——文生视频文生视频是根据文本描述生成连续视频片段的任务。与单张图像不同，视频不仅要求每一帧画面具有较高质量，还要求主体、动作、场景和镜头在时间维度上保持连续。因此，文生视频不仅是多生成几张图，而是要同时建模空间结构和时间变化。GoogleVeo14文本驱动生成——文生代码文生代码指根据自然语言需求、上下文或接口说明生成程序代码的任务。它可以看作一种特殊的文本生成任务，但代码比普通文本更强调语法正确、逻辑一致和可运行性。Cursor15图像驱动生成——图生文与图生图图生文侧重从图像中提取对象、关系和场景信息，并转化为文字描述、问答或解释；图生图则在保留输入图像部分结构的基础上，对风格、内容、细节或局部区域进行修改。二者的共同点是：图像不只是输出结果，也可以成为控制生成过程的重要条件。16图像驱动生成——图生视频图生视频是指以静态图像作为条件，生成连续动态视频的任务。与图生图相比，图生视频不仅要保持输入图像中的主体、风格和场景结构，还要在时间维度上生成合理的动作、镜头变化和动态过程。Seedance2.017三维内容生成三维内容生成是利用生成模型产生三维对象、材质、场景或空间结构的任务。

与二维图像相比，三维内容不仅要看起来像，还要满足形状、结构、视角和几何一致性要求。输入可以来自文本、图像、草图或多视角图片，输出可以是三维网格、点云、材质等。三维生成使AI从生成平面内容，走向构建可交互的数字空间。18分子生成与蛋白质结构预测生成式AI不仅可以赋能于内容创作，还可以在自然科学和工程设计领域发挥作用。分子生成是利用生成模型设计具有目标性质的候选分子结构。蛋白质结构预测是根据氨基酸序列或相关约束推断蛋白质三维空间结构。AlphaFold3AbramsonJ,AdlerJ,DungerJ,etal.AccuratestructurepredictionofbiomolecularinteractionswithAlphaFold3.Nature,202419CATALOGUE目录一、生成式AI基础二、生成式AI典型模型三、大语言模型四、多模态大模型20回顾：从“判别”到“生成”生成式AI的核心问题不是“这是什么”，而是“如何创造一个像真的样本”。判别式任务

生成式任务

目标变化核心变化：从判断输入类别转向学习数据如何产生21总览：生成模型共同目标用可学习的神经网络，把简单来源映射为复杂真实数据分布。1潜在特征概括高维样本的语义与结构2采样机制从噪声、隐变量或上下文出发3生成映射把简单来源映射回数据空间4质量约束用训练目标逼近真实分布简单来源→神经网络映射→高维样本22生成对抗网络GAN图示：G生成样本，D判断真伪，二者交替对抗。教材图5.1生成对抗网络结构示意图

判别器

D

：判断真实样本或伪样本的概率交替训练：先训D，再训G；失衡会模式坍塌23GAN目标函数第一项

第二项

生成器

D

最大化，G

最小化，所以它们看到的是同一个目标函数的相反方向

24GAN变体A.Radfordetal.“UnsupervisedRepresentationLearningwithDCGANs,”

arXiv,2015.GAN变体围绕“可控、结构、损失”三类改进展开:用卷积结构提升图像生成质量与稳定性cGAN加入类别或条件信息控制生成DCGANWGAN改进分布距离度量提升训练稳定性25变分自编码器VAEVAE不把样本压缩成一个固定点，而是压缩成可采样的概率分布。普通自编码器隐空间点零散，随机采样未必有效变分自编码器VAE连续、有规律、可采样的概率分布

26VAE的结构图示：先输出隐变量分布参数，再采样并解码生成样本。变分自编码器结构示意图

27VAE训练目标重构项

KL项

重参数化

最大化ELBO，就是在重构准确和隐空间规整之间寻找平衡。

28VAE变体I.Higginsetal.“β-VAE:LearningBasicVisualConceptswithaConstrained

VariationalFramework,”ICLR,2017.VAE变体围绕隐空间约束、条件控制和离散表示展开:

CVAE

VQ-VAE用离散码本替代连续高斯隐空间29VAE特点与应用训练稳定最大化ELBO

，不需要对抗博弈。结果偏平滑图像边缘和纹理可能不够锐利。异常检测异常样本重构误差通常更大。科学应用分子生成、材料设计、表示学习等。VAE

总结：概率编码、隐空间规整、生成稳定；视觉细节通常偏平滑。30扩散模型图示：把生成过程分解为正向加噪和逆向去噪两条链。扩散模型结构示意图正向扩散：逐步加高斯噪声，最终接近标准正态。逆向生成：从纯噪声开始逐步预测并去噪。特点：训练稳定、质量高；采样多步、速度较慢。31扩散公式解析

原始样本结构的累计保留比例。

累计噪声比例，越大越接近随机噪声。

决定信噪比与去噪难度；步数越多越慢。

32扩散模型应用R.Rombachetal.“High-ResolutionImageSynthesiswithLatentDiffusion

Models,”CVPR,2022.隐空间扩散把去噪过程从像素空间转移到压缩后的潜在空间。隐空间扩散的压缩视角先做感知压缩，再在低维潜在空间执行扩散去噪。扩散模型适合高质量内容创作、图像编辑、音视频生成等场景。33扩散模型变体DDPM把训练目标转化为预测噪声。LDM先压缩到隐空间，再做扩散采样。StableDiffusion基于隐空间扩散，支撑文生图与编辑。ControlNet/DiT提升结构控制和多模态扩展能力。扩散模型的优势是训练稳定、质量高、多样性好；主要代价是采样慢。34自回归模型图示：按照既定顺序逐步预测下一个元素。自回归模型结构示意图文本：根据上下文预测下一个词元图像：按像素或视觉token

顺序预测特点：概率表达清晰；生成通常串行较慢35自回归结构与例子A.Vaswanietal.“AttentionIsAllYouNeed,”

NeurIPS,2017.Transformer多头注意力仅看历史上下文PixelRNN/CNN按顺序生成像素；掩码卷积避免看到未来像素。WaveNet把音频波形看作长序列建模。Transformer/GPT基于历史上下文预测下一个token。

链式法则36四类生成式人工智能模型模型生成机制速度质量特点典型用途GAN对抗博弈快细节强，不稳图像合成、风格迁移VAE隐空间快稳定、平滑表示学习、异常检测扩散模型逐步去噪慢高保真、多样文生图、编辑、音视频自回归模型链式预测慢概率显式文本、LLM

、序列建模横向比较：速度、稳定性、质量、概率表达相互取舍。37CATALOGUE目录一、生成式AI基础二、生成式AI典型模型三、大语言模型四、多模态大模型38回顾：生成式AI的四类代表模型生成式AI已形成几类典型路线：GAN：通过对抗训练逼近真实分布VAE：用概率隐空间实现可采样生成扩散模型：通过多步去噪生成高质量样本自回归模型：基于上下文逐步预测下一个元素。为什么文本生成主要走向自回归模型？39大语言模型：从架构到应用本节围绕模型如何构建、如何训练、如何使用展开。大语言模型是生成式人工智能在自然语言领域的核心代表。它以Transformer为主要架构，通过大规模预训练获得语言理解、文本生成和知识关联能力，再经过指令微调与对齐，使模型更适合真实交互场景。40大语言模型的基本概念大语言模型通常指在参数规模、训练数据和计算资源上显著扩展的语言模型。它的基础任务是根据已有上下文预测下一个词元，从而学习语言结构、事实关联和表达模式。基座模型会生成流畅文本，但并不天然等同于可靠助手。41从序列模型到Transformer在Transformer出现之前，RNN、LSTM、GRU是自然语言处理中常用的序列建模方法。这类模型按时间步依次传递信息，难以充分并行，长距离依赖也容易衰减。Transformer用自注意力替代递归传递，使序列中任意两个位置可以直接建立联系。

TransformerRNNFamilyVS然而，Transformer并没有放弃序列顺序，而是先用注意力建立全局关系，再通过后续介绍到的技巧保留词语次序。42自注意力的直观理解自注意力可以理解为：句子中的每个词都会主动寻找与自己相关的其他词，并根据相关程度重新汇聚信息。例如“我把苹果放在桌子上，它很圆”中，模型需要判断“它”更可能指向“苹果”而不是“桌子”。这种机制让模型更擅长处理上下文关系。用一句话示例，箭头从“它”指向“苹果”。在一句话中，某个词的含义往往不能只看它自己，而需要结合前后多个词共同判断。43Q、K、V与注意力权重在自注意力中，每个词都会被映射成Query、Key和Value。

Query，表示当前位置想寻找什么信息Key，表示其他位置能提供什么线索Value，表示最终被汇聚的内容模型通过Query与Key的相似度计算权重，再对Value加权求和。44多头注意力与位置编码单个注意力头只能在一个表示空间中建模关系，而多头注意力可以让不同头关注不同类型的信息，例如语义相似、句法依赖或位置邻近。由于注意力本身不感知顺序，位置编码需要把词的先后关系注入模型，使模型区分“我爱你”和“你爱我”。单头注意力多单头注意力45三类Transformer架构基于Transformer的语言模型逐渐形成三类典型结构：仅编码器、仅解码器和编码器—解码器。三者共享注意力机制，但训练目标和任务侧重点不同。理解这三类结构，有助于区分BERT、GPT、T5等模型为什么适合不同任务。46仅编码器架构：理解优先仅编码器模型以BERT、RoBERTa为代表，主要优势是双向上下文理解。它通常采用掩码语言建模，即遮住句子中的部分词元，让模型根据前后文恢复内容。这类模型适合文本分类、语义匹配、信息抽取等理解型任务。仅编码器架构的核心目标不是连续生成文本，而是尽可能充分地理解输入序列内部的语义关系。它更像是一个文本理解器，适合作为分类、检索、抽取和判别任务中的语义表示基础。47仅解码器架构：生成优先仅解码器架构是当前大语言模型的主流形态，GPT、LLaMA等模型都属于这一类。模型在训练时只能看到当前位置之前的词元，通过不断预测下一个词元完成文本生成。这种因果语言建模方式天然适合对话、写作、代码生成和一系列复杂任务求解。仅解码器架构把语言生成看作从左到右的连续预测过程，模型每一步都依据已有上下文决定下一个词元。它更像是一个文本续写器发展而来的通用生成模型，适合对话、写作、代码补全和任务规划等开放式任务。48编码器—解码器架构：转换优先编码器—解码器架构常用于输入到输出的转换任务。编码器负责理解和压缩输入内容，解码器根据编码结果生成目标文本，两者之间通过交叉注意力建立联系。机器翻译、文档摘要和文本改写等任务，都适合这种“先理解、再生成”的结构。编码器—解码器架构强调先理解输入、再生成输出，适合输入内容和输出结果之间存在明确转换关系的任务。它更像是一个文本转换器，在机器翻译、文档摘要、文本改写和问答生成中具有较强适配性。49规模定律：为什么模型越做越大规模定律说明，当参数量、训练数据和计算量按照合适比例增长时，模型性能通常会呈现可预测的提升。规模扩展不仅提高语言流畅度，还可能带来上下文学习、复杂推理、跨任务迁移等能力。大模型能力提升的背后，是架构、数据与算力共同作用。50涌现能力一些能力在小模型中并不明显，但当模型的参数规模达到一定阶段后会突然表现出来。这类现象常被称为涌现能力。例如模型只看少量示例就能完成新任务，或者在数学、代码、推理任务中表现出更强的组合能力。涌现并不神秘，本质上与规模、数据覆盖和训练目标有关。随着模型规模扩大，能力提升并不总是平滑线性的，某些能力会在跨过一定规模后才明显表现出来。51MoE：混合专家模型密集模型在每次推理时都会调用全部参数，规模越大，显存和计算成本越高。MoE架构在模型中设置多个专家网络，由路由器为每个token选择少量专家参与计算。这样模型可以拥有很大的总参数量，但每次实际激活的参数相对有限。

MoE的基本思想是把一个大模型拆成多个专家子网络，让不同输入动态选择更相关的专家参与计算。52大模型训练的整体流程大语言模型通常经历三个阶段：预训练得到基座模型，让模型掌握语言规律和通用知识；指令微调让模型理解任务要求；对齐进一步调整模型行为，使输出更符合人类偏好、安全规范和实际应用需求。大语言模型从会预测文本到会完成任务，通常需要经历多个训练阶段，而不是只依赖一次预训练完成。53预训练：让模型学会语言预训练通常使用海量文本和代码数据，目标是根据前文预测下一个词元。这个过程让模型学习语法结构、常见事实、表达方式和部分推理模式。但预训练优化的是概率建模，并不直接保证模型会遵循指令、核验事实或保持输出格式稳定。54指令微调：让模型听懂任务指令微调在基座模型之上加入高质量的“指令—回答”样本，使模型学习如何按照用户意图完成任务。样本不仅包含问题和答案，还常包含角色设定、输出格式、禁止项和安全拒答示例。它的关键不在数据越多越好，而在覆盖度和标注质量。经过预训练的模型虽然掌握了大量语言规律和知识关联，但它并不天然知道用户是在提出任务、设定约束还是要求某种输出格式。55RLHF与模型对齐指令微调后的模型仍可能出现过度自信、忽视约束、产生幻觉或回答不安全内容。人类反馈强化学习（RLHF）通过人类偏好数据训练奖励模型，再引导语言模型生成更符合偏好的回答。对齐的目标不是让模型知识更多，而是让它的行为更可靠、更可控。56提示工程与思维链提示工程关注如何把任务表达清楚，包括角色、目标、材料、约束和输出格式。对于复杂任务，可以使用思维链让模型先列条件、再逐步推导、最后给出结论。思维链能提高可检查性，但不能替代事实核验，关键任务仍需结合检索或工具。57RAG与工具调用RAG通过检索外部资料，把相关文档片段放入上下文，使模型基于材料回答问题，减少仅凭参数记忆带来的幻觉。工具调用则让模型连接搜索、计算器、代码解释器、数据库等外部能力。现代大语言模型正在从文本生成器发展为任务执行入口。58CATALOGUE目录一、生成式AI基础二、生成式AI典型模型三、大语言模型四、多模态大模型59基本概念从LLM扩展到MLLM理解语义对齐把握多模态输入输出架构设计编码器、Adapter、MoE压缩架构与VLA闭环训练策略多阶段训练数据质量与偏好对齐推理方法快慢思维过程监督与流式推理多模态输入输出主要逻辑先回答为什么需要多模态，再分析模型如何实现多模态理解与生成，随后介绍训练与推理优化，最后对典型应用和发展趋势进行总结。内容结构60定义多模态大语言模型以大语言模型为核心，能够同时处理文本、图像、音频、视频等多种模态信息，并在统一语义空间中完成理解、推理与生成。核心本质关键不是简单叠加视觉模块或语音模块，而是通过模态对齐层打破不同模态之间的表示壁垒，使模型获得更接近真实世界的感知能力。典型多模态系统：输入—对齐—推理—输出MLLM的定义与核心思想61仅依赖文本的局限语言模型可以进行逻辑推理、对话生成和知识问答，但无法直接读取图像细节、视频运动信息以及实时语音信号，因此面对现实场景往往缺少看见和听见的能力。多模态扩展后的能力引入视觉和音频编码器后，模型能够完成视觉问答、图像描述、视频事件分析、语音对话与具身控制等任务，从而把抽象语言能力延伸到真实世界。视觉问答输入图片与问题，模型基于图像内容回答“图中有什么”“发生了什么”。图像描述模型自动生成图片标题、内容摘要或细粒度说明。视频理解识别长视频中的关键事件、时序关系与因果线索。语音交互实现低延迟听说对话与实时助手。为什么需要多模态：从文本推理走向真实感知62结构示意阶段1：感知编码视觉、音频或视频信号首先经过专用编码器转化为连续特征。阶段2：模态对齐通过线性投影、Adapter或交叉注意力把非文本特征接入LLM嵌入空间。阶段3：推理与输出大语言模型在统一语义空间中完成问答、描述、规划甚至动作预测。编码器负责感知，对齐层负责翻译，LLM负责高层理解与生成。典型MLLM系统结构63基础对齐与融合目标是建立共享语义空间。典型做法是视觉编码器+Adapter/Projector+LLM。代表模型：LLaVA。高效特征压缩目标是减少视觉Token数量。通过重采样、关键帧选择与时空压缩提升长视频处理能力。混合专家架构目标是在超大参数规模下保持可行计算成本。通过路由器稀疏激活最相关专家。VLA协同架构把输出从文本扩展为动作Token，面向机器人与自动驾驶。理解路径可以把四类架构看成对不同矛盾的回应：基础融合解决能否看懂，压缩解决能否高效处理长视频和高分辨率输入，MoE解决能否扩大模型容量而不显著增加单次推理成本，VLA则进一步回答模型能否把理解结果转化为物理行动。主流架构范式概览64LLaVA网络结构核心流程图像先经过VisionEncoder得到视觉特征序列，再通过Projector或Adapter映射到语言模型空间，随后与文本提示共同输入LLM。优势结构清晰、实现简洁、计算成本相对可控，适合快速构建通用视觉语言模型。思考题延伸如果输入图像边长翻倍且Patch大小不变，视觉Token数量大约提升为原来的4倍，因此需要关注上下文开销。LLaVA网络结构：主流视觉编码器—Projector—LLM框架。基础对齐架构：从视觉编码器到ProjectorLiuH,LiC,WuQ,etal.Visualinstructiontuning.NeurIPS,2023.65MiniCPM-V4.5架构原图为什么需要压缩视频帧数多、图像分辨率高，会导致视觉Token激增，进而带来显存压力和上下文窗口限制。主要思路通过关键帧采样、3D-Resampler、时空注意力和池化聚合，把海量视觉Token压缩为少量高信息密度Token。价值压缩架构让模型能够处理更长时间尺度的视频和更大分辨率的图像，同时提升推理吞吐与实时性，是长视频理解的重要支撑。Yu,Tianyu,etal.Minicpm-v4.5:Cookingefficientmllmsviaarchitecture,data,andtrainingrecipe.CVPR,2026.高效特征压缩：面向长视频与高分辨率输入66Qwen3-Omni结构图工作机制MoE架构中包含大量专家子网络，路由器根据当前Token的特征动态选择最相关的少数专家参与计算。优势总参数规模可以非常大，但单次推理只激活很少一部分参数，因此兼顾了模型容量与计算效率。理解比喻可以把MoE看作医院分诊系统：先判断病情，再把请求分配给最擅长的科室处理。Qwen3-Omni中Thinker/Talker与多模态输入的组合方式XuJ,GuoZ,HuH,etal.Qwen3-omnitechnicalreport.arXiv,2025.混合专家架构：以Qwen3-Omni为例67OpenVLA模型结构图VLA任务示意核心变化VLA把输出从文本扩展为动作Token，使模型不仅能解释场景，还能执行动作。工作闭环系统首先读取视觉流、语言指令与传感器信息；随后完成场景理解与行为规划；最终输出机器人关节轨迹、抓取动作或车辆控制命令，实现“感知—决策—行动”的闭环。KimMJ,PertschK,KaramchetiS,etal.Openvla:Anopen-sourcevision-language-actionmodel.arXiv,2024.视觉—语言—动作（VLA）架构68预训练使用大规模图文、音频和视频数据，学习基础多模态表示与关联知识。指令微调利用任务化指令数据，让模型学会按要求回答、描述、总结和推理。偏好对齐通过奖励模型或偏好数据进一步提升帮助性、安全性和图文一致性。部署优化通过量化、缓存和流式生成降低实际部署成本与响应延迟。三条主线本节可概括为三个维度：①时序维度：渐进式多阶段训练，逐步从看懂信号发展到综合推理；②数据维度：动态质量优化，重点利用高价值样本；③目标维度：多模态偏好对齐，降低幻觉、提升回答可靠性。训练策略体系：从感知对齐到偏好对齐69阶段1：感知对齐冻结语言模型主干，重点训练视觉与音频编码器以及映射层，先建立“原始信号→语义空间”的桥梁。这一阶段的目标不是追求复杂推理，而是让模型先具备稳定的多模态感知能力。阶段2：综合联合训练逐步解锁更多参数，使用文本、图像、视频和音频混合数据开展联合训练，使模型学习跨模态关联、知识整合和任务生成能力。这一阶段决定了模型的通用性。阶段3：长上下文扩展针对长视频、长音频和多页文档进行专项微调，增强全局记忆与跨片段推理。这一阶段让模型真正具备长时序理解能力。渐进式多阶段训练70常见噪声图文不匹配、低分辨率、重复样本、模板化文案与弱相关描述都会降低训练质量。质量评估可以通过相似度模型、一致性评估器和信息增益指标识别高价值样本。动态重加权在训练时提升