《计算机网络技》 课件 第10章 大模型技术与应用

第10章大模型技术与应用理解大模型基本概念、服务模式、智能体和产业生态。大模型的起源与发展→大模型的基础概念→大模型的服务模式→大模型智能体→主流大模型与产业生态第10章大模型技术与应用02学习路径沿5个问题建立本章完整认知理解大模型基本概念、服务模式、智能体和产业生态。01大模型的起源与发展02大模型的基础概念03大模型的服务模式04大模型智能体05主流大模型与产业生态学习闭环：理解概念→推演机制→应用场景→证据验证第10章大模型技术与应用0310.1大模型的起源与发展模型参数规模增加是否必然带来同等比例的能力提升？人工智能演进→三要素→Transformer→ChatGPT110.1大模型的起源与发展0410.1核心结构大模型由算法、数据和算力共同推动，并在Transformer后快速演进。先读中心结论，再看人工智能演进与三要素大模型的起源与发展四个知识点共同说明本节核心结论人工智能演进规则系统、机器学习、深度学习与生成式AI三要素算法架构、高质量数据与计算资源Transformer注意力机制支持大规模并行与上下文建模ChatGPT对话式交互推动大模型面向大众应用10.1大模型的起源与发展0510.1关键机制人工智能演进与三要素：两者如何配合先理解人工智能演进，再联系三要素人工智能演进规则系统、机器学习、深度学习与生成式AI人工智能演进提示先理解人工智能演进：规则系统、机器学习、深度学习与生成式AI三要素算法架构、高质量数据与计算资源三要素提示三要素联系人工智能演进：算法架构、高质量数据与计算资源10.1大模型的起源与发展06教材图解·10.1人工智能演进：从显式规则走向内容生成图10-1人工智能发展历程｜先读图，再把图中关系还原为机制教材原图图中怎么看1规则时代依靠人工编写规则，适合边界清楚、变化较少的任务2学习时代模型从数据中学习特征，深度学习提升感知与模式识别能力3生成时代大模型学习海量数据分布，能生成文本、图像等新内容10.1教材图解0710.1关键机制人工智能演进与三要素：两者如何配合先理解人工智能演进，再联系三要素Transformer注意力机制支持大规模并行与上下文建模Transformer提示先理解Transformer：注意力机制支持大规模并行与上下文建模ChatGPT对话式交互推动大模型面向大众应用ChatGPT提示ChatGPT联系Transformer：对话式交互推动大模型面向大众应用10.1大模型的起源与发展0810.1场景应用比较传统规则问答与大模型生成回答的工作方式。本页案例：比较传统规则问答与大模型生成回答的工作方式1人工智能演进规则系统、机器学习、深度学习与生成式AI2三要素算法架构、高质量数据与计算资源3Transformer注意力机制支持大规模并行与上下文建模4ChatGPT对话式交互推动大模型面向大众应用案例说明：比较传统规则问答与大模型生成回答的工作方式10.1大模型的起源与发展09课堂检验模型参数规模增加是否必然带来同等比例的能力提升？人工智能演进规则系统、机器学习、深度学习与生成式AI三要素算法架构、高质量数据与计算资源参考解答不必然。能力还取决于数据质量、算法、训练方法和算力，规模增长也存在边际递减教材结论：大模型由算法、数据和算力共同推动，并在Transformer后快速演进10.1大模型的起源与发展1010.2大模型的基础概念大模型语言流畅时，为什么仍需要事实核验？Token→参数→预训练与微调→涌现与幻觉210.2大模型的基础概念1110.2核心结构Token、参数、预训练、微调和提示共同决定模型如何学习与响应。先读中心结论，再看Token与参数大模型的基础概念四个知识点共同说明本节核心结论Token模型处理文本的基本离散单位参数训练过程中学习到的权重与模式预训练与微调先学习通用能力，再适配任务或领域涌现与幻觉能力随规模出现，同时可能生成不可靠内容10.2大模型的基础概念1210.2关键机制Token与参数：两者如何配合先理解Token，再联系参数Token模型处理文本的基本离散单位Token提示先理解Token：模型处理文本的基本离散单位参数训练过程中学习到的权重与模式参数提示参数联系Token：训练过程中学习到的权重与模式10.2大模型的基础概念1310.2关键机制Token与参数：两者如何配合先理解Token，再联系参数预训练与微调先学习通用能力，再适配任务或领域预训练与微调提示先理解预训练与微调：先学习通用能力，再适配任务或领域涌现与幻觉能力随规模出现，同时可能生成不可靠内容涌现与幻觉提示涌现与幻觉联系预训练与微调：能力随规模出现，同时可能生成不可靠内容10.2大模型的基础概念14教材图解·10.2微调：在基础模型上注入领域任务能力图10-6微调的作用机制｜先读图，再把图中关系还原为机制教材原图图中怎么看1基础模型先保留通用语言、知识和推理能力，不必从零开始训练2微调数据使用结构化的领域样例调整模型参数或适配器3专业模型输出更符合医疗、法律等特定领域的术语、格式和任务要求10.2教材图解1510.2场景应用用同一问题比较不同提示词对回答结构和准确性的影响。本页案例：用同一问题比较不同提示词对回答结构和准确性的影响1Token模型处理文本的基本离散单位2参数训练过程中学习到的权重与模式3预训练与微调先学习通用能力，再适配任务或领域4涌现与幻觉能力随规模出现，同时可能生成不可靠内容案例说明：用同一问题比较不同提示词对回答结构和准确性的影响10.2大模型的基础概念16课堂检验大模型语言流畅时，为什么仍需要事实核验？Token（词元）模型处理文本的基本离散单位参数训练过程中学习到的权重与模式参考解答语言流畅只说明生成连贯，不代表事实正确；模型可能产生幻觉或使用过时知识结论：Token、参数、预训练、微调和提示共同决定模型如何学习与响应注意：Token=词元（人民网/s/vGD3P4B1ggU-4R_REqYASw?scene=1）10.2大模型的基础概念1710.3大模型的服务模式RAG能降低幻觉，为什么仍不能完全消除错误？模型即服务→提示词工程→检索增强生成→服务治理310.3大模型的服务模式1810.3核心结构模型服务、提示词工程和检索增强生成构成常见应用路径。先读中心结论，再看模型即服务与提示词工程大模型的服务模式四个知识点共同说明本节核心结论模型即服务通过API或平台调用通用模型能力提示词工程明确角色、任务、约束、上下文和输出格式检索增强生成先检索可信知识，再让模型结合证据生成服务治理控制权限、成本、数据、日志与输出风险10.3大模型的服务模式1910.3关键机制模型即服务与提示词工程：两者如何配合先理解模型即服务，再联系提示词工程模型即服务通过API或平台调用通用模型能力模型即服务提示先理解模型即服务：通过API或平台调用通用模型能力提示词工程明确角色、任务、约束、上下文和输出格式提示词工程提示提示词工程联系模型即服务：明确角色、任务、约束、上下文和输出格式10.3大模型的服务模式2010.3关键机制模型即服务与提示词工程：两者如何配合先理解模型即服务，再联系提示词工程检索增强生成先检索可信知识，再让模型结合证据生成检索增强生成提示先理解检索增强生成：先检索可信知识，再让模型结合证据生成服务治理控制权限、成本、数据、日志与输出风险服务治理提示服务治理联系检索增强生成：控制权限、成本、数据、日志与输出风险10.3大模型的服务模式21教材图解·10.3RAG：先检索证据，再让大模型组织答案图10-10RAG工作流程｜先读图，再把图中关系还原为机制教材原图图中怎么看1知识入库文档切分并向量化，形成可检索的向量数据库2问题检索把用户问题转为向量，召回语义最相关的知识片段3增强生成把检索证据作为上下文交给大模型，生成可追溯答案10.3教材图解2210.3场景应用为校园知识问答设计RAG流程并要求引用来源。本页案例：为校园知识问答设计RAG流程并要求引用来源1模型即服务通过API或平台调用通用模型能力2提示词工程明确角色、任务、约束、上下文和输出格式3检索增强生成先检索可信知识，再让模型结合证据生成4服务治理控制权限、成本、数据、日志与输出风险案例说明：为校园知识问答设计RAG流程并要求引用来源10.3大模型的服务模式23课堂检验RAG能降低幻觉，为什么仍不能完全消除错误？模型即服务通过API或平台调用通用模型能力提示词工程明确角色、任务、约束、上下文和输出格式参考解答RAG仍可能召回错误资料、遗漏关键文档，模型也可能误读或忽略检索内容结论：模型服务、提示词工程和检索增强生成构成常见应用路径10.3大模型的服务模式2410.4大模型智能体智能体能调用外部工具后，为什么必须加强权限控制？从辅助到自主→核心架构→典型场景→风险控制410.4大模型智能体2510.4核心结构智能体在模型推理之外加入目标、记忆、工具和行动闭环。先读中心结论，再看从辅助到自主与核心架构大模型智能体四个知识点共同说明本节核心结论从辅助到自主由一次问答扩展为持续任务执行核心架构感知、规划、记忆、工具调用与反馈典型场景办公自动化、运维分析、教学辅助与客服风险控制权限最小化、人工确认、审计与失败回退10.4大模型智能体2610.4关键机制从辅助到自主与核心架构：两者如何配合先理解从辅助到自主，再联系核心架构从辅助到自主由一次问答扩展为持续任务执行从辅助到自主提示先理解从辅助到自主：由一次问答扩展为持续任务执行核心架构感知、规划、记忆、工具调用与反馈核心架构提示核心架构联系从辅助到自主：感知、规划、记忆、工具调用与反馈10.4大模型智能体27教材图解·10.4智能体架构：规划、记忆、工具与环境形成执行闭环图10-11智能体通用技术架构图｜先读图，再把图中关系还原为机制教材原图图中怎么看1规划把目标分解为步骤，并根据反馈调整后续行动2记忆保存当前上下文、历史经验和可长期复用的知识3工具与反馈调用API或脚本作用于环境，再依据结果继续推理10.4教材图解2810.4关键机制从辅助到自主与核心架构：两者如何配合先理解从辅助到自主，再联系核心架构典型场景办公自动化、运维分析、教学辅助与客服典型场景提示先理解典型场景：办公自动化、运维分析、教学辅助与客服风险控制权限最小化、人工确认、审计与失败回退风险控制提示风险控制联系典型场景：权限最小化、人工确认、审计与失败回退10.4大模型智能体2910.4场景应用设计一个能查询日志、分析告警并生成处置建议的运维智能体。本页案例：设计一个能查询日志、分析告警并生成处置建议的运维智能体1从辅助到自主由一次问答扩展为持续任务执行2核心架构感知、规划、记忆、工具调用与反馈3典型场景办公自动化、运维分析、教学辅助与客服4风险控制权限最小化、人工确认、审计与失败回退案例说明：设计一个能查询日志、分析告警并生成处置建议的运维智能体10.4大模型智能体30课堂检验智能体能调用外部工具后，为什么必须加强权限控制？从辅助到自主由一次问答扩展为持续任务执行核心架构感知、规划、记忆、工具调用与反馈参考解答工具调用会访问数据并执行真实操作，必须采用最小权限、审批、隔离和审计结论：智能体在模型推理之外加入目标、记忆、工具和行动闭环10.4大模型智能体3110.5主流大模型与产业生态选择模型时为什么不能只看参数规模或榜单排名？全球格局→国产化生态→算力底座→应用选型510.5主流大模型与产业生态3210.5核心结构大模型生态由基础模型、工具平台、行业应用和算力底座共同组成。先读中心结论，再看全球格局与国产化生态主流大模型与产业生态四个知识点共同说明本节核心结论全球格局通用模型、开源模型与垂直模型并行发展国产化生态模型、框架、数据和行业平台持续完善算力底座芯片、集群、网络和存储支撑训练推理应用选型综合能力、成本、隐私、生态和可控性10.5主流大模型与产业生态3310.5关键机制全球格局与国产化生态：两者如何配合先理解全球格局，再联系国产化生态全球格局通用模型、开源模型与垂直模型并行发展全球格局提示先理解全球格局：通用模型、开源模型与垂直模型并行发展国产化生态模型、框架、数据和行业平台持续完善国产化生态提示国产化生态联系全球格局：模型、框架、数据和行业平台持续完善10.5主流大模型与产业生态34教材图解·10.5AI产业生态：从算力底座到模型服务与行业应用图10-13AI产业链生态图｜先读图，再把图中关系还原为机制教材原图图中怎么看1基础设施层GPU/NPU、集群、网络与存储支撑训练和推理2框架与模型层开发框架承接硬件，模型服务向上提供通用能力3应用层聊天机器人、智能助手和AIOps把模型能力转化为业务价值10.5教材图解3510.5关键机制全球格局与国产化生态：两者如何配合先理解全球格局，再联系国产化生态算力底座芯片、集群、网络和存储支撑训练推理算力底座提示先理解算力底座：芯片、集群、网络和存储支撑训练推理应用选型综合能力、成本、隐私、生态和可控性应用选型提示应用选型联系算力底座：综合能力、成本、隐私、生态和可控性10.5主流大模型与产业生态3610.5场景应用为校内部署比较公有API、私有模型和混合方案。本页案例：为校内部署比较公有API、私有模型和混合方案1全球格局通用模型、开源模型与垂直模型并行发展2国产化生态模型、框架、数据和行业平台持续完善3算力底座芯片、集群、网络和存储支撑训练推理4应用选型综合能力、成本、隐私、生态和可控性案例说明：为校内部署比较公有API、私有模型和混合方案10.5主流大模型与产业生态37课堂检验选择模型时为什么不能只看参数规模或榜单排名？全球格局通用模型、开源模型与垂直模型并行发展国产化生态模型、框架、数据和行业平台持续完善参考解答应综合任务效果、成本、时延、隐私、部署条件和生态支持，而不能只看规模或排名结论：大模型生态由基础模型、工具平台、行业应用和算力底座共同组成10.5主流大模型与产业生态38大模型训练路径预训练获得通用能力，微调与提示让模型适配具体任务数据、算法、算力和评测共同决定效果1预训练在大规模数据上学习语言与知识模式2微调用任务或领域数据调整行为3对齐与评测约束安全、质量与可用性4应用提示提供角色、任务、上下文与格式10.1—10.3大模型基础39RAGRAG先检索可信资料，再让模型基于证据生成并引用来源检索质量、切分、排序和生成约束共同影响答案1知识入库清洗、切分、向量化与索引2问题检索召回相关片段并重排3证据生成模型结合上下文组织答案4校验引用检查事实、权限与来源10.3大模型服务模式