生成人工基础应用-9

第2章大语言模型及其框架生成式人工智能基础与应用（AIGC+创新思维）AIGC+创新思维目录本章整体结构02本章重点难点03本章学习建议04本章学习目标01AIGC+创新思维生成式人工智能基础与应用01本章学习目标生成式人工智能基础与应用（AIGC+创新思维）理解大语言模型的基本概念、特征及其发展历程1掌握提示工程的核心原理与实践方法2了解检索增强生成（Retrieval-AugmentedGeneration，RAG）技术的工作机制3认识智能体技术在大语言模型应用中的作用4掌握微调在垂直领域应用中的关键要点5本章学习目标02本章整体结构生成式人工智能基础与应用（AIGC+创新思维）本章整体结构03本章重点难点生成式人工智能基础与应用（AIGC+创新思维）重点难点大语言模型（LLM）核心技术框架提示工程检索增强生成智能体技术微调技术提示工程落地RAG与智能体实践微调方法选择本章重点难点04生成式人工智能基础与应用（AIGC+创新思维）本章学习建议紧扣教材大量“小试牛刀”“思考讨论”“实践任务”设计1多结合真实案例理解概念2多参与“小试牛刀”类活动（如设计提示词、做简单分析）3可尝试小组合作完成综合实践任务4不只看结果，更重视分析过程的逻辑性本章学习建议感谢观看大语言模型是一种深刻改变人机交互的技术希望你通过本章，全面理解这一改变世界的技术创新生成式人工智能基础与应用（AIGC+创新思维）第2章大语言模型及其框架2.1大语言模型的概念与发展AIGC+创新思维目录大语言模型的发展历程02大语言模型的定义与核心特征01AIGC+创新思维生成式人工智能基础与应用01大语言模型的定义与核心特征生成式人工智能基础与应用（AIGC+创新思维）大语言模型的定义与核心特征

大语言模型是一类包含超大规模参数的神经网络模型，它通过对海量文本数据的学习，获得了强大的自然语言理解与生成能力。

从本质上来说，大语言模型试图模拟人类的语言认知机制，通过复杂的计算架构来实现类人的语言交互能力。定义1显著特征

这类模型最显著的特征在于其“规模效应”。当模型的参数规模达到一定程度时，会自然而然地产生一些令人惊叹的能力，如上下文理解、逻辑推理、知识迁移等。

这种现象在人工智能领域被称为“涌现能力”，它标志着模型不再局限于简单的模式识别，而是逐渐具备了某种程度的“理解”能力。

202大语言模型的发展历程生成式人工智能基础与应用（AIGC+创新思维）规则驱动的早期探索阶段（20世纪50年代—21世纪初）

1950年

约瑟夫·魏岑鲍姆开发的ELIZA系统是早期人机对话系统的重要尝试。它主要依靠简单的模式匹配和预设规则来模拟心理治疗师与患者的对话，缺乏真正的语言理解能力，但它首次展示了计算机与人类进行自然语言交互的可能性。20世纪60年代图灵测试

阿兰·图灵提出了著名的“图灵测试”，这一测试通过评估机器与人类的对话能力来判断机器是否具备智能，为后续语言处理系统的发展提供了重要的评估标准。N-gram模型通过分析词序列的统计规律来预测下一个可能出现的词，为语言建模提供了全新思路。同期，IBM公司在统计机器翻译项目中的研究成果，展示了统计方法在复杂语言任务中的应用潜力。

20世纪90年代ELIZA系统统计方法兴起神经网络复兴与深度学习崛起（2006年—2013年）

2006年

递归神经网络（RNN）的应用使得模型能够有效处理序列数据。RNN的创新之处在于其能够维护内部状态，使得网络可以“记住”之前处理过的信息，这一特性使其特别适合处理文本等序列数据。深度神经网络突破

杰弗里·辛顿及其研究团队重新提出深度神经网络方法，通过深度学习预训练技术解决了深层网络训练困难的问题，这一突破为自然语言处理领域带来了变革。

长短期记忆（LSTM）网络的改进为这一问题提供了解决方案。LSTM网络通过引入门控机制，使得模型能够选择性地存储和遗忘信息，有效解决了长期依赖问题。这使其在机器翻译、语音识别等需要长期记忆的任务中表现突出。

2013年RNN在序列处理中的应用LSTM网络的改进预训练语言模型的突破（2013年—2018年）

2013年

斯坦福大学年提出的GloVe模型，该模型结合全局词频统计与局部上下文预测，进一步完善了词嵌入技术，在保留语义关系的同时兼顾词语的使用频率，为大语言模型奠定了重要基础。2014年Word2Vec模型

托马斯·米科洛夫领导的研究团队提出了Word2Vec模型，其的创新之处在于它能够捕捉词语之间的语义关系，使得计算机首次能够以某种程度“理解”词语的含义。Google团队提出的Transformer架构，凭借自注意力机制直接计算序列中任意位置词语之间的关联强度，从根本上克服了RNN在并行计算与长距离依赖处理上的局限，为后续大语言模型的发展开辟了新道路。2017年GloVe模型Transformer架构

大语言模型的蓬勃发展期（2018年至今）

2018年2020年2022—2023年2024年BERT与GPT-1Google提出的BERT模型通过双向编码架构，以预测遮掩词语和判断句子关系的方式实现深层双向语言表示。而OpenAI推出的GPT-1则采用单向语言模型预训练，通过预测下一个词的任务确立“预训练—微调”范式。GPT-3

拥有1750亿参数的GPT-3凭借涌现能力，仅通过少量示例即可完成复杂任务，无需针对特定任务微调，显示了大语言模型向通用人工智能迈进的潜力。ChatGPT与GPT-42022年末，ChatGPT引入基于人类反馈的强化学习方法，显著提升了输出的质量、安全性与对话实用性。2023年，GPT-4进一步扩展多模态处理能力，同时能理解文本与处理图像输入。多模态突破GPT-4Turbo在推理能力、多语言处理及多模态输入输出方面持续深化，而Sora视频生成模型则实现了根据文本描述生成高质量视频，并支持图像转视频与视频编辑，在多模态生成领域取得重要突破。感谢观看梳理进化脉络，洞悉涌现本质希望你通过本节，建立更系统、更深刻的技术认知生成式人工智能基础与应用（AIGC+创新思维）第2章大语言模型及其框架2.2提示工程AIGC+创新思维目录提示词设计的原则与方法02提示工程的概念与特点01AIGC+创新思维生成式人工智能基础与应用提示工程的应用实践0301提示工程的概念与特点生成式人工智能基础与应用（AIGC+创新思维）定义提示工程是一门

融合语言理解、任务分析、创意构思的技术学科。也一种人与AI进行高效、精准沟通的方法论核心目标其核心目标是通过优化输入AI系统的文本提示，引导AI生成符合人类需求的内容。特

点语义精确性提示词的结构化思维良好的场景适应性

提示工程的概念与特点

02提示词设计的原则与方法生成式人工智能基础与应用（AIGC+创新思维）提示词设计的原则与方法科学的提示词设计需要基于CO-STAR框架。这一框架源自新加坡首届GPT-4提示工程大赛冠军张席拉的实践经验，它包含6个要素。CO-STAR框架

背景（Context）背景是提示词的基础，需要为AI提供充分的背景信息，包括行业趋势、项目情况和相关背景等。这些信息能帮助AI更好地理解任务环境，提供更有针对性的输出。

目标（Objective）目标需要明确指出任务的具体目的和期望效果。清晰的目标导向能够帮助AI更准确地完成任务，避免偏离预期方向。同时要考虑次要目标和优化空间，为AI预留适当的创造空间。风格（Style）语气（Tone）风格和语气的选择需要根据内容性质和使用场景做出判断。专业文档可能需要严谨的表达方式，而社交媒体内容则可能更适合活泼的语言风格。不同场合的情感基调也需要细致把握。

受众（Audience）受众分析要求我们深入了解目标群体的特征，以及兴趣偏好和需求诉求。这决定了内容的专业度和表达方式。

回应形式（Response）回应形式则需要明确指定输出的具体格式要求，包括文本组织方式、是否需要多媒体元素等，并建立清晰的质量标准。

03提示工程的应用实践生成式人工智能基础与应用（AIGC+创新思维）应用实践：教育培训领域个性化教学设计课程规划“作为一位经验丰富的教育专家，请为初中数学‘二次函数’单元设计为期两周的教学方案。要求包含：教学目标、重难点分析等。特别注重知识点的递进关系和学生已有知识基础。”练习题生成“基于高中物理‘力学’内容，设计一套包含基础、提高、挑战3个层次的练习题。每个层次5道题，并提供详细解析。基础题注重概念理解，提高题融入生活实例，挑战题需要综合多个知识点。”学习评估与反馈试卷分析“请分析这份数学试卷中学生的答题情况，指出常见错误和可能的知识盲点，并给出有针对性的补救建议。”学习诊断“基于学生近3次测验成绩和课堂表现，分析其学习特点，找出优势和不足，制订个性化的提升计划。”应用实践：医疗健康领域健康教育与宣传

科普文章“请用通俗易懂的语言解释‘高血压的日常预防’，面向40～60岁的中老年读者，重点说明饮食建议和运动注意事项。需要避免专业术语，多用生活化比喻。”患者指导“为一位新确诊的糖尿病患者制作生活指导手册，内容包括：饮食控制、运动建议、用药提醒和定期检查事项。语气要温和关怀，增强患者信心。”医疗记录处理

病历总结病历总结：“整理分析这份为期3个月的糖尿病患者随访记录，生成一份简明的病情进展报告，突出关键指标的变化趋势。”健康建议“基于这份体检报告，生成个性化的健康建议书，包括异常指标分析、生活方式改善建议和后续检查计划。”应用实践：商业营销领域社交媒体营销小红书笔记“作为美妆领域的资深博主，为这款新发布的精华液写一篇测评笔记。要求：标题吸引力强，内容真实客观，适当使用平台流行语，配合表情符号增强互动感。重点描述使用体验和效果对比。”抖音脚本“为一家新开的咖啡店设计15秒短视频文案，突出店铺特色和产品亮点。要求节奏轻快，画面感强，配合背景音乐建议。”品牌内容创作产品故事“以讲故事的方式介绍这款手工皮具的制作工艺，突出匠人精神和产品价值，激发消费者的情感共鸣。”节日营销“设计一套春节营销文案，包括朋友圈推文、促销海报文案和用户互动话题。融入传统节日元素，体现品牌调性。”应用实践：技术开发领域代码开发辅助功能实现“使用Python实现一个文件批量重命名工具，要求：支持正则匹配、批量操作、错误处理。请提供代码框架和关键函数实现。”代码重构“分析这段遗留代码，指出可能的性能瓶颈和维护隐患，提供重构建议，重点考虑代码复用性和可维护性。”技术文档编写

API文档“为这个支付接口编写技术文档，包含接口说明、参数定义、调用示例、错误码说明。文风专业简洁，重点突出安全性考虑。”部署指南“编写一份微服务架构的部署文档，面向初级运维工程师，包含环境配置、部署步骤、常见问题和故障排除指南。”

应用实践：生活服务领域旅行攻略设计一份为期一周的京都旅行规划，包含行程安排、景点推荐、美食地图和交通建议。特别注意季节特色和当地文化体验。”家居整理“设计一份家居收纳指南，针对小户型住宅，提供具体的空间优化和收纳方案，配合实用小技巧。”时间管理“设计一套适合上班族的时间管理方案，包含每日计划模板、工作效率提升技巧和压力调节建议。”职业规划“为一位想转行产品经理的程序员制订职业转型计划，包含技能培养路径、学习资源推荐和阶段性目标设定。”生活指南个人提升感谢观看掌握提示工程，开启协作新元希望你通过本节，建立更系统、更前沿的AI协作认知生成式人工智能基础与应用（AIGC+创新思维）第2章大语言模型及其框架2.3检索增强生成AIGC+创新思维目录RAG的系统架构与技术实现02RAG的概念与本质01AIGC+创新思维生成式人工智能基础与应用RAG在不同场景中的应用价值0301RAG的概念与本质生成式人工智能基础与应用（AIGC+创新思维）诞生背景从字面来看，RAG由检索（Retrieval）、增强（Augmentation）、生成（Generation）三部分组成，是将外部知识检索与大语言模型生成相结合的技术架构。核心是为了解决大语言模型的两大根本性局限，让AI的回答更符合实际需求。核心问题大语言模型的核心问题主要有两个，一是知识截断，模型的训练数据有时间截止点，无法获取最新信息，会导致回答过时；二是模型“幻觉”，模型可能生成看似合理但实际错误的内容，还表现得十分自信，让人难以辨别真伪。工作机制RAG系统首先会从预先构建的知识库中检索与用户查询相关的信息。基于深度语义的向量检索，能够捕获查询与文档之间的语义关联。检索到的相关信息随后会作为额外的上下文输入大语言模型，帮助模型生成更加准确、可靠的回答。现象分析——创新性问题解决的首要阶段找准创新起点，把握问题本质RAG的内涵12302RAG的系统架构与技术实现生成式人工智能基础与应用（AIGC+创新思维）知识准备模块语义检索模块智能生成模块010203RAG的系统架构与技术实现处理清洗知识并构建向量知识库融合检索信息生成自然连贯的回答基于用户查询检索匹配相关知识片段03RAG在不同场景中的应用价值生成式人工智能基础与应用（AIGC+创新思维）RAG凭借其强大的知识增强能力，在多个领域展现出显著的应用价值。下面将详细探讨其在不同场景中的具体应用。实战训练企业知识管理（1）技术支持：基于产品手册、故障案例和解决方案文档，为管理人员提供精准的答案建议（2）内部培训：整合企业内部的各类文档、培训材料和最佳实践，帮助新员工快速掌握工作所需的知识技能。（3）决策支持：结合市场分析报告、竞品信息和行业动态，为管理层提供数据支持的决策建议。专业服务领域（1）医疗健康：结合医学文献与临床指南，辅助诊疗决策。（2）法律服务：基于法律法规与案例，提供专业咨询建议。（3）金融服务：整合市场数据与研究报告，支持投资决策。RAG在不同场景中的应用价值

教育培训（1）个性化学习：根据教材与进度生成定制化练习内容。（2）智能答疑：基于教材与解析，提供可靠的解答。（3）教学辅助：为教师设计课程内容与教学策略提供支持。

RAG的优势RAG的优势在于提供准确答案，同时确保其可追溯性与时效性通过实时更新知识库与语言生成能力结合，为AI可靠性与实用性提供保障随着向量检索与大模型能力提升，RAG将在更多领域发挥作用，推动AI应用发展感谢观看找准创新起点，把握问题本质希望你通过本节，具备更清晰、更直观的分析认知生成式人工智能基础与应用（AIGC+创新思维）第2章大语言模型及其框架2.4智能体技术AIGC+创新思维目录基于大语言模型的智能体设计方法02智能体的概念与特性01AIGC+创新思维生成式人工智能基础与应用智能体的开发工具与实践03智能体在任务自动化领域的应用0401智能体的概念与特性生成式人工智能基础与应用（AIGC+创新思维）核心概念智能体代表了人工智能领域的一个重要发展方向，它是一种能够自主感知环境、制定决策并采取行动以实现特定目标的AI系统。核心特征智能体具备六大能力：自主完成复杂任务，多模态感知环境，自主决策并动态调整，通过接口执行操作，从经验中学习优化，可与环境、智能体及人类交互。重要价值相比于单纯的大语言模型，智能体表现出更强的目标导向性和问题解决能力。它不仅能理解和分析问题，还能主动采取行动，持续优化解决方案，直至达成预定目标。现象分析——创新性问题解决的首要阶段找准创新起点，把握问题本质智能体的概念与特性12302基于大语言模型的智能体设计方法生成式人工智能基础与应用（AIGC+创新思维）智能体大语言模型智能体的“大脑”，负责理解指令、生成计划、支持推理，以GPT系列、BERT、T5等为代表，依托自回归、注意力机制与Transformer架构实现强大的理解与生成能力规划模块负责将复杂任务分解为可执行子任务，支持动态调整，常用子任务分解、思维链（CoT）、思维树（ToT）技术，通过提示工程引导智能体系统应对复杂场景智能体的四大核心模块架构记忆模块支持短期记忆与长期记忆：短期记忆存储当前任务上下文，通过滑动窗口实现；长期记忆存储跨任务知识，依托向量数据库与RAG技术实现信息检索复用工具使用模块通过函数调用（FunctionCalling）调用外部资源，包括搜索引擎、计算器、代码执行器、数据库查询、API调用等，大幅扩展智能体解决实际问题的能力边界03智能体的开发工具与实践生成式人工智能基础与应用（AIGC+创新思维）扣子空间为抖音推出的低门槛AI智能体开发平台，适配AI应用开发个人与团队，提供超60款覆盖多领域场景插件，支持多格式知识库与本地/在线资源集成，兼具长期记忆、定时任务及可视化工作流设计等特色功能扣子空间FastGPT是专注知识库训练与自动化工作流编排的平台，提供可视化界面，支持多格式文档导入、多库复用、混合检索重排，以及数据预处理、流程编排与API集成，可快速搭建知识库问答系统，适配高自动化与API集成需求项目。FastGPTDify是开源的大语言模型应用开发平台，融合BaaS与LLMOps理念，支持强大工作流、全模型兼容、PromptIDE、RAGPipeline及智能体能力，适配需要灵活定制工作流、模型对比与智能体功能的项目。DifyRagFlow是基于深度文档理解构建的开源RAG引擎，具备深度文档理解、灵活分段处理、多格式兼容、全自动化流程与智能体支持优势，适配复杂文档处理与高定制化RAG工作流需求的项目。RagFlow04智能体在任务自动化领域的应用生成式人工智能基础与应用（AIGC+创新思维）核心定位：智能体技术在任务自动化领域展现出广阔应用前景，覆盖个人、企业与社会多个层面。智能体在任务自动化领域的应用主要应用场景：创意设计/产品开发：作为创意助手，提供灵感与优化方案软件开发：设计测试用例、执行测试并生成Bug报告，提升效率教育领域：定制个性化学习计划与内容企业服务：智能客服，精准响应客户需求研究领域：文献分析、生成综述、提出研究方向金融领域：市场监控与投资决策支持医疗领域：整合病历与研究，辅助诊疗方案制定城市管理：数据分析优化交通，预判并解决城市问题个人生活：日程管理、个性化建议与决策辅助感谢观看找准创新起点，把握问题本质希望你通过本节，具备更清晰、更直观的分析认知生成式人工智能基础与应用（AIGC+创新思维）第2章大语言模型及其框架2.5微调AIGC+创新思维目录微调的主要方法与技术特点02微调的概念与优势01AIGC+创新思维生成式人工智能基础与应用微调的实施流程与最佳实践03微调的应用前景与发展趋势0401微调的概念与优势生成式人工智能基础与应用（AIGC+创新思维）微调的概念微调在特定领域数据集上对预训练模型进行额外训练，使预训练大语言模型适应特定任务或领域的技术方法。核心理念"预训练+微调"范式预训练模型微调过程专业模型微调流程示意1大规模预训练2领域数据收集3微调训练4领域专用模型微调的优势节省训练时间利用预训练模型已学习到的通用语言知识，无需从零开始训练大幅减少计算资源消耗数据需求小所需数据量显著减少，特别适合垂直领域的专业应用场景降低数据收集成本保持通用能力在适配特定任务的同时，保留模型的通用理解能力避免过度专业化02微调的主要方法与技术特点生成式人工智能基础与应用（AIGC+创新思维）全参数微调方法概述全参数微调是指在微调过程中更新模型的所有参数，让模型完全适应特定任务的需求。优势效果最佳，模型完全适配任务能够充分利用领域数据特征模型表达能力不受限制挑战与局限计算成本高灾难性遗忘存储需求大适用场景大规模领域数据可用计算资源充足对模型性能要求极高参数高效微调1Prompt-tuning优化输入提示，不修改模型参数，通过学习最优的提示模板来引导模型输出参数更新：仅提示词计算成本：极低适用：简单任务2Prefix-tuning在输入前添加可学习前缀，只训练前缀参数，保持原模型参数冻结参数更新：前缀向量计算成