人工智能概论 课件 第3章 AI 大模型：开启智能新纪元

AI大模型：开启智能新纪元汇报人：PROPOSALREPORT汇报时间：初识大模型Transformer揭秘目录CONTENTS0102成长之路03百模大战04提示词工程0506AI智能体初识大模型01大模型：AI世界的操作系统人工智能（AI）是计算机科学的一个分支，大模型则是AI领域的强大‘操作系统’，而AIGC应用则是运行在这个操作系统上的各种‘软件’。大模型作为基础模型，能够支撑起庞大的应用生态，为各种AI应用提供通用的智能支持。AI、大模型与AIGC的关系大模型：AI世界的操作系统基础模型通过一次训练，可以适用于多种下游任务。开发者无需为每个任务从零开始训练模型，而是可以通过微调或提示工程等方式，快速将基础模型的能力适配到具体任务上，如法律咨询、医疗问答等，极大地提高了开发效率。基础模型的通用性大模型的四大超能力大模型拥有海量的参数，从数亿到数千亿甚至万亿级别，这使得它们能够存储和消化复杂的模式和知识，就像人脑一样具备强大的‘智力上限’，能够处理和理解各种复杂的任务。巨大的模型规模大模型的训练需要处理TB甚至PB级别的数据，这些数据涵盖了互联网上绝大部分公开的文本和代码。通过学习这些数据，大模型构建了对世界的广泛认知，成为了一位‘博览群书的智者’，能够理解各种语言和知识。海量的训练数据当模型规模和数据量达到一定临界点时，大模型会涌现出一些在小模型上不存在的新能力，如上下文学习、逻辑推理等。这种涌现能力是‘量变引起质变’的典型体现，使模型能够更好地理解和生成自然语言。强大的涌现能力010203算法、算力和数据是推动大模型发展的三大核心要素。算法的创新，如Transformer架构的出现，为大模型提供了强大的并行处理能力；算力的提升，特别是GPU的发展，使得大规模模型的训练成为可能；数据的爆炸式增长则为模型提供了丰富的学习材料。三者协同发展，共同催生了大模型时代。三要素协同推动大模型发展01算法算力数据三推手Transformer揭秘02自注意力机制的灵魂自注意力机制类似于在鸡尾酒会上理解一句话时，人们会动态地将注意力分配给句子中的不同词。这种机制让模型在处理每个词时，都能‘看到’句子中的所有其他词，并计算它们之间的关联度，从而生成富含上下文信息的表示。自注意力机制的类比自注意力机制包括三个步骤：生成查询向量（Query）、键向量（Key）和值向量（Value）；计算注意力权重，通过点积运算和Softmax函数得到每个词的权重；加权求和得到最终的输出向量，这个向量包含了全局上下文信息。自注意力机制的三步流程自注意力机制突破了传统序列模型的长程依赖问题，允许模型并行处理文本序列，极大地提高了模型的效率和性能。它为大模型处理长文本和复杂语言结构提供了强大的支持。自注意力机制的意义自注意力机制的灵魂多头注意力与整体结构多头注意力机制让模型能够从多个角度同时关注句子中的不同部分，每个注意力头独立学习和计算，最后将所有头的输出拼接融合。这种机制使模型能够更全面、立体地理解语言，捕捉到语法、语义和空间等多种关系。多头注意力的作用Transformer模型由多个模块堆叠而成，每个模块包含一个多头自注意力层和一个前馈神经网络层。这种结构不仅能够高效处理长序列，还能构建深层次的特征表示，为大模型的实现提供了强大的架构支持。Transformer的整体结构成长之路03预训练：通识教育阶段预训练：通识教育阶段预训练的目标是让模型通过自监督学习掌握语言的内在规律和世界常识，成为知识渊博的‘通才’。模型在海量的无标注文本数据上进行训练，学习语言的语法、语义和逻辑结构。预训练的目标常见的自监督学习方式包括掩码语言模型（MLM）和因果语言模型（CLM）。MLM通过预测被遮盖的词来学习上下文，而CLM则通过预测下一个词来学习连贯的叙事和逻辑。这两种方式都迫使模型深入理解语言。自监督学习的两种方式微调：专业深造路径微调的定义微调是在预训练模型的基础上，针对特定任务进行的进一步训练。通过在小规模的标注数据上进行训练，模型能够快速适应具体的任务需求，如文本分类、情感分析等。微调的策略微调策略包括全参数微调、提示学习和参数高效微调。全参数微调更新模型的所有参数，提示学习通过设计自然语言指令引导模型完成任务，而参数高效微调则只训练一小部分参数。微调的意义微调使大模型能够快速成为特定领域的‘专家’，大大降低了AI应用的开发成本和时间。它让模型能够更好地适应各种实际应用场景，提高模型的实用性和性能。010203百模大战04大模型分类维度大模型可以根据是否开源分为闭源模型和开源模型。闭源模型通常由商业公司提供，通过API接口调用；开源模型则允许开发者自由部署、修改和微调，具有更高的灵活性。按开放源代码状态分类从技术特性来看，大模型可以分为大型语言模型（LLM）和多模态大模型。LLM专注于处理文本数据，而多模态大模型能够同时处理文本、图像、音频等多种数据类型。按技术特性分类模型参数规模是衡量模型容量的重要指标。大模型通常分为中小规模模型和旗舰级规模模型，中小规模模型适合特定领域任务，而旗舰级模型则具备更强的通用能力。按模型参数规模分类大模型还可以根据核心架构分为解码器架构、编码器架构、编码器-解码器架构和混合专家模型（MoE）。不同的架构适用于不同的任务和应用场景。按核心模型架构分类华为盘古大模型以其实用性和工业应用为特色，致力于为多个行业提供解决方案。它在气象预测、药物研发等领域展现了强大的能力，为行业发展提供了有力支持。华为盘古大模型百度文心大模型以知识增强为核心特色，通过融合大规模知识图谱，提升了模型在理解复杂概念和生成知识性内容方面的能力。它在学术研究和知识传播方面具有显著优势。百度文心大模型国产明星模型巡礼MoE架构降本增效混合专家（MoE）架构通过稀疏激活机制，在保持模型性能的同时显著降低了计算成本。它允许模型在处理特定任务时只激活相关的专家网络，从而提高了资源利用效率，使得构建更大规模的模型成为可能。MoE架构的优势提示词工程05提示词即指挥棒提示词是用户与大模型交互的关键，它决定了模型输出的质量。一个好的提示词能够将模型的潜力转化为高质量的输出，而模糊的提示词则可能导致不准确或不相关的结果。提示词的重要性例如，模糊的提示词‘帮我写一篇关于人工智能的论文’可能得到泛泛而谈的结果；而精确的提示词则能生成结构完整、内容聚焦的论文初稿，为后续创作提供坚实基础。提示词的示例对比提供充足的背景信息，帮助模型理解任务的背景和需求。模型没有个人记忆，因此需要明确告知它完成任务所需的一切背景信息。Context（上下文）C.R.A.F.T.高效框架为AI设定一个专家身份，这将影响其输出的口吻、风格和知识深度。明确角色可以让模型更好地适应特定的场景和需求。Role（角色）清晰、具体地告诉模型‘做什么’。这是提示词的核心部分，需要明确表达任务的具体要求，避免模糊不清的表述。Action（指令）明确你希望得到的输出格式，如表格、列表、代码块等。这有助于模型按照你的期望生成结构化的输出。Format（格式）动手优化提示词尝试用C.R.A.F.T.框架和设计原则重写提示词，对比优化前后的输出结果。通过实践，可以发现哪些要素的改变能够显著提升输出质量。优化提示词的实践AI智能体06从工具到员工AI智能体是能够感知世界并采取行动的AI系统。它由认知核心、工具使用和记忆模块构成，能够主动规划、执行任务，而不仅仅是一个被动的计算工具。AI智能体的定义AI智能体具有主动性、适应性和目标导向性。它能够根据环境的变化动态调整策略，并始终朝着预设的目标前进，展现出高度的自主性和智能。AI智能体的特点AI智能体可以应用于多个领域，如个人生活助手、办公自动化、科学研究等。它能够帮助人们更高效地完成各种任务，释放人类的创造力和生产力。AI智能体的应用ReAct思考行动循环ReAct框架让AI智能体在每一步都显式地生成‘思考’和‘行动’两个部分。通过这种‘思考-行动-观察’的循环，智能体能够有条不紊地分解并解决复杂问题，决策过程变得透明和可控。ReAct框架的原理LangChain框架简化了AI智能体的开发过程，让开发者能够方便地将语言模型和外部工具连接起来。通过这种框架，可以快速构建出能够自主调用工具完成任务的智能体。LangChain框架的优势LangChain快速搭建AIAgent的应用与未来AI智能体可以成为你的全能生活管家，帮你规划旅行、预订机票和酒店、安排日程等。只需简单几句指令，它就能自动完成复杂的任务，让你的生活更加便捷。AI智能体作为生活管家办公秘书效率革命在办公场景中，AI智能体可以自动整理邮箱、草拟邮件、提取会议纪要等。它能够帮助你从繁琐的事务中解脱出来，专注于更有价值的工作，提高工作效率。AI智能体作为办公秘书AI程序员与网管AI智能体可以作为程序员的助手，根据需求文档自动生成代码框架、编写核心代码、进行单元测试并修复错误。它能够大大提高编程效率，帮助程序员更快地实现功能。AI智能体作为程序员AI智能体还可以作为智能网管，实时监控服务器状态，自动诊断和解决问题。它能够在问题发生时迅速采取措施，确保系统的稳定运行。AI智能体作为网管科研学霸加速探索AI智能体可以成为科学家的智能研究助理，快速检索和分析大量文献，提炼关键信息，生成研究报告。它能够帮助科学家节省时间，加速科研进程。AI智能体在科研中的应用高级导购与客服在电子商务领域，AI智能体可以作为高级导购员和超级客服，根据用户需求提供个性化的购物建议和解决方案。它能够提升购物体验，增强用户满意度。AI智能体在电商中的应用Manus通用智能体Man