第6章 大语言模型与生成式人工智能

第6章大语言模型与生成式人工智能本章学习路径1大语言模型、生成式人工智能与人工智能大语言模型（LargeLanguageModel，LLM）与人工智能是什么关系？人工智能包含了机器学习，机器学习包含了深度学习。深度学习可以采用不同的模型，其中一种模型是预训练模型。预训练模型包含了预训练大模型（通常简称为“大模型”）。预训练大模型包含了预训练大语言模型（可以简称为“大语言模型”）。预训练大语言模型的典型代表包括OpenAI的GPT、百度的文心ERNIE（厄尼）、科大讯飞的星火（iFlytekSpark）、阿里巴巴的通义（Tongyi）、腾讯的混元（Hunyuan）等等，对应的大模型产品分别是ChatGPT、文心一言、讯飞星火、通义千问、腾讯元宝等。1大语言模型、生成式人工智能与人工智能大语言模型（LargeLanguageModel，LLM）与人工智能是什么关生成式人工智能（GenerativeAI，GAI）与人工智能是什么关系？生成式人工智能是能够自主生成新内容（如文本、图像、音频、视频、代码等）的人工智能技术。其核心目标是模仿人类创造力，根据输入条件或提示（prompt）生成符合逻辑、连贯且有意义的内容。生成式人工智能是人工智能的核心分支之一，与其他AI技术形成互补：传统人工智能以“识别”为主；生成式人工智能以“创造”为主。生成式人工智能扩展了人工智能的能力边界，使其从“理解世界”走向“创造世界”。生成式人工智能是人工智能迈向“创造力”的关键一步，它不仅是人工智能技术的延伸，更是人类与机器协作模式的革命。大语言模型与生成式人工智能是什么关系？生成式人工智能包含所有“生成新内容”的技术，而大语言模型特指以文本生成为核心的模型。大语言模型既是生成式人工智能的核心支柱之一，也是当前技术突破和商业落地的焦点领域。2大语言模型2.1大语言模型的概念（1）什么是大模型？什么是大语言模型？“大”的含义：模型的参数规模巨大、模型训练数据量庞大、模型算力需求超大。“语言”的范畴：大模型支持多种自然语言（如中、英、代码等），理解语法、语境、甚至隐含意图。“模型”的本质：一个复杂的数学函数，通过概率预测下一个词元（Token），逐步生成连贯文本。2大语言模型2.1大语言模型的概念（2）有哪些代表性大模型？通用领域大模型自然语言处理：GPT系列、PaLM、DeepSeek、文心一言、通义千问计算机视觉：StableDiffusion、DALL-E3、ViT多模态大模型：GPT-4、Sora、Gemini垂直行业大模型医疗健康：BioGPT、讯飞医疗大模型、AlphaFold金融：BloombergGPT、蚂蚁集团FinGPT教育：科大讯飞AI学习机、可汗学院Khanmigo法律：LawGPT、ROSSIntelligence工业与制造：西门子IndustrialCopilot、TeslaBot2大语言模型2.1大语言模型的概念（3）大语言模型有哪些典型能力？对话交互：开放域对话、任务导向对话、情感支持。文本生成与创作：自由写作、内容续写、风格模仿。多任务处理与泛化：零样本学习（Zero-ShotLearning）、少样本学习、多任务切换。复杂推理与逻辑分析：数学计算、因果推理、代码生成与调试。知识问答与信息检索：事实性回答、开放知识推理、文献摘要。多语言与跨文化处理：多语言翻译、文化适配。垂直领域专业化：法律辅助、医疗咨询、教育辅导。内容审核与伦理约束：敏感信息过滤、价值观对齐。多模态扩展（结合其他模型）：图文关联、音视频理解。2大语言模型2.1大语言模型的概念（4）大语言模型有哪些关键特征？丰富的世界知识储备强大的通用任务解决能力复杂任务推理能力人类指令遵循能力人类对齐能力可拓展的工具使用能力2大语言模型2.2大语言模型的关键技术（1）大语言模型涉及哪些关键技术？大语言模型的核心技术涉及多个层面，包括基础架构（如Transformer架构）、算法（如预训练技术、微调技术）、数据处理（如语料收集和清洗）、计算资源（如分布式训练和高性能计算）以及模型优化（如量化和蒸馏技术）。2大语言模型2.2大语言模型的关键技术（2）大语言模型涉及的关键技术具体功能与作用是什么？基础架构：Transformer构筑模型骨架。Transformer由编码器（Encoder）和解码器（Decoder）组成，其核心优势在于自注意力机制（Self-Attention）。预训练技术：海量数据积累知识。预训练是大语言模型成长的关键阶段。模型在海量的文本数据上进行无监督学习，通过预测下一个词或填充掩码词等任务，学习语言的语法、语义和知识模式。数据处理与清洗：保障数据质量。优质的数据是大语言模型成功的关键因素之一。在数据收集过程中，需要对数据进行处理和清洗，去除无关字符、纠正错误内容、平衡数据分布等。2大语言模型2.2大语言模型的关键技术（2）大语言模型涉及的关键技术具体功能与作用是什么？计算资源与分布式训练：加速模型训练。大语言模型的训练需要庞大的计算资源。随着模型规模的不断扩大，传统的单机训练方式已经难以满足需求。分布式训练技术应运而生，它将模型和数据分割成多个部分，分配到多个计算节点（如GPU或TPU）上并行训练。模型优化与压缩：提升性能与效率。模型剪枝技术可以去除模型中不重要的参数，减少模型的大小和计算量，同时保持模型的性能基本不变。知识蒸馏技术通过将大型模型的知识传递给小型模型，使小型模型能够在保持较小体积的同时，获得接近大型模型的性能。2大语言模型2.3大语言模型的应用与发展（1）大语言模型有哪些典型应用？教育领域：个性化学习的智能引擎美国可汗学院推出的Khanmigo系统，基于GPT-4构建了个性化教学框架；语言学习方面，多邻国（Duolingo）的Max订阅服务利用大模型生成情境对话；大模型正在改变教育公平的版图：南非的NelsonMandela大学开发了基于LLM的本地语言教学系统，用祖鲁语、科萨语等11种本土语言提供STEM课程，解决了传统教育体系中少数语种资源匮乏的问题。医疗健康：精准诊疗的认知增强器梅奥诊所与谷歌合作开发的Med-PaLM2系统，在美国医师执照考试中达到专家级水平，其诊断准确率比初代模型提升18%。在罕见病诊断场景，北京协和医院部署的“医渡云”系统，通过解析患者长达十年的就诊记录，成功辅助医生确诊了国内首例法布里病合并甲状腺癌的复杂病例。在药物研发环节，Absci公司与华盛顿大学合作，利用大模型在30天内完成传统需要6个月的抗体设计流程，将新药开发周期压缩80%。2大语言模型2.3大语言模型的应用与发展（1）大语言模型有哪些典型应用？商业创新：企业智能化的核心枢纽在企业运营中，大语言模型正在重构从客户服务到战略决策的价值链条。Salesforce推出的EinsteinGPT能自动生成个性化的营销方案。在制造业领域，西门子工业云接入大模型后，工程师可用自然语言查询设备维护记录，系统自动关联历史工单、传感器数据和维修手册，将故障排查时间从平均4小时缩短至20分钟。在金融业应用更为深入，摩根士丹利训练的专业模型能实时解析美联储政策文件，结合宏观经济数据预测利率走势，为投资组合提供动态调整建议，该系统处理200页PDF文件并生成报告仅需37秒。科研范式：知识发现的加速器在材料科学领域，DeepMind的GNoME系统通过分析3400万种晶体结构数据，发现了220万种稳定新材料，相当于人类过去十年发现总量的百倍。社会科学研究也获得新工具：伦敦政治经济学院开发的“数字人类学助手”，可同时追踪分析全球87种语言的社交媒体数据，实时捕捉文化变迁的微观信号。跨学科创新：MIT研究人员将AlphaFold的蛋白质预测模型与GPT-4结合，成功设计出能降解塑料污染物的合成酶，这种“AI+生物计算”的范式突破了传统试错法的局限。2大语言模型2.3大语言模型的应用与发展（1）大语言模型有哪些典型应用？内容创作：文化生产的双刃剑好莱坞编剧使用ChatGPT生成剧本初稿已成为行业常态，《南方公园》最新季中就包含由GPT自动生成的完整剧情线。新闻行业出现颠覆性变革：美联社的Wordsmith平台每季度自动生成40万篇企业财报报道，准确率达99.8%。自动化创作也引发深层危机：2023年亚马逊平台检测到超过10万本AI生成书籍，大量低质内容淹没原创作品。更具伦理挑战的是文化遗产保护：谷歌与UNESCO合作训练了涵盖3000种濒危语言的模型，可在仅存零星文本资料的情况下重建语法体系，但这种“数字克隆”能否替代真实的文化传承仍存争议。司法系统：法律智能化的新挑战美国律所Allen&Overy部署的Harvey系统，能在3分钟内完成并购合同审查，准确识别出97%的风险条款，效率是资深律师团队的20倍。在司法援助方面，加拿大开发的LegalAidGPT为低收入群体提供免费法律咨询，日均处理5000起租房纠纷和家暴案件。技术缺陷导致重大事故：2023年纽约律师使用ChatGPT撰写辩护状，模型虚构了6个不存在的判例，引发对法律AI可靠性的质疑。2大语言模型2.3大语言模型的应用与发展（2）大语言模型的未来发展趋势怎样？模型性能持续提升：通过优化模型架构、改进训练方法以及增加训练数据的多样性等手段，模型在语言理解的深度和生成文本的质量方面都会有更好的表现。与其他技术融合：与其他前沿技术如人工智能视觉、语音识别等深度融合。拓展应用场景：除了现有的领域，还将在医疗诊断辅助、智能交通管理等更多关键领域发挥重要作用，为解决社会各种复杂问题提供新的思路和方法。2大语言模型2.3大语言模型的应用与发展（3）大语言模型的发展面临怎样的问题和挑战？模型伦理与偏见问题模型准确性和可靠性问题模型效率与性能问题多模态融合问题模型的可解释性和透明度问题3生成式人工智能3.1生成式人工智能的概念（1）什么是生成式人工智能？一种人工智能技术，其核心在于通过机器学习和深度学习算法，从大量数据中学习并生成新的内容。这种技术不仅能够模拟人类创作，还能创造出超越人类想象的内容，这些内容可以是文本、图像、音频、视频等多种形式。目的是创造出具有创新性和独特性的内容，而不仅仅是对已有内容的复制。3生成式人工智能3.1生成式人工智能的概念（2）生成式人工智能与AIGC是什么关系？生成式人工智能强调的是一种人工智能技术，而AIGC则强调的是生成式人工智能在内容创作领域的具体应用。生成式人工智能提供了生成新内容的能力，而AIGC则是这种能力在内容创作领域的具体体现。现实中，大家经常不仔细区分这两个概念。3生成式人工智能3.1生成式人工智能的概念（3）生成式人工智能与ChatGPT是什么关系？2022年11月30日，美国人工智能公司OpenAI发布了一款名为ChatGPT（ChatGenerativePre-trainedTransformers，聊天生成式预训练转换模型）的文本类生成式人工智能应用产品。这款产品能够与用户以多种语言进行交互，通过自主学习完成复杂且看似智能的“对话”。这一产品可以提供问答、翻译、写作等服务，可以根据用户指示撰写诗歌、散文等不同体裁的作品。ChatGPT是生成式人工智能的代表性应用。3生成式人工智能3.1生成式人工智能的概念（4）生成式人工智能有哪些优点？形式的亲民性：以自然的方式实现与计算机的深度交互。角色的多样性：在生活和工作中扮演各种各样的角色。过程的高效性：即时性的交互。生成式人工智能模型能够逐步提升自己的生成质量，并朝着多模态方向演进。3生成式人工智能3.2生成式人工智能的关键技术（1）生成式人工智能涉及哪些关键技术？生成式人工智能作为人工智能的核心分支之一，其技术架构仍主要为感知、学习和计算。生成式人工智能所遵循的学习模式本质上是在对大量文本数据集进行预训练后，基于所学习数据的上下文信息形成语言生成概率模型，从而模拟出非常接近自然语言的回答。支撑实现这一过程的主要是海量数据、先进算法和强大算力。3生成式人工智能3.2生成式人工智能的关键技术（2）DeepSeek涉及的关键技术具体是什么？基石架构：Transformer的进化革命。动态稀疏注意力机制混合专家系统（MoE）旋转位置编码优化数据工程：知识熔炉的锻造工艺。跨模态预训练知识图谱注入强化清洗流程3生成式人工智能3.2生成式人工智能的关键技术（2）DeepSeek涉及的关键技术具体是什么？训练范式：智能涌现的催化过程。三阶段预训练策略：语言基座构建（2000亿token）、领域知识深化（1500亿token）、思维链强化（500亿token）。混合微调技术：监督微调（SFT）、人类反馈强化学习（RLHF）、对抗训练。持续学习机制：部署后每日增量训练0.5TB新数据，保持知识时效性。推理优化：智能输出的精控艺术。动态温度采样：根据任务类型自动调整输出的随机性。约束解码技术：格式控制、术语约束、逻辑验证。多粒度缓存：字词级缓存加速重复内容生成；语义级缓存复用相似问题解答；使API响应延迟降低至180ms（比初代模型快5倍）。3生成式人工智能3.2生成式人工智能的关键技术（2）DeepSeek涉及的关键技术具体是什么？应用架构：垂直落地的技术适配。基础层：千亿参数通用模型（支持50+语言）。工具层：例如，法律条文解析引擎（自动关联司法解释）、金融数据分析模块（可视化财报生成）、教育知识追踪系统（诊断学生认知盲点）。应用层：例如，政务智能助手将300页政策文件浓缩为10点摘要；工业知识引擎将设备手册转化为AR维修指引；文化创意平台，如基于《千里江山图》生成交互式数字叙事。3生成式人工智能3.3生成式人工智能的应用与发展（1）生成式人工智能有哪些应用平台？常见的AIGC工具包括OpenAI的ChatGPT、DeepSeek、科大讯飞的讯飞星火、阿里的通义千问、百度的文心一言、字节跳动的豆包、月之暗面的Kimi等等。生成式人工智能导航（）3生成式人工智能3.3生成式人工智能的应用与发展（2）生成式人工智能有哪些应用场景？文本生成3生成式人工智能3.3生成式人工智能的应用与发展（2）生成式人工智能有哪些应用场景？图像创作：文本到图像生成、图像风格转换、图像超分辨率、图像合成。音频合成：语音合成、音乐创作。视频制作：脚本生成、视觉效果生成、音乐和配音、后期处理。3生成式人工智能3.3生成式人工智能的应用与发展（3）生成式人工智能可能引发哪些伦理问题？对话的被动性知识的不确定性伦理的争议性信息的安全性3生成式人工智能3.3生成式人工智能的应用与发展（4）生成式人工智能的未来发展趋势怎样？技术突破与创新：模型架构优化、预训练技术创新、多模态融合。应用拓展与深化：内容创作领域、医疗健康领域、教育教学领域、金融领域、工业制造领域。性能与效率提升：算力增强、数据质量与规模提升。市场格局与竞争：科技巨头主导、初创企业崛起、行业融合与合作。伦理与安全规范加强：虚假信息防范、版权保护、数据隐私保护。 人机协作与增强：智能助手与顾问、增强人类能力。4应用实践：与大模型对话4.1对话的艺术：提示词（1）什么是提示词？为什么提示词很重要？提示词（Prompt）是给大语言模型（以下简称模型）的输入文本，用于指定模型应该执行什么样的任务并生成什么样的输出。提示词发挥了“提示”模型应该做什么的作用。设计高质量的提示词需要根据目标任务和模型能力进行精心设计，良好的提示词可以让模型正确理解人类需求并给出符合预期的结果。4应用实践：与大模型对话4.1对话的艺术：提示词（2）提示词常见哪些问题？我的提示词注意到了全面性、准确性、客观性和效率性等问题了吗？这个大模型的算力和能力适合我的这个任务问题吗？要不要换个大模型试试？4应用实践：与大模型对话4.1对话的艺术：提示词（3）如何写出好的提示词？RICE框架：面向多任务的DeepSeek基础性框架Role（角色）：明确定义AI助手的身份，如“翻译专家”、“文案专家”。Input（输入）：规范输入内容的格式和要求。Capability（能力）：界定AI需要具备的专业能力。Expectation（期望输出）：明确说明想要的输出格式和标准。4应用实践：与大模型对话4.1对话的艺术：提示词（3）如何写出好的提示词？RTGO框架：技术类任务的瑞士军刀Role（角色）：定义AI的专业身份。Task（任务）：明确具体操作指令。Goal（目标）：设定可量化目标。Objective（操作要求）：细化输出格式规范。4应用实践：与大模型对话4.1对话的艺术：提示词（3）如何写出好的提示词？CO-STAR框架：创意类任务的六维魔方Context（上下文）：清晰的背景信息。Objective（目标）：希望通过这个问题最终达成什么样的结果。Style（风格）：希望回复的风格，是正式的学术风格、通俗易懂的科普风格，还是活泼有趣的风格等。Tone（语气）：期望大语言模型所给出的回应，能够与你预设的情感或情绪背景完美契合、相互协调。Audience（受众）：回复所针对的受众，是学生、教师、还是用户等等，这会影响AI回答问题的深度和表达方式。Response（响应）：期望回应