人工智能通识教程（新文科版）课件 刘健 第6-10章 自然语言处理-大模型的高阶应用与项目实战

第6章自然语言处理主要内容NLP核心任务与评估体系文本的向量化表示序列建模架构的演进预训练语言模型时代NLP任务核心任务与评估体系文本分类：最基础的任务，广泛应用于垃圾邮件过滤、新闻自动归类及情感分析。命名实体识别：典型的序列标注任务，是信息抽取和知识图谱构建的基础。机器翻译：将源语言文本自动转换为等价的目标语言文本。文本生成与摘要：对话响应生成，故事续写，提取关键信息等。问答系统：根据给定的上下文回答自然语言问题。主要内容NLP核心任务与评估体系文本的向量化表示序列建模架构的演进预训练语言模型时代文本的向量化表示

离散表示:One-hot编码(维度灾难、正交性)、词袋模型、TF-IDF(词频与逆文档频率)词嵌入:基于分布式假设，捕获线性类比关系语义空间:向量几何距离反映语义相似度Vector(女王)≈Vector(国王)-Vector(男人)+Vector(女人)主要内容NLP核心任务与评估体系文本的向量化表示序列建模架构的演进预训练语言模型时代序列建模:从RNN到Transformer循环神经网络（RNN）与其变体（1）RNN（recurrentneuralnetwork）：引入循环连接。（2）LSTM（longshort-termmemory）：引入细胞状态（cellstate），通过三个门控机制精细调节信息流。（3）GRU（gatedrecurrentunit）：将遗忘门与输入门合并为更新门。序列建模:从RNN到Transformer革命性架构：TransformerTransformer摒弃了循环结构，完全依赖自注意力机制（self-attention）。缩放点积注意力（ScaledDot-ProductAttention）：多头注意力（multi-headattention）：并行运行多个注意力头。位置编码（positionalencoding）：显式注入位置信息。主要内容NLP核心任务与评估体系文本的向量化表示序列建模架构的演进预训练语言模型时代预训练语言模型时代模型家族（1）Encoder-only（如BERT，RoBERTa）：擅长理解与判别任务（分类、NER）。（2）Decoder-only（如GPT系列，LLaMA）：擅长生成与开放式任务。（3）Encoder-Decoder（如T5，BART）：擅长序列到序列任务（翻译、摘要）。第7章大语言模型范式转移与涌现能力主要内容1.大语言模型的定义与演进2.训练范式：预训练与微调3.构建基石：数据、参数与算力4.LLM典型学习范式5.前沿挑战：幻觉、对齐与安全基础模型：AI构建的全新模式大语言模型(LLM)的定义基于Transformer架构。海量文本数据+自监督学习。参数规模达到巨大量级(百亿至万亿)。不再针对单一任务，而是通用的基础平台。从研究原型向消费级应用的跨越大语言模型的历史演进2017:Transformer诞生。2020:GPT-3确立Few-shot标准。2022:ChatGPT引发消费级革命。2024-2025:o1与DeepSeek-R1开启推理时代。规模与通用性的本质飞跃LLM与传统NLP模型的区别通用性(Generality):习得了广泛的世界知识和语言规律规模(Scale):在参数量、数据量和计算量上实现了数量级的飞跃。涌现(Emergence):当模型规模突破特定临界点后，LLM展现出小模型所不具备的全新能力，类似于从“专用集成电路”向“通用CPU”的演变。北京三天亲子研学旅行规划范式转移的体现：案例分析2.知识检索：筛选特定标签景点。1.复杂指令解析：捕捉多重约束。3.逻辑推理与规划：优化地理路径。模型单次推理即可完成：4.结构化生成：严格遵循格式要求输出Markdown表格。大语言模型知识获取的基石“两阶段”训练范式第一阶段：预训练通读海量数据，学习语言规律与世界常识。(通才养成)第二阶段：微调规范模型行为，教会其遵循人类指令。(助手对齐)下一个词元预测(NextTokenPrediction)预训练：核心任务模型在此过程中内化了句法、语法和常识。概率预测的“文本接龙”：今天的天气真热今天的天气->真今天的天气真->热下个词预测类似于掷骰子性能提升的幂律关系缩放定律(ScalingLaws)训练数据量(D)↑参数量(N)↑计算量(C)↑投入资源越多，Loss下降越可预测。从“续写文本”到“智能助手”微调：规范行为与指令对齐RLHF:基于人类反馈的强化学习。SFT:确保模型诚实、无害、有益。PEFT:高效微调(如LoRA)。确保模型诚实、无害、有益。微调（fine-tuning）阶段旨在规范模型行为微调：核心任务（1）监督微调（supervisedfine-tuning，SFT）使用人工编写的高质量“指令-回复”对模型进行训练，教会模型如何遵循指令、回答问题。微调（fine-tuning）阶段旨在规范模型行为微调：核心任务（2）基于人类反馈的强化学习（RLHF）通过引入奖励模型（rewardmodel）来模拟人类的偏好，并利用PPO算法优化生成策略，使模型输出更符合人类的价值观（诚实、无害、有益）。微调（fine-tuning）阶段旨在规范模型行为微调：核心任务（3）参数高效微调（PEFT）如LoRA技术，仅微调极少量参数即可适配下游任务，海量、高质量的训练语料构建基石：数据(Data)书籍与论文：arXiv/Wikipedia严谨逻辑。通用网络文本：CommonCrawl泛知识。代码数据：显著提升逻辑推理能力。神经网络的记忆容量构建基石：参数(Parameters)内化复杂抽象概念。存储海量事实。建立不同语言间的潜在关联。参数分布在数百层Transformer中：工业级高性能计算集群构建基石：算力(Compute)GPT-3消耗约3.14e23FLOPs。以FLOPs衡量计算量。算力成为大模型研发的硬门槛。需要数千块高性能GPU(H100)连续运行：无需更新参数的全新学习范式上下文学习(In-contextLearning)One-shot:给1个示范。Zero-shot:仅给指令。Few-shot:给3-5个示范。利用预训练习得的“模式匹配”能力。模拟人类解决问题的“慢思考”过程思维链推理(Chain-of-Thought)支持多步符号推理。提升数学应用题准确率。使用户能定位并纠正错误步骤。将复杂问题分解为多个子步骤：激活模型逻辑潜能的神奇咒语零样本思维链(Zero-shotCoT)无需编写推理步骤示例，即可显著提升推理表现。只需在指令末尾添加：“让我们一步一步地思考”PromptEngineering核心技能人机交互新范式：提示工程1.角色设定“你是一位资深数据科学家…”——激活特定领域的知识子空间。2.结构化约束“请以JSON格式输出…”——利用模型的代码生成能力规范输出。3.思维链提示“请列出你的分析步骤…”——激发CoT能力，提升复杂任务的准确率。前沿风险：幻觉(Hallucination)自信地编造“看似合理”的虚假事实制约：在高严谨领域（医疗、法律）受阻。根源：基于概率的统计生成。解决方案：RAG(检索增强生成)。版权挑战：训练数据的合法性“合理使用”与版权所有权的博弈输出端的高度混合统计产物难以追溯。大规模抓取受版权保护的作品。典型案例：NYT诉OpenAI/GettyImages案。学术伦理：生成式AI的边界维护科学研究的真实性与诚信❌严禁列为作者AI不具备论文责任能力。✅强制性披露必须公开声明AI辅助的情况。维护科学真实性，明确AI工具的使用边界。技术前沿：多模态与世界模型超越语言，建模物理世界理解物理规律与因果关联。具备视觉、听觉的融合理解。AI正在从符号空间向物理真实世界跨越。本章小结LLM不仅是技术的飞跃，更是人类认知能力的延伸与重塑。涌现能力：上下文学习与思维链的质变。范式转移：从专用AI到通用基础模型。负责任AI：对齐价值观，恪守伦理底线。第8章知识图谱结构化知识的表示、构建与应用主要内容1.知识图谱的历史演进2.知识图谱的定义与核心概念3.知识图谱的构建方法4.存储、查询与推理技术5.应用场景与大模型集成知识图谱的引入背景克服传统机器学习的知识组织局限显式事实：将孤立事实转化为互连的网络。隐式知识：模型能识别“猫”的特征，但难答“猫是否为哺乳动物”。理念：推动从数据驱动向知识驱动的范式转移。从学术工程向工业应用的跨越知识图谱的历史演进2001:语义网理念提出（RDF/OWL标准）。1984:Cyc项目启动（手工常识库）。2012:Google推出KnowledgeGraph。2025:知识图谱之年（与LLM/GraphRAG集成）。知识图谱的形式化定义实体、关系与属性构成的有向多图关系(Relations)：表示实体间的语义连接（有向边）。实体(Entities)：代表现实世界中的对象或概念（节点）。属性(Attributes)：实体或关系的附加描述（量化/定性细节）。核心存储单元：三元组Triple：知识图谱的原子逻辑标准形式：(主体,谓语,客体)(流浪地球,导演是,郭帆)(吴京,职业是,演员)(珠穆朗玛峰,高度,8848.86米)网络化结构的优势支持灵活扩展与路径推理灵活扩展：轻松接入跨领域事实。多跳推理：揭示隐含关联。

(如：从流浪地球经吴京关联到战狼2)。模拟人类知识组织方式（联想记忆）。知识图谱的构建方法（1）数据采集与预处理（2）实体识别（3）关系抽取（4）实体链接与消歧（5）知识融合与验证（6）后处理核心技术：实体识别(NER)定位文本中的“关键对象”识别专有名词并分类：[阿尔伯特·爱因斯坦]→人名[德国]→地名使用BERT、ROBERTa等预训练模型。核心技术：关系抽取(RE)分类实体间的“语义边”输出：(乔布斯,创始人,苹果)输入：“乔布斯创办了苹果公司。”当代方法：基于GPT的零样本抽取。判定两个识别实体之间的关联：核心技术：实体链接与消歧解决“同名”与“多义”难题消歧：“苹果”是水果、公司还是地名？链接：映射到现有知识库(Wikidata)的唯一ID。确保知识的唯一性与准确性。新兴方法：基于LLM的构建大语言模型辅助自动化建模通过提示工程(Prompt)一键生成三元组。利用知识蒸馏将隐式知识显式化。引入社区摘要与并行检索器。存储标准与技术RDF、OWL与图数据库RDF：使用URI唯一标识实体，支持分布式。OWL：支持本体定义、类继承与属性约束。存储实现：Neo4j(原生图)、Jena(RDF三元组)。查询语言：SPARQL在百亿三元组中精准检索基于图模式匹配定位目标facts。查询“周杰伦演唱的歌曲”：知识推理机制逻辑规则与概率图嵌入1.基于规则推理若A是B的子类，且B有属性C，则A继承C。2.基于嵌入推理使用TransE等算法，通过向量空间距离预测链接。3.高级推理结合LLM的神经符号方法，实现复杂多跳推理。知识表示学习：TransE基于向量空间平移的分布式表示核心直觉：将实体(head,tail)和关系(relation)映射为低维向量。支持链接预测。h+r≈t复杂关系表示：TransR解决“一对多”关系的平移难题局限性：TransE在相同空间的平移会造成向量坍塌。方案：为每种关系构建“专属投影空间”。应用：语义搜索与知识增强理解搜索背后的真实“意图”理解查询实体，提供上下文相关答案。直接在侧边栏显示知识面板。典型应用：谷歌搜索、百度百科。应用：推荐系统与可解释AI利用路径推理打破“黑箱推荐”优势：提供透明的推荐理由，增强用户信任。用户喜欢《盗梦空间》→[诺兰导演]←推荐《星际穿越》推荐逻辑：领域特定应用：医疗与金融垂直领域的专家知识枢纽精准医疗追踪疾病传播、药物重定位、关联症状与检查。金融风控识别洗钱网络、团伙欺诈、控股链条分析。知识图谱与LLM集成：GraphRAG知识图谱增强检索生成技术解决大语言模型的“幻觉”：原理：知识图谱充当检索层，从图中提取关联三元组注入LLM提示词。核心优势：支持多跳推理，在领域特定问答任务中显著优于传统向量RAG。案例：微软GraphRAG框架通过图检索实现复杂逻辑关联。知识图谱构建：LLM驱动方法从非结构化文本到图谱的自动化跨越知识蒸馏：将LLM内部的隐式知识转化为显式的图谱三元组。自动化工具：Neo4j的LLMKGBuilder实现从PDF/网页一键建模。增强组件：引入社区摘要(CommunitySummaries)提升检索效率。双重方法协同：传统NLP提取事实+LLM辅助推理。深度融合：符号-神经混合系统实现端到端、可解释的智能决策逻辑一致性：知识图谱提供符号推理框架，解决复杂逻辑漏洞。测试时计算：动态推理机制通过实时图查询提升模型适应性。应用场景：法律审判、医疗诊断等高严谨性AI代理。前沿趋势：企业数据织物统一孤岛数据的核心底座DataFabric：统一孤岛式数据源。支持实时决策。到2025年，80%数据创新将依赖图技术。面临的工程挑战规模、效率与隐私的平衡1.不完整性现实世界知识时刻变化，增量学习至关重要。2.规模与效率处理亿级三元组时的查询延迟瓶颈。本章小结结构化事实：AI迈向AGI的基石基石作用：GraphRAG时代提升可靠性。桥接模式：连接隐式模式与显式事实。未来演进：神经符号AI的深度融合。第9章AI伦理、法律与社会影响课前思考

你认为AI算法是“客观中立”的吗？如果不是，这种非中立性可能来源于哪里？它又会对我们的社会、经济乃至个人生活产生哪些影响？本章主要内容人工智能已融入社会，但技术发展带来了新的伦理挑战。本章将探讨技术与人文的边界，理解AI发展的责任与使命。理解核心原则剖析真实困境践行责任准则学习公平、责任、透明与安全的四大核心维度通过8个案例，剖析技术落地中的复杂矛盾从理论走向实践，探讨如何在技术创新中坚守人文关怀AI伦理的核心维度避免算法偏见，确保人人平等。明确责任归属，建立追溯机制。打破算法黑箱，确保决策可解释。构建鲁棒系统，防范技术滥用。案例分析：公平与偏见亚马逊招聘工具：历史数据的性别偏见AI招聘工具因学习历史数据中的男性主导模式，学会了贬低包含“女性”相关词汇的简历。核心问题：数据偏见(DataBias)训练数据中的历史偏见被模型继承，使算法成为歧视的放大器，而非中立工具。算法的“客观”≠“公正”案例分析：公平与偏见COMPAS司法系统：隐藏的种族歧视广泛用于美国司法系统的累犯风险评估算法，对黑人被告存在明显偏见。核心问题：代理歧视(ProxyDiscrimination)算法通过“中立”特征作为代理变量，间接延续了制度性的种族不公。需引入算法审计机制案例分析：责任与安全Uber自动驾驶致死事故Uber自动驾驶测试车撞死行人，人类安全员走神，引发责任归属争议。核心问题：责任差距（AccountabilityGap）事故责任难以界定：是算法、传感器、安全员还是Uber公司？暴露了“人机共驾”的悖论案例分析：责任与安全IBMWatsonHealth医疗决策偏差AI癌症治疗推荐系统因训练数据非真实病历，给出不安全建议，项目终止。核心问题：鲁棒性缺失与验证断层训练数据与真实世界存在“分布偏移”，且缺乏严格的临床验证。在高风险领域，AI应定位为临床决策支持系统(CDSS)，最终决策权必须保留在人类专家手中。案例分析：知识产权艺术家集体诉讼生成式AI

艺术家起诉AI公司未经许可使用其受版权保护的作品训练模型。核心问题：训练数据的版权合规性AI模型的训练行为是否构成“合理使用”？AI生成内容的版权归属？生成式AI正在挑战现行知识产权保护框架。案例分析：信息真实性美国大选中的AI伪造电话门深度伪造技术模仿总统声音，试图干预选举。核心问题：“骗子红利”(Liar’sDividend)当伪造信息泛滥，公众会对所有真实视听证据产生怀疑，导致信任崩塌。技术滥用倒逼监管升级，需部署数字水印和溯源系统。案例分析：隐私与监控ClearviewAI的面部识别数据库公司未经同意抓取30亿张社交网络照片，建立数据库供执法部门使用。核心问题：隐私侵犯技术实现大规模个体追踪，严重侵犯生物特征隐私，可能导致“全景敞视”社会。将个人信息商品化，违反了“数据最小化”与“知情同意”原则。案例分析：企业责任与技术滥用GoogleProjectMaven

Google与美国国防部合作，利用AI技术分析无人机监控视频，引发员工抗议。核心问题：双重用途技术（Dual-useTechnology）通用AI技术被用于军事目的，引发科技公司社会责任与商业利益的冲突。“员工行动主义”兴起，从业者的伦理自觉是防止技术滥用的重要力量。负责任AI的实践准则全生命周期的偏见审计“人在回路”透明度优先隐私设计内容溯源与标识使用公平性指标（如DemographicParity）对各阶段审计高风险系统需保留人类干预和否决的权利发布模型卡片（modelcards）和数据表（datasheets）采用联邦学习、差分隐私等技术训练模型生成式AI产品嵌入不可见的数字水印，标识“由AI生成”第10章大模型的高级应用与智能体实战大模型的核心瓶颈幻觉问题时效与安全隐患工具调用缺失复杂逻辑推理