提示基础方法 1

《提示工程：原理、方法与实践》第2章提示工程的基本原理标记化、注意力、自回归生成、RLHF校准与模型的固有局限配套教学课件·建议学时61本章内容12.1提示词与AI模型的交互机制22.2提示词的处理与解析机制32.3提示词的语义理解机制42.4提示词的指令执行机制52.5提示词的局限性学习目标理解提示词从规范化、标记化到自回归生成的完整生命周期掌握注意力机制（QKV、多头）及其对提示设计的指导意义理解RLHF如何把文本续写器校准为指令执行器能够区分三大局限与概率生成不确定性的四种情境22.1提示词与AI模型的交互机制自然语言如何变成模型真正接收的整数序列，模型又如何把提示识别为任务并逐个标记生成回应。3规范化与标记化：从文字到整数ID图2-1提示词标记化过程示意图两步预处理规范化：消除表面非本质差异统一大小写、处理多余空白中文全角转半角、统一简繁体标记化：把文本切成标记（token）标记是模型运算和理解的最小单元主流采用亚词级：principles→principle+s每个标记映射为词典中唯一整数ID，如[21845,35672,…]整数序列才是模型真正接收的输入4从提示到指令：序列补全器如何学会执行任务图2-3提示到指令的转换过程关键机制预训练模型的本质是序列补全：按概率生成下一个标记会续写不等于会听指令，需要RLHF校准RLHF三步收集人类偏好数据训练奖励模型输出质量分数用强化学习（PPO）更新参数学到的是内隐关联，而非显式的规则解析系统因此能识别间接表达或嵌在上下文中的指令意图5从提示到响应：自回归生成图2-4从提示到响应的自回归生成示例（第一次迭代；写春天诗）6自回归生成的六个关键步骤1上下文准备与输入提示词被标记化为整数ID序列送入模型2嵌入表示生成词嵌入+位置嵌入，形成综合输入表示3核心网络处理多层Transformer注意力块：自注意力+前馈网络4计算下一标记概率分布取最后位置输出向量，得到覆盖整个词汇表的分布5选择并输出标记贪婪解码或随机采样，选出一个标记6序列增长与迭代新标记加入序列，重复直到最大长度或end-of-sequence7两种标记选择策略贪婪解码GreedyDecoding始终选择概率最高的标记确定性高，可复现多样性低，容易重复对应温度参数=0随机性采样StochasticSampling按概率分布随机抽取标记用温度（temperature）等参数控制多样性温度越高，低概率标记越可能被选中输出更具创造性，但稳定性下降8温度参数对生成结果的影响温度值生成结果用词特点格律结构选择策略0.2春风轻抚柳丝绿，花开满园香满庭。莺歌燕舞春光好，万物复苏展新颜。传统词汇、高频搭配严格七言绝句、平仄规整近似贪婪选择，创新性低、重复性高0.7春雨敲窗梦初醒，青山如黛雾朦胧。桃花点点胭脂色，新燕归来话旧情。传统与新颖结合、意境词汇基本格律、适度变化加权随机采样，创新性与重复性中等1.2春，是大地的苏醒键，解锁冬日的冰封咒语。蒲公英化身小伞兵，在阳光的跑道上起飞。现代隐喻、创新表达自由诗形式、突破格律高随机性采样，创新性高、重复性低资料来源：教材表2-1不同温度值生成结果对比（提示词：写一首关于春天的诗）9提示词示例：温度实验提示词（教材2.1.3【诗歌创作实验】）：“写一首关于春天的诗”同一条提示词，在不同温度下多次运行，观察输出差异。提示极短、无约束，概率分布平坦，温度的影响最明显T=0.2近似贪婪：稳定但保守，多次运行高度相似T=0.7加权采样：在传统与新颖之间取得平衡T=1.2高随机：形式自由、隐喻新颖，但可能偏题生成本质：基于上下文、由概率驱动的序列构建102.2提示词的处理与解析机制亚词分词如何构建语义单元，上下文窗口如何限制并影响信息分配，标记序列如何被解析为结构化语义。11文本分词与语义单元构建三种切分粒度（图2-5）单词级：unhappiness整词一个标记，僵化且有OOV问题字符级：u-n-h-a-p-p-i-n-e-s-s，语义破碎、效率低亚词级：un+happi+ness，兼顾语义完整、泛化与效率主流算法：BPE、WordPiece、SentencePiece语义单元构建的四个层次词汇级：把under+stand重构为“理解”概念短语级：machinelearningalgorithms识别为一个技术概念句法结构：请=礼貌标记，分析=动作，这份报告=对象语义角色：Python=工具，斐波那契数列=目标，函数=输出形式12上下文窗口：模型的工作记忆上下文窗口：一次处理中能容纳和计算的最大标记数限制来源：自注意力计算量随序列长度n呈O(n²)增长演进：早期2k/4k，当前主流128k甚至更长超长上下文的新问题：计算成本与延迟高、难以精确定位关键信息超出窗口时的两种策略截断：删除开头标记，早期内容完全丢失压缩与摘要：用凝练摘要替代冗长原始记录，保留精要图2-6示例窗口2000标记的多轮对话（图2-6）：第1-3轮累计500+600+700=1800；第4轮提问约50标记，累计1850仍在窗口内，模型能理解“基于我们之前的讨论”；第5轮超限，必须启动截断或摘要。13注意力偏差：中间容易被忽略关键指令或问题，放在提示词的开头或结尾。近期偏好：模型对窗口末尾的内容关注最高“中间忽略”（Lostinthemiddle，Liu等2023）：开头与结尾记忆最好，中间易被忽略超长文档不要指望模型自动找全，应分块（Chunking）并结合检索增强生成（RAG）14复杂提示词的语义解析六步（图2-7）1任务识别与分解识别为复合任务：财务分析→比较评估→投资推荐2结构解析区分任务指令区与数据源区（三家公司信息）3约束条件提取比较关键指标、考虑行业平均、推荐须有理由4数据结构化按收入、利润、负债率、行业组织为结构化对象5概念与关系理解盈利能力关联净利润与年收入，债务水平关联负债率6执行策略规划计算比较→结合行业评估→给出带理由的推荐152.3提示词的语义理解机制词义如何在高维向量空间中表示，注意力如何动态分配权重，同一个词如何依上下文获得不同含义。16向量空间的词义表示图2-8词语在向量空间中的分布示意图三个结构特征嵌入：每个词是高维空间中的向量，语义相近则位置相近理论基础：分布假说，词义由其经常出现的上下文决定语义聚类：医疗词簇与教育词簇各自聚集角色对应：医生→患者与教师→学生方向相似语义运算：医生-治疗+教育≈教师（国王-男人+女人≈王后）对提示设计的启示模型的理解基于数据分布而非人类定义的概念常共现的词可能被视为相似，微妙差异可能捕捉不到17注意力分配与权重计算：QKV机制图书馆检索类比查询Q：带着问题去找资料键K：每份资料的内容标签值V：资料的真正内涵过程：Q与所有K匹配得相关度分数→转为注意力权重→对V加权汇总softmax归一化后所有注意力权重之和为1，除以√d_k防止梯度消失多头注意力：并行多组独立QKV变换，每个头像一副“专属专业眼镜”各头输出经连接和线性变换融合，共同关注不同表示子空间与位置的信息缩放点积注意力（Vaswani等，2017）Attention(Q,K,V)=softmax(QKᵀ/√d_k)VMultiHead(Q,K,V)=Concat(head_1,…,head_h)W^Ohead_i=Attention(QW_i^Q,KW_i^K,VW_i^V)18提示词示例：注意力分配案例提示词（教材2.3.2【注意力分配示例】）：“分析气候变化对农业生产的影响，特别关注粮食安全”模型处理这条提示词时，注意力会落在哪些词上？核心概念“气候变化”“农业生产”“粮食安全”获得高权重指示词“分析”“特别关注”获得显著注意力“影响”与影响源、影响对象形成语义三元组虚词“对”“的”权重很低不同注意力头分工：主题词关系、任务指令、修饰关系19注意力权重分配：案例观察图2-9提示词中的注意力分配示意图（各标记的权重）影响注意力权重的四个因素语义相关性：最重要，气候变化、农业生产、粮食安全权重最高句法结构：主谓、动宾等成分间连接强，“影响”与两端形成三元组位置接近度：相邻标记往往获得更高权重特殊标记：分隔符、标题标记可获得异常高的注意力低层关注局部语法，高层捕捉抽象语义20基于注意力机制的提示设计原则把注意力引向你想让模型关注的地方。关键信息放显著位置，相关概念保持适当距离便于建立连接使用明确指示性词语：分析、比较、总结对重要内容用强调性表达：特别关注、重点考虑长文本中重要信息在不同位置重复强调合理使用markdown结构标记：标题、分段、列表21基于上下文的词义理解：“开”的三种含义图2-10“开”在不同上下文中的语义表示实现机制与扩展静态词向量：一词一向量，三种“开”混在一起大型语言模型：同一词在不同语境生成不同向量四个机制上下文词汇：车、上班激活交通语义网络句法位置：都是动词，但宾语类型不同多层次融合：词汇→句法→语义综合知识整合：训练中学到的搭配与场景扩展到专业术语（程序）、隐喻（分量）、情感（难以置信）、文化（班门弄斧）222.4提示词的指令执行机制模型如何识别指令性语句，如何把复杂任务拆解并规划执行，以及人类反馈如何校准指令遵循能力。23指令性语句的三维特征语法特征：祈使句、疑问句、陈述句分析这份数据/你能帮我写一份报告吗？/我需要一个关于人工智能的介绍共同特征：动作导向性，区别于描述性、叙述性语句语义标注：四类标记动作动词（写作、分析）、礼貌标记（请、麻烦）目标对象标记（这份文档）、输出要求标记（用表格形式）上下文环境：四类线索任务背景、约束条件（500字以内）、示例引导、优先级指示（重点关注）模型如何识别注意力权重集中于动作动词、礼貌标记、输出要求；多头分别关注语法形式、语义标记、上下文提示。“请立即分析”的执行优先级高于“我想了解一下”。24六类指令性语句及模型识别度指令类型语法形式典型标记词示例识别度命令式祈使句分析、写作、总结分析这组销售数据的变化趋势高请求式祈使句+礼貌标记请、麻烦、帮忙请帮我写一份项目总结报告高疑问式疑问句+能力询问能否、可以、怎样你能解释一下这个算法吗？中高需求式陈述句+需求表达需要、希望、想要我需要一个关于AI的简介中建议式陈述句+建议请求建议、推荐、意见给我一些学习编程的建议中条件式条件句+执行要求如果、假设、当如果是新手，请推荐入门书籍低资料来源：教材表2-2不同类型指令性语句的特征对比25提示词示例：复杂任务的原始提示词面对这样的复杂指令，模型并非一次性生成方案，而是像人一样“大问题拆小问题”。提示词教材2.4.2【营销策略制定任务】为一家新的健康科技公司设计一个产品发布策略，该公司开发了一款结合AI技术的可穿戴健康设备，旨在帮助用户监测并改善心血管健康，目标市场是35-55岁的高收入专业人士，产品预计在6个月后上市，考虑当前健康科技市场的竞争状况并考虑对AI健康产品的接受度。三个环节任务理解：提取核心任务、约束、期望输出、评判标准（图2-15）结构分析：功能、层次、时序三种分解策略组合（图2-16）拆出子任务：产品、市场、客户分析，竞争策略，渠道、推广执行规划：按依赖关系排序并递进执行（图2-17～2-19）分解与规划能力是思维链（CoT）推理的技术基础26执行规划：四阶段依赖关系与动态调整1基础分析阶段产品分析为基础层，确定核心功能与卖点2环境评估阶段市场分析依赖产品特征，客户分析需产品与市场信息3策略制定阶段竞争策略基于前三项分析结果4执行规划阶段渠道规划基于客户分析，推广策略整合所有前序成果27人类反馈的校准机制：RLHF三阶段1人类偏好数据收集同一提示多个回答，由人类比较排序，如B>C>A2训练奖励模型对比学习训练“虚拟评估者”，输入提示+回答，输出标量分数3强化学习优化奖励模型作奖励函数，PPO更新参数；生成→评分→更新循环4校准效果：行为对齐指令遵循、安全控制、交互质量、价值观对齐四维度改进282.5提示词的局限性模型在哪些任务上会失败、为什么会失败：表层理解、数据依赖与知识幻觉、概率生成的不确定性。29表层理解的四种局限1概念理解的差异知道“民主”与选举、投票共现，却不掌握其本质内涵与运行机制。2因果认知的区别能识别时序关联与统计相关，难以区分真正因果与偶然共现。3逻辑推理的差异纯前馈、无循环结构，“计算过浅”，难以多步推理与反事实推理。4泛化能力的边界难捕捉罕见的讽刺、隐喻；泛化止于已有模式的组合与微创新。30案例：相关性不等于因果性图2-23表层理解局限示例：冰淇淋销量与溺水事故31数据依赖vs知识幻觉（图2-24、2-25）时效性限制提示：请介绍一下2024年诺贝尔物理学奖的获奖者及其贡献。回答：截至我的知识更新日期（2023年底），2024年诺贝尔物理学奖尚未公布。通常诺贝尔奖项会在每年的10月份公布。如果您想了解2023年的获奖者，他们是皮埃尔·阿戈斯蒂尼、费伦茨·克劳斯和安妮·吕利耶……示例1（图2-24）：知识库静态、反映截止日期的世界状态；承认局限并给出已知信息，是相对理想的处理知识幻觉提示：请介绍一下“光子晶体管”的发明者和发明时间。回答：光子晶体管是由美国物理学家约翰·史密斯于1998年在贝尔实验室发明的。这项发明彻底改变了光计算领域，并获得了2005年的诺贝尔物理学奖。示例2（图2-25）：把光子晶体管、贝尔实验室、诺贝尔奖等真实片段错误组合成看似合理的故事32知识幻觉的四个成因基于模式的过度泛化：虚假相关性、不完整模式被当作规律训练数据的噪声或矛盾：随机选版本，或融合矛盾产生新错误生成过程的概率性：知识不确定时仍生成“听起来最合理”的续写连贯性与事实性的权衡：为流畅性“牺牲”事实准确性应对思路应用实践必须充分考虑这些局限，通过合理的提示设计规避风险：提供上下文、要求承认不确定、要求分步推理、外部事实核查。33概率生成不确定性的四种情境情境概率分布任务类型书中示例影响发散式创造平坦开放任务“AI最棒的地方在于它能”→学习4.5%、预测3.5%、创造3.2%；机器人故事三种开头（图2-26）有益：创造力来源，适合头脑风暴、文学创作模糊性漂移平坦事实任务“诗佛”生平：把王维与白居易、苏轼的经历混淆有害：每步略偏，整体偏离真相收敛性润色尖锐明确任务“用更专业的语气重述‘我们搞定了这个项目’”→多种同义表达有益：只在“怎么说”上变化，适合润色、翻译高置信度错误尖锐（集中于错误）事实任务“指南针是沈括发明的”（雏形司南可追溯至战国）最危险：稳定、权威、极具欺骗性按“分布平坦/尖锐×任务开放/事实”二维矩阵理解（教材2.5.3）34提示词示例：高置信度