workbuddy进阶手册-犀流沙

WorkBuddy进阶手册犀流沙

5分钟找到你想要的内容

你想做什么去哪里找

理解大模型为什么这样回答→底层原理/大模型原理与认知

理解Agent为什么有时会犯错→底层原理/Agent原理与架构

了解WorkBuddy能做什么、不能做什么→底层原理/WorkBuddy产品架构

理解MCP协议是什么、怎么用→底层原理/MCP协议与标准化

写出更好的指令→方法教程/提示词工程

开发自定义技能→方法教程/技能系统开发

设计自动化工作流→方法教程/自动化工作流设计

优化知识库检索效果→方法教程/知识库与RAG优化

省Token、省积分→方法教程/性能优化与成本控制

会议纪要、周报自动化→实战应用/日常办公应用

金融、外贸、自媒体等行业方案→实战应用/行业场景实战

按岗位找学习路径→实战应用/岗位路线图

API接入、多Agent系统→实战应用/进阶开发实践

找指令模板直接用→资源生态/指令模板与工具箱

找优质技能和插件→资源生态/优质技能与插件导航

排查错误、避开坑→资源生态/疑难排解与避坑指南

找学习路径和社区→资源生态/学习路径与社区生态

场景导航

场景1：我是新手，从哪开始？

推荐阅读路径：

1.底层原理/WorkBuddy产品架构—了解WorkBuddy的四层架构和能力边界

2.方法教程/提示词工程—掌握指令五要素，写出高质量指令

3

WorkBuddy进阶手册犀流沙

3.实战应用/日常办公应用—从会议纪要、周报等高频场景上手

4.资源生态/指令模板与工具箱—直接复制模板，快速见效

场景2：我想解决"指令输出效果差"的问题

1.底层原理/大模型原理与认知—理解Token机制和推理机制，知道为什么模型会"跑偏"

2.方法教程/提示词工程—学习五要素法、迭代优化方法

3.资源生态/疑难排解与避坑指南—查看输出质量调优的系统性方法

场景3：我想系统学习技能开发

1.底层原理/Agent原理与架构—理解Agent的运行机制，才能设计出好的技能

2.方法教程/技能系统开发—从零到一掌握SKILL.md开发、技能蒸馏

3.资源生态/优质技能与插件导航—研究高星技能的设计思路

4.实战应用/进阶开发实践—多Agent系统、工作流引擎等高级实践

场景4：我想搭建自动化工作流

1.方法教程/自动化工作流设计—学习定时任务、工作流编排、降级交付

2.底层原理/MCP协议与标准化—理解MCP连接器，扩展能力边界

3.实战应用/日常办公应用—参考会议纪要、周报等完整SOP

4.资源生态/疑难排解与避坑指南—工作流可靠性保障

场景5：我想省钱/省Token

1.方法教程/性能优化与成本控制—Token优化、模型选择、积分预算

2.底层原理/大模型原理与认知—理解Token消耗机制

3.资源生态/指令模板与工具箱—积分节省技巧

4

WorkBuddy进阶手册犀流沙

目录速查表

一级二级一句话说明

底层原理大模型原理与认知Transformer、Token、推理机制、模型对比

底层原理Agent原理与架构ReAct/Plan-Execute、工具调用、记忆系统、多Agent

底层原理WorkBuddy产品架构四层架构、三大模式、六大能力、六大边界

底层原理MCP协议与标准化MCP原理、与FunctionCalling对比、内置连接器

方法教程提示词工程指令五要素、CoT、Few-shot、迭代优化

方法教程技能系统开发SKILL.md开发、技能蒸馏、高星技能拆解

方法教程自动化工作流设计定时任务、工作流编排、降级交付

方法教程知识库与RAG优化RAG原理、Chunking策略、检索优化

方法教程性能优化与成本控制Token优化、模型选择、并行管理

实战应用日常办公应用会议纪要、周报、文件整理、邮件日程

实战应用行业场景实战金融投研、外贸、自媒体、软件开发

实战应用岗位路线图管理者/财务/运营/技术专属路径

实战应用进阶开发实践API接入、多Agent、工作流引擎

资源生态指令模板与工具箱125+指令模板、检查清单、配置模板

资源生态优质技能与插件导航高星技能评测、MCP服务器推荐

资源生态疑难排解与避坑指南常见错误、限流重试、安全合规

资源生态学习路径与社区生态30天学习计划、社区入口、版本追踪

使用建议

·配合AI小助理使用：在知识库中搜索关键词，AI小助理会基于知识库内容给出精准回答

·做笔记和复盘：每学完一个章节，用自己的话写一条笔记，加深理解

·实践优先：每个章节都有实操模板，建议边学边用，不要只看不练

·从痛点出发：不要从头到尾读，先找到当前最痛的问题，从对应章节开始

5

WorkBuddy进阶手册犀流沙

第一篇

底层原理

理解大模型、Agent与WorkBuddy的运行本质，是进阶的第一

步。

7

WorkBuddy进阶手册犀流沙

大模型原理与认知

面向WorkBuddy高阶用户—深入理解大语言模型的底层原理，从而更好地使用WorkBuddy。

本文信息来源包括：腾讯云开发者社区《Transformer架构：大模型时代的基石》、火山引擎开发

者社区《大模型核心概念科普：Token、上下文长度、最大输出》、ThousandMiles.ai《How

LLMsActuallyGenerateText》、太平洋科技《2026主流AI模型实测横评》、PromptQuorum

《LLM工作原理解析》、极客老墨《大模型是怎么炼成的》等公开资料。文中具体数据均标注来

源，部分无法确认的数据明确标注"截至2026年7月未能确认具体数据"。

为什么这一块很重要

从WorkBuddy用户的真实痛点说起

你一定遇到过这些场景：

·明明写了很详细的指令，模型却"理解"错了方向，输出南辕北辙，反复修改指令还是得不到想要的

结果。

·不知道该选哪个模型，GPT、Claude、DeepSeek、混元……每个模型都说自己最强，但实际使用时

感觉差异巨大，却说不清差异到底在哪。

·Token消耗惊人，一个月的API费用远超预期，却不知道怎么优化。

·长对话中模型突然"失忆"，忘了前面的重要约定，甚至前后矛盾。

·调了温度参数，输出质量却更差了，不知道到底该调高还是调低。

·模型"一本正经地胡说八道"，生成的内容看起来很专业，仔细一查全是编造的。

这些痛点的根源，都在于对大模型底层原理的误解。你把大模型当作一个"能理解你意思的智能助手"，

而实际上它是一个基于概率的下一个Token预测器。你把不同模型当作"同一种东西的不同品牌"，而实

际上它们在架构、训练数据、对齐策略上存在根本差异。

懂原理才能写出更好的指令

理解大模型原理，对你的指令设计有直接且可量化的影响：

1.理解Token机制，你才能知道为什么同样的内容，中文比英文多消耗30%-50%的Token（来源：

PromptQuorum《LLM工作原理解析》），从而有意识地压缩指令长度、降低成本。

2.理解注意力机制，你才能知道为什么"LostintheMiddle"效应（斯坦福大学Liu等人2023年研究）会

让模型忽视长指令中间的信息，从而把关键约束放在开头和结尾。

8

WorkBuddy进阶手册犀流沙

3.理解自回归生成，你才能知道为什么模型写长文时后半段容易跑偏—因为它没有全局规划，每一步

只预测下一个Token，从而在指令中提前给出结构框架。

4.理解温度参数，你才能知道为什么代码生成该用0.0-0.3的低温，创意写作该用0.7-1.0的高温，而不

是盲目调参。

懂原理才能选对模型

不同模型在架构、训练数据、对齐策略上的差异，决定了它们在不同场景下的表现天差地别：

·ClaudeOpus4.7在SWE-bench上达到64.3%（来源：太平洋科技2026年横评），是编程和Agent场

景的首选；

·DeepSeekV4-Pro在MATH-500上达到96.8%（来源：同上），是数学推理的王者；

·GLM-5.1和Qwen3-Max在SuperCLUE中文评测中超过71.5分（来源：同上），是中文场景的不二之

选。

不懂原理，你只会"哪个贵用哪个"或"听别人说哪个好就用哪个"；懂了原理，你才能根据任务特点精准

选型，既省钱又高效。

懂原理才能控制成本

大模型的API计费是按Token计算的。理解Token机制和上下文窗口，你才能：

·计算出每次调用的真实成本，而不是被账单吓到；

·知道何时该用长上下文模型，何时该用RAG分块检索；

·知道如何通过压缩指令节省30%-50%的Token消耗（来源：PromptQuorum《上下文窗口解

析》）。

一句话总结：不懂原理，你在和AI"猜谜"；懂了原理，你在和AI"下棋"。

核心概念

一、Transformer架构与注意力机制

1.1为什么Transformer是"大模型时代的基石"

2017年，GoogleBrain团队发表了一篇改变世界的论文—"AttentionisAllYouNeed"（Vaswani等

人）。这篇论文提出了Transformer架构，彻底抛弃了此前处理序列数据的RNN/LSTM的循环结构，仅依

靠注意力机制（Attention）来捕捉序列中任意两个位置之间的关系。

9

WorkBuddy进阶手册犀流沙

在Transformer之前，RNN/LSTM处理序列数据有两个致命缺陷：

-无法并行计算：必须按时间步顺序逐个处理，训练速度极慢；

-长程依赖困难：信息在传递过程中会逐渐衰减，距离越远，关联越弱。

Transformer的出现解决了这两个问题：

-☒高度并行化：可以同时处理整个序列，训练速度大幅提升；

-☒长距离建模能力强：注意力机制直接连接序列中任意两个位置，无论距离多远；

-☒可扩展性极佳：从几亿到万亿参数，架构基本不变，为千亿参数大模型铺平了道路。

来源：腾讯云开发者社区《Transformer架构：大模型时代的基石》（2026年8月4日更新）

1.2自注意力机制（Self-Attention）—Transformer的灵魂

自注意力机制的核心思想非常优雅：对序列中的每个词，计算它与所有词（包括自己）的相关性权重，

然后加权求和，得到一个"全局上下文感知"的新表示。

具体来说，模型为每个Token计算三个向量：

·Query（Q）：当前词的"查询向量"，用于询问"我在找什么？"

·Key（K）：其他词的"键向量"，用于响应"我有什么信息？"

·Value（V）：其他词的"值向量"，包含实际的信息内容。

注意力分数的计算公式为：

$$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

一个直观的类比：想象你在一个图书馆里找书。Query是你想找的主题（"我想了解量子力学"），Key是

每本书的标签（"量子力学入门"、"量子力学进阶"、"烹饪大全"），Value是书的实际内容。注意力机制

就是计算你的Query和每本书的Key的匹配度，然后按匹配度加权读取Value。

1.3多头注意力（Multi-HeadAttention）

单头注意力可能只关注一种关系（比如语法关系）。多头注意力允许模型从不同的子空间学习不同类型

的关联：

·某些头可能关注语法关系（主语-动词一致性）；

·某些头可能关注语义相似性（"银行"在金融语境vs河岸语境中的不同含义）；

·某些头可能关注指代关系（"他"指的是谁？）；

·某些头可能关注时序关系（"先……然后……"的逻辑顺序）。

GPT-5.5在其最大层中使用了96个注意力头（来源：PromptQuorum《LLM工作原理解析》）。多个头

的输出拼接并线性变换，得到更丰富的表示。

10

WorkBuddy进阶手册犀流沙

对WorkBuddy用户的启示：多头注意力意味着模型能够同时从多个维度理解你的指令。但这也意味着，

如果你的指令存在歧义，不同注意力头可能"看到"不同的含义，导致输出偏离预期。消除歧义是写好指

令的关键。

1.4编码器-解码器结构

原始Transformer为机器翻译设计，采用经典的编码器-解码器（Encoder-Decoder）结构：

·编码器（Encoder）：将输入序列（如英文句子）转换为一系列上下文感知的向量表示。

·解码器（Decoder）：基于编码器输出和已生成的部分输出，逐步预测下一个词。

重要的架构演变：

-BERT：只使用编码器，擅长文本理解（分类、NER等），是双向模型。

-GPT系列：只使用解码器，擅长文本生成，是自回归模型（从左到右逐Token生成）。

-T5、BART：编码器-解码器结构，擅长序列到序列任务（翻译、摘要等）。

当前绝大多数大语言模型（GPT、Claude、DeepSeek、混元等）都采用解码器-only架构，专注于自回

归生成。

解码器有一个特殊设计—掩码自注意力（MaskedSelf-Attention）：在训练时，将当前位置之后的词

设为负无穷（softmax后权重为0），确保预测第t个词只依赖前t-1个词，防止"偷看未来"。

1.5位置编码（PositionalEncoding）

Transformer的注意力机制本身是无序的—它同时处理所有Token，无法区分"狗咬人"和"人咬狗"。因

此，需要通过位置编码为每个Token注入位置信息。

常见的位置编码方式：

-正弦/余弦编码：原始Transformer使用，固定不变；

-可学习位置编码：GPT-2等使用，在训练中学习；

-RoPE（旋转位置编码）：目前主流方案，能较好地处理长序列外推，被LLaMA、Qwen、DeepSeek等

采用。

对WorkBuddy用户的启示：位置编码决定了模型能处理的最大序列长度。这就是为什么上下文窗口有硬

性限制—模型的位置编码在训练时就决定了范围，超出范围的位置信息模型"没见过"。

1.6前馈网络、残差连接与层归一化

除了注意力机制，Transformer的每一层还包含：

·前馈神经网络（FFN）：每个位置向量独立通过两层全连接网络，引入非线性，增强表达能力。通常

FFN的隐藏维度是模型维度的4倍。

·残差连接（ResidualConnection）：每个子层的输出=输入+子层(输入)，即Output=

LayerNorm(x+Sublayer(x))。这缓解了深层网络的梯度消失问题，使堆叠数十甚至上百层成为可

能。

11

WorkBuddy进阶手册犀流沙

·层归一化（LayerNormalization）：稳定训练过程，加速收敛。

Transformer模型通常有几十层，不同层学到不同层次的特征：

-底层：识别语法、单词含义；

-中层：理解句子间的逻辑（转折、因果）；

-高层：抽取抽象概念和全局意图。

来源：ZhendaAINotes《核心原理概览》、腾讯云开发者社区《Transformer架构：大模型时代

的基石》

二、Token与上下文窗口

2.1Token是什么？

Token是大模型处理自然语言文本的基本单位，可以直观地理解为"字"或"词"—但更准确地说，它是子

词单元（SubwordUnit）。

为什么需要Token？模型无法直接处理人类文字，需要先将文本转换为数字ID序列。Tokenization（分

词）就是完成这个转换的过程。

主流的Tokenization方法是字节对编码（Byte-PairEncoding,BPE）：

-从字符级别开始，逐步合并最高频的字符对；

-常见词（如"hello"）可能被编码为单个Token；

-不常见词（如"tokenization"）被拆分为多个子词（"Token"+"ization"）；

-这种方式在词汇量与语义完整性之间取得平衡。

Token与字数的换算比例：

语言大约换算比例说明

英文1个Token≈0.75个单词1个英文单词约1-1.3个Token

中文1个汉字≈0.6-1个Token1个中文词语约1-2个Token

代码1个Token≈3-4个字符代码的Token效率较低

实际例子（来源：PromptQuorum《LLM工作原理解析》）：

12

WorkBuddy进阶手册犀流沙

输入文本Token拆分Token数量

"Hello,world!""Hello",",","world","!"4

"Tokenization""Token","ization"2

"GPT-5.5""G","PT","-","5",".","5"6

"你好世界""你好","世界"2-4（取决于模型）

关键发现：中文的Token效率比英文低约30%-50%。同一内容的中文版本需要约英文版两倍的Token

（来源：PromptQuorum）。这意味着：

-用中文对话比英文更贵；

-中文内容更快消耗上下文窗口；

-Qwen3在CJK脚本上实现了约0.3Token/字符，而GPT-5.5约为0.5Token/字符，40%的Token节省（来

源：PromptQuorum）。

来源：火山引擎开发者社区《大模型核心概念科普：Token、上下文长度、最大输出》

2.2上下文窗口（ContextWindow）

上下文窗口是LLM在单次推理过程中可处理的全部Token序列的最大长度，包括：

-输入部分（用户提示词、历史对话、附加文档等）；

-输出部分（模型当前正在生成的响应内容）。

常见模型的上下文窗口大小（截至2026年7月）：

模型上下文窗口近似单词当量实际文档限制

GPT-5.5（OpenAI）128K-1MToken约96,000-750,000词约200-1500页PDF

ClaudeOpus4.7/4.8（Anthropic）200K-1MToken约150,000-750,000词约300-1500页PDF

Gemini3.1Pro（Google）2MToken约1,500,000词约3,000页PDF

DeepSeekV4-Pro1MToken约750,000词约1500页PDF

混元Hy3128KToken约96,000词约200页PDF

GLM-5.1512KToken约384,000词约800页PDF

Qwen3-Max1MToken约750,000词约1500页PDF

Kimik1.51MToken约750,000词约1500页PDF

13

WorkBuddy进阶手册犀流沙

注：不同来源的上下文窗口数据可能存在差异，部分模型可能存在输入/输出Token分别限制的情

况。例如GPT-5.5支持1M输入/128K输出。以上数据综合自太平洋科技2026年横评、

PromptQuorum、火山引擎开发者社区等来源，截至2026年7月未能确认所有模型的具体上下文窗

口数值。

2.3上下文窗口为什么有硬性限制？

上下文窗口的限制不是人为设置的，而是由技术架构决定的：

1.自注意力机制的二次方复杂度（O(n²)）：这是最根本的原因。生成每个新Token时，模型需要计算

它与所有历史Token的注意力权重。Token数量翻倍，计算量翻四倍。KVCache的显存占用与总序列

长度成正比，超过窗口会导致显存溢出或计算错误。

2.位置编码的范围：模型在训练时见过的上下文长度是有限的，位置编码能覆盖的范围直接限制了模型

能处理的最大序列长度。

3.训练阶段就决定了上限：模型在训练时使用特定长度的序列，超出这个长度的位置信息模型"从未见

过"。

4.推理成本与上下文长度成正比：更长的上下文=更贵的推理成本。

2.4多轮对话与上下文截断

多轮对话的本质：当你使用API进行多轮对话时，服务端不记录上下文。每次请求时，你都需要将之前所

有对话历史拼接好后传递给模型。以DeepSeek为例：

第一轮请求：

[{"role":"user","content":"世界上最高的山是什么？"}]

第二轮请求：

[{"role":"user","content":"世界上最高的山是什么？"},

{"role":"assistant","content":"世界上最高的山是珠穆朗玛峰。"},

{"role":"user","content":"第二高呢？"}]

上下文截断：当累计输入+输出达到上下文窗口上限时，服务端会丢弃最早的Token，仅保留最近的

Token。这就是为什么在多轮对话中，模型会"失忆"—它不是忘了，而是根本看不到被截断的内容。

示例（以64K上下文窗口为例）：

-第1轮：输入10K+输出10K→累计20K

-第2轮：输入30K+输出14K→累计64K

-第3轮：新输入5K→服务端丢弃最早的5KToken，保留最近59K+新5K=64K

来源：火山引擎开发者社区《大模型核心概念科普》

14

WorkBuddy进阶手册犀流沙

2.5"LostintheMiddle"效应

斯坦福大学Liu等人2023年的研究发现，Transformer注意力系统性地低估长上下文中间的信息。对于超

过约2,000个Token的提示，模型对开头和结尾的信息给予更多关注，中间的信息容易被忽视。

对WorkBuddy用户的实操建议：

-将最重要的指令放在系统提示（开头）；

-在用户消息结尾重复关键约束；

-对于超过50,000Token的文档，使用RAG分块检索而非完整上下文填充。

来源：Liuetal.(2023)"LostintheMiddle:HowLanguageModelsUseLongContexts"

三、推理机制（预训练→微调→推理）

3.1大模型的完整生命周期

理解大模型，必须理解它的完整生命周期—从"一堆原始数据"到"你手里的API"，共经历四个阶段：

原始数据→预训练→SFT微调→RLHF对齐→量化部署→API服务

每一个你能感知到的模型行为，背后都有对应的训练决策。

3.2阶段一：预训练（Pre-training）—从"白纸"到"博学"

目标：让模型掌握语言的基本规律—语法、语义、逻辑推理和世界知识。

方法：在海量文本上训练模型预测下一个Token。就这么一个任务，重复几十亿次。模型每猜错一次，就

调整内部参数—这个调整过程叫反向传播（Backpropagation）。

数据规模：万亿级Token。Llama3.3在约15万亿Token上训练；GPT-4估计在1至2万亿Token上训练

（来源：PromptQuorum）。DeepSeek-V3的预训练数据包含约14.8万亿Token（来源：极客老墨《大

模型是怎么炼成的》）。

预训练成本：DeepSeek-V3的预训练花了约558万H800GPU小时，折合成本约557万美元（来源：极客

老墨）。这就是为什么大模型的研发门槛极高—不是算法有多难，是算力烧不起。

预训练后的模型叫基础模型（BaseModel）。它博闻强识，但"说话毫无规矩"—你问它"怎么做蛋炒

饭"，它可能给你续写"的做法，与红烧肉相比……"，因为它只会"续写"，不会"回答"。

ScalingLaws（规模定律）：OpenAI团队在2020年发表的研究报告《ScalingLawsforNeural

LanguageModels》首次系统揭示了语言模型性能与模型参数量、训练数据量、计算量之间的幂律关

系。简单来说：

-模型参数量越大，性能越好；

15

WorkBuddy进阶手册犀流沙

-训练数据量越大，性能越好；

-计算量越大，性能越好；

-当三者同时放大到临界点时，模型会涌现出小模型完全不具备的能力—这就是涌现能力（Emergent

Abilities）。

涌现能力的典型表现：

-上下文学习（In-ContextLearning）：无需微调，仅通过示例就能学会新任务；

-链式推理（Chain-of-Thought）：逐步推理解决复杂问题；

-代码生成：从几乎完全不会，到某一规模后突然具备该能力。

来源：OpenAI《ScalingLawsforNeuralLanguageModels》(2020)、集智百科《大语言模型的

涌现》、ZhendaAINotes《规模效应与涌现能力》

3.3阶段二：监督微调（SFT）—从"读书人"到"听话的助手"

目标：把基础模型训练成能按人类指令行事的助手。

方法：收集大量"指令→高质量回答"的配对样本，让模型学习"当人类这么说，应该这么答"的模式。

示例数据：

指令："用Python写一个快速排序函数"

回答："defquicksort(arr):"

SFT数据来源：

-OpenAI、Anthropic等公司雇佣大量标注工程师，手工编写高质量问答对；

-DeepSeek等走了另一条路—用更强的模型来生成训练数据，大幅降低人工成本。

SFT解决的是"模型听不听话"的问题，不是"模型说没说真话"的问题。SFT之后，模型开始能正常"对

话"了，但它还有一个根本问题：它不在乎说的是否正确，只在乎说的像不像训练集里的高质量答案。它

会"表演有帮助"，而不是真的有帮助—这就是幻觉（Hallucination）的根源之一。

3.4阶段三：RLHF/DPO对齐—教模型说"对的话"

RLHF（基于人类反馈的强化学习）是让大模型真正变得"可用"的关键一步。

流程：

1.收集偏好数据：让人类标注者对同一问题的多个回答进行排序（哪个更有帮助、更安全、更诚实）；

2.训练奖励模型：用偏好数据训练一个"AI考官"，学会区分"有帮助的回答"和"看起来有帮助但实际不对

的回答"；

3.强化学习优化：用奖励模型指导主模型优化，让模型学会生成高分回答。

DPO（直接偏好优化）是RLHF的简化版本，跳过奖励模型训练步骤，直接通过偏好数据优化模型，计算

效率更高，被Llama和Mistral等模型采用。

16

WorkBuddy进阶手册犀流沙

ConstitutionalAI是Anthropic为Claude开发的方法，通过一套书面原则（"宪法"）指导模型行为，减

少对人类反馈的依赖。

新一代推理模型（如DeepSeek-R1、OpenAIo3）还加入了基于过程的强化学习—不只奖励最终答案

是否正确，还奖励推理过程中的每一步是否合理，这让模型真正学会了"一步一步想"。

对WorkBuddy用户的启示：RLHF决定了模型的"价值观"和风格，这也是不同厂商的模型风格差异最大

的地方。当你发现模型拒绝你的请求时，这不是模型"不会"，而是RLHF对齐的结果—换个说法往往绕

得过去。

来源：极客老墨《大模型是怎么炼成的》、PromptQuorum《LLM工作原理解析》、腾讯云开发者

社区《大语言模型训练范式入门课》

3.5阶段四：量化与部署—从实验室到生产环境

训练完成的模型参数量动辄几百亿甚至几千亿。DeepSeek-V3有6710亿参数，直接运行需要几十张顶级

GPU。

量化（Quantization）：把模型参数从高精度浮点数（FP32/BF16）压缩成低精度整数（INT8/

INT4），体积缩小2-8倍，推理速度大幅提升，精度损失通常在1-3%以内。

MoE（混合专家）架构：DeepSeek-V3的6710亿参数中，每次实际激活的只有370亿，其余的"专家"按

需调用。这让超大模型在推理时的实际算力消耗和同等激活参数的密集模型相当。

3.6推理时的完整流程

当你发出一个请求，从你的文字到屏幕上的回答，经历了以下步骤：

输入文本→Tokenization（分词）→Embedding（向量化）→

Transformer解码层×N→语言模型头（LMHead）→

Softmax（概率分布）→采样（选下一个Token）→

添加到输入序列→重复直到生成结束符（EOS）

关键步骤详解：

1.Tokenization：将文本拆分为TokenID序列。如"大模型原理"→[2345,6789]。

2.Prefill（预填充）：将所有输入Token并行送进模型，一次性算完它们之间的关联关系，生成第一个

输出Token，并缓存中间计算结果—这个缓存叫KVCache。

3.自回归生成：每一步只预测下一个Token的概率分布，从中采样一个，追加到序列末尾，然后重复。

这就是你看到"打字机效果"的根本原因—模型在物理上就是一个Token一个Token地往外吐。

4.KVCache加速：每生成一个新Token，模型只需要计算这个新Token和所有历史Token的关系，历史

Token之间的关系已经缓存在KVCache里，不用重算。没有KVCache，计算量随序列长度平方爆

炸。

17

WorkBuddy进阶手册犀流沙

自回归没有全局规划—这是大模型最重要的局限之一。它不知道自己接下来要说什么，只知道当前序

列下一个词最可能是什么。这就是为什么让模型写长结构化内容时后半段容易跑偏—在指令中提前给

出结构框架，相当于给每一步的局部预测提供了全局线索。

来源：极客老墨《大模型是怎么炼成的》、ZhendaAINotes《核心原理概览》

四、温度与采样策略

4.1模型是如何选择下一个Token的？

模型对每个Token位置都会产出整个词汇表（通常50,000-100,000+个Token）的logits（原始分数），

经过Softmax函数转为总和为1的概率分布。采样策略决定了"如何从这个概率分布中挑选一个Token"。

4.2温度（Temperature）—随机性的"音量旋钮"

机制：在Softmax之前，将logits除以温度值T。仅此一步，但效果巨大。

$$P(t_i)=\frac{e^{z_i/T}}{\sum_je^{z_j/T}}$$

温度值效果适用场景

T→0永远选最高概率的Token，输出确定代码生成、JSON提取、结构化任务

T=1.0原始概率分布，不调整通用场景默认值

T=0.3-0.5分布变"尖峰"，模型更保守、可预测事实性问答、数据分析

T=0.7-0.9适度随机，输出多样但连贯聊天、内容创作

T>1.0分布变平，低概率Token也有机会头脑风暴、创意写作

分布非常平坦，模型容易"胡言乱语"极少使用，幻觉风险极高

T>1.5⚠

核心认知：温度不控制"智商"，只控随机性。高温不会让模型更聪明，只会让输出更多样（但也更不可

靠）。

4.3Top-K采样—固定候选数量

机制：从全词表保留概率最高的K个Token，其余丢弃，概率质量在幸存者中重分配。

·K=50：仅从top50候选中选；

·K=5：仅从top5候选中选；

·K=1：回到贪心解码（纯确定性）。

18

WorkBuddy进阶手册犀流沙

缺陷：K是固定的，不随上下文置信度调整。模型很自信时（3个Token占95%概率），K=50会纳入大量

噪声；模型不确定时（200个Token皆有微小概率），K=50会截断好选项。因此Top-K是"不灵活"的。

4.4Top-P（核采样/NucleusSampling）——自适应候选数量

机制：不固定数量，而是保留最小Token集合，使其累计概率≥阈值P（从最高概率往下加）。

·P=0.9：模型累加至总和0.9为止。自信时可能仅3个Token；不确定时可能200个。

·P=0.5：更严格的限制，候选更少。

优势：自适应分布形状。当下一个词很明显时（"埃菲尔铁塔在"），候选极少；当下一个词有多种可能

时（"她感到"），候选池更宽。因此成为多数生产系统的默认策略。

4.5Min-P——2026年新秀

Min-P是相对最高概率Token设阈值。例如，top概率为0.8，Min-P=0.1→砍掉概率低于0.08的Token。

Min-P随模型自信度缩放，2026年开源圈推崇"温度+Min-P"组合。

4.6三种策略对比

维度温度（Temperature）Top-KTop-P（Nucleus）

作用阶Softmax前，缩放logitsSoftmax后，过滤候选Softmax后，过滤候选

段

核心操除以T改变分布形状保留固定数量K个最高概保留累计概率≥P的最小

作率TokenToken集

是否自否（仅全局调整锐度/平坦度）否（K固定，不顾置信是（随模型置信度收紧/放

适应度）宽）

极端值T=0→贪心；T>1.5→不连贯K=1→贪心；K大则含噪声P小则严；P大则宽

效果

典型用代码/事实:0-0.3；聊天:0.5-0.7；创常与Top-P并用但可能互生产默认，如P=0.9/0.95

法作:0.8-1.2相覆盖

实操建议：

-代码/事实性任务：Temperature=0.0-0.3，Top-P=0.9；

-日常聊天/内容：Temperature=0.5-0.7，Top-P=0.9-0.95；

-创意写作/头脑风暴：Temperature=0.8-1.0，Top-P=0.95；

-不建议：Temperature>1.5，幻觉风险极高。

⚠

19

WorkBuddy进阶手册犀流沙

来源：ThousandMiles.ai《HowLLMsActuallyGenerateText》、PromptQuorum《LLM工作原

理解析》、火山引擎开发者社区

五、主流大模型对比（GPT/Claude/DeepSeek/混元等）

5.12026年模型格局总览

2026年，AI大模型呈现"海外三强守擂、国产全面突围、开源颠覆成本"的格局（来源：太平洋科技2026

年横评）。

第一梯队（90分+，全能旗舰）：GPT-5.5、ClaudeOpus4.7、Gemini3.1Pro

第二梯队（80-90分，场景强者）：通义千问Max（88.5分）、Kimik1.5（87.8分）、DeepSeekV4-Pro

（87.5分）

第三梯队（70-80分，轻量化/垂直优选）：文心一言4.5、Grok4.0、Llama4Maverick

20

WorkBuddy进阶手册犀流沙

5.2核心模型详细对比

21

WorkBuddy进阶手册犀流沙

ClaudeGeminiDeepSeek混元

维度GPT-5.5GLM-5.1Qwen3-Max

Opus4.73.1ProV4-ProHy3

厂

OpenAIAnthropicGoogle深度求索腾讯智谱AI阿里

商

上

1M输入/1M输入/2M1M128K512K1M

下

128K输出128K输出

文

窗

口

编

74.9%64.3%(SWE-48.2%54.9%

程———

(SWE-

能bench)

bench)

力

数

92.0%95.5%强96.8%90.8%89.2%

学—

(MMLU)(MATH-500)

推

理

中

一般（语法一般（网络好强71.5+71.5+

文—

（社(SuperCLUE)(SuperCLUE)

理错误、语义梗困难）

交场

解偏差）

景）

响

1.5秒2.1秒2.3秒<1.2秒<1.2秒

应——

速

度

API输入$5/输输入$15/输极低（开输入$0.5-1/输输入$0.5-1/输

价——

出$15（每源）

格出$75（每百出$2-3出$2-3

百万万Token）

Token）

开

否否否是（Apache否否部分开源

源

2.0）

国

☒☒☒☒☒☒☒

内

合

规

22

WorkBuddy进阶手册犀流沙

注：以上数据综合自太平洋科技2026年横评、51CTO《国内外主流大模型选型指南》等来源。部分

模型的具体评测数据截至2026年7月未能确认。

5.3各模型核心优势与短板

GPT-5.5：

-☒综合能力第一，生态最完善，Agent编程全能王；

-☒均衡推理，通用编程均衡，适合日常开发与脚本编写；

-☒多模态能力顶尖（图文解析、OCR、视频帧提取）；

-☒价格最高（国内访问受限），数据隐私风险。

ClaudeOpus4.7：

-☒代码工程能力第一，低幻觉，指令遵循精准；

-☒复杂架构理解、代码重构能力顶尖，适配大型项目开发；

-☒长上下文处理能力强（100万Token）；

-☒价格昂贵，多模态能力略逊于Gemini。

DeepSeekV4-Pro：

-☒代码/数学推理国产第一，性价比之王，全面开源；

-☒数理演算精准（MATH-50096.8%），适合科研与数据分析；

-☒API价格极低，支持私有化部署；

-☒日常对话体验一般，响应速度较慢。

混元Hy3：

-☒微信生态深度绑定，社交场景理解强；

-☒国内合规，支持私有化部署；

-☒通用能力与第一梯队有差距，上下文窗口仅128K。

GLM-5.1：

-☒中文理解顶尖（SuperCLUE71.5+），语义理解精准、文案创作地道；

-☒高性价比，支持私有化部署；

-☒复杂推理与顶尖编程仍有差距。

Qwen3-Max：

-☒CJK脚本Token效率极高（0.3Token/字符），中文API成本比GPT低40%；

-☒中文理解顶尖，响应速度极快（<1.2秒）；

-☒顶尖编程能力不及Claude。

23

WorkBuddy进阶手册犀流沙

5.4核心结论

2026年无全能王者，只有场景最优：

-编程/Agent→ClaudeOpus4.7（首选）、GPT-5.5（备选）；

-数学/科学推理→DeepSeekV4-Pro、Gemini3.1Pro；

-中文办公/内容创作→GLM-5.1、Qwen3-Max；

-长文档处理→Kimik1.5、ClaudeOpus4.7；

-多模态创作→GPT-5.5、Gemini3.1Pro；

-高性价比/私有化部署→DeepSeekV4-Pro、Qwen3-Max；

-微信生态/社交场景→混元Hy3。

来源：太平洋科技《2026主流AI模型实测横评》、51CTO《国内外主流大模型选型指南》

实操方法

方法一：如何根据任务特点选择合适的模型

选模型不是"谁最强用谁"，而是"谁最适配你的场景与预算"。以下是系统化的选型方法：

步骤1：明确任务类型

将你的任务归入以下类别之一：

任务类型典型场景核心需求

代码开发编程、调试、重构、代码审查代码准确性、架构理解

逻辑推理数学计算、逻辑分析、复杂决策推理准确性、低幻觉

中文创作公文写作、营销文案、短视频脚本中文地道性、本土化

长文档处理合同审查、论文分析、书籍摘要上下文窗口大小、信息提取

多模态图文分析、OCR、视频理解多模态能力

数据分析数据清洗、统计分析、可视化数理能力、代码生成

日常对话客服、聊天、简单问答响应速度、成本

24

WorkBuddy进阶手册犀流沙

步骤2：评估约束条件

约束条件问题

数据合规是否需要数据留在国内？是否需要私有化部署？

预算限制API费用预算是多少？是否需要开源免费方案？

延迟要求是否需要实时响应（<1秒）？

上下文需求输入文档有多长？是否需要百万级上下文？

步骤3：匹配模型

IF任务=代码开发AND预算充足→ClaudeOpus4.7

IF任务=代码开发AND预算有限→DeepSeekV4-Pro

IF任务=数学推理→DeepSeekV4-Pro

IF任务=中文创作AND预算充足→GLM-5.1/Qwen3-Max

IF任务=中文创作AND预算有限→DeepSeekV4-Flash/Qwen3-Coder

IF任务=长文档处理AND文档>100页→Kimik1.5/ClaudeOpus4.7

IF任务=长文档处理AND文档<50页→Qwen3-Max/DeepSeekV4-Pro

IF任务=多模态→GPT-5.5/Gemini3.1Pro

IF需要国内合规→DeepSeek/GLM-5.1/Qwen3-Max/混元

IF需要私有化部署→DeepSeek（开源）/GLM-5.1/Qwen3-Max

IF需要极致性价比→DeepSeek