MINIMAXWP模型智能持续突破解锁商业化潜能

目录投资概要：模型智能持续突破，解锁下游应用场景商业化潜能 1模型即应用驱动模型智能提升，解锁下游场景 1粗放扩张时代已过，架构创新&驱动模型智能进一步发展 3技术仍然是第一竞争要素，产&商业化优先级靠后 7财务摘要：短期受模型训练投入费用率仍然较高，收入结构逐渐多元化 10行业技术路线概述 12数据筛选（从清洗到合成） 12训练效率（MoE/GQA/MLA） 16盈利预测与估值 18投资评价和建议 18风险分析 20报表预测 21图目录图随着模型智能提升，其能够自动化解决的任务难度指数级提(纵轴为任务解决时间，已对数) 1图系统在阅读理解图像识别语义理解手写之别音频识别推理等领域陆续达到乃至超过人类平均水平 1图年以来模型训练投入的算力加速增长 2图4:2023-25年前沿模型在性能方面也迅速提升 2图第三方智库估计2026-28年我们可能就会穷尽所有数据用于大模型预训练 3图目前业界主要朝架构创新/推理时发展 4图主流模型团队的技术路线倾向 4图从经典的残差连接扩展至超连/流形约束超连接 5图的基于Moonshot团队提出的Muon/Bytedance团队提出的HyperConnection，以及DeepSeek团队MLA/DualPipe&二次迭代更新 图国内大模型团队的技术路线溯源及演进（部分） 6图长期看算力性能迭代速度快于带/存储 7图引入MLA后KV缓存节约90%+，吞吐量提升~5x 7图从线性注意力机制回退至标准注意力机+MoE，但保留了多模态领域的优势 8图汇报架构 8图2023-29年盈利预测 9图16:2022-3Q25收入及同比增速（万美元，%） 11图17:2022-3Q25毛利率趋势（%） 11图18:2022-3Q25费用率趋势（%） 11图19:2022-3Q25增量成本/费用率趋势（%） 11图模型的合成数据流程（GPT-3.5生成Python入门级编程练习题） 1321:100%10%真实数据策略下均值偏离，但分布曲线变化幅度小于100%合成数据 15图22:Transformer架在FFN中入架构 17图MoE16B-A2.7B性能比肩70B 18图24:粒度G对于给定模型大小（N）和训练代价（D）的损失（Loss）的影响 18表目录表1:2022-3Q25盈利表 11表系列模型合成数据策略变化 13表3:Nvidia/Meta/Microsoft合成数据技术路线差异 13投资概要：模型智能持续突破，解锁下游应用场景商业化潜能模型即应用：ScalingLaw驱动模型智能提升，解锁下游场景全球人工智能（AI）产业正经历着一场具有历史意义的结构性转型，其核心特征是从任务导向的小模型向通用型的大模型（LargeModels）进行的跃迁。这一转变不仅是算力与算法的量变，更是从判别式AI向生成式AI的质变。根据MiniMax招股书披露的行业数据，大模型的本质在于通过海量数据的预训练，习得数据的底层统计结构，从而具备执行学习、推理、规划以及泛化多元领域知识等人类智力任务的能力。传统AI（如人脸识别或推荐算法。相比之下，大模型通过在广泛且多样化的数据集上进行预训练，展现出通用性/泛化能力。这种通用性使得一套基础模型能够通过微调或提示工程适配无限的下游应用场景，从而极大降低软件开发和认知劳动的边际成本结构。如下图所示，随着模型沿着ScalingLaw扩张，智能指数化提升，在多个领域达到乃至超过人类平均水平，更重要的是模型推理成本指数化下降（属于通缩项目），这意味着过往社会分工一些项目由劳动力工时加成定价，这部分价格后续可能转变为Token/算力定价，这意味着劳动力的极大解放。英伟达CEO黄仁勋接受访谈时提到1过去电机替代了大量体力，未来AI将在类似规模上增强或替代脑力劳动，他估算大约65%的全球GDP（约50万亿美元）都会以某种方式被AI增强或重构。AI行业会比传统软件行业大得多：传统软件是工具，而大模型/智能体更像数字员工/工厂里的工人，因此不是只靠卖license，而是按工作量、节省的人工成本、产出价值来定价，对应的市场空间覆盖整个人力成本而不仅是IT预算。A16z合伙人AlexRampell2也在博客中提到美国每年大约13万亿美元的劳动力支出，对比只有约3000亿美元的SaaS收入，AI软件可以直接替代部分人工，从而把目标市场从SaaS的几千亿，提升到以劳动力为基数的数万亿级别。图1:随着模型智能提升，其能够自动化解决的任务难度指数级提升(纵轴为任务解决时间，已对数化)

图2:AI系统在阅读理解、图像识别、语义理解、手写之别、音频识别、推理等领域陆续达到乃至超过人类平均水平ETR3 ielaetal.(2023)41/2025/11/21/nvidia-jensen-huang-ai-jobs-growth-elon-musk-entry-level-workers/2/podcast/how-ai-is-transforming-labor-markets/3/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/4WorldBankData，/blog/2025-03-19-measuring-ai-ability-to-complete-long-tasks/港股图3:2010年以来模型训练投入的算力加速增长pochA图4:2023-25年前沿模型在性能方面也迅速提升pochAAnthropicCEODarioAmodei在访谈5/6/7中数次提到，①如果Scalinglaws仍然有效，那么继续扩大训练投入仍然是合理的。只要同步放大模型规模、训练步数和数据量，模型能力几乎沿直线提升；在这种情况下，继续增加规模是获得更强通用能力的最确定路径。②前沿模型会迅速逼近甚至超越人类顶级专业水平，因此在这段时间不跟进就会被甩开，这推动了行业内持续加码训练集群的军备竞赛。③投入10倍训练成本，若能把模型从聪明本科生提升到顶尖博士，在药物研发、代码生成等高价值场景往往能获得超过10倍的商业回报，使得指数级CapEx有合理ROI。因此我们可以简化头部厂商的战略视角为ScalingLaw有效→模型智能提升→解锁高ROI场景/替代高价值工作→超额回报反哺下一代训练。5https:///2024/04/12/podcasts/transcript-ezra-klein-interviews-dario-amodei.html6/dario-amodei-transcript/7/p/a-cheeky-pint-with-anthropic-ceo港股关于ScalingLaw的有效性，2024年11月NeurIPS会议中OpenAI联合创始人，前首席科学家IlyaSutskever公开判断Pre-trainingasweknowitwillunquestionablyend8（过去我们熟知的预训练范式快要走到尽头），这一论断引发业界/学界的广泛讨论。2025年11月Ilya在接受DwarkeshPatel访谈9时进一步补充其观点，Pre-trainingScaling的红利期已过，AI进入了研究与品味的时代。ScalingLaws可能放缓的原因在于①数据枯竭与泛化瓶颈。Ilya认为，仅仅通过喂更多公域数据来提升模型能力的效率正在急剧下降。当模型已经学习了几乎全人类的文本，再往后的提升需要的是类人学习的效率，而非更庞大的语料库。②能力的质变与量变。传统的ScalingLaw预测的是损失函数的降低，但损失降低并不直接等于逻辑推理能力或创新能力的线性提升。模型在面对从未见过的编程问题或数学难题时表现出的平庸，暗示Transformer架构存在结构性缺陷。图5:第三方智库估计2026-28年我们可能就会穷尽所有数据用于大模型预训练pochAI10粗放扩张时代已过，架构创新&RLScaling驱动模型智能进一步发展OpenAIInference-timeScaling11ScalingLaw仍然有效，但不再像过去一样简单粗暴堆砌算力和参数/训练语料，而转向架构优化。简单来说，Ilya指出的问题是依靠堆砌算力/参数/数据，模型的学习效率边际降低，这与人类的经验不符，人类学习驾驶只需10-20小时，而AI可能需要海量数据，并且人类往往具备触类旁通的能力，可以跨领域移植经验，这会导致人类的学习效率边际提升（而非目前大模型所展现的降低）。以Google为代表的观点认为，智能的本质在于多模态的统计关联密度。Gemini3通过极致的工程，让文本、视频、音频在同一个LatentSpace（潜在空间）中进行Scaling。它的智能来自于见多识广。通过预训练规模的延展，Gemini3拥有近乎物理直觉的常识，这是靠小而美架构很难短期补齐的底座厚度；以DeepSeek为代表的观点则认为，智能的本质是压缩，通过更精妙的数学压缩（如低秩压缩），可以在更小的物理规模下实现同8https:///2024/12/13/24320811/what-ilya-sutskever-sees-openai-model-data-training9https:///p/ilya-sutskever-210https://epoch.ai/blog/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data11/index/trading-inference-time-compute-for-adversarial-robustness/港股等的逻辑复杂度，从而变相提升Scaling的ROI（边际推理成本降低，边际收益基本不变或者略微下降），典型作品就是MLA。图6:目前业界主要朝架构创新/推理时ScalingLaw发展rxiv图7:主流模型团队的技术路线倾向rxiv从主流模型团队已经公开的技术博客/论文来看，OpenAI/Anthropic均已在架构创新+推理侧ScalingLaw深港股入布局，Google仍然固守预训练ScalingLaw（部分得益于数据语料的先天优势，国内团队双边押注，但在架DeepSeek的MLA的门控注意力机制、Bytedance的HC，均反映顶尖模型研究团队持续迭代创新的能力。如果说单点创新开源不构成竞争壁垒，那么研发侧的壁垒在于工程能力架构创新。以DeepSeek基于Bytedance提出的Hyper-Connection为例，HC论文中提到智能来源于深度的有效利用。推理能力似乎源于深度，因此也间接地源于更优的层组合。传统残差网络在极深层次下会出现表征崩溃，即深层神经元特征变得极度相似，导致加层不再增加智能。字节团队通过通过超连接将单一残差流扩展为多条并行车道（n因子扩展），并引入可学习的混合矩阵。这种拓扑复杂性的增加，使得模型能够执行更复杂的形式化运算（电路变换器效应），从而在数学和编程等高难度推理任务中表现出更高的收敛效率和精度。图8:从经典的残差连接扩展至超连接/流形约束超连接eepSee更通俗地理解，传统残差像是一条单行的传送带，每一层只能在上一层的基础上做微调。如果这条传送带太长，信号会逐渐被磨平，失去独特性，即信息在介质中传递不断损耗。而超连接打破线性依赖，引入n倍的独立子通道，这相当于给信息流开了多车道，强制让不同的神经元去负责信息的不同侧面（比如一部分负责逻辑，一部分负责常识）。此外，HC允许层与层之间进行非线性跳转。信息不再是1→2→3，而可能是从1楼直接跳到5楼，或者2楼和3楼并排工作。这种灵活性使得特征在传递过程中保持了极高的熵（即信息量），让深层特征依然具有独特性，从而解决了表征崩溃。港股图9:DeepSeek的mHC基于Moonshot团队提出的Muon/Bytedance团队提出的HyperConnection，以及DeepSeek团队MLA/DualPipe&TileLang二次迭代更新rxiv图10:国内大模型团队的技术路线溯源及演进（部分）rxiv在字节Hyper-Connection原始设计中，为了让信息多车道流动，每一层往往会把多个车道的信息相加，这导致在前向传播时，数值会越来越大（信号放大），而反向传播时，梯度会沿着所有车道同时回传，层数一DeepSeek引入Sinkhorn-Knopp在复杂的系统设计下，DeepSeek在用算力冗余换取带宽/存储空间，从而提升集群效率。1）如果使用港股ython/yochHMeepeek利用自研的TieangenelusonPU在等待数据从HM加载到芯片SAM的间隙，就顺便完成了这些额外计算。虽然计算量增加，但由于没有增加额外的显存读写次数，实际运行时间只是轻微增加。高并发意味着需要同时处理大量请求，这极度消耗VRAM。复杂的连接结构理论上会增加中间状态的存储开销，挤占显存。DeepSeek结合MLA低秩矩阵压缩技术，将大模型推理中最占显存的KVCache压缩90%以上。总结来看，低成本源于底层算子优化（利用带宽空闲期计算），高并发源于架构资源置换（MLA省下显存给mHC用）。图11:长期看算力性能迭代速度快于带宽存储 图12:DeepSeek引入后缓存节约吞吐量提升~5x信建投 ecodingMulti-HeadLatentAttention12上述DeepSeek的案例深度反映工程&研究能力是目前模型团队的竞争核心要素，这里的研究能力主要指的是提出新想法/思路的能力，而工程能力则是将想法落地，不断试错/打磨的能力。如果说研究能力可以依靠挖掘少部分顶尖人才快速提升，工程能力则依靠工程团队与研究团队的紧密合作&沟通实现，DeepSeek的持续创新迭代并非简单地由少数顶尖算法人才提出的思路实现，背后的工程能力（自研TileLang语言/MLA机制）也非常重要。MiniMax在官方博客中也提到，相比FullAttention,LinearAttention和SparseAttention的基建要差的多想要真的拿到收益要补不少课。以LinearAttention的基建问题为例如果对现在已有的线性结构做计算强度分析,会发现不少结构都是访存bound。如果不能做极致的IO优化,从GPU算力利用来讲是吃亏的。因此，寻求非共识的架构创新需要底层技术栈的完备支持，否则最终系统优化迭代速度可能无根比肩专业分工（CUDA生态+算法开源）。技术仍然是第一竞争要素，产品&商业化优先级靠后就国内模型团队而言，我们的竞争分析就主要围绕1）模型团队的履历（表征研究水平）及工程能力，2）商业化经验两个维度进行。我们在图7-8、11中已经对中国大模型团队的研究图谱做了总结，相比于DeepSeek/Qwen/字节聚焦于Mo算子优化，MiniMax团队侧重于注意力机制/2024年提出线性注意力机制，2025年推出流匹配E架构用于端到端语音生成，Syn用于合成数据反哺端到端多模态能力。就研究&工程积累，国内第一梯队仍然是DeepSeek/Qwen/字节等团队，MiniMa智谱等处于第二梯队。12/p/decoding-multi-head-latent-attention港股图13:MiniMax从线性注意力机制回退至标准注意力机制+MoE，但保留了多模态领域的优势rxiv，MiniMa但团队的优势在于创始团队的商业化经验。创始人兼CEO闫俊杰，中科院自动化所博士，前商汤科技副总裁、研究院副院长，联合创始人及战略运营贠烨祎，前商汤科技CEO办公室战略负责人，主导MiniMax的合规备案与政府关系（GR）智慧城市事业群，具备卓越的技术和管理能力，36kr报道闫俊杰在商汤带领过700余人的团队，把面部识别算法做到了行业第一，智慧城市业务2021年收入超20重交付（需要把算法部署到各种非标的摄像头和服务器上），重工程（处理海量视频流并发），这反映闫俊杰具备带领团队较好地实施toB交付/工程优化的能力。图14:MiniMax汇报架构司公如果我们参考OpenAI的团队思路，大模型的商业化就是在模型解锁的场景不断规模化探索，触顶后依靠13/zh/p/3609258452141057港股技术迭代解锁下一批场景，直到ScalingLaw放缓/客观条件不支持继续倍数投入研发。例如OpenAI未来的收入增长要从ChatGPT单一产品贡献拓展至API、Agents、广告等，这就需要对应商业化人才的支持，一个粗糙的测算方式即将ChatGPT参考订阅制产品Netflix，全球3亿订阅用户，12.5美元/月，2025年全年约450亿美元收入，ChatGPT单款产品的商业化天花板目前参考这个标准量级上不会有太大差异，TheInformation的报道2029年ChatGPT收入在500亿美元左右。图15:OpenAI2023-29年盈利预测heInformation14MiniMax2021-23年聚焦于AItoC赛道。在MiniMax创立初期（2021年底），闫俊杰的核心思考是技术必须要转化为服务大众的产品。产品体验（如语音交互的丝滑度、角色的拟人感）几乎完全取决于底层模型的能力。大模型在多模态（语音、视觉）上的每一次进步，核心价值在于降低用户门槛，从而带来更高的用户渗透率。例如，GPT-4o式的实时语音交互能让不方便打字的人也能使用AI。通过做C端产品（如Glow、星野、海螺AI），可以直接接触用户。早期逻辑中，C端产品能提供大量异质化的用户反馈（RLHF），帮助模型对齐人类偏好。2024年反思数据飞轮在领域不完全成立。移动互联网时代，用户越多→数据越多→推荐算法越准→产AI例如Chat的日活是Claude的50-100（DAU）并不能让模型变聪明。2025年初闫俊杰访谈时15提出，智能水平的提升不依赖于海量用户。因此，MiniMax现在的战略重心从做增长、做营收重新聚焦回加速技术迭代。如果模型没有代差级的优势，靠投流买来的用户没有意义；只有技术突破（如更长的Context、更好的视频生成）才能带来真正的SuperApp。战略思考的变化也折射到人事变动层面，产品商业化的优先级有所靠后。年初张前川在高瓴的牵线下加入MnMa/MnMax后担任PTalke、星APP，拥有极高的独立决策权，且星野/Talkie实际上也在海外取得不错进展。20249月，媒体报14https:///articles/openai-forecasts-revenue-topping-125-billion-2029-agents-new-products-gain?ref=thoughtf15https:///news/202501171088573港股道16张前川已转为战略顾问，实质上退出日常管理。2API开放平台的魏伟（前腾讯云百度智能云高管）也被证实离职17，招股书/近期动态显示，MiniMax大幅裁撤/缩减销售与交付团队年以来阿里/API方面深度降价，MiniMaxAPI价格战对业务的拖累。换句话说，过早的介入toC/toB应用也反映了创始人对于Scaling的判断，模型智能提升边际放缓，此时发展toB/toC产品尽早商业化有先发优势。Kimi/Moonshot同期也尝试通过投流&C端产品2月DeepSeek-R1CDAU方面快速超过豆包/Kimi，因此这一变化验证了传统移动互联网的规模/网络效应在AIMiniMax创始人闫俊杰2025年初接受LatePost访谈时18提到，2024年制定收入目标的时候还是按照移动互联网的逻辑，2025年不会再制定收入目标，而是定技术研发目标。财务摘要：短期受模型训练投入费用率仍然较高，收入结构逐渐多元化MiniMax展现极强的收入增长动能。2025年前三季度（1-3Q）实现总收入5,344万美元，较2024年同期的1,945万美元增长约175%。收入结构优化，公司已摆脱单一产品依赖，形成三驾马车驱动格局。1）Talkie/星野：作为基石产品，2025年前三季度贡献收入1,875万美元，保持稳健。2）海螺AI：作为新增长极，在20251,746万美元01的爆发。开放平台1,542万美元，同比大幅增长（2024同期约为592万美元），显示出大模型商业化落地的有效性。毛利率显著修复，业务盈利能力强劲。202520242.6%大幅提升至2025年前三季度的23.3%69.4%，体现了较强的软件服务属性和边际效应。2）AI原生产品（ToC）：毛利率由负转正，达到4.7%。虽然已扭转了2022-2023年的深度亏损状态（2022年为-380.2%），但受制于高昂的推理成本，C端产品的单位经济模型仍处于打磨期。成本结构方面，营销费用占比下降，研发费用受训练开支推动比例仍然较高。MiniMax在2025年呈现出明显的重研发、轻营销战略转型。1）研发投入激增：2025年前三季度研发开支高达1.8亿美元，其中云计算服务开支（1.42亿美元）占比高达79%。这表明公司正处于模型训练和算力储备的密集期，算力成本是目前最大的支出项。2）营销效率提升：销售及营销开支不升反降。在收入翻倍增长的同时，营销开支从2024年同期的5,339万美元缩减至2025年前三季度的3,933万美元。这意味着公司获客效率显著提升，不再单纯依赖烧钱换增长，产品具备了更强的自然增长属性。尽管营收增长强劲，但受制于巨额的算力投入，公司仍处于亏损状态。2025年前三季度净亏损扩大至5.12亿美元。经调整净亏损方面，剔除股权激励等非现金因素后，2025年前三季度经调整净亏损为1.86亿美元，较2024年同期（1.7亿美元）略有扩大，但考虑到收入规模的倍增，实际亏损率正在收窄。总结来看，MiniMax在2025年实现了从验证期向成长期的跨越。营收高速增长、收入来源多元化、ToB业务高毛利支撑、ToC业务由负转正。目前最大的财务压力来自于以云计算为主的研发投入，但营销费用的下降和毛利率的提升显示出公司正逐步优化其商业模型的健康度。16https://36/p/294555759737920417https:///news/102480253.html18https:///news/202501171088573港股图16:2022-3Q25收入及同比增速（万美元图17:2022-3Q25MiniMax毛利率趋势0

782%20243Q

10175%8175%642020251-3Q

23.3%12.2%23.3%12.2%2.6%2023 20241-20251-3Q -24.7%0%收入(Revenue) 同比增速

毛利率司公 司公图18:2022-3Q25MiniMax费用率趋势图19:2022-3Q25MiniMax增量成本费用率趋势

2022 2023 2024 20243Q

20251-3Q

2022 2023 2024 20241-3Q增量成本率 增量研发费用

20251-3Q研发费用率 销售费用率 管理费用率

增量销售费用率增量管理费用率司公 司公表1:2022-3Q25MiniMax盈利表财务指标（千美元，%）20222023202420241-3Q20251-3Q收入（千美元）03,46030,52319,45453,437MiniMax756海螺AI2,34717,464MiniMax语音1,050Talkie/星野75819,45813,52918,750开放平台及企业AI收入2,7028,7185,92515,417销售成本-854-4,314-26,785-18,944-40,961AI原生产品-3,640-23,581-16,711-36,246开放平台及其他基于AI的企业服务-674-3,204-2,233-4,715毛利润-854-854-3,738-510-12,476毛利率-24.7%12.2%2.6%23.3%AI原生产品-380.2%-8.1%-23.5%4.7%港股开放平台及其他基于AI的企业服务75.1%63.2%62.3%69.4%研发开支-10,560-70,002-188,979-138,684-180,312云计算服务开支-4,149-47,229-140,642-103,114-142,397其他-6,411-22,773-48,337-35,570-37,915销售及营销开支-587-22,827-86,995-53,389-39,325推广开支-345-22,035-84,861-52,122-36,190其他-242-792-2134-1267-3135一般及行政开支-3,213-7,615-14,384-9,610-22,074净亏损-73,728-269,246-465,238-304,342-512,013经调整净亏损-12,150-89,074-244,243-170,179-186,280行业技术路线概述数据筛选（从清洗到合成）在2023年之前，预训练的核心逻辑是清洗（Curation），假设Web数据中隐藏着黄金。但进入2023H2后，随着高质量人类语料库（High-QualityHumanToken）接近枯竭，行业范式转向数据合成。实验表明，基于高质量合成数据训练的小模型（如Phi系列），在逻辑推理与代码任务上能够击败参数量大10-50倍的传统模型。合成数据已从微调阶段的锦上添花，变成了预训练阶段的基石。微软研究院在Phi-1/Phi-1.5/Phi-2系列工作中确立了TextbooksAreAllYouNeed的范式。传统Web数据虽然规模大，但信噪比低，充斥着非结构化的碎片信息。Phi-1(2023)仅使用1.3B参数，在7BToken的教（Python代码HumanEval表现超过了175BGPT-3微软团队GPT-4生（ScalingLaws），更取决于数据的信息密度。合成数据本质上是一种知识压缩，去除了人类自然语言中的冗余和噪音。港股图20:Phi-1模型的合成数据流程（GPT-3.5生成Python入门级编程练习题）TextbooksAreAllYouNeed表2:Phi系列模型合成数据策略变化维度Phi-1(2023.06)Phi-2(2023.12)Phi-3(2024.04)是否使用合成数据？是（辅助增强）是（主导）是（主导，~70%）合成数据比例~11%（1B/7B）~55%（~1.1T/2T）~70%（2.4T/3.4T）网络数据为主+合成数据微调转向合成数据主导→发现合成→核心理念→用高质量练习题校准模型编程能力

数据对推理提升显著

可扩展、低噪声训练集训练策略启示icrosof

合成数据提升编程能力，但基座依赖网络数据

合成数据可支撑通用能力，减少对网络噪声依赖

合成数据足以训练强推理小模型，实现端侧部署2024年起，合成数据不再是简单的让模型写作文，而是进化为工业级的流水线。NVIDIA在Nemotron-4中公开了标准化的合成数据管道，解决了合成数据可能带来的幻觉和质量不可控问题。该流程包含三个关键步骤：1）生成(Generation)：使用强模型（如GPT-4,Llama3-70B）根据种子主题生成多样化文本。2）重写/进化(Evol-Instruct)：基于WizardLM提出的思路，通过Prompt工程让数据逐渐变难（例如：增加约束条件、增加推理步骤），提升数据复杂度。3）验证/过滤(Verification/Reward)：这是最关键的一步。代码数据：直接执行代码，通过单元测试（UnitTest）验证正确性。通用文本：使用奖励模型（RewardModel）打分，只有高分样本会被纳入预训练语料。表3:Nvidia/Meta/Microsoft合成数据技术路线差异维度 NVIDIANemotron‑4 LlamaPhi（Microsoft）位给别人造数据的合成数据工厂，高度工业化

+据并重

小模型极致性价比，用少量高质数据练聪明小孩港股生成进化（E）

340B0B8T415%都可合成基于反思型「用漫画分镜脚本解释相对论在GPS校准3终极（（创作科普手册」

70B2.3子，其中40%话数据（资源语言）5（从简-3000

GPT-3.5/4模型按课程/教案生成问题+解答+步骤→→→→→竞种的n验证过滤

代码验证码，LeetCode≥95%Pylint（错误率＜0.5%）。文本验证：340BRewardBench对齐阶段≥98%，几乎全合成

代码验证：采用执行反馈循环，将生成代码翻译成其他语言后回译，若回译结果与原代码功能一致则保留（通过率约88%）。文本验证70B（权重（权重7.2/1035%行为像人、覆盖广，避免完全自指闭

正确性验证：数学题通过符号计算引擎（如→（谬误检测）。质量过滤：GPT-4o作为「裁判」从「准9查（10%比例）70%（2.4TTokens），剩余为web数据关注点 质量可控、可大规模复用，作为基础设施环rxiv

知识系统性、逻辑严密、样本高度可控虽然合成数据效果显著，但过度依赖会带来风险。Nature论文《TheCurseofRecursion》指出，如果模型长期仅使用自己生成的数据进行训练，会发生模型崩溃现象。由于生成模型倾向于输出高概率样本（ModeSeeking），这会导致数据的方差（Variance）不断降低，长尾知识（RareEvents）丢失，最终模型输出变得单调解决方案即混合比例30%5%。2）真实数据锚点：必须保留一定比例的原始人类数据（如Wiki、书籍）作为分布的锚点，防止概率分布漂移。港股图21:100%合成数据下多次迭代后数据分布产生畸变，保留10%真实数据策略下均值偏离，但分布曲线变化幅度小于100%合成数据TheCurseofRecursion》,2025年初受OpenAIo1/Strawberry影响以来，旗舰模型（GPT-5,Gemini3,DeepSeek-V3.2,Qwen3）的合成数据策略已完成质的飞跃。数据生产不再是为了模仿人类已有的知识，而是通过仿真环境和思维蒸馏，让模型探索人类未曾覆盖的解题路径。合成数据在预训练语料中的占比已快速提升，成为决定模型智能天花板的主要变量。以前的合成数据只包含问题、简要过程、答案，但旗舰模型（如GPT-5.x）需要学习的是如何思考。OpenAI的策略是利用强化学习训练出的慢思考模型（类似o1），让它针对复杂问题（数学、代码、科研）进行长达数分钟的推理，生成包含完整隐式思维链（HiddenChainofThought）的数据。首先是思维蒸馏，System2→System1的认知压缩19。核心逻辑是将强化学习产生的慢思考（o1/DeepSeek-R1）过程，压缩进快模型的参数中。例如OpenAIGPT-5，利用o1生成海量包含隐式思维链的数据（平均1,200tokens/步），引入PRM(ProcessRewardModel)对推理步骤进行颗粒度验证。只有逻辑严密的步骤被保留并蒸馏为推理原子（如在分部积分时优先选多项式为u）。最终GPT-5Base在无需CoT提示词的情况下，MATH5-shot准确率达78.4%，实现了将显式推理内化为直觉。Qwen3采用动态思维预算，使用GRPO算法在冷启动阶段训练，采用结构化语义追求广度。针对AIME级难题，模型生成完整推理树（平均8.7条路径），在复杂推理任务中合成数据占比可提升至较高水平，而在事实性问答中则降低至较低水平，避免过度依赖合成数据导致的知识闭环问题。利用PRM对逻辑严密性打分分），仅保留≥9.2分的路径用于训练。此外，Qwen团队引入<think><no_think>标签，训练模型根据难度自动分配算力。例如，几何题自动获得60%的推理Token预算，而代数题仅占30%。与Anthropic/Gemini相比，Qwen通过结构化配置单（Persona+Topic+Difficulty）强行逼迫模型去生成那些它平时想不到的、长尾的、复杂的死角数据，结构化的设计有利于多语种翻译，RAG和工具调用（在functioncalling方面与DeepSeek目标一致但思路不同）。Qwen在工具调用上的合成数据策略，和DeepSeek的环境仿真截然不同。DeepSeek把模型扔进一个复杂的环境（如Linux终端），让它试错，用RL强化它解决问题的能力。Qwen团队则收集数百万个真实的API定义（ToolDefinitions）。利用强模型根据API文档反向生成用户可能会问的问题，然后合成多步工具19/asgeirtj/system_prompts_leaks/blob/main/OpenAI/gpt-5-thinking.md港股调用和参数清洗的数据，比如故意生成一些用户说话含糊不清的数据，训练模型去追问或者推断默认参数。Qwen团队的思路与UCB团队《Gorilla:LargeLanguageModelConnectedwithMassiveAPIs》一致，论文证明与其让模型像学物理一样去推理API怎么用，不如直接把API文档（JSONSchema）作为Prompt的一部分进行指令微调（SFT），国内清华大学&微信&知乎团队论文《ToolLLM:FacilitatingLargeLanguageModelstoMaster16000Real-worldAPIs》证明广度优先的策略（16,000API）比深度优先更能提升模型的泛化工具调用能力。Qwen3模型在单次工具调用准确率方面仅次于Gemini3ProPreview20，但多轮及网页搜索暂时处于第二梯队（落后于Claude/GPT/Grok等模型）。DeepSeek/Anthropic思路接近，采用代码/执行/反馈不断迭代，本质思路是基于逻辑推理万物。Anthropic训练策略中高比例模拟GitHubIssue修复全流程（搜索->修复->测试），同时引入多智能体对抗，两个Claude实例互搏，一个出难题（ProblemCreator），一个解题（Solver），生成复杂的推理链。DeepSeek合成v2模型训练时团队基于eepeekv3模型生成187（upyteroteboo覆盖代码解释、网络搜索等场景，并且构造85000条「难解易验」指令，例如要求模型用bash工具从网络抓取数据并生成旅行规划，验证时只需检查约束条件是否满足；针对数学、编程等6个领域训练专用专家模型，再通过混合RL将领域知识融合，避免灾难性遗忘。总结以上团队的差异，哲学层面可以分为三个思路，1）真理可计算，2）真理需遍历，3）真理需要观测。以Anthropic/DeepSeek为代表的思路接近于程序正确（推理过程满足形式化约束）≈实质正确。底层逻辑是在数学、编程、物理等领域，真理是可以被计算出来的。只要代码跑通（Compile&Run）或环境反馈符合预期，结果大概率就是对的，这是一种深度验证。而Qwen团队的核心思路应当接近于强制遍历，隐含经验主义倾向，许多GroundingTruth不可被推理。第三，以Gemini团队为代表的更多是不可知思路，从现实主义角度思考，许多事实具有时效性，比如法国首都是巴黎还是里昂？TaylorSwift哪一年拿了格莱美？这些信息是无法通过逻辑推理出来的。你必须看见过，你才知道。对于这类事实类知识，合成数据非常危险。模型一旦开始编造（幻觉），逻辑再完美也是错的（一本正经地胡说八道）。大体上，Qwen/Gemini的思路接近，但Qwen倾向于建构主义，可以通过穷举法覆盖真理，但容易陷入假阳性，Gemini倾向于实证主义，通过调用实际工具观测真实数据，编造数据的概率更低，二者的思路未来可能逐步融合。训练效率（MoE/GQA/MLA）在2023H2-2026年初这段时间，训练效率的核心逻辑发生了根本性逆转：从暴力算力堆叠（ScaleUp）转向了模型架构与通信的极致压榨。目前业界通行实践仍然是对FFN做MoE设计，Attention层采用GQA/MLA进行无损压缩但保留全注意力机制，Qwen/MiniMax等团队也有探索GatedAttention/LinearAttention，但在长文本高精度场景下性能损失过大，且硬件/算法适配方面支持度不如Flash-Attention/CUDA，采用率并不高。20/leaderboard.html港股图22:Transformer架构在FFN中引入MoE架构HAP:HybridAdaptiveParallelismforEfficientMixture-of-ExpertsInference架构风潮由推动，20237月SemiAnalysis报道21GPT-416个专家模型，单个专家28001.8万亿参数模型。202312月，Mistral.ai发布MoE架构模型（8×7B），综合性能超越2LLaMA2模型。业界开始普遍认识到MoE架构的优势，在基本不损失性能的前提下大幅降低推理成本。20241-3月，DeepSeekMoE/Qwen1.5-MoE相继发布，采用细颗粒度的专家模型切分，传统MoE8-16个专家模型，DeepSeek/64-128/60个专家模型，此外DeepSeekMoE22首次提出共享专家，解决MoE训练不稳定的问题（此前主要是用辅助损失函数强制专家模型均衡训练，但容易导致性能损失）。2H23-1H24的MoE探索集中于专家模型切分数量与通信开销的权衡。2024年2月，波兰华沙大学团队《ScalingLawsforFine-grainedMixtureofExperts》，其中核心结论为随着粒度的增加，损失呈现出指数级的下降趋势，最终收敛到一个正数常数。虽然增加专家的数量可以提高性能，但这也会带来更高的通信开销，这在实际应用中可能导致训练时间的增加和更高的硬件资源需求。因此给定资源投入，论文的研究认为存在一个最优的专家模型配置确保性能最优。从工程实践来看，北京大学&百度团队《TA-MoE:Topology-AwareLargeScaleMixture-of-ExpertTraining》指出，当专家数量从8个变成256个甚至更多时，跨GPU/跨节点的All-to-All通信成为主要瓶颈。而将物理网络拓扑特征引入路由决策，通过数学建模将通信成本优化转化为带宽感知的负载均衡问题，相应解决专家数量扩展至256个以上时的All-to-All通信瓶颈。21/p/gpt-4-architecture-infrastructure22/abs/2401.06066港股图23: