汽车行业深度报告：AI系列深度15期Transformer如何开启AI第二次爆发

TOC\o"1-2"\h\z\uAI2.0的本质：从人工设计”到规模化学习” 4成为跨模态通用底座 4发展复盘 5阶段一：模型能力奠基 6阶段二：人机对齐、行为优化 6阶段三：推理与外部系统赋能 7模型能力的广度与效率 7复盘GPT：大语言模型如何落地产业端 7ScalingLaw复盘：从预训练幂律到全链条资源优化 大语言模型或已成为数字AI任务的通解 137.结论 13风险提示 14图1：Transformer结构示意 5图2：Transformer时代重要论文/成果发展时间轴 6图3：GPT2018—2026发展历程 8图4：至模型对比 8图5：RLHF（基于人类反馈的强化学习）三阶段 8图6：GPT-3.5/ChatGPT正式进入产品化阶段 9图7：支持多模态任务，可处理图片类信息输入 10图8：o1在推理密集型任务中的表现显著优于10图9：的统一系统与推理路由机制 10图10：扩展规律——损失随算力/参数/数据的幂律下降 12图代表性模型规模演进（参数量vs训练数据量） 12图12：Transformer带来的模型三重收敛（专用模型→通用基础模型） 13表1：主流架构的归纳偏置 4表2：扩展规律（scalinglaw）的六阶段演进 12AI2.0的本质：从“人工设计”到“规模化学习”2012AlexNetImageNetRNNCAITransformerCNN内置时序递归逻辑，而TransformerAI1.0与AI2.0表1：主流架构的归纳偏置架构 归纳偏置 代表能力 与算力数据的关强空先：（CNN）（RNN）

局部性、平移等变强序列先验：递归、时序依赖弱先验：注意力+位置编码

图像等感知任务模模

先验强、样本效率高，但通用性与上限受限偏弱数据AttentionIsAllNeedImageNetClassificationwithDeepConvolutionalNeuralNetworks》等其他文献成为跨模态通用底座TransformerAI2.01）GPU图1：Transformer结构示意AttentionIsAllYouNeed2017TransformerMoEtokentest-timecompute发展复盘图2：Transformer时代重要论文/成果发展时间轴AttentionIsAllNeedLanguageModelsareFew-ShotLearners》等其他文献阶段一：模型能力奠基2017Transformer+2020ScalingLawsChinchilla阶段二：人机对齐、行为优化FLANInstructGPTSFT--RLHFConstitutionalAI、DPO等，ChatGPT是该阶段技术落地、走向商业化的标志性节点。AI2.0阶段三：推理与外部系统赋能本阶段聚焦模型部署使用环节，依托运行时配套系统补充额外能力。2022年思维链检ReAct2024-2025o1DeepSeek-R1o3模型能力的广度与效率：能力拓展广度：CodexFlamingoGeminitoken；落地使用效率：MoE（SwitchTransformerMixtralDeepSeek-V3）在固LoRA/QLoRAFlashAttention、RoPELLaMAMistralDeepSeek复盘GPT：大语言模型如何落地产业端GPT2018—2026Transformer推理模型图3：GPT2018—2026发展历程推理模型发展阶段时间代表版本阶段发展基础语言模型阶段2018-2022GPT-1，GPT-2，GPT-3，InstructGPT从"证明Transformer解码器可预训练学习语言能力"，化提升通用能力”RLHF让模型产品化阶段2022-2023GChatGPT，GPT-3.5多模态阶段2023-2024GOpenAI官方网站 整理至decoder-onlyOpenAI基本确立以自回归Transformerzero-shotfew-shotscalinglawInstructGPT在LFSFT（PPO）图至模型对比 图5：RLHF（基于人类反馈的强化学习）三阶段GPT1GPT2GPT1GPT2GPT3最终模型参数量117M1.5B175BTransformer层数124896d_model768160012288注意力头数12-96上下文长度512tokens1024tokens2048tokens下游任务适配方式fine-tuningzero-shotfew-shot/prompt-based标志性突破预训练+微调范式零样本多任务能力in-contextlearningImprovingLanguageUnderstandingbyGenerativePre-TrainingLanguageModelsareFew-ShotLearners》等其他文献

TrainingLanguageModelstoFollowInstructionswithHumanFeedback》等其他文献，东吴证券研究所产品化阶段（ChatGPT/GPT-3.5）的核心变化，是基础语言模型正式转向对话式AI助手产品。ChatGPT图6：GPT-3.5/ChatGPT正式进入产品化阶段GPT-3模型定位 GPT-3模型定位 基础语言模型GPT-3.5/ChatGPT对话式AI助手训练目标 标准自回归语言建模，即预测下一个 在语言建模基础上，token 话生成和人类偏任务适配方式prompt、zero-shot/few-shot/in-contextlearning更强后训练方式 仅在预训练基础上通过prom场景微调适配任务对话能力 非对话优化产品形OpenAI官方网站 整理图7：GPT-4支持多模态任务，可处理图片类信息输入OpenAI官方网站 整理o1通过o4-mini图8：o1在推理密集型任务中的表现显著优于图的统一系统与推理路由机制OpenAI官方网站 整理 OpenAI官方网站 整理复盘GPTRLHFChatGPT与外部系统赋能阶段，并同步带动能力广度、落地效率两条支线持续展开。通过对GPTRLHF到ChatGPT，从长链推理到o系ScalingLaw复盘：从预训练幂律到全链条资源优化（scaling阶段0（2017—2019）中，相关研究开始发现模型误差会随数据、模型与算力扩张呈稳定幂律下降，为“深度学习性能可被外推”提供了关键思想基础。阶段1（2020）确立预训练scalinglaw。Kaplanlossscalelossfew-shot转向能力scalingGopherPaLMscaling研究从oss阶段scalingChinchilla径，指出在给定算力约束下，参数量与训练token数应同步增长，并以700亿参数Chinchilla2800亿参数Gopher阶段4（2023—2024）tokenscaling变量。阶段5（2024—2026）扩展出新的scaling轴。MoERLreasoningTransformerscalinglaw表2：扩展规律（scalinglaw）的六阶段演进阶段 时间 阶段称 核心展 代表果误差随数据/模型/算规模规律前史：性能可预阶段0 2017–2019测化阶段1 2020 预练scalinglaw阶段2 2021–2022 能力scaling与现论阶段3 2022–2023 计算优scalinglaw数据、对齐与部署约束阶段4 2023–2024 scaling阶段5 2024–2026 新scaling：模、MoE、推理时算力

力呈幂律下降，性能可外推loss数据/scalefew-shotloss长高质量token成瓶颈，数据质量/重复、指令微调、奖励模型纳入进入多变量时代：MoE、测试时算力、RLreasoning、扩散/视频生成

Hestness等（2017）Kaplan等G3Henighan等Gopher、PaLM、等Hoffmann等（ChnhLLaMAMuennighoff等、Chung等、FineWeb、DataComp-LMo1、DeepSeek-R1、DiT、MoEscalingScalingLawsforNeuralLanguageModelsTrainingCompute-OptimalLargeLanguageModels》等其他文献图10：扩展规律——损失随算力参数/数据的幂律下降 图11：代表性模型规模演进（参数量vs训练数据量）Models

ScalingLawsforNeuralLanguage

LanguageModelsareFew-ShotLearners》扩展规律六阶段演进scalingoknAI2.0大语言模型或已成为数字AI任务的通解较之AI1.0时代不同任务匹配不同基座模型的产业形态，在AI2.0时代，Transformer已以基座模型或重要组件的角色参与到广泛的数字AI任务解决过程，使得AI任务在数字AI领域的解决方案实现初步收敛。架构收敛任务收敛模态收敛物理AI图12：Transformer带来的模型三重收敛（专用模型→通用基础模型）绘制结论第一，关于本质。AI第二次爆发的核心，是模型能力从依赖人工规则与任务专用第二，关于发展历史及未来方向。Tra