汽车行业深度报告：AI系列深度16期语言智能为何从RNN转向Transformer

TOC\o"1-2"\h\z\u复盘RNN：递归结构如何定义语言任务上限 4递归结构：用隐藏状态承载上下文 4从简单循环网络到门控机制与序列到序列框架 4结构性局限 5爆发之前，循环网络的应用上限 6循环网络时代语言任务的主要成果 6应用上限：工程高峰已至，规模化与任务统一受限 7与循环网络的结构对比及其优点 7两种架构的结构对比 7Transformer相对循环网络的主要优点 8应用于语言任务的学术成果梳理及发展阶段总结 9发展阶段框架 9里程碑成果与论文分类 10逐阶段梳理 技术演进时间轴 12之后：语言模型从专用任务走向通用入口 13研究与产业范式的变化 13Transformer是作为核心本体还是作为组件 13风险提示 14图1：循环神经网络的循环单元与按时间展开示意 4图2：长短期记忆网络（LSTM）与门控循环单元（GRU）的门控结构示意 5图3：梯度消失与长距离依赖衰减示意 6图4：自注意力与循环结构的信息交互方式对比 8图5：Transformer在语言任务中的技术演进时间轴（2014—2025） 13表1：循环网络在主要语言任务上的代表方法 7表2：Transformer与循环网络的多维对比 9表3：Transformer语言任务发展七阶段—三大阶段框架 10表4：Transformer语言任务重要成果分类表 表5：Transformer在语言与视觉任务中的角色对比 14复盘RNN：递归结构如何定义语言任务上限递归结构：用隐藏状态承载上下文循环神经网络（RecurrentNeuralNetwork，RNN）可理解为一个深度随序列长度增加、但各层共享参数的前馈网络。RNN图1：循环神经网络的循环单元与按时间展开示意FindingStructureinTime《BackpropagationThroughTime:WhatItDoesandHowtoDoIt》等其他文献 绘制从简单循环网络到门控机制与序列到序列框架RNN1980Bengio等（1994）RNN在Hoceer与dhbe（19LTCho（201）（R著缓解了长程依赖问题，也使RNN在2010年代成为序列建模的主流方法。RNN199—21q2Sq（21—2016图2：长短期记忆网络（LSTM）与门控循环单元（GRU）的门控结构示意LongShort-TermMemory《LearningPhraseRepresentationsusingRNNEncoder-DecoderforStatisticalMachineTranslation 制结构性局限RNNRNNGPU和数据规模的继续扩张。LSTMGRUSeq2Seq力机制。RNTransformerRNN图3：梯度消失与长距离依赖衰减示意LearningLong-TermDependencieswithGradientDescentisDifficult绘制爆发之前，循环网络的应用上限循环网络时代语言任务的主要成果2014—2016年是RNNSutskeverSeq2Seq翻译，减少了统计机器翻译对人工特征和短语对齐流程的依赖。针对固定向量瓶颈，Bahdanauuong2012016LSTMRNN机器翻译之外，RNNLTMBTMCLSTMLSTMRNN。表1：循环网络在主要语言任务上的代表方法任务方向代表方法主要时期机器翻译Seq2Seq、Attention、GNMT2014—2016序列标注（NER/词性标注）BiLSTM-CRF2015—2016语言建模LSTM语言模型2014—2016语音识别LSTM+CTC2014—2016文本分类与情感分析LSTM/GRU、TextRNN2015—2016阅读理解与问答注意力式阅读模型2015—2016SequencetoSequenceLearningwithNeuralNetworks《NeuralMachineTranslationbyJointlyLearningtoAlignandTranslate》等其他文献 整理应用上限：工程高峰已至，规模化与任务统一受限NRNN与循环网络的结构对比及其优点两种架构的结构对比Transformer最初作为机器翻译架构提出，其与RNN最根本的差异，在于序列内信息如何交互。RNN沿时间步逐次传递信息，任意两个位置之间的关系需要经过多个QueKeauanoer层归一化，构成完整的编码器—解码器结构。此后，该结构进一步分化出仅用编码器的BERT路线与仅用解码器的GPT路线。图4：自注意力与循环结构的信息交互方式对比AttentionIsAllNeed 绘制相对循环网络的主要优点Transformer相对RNN第一，训练可并行。RNN必须沿时间步依次计算，而自注意力对序列各位置的计算Transformer更充分地利用GPURNNTransformerTransformerRNN。表2：Transformer与循环网络的多维对比对比度 循环（含LSTM/GRU）Transformer信息互式 沿时步归 自注力全直交训练行性 串行难并行 全序并行两位关路径 O(n)，随离长 O(1)，常级计算杂度 O(n)，随度性 O(n²)，随度方顺序息 结构带 需位编码归纳置 强（序设） 弱（赖据习）可扩性 受串计限制 利于模展推理存 常数隐状） 随上文（KV-cache）AttentionIsAllNeed《LongShort-TermMemory 整理anoerNN应用于语言任务的学术成果梳理及发展阶段总结2017年以来Transformer发展阶段框架Transformer（3表3：Transformer语言任务发展七阶段—三大阶段框架大阶段 阶段 时间 该阶在言务展的意义架构确立架构确立范式统一与规模化

前史：Seq2Seq+ AttentionTransformer机器翻 2017译架构2.预训练+微调成主范 2018—2020式

为Transformer的编码器—解码器框架与注意力机制奠基最初是翻译架构而非通用大模型，突破点是“序列建模不再必须递归”范式一规化 3.理与生任统一 2019—2020自回归大模型与规模

想开始成形语言模型从“特征提取器”变为“任务执行范式统一与规模化对齐与推理对齐与推理对齐与推理

律指令微调与人类偏好对齐复杂推理、工具与外接测试时计算与推理模型

2019—20222021—20232022—20242024—2025

ChatGPT形态的基础：从“会补全文本”转向“会响应人类任务”能力提升从扩大预训练，转向后训练优化与测试时计算AttentionIsAllNeed《LanguageModelsareFew-ShotLearners》等其他文献 整理里程碑成果与论文分类AttentionIsAllNeedTransformer架构CoT（2022、o1与DeepSeek-R1表4：Transformer语言任务重要成果分类表大阶段 阶段 代表文/果 核心献架构立 前史

Seq2Seq 、Bahdanau/LuongAttention

循环网络解决序列到序列任务，注意力解决固定向量瓶颈以自注意力替代循环/卷积，提架构立 阶段一 AttentionIsAllNeed、、、

升并行训练能力Transformer从任务模型变为范式一规化 阶段二

XLNet、ELECTRA

通用语言表征模型将分类、问答、摘要、翻译统一范式一规化 阶段三 T5GPT-2、GPT-3、ScalingLaws、范式一规化 阶段四Chinchilla、PaLMFLAN、InstructGPT/RLHF、Self-

为文本到文本问题仅解码器模型经规模扩展获得零样本、少样本与上下文学习能力使模型理解意图、遵循指令、生对齐推理 阶段五对齐推理 阶段六对齐推理 阶段七

Instruct、ConstitutionalAI、DPO思维链CoT、RAG、ReAct、PoT、

成有用回答AttentionIsAllNeed《LanguageModelsareFew-ShotLearners》等其他文献 整理逐阶段梳理（201—20q（20Bahdna（204Luo（20Transformer阶段一（20：roerAenonsAlouNedTransformer（201—20PG（01E201）及其后的XLNetELECTRATransformerNLP阶段三（20—20：理解与生成任务统一。（01）与A（20（20—20G201G（02）ngLaw（22Chnh（2022（20（202—202L（02nsucGTRHF（202nsuc（22CnsuonalA22202（RLHF）ChatGPT（22—02CTGecoooeoT（02—202DeekR1技术演进时间轴Transformer（图NN21—21→anoer（20120（200ChaG（202（20202—025系（GPT系Transformer图5：Transformer在语言任务中的技术演进时间轴（2014—2025）AttentionIsAllNeedLanguageModelsareFew-ShotLearners》等其他文献，东吴证券研究所整理之后：语言模型从专用任务走向通用入口研究与产业范式的变化TransformerChatGPTAI（CNN（→nnsoerAI（0→1）是作为核心本体还是作为组件Transformer等模Transformereta.200nsoerTransformerTransformer表5：Transformer在语言与视觉任务中的角色对比对比度 语言务 视觉务输入式 天然散元输入 图像切图并列（ViT）典型角色

本体/主干，端到端直接承载（GPT、BERT）

CNN合与其结关系 多纯Transformer 卷与Transformer混常见常作统一接口与中枢，接入其多模态中的定位

他模态编码器

作为视觉编码器被语言中