大模型架构创新研究报告_第1页
大模型架构创新研究报告_第2页
大模型架构创新研究报告_第3页
大模型架构创新研究报告_第4页
大模型架构创新研究报告_第5页
已阅读5页,还剩50页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

下一场范式革命:谁是大模型架构新王者?大模型架构创新研究报告自2017年AttentionlsAllyouNeed出世、提出Transformer架构以来,7年已过。二是对非Transformer架构进行探索,如新型RNN架构等。这些架构试图从根本上摆脱对Attention本报告将围绕以上两条探索路径展开梳理,并拆解这些大模型架构创新的底层逻辑,对大模型架构层Transformer的地位与挑战Transformer架构占据行业绝对主导地位国内主流模型架构aTransformer架构a混合架构a线性架构海外主流模型架构Geini大模型架构演进历史:从深度学习革命到GPT开启Transformer时代关键论文关键论文关键模型架构关键模型架构特特点HintonAlexNetIlyaSutskeverSeq2Seq用CNN做图像识别用LSTM做翻译KyunghyunChGRU提升RNN效率与性能CNNCNN(卷积神经网络)用于图像处理语言任务中有一定应用RNNRNN(循环神经网络)达到研究巅峰发展出LSTM、GRU••RNN训练困难,容易出现梯度消失/爆炸问题。•缺乏并行性。•难以处理超长序列。预训练与ScalingLaw范BERT:BERT:Pre-trainingofDeepBidirectional预训练+微调(fine-tuning)范式兴起Transformer成主流架构首个双向Transformer预训练模型,语言表示模型奠基之作ChatGPT(2018)首个Transformer自回归语言模型,开启生成式AI先河•参数规模逐步突破百亿级(GoogleT5-11B)。•预训练+微调范式成为行业主流。•生成式模型、理解式模型、多模态模型路线开始分化。大模型架构演进历史:主流范式从共识到见顶,后Transformer时代开启关关键论文/演讲关键模型架构关键模型架构特特点20202020SwitchSwitch2021•ScalingLaw成为主流共2022multimodal,tooluse,reasoning2022发表“预训练发表“预训练验证仅强化学习(RL)无监督微调(SFT)新范式•腾讯混元、通义阿里、字节豆包、创业六小强等中国大模Transformer架构逐渐暴露出3大局限性Transformer架构二次计算复杂度导致算力消耗增长过快问题已成制Transformer架构二次计算复杂度导致算力消耗增长过快问题已成制Transformer架构、NextTransformer架构、Next-TokenPrediction和ScalingLaw范式见数据墙架构架构墙算力墙Transformer架构端侧部署局限性Transformer架构端侧部署局限性•研究人员开始越来越多转向研究"高效模型"、"保留网络"和"线性注意力"等后Transformer时代3大革新:训练范式、架构创新、工程优化训练范式革新训练范式革新Transformer架构改进混合Hybrid架构探索两条路线存在交叉非Transformer架构探索工程优化工程优化Transformer架构改进Transformer里有什么?Transformer里有什么?1.Attention机制既是Transformer架构的最大优势也是其最大痛点,对Attention机制的改进成为Transformer架构改进的必由之路。2.FFN层继从Dense到MoE的进化后,仍在持续尝试探索下一代技术。3.除Attention和FFN以外的其他机制,如Decay机制改进等也产生了许多高质量工作。FFNAttentionPositionalEncodingsTokenEmbedding*L研究热度核心思路减少计算复杂度从而降低计算成对Transformer架构进行高效改进主要内容Attention改进目前主要分稀疏和线性两大技术方向SlidingWindowAttentionDilatedAttention注意力机制稀疏注意力改进注意力机制稀疏注意力改进SparseAttention引入稀疏模式减少计算复杂度RandomSparseAttention引入稀疏模式减少计算复杂度AttentionAttentionBlockAttentionDynamicAttentionLocalAttentionLatentSpaceAttention线性注意力改进目前与非Transformer架构路线可划约等号,关于非Transformer架构的讨论见3.0线性注意力改进对应“实际内容”或“细节信息对应“实际内容”或“细节信息”响应Query需求模型在某一时刻的“关注点”对输入内容提问被检索的“标识符”用于与Query特征匹配识别信息相关性将自注意力矩阵的点积计算线性化,降计算复杂度为O(n)其他注意力机制改进将自注意力矩阵的点积计算线性化,降计算复杂度为O(n)其他注意力机制改进MultiMulti-LayerAttention稀疏改进(SparseAttention)是目前最主流、最活跃、争议最少的方向代表工作稀疏注意力机制:一种减少全局计算的注意力机制,核心思想是仅关注输入序列中部分最相关的上下文信息,而非对整个序列进行全注意力代表工作路线路线行注意力计算,将整个上下文划分为多个块(Block每个查询(Query)仅与最相关的键值(KV)块进行注意力计算,降低计可学习的门控模块(AttnGate)直接从动态、可学习(DynamicTrainableAttention)改进是近年明显趋势上一代范式新技术趋势预定义结构预定义结构可学习动态结构predefinedstructuralattentiondynamictrainableattention代表工作代表工作注意力连接模式,即每个Query关注哪些Key代表工作代表工作可学习动态注意力机制可以NSA为代表,通过结合粗粒度Token压缩和细粒度主要路线主要路线量化压缩量化压缩技术实现技术实现通过让多个AttentionHead或Layer共享相同的代表工作代表工作将查询头分组并在每组内在保持接近MHA性能的同时,大幅降低内存带宽采用解码器-解码器架构,通过自解码器生成全局键值对(KV)缓存,供交叉解码器跨层共享复用,仅需缓技术路径代表工作将FFN层参数分解为大规模键值存储,利用塔克分解查询键检索、隐式值扩展等技术,保持计算量的同借鉴人类大脑的稀疏激活机制,将Transformer的FFN层拆解为可动态激活的神经元组砖块,通过稀疏连接和功能分区实现计通过多头机制将单个Token拆分为多个子Token,使每个子Token独立路由至不同专家并行处理,无需增加计算复杂度即可显著提升专Transformer架构其他部分改进以Decay机制、归一化层改进为主技术路径代表工作技术路径代表工作的结合,替代Transformer归一化层,保留非线性压缩极值能力的同时通过非均匀位置插值搜索算法与渐进式扩展策略,在输入层的RoPE位置编码2048kTokens,同时通过动态调整短序列位置编码恢复原始性能,实现长上非Transformer架构突围主流非Transformer创新架构图谱架构名特点作者时间架构名特点作者时间使模型在处理长序列以及语言建模、常识推理、时间序列预测等任xLSTM1́́不直接存储传统的注意力机制中的KV,引入内部模型,通过动态计算更新内部模型,实现类人的持续学习。加权键值状态WKV引入广义DeltaRule更新机制,在传统DeltaNet基础上引入向量化学习率(vector-valuedin-contextlearningrate)与向量化衰减因子(vector-valueddecay),支持按通道(channel-wise)独立更新状态,允许使用不同的替换键(replacementkey)和移除键(removalkey),突破只能使用相同键更新状态的限制。可学习门控衰减因子TitansTitans模仿人类记忆系统,引入神经长期记忆模块NeuralLong-TermMemory,动态调整衰减率,实现自适应记忆管理,提高模型的泛化能力和推理性能。引入神经长期记忆模块(LMM)能够在测试阶段动态地学习和记忆历史信息,通过梯度下降和动量更新来调整参数,实现对历史数据的压缩和存储。引入持久记忆机制存储任务相关知识。采用自适应遗忘机制和梯度下降方法更新状态基于数据“惊讶度”的自适应衰减机制xLSTMxLSTM前Transformer时代经典LSTM架构的现代化革新,引入指数门控、矩阵记忆和残差连接块,解决LSTM无法修改存储决策、有限存储容量和并行化能力缺乏的限制引入新型记忆单元sLSTM保留标量存储特点并引入多层混合机制,mLSTM使用矩阵形式记忆单元通过协方差更新规则更新采用指数门控机制(ExponentialGating提供更动态的信息过滤能力,引入了新的记忆更新机制允许模型更灵活地融合新旧信息通过归一化状态和额外状态变量稳定训练过程,防止指数激活函数导致的数值溢出引入残差块架构与模块化集成,将上述记忆结构集成到残差块中,创建了两种互补的块结构:后上投影块(类Transformer前上投影块(类状态空间模型)论证Transformer和SSM实际上可以通过“结构化半可分离矩阵”(SemiseparableMatrices)在理论上相互连接(StateSpaceDuality使Mamba-2结合Transformer的硬件效率和SSM的线性复杂度状态矩阵由输入动态生成,实现选择性状态更新采用选择性状态空间模型,允许状态参数根据输入动态调整利用状态空间模型的指数衰减特性,通过低秩分解和块分解矩阵乘法,实现高效的信息传递和长期依赖建模结构化掩码注意力(SMA)构造了一个掩码注意力矩阵M=QK^T◦L,定义矩阵序列变换Y=MV,统一了多种现有的新型RNN架构变体利用多尺度混合(MultiscaleMixing)建模复杂时序变化,分别在历史信息提取与未来预测阶段引入不同策略(PDM与FMM通过尺度分解+信息混合提升预测能力与效率采用多尺度表示,即通过下采样获取不同时间粒度的输入序列,每个尺度分别提取趋势项与季节项,构成层次化的状态张量组Past-Decomposable-Mixing(PDM):分解每个尺度的序列为趋势(Trend)与季节(Seasonal采用季节项自底向上、趋势项自顶向下的双向混合方式。Future-Multipredictor-Mixing(FMM):每个尺度对应一个预测器,预测结果加权求和。非显式指数衰减,但通过尺度抽样(平均池化降采样)隐式实现对细粒度短期信息的削弱、对粗尺度趋势的增强提出Retention机制替代注意力机制,保持并行训练的同时引入可递归执行的状态更新结构,兼顾训练并行性与高效推理每个时间步的状态通过Retention状态向量表示,隐式包含历史Token的影响;支持多尺度RetentionHead,每个Head有独立的衰减率,形成多尺度记忆机制(Memorywithmulti-scaledecay)在训练过程中,RetNet使用并行表示和块状递归表示来高效地利用GPU资源,其中块状递归表示通过将输入序列分成块,每个块内并行计算,块之间递归传递信息。在推理过程中,RetNet使用递归表示,每个时间步的输出通过递归地更新状态向量来获得。通过不同尺度的衰减率(γ)实现。每个保留头被分配不同的γ值,这使得模型能够捕捉不同尺度的序列信息。非Transformer架构行业热度图架构架构TitansTitans工业热度实现规模学术热度工业热度实现规模••实现热度主要关注创新架构的技术社区建设情况、是否开源、是否帮助提供实现工具、商业化进展等情况。•实现规模主要关注创新架构在公开平台上实现项目的最大参数规模水平。•实现数量主要关注创新架构在公开平台上实现项目的数量。•讨论热度主要关注创新架构在技术社群、媒体平台的关注和讨论热度。•相关研究数量主要关注创新架构的相关衍生研究论文数量。•相关研究质量主要关注创新架构的相关衍生研究论文被引量。实现热度实现数量讨论热度实现热度实现数量讨论热度架构创新核心Insight怎么看待近年架构创新涌现?架构创新路线之争:架构创新路线之争:突破智能天花板or压缩智能密度计算复杂度O(n²)选择Transformer目前行业内普遍认为在追求智能天花板计算复杂度O(n²)选择Transformer目前行业内普遍认为在追求智能天花板的路线上,Transformer架构仍然是无法逾越的高山,但代价是显著增加的计算成本和能耗选择非Transformer/线性TransformerTransformer的高效改进向线性架构路线靠拢Transformer的高效改进向线性架构路线靠拢随着发展程度深入,两条随着发展程度深入,两条路线产生越来越多交集,混合架构逐渐成为大趋势计算复杂度O(n)高效Transformer通往AGI之路?线性架构为提高性能线性架构为提高性能,诞生越来越多与Transformer混合的Hybrid架构精打细算,提升单位智能密度非Transformer/线性Transformer由于其先天的高效性、更适合在端侧及小模型场景应用,成为探索智能密度压缩极限路线的最佳选择怎么看待近年架构创新涌现?技术突破技术突破出现2017年后,Transformer架构被提出、验证暴力飞轮阶段暴力飞轮阶段,持续突破天花板Transformer架构持续带领大模型突破性能天花板旧范式潜力见旧范式潜力见顶、增速放缓2023年后,依托Transformer架构的传统范式潜力见顶优化效率阶段优化效率阶段,精细雕花或另寻出路为解决Transformer效率问题,高效Transformer、非Transformer架构研究开始涌现新新技术突破出现下一代主流架构诞生目前所在阶段是新技术突破出现前夜晚下一代主流架构诞生的关键:实现三个Scaling台阶的惊险跳跃一个新架构要想从实验室走向工业落地,通常需要跨过三个模型Scaling的关键台阶,本报告中提到的新兴架构探索创新绝大部分仍然停留在前两个阶段,甚至刚刚跃过第一个台阶。ScalingLaw实验≤10B在这一参数规模上,大多数研究机构和技术公司可以进行有效的ScalingLaw实验,实验成本ScalingLaw实验≤10B行业小模型落地≥20B行业小模型落地≥20B这一参数规模落地要求解决数据质量、模型稳定性、训练效率等复杂问≥100B模型参数规模≥100B模型参数规模下一代主流架构从何处诞生:企业、高校、研究机构架构创新活跃玩家ZhaokaiWangWeinanZhangCewuZhaokaiWangWeinanZhangCewuLuJunchiYanJunWuZhiyuanLiuTianzhuYeYutaoSunGaoHuangHuazuoGaoJunyuLuoJingyangYuanChengqiDengZ.Z.RenZhihongShaoJunxiaoSongLiangZhaoZhengyanZhangFanpingLiuDuohaiLiShimanLiYifanPuZhuofanXiaJiayiGuoYifanZhangYangYuanAndrewCYaoYuxuanWangHaixuWuXunhaoLaiShiliangZhangXunhaoLaiShiliangZhangJiayingLiuZhouchenLinLingyuDuanYonghongTianYunhaiTongChaoXuYuxinPeng上海交通大学智谱HuajianXin ZihaoHuang TaoZhang QiyingYu ZhengZhang RuofeiZhu YufengYuan XiaochenZuo字节跳动阿里巴巴阿里巴巴元始智能清华大学北京航空航天大学月之暗面北京大学Deep

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论