KimiK3深度解析-2.8万亿参数开源大模型架构能力与边界全面拆解

OPENFRONTIERINTELLIGENCEKimiK3深度解析2.8万亿参数开源大模型全拆解架构创新·核心算法·基础设施·能力边界全球首个3T级开放权重模型·KDA混合线性注意力·896专家超高稀疏MoE·100万Token上下文2.8T总参数规模104B激活参数1M上下文窗口2.5x规模化效率提升目录01模型概览与发布背景核心参数、发布意义、训练成本、行业定位02整体技术架构三维度信息流、3+1混合注意力、AttnRes、MoE、多模态03核心算法深度解析KDA线性递归、GatedMLA、AttnRes、StableLatentMoE04AIInfra基础设施MoonEP、FlashKDA、AgentEnv、全栈软硬件协同05能力评测与行业影响综合排名、长程编码、智能体知识工作、开源意义核心技术亮点KDA混合线性注意力：O(N)复杂度，百万Token超长上下文AttentionResiduals：跨深度自由信息检索，打破逐层传递限制StableLatentMoE：896专家16激活，56倍超高稀疏度SiTU-GLU激活：有上界收敛，抑制激活爆炸QuantileBalancing：分位数均衡路由，防止专家坍缩OpenWeights：全球首个3T级开放权重模型Infra开源：MoonEP、FlashKDA、AgentEnv全部开源01模型概览与发布背景ModelOverviewandReleaseBackgroundKimiK3核心参数概览：全球首个3T级开放权重模型2.8T总参数规模全球首个3T级开源模型104B激活参数单次前向仅激活3.7%1M上下文窗口支持百万Token超长文本2.5x规模化效率单位算力智能产出提升架构与技术创新技术维度核心创新关键指标注意力机制KDA混合线性注意力+GatedMLA69层KDA+24层MLA，3+1混合架构深度连接AttentionResiduals注意力残差BlockAttnRes分8块，显存降低12倍MoE架构StableLatentMoE稀疏混合专家896专家，16激活，56倍超高稀疏度多模态能力MoonViT-V2原生视觉编码器原生支持文本、图像、视频多模态理解基础设施MoonEP+FlashKDA+AgentEnv全部开源，H20上prefill提速1.72-2.22倍发布背景与行业意义：中国大模型的"第二个DeepSeek时刻"发布时间线2026年7月16日月之暗面（MoonshotAI）正式发布KimiK3发布即开源2.8T权重全部开放，GitHub同步发布技术报告Infra全栈开源MoonEP、FlashKDA、AgentEnv三大基础设施同步开源持续规模领先过去12个月中9个月保持开源模型规模上限国产算力适配Day0适配阿里真武M890超节点等国产算力平台行业意义开源生态里程碑：全球首个3T级开放权重模型，打破闭源模型在超大规模领域的垄断技术路线验证：证明超高稀疏MoE+线性注意力路线可支撑万亿级模型稳定训练算力自主可控：全栈开源降低大模型部署门槛，推动国产算力生态发展AGI研究加速：开放权重和基础设施，促进全球研究者共同推进前沿智能你追我赶生态：开源与闭源形成良性竞争，推动整个行业技术快速迭代中国AI实力：继DeepSeek之后，中国团队再次在大模型核心技术领域取得全球领先2.8万亿参数的直观认知与训练成本估算参数规模对比GPT-3：175B参数DeepSeek-V3：671B参数KimiK2.5：约930B参数KimiK3：2.8T参数（约为K2.5的3倍，全球首个3T级开源模型）训练成本估算成本项估算规模说明训练数据量56T~84TToken按20~30倍行业通用数据配比推算算力需求约10万张国产GPU卡支撑2.8T模型全参数预训练集群建设成本数百亿元人民币含GPU采购、机房建设、网络互联02整体技术架构OverallTechnicalArchitectureKimiK3架构总览：三维度信息流规模化扩展KimiK3架构围绕三个互补维度实现信息流规模化扩展，突破传统Transformer的信息传递瓶颈序列长度维度3+1混合注意力架构每个基础模块内堆叠3层KimiDeltaAttention（KDA）搭配1层门控多头潜在注意力（GatedMLA）KDA负责超长上下文低成本检索、压缩历史KV缓存GatedMLA负责高精度局部、关键信息建模二者组合取长补短，解决百万token场景算力爆炸或能力塌陷的两难网络深度维度AttentionResiduals（AttnRes）各模块可选择性从词嵌入层、当前模块、前置模块调取特征表征突破传统顺序残差累加模式，拓展信息获取边界FullAttnRes：第l层可直接访问0~(l-1)所有历史层表征BlockAttnRes：分8块聚合，显存降低12倍模型宽度维度StableLatentMoE稀疏层每一层注意力后均接入StableLatentMoE稀疏层完成通道混合针对每个Token，从896个路由专家中动态激活16个参与计算其中2个为SharedExperts共享专家，全部Token强制调用56倍超高稀疏度，实现算力高效扩容原生多模态视觉通路+优化器MoonViT-V2编码器：完成图像与视频特征提取，轻量化投影层将视觉特征映射至统一词嵌入空间，再送入主干模型进行处理，实现原生多模态理解Per-HeadMuon优化器：针对多头注意力优化的Muon二阶优化器，提升超大MoE模型训练收敛速度，构成一套统一架构，实现跨Token、跨网络层、跨特征通道的信息流扩容序列长度维度：3+1混合注意力架构每做3次KDA增量注意力，配合1次MLA全局高精度校准，解决百万token场景的算力与能力两难KDA（KimiDeltaAttention）·类Mamba线性递归时序模型，增量递归注意力范式·理论复杂度O(N)，规避标准Attention的O(N²)复杂度·只计算增量信息，不重复完整匹配全部历史序列·依靠卷积压缩+差分注意力机制，持续更新长期上下文表征·天然适配百万token持续长文本、智能体多轮交互·精度有损失，关键片段、局部精细语义需MLA补充GatedMLA（门控多头潜在注意力）·源自DeepSeek-V2的MLA，核心思想是压缩·将Token映射成低维隐向量Ct，只缓存隐向量·大幅降低KVCache显存占用，保留全局token交互能力·Kimi新增输入依赖、逐通道满秩输出门控·使用NoPE无位置编码，位置信息完全交由KDA层承载·周期性做一次全局高精度校准，修复KDA累积语义偏差3+1架构的设计逻辑传统标准Attention每次推理都拿Query和全部历史Token做匹配，上下文越长，计算量线性暴涨，KV缓存显存占用极高。KDA核心创新在于只计算增量信息，依靠卷积压缩+差分注意力机制持续更新长期上下文表征，但精度有损失。MLA本质依然是完整全局注意力的轻量化版本，仍然会建立token之间的完整关联。3+1架构组合是每做3次KDA，就配合1次MLA，MLA属于周期性的做一次全局高精度校准，用于修复多层增量注意力累积带来的语义偏差。这是方案上的Tradeoff——在算力效率和模型精度之间取得最优平衡。K3模型共69层KDA搭配24层GatedMLA，构成完整的混合注意力体系。模型宽度维度：StableLatentMoE超高稀疏架构896个路由专家，单次激活16个（含2个共享专家），56倍超高稀疏度，实现算力高效扩容896路由专家总数其中2个为SharedExperts共享专家全部Token强制调用，提供基础通用能力16单次前向激活专家数含2个共享专家+14个路由专家激活比例仅约1.79%56x超高稀疏度896÷16=56倍参数压缩比极大提高计算效率LatentMoE核心思想·把模型总宽度（原始特征维度d）和专家计算宽度（隐空间维度l）解耦·2个共享专家在完整d维空间运行，负责通用基础特征变换·路由专家不在高维原始空间计算，压缩到更小的隐空间l运算·这是K3能扩容至896路由专家、16激活专家的前提·共享专家直接对原始高维向量x运算·路由支路先投影得隐向量z，分发至选中专家，输出加权聚合后投影回d维超高稀疏带来的两大挑战问题一：激活值爆炸（ActivationExplosion）激活数值不断放大，导致梯度爆炸，训练不稳定多层投影链路的激活发散问题严重问题二：海量专家负载均衡失效接近1000个专家，传统无辅助损失的负载均衡算法彻底超出稳定区间极易出现部分专家长期闲置、部分专家拥堵，即路由坍缩StableLatentMoE正是针对这两大问题的解决方案原生多模态视觉通路：MoonViT-V2编码器原生支持文本、图像、视频多模态理解，轻量化投影层将视觉特征映射至统一词嵌入空间视觉处理流程第一步：特征提取MoonViT-V2编码器完成图像与视频特征提取，将视觉信号转换为高维特征表示第二步：投影映射轻量化投影层将视觉特征映射至统一词嵌入空间，与文本Token共享同一表征空间第三步：主干处理视觉特征送入主干模型进行处理，与文本信息融合，实现端到端多模态理解多模态能力优势·原生多模态架构，无需额外视觉模型拼接·支持图像理解、视频理解、图文混合输入·视觉特征与文本特征在统一空间融合处理应用场景·智能体知识工作：深度调研、交互式可视化图表、数据看板·动态视觉设计与视频编辑：端到端多媒体创作·视觉闭环游戏开发、CAD设计、芯片设计等工程场景网络深度维度：AttentionResiduals注意力残差打破传统残差只能逐层传递的限制，实现跨深度自由信息检索，拓展网络深度方向的信息获取边界传统残差vsAttentionResiduals传统残差：第l层只接收上一层(l-1)的输出，做简单的相加融合，信息只能逐层单向传递AttentionResiduals：通过可学习伪查询w，针对词嵌入以及前置模块输出计算注意力权重α，实现网络深度方向上的选择性信息传递伪查询w：不同于常规注意力由输入特征生成Query，它是独立可学习参数，不依赖层输入，灵活性强FullAttentionResiduals·第l层可以直接访问0~(l-1)所有历史层表征·用注意力动态加权融合，实现跨深度自由信息检索·i=0时，h1是原始特征嵌入向量，永远作为候选源·i≥1时，fi(hi)是第i层的输出特征，k=v同时充当键值·φ是注意力核函数，先RMSNorm归一化再内积指数运算·ai->l是归一化注意力权重，表示第i层流向第l层的信息占比BlockAttentionResiduals：工程落地的分块优化方案FullAttnRes虽然逻辑强大，但存在严重的复杂度问题：计算复杂度O(L²·d)可承受（层数L小于100），但显存空间O(L·d)开销巨大，必须全程保存每一层输出特征用于后续所有深层检索。为解决这个瓶颈，Kimi推出BlockAttentionResiduals分块方案，不再以单层为检索单元，改为以"块"为检索单元，大幅降低开销。K3把模型共切分为N=8个块，每块包含12层，基本保证保住绝大多数FullAttnRes的性能收益。对块内所有层输出求和得到块级聚合表征，由原来的一层一特征变成一块一特征，存储空间自然降低。BlockAttnRes让显存空间复杂度从O(L·d)降低到O(N·d)，按K3一共L=96层计算，N是8块，则下降了L/N=12倍。这是KimiK3实际落地使用的方案。03核心算法深度解析CoreAlgorithmDeepDiveKDA核心原理：线性递归注意力范式KimiLinear的升级版，类Mamba线性递归时序模型，理论复杂度O(N)，专为百万Token超长上下文设计传统AttentionvsKDA传统标准Attention：每次推理都拿Query和全部历史Token做匹配计算复杂度O(N²)，上下文越长计算量线性暴涨KV缓存显存占用极高，百万token场景算力爆炸KDA（KimiDeltaAttention）：只计算增量信息，不重复完整匹配全部历史序列理论复杂度O(N)，矩阵S维度固定不变天然适配百万token持续长文本、智能体多轮交互核心机制：可选择性遗忘的线性记忆系统·本质是一套可选择性遗忘、可增量更新的线性记忆系统·思路类似RNN，做信息压缩，在压缩后的矩阵S里进行Query·读到第t个token时，更新全局历史状态矩阵S·更新完成后，用当前query去查询矩阵S，读出融合全部上下文的表征·矩阵S的维度固定不变（dk*dv），每个Token只执行一轮矩阵递归更新·计算复杂度固定，Token越长，体现的效果越明显·KDA只是命名上复用了Attention术语，内部并没有Softmax注意力KDA解决的初代KimiLinear两大工程瓶颈瓶颈一：数值溢出——初代KimiLinear存在连乘求逆的数值溢出问题，当保留因子α趋向于0时，1/α趋向于无穷大，超出BF16表达范围发生overflow。KDA通过下界约束衰减（Lower-boundeddecay）将对数衰减值约束于(gmin,0)，固定参数gmin=-5，单步保留因子下限e^-5≈0.0067，彻底规避溢出风险。瓶颈二：算力利用率低——初代KimiLinear的对角Tile特殊计算分支导致Chunk内部算力瓶颈。KDA取消对角Tile特殊计算分支，所有子块统一使用TensorCore矩阵运算，所有衰减操作在对数空间运算把连乘转化为累加，全部因果Tile统一使用TensorCore稠密矩阵乘，大幅提升ChunkwiseKDA推理和训练速度。KDA分块并行：ChunkwiseParallelForm把输入长序列切成长度为C的块Chunk，块间串行递归传递状态，块内全部Token并行计算分块并行核心逻辑·把输入长序列切成长度为C的块Chunk（每块包含C个Token）·方便做并行计算，充分利用GPU的算力资源·块与块之间依然递归传递状态矩阵S（串行）·块内部使用C个token全部并行计算·思路完全继承KimiLinear，是K3、KDA能在GPU高效训练的关键数学变换·X[t]代表第t个块内全部token向量汇总拼成的矩阵·S[t]代表进入第t个块之前，从上一块传递过来的递归状态（历史记忆）UT变换与并行计算·U和W是UTTransform（UT变换）的专属变量，来自KimiLinear原始推导·本质是代数等价变形（无实际物理意义）·把逐token递归的秩1更新βtKtVt_T，重写为适合Chunk的并行计算形式·整体输出包含Inter-chunk（跨块项）和Intra-chunk（块内项）·跨块项来自前序所有chunk的历史记忆S[t]·块内项是当前chunk内部各token之间的互相关联·A[t]是C*C的块内Token关联分数矩阵，Tril()下三角矩阵满足自回归因果条件性能与显存的Tradeoff并行方案本质是在性能和准确度之间做的权衡（Tradeoff）。Chunk之间是串行的，Chunk内部是并行的。如果Chunk内部Token数目C值很大，意味着并行次数越多，串行次数越少，性能越快。但是公式中A[t]是一个C*C的矩阵，C越大导致显存占用量级是O(C²)，所以C不能无限增大，一般选择128或者256，做一个性能和显存占用之间的平衡。总体上的复杂度在O(C*N)，由于C远小于N，因此复杂度计算远远小于标准Attention。需要特别注意的是，虽然原生KDA是时序递归模型，不存在类似传统注意力的token两两相似度交互，但在工程上为提升并行度，KimiK3采用了Chunk分块方案，将递归表达式数学展开，等价形成Chunk内位置依赖的贡献矩阵，矩阵内元素代表历史token对当前token的时序衰减贡献。这只是递归展开后的工程计算形式，不等于标准注意力那种基于内容的token交互。GPU的强项就是矩阵并行计算，如果不把问题转换成矩阵运算，也就无法发挥出GPU的优势，所以理论是一回事，落地又是另外一回事。KDA工程优化：下界约束衰减与满秩门控KimiK3在论文中做的两大创新性改进，解决数值溢出瓶颈和输出门结构升级下界约束衰减（Lower-boundeddecay）·将对数衰减值约束于(gmin,0)，限制保留因子的极小值·解决原始KDA连乘求逆的数值溢出问题·gt是单步对数衰减，αt是单步保留因子·论文固定参数gmin=-5，单步保留因子下限e^-5≈0.0067·如果没有限制，g可能趋向于-∞，e^g趋向于0·导致1/e^g无穷大，超出BF16表达范围发生overflow溢出·所有衰减操作在对数空间运算，把连乘转化为累加，提升数值稳定性·对数衰减曲线无论z如何变化，gt都不会低于-5，实现数值下界钳位满秩输入依赖输出门（Full-rankgate）·放弃KimiLinear的低秩门控·利用输入特征Xt直接生成动态门控权重·结合RMSNorm稳定递归输出分布，增强模型序列表征能力·Wg是输入Xt的门控投影矩阵，Wo是最终输出投影矩阵·Ot是未加门控的原始MLA输出·Sigmoid(Wg·Xt)由当前输入Xt生成动态门控向量·与Ot做逐元素的哈达玛乘积，用门控向量逐通道缩放原始输出·让每个token可以自主调节全局注意力读出的各个通道信息强度TensorCore统一加速：消除Chunk内部算力瓶颈取消对角Tile特殊计算分支，所有子块统一使用TensorCore矩阵运算，消除Chunk内部算力瓶颈。Tile是GPU硬件层面的概念，在一个Chunk内部对矩阵再进行划分，例如一个128*128的Chunk内部划分成多个16*16的Tile，充分利用GPU进行并行计算。由于数值范围被约束，KimiK3全部因果Tile（对角+非对角）统一使用TensorCore稠密矩阵乘，大幅提升ChunkwiseKDA推理和训练速度。KDA算法本质仍然是线性RNN，没有新增二次复杂度；只是为了GPU并行，把时序递归展开成矩阵形式方便硬件加速。GatedMLA：门控多头潜在注意力源自DeepSeek-V2的MLA压缩方案，Kimi新增输入依赖满秩输出门控，周期性全局高精度校准MLA核心思想：压缩·MLA（Multi-headLatentAttention）多头隐式注意力，最初源自DeepSeek-V2·核心思想就是压缩·将输入TokenXt乘以投影矩阵Wc，映射成低维隐向量Ct·对于每个Token只缓存隐向量Ct，不需要保存完整的多头K、V·存储空间大幅降低，反过来计算注意力阶段再由Ct还原出原来的K和V·本质上还是一个压缩和解压缩的过程·既大幅降低KVCache显存占用，又保留全局token-to-token内容交互能力KimiK3的GatedMLA创新·基于KDA+GatedMLA的3+1混合架构方案·继承KimiLinear方案，所有MLA层使用NoPE（无位置编码）·位置信息完全交由KDA层承载，MLA只负责纯粹的内容匹配·新增输入依赖、逐通道满秩输出门控创新功能·Wg是满秩投影矩阵（Fullrank），和KDA模块新门控设计保持统一·Sigmoid(Wg·Xt)由当前输入Xt生成动态门控向量·与Ot做逐元素哈达玛乘积，用门控向量逐通道缩放原始MLA输出·让每个token自主调节全局注意力读出的各个通道信息强度MLA在3+1架构中的角色：周期性全局校准MLA本质依然是完整全局注意力的轻量化版本，仍然会建立token之间的完整关联。3+1架构组合是每做3次KDA，就配合1次MLA，也就是说MLA属于周期性的做一次全局高精度校准，用于修复多层增量注意力累积带来的语义偏差，这是方案上的Tradeoff。KDA增量注意力机制负责超长上下文低成本检索、压缩历史KV缓存，但精度有损失，一些关键片段、局部精细语义等就得靠MLA来解决。GatedMLA负责高精度局部、关键信息建模，二者组合取长补短，解决单一注意力范式在百万token场景下的算力爆炸或能力塌陷的两难问题。K3模型共69层KDA搭配24层GatedMLA，构成完整的混合注意力体系，在算力效率和模型精度之间取得最优平衡。KDA状态更新机制：遗忘门与增量更新规则St=压缩存储从第1个token直到第t个token的全部历史信息，保存在固定维度的矩阵里面αt：通道保留因子·所谓的遗忘门，用于信息的记忆控制·对角矩阵Diag(αt)对历史信息按通道选择性衰减·每个特征通道独立控制，例如某信息要记住多少、忘掉多少·α小于1时，越久远、越不重要的通道特征逐步弱化·等价于Mamba的选择性遗忘，但按通道精细化控制·模型训练中可自动学习差异（人名地名数字α高，过渡信息α低）βt：写入强度控制·控制当前token信息要多大程度写入全局历史状态S矩阵·本质是信息的存储取舍·βtKtVt_T先建立Key和Value之间的关联·通过βt控制写入强度·重要信息β高，充分写入历史状态·次要信息β低，少量写入或不写入delta-rule增量更新·左乘(I-βtKtKt_T)矩阵·当有新信息进来时，弱化历史中和当前key相似的旧信息·避免信息重复累积、特征饱和·Kt*Kt_T算子理解成提取相似信息的滤波器·提取S1矩阵里平行于K的分量，垂直于K的分量全部丢掉·和K相似的向量即冗余信息被删除完整更新流程与输出St更新的完整流程：先对上一轮全部历史信息St-1做通道独立衰减Diag(αt)St-1（α小于1时越久远越不重要的通道特征逐步弱化），再左乘(I-βtKtKt_T)矩阵弱化历史中和当前key相似的旧信息（delta-rule增量更新规则，避免信息重复累积），最后写入新信息βtKtVt_T（先建立Key和Value之间的关联，通过βt控制写入强度）。输出结果Ot=St_Tqt，即当更新完记忆矩阵St之后，拿当前token的query去查询整个记忆矩阵St，得到融合全部历史上下文的输出表征，这个基本就等价于传统Attention的Softmax(QK_T)V。Q、K、V都来自同一个输入x，只是代表不同的含义，这是Transformer架构设计的精妙之处。公式中用ShortConv做局部特征抓取，用Swish或Sigmoid做激活，用L2做正则，这些都是基于具体场景做合适的技术选型。StableLatentMoE三大创新：解决超高稀疏两大挑战Up-Projection前插入RMSNorm+SiTU-GLU新型激活函数+QuantileBalancing分位数均衡路由创新一：RMSNorm约束·Up-Projection前插入RMSNorm·约束隐空间数值范围·防止隐向量z在投影过程中数值发散·为后续路由专家计算提供稳定的输入分布·是抑制激活爆炸的第一道防线·配合SiTU-GLU激活函数共同稳定训练·确保896个专家在超高稀疏度下稳定运行创新二：SiTU-GLU激活·替代常规SwiGLU，抑制激活爆炸·基于SiLU变体改进的门控激活函数·在大MoE模型中更容易收敛·缓解深层网络梯度消失问题·x≈0附近与SwiGLU高度重合，继承基础拟合能力·超大输入时有上界收敛（f(x)上限100）·论文参数β1=4，β2=25创新三：QB分位数均衡·QuantileBalancing全新路由负载均衡策略·专门解决标准Top-kMoE的专家负载失衡问题·按列（按专家）设置动态分位数阈值·通过列偏置微调分数·全局约束每个专家承接的token数量上限·不额外增加损失函数·防止部分专家长期闲置、部分专家拥堵的路由坍缩路由原理与共享专家机制K3的路由原理：共享专家直接对原始高维向量x进行运算，路由支路先通过投影得到隐向量z，将低维隐向量z分发至被选中的专家，再把专家输出加权聚合，经由W投影映射回原始d维空间，共享专家数目固定是2。QuantileBalancing分位数均衡的效果是KimiK3StableLatentMoE里的路由均衡算法，专门解决标准Top-kMoE的专家负载失衡问题，核心思想是按列（按专家）设置动态分位数阈值，通过列偏置微调分数，全局约束每个专家承接的token数量上限，不额外增加损失函数。这套三大创新共同确保了896专家16激活的超高稀疏MoE架构能够稳定训练，避免激活爆炸和路由坍缩两大严重问题。04AIInfra基础设施AIInfrastructureStackMoonEP：超大细粒度MoE高性能专家并行框架Moonshot自研MoE专家并行框架，支撑2.8TMoE模型均衡训练与高效通信，已全部开源MoonEP核心特性专家并行（ExpertParallel）：专门解决高稀疏MoE训练中专家负载不均、通信开销高的痛点静态计算形态：实现静态计算形态，避免动态路由带来的计算图变化和调度开销零拷贝通信（Zero-copy）：数据传输无需缓冲区中转，极大降低多卡专家路由的数据传输延迟全局均衡专家调度：实现全局均衡的专家调度，确保896个专家在多卡间均匀分布和高效通信极致效率：让专家并行的通信在不均衡的情况下仍然实现极致效率为什么需要MoonEP？高稀疏MoE训练的通信挑战KimiK3拥有896个路由专家，单次仅激活16个，激活比例约1.79%，这种极高稀疏度的MoE训练面临严重的通信挑战：每个Token需要被路由到不同的专家进行计算，专家分布在不同的GPU卡上，Token需要在多卡间频繁传输。传统的专家并行方案在高稀疏场景下容易出现专家负载不均（部分卡上的专家被大量Token访问，部分卡上的专家闲置）、通信开销高（数据需要多次缓冲区拷贝）、调度复杂（动态路由导致计算图变化）等问题。MoonEP通过静态计算形态、零拷贝通信和全局均衡专家调度，专门解决这些痛点，让2.8T参数的超高稀疏MoE模型能够在大规模GPU集群上高效稳定训练。MoonEP已全部开源，地址：/moonshotAI/moonep，希望以此加速前沿智能的部署与普及。FlashKDA：KimiDeltaAttention高性能算子Kimi实现的KDA高性能算子（kernel），H20上prefill速度提升1.72-2.22倍，已全部开源性能指标·在英伟达H20上进行性能测试·相比flash-linear-attention基线·prefill速度提升1.72-2.22倍·可以直接作为flash-linear-attention的替换后端·大幅提升KDA注意力机制的推理和训练速度·是KimiK3全栈软硬件协同优化的重要组成部分·已全部开源，地址：/MoonshotAI/FlashKDA技术优化要点·面向KDA注意力机制打造融合算子·将多层计算合并为单一GPU内核，减少显存读写开销·取消对角Tile特殊计算分支·所有子块统一使用TensorCore矩阵运算·全部因果Tile（对角+非对角）统一使用TensorCore稠密矩阵乘·下界约束衰减确保数值范围稳定，支持统一硬件加速·充分利用GPU的矩阵并行计算能力FlashKDA在KimiK3全栈优化中的定位在K3之前，像这种底层硬核优化都是DeepSeek在做，KimiK3为了支撑超大模型、复杂架构与百万级超长序列运行，团队完成全栈软硬件协同优化。FlashKDA是其中的核心组件之一，面向KDA注意力机制打造融合算子，将多层计算合并为单一GPU内核，减少显存读写开销，是大模型底层性能优化常用手段。配合KDAContextParallelism（针对KimiDeltaAttention定制的序列并行方案，用于处理百万级超长上下文）和State-awareprefixcaching（状态感知前缀缓存，KVCache优化技术，复用重复上下文计算结果，大幅降低长文本推理算力消耗），共同构成KimiK3在注意力计算层面的全栈优化体系。FlashKDA的开源意味着其他研究者和开发者也可以使用这个高性能算子来加速线性注意力模型的推理和训练，促进整个线性注意力生态的发展。Kimi将K3模型训练的关键Infra技术包括MoonEP、FlashKDA和AgentEnv等都全部开源，希望以此加速前沿智能的部署与普及，促进AGI研究。AgentEnv：大规模智能体训练沙箱环境Kimi与KVCache.ai合作开发的沙箱系统，为KimiK3后训练提供高保真、强隔离沙箱AgentEnv核心能力高保真沙箱：为KimiK3的后训练提供高保真、强隔离的沙箱环境快速快照与恢复：灵活支持快速快照、恢复和分叉（fork）等操作大规模并行：可以应对大规模并行的Agent工作流与训练任务MicroVM微虚拟机：用于模型调用外部工具、执行代码的隔离运行环境，保障执行安全合作开发：Kimi与KVCache.ai合作开发，已全部开源AgenticRL智能体强化学习：长周期任务能力的训练基础AgentEnv为KimiK3的AgenticRL（智能体强化学习）提供基础设施支撑。AgenticRL是赋予模型自主规划、持续完成复杂长链条任务的训练方式，对应KimiK3的长周期工程编码能力。Partialrollouts（局部轨迹采样）是智能体训练优化手段，不必完整跑完整条任务链路即可更新模型，提升训练效率。在极低人工干预条件下，KimiK3可支撑长时间工程开发任务，能够解析大型代码仓库、编排和调度终端工具，应用场景覆盖GPU内核优化、编译器开发、视觉闭环游戏开发、CAD设计乃至芯片设计。长周期任务的一个最大弱点就是容易中间失败，周期长也同时意味着逻辑复杂，这些都是Kimi通过AgentEnv和AgenticRL重点攻克的核心难题。AgentEnv的开源为整个智能体训练社区提供了强大的基础设施，地址：/kvcache-ai/AgentEnv。全栈软硬件协同优化体系从算子层到集群调度层，KimiK3完成全栈软硬件协同优化，支撑2.8T模型高效运行优化层级技术组件核心作用算子层Fusedkernels融合算子FlashKDA高性能算子将多层计算合并为单一GPU内核，减少显存读写开销；H20上prefill提速1.72-2.22倍并行层KDAContextParallelismMoonEP专家并行针对KDA定制的序列并行方案处理百万级超长上下文；支撑2.8TMoE模型均衡训练与高效通信缓存层State-awareprefixcachingKVCache优化状态感知前缀缓存，复用重复上下文计算结果，大幅降低长文本推理算力消耗通信层Zero-copycommunication全局均衡专家调度数据传输无需缓冲区中转，极大降低多卡专家路由的数据传输延迟训练层AgenticRL智能体强化学习Partialrollouts局部轨迹采样AgentEnv沙箱环境赋予模型自主规划、持续完成复杂长链条任务的训练方式，对应长周期工程编码能力集群层内存优化面向生产的集群调度方案全程量化感知QAT训练阶段就适配低精度格式，极大降低显存占用、推理延迟，是工程落地的关键优化05能力评测与行业影响CapabilityBenchmarkandIndustryImpact综合能力评测：仅次于两大顶级闭源模型最终成品KimiK3成为新一代开放前沿模型，综合能力仅次于ClaudeFable5、GPT-5.6Sol两大顶级闭源模型全球大模型综合能力排名（开源模型第一梯队）第一梯队（顶级闭源）：ClaudeFable5·GPT-5.6Sol第二梯队（开源第一）：KimiK3（2.8T参数，全球首个3T级开放权重模型）第三梯队（其他开源与闭源）：其余参测大模型核心能力优势·代码和知识推理领域处于非常领先的地位·长周期工程编码能力突出，极低人工干预·原生多模态理解，端到端知识工作闭环"Trail"定位：紧跟且有望超越·论文用"Trail"形容K3的定位，不仅是紧跟·下一版本很可能就会超越顶级闭源模型·开源和闭源形成你追我赶的生态才是最好的长周期工程编码能力：极低人工干预的复杂任务在极低人工干预条件下，KimiK3可支撑长时间工程开发任务，解析大型代码仓库、编排和调度终端工具应用场景覆盖GPU内核优化：高性能计算底层代码开发与优化编译器开发：编程语言编译器的设计与实现视觉闭环游戏开发：从游戏引擎到视觉效果的完整开发CAD设计：计算机辅助设计软件的开发与应用芯片设计：集成电路设计自动化与验证大型代码仓库解析：理解和修改百万行级别的代码库终端工具编排调度：自主调用命令行工具完成复杂任务长周期任务的核心挑战与Kimi的解决方案核心挑战：·长周期任务最大弱点是容易中间失败·周期长意味着逻辑复杂，需要持续规划·多步骤任务中任何一步出错都可能导致整体失败Kimi解决方案：·AgenticRL智能体强化学习训练自主规划能力·AgentEnv沙箱提供快速快照、恢复和分叉能力·Partialrollouts局部轨迹采样提升训练效率智能体知识工作能力：端到端全闭环Agent任务依托原生多模态架构，KimiK3可实现端到端知识工作，完成深度调研、可视化、多媒体创作全闭环深度调研·自主完成复杂主题的深度调研·多源信息检索与整合·事实核查与交叉验证·结构化调研报告生成·支持百万token上下文的长文档分析交互式可视化·输出交互式可视化图表·数据看板与仪表盘生成·可交互组件开发·数据驱动的可视化设计·原生多模态支持图文混合输出多媒体创作·动态视觉设计·视频编辑与制作·图文内容创作·多模态内容生成·端到端多媒体创作闭环闭环能力：自主完成完整任务链条智能体知识工作能力最重要的是一种闭环能力，也就是说Kimi能够自主完成完整的任务调研、可视化、多媒体创作等全闭环Agent任务链条。传统的XX通常只能完成单一任务（如写一段文字、生成一张图片），而KimiK3的智能体知识工作能力意味着它可以像人类知识工作者一样，自主规划任务、调用工具、整合信息、生成成果，完成从需求理解到最终交付的完整工作流程。依托原生多模态架构，KimiK3可实现端到端知识工作，完成深度调研，输出交互式可视化图表、组件与数据看板，同时支持动态视觉设计与视频编辑。这种全闭环能力是AGI研究的重要方向，意味着XX从工具进化为能够独立完成复杂知识工作的智能体。KimiK3面向长程编程、端到端知识工作和深度推理等任务而设计，智能体知识工作能力是其核心竞争力之一。随着AgenticRL训练的持续推进和AgentEnv基础设施的不断完善，KimiK3的智能体知识工作能力将持续提升，为各行各业的知识工作者提供强大的XX。开源意义：OpenWeights与全栈Infra开源Kimi将K3模型权重和关键Infra技术全部开源，希望以此加速前沿智能的部署与普及，促进AGI研究OpenWeights权重开源·全球首个3T级开放权重模型·2.8万亿参数权重全部开放·研究者可自由下载、研究、微调·打破闭源模型在超大规模领域的垄断·降低大模型研究和应用的门槛·促进全球研究者共同推进前沿智能·GitHub地址：/MoonshotAI/Kimi-K3全栈Infra基础设施开源·MoonEP：超大细粒度MoE高性能通信库地址：/moonshotAI/moonep·FlashKDA：KDA高性能算子，H20上prefill提速1.72-2.22倍地址：/MoonshotAI/FlashKDA·AgentEnv：大规模智能体训练沙箱环境地址：/kvcache-ai/AgentEnv·技术报告：K3TechReport同步发布开源的深远影响KimiK3的开源具有深远的行业影响。OpenWeights权重开源意味着全球首个3T级开放权重模型诞生，2.8万亿参数权重全部开放，研究者可自由下载、研究、微调，打破了闭源模型在超大规模领域的垄断，降低了大模型研究和应用的门槛，促进全球研究者共同推进前沿智能。全栈Infra基础设施开源意味着MoonEP、FlashKDA、AgentEnv三大核心基础设施全部开放，其他研究者和开发者也可以使用这些高性能工具来加速自己的大模型研究和开发，促进整个大模型生态的繁荣。Kimi将K3模型训练的关键Infra技术包括MoonEP、FlashKDA和AgentEnv等都全部开源，希望以此加速前沿智能的部署与普及，促进AGI研究。开源和闭源本质上是两种形态、两种理念，没有对错，形成你追我赶的生态才是最好的。KimiK3的开源标志着中国大模型在开源领域达到了新的高度，为全球AGI研究做出了重要贡献。行业影响与发展趋势KimiK3为大模型高稀疏、低成本、超长上下文的规模化演进提供了完整可行的工程范式技术路线验证·证明超高稀疏MoE路线可行·线性注意力可支撑万亿级模型·896专家16激活稳定训练·为行业提供完整工程范式·规模化效率2.5倍提升开源生态繁荣·全球首个3T级开放权重模型·全栈Infra基础设施开源·降低大模型研究门槛·促进全球研究者协作·开源闭源你追我赶国产算力适配·Day0适配阿里真武M890·支持国产算力平台部署·推动国产AI生态发展·降低对海外硬件依赖·算力自主可控KimiK3的系统化规模化创新体系总结KimiK3依托StableLatentMoE稀疏混合专家底座，构建起一套系统化规模化创新体系：以896专家、16激活的超高稀疏架构实现算力高效扩容，通过MoonEP、KimiDeltaAttention与GatedMLA门控多头潜在注意力组成方案攻克超长上下文算力瓶颈，搭配QuantileBalancing分位数均衡路由规避专家坍缩风险，并创新使用SiTU-GLU激活函数、路由支路归一化机制抑制多层投影链路的激活发散，在有限算力约束下摆脱单纯参数堆叠的老路，实现单位算力智能产出显著提升，为大模型高稀疏、低成本、超长上下文的规模化演进提供了完整可行的工程范式。KimiK3的发布和开源标志着中国大模型在开源领域达到了新的高度，综合能力已经非常接近顶级闭源模型，展现了中国AI团队在大模型核心技术领域的强大实力。随着KimiK3的开源和全栈Infra基础设施的开放，全球大模型研究将进入一个新的阶段，开源和闭源形成你追我赶的良性生态，共同推动AGI研究的发展。核心技术总结：四大创新构建K3技术底座技术创新核心原理关键指标与效果KDA混合线性注意力类Mamba线性递归时序模型，可选择性遗忘、可增量更新的线性记忆系统，只计算增量信息不重复匹配全部历史理论复杂度O(N)（vs传统O(N²)），69层KDA，下界约束衰减gmin=-5，FlashKDA在H20上prefill提速1.72-2.22倍AttentionResiduals通过可学习伪查询w，针对词嵌入及前置模块输出计算注意力权重α，实现网络深度方向选择性信息传递FullAttnRes可访问所有历史层，BlockAttnRes分8块每块12层，显存从O(L·d)降到O(N·d)，降低12倍StableLatentMoE模型总宽度与专家计算宽度解耦，路由专家压缩到隐空间运算，三大创新解决超高稀疏两大挑战896专家16激活（含2共享），激活比例1.79%，56倍超高稀疏度，SiTU-GLU上限100，QB分位数均衡路由全栈Infra优化从算子层到集群层全栈软硬件协同优化，融合算子、上下文并行、前缀缓存、零拷贝通信、AgenticRL、QATMoonEP+FlashKDA+AgentEnv全部开源，规模化效率2.5倍提升，单位算力智能产出显著提升，全程量化感知QAT关键数字与核心要点回顾2.8T总参数规模全球首个3T级开源模型896/16专家数/激活数56倍超高稀疏度1M上下文窗口百万Token超长文本2.5x规模化效率单位算力智能产出五大核心要点1.全球首个3T级开放权重模型，2.8T参数全部开源2.KDA线性注意力突破O(N²)瓶颈，支撑百万Token上下文3.StableLatentMoE实现896专家16激活超高稀疏稳定训练4.全栈Infra开源（MoonEP/FlashKDA/AgentEnv）5.综合能力仅次于两大顶级闭源模型，开源第一开源资源地址·模型权重：/MoonshotAI/Kimi-K3·技术报告：K3TechReport（GitHub同步发布）·MoonEP：/moonshotAI/moonep·FlashKDA：/MoonshotAI/FlashKDA·AgentEnv：/kvcache-ai/AgentEnv·官方博客：/blog/kimi-k3常见问题解答FAQQ1：Kim