电子行业：AI推理时代下的存储创新从被动记录到存算融合-海外存储深度报告（二）

/ （2）供给端，存储厂CAPEX增长保守，叠加产能向HBM倾斜，每制将存储从被动器件转变为主动参与计算的关键组件。延迟的“解码”阶段，兼顾了低延迟的交互性能和高吞吐量。NVIDIA衰减。此类架构专注于快速的用户级响应。历史收益率曲线历史收益率曲线行业数据行业数据 2 4 4 91.3.产能扩张：绝大部分新建产能最快要2 11 15 2.3.LPU近存计算：智能体时代对低延时的极致追求 25 31 33 4 4 5 5 5 6 6 7 7 8 9 9 3 41.1.AI推理需求爆发+供给刚性导致DRAM供需严重失衡，通用型现在我们进行传统服务器与AI服务器DRAM单机容量测算，在此不考虑HBM的5服务器在整个DRAM终端市场中的重要性将在未来几年持续提升，且已被67产，主要集中于低利润、高库存的传统存储芯片，预计减产将会至足够低的水平，且产品价格回升至盈利水准。公司将逐渐调整业库存水平的正常化保持一致，但由于产能向高端产品切换，传统分别在2024年上半年、下半年回归正常水位。其还提升都将在高端产品上，客户对传统存储芯片的需求近期开始回升，数据来源：CounterpointRes8心需求持续加剧全球存储器供需失衡，原厂议价能力有增询据此全面上修第一季DRAM、NANDFlash各产品价格季成长幅度，预估整体ConventionalDRAM合约价将从一月初公布的季增5DRAM仍普遍缺货，即便是确定取得原厂供给的tier-1PCOEM业者，DRAM库存需根据对买方真实需求的判断拟定供给策略，极力在各客户关系间取得平衡。元和134亿美元。与2018年第三季度189亿美元的峰值相比，这一数字增长了2.79次跌破40%，从2016年48%的峰值降至2025年上半年的32.7%，这一下滑反映了分高端市场拱手让出。机的LPDDR5X，美光积极吃透了这一波“数据来源：TrendForce，Counterpoint1.3.产能扩张：绝大部分新建产各家制造商已将HBM优先级摆在手机与电脑所使用的研究机构Counterpoint数据显示，2026建设的固有周期，使得任何实质性的供需再平衡都难以在201.3.1.三星：计划到2026年韩元的总预算中，剔除非核心业务投资与约34量。新增的资本开支并未流向通用存储芯片的大规模扩产，而是高度集中于HBM针对性的资本开支策略，在保障高端AI三星的产能扩张高度集中于其韩国平泽园区，并通过加速现有项目来应对半导体繁荣时期新增的13万片晶圆产能。报道指出，此次产能扩张将通过现有第四阶段预计在2026年晚些时候投产。第二能于2027年开始设备搬入，并在2028每片晶圆的比特输出量大约提高了70%。据SemiAnalysis预测，三星领先的1c也就是说，相同数量的原材料可以显著提高存储器供应量。在扩张产星正通过向更先进的工艺节点迁移来提升每片晶圆的比特产出。三星领先的1c成共计六座晶圆厂。目标是明年年底前破土动工建设一期晶圆厂，并于2产。待平泽工厂的生产线扩建和龙仁半导体国家产业集群的建设和底层基础设施建设。管理层强调将维持严格的投资纪律，避免无海力士2026年的重心明确：M15X工厂将主要致力于提升1bnm产能以支持规模迁移，公司计划2027年初前將1cDRAMSK海力士的晶圆生产能力有限，预计将会把大部分资源分配给1cDRAM，这些SK海力士计划2028年将其位于M16工厂的1aDRAM生产线改造为1cDRAM生导体集群计划建设四座晶圆厂。每座晶圆厂的规模与SK海力士近期竣工的清州近日，龙仁市政府最终批准并发布了龙仁半导体产业集群综合产业园2.1.HBF：闪迪主导，有望在相同带宽下提供H在应对超大规模模型时，其容量局限性已成为关键瓶颈。以英伟单卡最大存储容量为192GB。相比之下，Llama3.1405B模产生延迟。若不考虑超节点方式，一旦数据溢跌，导致昂贵的GPU算力被大量浪费在等待数据加载的过程规格指标H100SXMH200SXMB200SXM显存容量80GBHBM3141GBHBM3e192GBHBM3e显存带宽3.35TB/s4.8TB/s8TB/s晶体管数量800亿800亿2080亿FP8AI算力1.98PFLOPS1.98PFLOPS4.5PFLOPS(Dense)/9PFLOPS(Sparse)NVLink带宽900GB/s900GB/s1.8TB/s在处理长文本序列时，键值缓存对内存容量的需求呈现更为严峻的挑战。100万缓存需求，将导致系统所需的GPU规模达到数十颗。口，但会引起资本支出与运行功耗的同比例增长，进用硅通孔（TSV）连接基底裸片与闪存裸片，从而实现高带宽。目前，多家存储与对称设计，旨在平衡带宽与容量需求。在中央GPU的数据吞吐需求。地结合在单个基本芯片上的MCC（内存中心计算）架构完成时，所需的HBF容量阵列结合的技术，从而在高性能、高密度和低能耗方面达到了新的2.2.基于BluefieldDPU的CMX时，只需计算与新标记对应的键值对即可。如果解码阶段利容量已不足。主机DRAM通过增加层缓存扩展量、内存带宽和网络带宽方面也面临限制。于是，在其下一代架构VeraRubin中引入一个名为“推理上下文内存存储”（InferenceContextMemoryStora（2）G3.5层提供海量聚合带宽，效率为共享的高带宽资源，编排器可以跨代理和服务将G4对象和文件存储空间留给需要长期保存的内容。这些键值状态、查询历史记录、日志以及其他可能在后续会话中调用的多轮推理产物。足以满足所有键值需求。CMX填补了G1-G3和G算。一旦对话彻底结束且不再具有活跃价值，相关数据可能会被清NVMeSSD微秒级延迟，极高并发读取毫秒级延迟，吞吐量受限于网络模型权重原始训练数据集、模型检查点跨越整个数据中心或多个集群共享推理过程中的“高速副油箱”全局性的“长期资料库”简单来说，CMX平台中，由于GPU/HBM的缓存容量有限，而DPU则能让足日益增长的大规模上下文推理需求。操作系统和逻辑管理。它是整个平台的指挥作为网卡与存储控制器的结合体，它负责将确保存储在NVMeSSD中的数据能以微秒级的延迟输送到计算单元。配备了拥有512GB存储容量的BlueField-4数据处理单元，同时还能接入600TB的帮助存储解决方案提供商实现低延迟、高吞吐量的数据处理能力。NVIDIABlueField-4其计算能力是上一代产品的六倍，并针对网络行了加速，从而释放了全新的性能水平，最大限度地减少了数据传构，使其能够处理极其庞大的数据量。随着数据处理单元从BlueField-3升级到数据来源：英伟达官网，Blocks&F服务器集群。器件级创新：一种新型的堆叠式BlueField-4DPU、商用高性能设计目标是通过TSV和中介层与“近端”存储。处于样品开发阶段（由闪迪主导，兼容性与并非“即插即用”兼容。资料明确指协议和设计才能集成，无法直接替2.3.LPU近存计算：智能体时代对低延时的极致追求吐量为代价来提供交互性和智能性，要么以牺牲交互性合使用时，RubinGPU和LPU通过联合计算每个输出词元的AI技术的Rubin架构，其吞吐能效达到了Hopper架构的35倍，且能够将交互性向右要求极高交互速度（800-1,000+token/s目前主要由英伟达Rubin架构支撑该区域理的主要工作存储器，将包括权重、激活值和键值状态在内的活动工作集放入片上内存，这减少了不可预测的停顿，并通过将对延迟最敏感的数据保持在靠近计算的生成提供近乎瞬时的数据响应。HBM注重超高带宽吞吐，尽管带宽极高（可达数级别。HBM更适合大批量的数据吞吐，而尽管HBM在提供海量数据吞吐方面取得了商业上的成功，但芯片产业仍在积个token延迟（TTFT）”和极高的“每秒生成token数（TPS）”。低吞吐量导向型系统所依赖的批处理效率。因此，针对最大总在智能体人工智能中，这一挑战尤为突出，因为系统会反复进行推使用和推理等操作。在这些循环中，延迟会在每个步骤中累积，因此操作性能和良好的尾延迟特性对于提供响应动变得完全确定，从而提高了底层硅晶圆的利用效率。传统架构依赖多级缓存缓存体系，将存储空间的分配权限交给软件编译器。这端的超低延迟语音对话助手。HBM的主战场是大模型训练以及超高并发的云端推拥有更大的有效工作集。在这种设计中，性能不再主要取决每个LPX机架包含256个互连的LPU加速器，与NVIDIAVe层和前馈层，在并行性充足的情况下，可以在吞吐量优化的硬件上高效扩展和抖动更加敏感。针对大批量处理下的峰值吞吐量而优化的硬件并不适用于最敏感的执行路径，而针对低延迟执行而优化的硬件在计算密集型阶段的效严重的性能损耗，主要用于规模化的高吞吐量场景。在低单用户交互速度需求下，延迟要求不高的任务时，具备显著的规模经繁数据搬移会导致严重的性能损耗和能效下降。HBM此类架构主要用于规模化的备注：纵轴（吞吐量与能耗比，TPSperMW横轴（交