AI大算力芯片技术发展与产业趋势亚太

AI

大算力芯片技术发展与产业趋势冯明宪亚太芯谷科技研究院2024.07.12.行业报告免责申明：1.

本资料来源于网络公开渠1.

进群福利：进群即领万份行业研究、管理方案及其他学习资源，直接打包下载道，归属方；2.

本资料仅限会员学习使用，如他用请联系方；3.

会员费用作为信息收集整理及运营之必须费用；2.

每日分享：6+份行研精选、3个行业主题3.

报告查找：群里直接咨询，免费协助查找4.

广告：仅限行业报告交流，禁止一切无关信息4.

如侵犯您的合法权益，请联系客服除。期有效资源专业知识社群：每月分享8000+份行业研究报告、商业计某省市场研究、企业运营及咨询管理方案等，涵盖科技、金融、教育、互联网、房地产、生物制药、医疗健康等；已成为投资、产业研究、企业运营、价值传播等工作助手。研无忧AI时代财富密码2024全球半导体与数字经济总量（预估）u

1、2024年全球半导体产业链产值占全球经济总量约

1%，但其资本某省市值占全球比近

10%。u

2024年AI芯片（GPU）产业营收占全球某省市场

20%。u

2024年AI芯片产业两大核心企业NT联盟（英伟达与台积电）营收合计占半导体全产业链营收约21%，净利润约占

5某省市值约占半某省市值

50%，占全球资本市场约

5%。注：2024年NT联盟预计总营收将达到约2000亿美元，总净利润1000亿美某省市值约5万亿美元。2资料来源：亚太芯谷科技研究院台积电技术路线规划20303资料来源：TSMC英伟达GPU产品规划20272024年6月2日，英伟达CEO黄仁勋在大学发表主题为“开启产业革命的全新时代”的现场演讲，演讲中梳理并介绍了英伟达的最新产品和成果，以及对未来产品的规划。黄仁勋宣布Blackwell芯片已经投

产

，

预

计

将

于

2

0

2

5

年

推

出BlackwellUltraAI芯片，2026年推出下一代AI平台“Rubin”，2027年推出ubinUltra，更新节奏将变为“一年一次”。黄仁勋称，8年内，英伟达GPU产品运算能力增长了1000倍，几乎超越了摩尔定律在最佳时期的增长。4资料来源：英伟达全球数据量与G某省市场规模根据IDC和华为GIV团队预测，全球每年新产生的数据总量随着数字化的发展快速增长，从2020年每年产生

2

ZB到2025年每年产生

175ZB，2030年将达到

1003ZB，即将进入YB（1Yotta

Bytes

=

1000Zetta

Bytes

=

1024

Bytes）时代。另外，根据DIGITIMES研究中心，2024年全球服务器用GPU（包括存储芯片在内的板卡与子系统）产值将首次突破1000亿美元，达1219亿美元。其中，高端服务器GPU产值比重将超过80%，达

1022亿美元，出货量可达

482万颗，英伟达将占比

92.5%，AMD占比可达

7.3%。全球数据量与算力规模发展联动预估2030年，全球算力规模预计可达到：56000

EFlops2024年，全球算力规模预计可达到：2380

EFlops2024-2030：数据量增加

870

ZB全球某省市场规模增加约

？

亿美元2015-2024：数据量增加

122

ZB全球某省市场规模增加约

1120

亿美元2015年，全球某省市场规模约80

亿美元2024年，全球某省市场规模约1200亿美元5资料来源：“数据存储2030”白皮书，中国算力发展指数白皮书（2022），DIGITIMES研究中心，亚太芯谷科技研究院AI

芯片算力提升的“三驾”算力GPU/算力2016~2024：GPU

算力：

1000

倍逻辑芯片算力：40~60

倍③HBM②CoWoS(HI)①MOSFET(摩尔定律)光刻机20202022202420162018N12N7N5N3N2资料来源：英伟达，台积电，亚太芯谷科技研究院大

纲一．AI

芯片：从MOSFET到CoWoS（HI）二．CoWoS

/HBM技术与发展三．AI大算力芯某省市场与投资四．AI大算力芯片产业发展趋势7全球半导体技术发展关键节点WilliamShockley、JohnBardeen、Walter

BrattainMohamedM.

Atalla、DawonKahngWilliamShockley、余振华金属—氧化物半导体场效电晶体-点接触形式的双极性晶体管结型构造双极型晶体管-BJT（BipolarJunction

TransistorCoWoS应晶体管-MOSFETMetalOxideSemiconductorFieldEffect

Transistor（ChiponWafer

on））Substrate20121947194819608资料来源：亚太芯谷科技研究院AI：CoWoS(HI)崛起之路2023年约0.6

万亿美元2032年约1.2

万亿美元全球某省市场规模，单位：10亿美元1200CoWoS(HI)2020~MOSFET1970~2020BJT1950~19702020-

领先企业台积电/英伟达/三星1990-2010领先企业英特尔/德仪2010-2020领先企业英特尔/三星1970-1990领先企业NEC/东芝1950-1970领先企业德仪/仙童信息/功能驱动信息/制程驱动数据/封测驱动MOSFETSi/2D封装HomostructureCoWoSSi/2.5&3D封装HetrostructureBJTGe/2D封装Homostructure19某省市场规模约

100

亿美元20某省市场规模约

4400

亿美元9资料来源：亚太芯谷科技研究院CoWoS

本质上是一种异质异构集成技术异构异质集成（HI，HeterogeneousIntegration）分为异构(HeteroStructure)集成和异质(HeteroMaterial)集成两大类。HeteroStructureIntegration（异构集成）主要指将多个不同工艺节点单独制造的芯片封装到一个封装，以增强功能性和提高性能，可以对采用不同工艺、不同功能、不同制造商制造的组件进行封装。HeteroMaterialIntegration（异质集成）是指将不同材料的半导体器件集成到一个封装内，可产生尺寸小、经济性好、灵活性高、系统性能更佳的产品。异构集成异质集成资料来源：亚太芯谷科技研究院英特尔的

EMIB

与三星的

I-Cube英特尔也于2017年推出EMIB（EmbeddedMulti-Die

InterconnectBridge）先进封装技术，即“嵌入式多芯片互连桥接”，该技术使用传统覆晶芯片方式连接晶粒和基板，通过一个很小的硅片实现晶粒直接的桥接，可将芯片互连的凸点间距缩小到45微米。三星于2021年发布2.5D

封装技术Interposer-Cube4

(I-Cube4)，I-CubeTM是一种异构集成技术，在一个硅中介层上水平放置一个或多个逻辑裸片（CPU、GPU等）和多个高带宽存储器(HBM)裸片，使一个封装中的多个裸片像单个芯片一样运行。EMIBI-Cube11资料来源：英特尔，三星大

纲一．AI芯片：从MOSFET到CoWoS（HI）二．CoWoS

/

HBM

技术与发展三．AI大算力芯某省市场与投资四．AI大算力芯片产业发展趋势12CoWoS

架构AI芯片13资料来源：TSMCCoWoS

：S、R、LS即为硅（Si）衬底作为中介层、R为RDL（重布线）、L为LSI（嵌入式）。其主要区别在于芯片与芯片之间的连接、芯片和基板之间的连接方式不同。CoWoS-S为最早开发的系列，芯片通过ChiponWafer（CoW）的封装制程连接至硅晶圆，再把CoW芯片与基板（Substrate）连接，整合成CoWoS。CoWoS-R为扇出型晶圆级封装，使用重布层连接。CoWoS-L也是扇出型晶圆级，它结合了CoWoS-S和InFO技术的优点，使用局部硅互连嵌入在重布层进行整合。CoWoS为台积电历史最悠久的技术，适用于高速运算产品。14资料来源：TSMC，亚太芯谷科技研究院CoWoS

关键底层技术bumpingBumpingTSVRDLDTCTSVInterposerRDLInterposer先进封装底层技术DTCRDLInterposerTSVBumpingDTC15资料来源：亚太芯谷科技研究院CoWoS

技术的技术难点1、散热Al

算力芯片体积小、集成度高、速度快，导致热量集中，不，致使IC功能下降。目前用于

Al

高速运算的服务器是泡在液体里来解决散热问题，而有Al芯片的携带式产品，散热问题更严重，散热不良导致芯片无法运行，或是使芯片损坏。2、Interposer

及TSV

应力破裂TSV是先进封装的关键结构单元。在TSV转接板上，由于铜和硅的热膨胀系数差别较大，这种热不匹配所产生的热应力会造成接口的脱层或材料的开裂而直接影响TSV的可靠性。16资料来源：芯沣科技，亚太芯谷科技研究院CoWoS

技术发展趋势目前CoWos-S可支持的最大尺寸约为2500平方毫米即三倍掩膜版尺寸，也就是BlackwellGPU上的两颗die+8xHBM的设计，再想增大面积恐怕不易。因此，CoWos-L将成为下一阶段的主要封装类型。台积电系统级晶圆技术将迎来大突破，采用CoWoS技术的芯片堆栈版本，预计于2027年准备就绪，即CoWoS技术整合SoIC、HBM及其他元件，进而打造一个强大且运算能力媲美资料中心服务器机架，或甚至整台服务器的晶圆级系统。2027年后，3D版的CoWoS技术：SoW，有望登上历史舞台。CoWos-L

将成为主要封装类型台积电CoWos封装规划路线2023年2026年2027年SoW系统级晶圆技术名称载板面积HBM数量算力提升CoWoS(SolC)CoWoS(SolC)CoWoS(SolC)>120x120mm12x80x80mm>100x100mm--8X1X12x60x40x3.5x7x17资料来源：TSMCHBM应用的关键：AI芯片存储墙u

算力的增速远大于存储的增长速度。目前绝大部分的计算系统基于冯诺依曼计算机体系，而该体系下存储与计算单元分离，需要通过总线不断在存储与处理器之间传输数据，因此存储的带宽制约了算力的利用效率。此外，从外部处理器到内存之间不断进行数据的搬运，搬运时间往往是运算时间的成百上千倍，产生的无用能耗过多。u

模型体量的增速远大于算力卡存储容量的增速。随着

Transformer

模型的大规模发展和应用，模型大小每两年平均增长了240倍，而单个GPU内存容量仅以2年2倍的速度扩大。为了摆脱单一算力芯片内存有限的问题，可以将模型部署于多颗GPU上运行，但在算力芯片之间移动数据，仍然比单一芯片某著名企业数据低效，因此算力芯片内存容量的缓慢增速制约了更大规模的模型应用。算力的增速远超存储与互连带宽的增速大模型体积的增速远高于算力芯片存储容量的增速18资料来源：riselabHBM基本涵义HBM（High

Bandwidth

Memory，

高带宽存储）是一种新型的CPU/GPU内存芯片

。

从结构上看其特点有：（1）3D堆叠结构并由TSV互连：

HBM

由多颗DRAM

die堆叠成3D结构

，使用TSV技术实现信号的共享与分配；（2）

高I/O数量带来高位宽：

HBM的每颗DRAM

Die包含多个通道，

可独立访问

。

每个通道又包含多个I/O口

，位宽64/128bit，

使

HBM的总位宽高达1024bit。HBM1

堆叠

DRAM

架构图19资料来源：《高带宽存储器的技术演进和测试挑战》（陈煜海等人），华金证券研究所HBM与其他存储芯片参数对比u

HBM2E和HBM3的单引脚最大输入/输出（I/O）速度分别达3.2Gbit/s和6.4Gbit/s，低于GDDR5存储器的7Gbit/s，但HBM的堆栈方式可通过更多的I/O数量使总带宽远高于GDDR5；例如HBM2带宽可以达到307GB/s；u

以DDR3存储器单引脚I/O带宽功耗为基准，HBM2的I/O功耗比明显低于DDR3/DDR4和GDDR5，相比于GDDR5存储器，HBM2的单引脚I/O带宽功耗比数值降低42%。不同类型的存储芯片带宽与单引脚最大I/O速度对比HBM2与传统DDR存储器的单引脚I/O带宽功耗比对比20资料来源：华金证券研究所HBM采用的主要封装技术先进封装技术在HBM制造中大放异彩，包括TSV（硅通孔）、Bumping（凸点制造）、堆叠键合等技术，在与逻辑芯片共封时又另外使用中介层、系统级封装SIP等技术。HBM

的逻辑芯片的功能区HBM

结构及相关技术图示21资料来源：SK海力士HBM技术将追求更高带宽三大存储厂商

HBM

技术路线图目前，三大存储厂商已将HBM4已经列入研发计划：1、堆叠层数：HBM4在堆叠层数上，除了现有的8/12层外，将再往16层发展，更高层数也将带动新堆叠方式Hybrid

bonding的需求。HBM4

12层将于2026年推出，而16层则预计于2027年问世。2、逻辑die：受到GPU/HBM规格更往高速发展带动，Trendforce预计HBM最底层的Logic

die（Basedie）将采用12nm制程，该部分将由晶圆代工厂提供，使得单颗HBM需要结合晶圆代工厂与存储器厂的合作。3、客制化：根据韩国中央日报报道，SK海力士正在招募CPU、GPU等逻辑芯片的是将未来的HBM4以3D堆叠的形式堆叠在英伟达、AMD等公司的逻辑芯片上，预计该HBM4内存堆栈将采用2048位接口。该方案未定，只是在讨论中。22资料来源：Yole，Techspace，，各公司官网大

纲一．AI芯片：从MOSFET到CoWoS（HI）二．CoWoS

/HBM技术与发展三．AI

大算力芯某省市场与投资四．AI大算力芯片产业发展趋势23全球G某省市场规模预估根据亚太芯谷科技研究院分析预测，2023年，全球某省市场规模为700亿美元，随着人工智能科技的发展，全球某省市场需求不断增长，预计2027年全球某省市场规模将达到

4000亿美元，2023-2027年复合增长率54%，2032年达到5500亿美元，2023-2032年复合增长率为25.7%。2023-2027

全球某省市场规模预估（单位：亿美元）2023-2027年CAGR：54%全球

G某省市场为三足鼎立的寡头竞争格局，英伟达在独显领域一家某省市场份额占80%以上，AMD占比约10%，英特尔占比约5%。中国大陆厂商华为正快速某省市场需求量呈现出爆发式增长。根据华为和采购方渠道透露的信息，2023年华为算力GPU出货量约十万片，而2024年产能增加到几十万片，下单需求已经达到上百万片。24资料来源：亚太芯谷科技研究院全球CoWoS

产能预估2030单位：万片2023年10月预估2023~2030年

CoWoS

总产能年复合增长率

CAGR：46%单位：万片2024年5月预估2023~2030年

CoWoS

总产能年复合增长率修正为

CAGR：63.2%备注：图中数量为CoWoS的12吋Wafer数量，平均每片12吋Wafer可以切出25个Interposer，每个Interposer对应一个GPU。25资料来源：亚太芯谷科技研究院H某省市场规模预估2026由于更强的生成式人工智能（Gen

AI）需求推动了更高的AI服务器出货量和每个GPU中更高的高带宽内存（HBM）密度，亚太芯谷科技研究院预计某省市场规模将从2022年到2026年前增长15.64倍（4年复合年增长率77%），从2022年的

23亿美元增长至2026年的

230亿美元。2022-2026

全球某省市场规模预估（

单位：亿美元）26资料来源：SK海力士，亚太芯谷科技研究院2024：AI芯片NT联盟的三个千亿里程碑2024年，台积电，英伟达营收预估分别达到

1000

亿美元，净利润预估合计

1000

亿美元。2024

Q1营收2024

Q1净利润2024（预估）

同比

2023

2024（预估）

同比2023市值公司名称台积电英伟达合计营收营收增长净利润净利润增长

（2024.06.30）188.51亿美元

71.72亿美元

1000亿美元260.44亿美元

148.81亿美元

1000亿美元448.95亿美元

220.53亿美元

2000亿美元44.2%450亿美元67.29%84.81%76.49%0.90万亿美元3.04万亿美元64.15%53.61%550亿美元1000亿美元3.94万亿美元27资料来源：WInd，亚太芯谷科技研究院NT某省市值合计超过4万亿美元2024年7月9日，台积某省市值首次超过万亿美元，收盘回落至

9570亿美元。2024年7月9日，某省市值达到

3.23万亿美元。NT某省市值合计

4.19万亿美元，占费城半导体某省市值的

57%。备注：英伟达、台积电均为前复权后的周K线走势图。资料来源：东方财富，Wind28大

纲一．AI芯片：从MOSFET到CoWoS（HI）二．CoWoS

/HBM技术与发展三．AI大算力芯某省市场与投资四．AI

大算力芯片产业发展趋势29英伟达AI

服务器成本分析2xIntelSapphireRapidsServer(标准CPU服务器)NvidiaDGXH100(AlGPU服务器)零部件倍数B

O

M

占

比17.7%0.0%单机ASP$1,850$-B

O

M

占

比单机ASP$5,200$195,000$7,860$3,456$10,908$563CPUGPU板组：8*GPU+4*NVSwitchBaseboard内存DRAM1.9%72.5%2.9%1.3%4.1%0.2%0.3%0.2%0.4%0.6%15.6%100%2.8一37.5%14.7%6.2%$3,930$1,536$6542.02.316.71.42.51.74.03.061.025.7硬盘NAND网络接口卡SmartNIC机箱(机盒、背板、布线)主板3.8%$3953.3%$350$875散热(散热片+风扇)电源2.6%$275$4632.9%$300$1,200$1,485$42,000$269,010组装和测试4.7%$495设备制造商利润总成本6.6%$689100%$10.47430资料来源：semianalysis;AlServerCostAnalysis2023.05.29，万和证券研究所Fan-in

与

Fan-out几种载板材料31AI

大算力芯片产业发展趋势0102050607新架构GPUNVLink&UALinkPCB与新材料面板级封装PLP0304热导与散热BONDING测试08光模块/CPO32资料来源：亚太芯谷科技研究院产业发展趋势01：新架构GPU可重构计算（CGRA）是指利用系统中的可编程计算资源（处理单元和互连网络），根据应用的需要和计算任务的数据流特点，动态构造出最适配的计算架构，达到逼近专用集成电路的高性能。可重构架构的抽象模型33资料来源：清微智能产业发展趋势02：FOPLP技术扇出型板级封装FOPLP，所谓的扇出（fan-out）是相对于扇入（fan-in）来说的，其封装的RDL线路和引脚不仅在芯片所处的投影面积之内，而且在投影面积的外围也有分布。面板级封装（PLP，panellevelpackage），则是相对于晶圆级封装（WLP，waferlevelpackage）来说的，就是之前采用晶圆作为载板的封装改为采用面板作为封装的载板。这些载板的材质可以选择金属、玻璃和高分子聚合物材料。近日，有消息传出，AI芯片龙头英伟达最快将于2026年导入扇出型面板级封装，借此缓解CoWoS先进封装产能吃紧，导致AI芯片供应不足的问题，英特尔、AMD等半导体大厂后续也将逐步加入扇出型面板级封装的阵营。Fan-in

与

Fan-out几种载板材料资料来源：亚太芯谷科技研究院FOPLP技术的产业合作项目进展FOPLP

模式的封装业务合作项目及进展概要厂商力成客户应用封装尺寸状态1．FOPLP技术目前有三种主要应用模式：①ꢀOSAT（封装测试）业者将消费性IC封装从传统方式转换至FOPLP；MTKAMDPMIC,RFPCCPUPMIC,RFPMIC,RFPCCPUAIGPUAIGPUAIGPUPMIC515*510mm515*510mm300*300mm600*600mm600*600mm515*510mm515*510mm515*510mm620*750mm620*750mm600*600mm510*415mm现

有小量规划暂缓②ꢀ晶圆代工厂和OSAT业者将AI

GPU的2.5D封装从晶圆级转换至面板级；QuamQuamAMD日月光小量规划小量规划评估中评估中评估中量产2H24评估中③ꢀ面板业者跨足消费性IC封装领域。2、产业合作案例：硅

品台积电NVIDIANVIDIAAMD①ꢀ以AMD与力成、日月光洽谈PC

CPU产品及高通与日月光洽谈PMIC产品进展较大；②ꢀ在AIGPU封装方面，AMD及NVIDIA大厂最为积极，与台积电、硅品洽谈相关产品，双方将2.5D封装模式自晶圆级转换至面板级合作，进一步放大芯片封装尺寸、使单位成本更低，但由于技术的挑战，相关业者对此转换尚处评估阶段。NXP群创STMicroPMICNepesSEMCOSamsungPMIC,AP现

有35资料来源：TrendForce，亚太芯谷科技研究院产业发展趋势03：热导与散热高结构强度均（HSS

VC）构造及工作原理Install

in

IGBT

module（石墨烯）石墨烯纯物理法生产工艺及装置36资料来源：仲德科技，Enerage,Inc.产业发展趋势04：CPOCPO（Co-packaged

optics），光电共封装，将硅光子模块和超大规模

CMOS芯片以更紧密的形式封装在一起，从而使系统成本、功耗和尺寸都得到进一步优化。37资料来源：Yole产业发展趋势05：NVLink&UALinkNVLink

是英伟达近距离的连接技术，可以直接完成GPU之间内存的互相访问，无需CPU的干预。目前英伟达NVLink已经更新到了第五代，第五代NVLink大幅提高了大型多GPU系统的可扩展性。单个NVIDIA

Blackwell